浙江大学计算机辅助设计与图形系统全国重点实验室庄博涵研究员课题组在 ICML 2026 会议上，在线发表名为”World-R1: Reinforcing 3D Constraints for Text-to-Video Generation”的研究论文。该研究通过一种创新的强化学习框架，将预训练 3D 基础模型与视觉语言模型作为奖励信号，对文生视频模型进行后训练对齐，从而在不修改模型架构、不引入推理期三维控制模块的前提下显著增强生成视频的三维一致性。研究团队所提出的 World-R1 框架，能够将通用视频基础模型升级为具备几何一致性的世界模拟器，为大规模可扩展的世界生成系统的开发提供了新的设计思路。
研究背景
文生视频在虚拟现实、自动驾驶、具身智能、沉浸式内容创作等领域具有重要的应用价值。近期，作为该领域的一个重要子课题，让视频基础模型在大幅度相机运动与长程场景中保持稳定的几何一致性成为研究热点。然而，由于视频基础模型本质上面向二维图像空间生成、缺乏对真实世界三维几何的内在理解，这一任务仍面临诸多挑战。
新兴的三维感知视频生成方法为缓解上述几何不一致问题提供了一种潜在的技术路径。这些方法通过将显式三维表示注入视频生成管线，从而为视频模型提供更明确的几何约束。开创性研究通过在推理过程中强制视频生成遵守静态三维先验，直接利用 3D 表征来约束视频模型的输出。然而，这些方法在推理阶段引入了显著的额外计算开销，导致生成的视频在动态多样性和泛化能力方面受到限制。为解决这一挑战，另一类方法通过引入额外的三维解码器或多任务学习框架，对预训练视频模型进行结构改造，并依赖静态三维感知数据集进行训练。尽管经过改进，这些方法仍存在架构复杂、仅适用于图像到视频任务、动态适应性受限等问题。此外，针对每段视频的三维显式建模过程通常引入较高的推理延迟，显著降低了视频生成的速度与效率。基于此，一个关键问题随之浮现：是否可以设计一种通用的后训练框架，使其无需修改模型架构、无需推理期三维模块，就能从视频基础模型中唤醒已有的几何先验，并在保持视觉质量的前提下生成三维一致的视频？为了回答这一问题，近期由 Flow-GRPO 引领的视觉强化学习范式引入了多种判别式反馈机制，其能够直接对生成模型的输出进行偏好对齐。随后，对齐后的模型被用于生成符合人类偏好的视觉内容，并通过比较奖励分数来监督训练过程。此外强化学习因其在生成模型对齐中的卓越效果和无需重训练大模型的灵活性，已成为生成模型后训练的主要范式之一，逐渐取代了完全依赖监督微调的传统方法。然而，由于视频生成空间的高维特性以及三维一致性反馈的稀缺性，直接将强化学习应用于文生视频以提升三维一致性仍然面临挑战，其导致生成的视频出现几何幻觉或动态抑制的现象。
研究创新与突破
本研究提出 World-R1，一种创新的三维一致性强化学习框架，能够在不修改基础模型架构的前提下实现文生视频的三维约束对齐。World-R1 主要实现了以下两个关键创新点：首先，传统方法通常依赖在视频模型中引入额外的三维表征模块，并在推理阶段强制施加几何约束。相比之下，我们设计了一种新颖的隐式相机条件化与三维感知奖励机制，其中相机轨迹被直接写入初始隐变量噪声，而预训练 3D 基础模型与视觉语言模型则在训练阶段提供判别式反馈。通过这种方式，该框架能够建立生成视频与真实世界三维几何之间的对齐关系，从而利用 Flow-GRPO 高效优化视频模型的策略分布，以支持可扩展的世界模拟生成。其次，刚体几何约束与动态场景流畅性之间存在天然张力，而这种张力在以往仅追求三维一致性的方法中往往因约束过强而抑制了非刚性动态。因此，我们引入了一个简单但高效的周期性解耦训练策略，该策略通过每隔固定步数暂时关闭三维奖励、仅在动态子集上使用通用质量奖励进行训练，从而显著平衡几何稳定性与动态多样性。此外，我们选择构建一个面向世界模拟的纯文本数据集而非依赖三维资产数据集来作为后训练的核心，其不仅确保了物理学习与视觉偏置的解耦，还实现了对多样场景的覆盖。综上，本研究作出以下贡献：
- 一种创新的三维一致性强化学习框架（World-R1），该框架能够在不修改基础模型架构的前提下从文本生成三维一致的高质量视频；
- 一种结合 3D 基础模型与视觉语言模型的综合奖励系统，通过 Flow-GRPO 优化为视频模型提供判别式几何反馈；
- 一个面向世界模拟、具备多类别多层级相机控制的纯文本数据集，用于视频生成模型的后训练对齐。
本方法系统框架示意图
研究成果与贡献
本研究方法能够通过文本生成三维一致的高质量视频，下面介绍本研究生成的结果以及其他方法的对比。
所生成视频的定性比较。在三维一致性指标方面，我们的方法相较于近期的其他方法展现出显著的优势。
我们的方法和其它方法所生成视频的对比图。我们的方法所生成的视频不仅几何一致，而且动态多样性得到良好保持。
浙江大学计算机辅助设计与图形系统全国重点实验室庄博涵研究员为本文的通讯作者；博士研究生王伟杰为本文的第一作者。
