浙江大学计算机辅助设计与图形系统全国重点实验室邵天甲研究员课题组在SIGGRAPH 2026 会议上发表名为 “Sparse-to-Complete: From Sparse Image Captures to Complete 3D Scenes” 的研究论文。该研究面向稀疏视角三维重建中“输入图像少、场景覆盖不足、重建结果不完整”的关键问题，提出了一种新的稀疏视角三维场景重建框架 S2C-3D。该方法仅需 6 至 8 张图像，即可生成高保真、完整且多视角一致的三维场景表示。 研究团队将扩散模型的图像修复能力与三维高斯表达相结合，重点提出无需额外训练的多视角一致性条件采样过程，从源头缓解扩散修复图像之间的视角冲突；同时结合面向目标场景的扩散模型微调和覆盖完整场景的相机轨迹规划，进一步提升修复质量与重建场景完整性。相比已有方法，S2C-3D 能够有效减少稀疏视角重建中常见的模糊、伪影和缺失区域，为低成本三维内容采集与生成提供了新的技术路径。
研究背景
高质量三维场景重建在虚拟现实、增强现实、数字影视制作、机器人感知与自动驾驶等领域具有重要应用价值。近年来，NeRF 和 3D Gaussian Splatting (3DGS) 等方法显著提升了三维场景重建与新视角合成的质量。然而，这类方法通常依赖大量多视角图像输入，采集过程耗时且对用户拍摄经验有较高要求。为了降低采集成本，稀疏视角三维重建逐渐成为研究热点。现有方法通常从少量输入图像初始化低质量三维表示，再利用图像扩散模型对未知视角渲染结果进行补全，并将修复后的图像作为监督信号优化低质量三维高斯。然而，在极稀疏输入条件下，扩散模型需要在未知视角中分别修复不可见区域，这些被生成模型所“想象”的内容往往缺乏多视角一致性，并会在三维优化过程中累积为模糊和结构伪影。上述多视角一致性问题是限制稀疏视角重建质量的关键瓶颈。除此之外，通用预训练扩散模型与目标场景之间存在分布差异，容易在大面积未观测区域产生不符合场景结构的修复结果；现有方法常用的简单相机插值也难以覆盖完整场景，导致重建结果存在明显缺失区域。
研究创新与突破
本研究提出S2C-3D，一种面向极稀疏图像输入的完整三维场景重建框架。 基于利用图像扩散模型优化低质量三维高斯范式，S2C-3D 将修复图像的多视角一致性作为核心设计目标，在扩散模型修复过程中显式约束不同虚拟视角之间的内容一致性。具体而言，我们提出了无需额外训练的多视角一致性条件采样过程。该过程首先利用几何投影关系建立相邻修复视角之间的像素级映射，并度量不同视角修复内容之间的像素级差异；随后将这种一致性度量作为条件注入扩散模型采样过程，引导扩散模型生成多视角一致性的修复图像。最终，这些多视角一致的修复图像被用于优化三维高斯表示，从而有效减少稀疏视角重建中常见的模糊和严重伪影。围绕这一核心贡献，S2C-3D 进一步引入了两个关键模块。首先，我们构建了场景专属扩散模型，通过输入图像及其对应退化图像进行微调，使扩散模型能够适配当前场景分布，减少通用扩散先验与当前场景之间的分布差异。其次，我们设计了基于信息增益的相机轨迹规划方法，基于场景覆盖度度量的主动选择能够带来更多可见信息的虚拟相机位置，而不是仅在输入视角之间进行简单插值，从而为三维高斯优化提供覆盖更完整的监督视角。综上，本研究作出以下贡献：
提出了稀疏视角三维场景重建框架 S2C-3D，仅需 6 至 8 张输入图像即可实现高质量完整场景重建；
提出了训练无关的多视角一致性条件采样过程，将多视角一致性约束注入扩散模型采样过程，有效减少不同修复视角之间的冲突，提升最终三维表示的稳定性与视觉质量；
设计了场景专属扩散模型，通过针对目标场景的轻量微调提升图像修复质量，缓解通用扩散模型与目标场景之间的分布差异；
本方法系统框架示意图
提出了基于信息增益的相机轨迹规划方法，使虚拟相机能够覆盖更多未观测区域，提升完整场景重建能力。
S2C-3D实现了在极稀疏图像输入下兼具场景完整性、视觉保真度与多视角一致性的三维场景重建，并在多数据集实验中表现出高稳定性和泛化能力。下面展示本方法生成的三维重建结果。
上图展示了定量实验结果。从整体指标上看，S2C-3D在稀疏视角场景重建任务中优于现有基线方法，说明S2C-3D能够重建更高质量的三维场景。
上图展示了定性实验结果。S2C-3D能够利用稀疏视角图片重建出高质量且更完整的三维场景。
浙江大学计算机辅助设计与图形系统全国重点实验室邵天甲研究员为本文通讯作者；博士研究生申一杨为本文的第一作者。本研究受到了国家自然科学基金（编号：U23A20311，62322209和62421003）和XPLORER PRIZE的资助。
