Lab 6 - 运动恢复结构

知识回顾

运动恢复结构指的是根据物体或场景的运动,分析和恢复出其三维结构。当场景静止不变,仅摄像机在运动,那么SfM技术可以从摄像机拍摄的图像序列中恢复出摄像机的内外参数以及场景的三维结构。

运动恢复结构(SFM)技术在当下有着广泛的应用,如机器人导航、智能定位、虚实结合、增强现实、三维场景浏览等。

所有运动恢复结构问题都可以归结为一个高维空间上的优化问题。给定拍摄场景在图像中的对应关系x作为优化方程的约束条件,将待估计的相机运动和场景结构信息参数化 p=(pa,pb)p = (p_a,p_b),其中pap_apbp_b分别对应相机运动和场景结构信息,通过最小化能量函数E(x,p)E(x,p)得到一个最优的估计:

p=argminpE(x,p)p^* = \arg\min_{p}E(x,p)

而运动恢复结构技术按不同类型的约束条件,通常可分为两类。一类方法称为直接法,它们直接跟踪图像像素值或估计稠密的光流作为约束。另一类方法则仅跟踪稀疏的特征点(Feature Point),估计特征点对应的三维位置作为场景的结构信息。这一类方法称为基于特征点的运动恢复结构。该方法的大致流程为首先提取所有图片中的特征点,然后对每一组图像的特征点进行匹配, 得到特征轨迹作为约束条件,求解对应的三维点以及相机的相对位置信息。最后使用BA来进行全局优化,得到最后的稀疏重建。

实验目标

本次实验我们将使用开源SfM软件来对一个视频序列进行重建,熟悉一下SfM软件的使用方法和重建效果。有兴趣的同学甚至可以根据开源代码,自己编写一个简单的SfM小程序。

当前有很多已经成熟的有关SFM的工作,如VisualSFMCOLMAPACTSLS-ACTS

关于软件的具体的操作步骤,以上几个系统的主页上都有详细的使用说明。