计算机图形学
周昆
(国家自然科学杰出青年基金项目:60825201,2009.1-2012.12)
将融合计算机图形学、计算机视觉以及机器学习技术,开展空间信息建模和可视分析方面的研究。这方面研究的突破,可有效扩展人类感知、认识世界的能力,使人类可以不受时空的限制,去模拟、观察和研究各种事件在各种假想条件下的发生和发展过程;通过空间信息模型所保证的真实性,用户可以根据其在数字化空间中的体验,对所关注的客观世界中发生的事件做出判断和决策。这些特点使得空间信息处理技术在经济建设(如复杂产品的辅助设计、城市规划和重大工程方案预估等)和文化教育(如影视特技、益智娱乐等)等领域有着重大的应用前景。
拟开展的主要研究内容包括:
(1)复杂场景的表示与建模
主要研究三维信息模型的表示问题,以及相对应的各种高效率的建模以及相关的处理技术。重点研究:
· 几何计算理论和方法。几何计算理论是三维信息建模的基础,它提供了表示、构建及处理复杂几何信息的理论和手段。我们将在所提出的微分域几何计算理论和方法的基础上,进一步探讨有效刻画、控制几何细节的几何计算的理论和方法。同时考虑结合逆向工程,对从实物获取的原始三维几何数据进行加工和处理。
· 交互式敏捷建模。构建高质量的三维模型(包括几何、纹理、材质以及其他属性)就是一项费时费力的过程,尤其是在对大规模场景进行建模时。而敏捷建模就是针对建模的效率问题而提出的,主要考虑从直接从视频/图像中恢复模型或重用建模知识这两条途径来达到目的,研究重点包括:基于图像及视频的三维信息恢复技术;实时动态三维模型近似重建技术;基于视频采样的学习式建模技术等。
(2)复杂场景的组织与可视分析
主要目标是建立三维复杂场景组织与实时处理的理论框架,并给出具体的处理算法。重点研究:
· 预计算光能辐射传递(PRT)理论和方法。拟在现有工作基础上,进一步展开全局PRT理论和方法的研究,解决高保真实时可视化问题。重点研究全局光照环境下的表面材质、视见函数和局域入射光三类PRT信号和光源的有效表示和采样问题;各种PRT信号之间的运算操作,如PRT信号的三项积问题和动态场景中视见函数的实时重构问题;PRT信号的多分辨率表示等。
· 可视计算的复杂性理论及相关算法。可视化过程本质上是一个模拟光线在场景物体之间传播并最终在投影屏幕上形成二维影像的过程。其时间复杂性显然与场景空间复杂性(物体的形状、分布与表面材质属性等)有关,通过揭示这两者之间的关系,将可以发展一套能够测试可视化算法效率的方法论,以及根据空间复杂性优化配置绘制流水线的方法。同时,我们将深入研究场景空间全局复杂性与局部复杂性之间的关系,并在此基础之上,通过局部化光线传播,提出动态场景全局光照与全局可见性计算与分析算法。包括:设计可支持模型动态改变的全局光照和全局可见性计算模式;全局光照及全局可见性的表述方法及压缩技术等。
· 三维场景的优化组织与可视分析。一般说来,由采用造型软件建立的场景模型往往是按照场景中物体的功能或是按有利于建模时操作方便的方式进行组织的。因此需要对原始的场景按照绘制过程重新组织并作相应的优化,并考虑其中的空间连贯性、层次细节、遮挡等因素。当数据量远远超过内存时,需要考虑使用外存来调度场景数据,此时,还需要考虑在外存中场景的组织形式,使之有利于减少数据在内、外存之间的吞吐量。更复杂的地方在于,当允许对场景按照物体功能对其进行动态调整或操作时,又需要能够及时对变化的部分进行重新组织及优化。该方向主要研究的内容包括:既便于描述物体功能又有利于空间优化的场景组织形式;动态场景的快速优化算法;针对物体特征的优化绘制算法;三维数据快速I/O技术等等。
多媒体计算
何晓飞
(国家自然科学杰出青年基金项目:61125203,2012.1-2015.12)
随着多媒体技术和计算机网络的飞速发展,图像、音乐、视频等多媒体数据规模急剧膨胀。为了不让用户迷失在浩如烟海的多媒体数据资源中,建立有效的多媒体数据表达、理解、识别和检索方式成为迫切需要解决的问题。传统的文本检索技术依赖用户对多媒体数据的标注,无法满足管理海量多媒体数据的需要;基于内容的检索方式解决了多媒体自动索引的问题,但其使用的底层特征与高层语义间的“语义鸿沟”制约了检索的效果。为解决上述问题,本项目将利用流形学习和统计理论对多媒体数据进行分析和处理,建立多媒体低层视觉特征与高层语义之间的关联,实现基于语义的多媒体检索。