媒体计算
围绕网络图像内容挖掘方法、跨媒体海量数据存取与知识表达的索引等问题展开研究,取得了重要进展,这些成果发表在国际重要学术期刊和学术会议上。具体包括:
基于稀疏表达的跨媒体特征选择机制:图像等多媒体数据中存在纹理、颜色和形状等全局特征以及SIFT和LBP等局部特征,不同视觉特征在表示特定高层语义时所起重要程度不同,如SIFT等局部特征在表达刚体对象时更为有效。提出了一种对异构特征进行组间和组内选择的机制,这一机制利用异构特征所存在的结构性组稀疏(Structural Grouping Sparsity)特点,能够选择某一语义所对应的重要特征。
多类别特征选择:传统的无监督特征选择算法往往先定义一个准则来评价特征的质量,然后选择质量最高的一组特征。这种方法最大的缺陷是没有考虑特征之间的关联,因此无法去除冗余。基于流形学习和范式正则化技术,我们提出了一种无监督的特征选择算法——多类别特征选择(Multi-Cluster Feature Selection,MCFS)。MCFS结合谱聚类和范式正则化的线性模型来筛选出相关的特征集合。我们的算法(MCFS)效果远远高于其他无监督的特征选择算法。
基于识别模型期望误差最小化的特征选择:从降低识别模型期望误差的角度出发,提出了一种非监督特征选择方法(不需要用户提供类别信息)。算法选择让识别模型参数协方差矩阵最小化的那些特征,从而在非监督的情况下,直接降低模型的期望预测误差。充分的实验证明,这种基于机器学习的特征选择方法能够成功选出多种不同类别图像中的关键特征,包括人脸图像、手写数字图像、物品图像等,并从理论上保证了分类模型的稳定性和误差最小化。
基于谱图理论的非负矩阵分解和概念分解:传统非负矩阵分解和概念分解算法假设数据是分布在欧式空间中。而真实数据往往是分布在一个嵌在高维空间的低维流形上。我们在非负矩阵分解和概念分解算法中引入对数据的几何分布特性(通过对数据进行谱图分析)建模,从而得到更好的基于语义的分解效果。
基于谱回归的快速核判别分析算法:传统求解核判别分析(Kernel Discriminant Analysis, KDA)需要求解核矩阵的特征向量。由于该矩阵的大小等同于数据点的个数,KDA的计算复杂度很高,因此无法处理大数据集。我们提出的一种基于谱回归的核判别分析算法将KDA转换在一个回归框架下。这样,我们可以应用成熟的回归技术来求解KDA。在该框架下,我们不需要进行矩阵的特征分解,只需要求解正则化的回归问题,算法复杂度远远低于KDA。
海量数据索引机制:为了实现大规模数据索引,在基于机器学习的谱哈希(Spectral Hashing)索引过程中引入稀疏主成份分析(Sparse Principle Component Analysis),并提出了相应全局优化解法,以给大规模图像数据建立可解释性二元编码,实现图像索引。对于索引得到的海量多媒体数据,我们在MapReduce框架下,实现了并行谱聚类,以加快海量数据处理。