第12课. 数字媒体检索介绍
12.1 数字媒体检索的起源
12.1.1 信息的检索
基于关键部分和提示,来进行用户所需部分的检索
支持:
12.2 数字媒体检索的主要方法
12.2.1 基于文本的数字媒体检索
12.2.2 基于内容的数字媒体检索
12.2.3 数字媒体分析以及检索的工作流程
1.数字媒体数据流
2.发现特征
3.数字媒体数据分段
4.识别、分类、聚类
5.标引以及检索
12.3 基于内容的图像检索
12.3.1 图像检索流程图
12.3.2 图像检索工作流程
1.图像输入
2.找到特征
3.相似度测量
4.识别、分类、聚类
5.标引以及检索
12.3.3 图像的特征
找出图像的特征是图像检索的关键
主要的图像特征:
颜色特征
纹理特征
形状特征
空间关系特征
12.3.4 图像的颜色特征
12.3.5 图像的纹理特征
12.3.6 Tamura 纹理
基于人类对纹理的视觉感知的心理学研究
纹理的六个属性:
粗糙度
对比度
方向度
线相似度
规整度
粗略度
方向度的计算
给定卷积算子,计算每个像素点梯度的模和方向
卷积算子为:
12.3.7 (MR)SAR 模型
主要的纹理特征:
SAR模型(同步自回归)
MRSAR模型(SAR的多种解法)
在多种方案中重复纹理计算来讨论间隔尺度
在不同图像层中运用SAR
公制→不同的参数
12.3.8 边缘直方图
在一个新的基准上重复函数
将函数作为一个多维向量
我们应用一个线性转换来转换这个基准
12.3.11 Gabor Texture(小波纹理)
傅里叶系数是基于整张图片的,这意味着我们失去了图像的空间信息
目标:本地空间序列分析
小波纹理核心内容:类似于在傅里叶变换基础上叠加高斯变换
Ordered List Item带定向正弦波的均衡高斯变换的乘积
Gabor滤镜成双使用:均衡化与反均衡化
每对恢复均衡化与反均衡化组成都在一个特定方向上
(kx,ky):空间频率(滤镜对其反应强烈)
σ:滤镜的比例。当σ=∞时,与傅里叶变换近似
我们要应用很多不同比例、不同方向、不同空间频率的Gabor滤镜。
范例——Gabor滤波
不同方向、比例的斑马条纹,以及经过Gabor滤波卷积运算的
条纹变大变小使得响应减退
当条状带的空间频率和高斯与Gabor滤镜吻合时,响应强烈
空间频率分析如下:
以2D形式排列整理能量的均值
结构化:局部图案
方向性:柱状图案
颗粒化:排状图案
随机:随集图案
小波特征(PWT,TWT)
小波
使用含递归过滤、二次取样的一套基本函数的特征分解
每个层次讲2D信号分解成4个子块:LL、LH、HL、HH(L=Low,H=High)
纹理比较
通过使用Corel Photo图表,我们得到了大量的基于不同范围相关图像不同纹理特征的检索结果
12.4 图像形状特征
12.4.1 概述
12.4.2 基于区域的描述符VS基于数量的描述符
列代表数量相似度
数量的概略
排代表区域相似度
像素分布
12.5.1 图像特征的维度缩减
图像特征空间缩减
线性维度缩减技术:PCA……
非线性维度缩减技术:Isomap,LEE
基于群集的特征缩减方法
高维度的特征索引
数据库为中心的高维度特征索引
分类归并的方法
SOM
12.5.2 图像相似度
图像特征往往能组成一个固定长度的特征向量
因此相似度可以通过以下方法来计算
Euclidian distance
Histogram intersection
Quadratic distance
Mahalanobis distance(马氏距离)
Non-geometrical similarity
12.6 实际的图像检索系统
实际图像检索系统往往包括如下几个函数特征
随机浏览
分类浏览
基于例子的检索
基于概要的检索
基于文本检索
12.7 图像检索的未来
人机交互
发音语义的识别
网页为中心
高维数据
主观性
多媒体通道
图像特征映射
测试设置的构建
行为测量的基准
<note important> 本节编撰作者(请大家在这里报到):
高杰 (3090100671) 编写了:12.1.1-12.3.4
王佳萍 (3090103144) 编写了:12.3.5-12.3.6
邹瑶瑶 (3090104023) 编写了:12.3.7-12.3.10
柯棽耀 (3090104024) 编写了:12.3.11-12.4.2
叶越 (3090100670) 编写了:12.5.1-12.7
浙江大学2008-2011版权所有,如需转载或引用,请与 作者联系。
</note>