This shows you the differences between two versions of the page.
keynote:2011-lesson04 [2014/05/22 16:34] |
keynote:2011-lesson04 [2023/08/19 21:02] (current) |
||
---|---|---|---|
Line 1: | Line 1: | ||
+ | ====== 第四课 Probabilistic Graphical Models====== | ||
+ | ** 定义** | ||
+ | * 对含有大量随机变量的真实问题建模 | ||
+ | * 含有依赖关系的变量可以简化建模过程 | ||
+ | ** 目标** | ||
+ | * 学习:使用训练数据估计联合分布 | ||
+ | * 计算p(A, B, C, D, E)的概率值 | ||
+ | * 变量数目很大怎么办? | ||
+ | * 推理:给定分布p(A, B, C, D, E), | ||
+ | * 计算某个事件发生的概率:给定E=e, 计算 A=a的概率 | ||
+ | * 得到概率最大时对应的各个变量的状态:p(A | E=e)概率最大时A的状态 | ||
+ | ** 非结构化方法** | ||
+ | * {{:keynote:unstructured_approach.jpg|}} | ||
+ | * 特例:Naive Bayesian:假设变量都独立,则P(A,B,C,D,E)=P(A)P(B)P(C)P(D)P(E) | ||
+ | |||
+ | ** 4.1 贝叶斯网络** | ||
+ | * 关于变量a,b,c的任意联合概率分布P(a,b,c) | ||
+ | {{:keynote:qq截图未命名.jpg|}} | ||
+ | * 概率乘法法则:p(a,b,c)=p(c|a,b)p(a,b)=p(c|a,b)p(b|a)p(a) | ||
+ | * 一般形式: {{:keynote:bn.jpg|}} | ||
+ | |||
+ | ** 4.1.1 不完全连通图** | ||
+ | * 联合概率:p(x1,x2, … ,x7) | ||
+ | *e.g. | ||
+ | {{:keynote:bnn.jpg|}} | ||
+ | * 一般形式: | ||
+ | * 对于含K个节点的图,联合概率 | ||
+ | {{:keynote:bn0.jpg|}}其中pak表示xk的父节点集合,x = {x1,… ,xK} | ||
+ | | ||
+ | |||
+ | ** 4.1.2 数学定义** | ||
+ | *{{:keynote:4.1.2.jpg|}} | ||
+ | * 令G = (I,E)表示一个有向非循环图形(DAG),其中I代表图形中所有的节点的集合,而E代表有向连接线段的集合,且令X = (Xi)i ∈ I为其有向非循环图形中的某一节点i所代表之随机变数,则途中节点X的联合机率分配可以表示成:P(A), P(B|A=a), P(B|A=a), P(C|A=a), P(C|A=~a), P(D|b, c), P(D|~b, c), P(D|~b,c); P(D|~b,~c), P(E|c), P(E|~c)... | ||
+ | * 马尔科夫条件:每个变量都独立于其非后代的节点。 | ||
+ | ** 4.2 图模型的常用推导方法** | ||
+ | * 变分法:变分贝叶斯,变分EM(参见bishop 第10章) | ||
+ | * 抽样法:吉布斯抽样法(参见bishop 第11章) | ||
+ | **4.3隐马尔可夫模型** | ||
+ | |||
+ | **4.3.1马尔可夫性质** | ||
+ | * 正式定义 | ||
+ | 一组随机变量序列$X=\{X_n\},n=0...N$,其中$X_k$的取值为$s_k$且$s_k\inN$,当且仅当$P(X_m=s_m|X_0=s_0,..., X_{m-1}=s_{m-1})=P(X_m=s_m|X_{m-1}=s_{m-1})$,则$X$满足马尔可夫性质。 | ||
+ | * 非正式定义 | ||
+ | 一个过程的“将来”仅依赖“现在”而不依赖“过去”,则此过程具有马尔可夫性质。 | ||
+ | | ||
+ | ** 4.3.2马尔可夫链的历史 ** | ||
+ | - 马尔可夫链理论发展于1900年 | ||
+ | - 隐马尔可夫模型发展于六十年代晚期 | ||
+ | - 在六七十年代广泛应用于语音识别 | ||
+ | - 1989年被引入计算机科学 | ||
+ | |||
+ | ** 4.3.3 马尔可夫链的应用 ** | ||
+ | - 生物信息学 | ||
+ | - 信号处理 | ||
+ | - 数据分析和模式识别 | ||
+ | |||
+ | ** 4.3.4 马尔可夫链 ** | ||
+ | *一条马尔可夫链由以下三要素确定: | ||
+ | - 状态空间 $S=\{s_1, s_2, ... , s_n\}$ | ||
+ | - 初始分布 $a_0$ | ||
+ | - 转移矩阵 $A$ | ||
+ | |||
+ | ** 4.4 最大似然估计 ** | ||
+ | |||
+ | 从一个给定的O和Q中,似然值为:\\ | ||
+ | $L(A,B,\pi)=a_{i_1}b_{i_1o_1}a_{i_1i_2}b_{i_2o_}...a_{i_{T-1}i_T}b_{i_To_T}$\\ | ||
+ | Log-likehood 值为\\ | ||
+ | $l(A,B,\pi)=\sum_{i=1}^Mf_{i0}ln(a_i)+\sum_{i=1}^M\sum_{j=1}^Mf_{ij}ln(a_{ij})+\sum_{i=1}^M\sum_{o(i)}ln(b_{io})$\\ | ||
+ | 最大似然估计就是要求以下参量:\\ | ||
+ | $a_i=\frac{f_{i0}}{1} a_ij=\frac{f_{ij}}{\sum_{j=1}^Mf_{ij}}$\\ | ||
+ | |||
+ | 由于直接从似然函数求最大似然估计过于困难,人们采用一些技术来计算: | ||
+ | - The Segmental K-means Algorith | ||
+ | - The Baum-Welch (E-M) Algorithm | ||
+ | |||
+ | |||
+ | |||
+ | <note important> 本节编撰作者(请大家在这里报到): | ||
+ | * [[xxxx@xxx.xxx|余宙]] (ID: 11021026), 编写了定义 | ||
+ | * [[xxxx@xxx.xxx|孙舒扬]] (ID: 11021022), 编写了4.1 贝叶斯网络 | ||
+ | * [[yuzhirenzhe@zju.edu.cn|于智]] (ID: 11021025), 编写了4.4 最大似然估计 | ||
+ | * [[xxxx@xxx.xxx|张晨逸]] (ID: 11021027), 编写了4.2 图模型的常用推导方法 | ||
+ | * [[xxxx@xxx.xxx|吴越]] (ID: 11021024), 编写了4.3隐马尔可夫模型 | ||
+ | * [[xxxx@xxx.xxx|AuthorName6]] (ID: xxxxxxxxx), 编写了... | ||
+ | |||
+ | 浙江大学2008-2010版权所有,如需转载或引用,请与[[zhx@cad.zju.edu.cn | 作者联系]]。 | ||
+ | </note> |