Differences

This shows you the differences between two versions of the page.

--- keynote:lesson02 [2010/03/27 12:11]
10921007
+++ keynote:lesson02 [2010/03/30 09:09]
10921070
@@ Line 96: / Line 96: @@
 如果一个确定发生的事件发生了，那么确定性没有任何变化，所以得到的信息为0。而如果小概率的事件发生了，那么将得到比可能发生的事情更多的信息量。所以信息量与事件发生的概率成反比。\\
 举例来说：设字母表为{$S_1，S_2，S_3，。。。S_n$}
-那么每个符号$S_i$的概率为$P(S_i)=P_i(P_i>=0 且 \sum_{i=1}^{n}P_i=1)$,
+那么每个符号$S_i$的概率为$P(S_i)=P_i(P_i>=0 且 \sum_{i=1}^{n}P_i=1)$\\
-对两个不相关的事件来说，
+对两个不相关的事件来说，I($S_iS_j)=I(S_i)+I(S_j)$\\
+P($S_iS_j)=P(S_i)P(S_j)$
+从这两个关系式中可以看出，I($S_i$)应该以P($S_i$)对数形式给出，所以有\\
+I($S_i$)=-$log_2P_i$\\
+所以每个符号的平均信息是 $E_t=-\sum_{i=1}^{M}P_ilog_2P_i$
+这就是“熵”\\
+用熵建立一个信息增量的方程\\
+{{:keynote:infogain.jpg|}}\\
+信息增量最大的属性就是最佳的属性\\
 <note important> Revised by Li Xin （李昕）, <lixin@zjucadcg.com> </note>
@@ Line 125: / Line 132: @@
+<note important> Revised by Bin Xu(徐斌), <xu_bin@zju.edu.cn> </note>
 ===== 2.4 支持向量机(SVM) =====

Applied Mathematics for Computer Science