模式识别与机器学习 中文版.pdf
《模式识别与机器学习 中文版.pdf》由会员分享,可在线阅读,更多相关《模式识别与机器学习 中文版.pdf(476页珍藏版)》请在文库网上搜索。
1、模式识别与机器学习 马春鹏 October 26, 2014 1录 1 绪论 9 1.1 例:多项式曲线拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.2 概率论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.2.1 概率密度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2、. . . . . . . . . 20 1.2.2 期望和协差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.2.3 贝叶斯概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 1.2.4 斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.2.5 重新考察
3、曲线拟合问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 1.2.6 贝叶斯曲线拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 1.3 模型选择 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 1.4 维度灾难 . . . . . . . . . . . . . . . .
4、. . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 1.5 决策论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 1.5.1 最化错误分类率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 1.5.2 最化期望损失 . . . . . . . . . . . . . . . . . . . . .
5、. . . . . . . . . . . . . . 35 1.5.3 拒绝选项 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 1.5.4 推断和决策 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 1.5.5 回归问题的损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 1.6
6、 信息论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 1.6.1 相对熵和互信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 1.7 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2 概率分布 52 2.1
7、 元变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 2.1.1 Beta分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 2.2 多项式变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 2.2.1 狄利克雷分布
8、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 2.3 斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 2.3.1 条件斯分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 2.3.2 边缘斯分布 . . . . . . . . . . . . . .
9、 . . . . . . . . . . . . . . . . . . . . . . 65 2.3.3 斯变量的贝叶斯定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 2.3.4 斯分布的最似然估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 2.3.5 顺序估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 2.
10、3.6 斯分布的贝叶斯推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.3.7 学 t分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 2.3.8 周期变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 2.3.9 混合斯模型 . . . . . . . . . . . .
11、. . . . . . . . . . . . . . . . . . . . . . . . 81 2.4 指数族分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 2.4.1 最似然与充分统计量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 2.4.2 共轭先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12、. . . . . . . . . 87 2.4.3 信息先验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 2.5 参数化法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 2.5.1 核密度估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 2.5.
13、2 近邻法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 2.6 练习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 3 回归的线性模型 101 3.1 线性基函数模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 3.1
14、.1 最似然与最平 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 3.1.2 最平的何描述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 3.1.3 顺序学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 23.1.4 正则化最平 . . . . . . . . . . . . . . . . . .
15、 . . . . . . . . . . . . . . . . . 105 3.1.5 多个输出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.2 偏置-差分解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 3.3 贝叶斯线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
16、 . . . . . . . . 111 3.3.1 参数分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 3.3.2 预测分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 3.3.3 等价核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
17、16 3.4 贝叶斯模型较 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 3.5 证据近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 3.5.1 计算证据函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 3.5.2 最化证据函数 .
18、 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 3.5.3 参数的有效数量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124 3.6 固定基函数的局限性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 3.7 练习 . . . . . . . . . . . . . . . . . . . .
19、. . . . . . . . . . . . . . . . . . . . . . . . . . 126 4 分类的线性模型 130 4.1 判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 4.1.1 分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131 4.1.2 多分类 . . . . . . . . . . . .
20、. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 4.1.3 于分类的最平法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133 4.1.4 Fisher线性判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 4.1.5 与最平的关系 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
21、. . . . 137 4.1.6 多分类的 Fisher判别函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 4.1.7 感知器算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 4.2 概率成式模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141 4.2.1 连续输 . . . .
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 模式识别 机器 学习 中文版