斯坦福大学-深度学习基础教程.pdf
《斯坦福大学-深度学习基础教程.pdf》由会员分享,可在线阅读,更多相关《斯坦福大学-深度学习基础教程.pdf(113页珍藏版)》请在文库网上搜索。
1、UFLDL教程From Ufldl说明: 本教程将阐述无监督特征学习和深入学习的主要观点。通过学习,你也将实现多个功能学习 / 深度学习算法,能看到它们为你工作,并学习如何应用 / 适应这些想法到新问题上。本教程假定机器学习的基本知识(特别是熟悉的监督学习,逻辑回归,梯度下降的想法),如果你不熟悉这些想法,我们建议你去这里机器学习课程 (http:/openclassroom.stanford.edu/MainFolder/CoursePage.php?course=MachineLearning) ,并先完成第 II , III , IV章(到逻辑回归)。稀疏自编码器神经网络反向传导算法梯度
2、检验与高级优化自编码算法与稀疏性可视化自编码器训练结果稀疏自编码器符号一览表Exercise:Sparse Autoencoder矢量化编程实现矢量化编程逻辑回归的向量化实现样例神经网络向量化Exercise:Vectorization预处理:主成分分析与白化主成分分析白化实现主成分分析和白化Exercise:PCA in 2DExercise:PCA and WhiteningSoftmax回归Softmax回归Exercise:Softmax Regression自我学习与无监督特征学习自我学习Exercise:Self-Taught LearningDeep Learning - Ngw
3、bx建立分类用深度网络从自我学习到深层网络深度网络概览栈式自编码算法微调多层自编码算法Exercise: Implement deep networks for digit classification自编码线性解码器线性解码器Exercise:Learning color features with Sparse Autoencoders处理大型图像卷积特征提取池化Exercise:Convolution and Pooling注意 : 这条线以上的章节是稳定的。下面的章节仍在建设中,如有变更,恕不另行通知。请随意浏览周围并欢迎提交反馈 / 建议。混杂的MATLAB ModulesStyle
4、 GuideUseful Links混杂的主题数据预处理用反向传导思想求导进阶主题 :稀疏编码稀疏编码稀疏编码自编码表达Exercise:Sparse Coding独立成分分析样式建模独立成分分析Exercise:Independent Component Analysis其它Deep Learning - NgwbxConvolutional trainingRestricted Boltzmann MachinesDeep Belief NetworksDenoising AutoencodersK-meansSpatial pyramids / MultiscaleSlow Featur
5、e AnalysisTiled Convolution Networks英文原文作者 : Andrew Ng, Jiquan Ngiam, Chuan Yu Foo, Yifan Mai, Caroline SuenLanguage : EnglishRetrieved from“http:/deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B“This page was last modified on 7 April 2013, at 18:26.Deep Learning - Ngwbx神经网络From Ufld
6、lContents1 概述2 神经网络模型3 中英文对照4 中文译者概述以监督学习为例,假设我们有训练样本集 ,那么神经网络算法能够提供一种复杂且非线性的假设模型 ,它具有参数 ,可以以此参数来拟合我们的数据。为了描述神经网络,我们先从最简单的神经网络讲起,这个神经网络仅由一个“神经元”构成,以下即是这个“神经元”的图示:这个“神经元”是一个以 及截距 为输入值的运算单元,其输出为 ,其中函数 被称为“激活函数”。在本教程中,我们选用 sigmoid 函数作为 激活函数可以看出,这个单一“神经元”的输入输出映射关系其实就是一个逻辑回归( logisticregression )。虽然本系列教程
7、采用 sigmoid 函数,但你也可以选择双曲正切函数( tanh ):Deep Learning - Ngwbx1 3-4 -8 - Ufl d l2/ 6d ee pl e arni n g.sta nford .e d u /wi ki/ ind ex.p hp / #.E 4 .B 8 .A D.E6 .9 6.8 7.E8 .A F.9 1.E 8 .80 .8 5以下分别是 sigmoid 及 tanh 的函数图像函数是 sigmoid 函数的一种变体,它的取值范围为 ,而不是 sigmoid 函数的 。注意,与其它地方(包括 OpenClassroom公开课以及斯坦福大学 CS2
8、29课程)不同的是,这里我们不再令 。取而代之,我们用单独的参数 来表示截距。最后要说明的是,有一个等式我们以后会经常用到:如果选择 ,也就是 sigmoid 函数,那么它的导数就是 (如果选择 tanh 函数,那它的导数就是 ,你可以根据 sigmoid (或 tanh )函数的定义自行推导这个等式。Deep Learning - Ngwbx1 3-4 -8 - Ufl d l3/ 6d ee pl e arni n g.sta nford .e d u /wi ki/ ind ex.p hp / #.E 4 .B 8 .A D.E6 .9 6.8 7.E8 .A F.9 1.E 8 .80
9、 .8 5神经网络模型所谓神经网络就是将许多个单一“神经元”联结在一起,这样,一个“神经元”的输出就可以是另一个“神经元”的输入。例如,下图就是一个简单的神经网络:我们使用圆圈来表示神经网络的输入,标上“ ”的圆圈被称为 偏置节点 ,也就是截距项。神经网络最左边的一层叫做 输入层 ,最右的一层叫做 输出层 (本例中,输出层只有一个节点)。中间所有节点组成的一层叫做 隐藏层 ,因为我们不能在训练样本集中观测到它们的值。同时可以看到,以上神经网络的例子中有 3个 输入单元 (偏置单元不计在内), 3个 隐藏单元 及一个 输出单元 。我们用 来表示网络的层数,本例中 ,我们将第 层记为 ,于是 是输
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 斯坦福大学 深度 学习 基础教程