深度学习500问-Tan-10第十章 迁移学习.pdf
《深度学习500问-Tan-10第十章 迁移学习.pdf》由会员分享,可在线阅读,更多相关《深度学习500问-Tan-10第十章 迁移学习.pdf(5页珍藏版)》请在文库网上搜索。
1、 结 构 时 一 个 随 机 生 成 、 且 保 持 不 变 的 储 备 池 (Reservoir), 储 备 池 是 大 规 模 的 、随 机 生 成 的 、 稀 疏 连 接 (SD通 常 保 持 1% 5%, SD表 示 储 备 池 中 互 相 连 接 的 神 经 元 占 总 的 神经 元 个 数 N的 比 例 )的 循 环 结 构 ;( 2) 其 储 备 池 到 输 出 层 的 权 值 矩 阵 是 唯 一 需 要 调 整 的 部 分 ;223( 3) 简 单 的 线 性 回 归 就 可 完 成 网 络 的 训 练 。从 结 构 上 讲 , ESNs是 一 种 特 殊 类 型 的 循 环
2、神 经 网 络 , 其 基 本 思 想 是 : 使 用 大 规 模 随 机 连接 的 循 环 网 络 取 代 经 典 神 经 网 络 中 的 中 间 层 , 从 而 简 化 网 络 的 训 练 过 程 。 因 此 ESNs的 关 键 是中 间 的 储 备 池 。 网 络 中 的 参 数 包 括 : W 为 储 备 池 中 节 点 的 连 接 权 值 矩 阵 , Win为 输 入 层 到 储备 池 之 间 的 连 接 权 值 矩 阵 , 表 明 储 备 池 中 的 神 经 元 之 间 是 连 接 的 , Wback为 输 出 层 到 储 备 池 之间 的 反 馈 连 接 权 值 矩 阵 , 表
3、明 储 备 池 会 有 输 出 层 来 的 反 馈 , Wout为 输 入 层 、 储 备 池 、 输 出 层到 输 出 层 的 连 接 权 值 矩 阵 , 表 明 输 出 层 不 仅 与 储 备 池 连 接 , 还 与 输 入 层 和 自 己 连 接 。 Woutbias表 示 输 出 层 的 偏 置 项 。 对 于 ESNs, 关 键 是 储 备 池 的 四 个 参 数 , 如 储 备 池 内 部 连 接 权 谱 半 径 SR(SR=max=max|W的 特 征 指 |, 只 有 SR1时 , ESNs才 能 具 有 回 声 状 态 属 性 )、 储 备 池 规 模 N(即 储 备 池 中
4、 神 经 元的 个 数 )、 储 备 池 输 入 单 元 尺 度 IS(IS为 储 备 池 的 输 入 信 号 连 接 到 储 备 池 内 部 神 经 元 之 前 需 要 相乘 的 一 个 尺 度 因 子 )、 储 备 池 稀 疏 程 度 SD(即 为 储 备 池 中 互 相 连 接 的 神 经 元 个 数 占 储 备 池 神 经元 总 个 数 的 比 例 )。 对 于 IS, 如 果 需 要 处 理 的 任 务 的 非 线 性 越 强 , 那 么 输 入 单 元 尺 度 越 大 。 该原 则 的 本 质 就 是 通 过 输 入 单 元 尺 度 IS, 将 输 入 变 换 到 神 经 元 激
5、活 函 数 相 应 的 范 围 (神 经 元 激 活函 数 的 不 同 输 入 范 围 , 其 非 线 性 程 度 不 同 )。 ESNs的 结 构 如 下 图 所 示 :2246.6.5 G ated Recurrent Unit Recurrent Neural NetworksGRUs也 是 一 般 的 RNNs的 改 良 版 本 , 主 要 是 从 以 下 两 个 方 面 进 行 改 进 。一 是 , 序 列 中 不 同 的 位 置 处 的 单 词 (已 单 词 举 例 )对 当 前 的 隐 藏 层 的 状 态 的 影 响 不 同 , 越 前面 的 影 响 越 小 , 即 每 个 前
6、面 状 态 对 当 前 的 影 响 进 行 了 距 离 加 权 , 距 离 越 远 , 权 值 越 小 。二 是 , 在 产 生 误 差 error 时 , 误 差 可 能 是 由 某 一 个 或 者 几 个 单 词 而 引 发 的 , 所 以 应 当 仅 仅对 对 应 的 单 词 weight进 行 更 新 。 GRUs的 结 构 如 下 图 所 示 。 GRUs首 先 根 据 当 前 输 入 单 词 向 量wordvector 已 经 前 一 个 隐 藏 层 的 状 态 hiddenstate计 算 出 updategate和 resetgate。 再 根 据 resetgate、 当 前
7、 wordvector 以 及 前 一 个 hiddenstate计 算 新 的 记 忆 单 元 内 容 (newmemorycontent)。当 resetgate为 1的 时 候 , newmemorycontent忽 略 之 前 的 所 有 memorycontent, 最 终 的 memory是 之 前 的 hiddenstate与 newmemorycontent的 结 合 。6.6.6 LSTM NetwoorksLSTMs与 GRUs 类 似 , 目 前 非 常 流 行 。 它 与 一 般 的 RNNs结 构 本 质 上 并 没 有 什 么 不 同 ,只 是 使 用 了 不 同
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 深度 学习 500 Tan 10 第十 迁移