深度学习500问-Tan-10第十章 迁移学习.pdf

1、 结 构 时 一 个 随 机 生 成 、 且 保 持 不 变 的 储 备 池 (Reservoir)， 储 备 池 是 大 规 模 的 、随 机 生 成 的 、 稀 疏 连 接 (SD通 常 保 持 1% 5%， SD表 示 储 备 池 中 互 相 连 接 的 神 经 元 占 总 的 神经 元 个 数 N的 比 例 )的 循 环 结 构 ；（ 2） 其 储 备 池 到 输 出 层 的 权 值 矩 阵 是 唯 一 需 要 调 整 的 部 分 ；223（ 3） 简 单 的 线 性 回 归 就 可 完 成 网 络 的 训 练 。从 结 构 上 讲 ， ESNs是 一 种 特 殊 类 型 的 循 环

2、神 经 网 络 ， 其 基 本 思 想 是 ： 使 用 大 规 模 随 机 连接 的 循 环 网 络 取 代 经 典 神 经 网 络 中 的 中 间 层 ， 从 而 简 化 网 络 的 训 练 过 程 。 因 此 ESNs的 关 键 是中 间 的 储 备 池 。 网 络 中 的 参 数 包 括 ： W 为 储 备 池 中 节 点 的 连 接 权 值 矩 阵 ， Win为 输 入 层 到 储备 池 之 间 的 连 接 权 值 矩 阵 ， 表 明 储 备 池 中 的 神 经 元 之 间 是 连 接 的 ， Wback为 输 出 层 到 储 备 池 之间 的 反 馈 连 接 权 值 矩 阵 ， 表

3、明 储 备 池 会 有 输 出 层 来 的 反 馈 ， Wout为 输 入 层 、 储 备 池 、 输 出 层到 输 出 层 的 连 接 权 值 矩 阵 ， 表 明 输 出 层 不 仅 与 储 备 池 连 接 ， 还 与 输 入 层 和 自 己 连 接 。 Woutbias表 示 输 出 层 的 偏 置 项 。 对 于 ESNs， 关 键 是 储 备 池 的 四 个 参 数 ， 如 储 备 池 内 部 连 接 权 谱 半 径 SR(SR=max=max|W的 特 征 指 |， 只 有 SR1时 ， ESNs才 能 具 有 回 声 状 态 属 性 )、 储 备 池 规 模 N(即 储 备 池 中

4、 神 经 元的 个 数 )、 储 备 池 输 入 单 元 尺 度 IS(IS为 储 备 池 的 输 入 信 号 连 接 到 储 备 池 内 部 神 经 元 之 前 需 要 相乘 的 一 个 尺 度 因 子 )、 储 备 池 稀 疏 程 度 SD(即 为 储 备 池 中 互 相 连 接 的 神 经 元 个 数 占 储 备 池 神 经元 总 个 数 的 比 例 )。 对 于 IS， 如 果 需 要 处 理 的 任 务 的 非 线 性 越 强 ， 那 么 输 入 单 元 尺 度 越 大 。 该原 则 的 本 质 就 是 通 过 输 入 单 元 尺 度 IS， 将 输 入 变 换 到 神 经 元 激

5、活 函 数 相 应 的 范 围 (神 经 元 激 活函 数 的 不 同 输 入 范 围 ， 其 非 线 性 程 度 不 同 )。 ESNs的 结 构 如 下 图 所 示 ：2246.6.5 G ated Recurrent Unit Recurrent Neural NetworksGRUs也 是 一 般 的 RNNs的 改 良 版 本 ， 主 要 是 从 以 下 两 个 方 面 进 行 改 进 。一 是 ， 序 列 中 不 同 的 位 置 处 的 单 词 (已 单 词 举 例 )对 当 前 的 隐 藏 层 的 状 态 的 影 响 不 同 ， 越 前面 的 影 响 越 小 ， 即 每 个 前

6、面 状 态 对 当 前 的 影 响 进 行 了 距 离 加 权 ， 距 离 越 远 ， 权 值 越 小 。二 是 ， 在 产 生 误 差 error 时 ， 误 差 可 能 是 由 某 一 个 或 者 几 个 单 词 而 引 发 的 ， 所 以 应 当 仅 仅对 对 应 的 单 词 weight进 行 更 新 。 GRUs的 结 构 如 下 图 所 示 。 GRUs首 先 根 据 当 前 输 入 单 词 向 量wordvector 已 经 前 一 个 隐 藏 层 的 状 态 hiddenstate计 算 出 updategate和 resetgate。 再 根 据 resetgate、 当 前

7、 wordvector 以 及 前 一 个 hiddenstate计 算 新 的 记 忆 单 元 内 容 (newmemorycontent)。当 resetgate为 1的 时 候 ， newmemorycontent忽 略 之 前 的 所 有 memorycontent， 最 终 的 memory是 之 前 的 hiddenstate与 newmemorycontent的 结 合 。6.6.6 LSTM NetwoorksLSTMs与 GRUs 类 似 ， 目 前 非 常 流 行 。 它 与 一 般 的 RNNs结 构 本 质 上 并 没 有 什 么 不 同 ，只 是 使 用 了 不 同

8、的 函 数 去 去 计 算 隐 藏 层 的 状 态 。 在 LSTMs中 ， i结 构 被 称 为 cells， 可 以 把 cells看 作 是 黑 盒 用 以 保 存 当 前 输 入 xt之 前 的 保 存 的 状 态 ht1， 这 些 cells更 加 一 定 的 条 件 决 定 哪 些cell抑 制 哪 些 cell兴 奋 。 它 们 结 合 前 面 的 状 态 、 当 前 的 记 忆 与 当 前 的 输 入 。 已 经 证 明 ， 该 网 络结 构 在 对 长 序 列 依 赖 问 题 中 非 常 有 效 。 LSTMs的 网 络 结 构 如 下 图 所 示 。225LSTMs与 GR

9、Us的 区 别 如 图 所 示 ：从 上 图 可 以 看 出 ， 它 们 之 间 非 常 相 像 ， 不 同 在 于 ：（ 1） newmemory的 计 算 方 法 都 是 根 据 之 前 的 state及 input进 行 计 算 ， 但 是 GRUs中 有 一个 resetgate控 制 之 前 state的 进 入 量 ， 而 在 LSTMs里 没 有 这 个 gate；（ 2） 产 生 新 的 state的 方 式 不 同 ， LSTMs有 两 个 不 同 的 gate， 分 别 是 forgetgate(fgate)和inputgate(igate)， 而 GRUs只 有 一 个

10、updategate(zgate)；（ 3） LSTMs对 新 产 生 的 state又 一 个 outputgate(ogate)可 以 调 节 大 小 ， 而 GRUs直 接 输 出无 任 何 调 节 。6.6.7 Clockwork RNNs(CW-RNNs)CW-RNNs是 较 新 的 一 种 RNNs模 型 ， 其 论 文 发 表 于 2014年 BeijingICML。226CW-RNNs也 是 一 个 RNNs的 改 良 版 本 ， 是 一 种 使 用 时 钟 频 率 来 驱 动 的 RNNs。 它 将 隐 藏层 分 为 几 个 块 (组 ， Group/Module)， 每 一

11、 组 按 照 自 己 规 定 的 时 钟 频 率 对 输 入 进 行 处 理 。 并 且 为了 降 低 标 准 的 RNNs的 复 杂 性 ， CW-RNNs减 少 了 参 数 的 数 目 ， 提 高 了 网 络 性 能 ， 加 速 了 网 络的 训 练 。 CW-RNNs通 过 不 同 的 隐 藏 层 模 块 工 作 在 不 同 的 时 钟 频 率 下 来 解 决 长 时 间 依 赖 问 题 。将 时 钟 时 间 进 行 离 散 化 ， 然 后 在 不 同 的 时 间 点 ， 不 同 的 隐 藏 层 组 在 工 作 。 因 此 ， 所 有 的 隐 藏 层组 在 每 一 步 不 会 都 同 时

12、 工 作 ， 这 样 便 会 加 快 网 络 的 训 练 。 并 且 ， 时 钟 周 期 小 的 组 的 神 经 元 的 不会 连 接 到 时 钟 周 期 大 的 组 的 神 经 元 ， 只 会 周 期 大 的 连 接 到 周 期 小 的 (认 为 组 与 组 之 间 的 连 接 是有 向 的 就 好 了 ， 代 表 信 息 的 传 递 是 有 向 的 )， 周 期 大 的 速 度 慢 ， 周 期 小 的 速 度 快 ， 那 么 便 是 速度 慢 的 连 速 度 快 的 ， 反 之 则 不 成 立 。 现 在 还 不 明 白 不 要 紧 ， 下 面 会 进 行 讲 解 。 CW-RNNs与 S

13、RNs网 络 结 构 类 似 ， 也 包 括 输 入 层 (Input)、 隐 藏 层 (Hidden)、 输 出 层 (Output)，它 们 之 间 也 有 向 前 连 接 ， 输 入 层 到 隐 藏 层 的 连 接 ， 隐 藏 层 到 输 出 层 的 连 接 。 但 是 与 SRN不 同的 是 ， 隐 藏 层 中 的 神 经 元 会 被 划 分 为 若 干 个 组 ， 设 为 g， 每 一 组 中 的 神 经 元 个 数 相 同 ， 设 为 k，并 为 每 一 个 组 分 配 一 个 时 钟 周 期 Ti T1,T2,.,Tg， 每 一 个 组 中 的 所 有 神 经 元 都 是 全 连

14、 接 ， 但是 组 j到 组 i的 循 环 连 接 则 需 要 满 足 Tj大 于 Ti。 如 下 图 所 示 ， 将 这 些 组 按 照 时 钟 周 期 递 增 从 左到 右 进 行 排 序 ， 即 T1&愀瀀栀琀洀氀鄀顷攭/Ke前台访问/p-159133.html178.63.86.2230冒8眵&淐振愀瀀栀琀洀氀錀/w前台访问/c-0000200005-1-0-0-0-0-0-3-4-1.html157.55.39.2460冔8&眀鄀挀栀琀洀氀销/Ke前台访问/p-132412.html157.55.39.2450冖8&攀瀀栀琀洀氀需恷/Ig前台访问/p-76237.html220.181.125.1860冘8眵&跐櫟攀瀀栀琀洀氀餀鋭/Ke前台访问/p-170135.html54.36.148.1530冚8眵&