深度学习500问-Tan-08第八章 图像分割.pdf

1、， 避 免 平 均 池 化 （ averagepooling） 的 平 均 效 应 使 用 NVIDIAGTX580GPU减 少 训 练 时 间 当 时 ， GPU比 CPU提 供 了 更 多 的 核 心 ， 可 以 将 训 练 速 度 提 升 10倍 ， 从 而 允 许 使 用 更 大 的数 据 集 和 更 大 的 图 像 。4.3可视化ZFNet-解卷积4.3.1 基 本 的 思 想 及 其 过 程可 视 化 技 术 揭 露 了 激 发 模 型 中 每 层 单 独 的 特 征 图 ， 也 允 许 观 察 在 训 练 阶 段 特 征 的 演 变 过 程且 诊 断 出 模 型 的 潜 在 问

2、题 。136可 视 化 技 术 用 到 了 多 层 解 卷 积 网 络 ， 即 由 特 征 激 活 返 回 到 输 入 像 素 空 间 。同 时 进 行 了 分 类 器 输 出 的 敏 感 性 分 析 ， 即 通 过 阻 止 部 分 输 入 图 像 来 揭 示 那 部 分 对 于 分 类 是重 要 的 。这 个 可 视 化 技 术 提 供 了 一 个 非 参 数 的 不 变 性 来 展 示 来 自 训 练 集 的 哪 一 块 激 活 哪 个 特 征 图 ，不 仅 需 要 裁 剪 输 入 图 片 ， 而 且 自 上 而 下 的 投 影 来 揭 露 来 自 每 块 的 结 构 激 活 一 个 特

3、征 图 。可 视 化 技 术 依 赖 于 解 卷 积 操 作 ， 即 卷 积 操 作 的 逆 过 程 ， 将 特 征 映 射 到 像 素 上 。 由 于 解 卷 积是 一 种 非 监 督 学 习 ， 因 此 只 能 作 为 已 经 训 练 过 的 卷 积 网 的 探 究 ， 不 能 用 作 任 何 学 习 用 途 。4.3.2 卷 积 与 解 卷 积下 图 为 卷 积 过 程解 卷 积 过 程非 池 化 ： 池 化 操 作 是 非 可 逆 的 ， 但 是 我 们 可 以 用 一 组 转 换 变 量 switch在 每 个 池 化 区 域 中通 过 记 录 最 大 值 的 位 置 来 获 得 一

4、 个 近 似 逆 。 在 解 卷 积 网 中 ， 非 池 化 操 作 使 用 这 些 转 换 来 放 置 上述 最 大 值 的 位 置 ， 保 存 激 活 的 位 置 ， 其 余 位 置 都 置 0。 纠 正 ： 卷 积 网 中 使 用 非 线 性 的 ReLU 来 修 改 特 征 图 来 确 保 特 征 图 总 是 正 值 。 为 了 获 得 在每 层 的 有 效 （ 也 应 该 是 正 值 ） 的 特 征 重 建 ， 也 在 解 卷 积 网 中 利 用 了 ReLU。137滤 波 ： 解 卷 积 网 中 利 用 卷 积 网 中 的 相 同 的 滤 波 器 的 转 置 应 用 到 纠 正 过

5、 的 特 征 图 中 ， 而 不是 上 层 的 输 出 。 也 就 是 对 滤 波 器 进 行 水 平 方 向 和 垂 直 方 向 的 翻 转 。 从 高 层 向 下 投 影 使 用 转 换 变量 switch， 这 个 转 化 变 量 switch产 生 自 向 上 的 卷 积 网 的 最 大 池 化 操 作 。 由 于 重 建 由 一 个 单 独 的激 活 获 得 ， 因 此 也 就 只 对 应 于 原 始 输 入 图 像 的 一 小 块 。上 图 左 半 部 分 是 一 个 解 卷 积 层 ， 右 半 部 分 为 一 个 卷 积 层 。 解 卷 积 层 将 会 重 建 一 个 来 自 下

6、 一层 的 卷 积 特 征 近 似 版 本 。 图 中 使 用 switc来 记 录 在 卷 积 网 中 进 行 最 大 池 化 操 作 时 每 个 池 化 区 域的 局 部 最 大 值 的 位 置 ， 经 过 非 池 化 操 作 之 后 ， 原 来 的 非 最 大 值 的 位 置 都 置 为 0。4.3.3 卷 积 可 视 化预 处 理 ： 网 络 对 输 入 图 片 进 行 预 处 理 ， 裁 剪 图 片 中 间 的 256x256区 域 ， 并 减 去 整 个 图 像 每个 像 素 的 均 值 ， 然 后 用 10个 不 同 的 对 256x256图 像 进 行 224x224的 裁 剪

7、 （ 中 间 区 域 加 上 四 个角 落 ， 以 及 他 们 的 水 平 翻 转 图 像 ） ， 对 以 128个 图 片 分 的 块 进 行 随 机 梯 度 下 降 法 来 更 新 参 数 。起 始 学 习 率 为 2-10 ， 动 量 为 0.9， 当 验 证 集 误 差 停 滞 时 ， 手 动 调 整 学 习 率 。 在 全 连 接 网 络 中 使用 概 率 为 0.5 的 dropout， 并 且 所 有 权 值 都 初 始 化 为 2-10 ， 偏 置 设 为 0。 在 训 练 时 第 一 层的 可 视 化 揭 露 了 一 些 占 主 导 的 因 素 ， 为 了 了 解 这 些 ，

8、 我 们 采 用 重 新 归 一 化 每 个 卷 积 层 的 滤 波 器 ，138这 些 滤 波 器 的 均 方 根 值 超 过 了 一 个 固 定 半 径 的 1-10 。 这 是 非 常 关 键 的 ， 尤 其 是 在 模 型 中 的 第 一层 ， 因 为 输 出 图 片 大 约 在 -128,128的 范 围 内 。 特 征 可 视 化 ： 每 个 特 征 单 独 投 影 到 像 素 空 间 揭 露 了 不 同 的 结 构 能 刺 激 不 同 的 一 个 给 定 的 特征 图 ， 因 此 展 示 了 它 对 于 变 形 的 输 入 内 在 的 不 变 性 。 下 图 即 在 一 个 已

9、经 训 练 好 的 网 络 中 可 视 化后 的 图 。由 上 图 可 以 看 到 第 二 层 应 对 角 落 和 其 他 边 缘 或 者 颜 色 的 结 合 ； 第 三 层 有 更 加 复 杂 的 不 变 性 ，捕 捉 到 了 相 似 的 纹 理 ； 第 四 层 显 示 了 特 定 类 间 显 著 的 差 异 性 ； 第 五 层 显 示 了 有 显 著 构 成 变 化 的整 个 物 体 。 训 练 时 的 特 征 演 变 过 程 ： 外 表 突 然 的 变 化 导 致 图 像 中 的 一 个 变 换 即 产 生 了 最 强 烈 的 激 活 。庨庨学出版社，2001.（3）李伟.民族旅游地文化

10、变迁与发展研究M.北京：民族出版社，2005.（4）朱耀廷：中华文物古迹游，北京大学出版社，2004（5）英 戴伦J蒂莫西，斯蒂芬W 博伊德，遗产旅游（Heritage Tourism）M,程尽能主译，北京：旅游教育出版社，20073.谢彦君.旅游体验研究一种现象学的视角M.天津：南开大学出版社，2005（1）谢彦君，基础旅游学，北京：中国旅游教育出版社，1999.（2）托马斯古德尔，杰弗瑞戈比.人类思想史中的休闲M.昆明：云南人民出版社，2000（3）杰弗瑞戈比.你生命中的休闲M.昆明：云南人民出版社，2000（4）郝苏民，文化.抢救 保护非物质文化遗产：西北各民族在行动M. 北京：民族出版

11、社，2006. 必读的旅游外文期刊：Annals of Tourism Research（图书馆藏有）其他文化类相关核心期刊（CSSCI 为主）憂憂偏差为 0.1mm（而不是 1mm） 。这个结果才能和 Fig.8、Fig.10 相比较。4.3 关于程序模型误差的鲁棒性在 2.2 节中已经表明过程特性，特别是增益 K，在操作是的变化可以预见。一个好的控制设计应该把这个列入其中。此外，用于噪声抑制的低通滤波器，有意的未建模已在 4.2 节中说明，也需要设计控制系统鲁棒性的模型误差。为了设计一个控制系统，通过仿真做了彻底调查，显示能够在性能和鲁棒性之间找到一个很好的平衡。仿真中得出了一套设计参数，

12、其中的结果在 Fig9和 10 中。把这些设计参数应用到所有的控制方法（DIRAC 和 EPSAC）中在以下的状况下仍然能够运行：-流程图中当设计的标定值 K=1.1（l/s ）/%时，增益 K 的变化范围在0.5K2。-流程图中当设计的标定值 时，时间常量的变化范围在。-环路中的补充时间滞后为 。例如，Fig.13 展示了 K=1.6 状态下时 EPSAC 的结果（与 Fig.10 相比；请注意 Fig.13 中无噪声抑制） 。5.结论连铸机结晶器液位控制的研究。两种方法，一是有自整定的 PID 串级控制，二是预测控制策略，其结果相比经典的工业控制器更卓越。主从 PID 控制的优点是简单。一

13、个高效优化的方法在鲁棒性和假设有自调谐的性能之间取舍，但是这需要附加的算法。基于模型的预测控制方法的优点是简单，为了能够在鲁棒性和性能之间取得高效的平衡。它只需要在线调节一个调谐旋钮。它在这种过程中特别有用，它的特征是在操作中有大量参数在变化。然而,预测控制器的算法计算要求更高，尽管所有的计算能够在标准 PC 的采样周期 0.1s 内完成。为了进一步地区分两种方法，在铸造生产线的现场试验正在进行。170第 五 章 卷 积 神 经 网 络 (CNN)5.1卷积神经网络的组成层在 卷 积 神 经 网 络 中 ， 有 3种 最 主 要 的 层 ： 卷 积 运 算 层 pooling层 全 连 接 层

14、一 个 完 整 的 神 经 网 络 就 是 由 这 三 种 层 叠 加 组 成 的 。结 构 示 例拿 CIFAR-10数 据 集 举 例 ， 一 个 典 型 的 该 数 据 集 上 的 卷 积 神 经 网 络 分 类 器 应 该 有 INPUT-CONV-RELU-POOL-FC的 结 构 ， 具 体 说 来 是 这 样 的 ： INPUT32*32*3包 含 原 始 图 片 数 据 中 的 全 部 像 素 ， 长 宽 都 是 32， 有 RGB3个 颜 色 通 道 。 CONV卷 积 层 中 ， 没 个 神 经 元 会 和 上 一 层 的 若 干 小 区 域 连 接 ， 计 算 权 重 和

15、 小 区 域 像 素 的 内积 ， 举 个 例 子 可 能 产 出 的 结 果 数 据 是 32*32*12的 。 RELU层 ， 就 是 神 经 元 激 励 层 ， 主 要 的 计 算 就 是 max(0,x)， 结 果 数 据 依 旧 是 32*32*12。 POOLing层 做 的 事 情 ， 可 以 理 解 成 一 个 下 采 样 ， 可 能 得 到 的 结 果 维 度 就 变 为 16*16*12了 。 全 连 接 层 一 般 用 于 最 后 计 算 类 别 得 分 ， 得 到 的 结 果 为 1*1*10的 ， 其 中 的 10对 应 10个 不同 的 类 别 。 和 名 字 一

16、样 ， 这 一 层 的 所 有 神 经 元 会 和 上 一 层 的 所 有 神 经 元 有 连 接 。这 样 ， 卷 积 神 经 网 络 作 为 一 个 中 间 的 通 道 ， 就 一 步 步 把 原 始 的 图 像 数 据 转 成 最 后 的 类 别 得分 了 。 有 一 个 点 我 们 要 提 一 下 ， 刚 才 说 到 了 有 几 种 不 同 的 神 经 网 络 层 ， 其 中 有 一 些 层 是 有 待 训练 参 数 的 ， 另 外 一 些 没 有 。 详 细 一 点 说 ， 卷 积 层 和 全 连 接 层 包 含 权 重 和 偏 移 的 ； 而 RELU 和POOLing层 只 是

17、一 个 固 定 的 函 数 运 算 ， 是 不 包 含 权 重 和 偏 移 参 数 的 。 不 过 POOLing 层 包 含 了我 们 手 动 指 定 的 超 参 数 ， 这 个 我 们 之 后 会 提 到 。总 结 一 下 ：（ 1） 一 个 卷 积 神 经 网 络 由 多 种 不 同 类 型 的 层 (卷 几 层 /全 连 接 层 /RELU 层 /POOLing 层 等 )叠 加 而 成 。（ 2） 每 一 层 的 输 入 结 构 是 3维 的 数 据 ， 计 算 完 输 出 依 旧 是 3维 的 数 据 。（ 3） 卷 积 层 和 全 连 接 层 包 含 训 练 参 数 ， RELU

18、和 POOLing层 不 包 含 。（ 4） 卷 积 层 ， 全 连 接 层 和 POOLing层 包 含 超 参 数 ， RELU层 没 有 。下 图 为 CIFAR-10数 据 集 构 建 的 一 个 卷 积 神 经 网 络 结 构 示 意 图 ：1715.2卷积如何检测边缘信息？卷 积 运 算 是 卷 积 神 经 网 络 最 基 本 的 组 成 部 分 ， 神 经 网 络 的 前 几 层 首 先 检 测 边 缘 ， 然 后 ， 后面 的 层 有 可 能 检 测 到 物 体 的 部 分 区 域 ， 更 靠 后 的 一 些 层 可 能 检 测 到 完 整 的 物 体 。先 介 绍 一 个 概

19、 念 ， 过 滤 器 ：这 是 一 个 3*3的 过 滤 器 ， 是 一 个 矩 阵 ， 数 值 如 上 所 示 。假 设 我 们 有 一 个 6*6的 灰 度 图 像 ：172把 这 个 图 像 与 过 滤 器 进 行 卷 积 运 算 ， 卷 积 运 算 在 此 处 用 “*”表 示 。我 们 看 一 下 发 生 了 什 么 事 ， 把 过 滤 器 最 准 图 像 左 上 方 3*3的 范 围 ， 逐 一 相 乘 并 相 加 ， 得 到-5。 同 理 ， 将 过 滤 器 右 移 进 行 相 同 操 作 ， 再 下 移 ， 直 到 过 滤 器 对 准 图 像 右 下 角 最 后 一 格 。 依

20、 次运 算 得 到 一 个 4*4的 矩 阵 。OK， 了 解 了 过 滤 器 以 及 卷 积 运 算 后 ， 让 我 们 看 看 为 何 过 滤 器 能 检 测 物 体 边 缘 ：举 一 个 最 简 单 的 例 子 ：173这 张 图 片 如 上 所 示 ， 左 半 边 全 是 白 的 ， 右 半 边 全 是 灰 的 ， 过 滤 器 还 是 用 之 前 那 个 ， 把 他 们进 行 卷 积 ：可 以 看 到 ， 最 终 得 到 的 结 果 中 间 是 一 段 白 色 ， 两 边 为 灰 色 ， 于 是 垂 直 边 缘 被 找 到 了 。 为 什么 呢 ？ 因 为 在 6*6图 像 中 红 框

21、 标 出 来 的 部 分 ， 也 就 是 图 像 中 的 分 界 线 所 在 部 分 ， 与 过 滤 器 进 行卷 积 ， 结 果 是 30。 而 在 不 是 分 界 线 的 所 有 部 分 进 行 卷 积 ， 结 果 都 为 0.在 这 个 图 中 ， 白 色 的 分 界 线 很 粗 ， 那 是 因 为 6*6的 图 像 实 在 太 小 了 ， 若 是 换 成 1000*1000的 图 像 ， 我 们 会 发 现 在 最 终 结 果 中 ， 分 界 线 不 粗 且 很 明 显 。这 就 是 检 测 物 体 垂 直 边 缘 的 例 子 ， 水 平 边 缘 的 话 只 需 将 过 滤 器 旋 转

22、 90度 。1745.2卷积的几个基本定义？首 先 ， 我 们 需 要 就 定 义 一 个 卷 积 层 的 几 个 参 数 达 成 一 致 。5.2.1 卷 积 核 大 小（ KernelSize） :卷 积 核 的 大 小 定 义 了 卷 积 的 视 图 范 围 。 二 维 的 常 见 选 择 大 小 是 3， 即 33像 素 。5.2.2 卷 积 核 的 步 长（ Stride） :Stride定 义 了 内 核 的 步 长 。 虽 然 它 的 默 认 值 通 常 为 1， 但 我 们 可 以 将 步 长 设 置为 2， 然 后 对 类 似 于 MaxPooling的 图 像 进 行 向

23、下 采 样 。5.2.3 边 缘 填 充（ Padding） :Padding用 于 填 充 输 入 图 像 的 边 界 。 一 个 (半 )填 充 的 卷 积 将 使 空 间 输 出 维 度 与输 入 相 等 ， 而 如 果 卷 积 核 大 于 1， 则 未 被 填 充 的 卷 积 将 会 使 一 些 边 界 消 失 。5.2.4 输 入 和 输 出 通 道:一 个 卷 积 层 接 受 一 定 数 量 的 输 入 通 道 (I)， 并 计 算 一 个 特 定 数 量 的 输 出 通 道 (O)， 这 一 层 所需 的 参 数 可 以 由 I*O*K计 算 ， K等 于 卷 积 核 中 值 的

24、 数 量 。5.3卷积网络类型分类？5.3.1 普 通 卷 积举 例 ：175大 小 为 3的 卷 积 核 ， 步 长 为 1并 且 被 填 充 的 二 维 卷 积5.3.2 扩 张 卷 积又 名 带 洞 的 （ atrous） 卷 积 ， 扩 张 的 卷 积 引 入 了 另 一 个 被 称 为 扩 张 率 （ dilationrate） 的 卷积 层 。 这 定 义 了 卷 积 核 中 值 之 间 的 间 隔 。 一 个 3 3卷 积 核 的 扩 张 率 为 2， 它 的 视 图 与 5 5卷积 核 相 同 ， 而 只 使 用 9个 参 数 。 想 象 一 下 ， 取 一 个 5 5卷 积

25、核 ， 每 两 行 或 两 列 删 除 一 行 或 一列 。 这 将 以 同 样 的 计 算 代 价 提 供 更 广 阔 的 视 角 。 扩 张 的 卷 积 在 实 时 分 割 领 域 特 别 受 欢 迎 。 如 果需 要 广 泛 的 视 图 ， 并 且 不 能 负 担 多 个 卷 积 或 更 大 的 卷 积 核 ， 那 么 就 使 用 它 们 。举 例 ：卷 积 核 大 小 为 3、 扩 张 率 为 2并 且 无 边 界 扩 充 的 二 维 卷 积1765.3.3 转 置 卷 积转 置 卷 积 也 就 是 反 卷 积 （ deconvolution） 。 虽 然 有 些 人 经 常 直 接

26、叫 它 反 卷 积 ， 但 严 格 意 义上 讲 是 不 合 适 的 ， 因 为 它 不 符 合 一 个 反 卷 积 的 概 念 。 反 卷 积 确 实 存 在 ， 但 它 们 在 深 度 学 习 领 域并 不 常 见 。 一 个 实 际 的 反 卷 积 会 恢 复 卷 积 的 过 程 。 想 象 一 下 ， 将 一 个 图 像 放 入 一 个 卷 积 层 中 。现 在 把 输 出 传 递 到 一 个 黑 盒 子 里 ， 然 后 你 的 原 始 图 像 会 再 次 出 来 。 这 个 黑 盒 子 就 完 成 了 一 个 反卷 积 。 这 是 一 攀瀀栀琀洀氀茀萀俁/Ic前台访问/d-30563

27、.html157.55.39.24608眵挀瀀栀琀洀氀蔀俉/u前台访问/c-00020-10-4019-0-0-0-0-9-0-0.html157.55.39.24608眵淐笳挀瀀栀琀洀氀蜀俧/Ig前台访问/p-91749.html220.181.125.18608眵攀瀀栀琀洀氀褀俲/Ga前台访问/p-3332.html54.36.148.11708眵愀瀀栀琀洀氀謀堀個/前台访问/search.html?p=0&q=%E5%87%80%E5%8C%9654.36.148.16508缀餀挀栀琀洀氀贀倗/u前台访问/c-00011-14-2907-0-0-0-0-9-0-1.html40.77.1

28、67.10208眵鸚攀瀀栀琀洀氀輀桷候/Ic前台访问/p-73562.html54.36.148.17608眵最瀀栀琀洀氀鄀倞/前台访问/search.html?p=0&q=%E5%9B%BD%E5%86%8554.36.148.25208礀錀挀栀琀洀氀錀倰/Ke前台访问/p-158457.html178.63.86.22308眵泈最瀀栀琀洀氀销怀遍值吀/Ig前台访问/d-55373.html220.181.125.18608眵鬔攀瀀栀琀洀氀需偎/Ig前台访问/p-77659.html220.181.125.18608眵勔挀瀀栀琀洀氀餀偒僭/前台访问/c-0000800005-9-751-0-0-0-0-9-0-2.html157.55.39.24608眵吀攀瀀栀琀洀氀鬀w偔鰍/Ic前台访问/p-41171.html42.156.139.7408眵唬愀瀀栀琀洀氀鴀塷偖/Kc前台访问/p-182284.html