深度学习500问-Tan-08第八章 图像分割.pdf
《深度学习500问-Tan-08第八章 图像分割.pdf》由会员分享,可在线阅读,更多相关《深度学习500问-Tan-08第八章 图像分割.pdf(32页珍藏版)》请在文库网上搜索。
1、, 避 免 平 均 池 化 ( averagepooling) 的 平 均 效 应 使 用 NVIDIAGTX580GPU减 少 训 练 时 间 当 时 , GPU比 CPU提 供 了 更 多 的 核 心 , 可 以 将 训 练 速 度 提 升 10倍 , 从 而 允 许 使 用 更 大 的数 据 集 和 更 大 的 图 像 。4.3可视化ZFNet-解卷积4.3.1 基 本 的 思 想 及 其 过 程可 视 化 技 术 揭 露 了 激 发 模 型 中 每 层 单 独 的 特 征 图 , 也 允 许 观 察 在 训 练 阶 段 特 征 的 演 变 过 程且 诊 断 出 模 型 的 潜 在 问
2、题 。136可 视 化 技 术 用 到 了 多 层 解 卷 积 网 络 , 即 由 特 征 激 活 返 回 到 输 入 像 素 空 间 。同 时 进 行 了 分 类 器 输 出 的 敏 感 性 分 析 , 即 通 过 阻 止 部 分 输 入 图 像 来 揭 示 那 部 分 对 于 分 类 是重 要 的 。这 个 可 视 化 技 术 提 供 了 一 个 非 参 数 的 不 变 性 来 展 示 来 自 训 练 集 的 哪 一 块 激 活 哪 个 特 征 图 ,不 仅 需 要 裁 剪 输 入 图 片 , 而 且 自 上 而 下 的 投 影 来 揭 露 来 自 每 块 的 结 构 激 活 一 个 特
3、征 图 。可 视 化 技 术 依 赖 于 解 卷 积 操 作 , 即 卷 积 操 作 的 逆 过 程 , 将 特 征 映 射 到 像 素 上 。 由 于 解 卷 积是 一 种 非 监 督 学 习 , 因 此 只 能 作 为 已 经 训 练 过 的 卷 积 网 的 探 究 , 不 能 用 作 任 何 学 习 用 途 。4.3.2 卷 积 与 解 卷 积下 图 为 卷 积 过 程解 卷 积 过 程非 池 化 : 池 化 操 作 是 非 可 逆 的 , 但 是 我 们 可 以 用 一 组 转 换 变 量 switch在 每 个 池 化 区 域 中通 过 记 录 最 大 值 的 位 置 来 获 得 一
4、 个 近 似 逆 。 在 解 卷 积 网 中 , 非 池 化 操 作 使 用 这 些 转 换 来 放 置 上述 最 大 值 的 位 置 , 保 存 激 活 的 位 置 , 其 余 位 置 都 置 0。 纠 正 : 卷 积 网 中 使 用 非 线 性 的 ReLU 来 修 改 特 征 图 来 确 保 特 征 图 总 是 正 值 。 为 了 获 得 在每 层 的 有 效 ( 也 应 该 是 正 值 ) 的 特 征 重 建 , 也 在 解 卷 积 网 中 利 用 了 ReLU。137滤 波 : 解 卷 积 网 中 利 用 卷 积 网 中 的 相 同 的 滤 波 器 的 转 置 应 用 到 纠 正 过
5、 的 特 征 图 中 , 而 不是 上 层 的 输 出 。 也 就 是 对 滤 波 器 进 行 水 平 方 向 和 垂 直 方 向 的 翻 转 。 从 高 层 向 下 投 影 使 用 转 换 变量 switch, 这 个 转 化 变 量 switch产 生 自 向 上 的 卷 积 网 的 最 大 池 化 操 作 。 由 于 重 建 由 一 个 单 独 的激 活 获 得 , 因 此 也 就 只 对 应 于 原 始 输 入 图 像 的 一 小 块 。上 图 左 半 部 分 是 一 个 解 卷 积 层 , 右 半 部 分 为 一 个 卷 积 层 。 解 卷 积 层 将 会 重 建 一 个 来 自 下
6、 一层 的 卷 积 特 征 近 似 版 本 。 图 中 使 用 switc来 记 录 在 卷 积 网 中 进 行 最 大 池 化 操 作 时 每 个 池 化 区 域的 局 部 最 大 值 的 位 置 , 经 过 非 池 化 操 作 之 后 , 原 来 的 非 最 大 值 的 位 置 都 置 为 0。4.3.3 卷 积 可 视 化预 处 理 : 网 络 对 输 入 图 片 进 行 预 处 理 , 裁 剪 图 片 中 间 的 256x256区 域 , 并 减 去 整 个 图 像 每个 像 素 的 均 值 , 然 后 用 10个 不 同 的 对 256x256图 像 进 行 224x224的 裁 剪
7、 ( 中 间 区 域 加 上 四 个角 落 , 以 及 他 们 的 水 平 翻 转 图 像 ) , 对 以 128个 图 片 分 的 块 进 行 随 机 梯 度 下 降 法 来 更 新 参 数 。起 始 学 习 率 为 2-10 , 动 量 为 0.9, 当 验 证 集 误 差 停 滞 时 , 手 动 调 整 学 习 率 。 在 全 连 接 网 络 中 使用 概 率 为 0.5 的 dropout, 并 且 所 有 权 值 都 初 始 化 为 2-10 , 偏 置 设 为 0。 在 训 练 时 第 一 层的 可 视 化 揭 露 了 一 些 占 主 导 的 因 素 , 为 了 了 解 这 些 ,
8、 我 们 采 用 重 新 归 一 化 每 个 卷 积 层 的 滤 波 器 ,138这 些 滤 波 器 的 均 方 根 值 超 过 了 一 个 固 定 半 径 的 1-10 。 这 是 非 常 关 键 的 , 尤 其 是 在 模 型 中 的 第 一层 , 因 为 输 出 图 片 大 约 在 -128,128的 范 围 内 。 特 征 可 视 化 : 每 个 特 征 单 独 投 影 到 像 素 空 间 揭 露 了 不 同 的 结 构 能 刺 激 不 同 的 一 个 给 定 的 特征 图 , 因 此 展 示 了 它 对 于 变 形 的 输 入 内 在 的 不 变 性 。 下 图 即 在 一 个 已
9、经 训 练 好 的 网 络 中 可 视 化后 的 图 。由 上 图 可 以 看 到 第 二 层 应 对 角 落 和 其 他 边 缘 或 者 颜 色 的 结 合 ; 第 三 层 有 更 加 复 杂 的 不 变 性 ,捕 捉 到 了 相 似 的 纹 理 ; 第 四 层 显 示 了 特 定 类 间 显 著 的 差 异 性 ; 第 五 层 显 示 了 有 显 著 构 成 变 化 的整 个 物 体 。 训 练 时 的 特 征 演 变 过 程 : 外 表 突 然 的 变 化 导 致 图 像 中 的 一 个 变 换 即 产 生 了 最 强 烈 的 激 活 。庨庨学出版社,2001.(3)李伟.民族旅游地文化
10、变迁与发展研究M.北京:民族出版社,2005.(4)朱耀廷:中华文物古迹游,北京大学出版社,2004(5)英 戴伦J蒂莫西,斯蒂芬W 博伊德,遗产旅游(Heritage Tourism)M,程尽能主译,北京:旅游教育出版社,20073.谢彦君.旅游体验研究一种现象学的视角M.天津:南开大学出版社,2005(1)谢彦君,基础旅游学,北京:中国旅游教育出版社,1999.(2)托马斯古德尔,杰弗瑞戈比.人类思想史中的休闲M.昆明:云南人民出版社,2000(3)杰弗瑞戈比.你生命中的休闲M.昆明:云南人民出版社,2000(4)郝苏民,文化.抢救 保护非物质文化遗产:西北各民族在行动M. 北京:民族出版
11、社,2006. 必读的旅游外文期刊:Annals of Tourism Research(图书馆藏有)其他文化类相关核心期刊(CSSCI 为主)憂憂偏差为 0.1mm(而不是 1mm) 。这个结果才能和 Fig.8、Fig.10 相比较。4.3 关于程序模型误差的鲁棒性在 2.2 节中已经表明过程特性,特别是增益 K,在操作是的变化可以预见。一个好的控制设计应该把这个列入其中。此外,用于噪声抑制的低通滤波器,有意的未建模已在 4.2 节中说明,也需要设计控制系统鲁棒性的模型误差。为了设计一个控制系统,通过仿真做了彻底调查,显示能够在性能和鲁棒性之间找到一个很好的平衡。仿真中得出了一套设计参数,
12、其中的结果在 Fig9和 10 中。把这些设计参数应用到所有的控制方法(DIRAC 和 EPSAC)中在以下的状况下仍然能够运行:-流程图中当设计的标定值 K=1.1(l/s )/%时,增益 K 的变化范围在0.5K2。-流程图中当设计的标定值 时,时间常量的变化范围在。-环路中的补充时间滞后为 。例如,Fig.13 展示了 K=1.6 状态下时 EPSAC 的结果(与 Fig.10 相比;请注意 Fig.13 中无噪声抑制) 。5.结论连铸机结晶器液位控制的研究。两种方法,一是有自整定的 PID 串级控制,二是预测控制策略,其结果相比经典的工业控制器更卓越。主从 PID 控制的优点是简单。一
13、个高效优化的方法在鲁棒性和假设有自调谐的性能之间取舍,但是这需要附加的算法。基于模型的预测控制方法的优点是简单,为了能够在鲁棒性和性能之间取得高效的平衡。它只需要在线调节一个调谐旋钮。它在这种过程中特别有用,它的特征是在操作中有大量参数在变化。然而,预测控制器的算法计算要求更高,尽管所有的计算能够在标准 PC 的采样周期 0.1s 内完成。为了进一步地区分两种方法,在铸造生产线的现场试验正在进行。170第 五 章 卷 积 神 经 网 络 (CNN)5.1卷积神经网络的组成层在 卷 积 神 经 网 络 中 , 有 3种 最 主 要 的 层 : 卷 积 运 算 层 pooling层 全 连 接 层
14、一 个 完 整 的 神 经 网 络 就 是 由 这 三 种 层 叠 加 组 成 的 。结 构 示 例拿 CIFAR-10数 据 集 举 例 , 一 个 典 型 的 该 数 据 集 上 的 卷 积 神 经 网 络 分 类 器 应 该 有 INPUT-CONV-RELU-POOL-FC的 结 构 , 具 体 说 来 是 这 样 的 : INPUT32*32*3包 含 原 始 图 片 数 据 中 的 全 部 像 素 , 长 宽 都 是 32, 有 RGB3个 颜 色 通 道 。 CONV卷 积 层 中 , 没 个 神 经 元 会 和 上 一 层 的 若 干 小 区 域 连 接 , 计 算 权 重 和
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 深度 学习 500 Tan 08 第八 图像 分割