复杂交通环境下基于多任务学习的道路感知方法.pdf
《复杂交通环境下基于多任务学习的道路感知方法.pdf》由会员分享,可在线阅读,更多相关《复杂交通环境下基于多任务学习的道路感知方法.pdf(7页珍藏版)》请在文库网上搜索。
1、 年 无线电工程 第 卷 第 期:引用格式:赵旋,黄崇栋,刘云涛,等复杂交通环境下基于多任务学习的道路感知方法无线电工程,():,():复杂交通环境下基于多任务学习的道路感知方法赵旋,黄崇栋,刘云涛,朱永东(之江实验室,浙江 杭州)摘要:针对复杂交通环境下道路感知能力差、鲁棒性低的问题,提出了一种复杂交通环境下基于多任务学习的道路感知网络(,),可以在复杂交通环境下有效地学习到道路目标的特征信息,提高复杂交通环境下道路感知的准确性和鲁棒性。由一个用于特征提取的编码器和个分别处理车道线检测与可行驶区域识别的解码器组成,特征提取器由个残差块构成的主干网络实现,车道线检测解码器采用提取特征图上对应车
2、道线锚点的全局信息,可行驶区识别解码器采用空间金字塔池化(,)模块提高在复杂交通环境下对道路特征的提取能力。在数据集上的对比实验结果证明了通过类任务的共性增强特征提取能力,能够在保证高效率的同时有效提高道路感知的准确性,适用于复杂交通环境下的道路感知任务。关键词:深度学习;道路感知;多任务学习;车道线检测;可行驶区域识别中图分类号:文献标志码:开放科学(资源服务)标识码():文 章 编 号:(),(,):,(),():;收稿日期:基金项目:浙江省重点研发计划():()引言随着自动驾驶行业的发展,全景驾驶感知系统相关算法的研究显得尤为重要,特别是在复杂交通环境下的高准确度实时道路感知一直是业界的
3、痛点之一。通过摄像头提取到的图像数据信息,基于视觉的感知算法能有效提取到自动驾驶车辆所需要的道路信息,包括车道位置、道路是否可行驶等,而在复杂交通环境下,道路环境的信息会受到比较大的影响,如何在复杂交通环境下提高可行驶区域识别和车道线检测的性能和效率是规划车辆行驶路线的关键技术。目前大多数对于车道线检测、可行驶区域识别专家视点 的研究是独立进行的,例如和实现的可行驶区域识别算法,和用于检测车道。对于自动驾驶领域来说,需要同时具备高精度和高实时性,然而在实际场景中计算资源往往是边际的、有限的,因此如何在保证高性能的同时高效地实现自动驾驶感知算法的应用具有非常大的挑战。车道线和可行驶区域都属于道路
4、信息,具有非常多相同或相关的特征信息,例如车道线必须存在于可行驶区域中,且可行驶区域的边缘很有可能存在车道线。因此,一个能够捕获这些关联信息的组织良好且统一的网络结构有望比单独的网络取得更好的效果,可以有效解决复杂交通环境下道路特征信息的损坏、缺失等问题。此外,统一的方法也将有利于计算效率,使其更容易部署在自动驾驶汽车的车载系统上。在多任务联合网络研究领域,被提出用于联合检测对象和分割实例,每个任务都达到了最先进的性能,但不能检测可行驶区域和车道线。通过一个架构进行联合分类、检测和语义分割,在多个任务中表现良好,但不支持车道线检测任务。为了在保证高性能和高效率的同时,实现自动驾驶中车道线检测和
5、可行驶区域识别,提出了一种复杂交通环境下基于多任务学习的道路感知网络(,)。主要提出了以下三方面的改进:对车道线和可行驶区域的道路特征信息进行共享,有效提高道路感知的准确率;采用的模块以提取特征图上对应车道线的全局信息,提高了网络对车道线预测的拟合水平;结合空间金字塔池化(,)在语义分割领域的优势,将其用于可行驶区域识别中,可提高道路区域特征的提取,提高复杂交通环境下可行驶区域识别的精度和鲁棒性。相关工作经典的基于深度学习的车道线检测和可行驶区域识别算法大多数是独立算法,实际道路情况中,车道线和可行驶区域具有非常多相同或相关的特征信息,例如在图中,可行驶区域的边缘一般为车道线,即一般情况下,车
6、道线会包裹可行驶区域,如何利用二者之间的特征信息和道路关系实现复杂交通环境下的道路感知,并在保证准确率的情况下提高实时性是本文的研究重点。首先对这个方向的算法做一些简单介绍,然后再介绍一些常见的多任务学习网络。()模型输入图像()车道线检测输出图像()可行驶区域识别输出图像图输入输出示意 车道线检测在车道检测中,基于深度学习的研究有很多创新。构建了双分支网络,对图像进行语义分割和像素嵌入,进一步对双分支特征进行聚类,实现车道实例分割。是一种用于端到端车道线检测估计的卷积神经网络(),能够直接输出代表图像中每个车道标记的多项式。提出了一种在特征图中的片连片卷积,使消息能够在像素之间跨行、跨列传递
7、,但这种卷积非常耗时。文献提出了一专家视点 年 无线电工程 第 卷 第 期 种新颖的基于锚点的注意力机制,该机制聚集了全局信息。可行驶区域识别在可行驶区域识别领域,一类是基于图像和激光点云数据融合的算法,此类方法能有效融合雷达和图像的数据特征,具有较高的识别准确率。对深度图的法向量和图像融合,能有效获取空间结构信息。对点云梯度图和图像信息进行融合,实现了性能最优的方案。另一类是基于纯图像的算法,由于深度学习的快速发展,许多基于的方法在语义分割领域取得了巨大的成功,它们可以应用于可行驶区域识别任务,提供像素级的结果。第一个将全卷积网络应用到语义分割领域,但其性能受到了低分辨率输出的限制。提出了金
8、字塔池化模块,用于提取不同尺度的特征,提高性能。在提升算法效率方面,通过减小特征映射的大小实现推理的实时性。多任务网络多任务学习的目标是通过多个任务之间的共享信息来学习更好的表征,特别是基于的多任务学习方法也可以实现网络结构的卷积共享。是在 的基础上进行了扩展,增加了预测目标掩码的分支,将实例分割和目标检测任务有效地结合在一起,这个任务可以相互促进性能。将目标检测、实例分割和姿态估计总结为位置敏感视觉识别,并使用统一的解决方案来处理这些任务。通过一个共享的编码器和个独立的解码器,同时完成场景分类、目标检测和驾驶区域分割个场景感知任务。继承了编码器解码器结构,并在子任务解码器之间贡献构建上下文张
9、量,以在任务之间共享指定信息。基于多任务学习的道路感知网络自动驾驶中的道路感知任务包括车道线检测与可行驶区域识别,在中提到可行驶区域与车道线之间具备部分共同的特征信息。利用多任务学习能将种感知任务结合,通过共享一部分特征信息来提升种任务的感知准确率,尤其针对复杂交通环境下存在的道路信息干扰、遮挡,光照过亮、过暗或不均,大雾大雨等视线受损的情况,能够通过特征信息共享的方式得到一定的优化。多任务学习的道路感知避免采用类模型分别解决感知问题,提高了感知任务的效率。特征提取复杂交通环境下基于多任务学习的道路感知算法的网络结构如图所示,采用硬约束的多任务学习方法,车道线检测与可行驶区域识别共用一个特征提
10、取的主干网络,主干网络由个残差块与首尾的池化处理构成。通过共享特征提取的底层参数,联合多个相关任务,一方面可以降低模型的过拟合风险,另一方面通过特征信息的互补可以有效提高复杂交通环境下特征缺失、受损时的特征提取能力。独立的检测输出层所应对的车道线检测与可行驶区域识别任务处理的场景数据具备图像的空间特征信息一致性,可行使区域同样是车道线的所在区域,且存在边界的对应关系。共享主干网络能提高模型对特征的学习能力。图基于多任务学习的道路感知算法网络结构 车道线检测经过主干网络提取到特征信息后,模型输出层分为路,各自对应一类感知任务。车道线检测模块采用基于行锚点(,)的检测方法,车道线的锚点设计沿用的设
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 复杂 交通 环境 基于 任务 学习 道路 感知 方法