工程场区施工人员靠近风险区实时预警方法.pdf

1、设计施工水利规划与设计 年第 期:/工程场区施工人员靠近风险区实时预警方法姜佩奇 梁斌杰 刘 辉 张社荣 王枭华 王 超(天津大学水利工程智能建设与运维全国重点实验室 建筑工程学院 天津 水利部水利水电规划设计总院 北京 中水北方勘测设计研究有限责任公司 天津)摘要:针对水利工程建设中施工人员靠近危险区域的风险问题 文章利用计算机视觉和深度学习 提出了靠近风险区域的危险行为预警方法 首先利用改进的 多目标追踪算法实现施工人员的追踪和轨迹收集 然后利用 算法构建轨迹预测模型 最后 基于 电子围栏 实现靠近危险区域的实时预警 工程实例表明 该方法能够预测和避免施工人员进入风险区 有助于构建早期施工

2、安全预警机制 完善水利安全生产风险管控理论关键词:计算机视觉 深度学习 靠近风险区域 轨迹预测 实时预警机制中图分类号:文献标识码:文章编号:()收稿日期:基金项目:水利部重大科技项目:长距离引调水工程泵站群运行管控数字孪生关键技术研究()国家重点研发计划项目:南水北调东线工程多水源均衡配置与输水智能调控技术()作者简介:姜佩奇(年)男 工程师:通讯作者:王枭华(年)男 副研究员:引言水利工程由于其施工环境恶劣、施工工期长、交叉作业情况复杂等特点 建设过程中风险因素众多 其中危险区域(如临边、洞口、塔吊周围)作为普遍存在但常易忽略的风险因素 当施工人员处于其中时易发生高处坠落、碰撞等安全事故

3、威胁施工安全 因此 如何有效实现施工人员靠近风险区域的危险行为预警对施工安全管理水平的提升具有重要意义靠近危险区域的判别关键在于如何快速确定施工人员与危险区域的位置关系 若处于其中 施工人员可能会存在危险 随着计算机视觉、建筑信息模型()、射频识别()等技术的快速发展与应用 不少学者也利用其展开了众多研究 闫文杰等集成 与 技术 对水利工程现场的危险区域和作业人员进行实时监控实现了危险区域内工人安装状态的判定和预警 王伟等利用 与机器视觉技术 构建了危险区域施工人员入侵预警模型 降低了危险区域入侵行为的发生 高寒等利用移动目标检测算法对危险区域工人进行检测 实现了危险区域的入侵识别石怀涛等通过

4、改进 网络对吊车危险区域内的施工人员进行识别 并利用相机坐标变换实现了施工人员与危险区域中心点距离的测算并进行行为矫正 减少吊车安全事故的发生 田枫等通过利用改进 检测算法 实现对油田危险区域的入侵检测 等通过利用 模型识别现场施工人员和结构支撑 实现了在深基坑施工中施工人员穿过结构支撑的不安全行为识别 樊启祥等在大型水电工程施工安全管理过程中 提出综合利用 技术、定位轨迹分析技术、/北斗 实时差分等技术 实现了施工现场人员和机械设备的实时定位 并利用电子围栏技术 实现了自动监控和非法进入电子围栏范围等的不安全行为管控在靠近危险区域预测方面 等利用卡尔曼滤波算法来实时定位和预测施工人员和机械的

5、位置 进而判断未来施工人员的轨迹是否处于机械易碰撞区域 从而实现对人机碰撞风险的预测 方伟立和丁烈云构建工人不安全行为智能识别与矫正框架体系 主要由不安全行为智能识别、安全 年第 期水利规划与设计设计施工个性化培训和不安全行为预测 部分组成综上 目前针对靠近风险区域的危险行为管控大多为事中和事后的过程 即在正侵入和侵入后实现对施工人员是否处于危险区域的判断 可能会发生报警不及时而导致在危险区域内发生安全事故造成人员伤亡 而对事前靠近风险区域不安全行为预测研究较少 对施工人员未来的轨迹预测时间和距离较短 预警效果还有待提高 并且施工人员定位通常采用的是 或 定位虽然比计算机视觉定位准确 但需时刻

6、佩戴相应传感器 成本高且在实践中不易实现针对上述问题 本文基于计算机视觉与深度学习技术 提出一种水利施工人员靠近风险区域的危险行为预测方法 首先利用 算法构建施工人员多目标追踪模型 对现场施工人员进行多目标追踪的同时 收集其运动轨迹 然后 筛选场区施工人员行动轨迹 基于 算法构建施工人员轨迹预测模型 实现施工人员轨迹预测对未来不同时刻的运动轨迹进行预测 最后 基于 电子围栏 对危险区域进行标记 判断预测后的轨迹是否处于风险区域当中 从而实现靠近危险区域的危险行为预警 在一定程度上预防不安全行为的发生 靠近风险区实时预警方法关键技术 总体技术架构鉴于现有人员危险行为的管理通常集中在事件发生中或之

7、后 本文提出了一种预先管控的方法该方法可以在施工人员实际进入危险区域之前 预测并预警其潜在的入侵行为 有效避免报警不及时而导致在危险区域内发生安全事故 基于计算机视觉和深度学习的施工人员靠近风险区实时预警模型如图 所示 主要由 个模块组成 包括:基于改进 的多目标追踪模块、基于 的 轨 迹 预 测 模 块、以 及 基 于 的靠近风险区预警模块 本文所提出的实时预警模型能有效预测施工人员轨迹 结合风险区电子围栏进行风险分析与预警 有效保障施工人员作业安全 改进的场区施工人员多目标追踪方法是目前主流的一种多目标追踪算法 基于 多目标追踪思路 在 图 靠近风险区实时预警总体技术架构设计施工水利规划与

8、设计 年第 期算法的基础上增加外观信息度量 并结合运动信息避免目标 切换过多 同时 目标检测模型的精度直接影响 算法对施工人员追踪的准确性 为了实现准确的施工人员目标追踪 良好的施工人员目标检测模型必不可少 本文提出的改进 的多目标追踪算法通过 损失函数替换 损失函数(如公式()、()所示)、增加小目标检测层和引入 注意力机制的方式改进 算法 并以改进的 算法作为 算法的检测器 改进 算法中重新设计了通道和空间注意力子模块 将 模块嵌入每个网络的末端 ()()式中、预测框与真值框 形状成本考虑角度成本后 重新定义的距离成本其次 算法引入级联匹配 通过计算预测目标与检测目标之间的马氏距离()和余

9、弦距离()获取代价矩阵 从而提高了目标匹配的精度()()()()()()()()()()式中 第 个目标框的检测值 第 个跟踪器对目标的预测值 检测值与预测值之间的协方差矩阵 神经网络提取的第 个目标的特征向量()第 个跟踪器历史 帧中追踪结果的特征向量 综合考虑两种度量 求得代价矩阵:()()()()()()式中 调和因子 用于平衡马氏距离与余弦距离 当代价矩阵 满足两种距离阈值要求时匹配成功 场区施工人员轨迹预测方法施工人员轨迹预测问题与行人轨迹预测相似主要针对其二维空间坐标在一定时间内的变化 并通过利用施工人员前一段时间的轨迹来预测未来一段时间的运动轨迹 施工人员的运动轨迹不仅受自身主观

10、影响 还受周围其他人、机械等物体的影响 传统的轨迹预测算法通常采用各种聚合方法而本文采用的 算法则以图模型的方式代替聚合方法实现建模交互 引入周边人员、机械等物体的相互作用关系 准确度和推理速度有了极大提升 模型主要由时空图卷积网络()和时间外推卷积网络()组成 模型结构如图 所示 前者用于提取施工人员轨迹特征 后者用于预测施工人员未来的运动轨迹 具体流程如下:()时空图构建 模型同时从空间域和时间域两方面进行特征获取 在空间域构建方面 为反映场区施工人员之间相互影响 模型中以施工人员为节点 用边来模拟施工人员间的交互关系 以公式()所示核函数计算 时刻施工人员()间的相互影响矩阵元素 进而得

11、到场区施工人员空间图/()其次 采用相同方法构建时间图 时间图矩阵内的边信息为同一施工人员在一段连续时间内的空间厚实距离加权值 如公式()所示 即边信息不再存储不同施工人员间的关系/()()二维时空图卷积处理 为获取时间轴特征 对输入的时间序列邻接矩阵进行堆栈处理则时空图卷积过程可表示为公式()由此可得场区施工人员轨迹的时空特征矩阵()()()()式中 其中 时刻代理的邻接矩阵单位矩阵 时刻 矩阵的对角矩阵()第 卷积层内施工人员节点矩阵()第 卷积层可训练参数矩阵图 模型结构图 年第 期水利规划与设计设计施工 ()时间外推卷积处理 由 处理时序序列数据 按照时序信息进行一维卷积操作 通过因果

12、卷积记录并利用轨迹的时间信息 预测场区施工人员行动轨迹 场区施工人员邻近风险区预警基于场区施工人员的预测轨迹 使用 掩膜来识别和提取危险区域 建立电子围栏由于增加 掩膜会使危险区域外的场景不进行目标检测 降低改进 目标检测算法的精度 因此本文在保留危险区域标注的同时去除遮盖效果 使算法仍可对其他区域进行目标检测同时 基于场区施工人员的预测轨迹 采用 算法 判断预测轨迹坐标是否处于风险区电子栅栏内 一旦预测轨迹处于风险区内执行预警处置 实验和结果本文以我国西南地区某在建大()型碾压混凝土坝工程进行实证分析 该碾压混凝土坝由挡水坝段、表孔坝段、进水口坝段和坝后电站组成 共分 个坝段 实证分析包括施

13、工人员多目标追踪和施工人员轨迹预测 施工人员多目标追踪本文以目前公开的多目标行人追踪数据集 划分模型的训练集和验证集 训练过程持续 轮 训练集和验证集上的损失函数和 的变化曲线如图 所示 结果表明训练集和测试集的 值最终稳定在 和 最终稳定在 和 场区施工人员多目标追踪模型的评价指标包括、和 其中 为精度和召回曲线下的面积 可由公式()、()和()计算得到 其结果分别为 、/()()/()()图 训练结果曲线式中 被准确追踪的工人数量 被错误追踪的工人数量 未能追踪的人工数量其次 以施工现场实时监控图像作为多目标追踪模型的测试集 改进的 算法会对每一个追踪分配一个唯一且持续不变的编号 在同一幅

14、图像中设定 标号从 开始计数 标号最大数则为检测目标的总人数 施工现场监控视频施工人员多目标追踪效果如图 所示 施工人员轨迹预测 数据集准备目前针对人员轨迹预测任务的公开数据集较少 仅有几个俯视视角的小型数据集 其中 和 组合数据作为开源的公共数据集 包含 个不同场景 条人体运动轨迹 数据采样间隔为 帧 数据中包含帧索引、行人编号、位置坐标 但由于该数据集针对日常生活场景 与施工现场人员轨迹有较大差别 因此本文基于构建的施工人员多目标追踪模型 对施工人员进行轨迹追踪 获取其在一段时间内的像素轨迹 为施工人员轨迹预测提供数据来源 本文采集的视频帧率为 以 帧为采样间隔(即每 )以前 图 场区施工

15、人员多目标追踪设计施工水利规划与设计 年第 期的轨迹数据来预测后 运动轨迹 能有效改善数据的独立同分布性质本文以目标检测框的形心坐标来表示当前时刻施工人员所处位置 通过将一段时间内连续的形心坐标进行相连即可表示施工人员的轨迹 通过收集和筛选 共获得 条数据 施工人员多目标追踪模型获取得到的典型施工人员轨迹坐标见表 表 典型施工人员多目标追踪轨迹坐标单位:像素帧数施工人员 坐标 坐标 评价指标轨迹预测任务主要使用平均位移误差()和最终位移误差()评价模型性能 其中平均位移误差是指所有的估计轨迹点与真实轨迹点之间欧式距离的平均值 最终位移误差是指预测轨迹终点与实际轨迹终点之间的距离 计算公式如下所

16、示()()()()()()()()()()()()式中()施工人员 在 时刻的轨迹点坐标()施工人员 在 时刻的预测轨迹点坐标 预测 序 列 的 长 度 总 的 轨 迹 个 数()最终真实轨迹点坐标()最终预测轨迹点坐标 模型训练与结果利用自建施工人员轨迹数据集进行训练 共持续 轮 然后利用训练形成的模型权重文件进行预测性能评价 轨迹预测误差见表、如图 所示 可知预测误差随预测时长增加而增加 预测 施工人员轨迹的 和 值分为 像素和 像素 而预测 施工人员轨迹的 和 值分为 像素和 像素表 每 帧轨迹预测误差帧数时间/平均距离误差/像素最终距离误差/像素 图 每隔 间的轨迹预测平均距离误差图施

17、工人员轨迹预测可视化效果见图 其中蓝色线代表预测轨迹 红色线代表真实轨迹红色线与蓝色线完全重合部分代表前 个时间窗 年第 期水利规划与设计设计施工图 每隔 间的轨迹预测最终距离误差图口输入相同的值 根据图 可知 本文所构建的 模型可实现对施工人员轨迹的预测 虽然存有一些偏差 但大体的运动趋势基本相同 可在一定程度上为不安全行为的预测起到参考图 施工人员轨迹预测结果可视化值得注意的是 值随预测时间的增长出现波动上升 并非严格意义的正相关 原因主要由于 反应的是施工人员在最终时刻的位置关系 当“”型轨迹出现时 预测轨迹和真实轨迹差距减小或再次相交 如图 所示 号施工人员轨迹 电子围栏建立与预警关于

18、靠近风险区预警模块 其详细流程已在图 总体技术架构中阐述 算法原理可概括为:从一个目标点引出一条射线 统计该射线与电子围栏的交点个数 若交点数为奇数 则说明目标点在电子围栏内 进行预警处置 反之 则说明目标点在电子围栏外 判断为安全 根据一般人员的反应时间约为 和所提方法的预警精度 建议预警时间定为 此时 和 分别为、像素 能够有效保障施工人员安全避免进入风险区域本文根据 掩膜对危险区域进行标注和提取 建立电子围栏 如图 所示 电子围栏以红色近视区域表示 结合 算法 判断预测轨迹坐标是否处于风险区电子围栏的多边形内 一旦预测轨迹坐标点位于风险区多边形内部 会立即触发实时预警 通过红色警示框、声

19、音、信息推送等方式进行警示 同时执行相应的处置措施 如引导施工人员离开风险区域等 为施工现场的施工人员安全管控提供了一种新方法图 施工人员靠近危险区域预警 讨论为进一步分析 轨迹预测模型的性能 及其对水利工程施工场区范围大 人员、机械、材料空间分布复杂特点的适应性 表 将 与 两种模型的轨迹预测性能进行对比 总体而言 两种模型在较短的预测时间内均有较好的轨迹预测效果 轨迹位置误差均较小 但相对而言 模型通过时空图卷积网络更能挖掘场区人员、机械、材料空间分布特征 当预测时长为 时 就 和 指标而言 比 预测误差分别减少约 、表 不同模型的轨迹预测对比(/像素)预测时长/但由于水利工程施工场区范围

20、广、轨迹预测需考虑因素众多且本文数据集较小 预测轨迹仍存在一定偏差 同时 轨迹监测误差和预测误差存在累积效应 也可能会导致实时预警结果的震荡 因设计施工水利规划与设计 年第 期而 有效提高轨迹监测精度是场区施工人员轨迹预警的前提 后续可结合 技术 进行监控视频与 注册、配准 提高场区施工人员定位与预测精度 同时可基于 场景下的场区机械、材料分布优化空间图构建 进一步提升轨迹预测精度 结论本文通过利用实时监控、计算机视觉、深度学习等技术 提出了水利施工人员靠近风险区域的危险行为预警方法 通过工程实例验证 有效证明了该方法的有效性 本文所提出的方法不仅增加了施工现场行为管理手段 也为水利工程施工现

21、场安全管理提供新方法 主要取得以下成果:()提出了基于轨迹预测的场区施工人员靠近风险区域预警方法 该方法由 个模块组成 包括:基于改进 的多目标追踪模块、基于 的轨迹预测模块、以及基于 的靠近风险区预警模块 本文所提出的实时预警模型能有效预测施工人员轨迹 结合风险区电子围栏进行风险分析与预警 有效保障施工人员作业安全()针对水利工程施工场景 构建了基于改进 算法的施工人员多目标追踪模型 以改进后的 作为目标检测模型 以 公开数据集作为表观特征提取数据集进行训练 训练集和测试集的 值分别为 、分别为 、满足 现 场 使 用需求()利用构建的多目标追踪和轨迹预测模型 对施工人员进行轨迹收集和预测

22、预测误差随预测时长增加而增加 预测 秒施工人员轨迹的 和 分为 、像素而预测 秒施工人员轨迹的 和 分为、像素 但由于轨迹预测需考虑因素众多且数据集较小 预测轨迹仍存在一定偏差 后续可结合 技术 进一步提升轨迹预测精度参考文献 王仁超 张毅伟 毛三军.水电工程施工安全隐患文本智能分类与知识挖掘.水力发电学报():.李才 管林杰 杨坤 等.数字孪生架构下水工程数字底座建设研究.水利规划与设计():.钟登华 王飞 吴斌平 等.从数字大坝到智慧大坝.水力发电学报():.薛向华 皇甫英杰 皇甫泽华 等.技术在水库工程全生命期的应用研究.水力发电学报():.李庆斌 马睿 胡昱 等.大坝智能建造理论.水力

23、发电学报():.闫文杰 刘永强 肖俊龙.与 集成技术在水利工程施工作业安全管理中的应用.水电能源科学 ():.王伟 吕山可 张雨果 等.基于 与机器视觉技术结合的建筑施工危险区域入侵预警研究.安全与环境工程():.高寒 骆汉宾 方伟立.基于机器视觉的施工危险区域侵入行 为 识 别 方 法.土 木 工 程 与 管 理 学 报 ():.石怀涛 李刚 范丽婷 等.吊车危险区域侵入行人机器视觉定位算法.控制工程():.田枫 白欣宇 刘芳 等.一种轻量化油田危险区域入侵检测算法.智能系统学报():.田枫 白欣宇 刘芳 等.种基于视频的油田危险区域入侵检测智能综合识别技术研究.中国安全生产科学技术():.

24、:.():.樊启祥 杨宗立 汪志林 等.大型水利工程建设全过程数字化动态管控.水力发电学报():.樊启祥 刘元达 李果 等.基于定位系统的水电工程建设资源动态管理.水力发电学报():.樊启祥 林鹏 谢亮 等.水电工程复杂场景施工资源定位管理技术研究.水力发电学报():.():.方伟立 丁烈云.工人不安全行为智能识别与矫正研究.华中科技大学学报(自然科学版)():.张社荣 梁斌杰 马重刚 等.水利工程施工人员不安全行为识别方法.水力发电学报():.():.:/.():.文琰杰.基于深度学习的非常态下行人追踪与轨迹预测研究.北京建筑大学.黄子杰.基于场景和行人交互力的行人轨迹预测.武汉纺织大学.():.