YOLO系列网络是目标检测网络中端到端检测架构网络的典型代表。YOLOv3版本的backbone使用Darknet-53来进行图片特征提取,比YOLOv2时期的Darknet-19加深了网络层数,并借鉴引入了ResNet的跨层加和连接,保证网络加深后不会出现特征消失。Darknet-53的网络结构如下图1。如图1所示,Darknet-53网络采用256×256×3作为输入,最左侧那一列的1、2、8等数字表示重复的残差组件的个数。Darknet-53与其他网络的性能对比如下图2。图2backbone网络性能对比[8]
由图2所示,尽管Darknet-53速度比Darknet-19慢了很多,但是Darknet-53的Top-1和Top-5精度与ResNet接近的情况下,FPS比ResNet高了很多。
YOLOv3吸取了ResNet、Densenet、FPN的精髓,融合了目标检测当前业界各种优秀网络模型的技巧。1)借鉴了特征金字塔的原理,使用3个尺寸的特征图来检测大小不同的目标。2)借鉴了ResNet的跨层连接加和操作来进行特征融合。3)借鉴了Densenet的concat操作来进行特征融合。YOLOv3的网络架构图如下图3所示。由图3可知,YOLOv3有3个特征图层,小尺寸特征图用于检测大尺寸物体,而大尺寸特征图检测小尺寸物体。对每个特征图层有3个Anchor框,总共输出9个先验框。YOLOv3的Loss函数可分为3个特征图的Loss之和。第1个特征层的loss函数N1如下式(1)所示。 (1)YOLOv3的Loss函数如下式(2)所示:
其中,λ为权重常数,控制检测框Loss、obj置信度Loss、noobj置信度Loss之间的比例,通常负例的个数是正例的几十倍以上,可以通过权重超参控制检测效果。表示若是正例则输出1,否则为0;表示若是负例则输出1,否则为0;忽略样例都输出0。x、y、w、h使用MSE作为损失函数,也可以使用smooth L1 loss[4]作为损失函数。smooth L1可以使训练更加平滑。置信度、类别标签由于是0,1二分类,所以使用交叉熵作为损失函数。基于视觉AI技术的移动监控系统包括软件系统和硬件设备。软件系统是一套完整的视频监控体系,包括视频数据采集、视频流解析、算法模型推理、结果生成、告警展示、分析统计以及校验处理等功能。其核心在于利用深度学习技术,根据不同的应用场景定制化构建的一系列智能作业区域入侵监控及安全生产预警模型,能及时发现临时高危作业中的安全隐患,避免安全事故的发生,为安全作业保驾护航。硬件设备是搭载软件系统的载体,同时需要能适应实际应用场景的“刚性”需求。本文设计提出硬件设备包括电源设备、搭载GPU推理芯片的边缘分析器、DC稳压系统、自然光和热成像的摄像设备、光纤交换机等硬件设备,既能支撑AI模型的推理分析所需求的算力要求,又能解决临时高危作业过程中的机动性、敏捷性、实时性、高效性等应用需求难点,真正的实现了AI智能监控系统的落地应用。本文设计提出的AI移动安全监控系统针对电力临时高危作业场景的安全智能监控,软硬件整体结构流程图如下图4所示,从摄像机采集到的实时视频画面,经过无限网络及交换机转发到自给供电的AI边缘分析器,视觉AI模型解析视频流并进行安全检测和分析,并将分析结果以无限网络的方式发送到云端平台进行展示。移动安全监控系统硬件设计需要满足临时移动作业场景的客观需求,即临时性、机动性、便捷性等需求,同时又要能稳定支撑AI软件系统的持续运行服务,应具备如下表1特性:由表1可知,移动安全监控系统硬件设备具备了各种功能特性,能适应多种临时作业场景的苛刻条件,具备高可用性和强适应性。本文提出的移动视觉AI安全监控系统硬件设备如下图5所示:视觉AI安全模型的构建流程是,多种图像视频数据流经过实时数据处理,存储至特征工程并生成离线的原始样本。在离线系统,对原始样本进行专业化针对性的数据处理、特征提取、特征映射,从而生成训练样本;根据电力业务场景,选择不同的算法模型,进行模型训练、预测、测试和评估;待模型迭代满足业务要求后,通过云中心自动部署将模型文件部署上线。线上系统根据业务规则逻辑,对摄像头捕获的视频流信息进行实时检测,最终将预测结果输出,供线上服务调用。本文针对临时高危作业设计安全模型如下表2所示:3.AI移动安全监控系统在电力临时高危场景的应用研究
本文将基于视觉AI的移动安全监控系统实际运用到电力行业临时高危作业场景中,在实际应用中验证了AI移动安全监控系统的可用性、便捷性、高效性、智能性等优势及特性。本文在电力行业临时高危作业中验证AI移动安全场景如下在电力行业临时作业中,将AI移动安全监控系统装置固定在临时作业区域边缘,例如场区闸门、油库、锅炉汽机生产、升压站、风电/光伏子阵、风机塔筒平台、充电房等区域,调整好监控角度,配置启动对应的入侵检测AI安全监控服务,划定一个或多个电子警戒区。当作业过程中,警戒区内出现行人时,AI移动安全监控系统会立即告警,发出带告警事件的图片信息,立即推送给相关管理人员,并启动喇叭,发出声音告警,提示闯入人员立即撤离危险预警区域。警戒区域边界入侵示意图如下图6所示:将AI移动安全监控系统设备固定安置在临时作业区域边缘,调整摄像机监控高度和角度,使用近距离摄像机拍摄作业人员脸部特征,配置并启动人脸识别模型,通过人脸识别技术针对临时作业区域的作业人员进行点名与统计、人证稽核,若发现非工作人员进入临时作业区域,立即发出告警,推送相关管理人员,并现场喇叭提示非工作人员离开作业区域,避免临时作业中私自替换作业人员、非专业作业人员违规作业等带来的安全隐患,减小人员管理方面存在漏洞导致的安全事故发生概率。将AI移动安全监控系统设备固定安置在临时作业区域边缘,调整摄像机监控高度和角度,使摄像机能拍摄到整个临时作业现场,配置并启动火烟、灭火器等动火设备实时检测模型,若临时作业中检测到明火、烟雾,同时未能检测到相应的灭火器等动火设备,立即告警,推送相关管理人员,并提示作业人员检查配备,避免违规作业,降低安全事故发生概率。AI移动安全监控系统设备在临时作业动火设备检测场景的应用示例如下图7所示:为了验证AI移动安全监控系统在电力行业临时作业实际应用场景的优势和特性,本文选择了边界入侵、人员资质稽核和动火设备安全检测这三个应用场景作为实验验证场景,主要验证AI移动安全监控系统设备的部署时间、FPS、AI检测精度、事件响应时间等指标,并与不使用移动安全监控系统设备下的安全监控实验进行对比,实验中采用的摄像头为普通家用高清摄像头,像素为1080P,型号是DS-IPC-E12H-IWT,实验结果如下表3所示:其中,表3部署模型均为本文针对临时作业移动安全监控系统应用训练的AI模型,表中“非移动监控”场景是指在临时作业场景安装临时摄像头监控,并使用AI模型进行监控的场景,表中“传统监控”场景是模拟部署临时摄像头监控监控,人员值守监控实验。
由表3实验可知,本文设计的AI移动安全监控系统在临时作业场景应用实验中,使用AI监控的场景能达到实时检测的效果,本文AI移动安全监控系统设备能在“秒级别”迅速产生事件响应,而使用传统监控技术只能依靠值守人员来进行事件响应,只能在“分钟级别”。另外,本文提出的移动安全检测系统设备能在10分钟内快速部署检测,而传统布控方式只能以小时计算。综上所述,本文提出的AI移动安全监控系统能实现快速布控、精准实时检测、及时告警响应的目标,相对于“传统监控+AI”和“传统人工监控”的方式,大大提高了临时作业监控的便捷性、移动性和准确性,改善了人工耗时耗力且低效的临时作业监控现状。
5.结束语
本文提出的基于视觉AI移动安全监控系统充分利用了视觉AI技术的实时性和可靠性,构建临时高危作业场景下环境、人员、行为的安全分析模型,由被动监控转换为主动智能分析,针对临时作业场景实现实时监控,第一时间感知风险、第一时间处置,弥补临时高危作业场景安全管控的空白,实现了临时作业区全程监管,减少安全违规,降低安全事故风险的目标。另外,文本提出的基于视觉AI移动安全系统的整套软硬件系统可实现便捷快速部署和移动,能满足电力行业临时高危作业场景的环境需求,加速工业AI应用场景落地化进程。
[1] 杜传利. 水电厂视频监控系统移动平台化的改造设计 [J].通信与信息技术. 2016,(03)[2] 张江丰,尹峰,罗志浩,陈小强,童家麟. 基于视频处理的引风机静叶故障自动监控技术 [J].中国电力.2016,49(07)[3] Girshick R . FastR-CNN[J]. Computer Science, 2015.[4] Ren S , He K , Girshick R , et al. Faster R-CNN: Towards Real-Time Object Detectionwith Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis &Machine Intelligence, 2017, 39(6):1137-1149.[5] Liu W , Anguelov D , Erhan D , et al. SSD: Single Shot MultiBox Detector[C]// EuropeanConference on Computer Vision. Springer, Cham, 2016.[6] Redmon J , Divvala S , Girshick R , et al.You Only Look Once: Unified, Real-Time Object Detection[C]// Computer Vision& Pattern Recognition. IEEE, 2016.[7] Redmon J , Farhadi A . YOLO9000: Better, Faster, Stronger[C]// IEEE. IEEE,2017:6517-6525.[8] Redmon J , Farhadi A . YOLOv3: An Incremental Improvement[J]. arXiv e-prints, 2018.[9] Dosovitskiy A , Beyer L , Kolesnikov A , et al. An Image is Worth 16x16 Words: Transformers forImage Recognition at Scale[J]. 2020.[10] 康旋,曹湘斌. 火电厂安保监控系统应用 [J].电气传动自动化.2016,38(05)[11] 刘丙涛. 3G无线车载视频监控系统关键技术分析 [J].中国新技术新产品,2012(18):22[12] 韦财如. 应用于无人值守发电厂站的视频监控系统设计 [D].华南理工大学广东省211工程院校985工程院校教育部直属院校[13] 谌江波. 火电厂视频监控系统的设计与研究 [D].广西大学广西壮族自治区211工程院校[14] 陈利忠. 电厂安防图像监控网络系统建设 [J].仪器仪表用户. 2020,27(09)[15] 张帆.智慧电厂一体化大数据平台关键技术及应用分析[J].华电技术,2017,39(02):1-3+7+76.