技术领域
[0001] 本
发明属于航空监视领域，具体是一种跨尺度空基平台区域道路交通系统综合监视方法。
背景技术
[0002] 道路监控以快球监控为主，监控点分布在车流、人流比较集中的道路交叉口和重点路段，通过图像传输通道将路面交通情况实时上传到道路监控指挥中心，值班人员可以据此及时了解各区域路面状况，以便调整各路口车辆流量，确保交通通畅。并且对监控路面车辆的违章情况，能及时发现并安排处理道路交通事故等，为交通、治安等各类案件的侦破提供技术支持，大大提高公安机关执法办案的
水平和效率。
[0003] 传统的道路交通监控多为路基监控，通过在某些重要区域安置监视点，例如摄像头等装置，或者是使用人
力来进行监视。这种做法的弊端很多：首先是监视成本较高，路基监视需要在重要路口安置大量的监视设备，或者是使用人力来进行巡检和维护。其次，路基监视是一种局部的固定监视手段，难以实现对
指定目标的
跟踪监视。还有，路基监视系统存在大量的盲区，不能完全
覆盖到整个区域，这也会使监视效果变差。
[0004] 在多种针对公共交通异常情况监测中，对车辆拥堵情况的监测和预警，可以保障公路系统的运载能力，通过对异常道路状况的检测，对异常车辆的检测和跟踪，异常行人的检测和跟踪，能有效的减少意外事故所带来的损失，即时进行响应和处理。这些重要的实际应用使得针对公共交通系统的空基远距离监视成为目前航空监视领域的一个重要课题。
[0005] 但是，面向区域道路交通系统的空基平台监视方法面对诸多挑战：首先，空基平台的监视方法多为使用携带摄像头的无人机或
飞艇，其拍摄距离一般较远，视频中车辆行人的目标相对较小，对监视方法的准确度提出了很高的要求。同时，飞行设备在拍摄过程中可能会遇到多种问题，例如遇到
云层、气球等遮蔽物体，不同的天气或者不同的明暗度等，这对于监视系统的鲁棒性也提出了很高的要求。
发明内容
[0006] 针对上述问题，本发明提供了一种跨尺度空基平台区域道路交通系统综合监视方法，能够全天候全方位的对公共交通进行实时监视，大大降低了传统监视方法的建造、运营、维护成本，对于后续区域道路交通系统异常情况的监视有启发式的帮助，对于车辆拥堵预警，追踪肇事逃逸等具有重大意义，保障了监视的实时性和全面性，同时也给其他空基监视系统提供了参考。
[0007] 所述的跨尺度空基平台区域道路交通系统综合监视方法，具体步骤如下：
[0008] 步骤一、基于
卷积神经网络训练语义分割模型和物体检测模型；
[0009] 语义分割模型采用deeplabv3模型作为基本的网络结构，使用空洞卷积和多尺度特征融合进行语义分割；
[0010] 具体为：首先，使用resnet-50作为base-model，对最后两个res-block进行替换；
[0011] 具体替换为：将layer3中的卷积层改成dilation为2的空洞卷积，并删除该层下
采样的部分，将layer4中的卷积层改成dilation为4的空洞卷积，并删除该层
下采样的部分。
[0012] 然后，在
编码器和
解码器之间分别采用dilation为2，4，8，16的空洞卷积处理最后一层的特征图；
[0013] 最后，将每个卷积核的输出结果进行拼接操作，多尺度融合后进行上采样，得到输出结果。
[0014] 无人机的小范围监视采用faster-rcnn物体检测模型，使用无人机采集大量低空数据，人工标注出异常物体的边缘框，作为训练样本，并使用faster-rcnn模型物体检测进行训练，最后投入使用。
[0015] 步骤二、通过飞艇对监视区域实时采集图像，将视频抽
帧后，逐帧送入训练好的语义分割模型进行处理，人工分辨每帧图像中存在的异常区域并进行标注。
[0016] 标注过程中尽可能多的将不太确定的区域标注成疑似异常区域；
[0017] 语义分割模型对飞艇图像进行处理的过程为：首先，针对每帧图像，结合图像的语义和纹理信息，对当前图像上的每一个
像素点进行二分类，分辨每一个像素点是否属于公路系统；
[0018] 然后，对每一个预测为公路系统的像素点输出一个对应的分数S，该分数代表该点发生异常情况的可能性；
[0019] 分数S的具体计算为：对卷积神经网络最后一层的输出做softmax，将输出限制在0到1之间，输出值为出现异常的概率。
[0020] 最后，判断分数S是否大于预先设置好的
阈值K，如果是，将该点标注成疑似异常区域。
[0021] 步骤三、针对当前帧图像，将标注的相邻的异常区域划分成整片
检测区域，给该检测区域分派一个无人机；
[0022] 检测区域的大小根据面积人为设定。
[0023] 步骤四、每个无人机前往各自指定的检测区域，使用训练好的物体检测模型进行低空监视进行详细检测；
[0024] 首先，针对某个检测区域，对应的无人机进行拍摄得到小范围高清光学图像；
[0025] 然后，使用faster-rcnn物体检测模型来检测小范围高清光学图像，分别检测车辆，行人以及其余各种异常情况，确定异常车辆和行人出现的准确
位置，结合无人机GPS数据得到异常状况发生在整个区域中的精确位置，以及各异常情况的分数s；
[0026] 分数s是指：无人机的faster-rcnn物体检测模型针对每一个检测框给出一个
置信度，该置信度的值为分数s，代表该检测框确实为异常的可能性概率。
[0027] 步骤五、每个无人机将各自的检测结果上传至飞艇进行整合，得到分析结果；
[0028] 具体过程为：
[0029] 针对某个异常区域，融合对该异常区域进行检测的所有无人机的检测结果，对该异常区域的异常情况进行投票决策，若平均分数mean(s)大于阈值K，则认为该点确实发生了异常。
[0030] 平均分数mean(s)是指：针对该异常区域，所有无人机对该异常区域的分数总和除以无人机的架数。
[0031] 同理得到每一个异常区域的异常发生情况，进而得到整个待检测区域内所有的异常情况；
[0032] 最后，根据空间距离将整个待检测区域内的异常区域聚合成不同集合，对每一个集合的问题做出不同的决策。
[0033] 本发明的优点在于：
[0034] 1)、一种跨尺度空基平台区域道路交通系统综合监视方法，相比于传统的路基监视更为灵活，真正实现了全方位、全时段、高相应的一体化监视。
[0035] 2)、一种跨尺度空基平台区域道路交通系统综合监视方法，采用动态多机协同的方式进行检测；降低了安装和维护成本，减少了人力的投入和交通摄像头等设备的安置。
[0036] 3)、一种跨尺度空基平台区域道路交通系统综合监视方法，采用跨尺度的监视手段，首先可以使用飞艇监视特别大的监测区域，想要监视小区域，就要使用小范围的监测工具，通过无人机进行更为精细的监视。相比于固定尺度的监视手段，不用堆叠特别多的监视工具，灵活而且成本低。
附图说明
[0037] 图1为本发明跨尺度空基平台区域道路交通系统综合监视方法的原理图；
[0038] 图2为本发明跨尺度空基平台区域道路交通系统综合监视装置的
流程图。
具体实施方式
[0039] 下面将结合附图和
实施例对本发明作进一步的详细说明。
[0040] 本发明提供了一种面向区域道路交通系统的跨尺度空基平台综合监视系统的实现方法，区域道路交通系统的正常运作需要足够的监视，例如道路拥堵预警和疏通，车祸警报以及追踪肇事逃逸等等。传统的路基监测方法有诸多弊端，首先是监视设备位置固定；监视成本较高，需要安置大量的设备，而且不能实现对监视区域的全部覆盖，例如交通摄像头。因此，针对以上弊端，本发明通过飞艇和无人机协同工作的方式，分别对监视区域进行粗略和细致的监视，从而以较小成本实现对监视区域的全面覆盖，同时拓展到其他类型区域的监视中使用。
[0041] 具体做法是：如图1所示，飞艇在离地面1km的地方进行监视，通过高清阵列相机采集待检测区域完整的光学图像，对原始视频图像抽帧并进行语义分割，粗略地监测出可能出现堵车、车祸等意外情况的路段。然后对检测出来的疑似路段进行处理，将其分派给多个无人机，每个无人机前往疑似区域对局部场景进行更加细致的低空监视和分析，并且最终确定异常位置并且将消息上传返回飞艇，进行相应的预警或处理。
[0042] 如图1所示，具体步骤如下：
[0043] 步骤一、基于卷积神经网络训练语义分割模型和物体检测模型；
[0044] 本发明检测飞艇所采集的
视频帧图像中异常区域可以有多种方法，例如检测和语义分割等。但是由于公共交通系统中道路等形状均不规则，很少呈现为标准的矩形，所以采用检测的方式不能对道路的位置进行准确
定位，且容易在测得的轨道区域中引入大量无用的区域。所以，飞艇采用语义分割的方式，对采集到的图像进行处理，对图像进行像素级的分类，判断图像上的每一点是否属于公共交通，并且判断其是否出现异常；这样就避免了以上位置定位不准确的问题。
[0045] 为了达到优秀的效果，本发明在语义分割和物体检测过程中均采用了当前目标语义分割和检测领域效果较好的卷积神经网络
算法，并对其进行分别的训练与测试。
[0046] 语义分割模型采用使用imagenet预训练的deeplabv3模型作为基本的网络结构，使用空洞卷积和多尺度特征融合进行语义分割；能对图像中场景的边缘有比较细致的划分，在语义分割结果的精细度和实时性上都有较好的表现，满足本发明所涉及的应用需求。
[0047] 具体为：首先，使用resnet-50作为base-model，对resnet-50的最后两个res-block采用空洞卷积(Atrous convolution)的方式来代替下采样的过程；
[0048] 具体替换为：将layer3中的卷积层改成dilation为2的空洞卷积，并删除该层下采样的部分，将layer4中的卷积层改成dilation为4的空洞卷积，并删除该层下采样的部分。这样的话，即维持了与原模型相同的感受野，方便使用预训练的参数进行fine-turn，同时也使得最终输出的特征图的大小变成了原来的四倍，进而提升了预测结果的
精度。
[0049] 然后，在编码器和解码器之间增加了空间金字塔赤化(spatial pyramid pooling，SPP)，具体实现是分别采用dilation为2，4，8，16的空洞卷积处理最后一层的特征图；
[0050] 最后，将每个卷积核的输出结果进行拼接操作，多尺度融合后进行上采样，得到输出结果；这种做法能够很好的融合多尺度的信息，提取更加丰富的特征。
[0051] 无人机的小范围监视采用faster-rcnn物体检测模型，使用无人机采集大量低空数据，人工标注出异常物体的边缘框，作为训练样本，并使用faster-rcnn模型物体检测进行训练，最后投入使用。faster-rcnn效果较好，并且速度较快，训练和使用较为方便，适合应用于公共交通等实时性要求较高的场景。
[0052] 步骤二、通过飞艇对监视区域进行
图像采集，将视频抽帧后，逐帧送入训练好的语义分割模型进行处理，人工分辨每帧图像中存在的异常区域并进行标注。
[0053] 对于无人机检测网络，其训练与测试数据为无人机拍摄的高清视频区域，人工标注精确的车辆行人位置和类别信息，以及对各种异常情况进行更加细致的标注。标注过程中尽可能多的将不太确定的区域标注成疑似异常区域，进而降低整个监测系统的漏检率；
[0054] 待检测视频以及视频帧为飞艇拍摄的远距离高清图像，可以在飞艇上搭载的
服务器上直接处理；
[0055] 在开始训练之前，两级检测器网络的
训练数据均进行了缩放、截取、旋转等数据扩充的操作，增强网络的扛过拟合能力。
[0056] 上述面向轨道交通场景的远距离行人检测方法，第一级检测器采用分段检测方法对
铁轨目标进行检测，包括：网络在训练与测试时即采取分段标注的方法标注铁轨目标，益于避免在检测得到的铁轨区域中引入大量非目标区域。
[0057] 语义分割模型对飞艇图像进行处理的过程为：首先，针对每帧图像，使用训练好的语义分割模型来处理飞艇图像信息，结合图像的语义和纹理信息，对当前图像上的每一个像素点进行二分类，分辨图像上的每一个像素点是否属于公路系统；
[0058] 然后，对每一个预测为公路系统的像素点输出一个对应的分数S，该分数代表该点发生异常情况的可能性；例如堵车，交通事故等等。
[0059] 分数S的具体计算为：对卷积神经网络最后一层的输出做softmax，将输出限制在0到1之间，输出值为出现异常的概率。
[0060] 最后，判断分数S是否大于预先设置好的阈值K，如果是，则说明该点可能出现异常，将该点标注成疑似异常区域。
[0061] 步骤三、针对当前帧图像，将标注的相邻的异常区域划分成整片检测区域，给该检测区域分派一个无人机；
[0062] 对飞艇采集到的图像进行语义分割以后，会得到一些疑似异常的区域。但是，由于飞艇的飞行高度太高，飞艇所采集的图像并不能细致的看到道路细节，因此，其检测结果会较为粗略，可能存在一定的误报现象。
[0063] 对存在的异常区域进行划片处理，并针对每片区域分派一个无人机。每片检测区域的大小根据面积人为设定。这些巡检无人机会前往指定路段进行监视，检测指定区域的车辆，行人等，查看是否存在道路拥堵，车祸等，并监测是否存在异常行人和车辆。这种做法体现了跨尺度的思想，通过飞艇作为枢纽，纵观全局；通过无人机进行更加精细的监测。
[0064] 步骤四、每个无人机前往各自指定的检测区域，使用训练好的物体检测模型进行低空监视进行详细检测；
[0065] 首先，针对某个检测区域，对应的无人机进行拍摄得到小范围高清光学图像；
[0066] 然后，使用faster-rcnn物体检测模型来检测小范围高清光学图像，分别检测车辆，行人以及其余各种异常情况，确定异常车辆和行人出现的准确位置，结合无人机GPS数据得到异常状况发生在整个区域中的精确位置，以及给出各异常情况的分数s；
[0067] 分数s是指：无人机的faster-rcnn物体检测模型针对每一个检测框给出一个置信度，该置信度的值为分数s，代表该检测框确实为异常的可能性概率。
[0068] 步骤五、每个无人机将各自的检测结果上传至飞艇进行整合，飞艇端整合每个无人机的检测结果，进行总体分析，确定异常发生的准确位置和产生源头，并及时做出正确的响应。
[0069] 具体过程为：
[0070] 飞艇端融合对该异常区域进行检测的所有无人机的检测结果，进行总体分析，具体过程如下，通过融合检测同一位置的每架无人机的检测结果s，对某一确定位置的异常情况进行投票决策，若平均分数mean(s)大于阈值K，则认为该点确实发生了异常。
[0071] 平均分数mean(s)是指：针对该异常区域，所有无人机对该异常区域的分数总和除以无人机的架数。
[0072] 同理得到每一个异常区域的异常发生情况，进而得到整个待检测区域内所有的异常情况；
[0073] 最后，根据这些异常出现位置的空间距离将整个待检测区域内的异常区域聚合成不同集合，对每一个集合的问题做出不同的决策。例如，如果某异常集合是由车祸导致的堵车问题，系统就会给出方案，通知有关交通部
门及时清理现场，疏通道路，并广播提醒司机选择其他可行的路线等。
[0074] 本发明的跨尺度空基平台区域道路交通系统综合监视装置包括：
[0075] 图像提取装置：从输入的飞艇和无人机拍摄视频中提取图像
片段，得到用于语义分割和
异常检测的初始数据；
[0076] 语义分割模型：采用使用deeplabv3模型作为基本的网络结构。投入使用前先进行了充分的训练与测试。其训练与测试数据均来自飞艇拍摄的真实视频，对飞艇图像的每一点判断其是否属于公路系统，并且区分是否可能存在异常，得到一些疑似异常的区域；
[0077] 区域分派系统：将监视区域网格状划分，每
块区域分派指定的无人机进行低空监视，在收到飞艇传达的指令后，相应区域的无人机就会前往该区域的疑似异常位置进行异常检测；
[0078] 异常检测模型：检测器采用faster-RCNN作为基本网络架构。在使用前同样进行了充分的训练与测试。检测异常区域的车辆、行人或其他异常情况等等。
[0079] 响应系统：该系统整合了所有无人机的检测结果，进行整体分析，确定异常发生的精确位置并且确定其源头，在此
基础上给出预警以及合理的解决方案。
