技术领域
[0001] 本
发明属于无人机反制领域，更具体地，涉及一种一体化无人机检测方法。
背景技术
[0002] 目前随着无人机技术的迅猛发展，低成本的各种小型无人机已经具有了强大的飞行、遥感等专业功能，广泛的应用于航拍、运输等领域，但与之同时也引发了一系列严重的问题。当这些无人机出现在禁飞区域、机要区域，以及隐私场所等区域时，就会给国家和群众带来极大的安全隐患甚至损失，例如无人机在机场附近飞行会干扰机场航班的正常运行，无人机在演唱会上空偷拍会侵犯
版权利益，无人机在港口非法运载违禁物品等。因此，无人机反制领域的研究具有重要价值。
[0003] 无人机反制领域主要包括无人机检测与无人机管控两个方面，前者解决如何发现无人机的问题，后者解决如何干预无人机的问题，并且无人机的发现是首要问题，也是最难解决的问题。现有的无人机检测技术主要包括雷达、光电、声学三类：雷达系统主要利用回波进行检测，检测距离超过1000米，但无法识别目标且价格昂贵；声学系统利用
声波进行检测，具有识别功能但检测距离受限，不超过50米；光电系统一般包含检测模
块与识别模块，识别模块基于光学图像进行识别分类，能够有效识别目标，同时，受光学
传感器硬件的限制，检测距离一般在200米左右，价格适中，但系统普遍较为复杂，且易受天气环境等因素干扰。如雷达检测与可见光识别系统，检测距离远，但抗噪能
力差，通常应用于空旷的野外场地；红外检测与可见光识别系统，短焦可见光检测与长焦可见光识别系统，这两种系统结构复杂，需要
坐标系标定，存在硬件抖动误差问题，同时硬件成本较高。
发明内容
[0004] 针对
现有技术的以上
缺陷或改进需求，本发明提供了一种一体化无人机检测方法，其目的在于解决采用现有光电系统进行无人机检测时，存在系统结构复杂，抗噪能力差的技术问题。
[0005] 为实现上述目的，本发明提供了一种一体化无人机检测方法，包括：
[0006] (1)对待
检测区域的全景图像进行背景建模和自适应
阈值设置，得到背景模型和阈值图，并根据所述背景模型和阈值图，对连续多
帧待检测区域全景图像进行前景检测，得到待追踪目标；其中，所述阈值图用于表征全景图像各区域的复杂度；
[0007] (2)对光学成像设备进行层级变倍和
云台控制，
定位和放大待追踪目标，并基于改进的核相关滤波
跟踪算法对所述目标进行实时跟踪；
[0008] (3)对跟踪目标进行识别分类。
[0009] 进一步地，步骤(1)具体包括：
[0010] (1.1)使用光学成像设备采集待检测区域的全景图像；
[0011] (1.2)对采集到的全景图像进行灰度化处理，得到待检测区域全景图像的灰度图；
[0012] (1.3)采用下式对所述灰度图进行二值化，并对得到的二值图进行膨胀处理；
[0013]
[0014] 其中，B(i,j)为灰度图，B′(i,j)为二值图，表征图像各区域复杂程度；Bcomplex为常数，表征图像复杂区域；Bsmooth为常数，表征图像平滑区域；m为梯度模板， 表示卷积处理，a表示梯度阈值，用于切分复杂与平滑区域；
[0015] (1.4)采用下式对复杂区域与平滑区域分别设置阈值，得到表征图像各区域复杂度的阈值图：
[0016]
[0017] 其中，A1为复杂区域阈值比例系数；A2为平滑区域阈值比例系数；Const表示高斯分布的标准差阈值常数；
[0018] (1.5)采用下式利用连续多帧待检测区域全景图像构建背景模型；
[0019]
[0020] 其中N(xt|μk,t,σk,t)代表以μk,t为均值，以σk,t为标准差的正态分布，xt表示t时刻对应的帧图像，K代表高斯模型的个数，πk代表不同高斯模型的混合系数，且有 0≤πk≤1；
[0021] (1.6)根据背景模型与阈值图对连续多帧全景图像进行前景提取；
[0022] (1.7)对连续多帧前景点信息进行聚类，将长度最长的轨迹作为待追踪目标；
[0023] (1.8)若未检测到待追踪目标，则每隔M帧图像，采用如下表达式对背景模型进行更新，并重复执行步骤(1.6)-(1.7)直至检测到待追踪目标；
[0024]
[0025] 其中，α表示学习率，取值越大对模板的继承性越差。
[0026] 进一步地，步骤(1.6)所述基于背景模型与阈值图对连续多帧全景图像进行前景提取，具体为，采用公式||xt-μk,t||2≤Threshold(i,j)·σk,t对连续多帧全景图像进行前景提取。
[0027] 进一步地，步骤(2)具体包括：
[0028] (2.1)根据待追踪目标的
像素尺寸信息，采用以下表达式对光学成像设备进行层级变倍，并根据待追踪目标的坐标
位置信息，对光学成像设备云台进行
姿态控制；
[0029]
[0030] 其中，Size代表当前目标的实际像素尺寸，MaxSizeThreshold代表目标最大尺度阈值，MinSizeThreshold代表目标最小尺度阈值，MinZoom与MaxZoom代表缩小倍率值与放大倍率值；Zoom表示光学成像设备的设定倍率值；
[0031] (2.2)基于改进的核相关滤波算法对运动目标进行跟踪；
[0032] (2.3)根据跟踪得到的目标坐标位置信息，对光学成像设备云台进行姿态控制，并根据跟踪得到的像素尺寸和识别所需阈值对光学成像设备进行自适应变倍，保证目标处于
视野中心。
[0033] 进一步地，步骤(2.3)所述根据跟踪得到的目标坐标位置信息，对光学成像设备云台进行姿态控制，具体为，根据当前帧与中心坐标点相对位置Δxt-1和上一帧与中心坐标点相对位置Δxt-2的差值，对云台转速进行控制。
[0034] 进一步地，步骤(2.1)对光学成像设备进行层级变倍后，还需进行图像稳定判断，具体包括；
[0035] 1)判断图像灰度是否稳定；若是，则进入步骤2)；若否则继续进行执行步骤1)；
[0036] 2)判断图像梯度是否稳定；若是，则进入步骤3)；若否则继续进行执行步骤1)；
[0037] 3)判断相机倍率是否达到设定值；若是，则进入步骤(2.2)；若否则继续进行执行步骤1)。
[0038] 进一步地，步骤(2.2)所述对运动目标进行跟踪时，采用公式newPadding＝vt/vbase·padding确定搜索框的大小，同时对连续N帧坐标信息进行拟合，根据拟合结果调整搜索框位置；其中，vt代表目标当前速度，vbase代表目标基准速度，padding表示默认搜索倍率，N＜10。
[0039] 进一步地，步骤(3)具体包括：
[0040] (3.1)每隔A帧图像，对跟踪目标进行一次识别；
[0041] (3.2)判断识别类型是否为设定的虚假目标，若连续识别B次均为虚假目标，则释放目标，并返
回执行步骤(1)继续监测
指定区域；若否，则继续对运动目标进行跟踪、识别，并持续报警直至人工解除报警或干扰器成功驱离目标；
[0042] (3.3)警报解除后，返回执行步骤(1)继续监测指定区域。
[0043] 进一步地，所述光学成像设备为单孔径、可变焦，在
水平、竖直方向上可转动的光电成像设备。
[0044] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0045] (1)本发明仅使用一台光电成像设备同时实现目标的检测、跟踪与识别任务，有别于双可见光系统(低倍率机+高倍率机)与其他复杂光电系统(可见光+红外或者雷达+可见光)，仅仅采用单个可见光监控摄像头就可以实现光电系统的全部功能，攻克了可见光设备变倍调焦导致的画面不稳定、时间损耗长、目标丢失等技术难题，不仅继承了光学系统可靠性高的优点，还成倍缩减了光学系统的成本，优化了性能，使无人机反制系统的民用普及成为可能，具有突出的经济效益和实用价值。
[0046] (2)本发明采用递进式弱小目标检测算法进行运动小目标的检测，主要包括基于改进的高斯混合背景建模(ATL-GMM)技术进行噪声抑制与前景点的检测，基于
时空联合特征的聚类技术进行目标轨迹的提取与判决，其有益效果是解决了弱小目标特征少、难检测的问题，有效地抑制了图像中的边缘噪声，并合理利用了目标的时空联合特征，提高了弱小目标运动的检测效果，增大了检测距离。
[0047] (3)本发明基于单孔径
光学传感器变倍能力提出层级变倍方法，对检测目标进行快速定位与放大，克服了摄像头变倍导致的画面不稳定，目标丢失等难题，可以将系统全部功能集成到一台摄像机上，极大地降低了成本。
[0048] (4)本发明利用并行开发技术同时实现目标跟踪、识别，以及云台姿态控制，能够实时进行
软件算法与硬件控制的协调配合，从而实现目标的全方位实时跟踪，有利于干扰系统的定向管制。
[0049] (5)本发明对PTZ监控摄像机云台进行姿态控制，同时调整云台转向、转速、相机倍率，能够始终保证跟踪目标居于视场中心，且能够保证目标尺寸在视场中的比例处于合适的范围，同时满足目标跟踪算法与目标识别算法对目标尺寸的要求，避免因目标尺寸问题影响算法的准确率。
附图说明
[0050] 图1是本发明提出的一体化无人机检测方法
流程图；
[0051] 图2为无人机小目标检测示意图；
[0052] 图3(a)-图3(d)为摄像头层级变倍示意图；
[0053] 图4为云台姿态控制示意图。
具体实施方式
[0054] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及
实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0055] 如图1所示，本发明实施例提供了一种一体化无人机检测方法，包括：
[0056] (1)对待检测区域的全景图像进行背景建模和阈值设置，得到背景模型和阈值图，并根据背景模型和阈值图，对连续多帧待检测区域全景图像进行前景检测，得到待追踪目标；其中，阈值图用于表征全景图像各区域的复杂度；
[0057] 具体地，步骤(1)具体包括：
[0058] (1.1)光学成像设备在低倍率状态下采集待检测区域的全景图像，其中，光学成像设备为单孔径、可变焦，在水平、竖直方向上可转动的光电成像设备。本发明实施例采集到的全景图像如图2所示；
[0059] (1.2)对采集到的全景图像进行灰度化处理，得到待检测区域全景图像的灰度图；
[0060] (1.3)采用下式对所述灰度图进行二值化，并对得到的二值图进行膨胀处理；
[0061]
[0062] 其中，Bcomplex为常数，本发明实施例取1，表征图像复杂区域；Bsmooth为常数，本发明实施例取0，表征图像平滑区域；m为梯度模板，可为拉普拉斯算子、canny算子等梯度算子；表示卷积处理，a表示梯度阈值，取值范围为0～255，用于切分复杂与平滑区域；
[0063] (1.4)采用下式对复杂区域与平滑区域分别设置阈值，得到表征图像各区域复杂度的阈值图：
[0064]
[0065] 其中，A1为复杂区域阈值比例系数，本发明实施例取1；A2为平滑区域阈值比例系数，本发明实施例取0.8；Const表示高斯分布的标准差阈值常数，本发明实施例取2.5；本发明实施例对平滑区域设置Threshold(i,j)为2(即2σ范围)，对背景信息有较小的接受度，对目标有较强的检测灵敏度，在平滑区域中更容易判定为可疑目标；对复杂区域设置Threshold(i,j)为2.5(即2.5σ范围)，增加了对背景的接受度，能够抑制复杂区域中的大量噪声，同时也对目标有一定的检测能力。
[0066] (1.5)采用下式利用连续多帧待检测区域全景图像构建背景模型；
[0067]
[0068] 其中N(xt|μk,t,σk,t)代表以μk,t为均值，以σk,t为标准差的正态分布，xt表示t时刻对应的帧图像，K代表高斯模型的个数，可取3～5，πk代表不同高斯模型的混合系数，且有0≤πk≤1；
[0069] (1.6)根据背景模型与阈值图对连续多帧全景图像进行前景提取；具体地，采用公式||xt-μk,t||2≤Threshold(i,j)·σk,t对连续多帧全景图像进行前景提取，通过采用Threshold(i,j)代替固定阈值，以达到对场景复杂/平滑区域的自适应切分。
[0070] (1.7)对连续多帧前景点信息进行聚类，选择长度最长的轨迹作为待追踪目标；
[0071] (1.8)每隔M(本发明实施例取30)帧图像，采用如下表达式对背景模型进行更新，以适应光照等环境变化，并重复执行步骤(1.6)-(1.7)直至检测到待追踪目标；
[0072]
[0073] 其中，α表示学习率，取值越大对模板的继承性越差，本发明实施例取0.1。
[0074] (2)对光学成像设备进行层级变倍和云台控制，定位和放大待追踪目标，并基于改进的核相关滤波跟踪算法对目标进行实时跟踪；
[0075] 本发明基于单孔径光学传感器变倍能力提出层级变倍方法，对检测目标进行快速定位与放大，克服了摄像头变倍导致的画面不稳定，目标丢失等难题，可以将系统全部功能集成到一台摄像机上，极大地降低了成本。
[0076] 具体地，步骤(2)包括：
[0077] (2.1)根据步骤(1)得到的待追踪目标的像素尺寸信息，采用以下表达式对光学成像设备进行层级变倍，并根据待追踪目标的坐标位置信息，对光学成像设备云台进行姿态控制；
[0078]
[0079] 其中，Size代表当前目标的实际像素尺寸，MaxSizeThreshold代表目标最大尺度阈值，MinSizeThreshold代表目标最小尺度阈值，MinZoom与MaxZoom代表缩小倍率值与放大倍率值；Zoom表示光学成像设备的设定倍率值；本发明采用中倍率(中焦)进行目标跟踪，目标最佳尺度范围大致为w:[20,100],h:[10,50]，因此最大尺度阈值设为100*50，最小尺度阈值设为20*10，若接近最佳尺度范围，则变倍幅度小(放大1～3倍)，若远小于最佳尺度范围，则变倍幅度大(放大4～10倍)，以保证变倍放大后的目标尺度满足跟踪算法的最佳效果要求，提高系统性能。
[0080] 层级变倍示意图如图3(a)-图3(d)所示，在对光学成像设备进行层级变倍后，还需进行图像稳定判断，具体包括；1)判断图像灰度是否稳定；若是，则进入步骤2)；若否则继续进行执行步骤1)；2)判断图像梯度是否稳定；若是，则进入步骤3)；若否则继续进行执行步骤1)；3)判断相机倍率是否达到设定值；若是，则进入步骤(2.2)；若否则继续进行执行步骤1)。
[0081] (2.2)基于核相关滤波算法对运动目标进行跟踪；
[0082] 具体地，为满足实时性和准确率的要求，本系统采用基于改进的核相关滤波跟踪算法(APP-KCF,Kerneled correlation filterwith adaptive padding andpositionprediction on target tracking)对目标进行实时跟踪，并实时记录目标的坐标位置信息，对算法的改进主要体现在对运动目标进行跟踪时，采用公式newPadding＝vt/vbase·padding确定搜索框的大小，同时对连续N帧坐标信息进行拟合，根据拟合结果调整搜索框位置；其中，vt代表目标当前速度，可以通过帧间像素位移量表征；vbase代表目标基准速度，通过帧间像素位移量为目标尺度的2倍表征；padding表示默认搜索倍率2.5；
newPadding设定取值范围[2,5]，避免过大导致时间损耗，避免过小导致边界截断；当N为2时，可以采用线性拟合；N大于2时，可以采用多项式拟合，或者使用卡尔曼滤波算法进行位置预测。同时，N一般小于10，因为N较小时，时间较短(小于0.2秒)，可以假设无人机目标运动轨迹是可以预测的。
[0083] (2.3)根据跟踪得到的目标坐标位置信息，对光学成像设备云台进行姿态控制，并根据跟踪得到的像素尺寸和识别所需阈值对光学成像设备进行自适应变倍，保证目标处于视野中心。
[0084] 具体地，光学成像设备云台的姿态控制包括方向和转速两方面；对运动方向的控制方法为：如附图4中所示的Δx和Δy，均为目标实际坐标与中心坐标的差值，“+”符号表示目标处于视野右侧或下方，“-”符号表示目标处于视野左侧或上方，“0”表示目标在视野中水平居中或竖直居中，从而通过二者的正负符号组合，来控制云台的运动方向。如表1所示，(-，-)表示云台向左上方转动，(-，0)表示云台向左转动，(-，+)表示云台向左下转动，(0，-)表示云台向上转动，(0,0)表示云台不转动，(0，+)表示云台向下转动，(+，-)表示云台向右上转动，(+，0)表示云台向右转动，(+，+)表示云台向右下转动；
[0085] 表1
[0086] (-，-) (0，-) (+，-)(-，0) (0，0) (+，0)
(-，+) (0，+) (+，+)
[0087] 此外，由于仅考虑中心单一坐标时，目标在中心位置几乎不可能完全保证Δx和Δy均为0，会对云台姿态控制产生抖动，因此将中心坐标改进为中心区域，设定一个区域边界阈值进行Δx和Δy的计算，以避免抖动。
[0088] 对云台转速的控制方法为：根据当前帧与中心坐标点相对位置Δxt-1和上一帧与中心坐标点相对位置Δxt-2的差值，对云台转速进行控制。为便于理解，可用以下公式表示：
[0089]
[0090] 其中，n速度误差累积的连续历史帧数，本发明实施例取3，Vt-1代表云台上一次的转速，F(fx,fy)代表云台是否能够跟上目标的速度，F补偿(∑fx,∑fy)代表累积偏差的速度补偿。工程实现时，公式中分母不能为0。本发明实施例F(fx,fy)取值见表2，F补偿(∑fx,∑fy)取值与F(fx,fy)类似，只需将∑fx≥1与fx＝1对应，其他取值原理类似。
[0091] 表2
[0092](fx,fy) F(fx,fy) (fx,fy) F(fx,fy) (fx,fy) F(fx,fy)
(1,1) 1 (0,1) 1 (0，-1) -1
(1,0) 1 (-1,1) 1 (-1,0) -1
(1,-1) 1 (0，0) 0 (-1，-1) -1
[0093] 其中，fx为1时表示云台在x方向上跟不上目标，0或-1时表示跟得上，fy表示y方向上，类似fx。在x和y方向上，只要有跟不上的情况出现，就增加云台转速，每次增量为1；此外，当云台转速过高时，就降低云台转速，每次增量为-1。
[0094] 当目标居于视野中央时，依据目标尺度进行动态变焦，自适应调整倍率的方法与步骤(2.1)类似，识别算法适用的最佳尺寸范围为w:[50,200],h:[30,80]，当目标尺度大于阈值范围时，缩小倍率(1～2倍)，当目标尺度小于阈值范围时，放大倍率(1～2倍)，以保证目标处于视野中心并且尺度适当，截取目标区域图像，传入目标识别模块进行识别。
[0095] (3)对跟踪目标进行识别分类。
[0096] 具体地，采用
卷积神经网络对目标进行识别分类，数据集与实际应用相适应，具有针对性。为避免干扰，本发明采取定间隔的方法对运动目标进行识别，具体包括：(3.1)每隔A(本发明实施例取5)帧图像，对跟踪目标进行一次识别；(3.2)判断识别类型是否为设定的虚假目标，若连续识别B(本发明实施例取3)次均为虚假目标，则释放目标，并返回执行步骤(1)继续监测指定区域；若否，则继续对运动目标进行跟踪、识别，并持续报警直至人工解除报警或干扰器成功驱离目标；(3.2)警报解除后，返回执行步骤(1)继续监测指定区域。由于运动目标可能受到的干扰较多，对识别不利，本发明采用定间隔识别方法增加了对识别功能的容错率，同时也提高了系统的性能。
[0097] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明的保护范围之内。
