技术领域
[0001] 本
发明涉及小区安防监控领域，具体是一种高空抛物预警方法和装置。
背景技术
[0002] 目前大部分的高空抛物智能检测方法只能起到监控、检测和事后取证的作用，如，一种高空抛物高度检测系统及其校正系统(公开号：CN109163667A)可以有效计算高空抛物的抛射高度，有助于寻找肇者；一种基于
计算机视觉的高空抛物检测系统与方法(公开号： CN109309811A)可以对获取的图像数据进行分析处理，确定图像数据中的运动目标，获取运动轨迹和获取属于高空抛物目标的抛出
位置，另外还有一些通过手印检测的高空抛物身份确认方法等。以上方法只是高空抛物事后取证辅助技术手段，并不能起到高空抛物防范和预警的作用，因此，本发明提出一种基于
图像处理和识别技术的高空抛物预警方法和装置。
发明内容
[0003] 本发明的目的在于提供一种高空抛物预警方法和装置，以解决上述背景技术中提出的问题。
[0004] 为实现上述目的，本发明提供如下技术方案：
[0005] 一种高空抛物预警方法，包括如下步骤：
[0006] S1、摄像头安装与监控图像截取缩放；
[0007] S2、目标入侵检测：利用不同尺度和方向的Gabor
滤波器与输入图像进行卷积提取图像特征，对提取的图像特征进行
池化操作(pooling)得到最终的
特征向量(即BIF特征)，然后对提取的BIF特征采用主成份分析方法进行特征
降维，最后将降维后的特征送入训练好的
支持向量机进行二分类，确定是否有目标入侵；
[0008] S3、高空抛物验证：如果目标入侵检测中没有发现目标，则回到S1循环继续；如果目标入侵检测中发现有目标入侵，则取出当前
帧以及前两帧图像，并对此三帧图像做相应的截取缩放操作后传输至后台
服务器；另外传回当前时刻前后5分钟视频给视频图像存储模
块，以便取证用，服务器端对传回的目标入侵图像进行高空抛物验证；
[0009] S4、高空抛物预警：如果高空抛物验证为非高空抛物行为，则返回S3循环继续；如果高空抛物验证确实为高空抛物行为，则发送指令给楼下的报警器进行危险提醒，报警器收到播放指令后根据事先录制好的播放内容进行播放；如果高楼安装有高空抛物防护装置，则在发送报警指令的同时也发送启动防护装置指令；进一步的，还可以将高空抛物信息发送给相应的管理者。
[0010] 作为本发明进一步的方案：步骤S1中，对于小于100米的高楼，摄像头安装位置为聚焦高楼50米处；监控图像截取缩放方法为：如果大楼楼层小于50米，则截取图像的高度范围为以楼顶为0点处往下至6米处，宽度为整个大楼的长度；如果大楼楼层大于50 米，则截取图像的高度范围为以50米为起点往上扩展6米，即50-56米高度范围，宽度为整个大楼的长度。对于大于100米的高楼，可在100米处加装一个摄像头，以后每增高 100米便加装一个摄像头，形成多摄像头联动预警；其监控图像截取缩放方法为：截取图像的高度范围为以摄像头正对处为起点向上下各扩展3米，宽度为整个大楼的长度。通过多级安装摄像头的方法，一方面可以提高100米以上高空抛物的检测时间，预留给楼下人员更多的反应时间；另一方面也不会漏掉50米左右及以下高空抛物的检测和预警；最后通过多级联动的方式，即使100米处或以上的摄像头没有检测出来高空抛物行为，还有50 米处摄像头作最后保障，提高了整个方案的安全性。
[0011] 作为本发明进一步的方案：步骤S3中，服务器端对传回的目标入侵图像进行高空抛物验证的方法包括如下步骤：首先将目标入侵检测传回的三幅图像求平均得到其均值图像；然后利用基于
深度学习的目标检测方法进行高空抛物验证。
[0012] 作为本发明进一步的方案：利用基于深度学习的目标检测方法包括CNN图像卷积处理、金字塔网络多尺度特征提取、先验框全域动态选择和特征全尺度动态选取。
[0013] 作为本发明进一步的方案：步骤S4中，如果楼底安装了相应的高空抛物保护装置，则后台还可以与高空抛物保护装置联动；当后台确认有高空抛物行为时，通知高空抛物保护装置启动。高空抛物防护装置安装于离地面2米左右处，并与报警装置共用通信线路。
[0014] 作为本发明进一步的方案：步骤S4中，后台在将高空抛物预警
信号所产生预警信号发送至报警器后，还可以将预警信号和截取的高空抛物图像发送给相应的物业管理和保洁人员，以便相应人员进行快速响应和处理。
[0015] 一种高空抛物预警装置，包括前端、后台和报警器，所述前端包括图像获取模块、目标入侵检测模块和图像传输模块，所述后台包括高空抛物验证模块、视频图像存储模块、通信控
制模块和后台服务器，所述报警器包括信号接收模块
和声控报警模块，其中，[0016] 所述图像获取模块，包括摄像头，用于对监控视频图像进行处理以获取最有效的高空抛物监控图像，保证截取图像最小化，减少后期检测时间，同时又保证截取图像的有效性，不会导致监控
盲点产生；
[0017] 所述目标入侵检测模块，用于利用快速简单的
图像识别技术对图像获取模块截取的图像进行目标入侵检测分析；
[0018] 所述图像传输模块，用于负责将检测出有目标入侵的当前帧以及前两帧图像传输至后台服务器，另外还需传输当前时刻前后5分钟视频至视频图像存储模块，以便事后取证用；
[0019] 所述高空抛物验证模块，用于对前端的摄像头传回的目标入侵图像进行第二次验证，以确保高空抛物准确率，杜绝误报；
[0020] 所述视频图像存储模块，用于对确认的高空抛物图像和视频进行存储以方便查阅、浏览和取证之用，根据摄像头编号、摄像时间、地点信息构建图像检索
数据库，对接收的图像和视频进行存储和构建索引；
[0021] 所述通信
控制模块，用于负责前端以及报警器的通信；
[0022] 所述后台服务器，用于用于发送报警信息；
[0023] 所述信号接收模块，用于负责报警器端接收后台服务器发送的报警信息及信息确认反馈；
[0024] 所述声控报警模块，用于负责报警器端的声控报警和语音提示。
[0025] 作为本发明再进一步的方案：所述图形传输模块的传输方式根据现场情况可以选择有线或无线通信方式。
[0026] 与
现有技术相比，本发明的有益效果是：
[0027] 1)目前现存的高空抛物检测方法大多只能做到监控、检测和事后取证的功能，本发明不仅如此，还能做到提前防范和预警的功能，使高空抛物检测技术真正用之于民；
[0028] 2)本发明为了在速度和
精度上双保障，提出两步高空抛物检测法，具体为第一步在摄像头前端采用快速简单
算法进行是否有目标入侵快速两分类；当第一步确认有目标入侵后，将入侵图像传输至后台再采用性能最好的深度学习方法进行高空抛物确认。通过二步检测方法避免了实时不间断的进行高空抛物准确判别所带来的计算性能和
硬件支撑难题，同时在速度上也有保障；
[0029] 3)为了提高高空抛物中小目标检测问题，提出的目标检测模型，很好解决了高空抛物中诸如垃圾纸屑、矿泉
水瓶和烟头等小目标的检测问题。
附图说明
[0030] 图1为一种高空抛物预警方法的流程示意图。
[0031] 图2为一种高空抛物预警装置中模块的连接示意图。
[0032] 图3为传统RetinaNet目标检测网络图。
具体实施方式
[0033] 下面将结合本发明
实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0034] 请参阅图1，一种高空抛物预警方法，主要流程和步骤如下：
[0035] S1、摄像头安装与监控图像选取
[0036] 根据物体自由落体运动公式有：
[0037]
[0038] 其中，h表示高度，g＝9.8m/s表示重
力加速度，t表示时间。根据公式(1)可以得出：
[0039]
[0040] 根据公式(2)可知，物体从100米高空掉落下来大概需要4.5175秒，从50米空掉落下来大约需要3.1944秒，从20米高空掉落下来大约需要2.0203秒。如果考虑到初速度，可能时间会更短。
[0041] 为了有效的进行高空抛物预警和提前防范，对于小于100米的高楼，监控摄像头以聚焦高楼50米处为最佳，这样保证在检测到高空抛物时有1-3秒时间提醒楼下用户避让。通过安装的最佳摄像头截取高空抛物监控视频图像中的一部分图像作为高空抛物分析图像。其截取方法为：如果大楼楼层小于50米，则截取图像的高度范围为以楼顶为0点处往下至6米处；宽度为整个大楼的长度。如果大楼楼层大于50米，则截取图像的高度范围为以50米为起点往上扩展6米，即50-56米高度范围；宽度为整个大楼的长度。
[0042] 对于大于100米的高楼，可在100米处加装一个摄像头，以后每增高100米便加装一个摄像头，形成多摄像头联动预警，这样保证在检测到高空抛物时有更多时间提醒楼下用户避让。其监控图像截取缩放方法为：截取图像的高度范围为以摄像头正对处为起点向上下各扩展3米，宽度为整个大楼的长度。
[0043] 当200米以上有高空抛物行为，200米处的摄像头会先检测到，随后100米处的摄像也会检测到，最后50米处的摄像头也会检测，最终形成多级联动检测和预警方案，即使其中某一个摄像头检测失败，还有其它两个作保证，提高了整个方案的安全性。
[0044] 另外，通过上述高空抛物分析图像截取方法，而不是简单的选取整张图像的方法，保障了截取图像最小化，减少后期检测时间；同时又保障了截取图像的有效性，不会导致监控盲点产生。
[0045] S2、目标入侵检测
[0046] 对第一步得到的高空抛物分析图像采用快速有效的方法(如基于BIF，HOG或其组合特征+SVM的目标检测方法)在监控摄像头前端进行有无目标入侵的二值分类。由于仿生特征(Bio-inspired Features，BIF)是模仿
脊椎动物大脑初级视觉皮层的单细胞可接受信息域的分布，因此具有更优的图像特征提取特性。本
专利实施例采用BIF方法进行截取图像特征提取，其方法为：利用不同尺度和方向的Gabor滤波器与输入图像进行卷积提取图像特征，然后对提取的图像特征进行池化操作(pooling)得到最终的特征向量，即为BIF 特征。紧接着对提取的BIF特征采用主成份分析(PCA)方法进行特征降维。最后，将降维后的特征送入训练好的支持向量机(SVM)进行二分类，确定是否有目标入侵。
[0047] S3、高空抛物验证
[0048] 如果目标入侵检测中没有发现目标，则回到第一步循环继续；如果目标入侵检测中发现有目标入侵，则取出当前帧以及前两帧图像传输至后台服务器；另外传回当前时刻前后 5分钟视频给视频图像存储模块，以便取证用。服务器端对传回的目标入侵图像进行高空抛物验证，其方法如下：
[0049] 首先，将目标入侵检测传回的三帧图像进行剪切操作缩小检测范围；其剪切操作参照第一步中的剪切方法。
[0050] 然后，将剪切后的三幅图像求平均得到其均值图像。
[0051] 最后，利用基于深度学习的目标检测方法进行高空抛物验证，如SSD(Single Shot MultiBox Defender)，RetinaNet，FSAF等。
[0052] 本专利提出一种改进的RetinaNet目标检测方法，称为动态RetinaNet(D-RetinaNet) 目标检测方法。
[0053] 传统的RetinaNet目标检测如图3所示，主要包括CNN网络进行图像卷积处理(如VGG, ResNet等)、金字塔网络(FPN)提取多尺度特征图、分类网络进行类别分析和回归网络进行边框回归四大部分。本专利提出的D-RetinaNet目标检测模型中的CNN图像卷积处理和金字塔网络多尺度特征提取两大部分和RetinaNet模型保持不变；但是对后两大部分进行改进，改进点包括两大部分：
[0054] 1、先验框全域动态选择
[0055] 在RetinaNet模型中都会为每种水平l下的特征图设置特定的先验框，先验框的设置，包括尺度(或者说大小)和长宽比两个方面。对于先验框的尺度，其遵守一个线性递增规则，主要根据特征图的大小静态事先决定，不具有自由性。本专利提出一种先验框自由动态选择策略，由模型根据输入图像的特点自主选择最优的先验框。具体方法为，在 RetinaNet模型的特征图后面、分类和回归网络之前各自增加一个3×3×C和3×3×4的卷积层，其中3×3为卷积核大小，C为目标类别数，4为边框参数个数。由增加的卷积层负责选择最合适目标类型的先验框。
[0056] 2、特征全尺度动态选取
[0057] 假定尺度水平l下分类
置信度误差为 边框位置误差为 在 RetinaNet模型中是根据目标的大小尺寸选择相应的尺度水平l作为最终目标特征。本专利采用动态的方式选取最佳的尺度水平l作为最终目标特征：
[0058]
[0059] 其中，L为损失函数(Loss)，C为目标类别数，P为位置坐标。
[0060] 通过以上两步改进后，使得D-RetinaNet对高空抛物小目标检测具有很好的鲁棒性。
[0061] D-RetinaNet不仅能验证是否有高空抛物，还能准确预判出高空抛物类别，本发明将高空抛物类别设置为烟头、玻璃瓶、塑料瓶、花盆、垃圾袋、
果皮、砖石、衣物和纸屑等 9类。
[0062] 其中，针对9类不同类别高空抛物训练样本采集问题，本发明提出一种基于生成式对抗网络(GAN,Generative Adversarial Networks)的高空抛物样本合成方法。具体为：首先，采集一些不同环境(白天、黑夜、刮
风下雨和天晴)高楼无高空抛物图片；另外采集一些不同环境(白天、黑夜、刮风下雨和天晴)高楼有不同高空抛物的图片。然后，采用旋转、缩放、镜像、剪切、噪声、模糊、
颜色扰动、擦除、填充等方式进行样本扩充。最后，将经过扩充后的样本送入GAN网络进行训练学习得出高空抛物生成模型。根据生成的GAN模型合成不同类别的高空抛物图片。
[0063] 优选的，为了提高高空抛物验证的速度，也可以将所有的高空抛物类型归为一类，因此D-RetinaNet做高空抛物验证时只是识别出是否有高空抛物即可，即只需作二值分类，降低了模型复杂度。
[0064] S4、高空抛物预警
[0065] 如果高空抛物验证为非高空抛物行为，则返回第三步循环继续；如果高空抛物验证确实为高空抛物行为，则发送指令给楼下的报警器进行危险提醒。报警器收到播放指令后根据事先录制好的播放内容进行播放，播放内容为“危险，有坠物”或“当心坠物”等。
[0066] 进一步的，如果楼底安装了相应的高空抛物保护装置，则后台还可以与高空抛物保护装置联动。当后台确认有高空抛物行为时，通知高空抛物保护装置启动。
[0067] 优选的，后台在将高空抛物预警信号发送至报警器后，还可以将高空抛物预警信号所产生预警信号和截取的高空抛物图像发送给相应的物业管理和保洁人员，以便相应人员进行快速响应和处理。
[0068] 请参阅图2，一种高空抛物预警装置，主要包括前端、后台和报警器三大部分，其中前端摄像头主要包括图像获取模块、目标入侵检测模块和图像传输模块，后台主要包括高空抛物验证模块、视频图像存储模块、通信控制模块和后台服务器，报警器主要包括信号接收模块和声控报警模块。
[0069] (1)图像获取模块
[0070] 主要是在摄像头前端对监控视频图像进行处理以获取最有效的高空抛物监控图像，保证截取图像最小化，减少后期检测时间；同时又保证截取图像的有效性，不会导致监控盲点产生。
[0071] (2)目标入侵检测模块
[0072] 主要是在摄像头前端利用快速简单的图像识别技术对图像获取模块截取的图像进行目标入侵检测分析。本发明实施例采用BIF+PCA+SVM方法快速确定是否有目标入侵。
[0073] (3)图像传输模块
[0074] 主要是负责将检测出有目标入侵的当前帧以及前两帧图像传输至后台服务器；另外还需传输当前时刻前后5分钟视频至视频图像存储模块，以便事后取证用。传输方式根据现场情况可以选择有线或无线通信方式。
[0075] (4)高空抛物验证模块
[0076] 主要用于对前端摄像头传回的目标入侵图像进行第二次验证，以确保高空抛物准确率，杜绝误报。本发明采用一种新的D-RetinaNet深度学习网络进行目标检测，以确保准确性。
[0077] (5)视频图像存储模块
[0078] 主要用于对确认的高空抛物图像和视频进行存储以方便查阅、浏览和取证之用。根据摄像头编号、摄像时间、地点等信息构建图像检索数据库，对接收的图像和视频进行存储和构建索引，主要用于对确认的高空抛物图像和视频进行存储以方便查阅为：对经过二次检测验证确认无误的对应高空抛物图像和视频进行存储以方便查阅。整体过程是，当第一次目标入侵检测发现有目标入侵后，便会将当前时刻前后5分钟视频给视频图像存储模块进行预存；如果第二次验证确认为高空抛物无误后，则保存相应图像和视频，如果第二次验证非误检的话，则将传回的视频删除掉。
[0079] (6)通信控制模块
[0080] 后台的通信控制模块主要负责两方面通信，一是和前端摄像头通信；二是和前端报警器通信。
[0081] 1、和前端摄像头通信：当前端摄像头检测到有目标入侵时，会将截取的图像发送到后台服务器，后台服务收到图像后会给前端摄像头一个反馈，如果一段时间内前端摄像头没有收到后台服务发送的反馈，则自动重复发送一次截取的目标入侵图像，如此反复直到收到反馈为止。
[0082] 2、和前端报警器通信：当后台服务器确认为高空抛物行为时，给前端报警器发送报警信息，报警器收到报警信息后立即进行危险播报提醒，同时给后台服务器一个信息确认反馈，如果一段时间内后台服务器没有收到报警器发送的反馈，则自动重复发送一次报警信息，如此反复直到收到反馈为止。
[0083] (7)信号接收模块
[0084] 主要负责报警器端接收后台服务器发送的报警信息及信息确认反馈。
[0085] (8)声控报警模块
[0086] 主要负责报警器端的声控报警和语音提示。
[0087] 对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附
权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
[0088] 此外，应当理解，虽然本
说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
