一种监控方法、装置、系统、监控设备及可读存储介质
阅读：205发布：2024-01-19
专利汇可以提供一种监控方法、装置、系统、监控设备及可读存储介质专利检索，专利查询，专利分析的服务。并且本 申请 涉及一种监控方法、装置、系统、监控设备及可读存储介质，涉及终端技术领域，所述方法包括：获取 微波 雷达在预设区域内采集到的雷达图像；通过预先训练的 深度学习 神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息；将所述各检测对象的特征信息发送给预设的AR终端，以使所述AR终端根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。采用本申请，可以提高了监控的 覆盖 性。，下面是一种监控方法、装置、系统、监控设备及可读存储介质专利的具体信息内容。
1.一种监控方法，其特征在于，所述方法包括：
获取微波雷达在预设区域内采集到的雷达图像；
通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息；
将所述各检测对象的特征信息发送给预设的增强现实AR终端，以使所述AR终端根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
2.根据权利要求1所述的方法，其特征在于，所述特征信息至少包括位置信息、高度信息、宽度信息、姿态信息、速度信息、移动轨迹和宽高比中的一种或多种的组合。
3.根据权利要求1所述的方法，其特征在于，所述通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息，包括：
将所述雷达图像输入至预先训练的神经网络模型，得到所述雷达图像中包含的检测对象、以及各检测对象在所述雷达图像中对应的矩形候选区域；
针对每个检测对象，根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息。
4.根据权利要求3所述的方法，其特征在于，所述根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息，包括：
确定该检测对象对应的矩形候选区域在所述雷达图像中的位置信息、高度信息和宽度信息，作为该检测对象的位置信息、高度信息和宽度信息；和/或，
对该检测对象对应的矩形候选区域进行姿态识别，得到该检测对象的姿态信息。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据该检测对象的高度信息和宽度信息，计算该检测对象的宽高比，作为该检测对象的特征信息；和/或，
获取该检测对象在连续多帧雷达图像中的位置信息，根据该检测对象在连续多帧雷达图像中的位置信息，计算该检测对象的速度信息和移动轨迹，作为该检测对象的特征信息。
6.根据权利要求1所述的方法，其特征在于，所述深度学习神经网络为基于高速提议的卷积神经网络Faster-RCNN，所述Faster-RCNN包括输入层、几何视觉VGG网络、区域提议网络RPN、池化层、全连接层和输出层。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取预设的训练样本集合，所述训练样本集合包含多个标注有检测对象的样本雷达图像；
通过所述训练样本集合对预设的深度学习神经网络进行训练，得到训练后的深度学习神经网络。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
如果所述各检测对象中存在预设检测对象，则根据所述预设检测对象的特征信息，判断所述预设检测对象是否发生危险事件；
如果所述预设检测对象发生危险事件，则向所述AR终端发送报警信息。
9.一种监控装置，其特征在于，所述装置包括：
第一获取模块，用于获取微波雷达在预设区域内采集到的雷达图像；
确定模块，用于通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息；
第一发送模块，用于将所述各检测对象的特征信息发送给预设的增强现实AR终端，以使所述AR终端根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
10.根据权利要求9所述的装置，其特征在于，所述特征信息至少包括位置信息、高度信息、宽度信息、姿态信息、速度信息、移动轨迹和宽高比中的一种或多种的组合。
11.根据权利要求9所述的装置，其特征在于，所述确定模块，具体用于：
将所述雷达图像输入至预先训练的神经网络模型，得到所述雷达图像中包含的检测对象、以及各检测对象在所述雷达图像中对应的矩形候选区域；
针对每个检测对象，根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息。
12.根据权利要求11所述的装置，其特征在于，所述确定模块，具体用于：
确定该检测对象对应的矩形候选区域在所述雷达图像中的位置信息、高度信息和宽度信息，作为该检测对象的位置信息、高度信息和宽度信息；和/或，
对该检测对象对应的矩形候选区域进行姿态识别，得到该检测对象的姿态信息。
13.根据权利要求12所述的装置，其特征在于，所述确定模块，还用于：
根据该检测对象的高度信息和宽度信息，计算该检测对象的宽高比，作为该检测对象的特征信息；和/或，
获取该检测对象在连续多帧雷达图像中的位置信息，根据该检测对象在连续多帧雷达图像中的位置信息，计算该检测对象的速度信息和移动轨迹，作为该检测对象的特征信息。
14.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取预设的训练样本集合，所述训练样本集合包含多个标注有检测对象的样本雷达图像；
训练模块，用于通过所述训练样本集合对预设的深度学习神经网络进行训练，得到训练后的深度学习神经网络。
15.根据权利要求9所述的装置，其特征在于，所述装置还包括：
判断模块，用于如果所述各检测对象中存在预设检测对象，则根据所述预设检测对象的特征信息，判断所述预设检测对象是否发生危险事件；
第二发送模块，用于如果所述预设检测对象发生危险事件，则向所述AR终端发送报警信息。
16.一种监控系统，其特征在于，所述系统包括具有微波雷达的监控设备和AR终端，其中：
所述监控设备，用于执行上述权利要求1～8任一所述的方法中的操作；
所述AR终端，用于根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
17.一种监控设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
一种监控方法、装置、系统、监控设备及可读存储介质
技术领域
[0001] 本申请涉及终端技术领域，尤其涉及一种监控方法、装置、系统、监控设备及可读存储介质。
背景技术
[0002] 随着人们安全意识的增加，越来越多的用户选择在家庭中安装监控系统，以便在外出是能够观察家中的情况，管理家庭安全。
[0003] 目前的监控系统中，通常采用摄像头对家庭中的各个区域进行拍摄。摄像头拍摄到图像后，通过无线通信网络将该图像发送给用户的终端，用户则可以通过终端实时查看图像，以获知家中的情况。
[0005] 本申请实施例的目的在于提供一种监控方法、装置、系统、监控设备及可读存储介质，用以解决通过摄像头进行监控时，监控覆盖性差的问题。具体技术方案如下：
[0006] 第一方面，提供了一种监控方法，所述方法包括：
[0007] 获取微波雷达在预设区域内采集到的雷达图像；
[0008] 通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息；
[0009] 将所述各检测对象的特征信息发送给预设的增强现实AR终端，以使所述AR终端根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
[0010] 可选的，所述特征信息至少包括位置信息、高度信息、宽度信息、姿态信息、速度信息、移动轨迹和宽高比中的一种或多种的组合。
[0011] 可选的，所述通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息，包括：
[0012] 将所述雷达图像输入至预先训练的神经网络模型，得到所述雷达图像中包含的检测对象、以及各检测对象在所述雷达图像中对应的矩形候选区域；
[0013] 针对每个检测对象，根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息。
[0014] 可选的，所述根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息，包括：
[0015] 确定该检测对象对应的矩形候选区域在所述雷达图像中的位置信息、高度信息和宽度信息，作为该检测对象的位置信息、高度信息和宽度信息；和/或，
[0016] 对该检测对象对应的矩形候选区域进行姿态识别，得到该检测对象的姿态信息。
[0017] 可选的，所述方法还包括：
[0018] 根据该检测对象的高度信息和宽度信息，计算该检测对象的宽高比，作为该检测对象的特征信息；和/或，
[0021] 可选的，所述方法还包括：
[0022] 获取预设的训练样本集合，所述训练样本集合包含多个标注有检测对象的样本雷达图像；
[0023] 通过所述训练样本集合对预设的深度学习神经网络进行训练，得到训练后的深度学习神经网络。
[0024] 可选的，所述方法还包括：
[0025] 如果所述各检测对象中存在预设检测对象，则根据所述预设检测对象的特征信息，判断所述预设检测对象是否发生危险事件；
[0026] 如果所述预设检测对象发生危险事件，则向所述AR终端发送报警信息。
[0027] 第二方面，提供了一种监控装置，所述装置包括：
[0028] 第一获取模块，用于获取微波雷达在预设区域内采集到的雷达图像；
[0029] 确定模块，用于通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息；
[0030] 第一发送模块，用于将所述各检测对象的特征信息发送给预设的增强现实AR终端，以使所述AR终端根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
[0031] 可选的，所述特征信息至少包括位置信息、高度信息、宽度信息、姿态信息、速度信息、移动轨迹和宽高比中的一种或多种的组合。
[0032] 可选的，所述确定模块，具体用于：
[0033] 将所述雷达图像输入至预先训练的神经网络模型，得到所述雷达图像中包含的检测对象、以及各检测对象在所述雷达图像中对应的矩形候选区域；
[0034] 针对每个检测对象，根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息。
[0035] 可选的，所述确定模块，具体用于：
[0036] 确定该检测对象对应的矩形候选区域在所述雷达图像中的位置信息、高度信息和宽度信息，作为该检测对象的位置信息、高度信息和宽度信息；和/或，
[0037] 对该检测对象对应的矩形候选区域进行姿态识别，得到该检测对象的姿态信息。
[0038] 可选的，所述确定模块，还用于：
[0039] 根据该检测对象的高度信息和宽度信息，计算该检测对象的宽高比，作为该检测对象的特征信息；和/或，
[0040] 获取该检测对象在连续多帧雷达图像中的位置信息，根据该检测对象在连续多帧雷达图像中的位置信息，计算该检测对象的速度信息和移动轨迹，作为该检测对象的特征信息。
[0041] 可选的，所述装置还包括：
[0042] 第二获取模块，用于获取预设的训练样本集合，所述训练样本集合包含多个标注有检测对象的样本雷达图像；
[0043] 训练模块，用于通过所述训练样本集合对预设的深度学习神经网络进行训练，得到训练后的深度学习神经网络。
[0044] 可选的，所述装置还包括：
[0045] 判断模块，用于如果所述各检测对象中存在预设检测对象，则根据所述预设检测对象的特征信息，判断所述预设检测对象是否发生危险事件；
[0046] 第二发送模块，用于如果所述预设检测对象发生危险事件，则向所述AR终端发送报警信息。
[0047] 第三方面，提供了一种监控系统，所述系统包括具有微波雷达的监控设备和AR终端，其中：
[0048] 所述监控设备，用于执行上述第一方面任一所述的方法中的操作；
[0049] 所述AR终端，用于根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
[0051] 存储器，用于存放计算机程序；
[0052] 处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
[0053] 第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
[0054] 第六方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的方法。
[0055] 本申请实施例有益效果：
[0056] 本申请实施例提供了一种监控方法，可以获取微波雷达在预设区域内采集到的雷达图像，然后通过预先训练的深度学习神经网络，识别雷达图像中包含的检测对象，并确定各检测对象的特征信息，进而将各检测对象的特征信息发送给预设的增强现实AR终端，以使AR终端根据各检测对象的特征信息显示预设区域对应的虚拟图像。本方案中，通过微波雷达对预设区域进行检测，可以得到预设区域完整的雷达图像，然后提取雷达图像包含的各检测对象的特征信息，通过AR终端进行虚拟成像，以还原整个预设区域的图像，这样，可以实现对整个预设区域的监控，提高了监控的覆盖性，且成像效果较好。
[0058] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0059] 图1为本申请实施例提供的一种监控方法的流程图；
[0060] 图2为本申请实施例提供的一种Faster-RCNN的结构示意图；
[0061] 图3为本申请实施例提供的一种训练Faster-RCNN的流程流程图；
[0062] 图4为本申请实施例提供的一种监控装置的结构示意图；
[0063] 图5为本申请实施例提供的另一种监控装置的结构示意图；
[0064] 图6为本申请实施例提供的另一种监控装置的结构示意图；
[0065] 图7为本申请实施例提供的一种监控设备的结构示意图。
具体实施方式
[0066] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0067] 本申请实施例提供的一种监控方法，该方法可以应用于监控设备，该监控设备可以是具有微波雷达的监控设备。其中，微波雷达可以设置在需要监控的区域中。在家庭监控的场景下，可以在每个房间中设置一个微波雷达，以采集该房间对应的雷达图像。
[0068] 步骤101，获取微波雷达在预设区域内采集到的雷达图像。
[0069] 在实施中，微波雷达可以在预设区域发出微波信号，当微波信号遇到室内环境中的障碍物后，会返回的回波信号，微波雷达可以根据接收到的回波信号，生成雷达图像。其中，预设区域为微波雷达的监控范围内的区域。
[0070] 步骤102，通过预先训练的深度学习神经网络，识别雷达图像中包含的检测对象，并确定各检测对象的特征信息。
[0071] 在实施中，监控设备中可以存储有预先训练的深度学习神经网络，该深度学习神经网络可以是Faster-RCNN(Faster Region-based Convolutional Neural Network，基于高速区域提议的卷积神经网络)、RCNN等。监控设备获取到雷达图像后，可以将该雷达图像输入至深度学习神经网络，深度学习神经网络可以识别雷达图像中包含的检测对象，然后，监控设备可以进一步确定各检测对象的特征信息。其中，检测对象可以是人体、动物、家具和电器等对象；特征信息至少包括位置信息、高度信息、宽度信息、姿态信息、速度信息、移动轨迹和宽高比中的一种或多种的组合。
[0072] 本申请实施例以深度学习神经网络为Faster-RCNN为例，对识别检测对象的处理过程进行详细说明。其中，Faster-RCNN包括输入层、VGG(Visual Geometry Group，几何视觉)网络、RPN(region proposal networks，区域提议网络)、池化层、全连接层和输出层，如图2所示。其中，池化层可以为ROI(region of interest，兴趣区域)pooling。
[0073] 在实施中，可以通过输入层将雷达图像输入至Faster-RCNN的VGG网络，VGG网络可以对该雷达图像进行卷积计算，得到卷积特征图像(Feature map)。然后，可以将卷积特征图像输入至RPN进行筛选处理，RPN会输出包含矩形候选区域的特征图像。其中，矩形候选区域是可能包含有检测对象的区域，比如人、宠物或电视等对应的区域。VGG网络可以将卷积特征图像输入至池化层(即ROI pooling)，同时，RPN会将包含矩形候选区域的特征图像输入至池化层。池化层可以根据这两个图像进一步提取各矩形候选区域的卷积特征，然后将处理后的图像输入至全连接层。全连接层中包含有激活函数，在一种实现方式中，全连接层中的激活函数可以采用softmax函数。针对每个矩形候选区域，全连接层可以通过softmax函数，计算该矩形候选区域属于各分类类别的置信度，进而确定置信度最大的分类类别，作为该矩形候选区域的分类类别，然后通过输出层输出包含矩形候选区域的图像、以及每个矩形候选区域的分类类别。其中，分类类别可以由技术人员根据需要进行设置，比如老人、婴儿、宠物、电器、家具等。这样，可以识别每个矩形候选区域的分类类别，从而确定出雷达图像中包含的检测对象。
[0074] 可选的，由上述说明可知，将雷达图像输入至预先训练的神经网络模型后，可以得到雷达图像中包含的检测对象、以及各检测对象在雷达图像中对应的矩形候选区域。针对每个检测对象，监控设备可以根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息。
[0075] 在一个示例中，可以确定该检测对象所属的矩形候选区域在雷达图像中的位置(比如矩形候选区域的中心点的位置、或矩形区域某一顶点的位置)，作为该检测对象的位置信息；可以统计该矩形候选区域的高度在雷达图像中所包含的像素点的个数，得到矩形候选区域的高度，将该高度作为该检测对象的高度信息；可以统计该矩形候选区域的宽度在雷达图像中所包含的像素点的个数，得到矩形候选区域的宽度，将该宽度作为该检测对象的高度信息；可以对该矩形候选区域包含的图像进行进一步的姿态识别，得到该检测对象的姿态信息，例如，检测对象为人，可以识别出人是站着、坐着或躺着；检测对象为宠物，可以识别宠物是行动、进食或趴着。
[0076] 可选的，可以对上述位置信息、高度信息和宽度信息等进行进一步的分析，得到更多的特征信息，具体的处理过程可以为：根据该检测对象的高度信息和宽度信息，计算该检测对象的宽高比，作为该检测对象的特征信息；和/或，获取该检测对象在连续多帧雷达图像中的位置信息，根据该检测对象在连续多帧雷达图像中的位置信息，计算该检测对象的速度信息和移动轨迹，作为该检测对象的特征信息。
[0077] 在实施中，针对每个检测对象，监控设备可以计算该检测对象的宽度信息与高度信息的比值，得到该检测对象的宽高比。监控设备还可以获取该检测对象在连续多帧雷达图像中的位置信息，然后根据该检测对象在连续多帧雷达图像中的位置信息、以及采集连续多帧雷达图像所用的时长，计算检测对象的移动速度。监控设备还可以根据检测对象在连续多帧雷达图像中的位置信息，生成该检测对象的移动轨迹。另外，还可以计算高度变化率、宽度变化率等其他特征信息，具体可以根据实际需要进行设置，本实施例不做限定。
[0078] 可选的，监控设备还可以对预设检测对象进行危险事件监控，具体的处理过程可以为：如果各检测对象中存在预设检测对象，则根据预设检测对象的特征信息，判断预设检测对象是否发生危险事件；如果预设检测对象发生危险事件，则向AR终端发送报警信息。
[0079] 在实施中，用户可以在监控设备中设置预设检测对象，比如孩子、老人或宠物等，并可以设置危险事件，比如跌倒、靠近水池、靠近火源或靠近窗户等。监控设备则可以根据用户的设置，对预设检测对象进行监控。具体的，监控设备通过深度学习神经网络识别出雷达图像中包含的检测对象、以及各检测对象的特征信息后，可以判断识别出的检测对象中是否存在预设检测对象，如果存在，则可以进一步根据预设检测对象的特征信息，判断预设检测对象是否发生危险事件。在一个示例中，可以根据预设检测对象的姿态信息，判断预设检测对象是否发生摔倒、滑倒等危险事件，可以根据预设检测对象的位置信息、以及预设区域内检测到的窗户、火源或水池等危险区域的位置信息，确定预设检测对象与危险区域的距离，如果该距离小于预设阈值，则确定预设检测对象发生危险事件。监控设备在确定预设检测对象发生危险事件后，可以向AR终端发送报警信息，以使用户及时进行处理。
[0080] 步骤103，将各检测对象的特征信息发送给预设的增强现实AR终端，以使AR终端根据各检测对象的特征信息显示预设区域对应的虚拟图像。
[0081] 其中，AR终端为具有AR成像功能的终端，比如手机或平板电脑等移动终端。
[0082] 在实施中，监控设备可以将各检测对象的特征信息发送给预设的增强现实AR终端，AR终端接收到各检测对象的特征信息后，可以通过AR技术进行虚拟成像，然后显示预设区域对应的虚拟图像。这样，用户可以通过AR终端查看预设区域的实时情况。
[0083] 可选的，本申请实施例还提供了深度学习神经网络的训练过程，具体为：获取预设的训练样本集合，训练样本集合包含多个标注有检测对象的样本雷达图像；通过训练样本集合对预设的深度学习神经网络进行训练，得到训练后的深度学习神经网络。
[0084] 以Faster-RCNN为例，神经网络的训练库可分为两类，一类是网络库，另一类是自建库。其中，网络库中存储有标准的Faster-RCNN，用于进行网络中的权重参数的初始化设置，该Faster-RCNN是用image net(图像网)数据集进行训练的Faster-RCNN。自建库中存储有多个标注有检测对象的样本雷达图像，比如，可以是标注有矩形候选区域、以及每个矩形候选区域的分类类别的雷达图像。自建库中的样本雷达图像可以划分为训练样本集合和测试样本集合。如图3所示，训练过程可以包括：
[0085] 步骤301，获取训练样本集合。
[0086] 步骤302，将训练样本集合输入RPN，对RPN进行训练。
[0087] 步骤303，将训练样本集合输入VGG网络，对VGG网络进行训练。
[0088] 其中，在RPN和VGG网络训练完成后，执行步骤304。
[0089] 步骤304，对Fast RCNN网络进行训练。
[0090] 其中，Fast RCNN网络包含输入层、VGG网络、池化层、全连接层和输出层。也即，Fast RCNN网络加上RPN即构成Faster RCNN网络。
[0091] 通过步骤304，各层网络权值已有粗糙的分布。
[0092] 步骤305，对RPN和Fast RCNN网络进行训练和微调。
[0093] 步骤306，输入测试样本集合，对Faster-RCNN进行测试。
[0094] 通过步骤306可以测试网络的识别准确度。如果达到预设准确度，则停止训练，如果未达到预设准确度，则继续进行训练。
[0095] 本申请实施例中，可以获取微波雷达在预设区域内采集到的雷达图像，然后通过预先训练的深度学习神经网络，识别雷达图像中包含的检测对象，并确定各检测对象的特征信息，进而将各检测对象的特征信息发送给预设的增强现实AR终端，以使AR终端根据各检测对象的特征信息显示预设区域对应的虚拟图像。本方案中，通过微波雷达对预设区域进行检测，可以得到预设区域完整的雷达图像，然后提取雷达图像包含的各检测对象的特征信息，通过AR终端进行虚拟成像，以还原整个预设区域的图像，这样，可以实现对整个预设区域的监控，提高了监控的覆盖性，且成像效果较好。在实际应用中，不仅可以通过监控设备进行家居安全的实时监控，还可以识别检测对象的移动轨迹，比如识别家庭中宠物的移动轨迹，以使用户了解宠物是否在房间内、在哪个房间内等，实现跟踪功能。同时，还可以识别检测对象的姿态信息，家长临时外出时，可以观察小孩的状态和行为，方便家长了解当前情况下小孩的情况。
[0096] 基于相同的技术构思，本申请实施例还提供了一种监控装置，如图4所示，该装置包括：
[0097] 第一获取模块410，用于获取微波雷达在预设区域内采集到的雷达图像；
[0098] 确定模块420，用于通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息；
[0099] 第一发送模块430，用于将各检测对象的特征信息发送给预设的AR终端，以使AR终端根据各检测对象的特征信息显示预设区域对应的虚拟图像。
[0100] 可选的，特征信息至少包括位置信息、高度信息、宽度信息、姿态信息、速度信息、移动轨迹和宽高比中的一种或多种的组合。
[0101] 可选的，确定模块420，具体用于：
[0102] 将所述雷达图像输入至预先训练的神经网络模型，得到所述雷达图像中包含的检测对象、以及各检测对象在所述雷达图像中对应的矩形候选区域；
[0103] 针对每个检测对象，根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息。
[0104] 可选的，确定模块420，具体用于：
[0105] 确定该检测对象对应的矩形候选区域在所述雷达图像中的位置信息、高度信息和宽度信息，作为该检测对象的位置信息、高度信息和宽度信息；和/或，
[0106] 对该检测对象对应的矩形候选区域进行姿态识别，得到该检测对象的姿态信息。
[0107] 可选的，图像特征包括位置信息、高度信息和宽度信息，确定模块420，还用于：
[0108] 根据该检测对象的高度信息和宽度信息，计算该检测对象的宽高比，作为该检测对象的特征信息；和/或，
[0109] 获取该检测对象在连续多帧雷达图像中的位置信息，根据该检测对象在连续多帧雷达图像中的位置信息，计算该检测对象的速度信息和移动轨迹，作为该检测对象的特征信息。
[0110] 可选的，深度学习神经网络为基于高速提议的卷积神经网络Faster-RCNN，所述Faster-RCNN包括输入层、几何视觉VGG网络、区域提议网络RPN、池化层、全连接层和输出层。
[0111] 可选的，如图5所示，该装置还包括：
[0112] 第二获取模块440，用于获取预设的训练样本集合，所述训练样本集合包含多个标注有检测对象的样本雷达图像；
[0113] 训练模块450，用于通过训练样本集合对预设的深度学习神经网络进行训练，得到训练后的深度学习神经网络。
[0114] 可选的，如图6所示，所述装置还包括：
[0115] 判断模块460，用于如果所述各检测对象中存在预设检测对象，则根据所述预设检测对象的特征信息，判断所述预设检测对象是否发生危险事件；
[0116] 第二发送模块470，用于如果所述预设检测对象发生危险事件，则向所述AR终端发送报警信息。
[0117] 本申请实施例中，可以获取微波雷达在预设区域内采集到的雷达图像，然后通过预先训练的深度学习神经网络，识别雷达图像中包含的检测对象，并确定各检测对象的特征信息，进而将各检测对象的特征信息发送给预设的增强现实AR终端，以使AR终端根据各检测对象的特征信息显示预设区域对应的虚拟图像。本方案中，通过微波雷达对预设区域进行检测，可以得到预设区域完整的雷达图像，然后提取雷达图像包含的各检测对象的特征信息，通过AR终端进行虚拟成像，以还原整个预设区域的图像，这样，可以实现对整个预设区域的监控，提高了监控的覆盖性，且成像效果较好。
[0118] 本发明实施例还提供了一种监控设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
[0119] 存储器703，用于存放计算机程序；
[0120] 处理器701，用于执行存储器703上所存放的程序时，实现如下步骤：
[0121] 获取微波雷达在预设区域内采集到的雷达图像；
[0122] 通过预先训练的深度学习神经网络，识别所述雷达图像中包含的检测对象，并确定各检测对象的特征信息；
[0123] 将所述各检测对象的特征信息发送给预设的增强现实AR终端，以使所述AR终端根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
[0124] 可选的，所述特征信息至少包括位置信息、高度信息、宽度信息、姿态信息、速度信息、移动轨迹和宽高比中的一种或多种的组合。
[0125] 可选的，该计算机程序被处理器执行时还实现以下步骤：
[0126] 将所述雷达图像输入至预先训练的神经网络模型，得到所述雷达图像中包含的检测对象、以及各检测对象在所述雷达图像中对应的矩形候选区域；
[0127] 针对每个检测对象，根据该检测对象对应的矩形候选区域，确定该检测对象的特征信息。
[0128] 可选的，该计算机程序被处理器执行时还实现以下步骤：
[0129] 确定该检测对象对应的矩形候选区域在所述雷达图像中的位置信息、高度信息和宽度信息，作为该检测对象的位置信息、高度信息和宽度信息；和/或，
[0130] 对该检测对象对应的矩形候选区域进行姿态识别，得到该检测对象的姿态信息。
[0131] 可选的，该计算机程序被处理器执行时还实现以下步骤：
[0132] 根据该检测对象的高度信息和宽度信息，计算该检测对象的宽高比，作为该检测对象的特征信息；和/或，
[0133] 获取该检测对象在连续多帧雷达图像中的位置信息，根据该检测对象在连续多帧雷达图像中的位置信息，计算该检测对象的速度信息和移动轨迹，作为该检测对象的特征信息。
[0134] 可选的，所述深度学习神经网络为基于高速提议的卷积神经网络Faster-RCNN，所述Faster-RCNN包括输入层、几何视觉VGG网络、区域提议网络RPN、池化层、全连接层和输出层。
[0135] 可选的，该计算机程序被处理器执行时还实现以下步骤：
[0136] 获取预设的训练样本集合，所述训练样本集合包含多个标注有检测对象的样本雷达图像；
[0137] 通过所述训练样本集合对预设的深度学习神经网络进行训练，得到训练后的深度学习神经网络。
[0138] 可选的，该计算机程序被处理器执行时还实现以下步骤：
[0139] 如果所述各检测对象中存在预设检测对象，则根据所述预设检测对象的特征信息，判断所述预设检测对象是否发生危险事件；
[0140] 如果所述预设检测对象发生危险事件，则向所述AR终端发送报警信息。
[0141] 上述监控设备提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0142] 通信接口用于上述监控设备与其他设备之间的通信。
[0143] 存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0144] 上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0145] 在本发明提供的又一实施例中，还提供了一种监控系统，该系统包括具有微波雷达的监控设备和AR终端，其中：
[0146] 所述监控设备，用于执行上述监控方法中的操作；
[0147] 所述AR终端，用于根据所述各检测对象的特征信息显示所述预设区域对应的虚拟图像。
[0148] 在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的监控方法的步骤。
[0149] 在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的监控方法。
[0150] 在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
[0151] 需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0152] 以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 减少半导体器件中的带到带隧穿 | 2020-05-08 | 786 |
| 牙齿植入物 | 2020-05-08 | 30 |
| 一种一体化无人机检测方法 | 2020-05-08 | 830 |
| 一种变色防伪标签 | 2020-05-08 | 510 |
| 基于无线侧业务识别的视频业务感知提升方法及基站 | 2020-05-08 | 859 |
| 基于耳机位置的设备和应用控制 | 2020-05-08 | 769 |
| 一种使用残差注意力机制网络的同步定位与建图方法 | 2020-05-08 | 489 |
| 一种基于极化SAR图像的车辆船舶检测方法及装置 | 2020-05-08 | 429 |
| 一种检测发光小球特征信息的方法及装置 | 2020-05-08 | 183 |
| 用于确定电线位置的方法和设备以及存储介质 | 2020-05-11 | 817 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈