技术领域
[0001] 本
发明涉及视频监控及存储技术领域，尤其涉及基于边缘计算的视频结构化存储方法、装置、设备及介质。
[0002]
背景技术
[0003] 近年来，随着“平安城市”、“天网工程”、“
雪亮工程”等大型综合安防系统的部署，监控设备的安装和使用数量呈几何式增长。同时，监控设备的
分辨率也越来越高，由此产生了海量的视频监控数据。
[0004]
现有技术中，由于摄像设备的升级，
视频流在分辨率方面有了大幅度的提升，同时也让视频文件的容量变得更大，可以对海量的视频监控数据进行处理，但是大容量的视频监控数据对网络的带宽和
服务器的处理能
力是极大的挑战。
[0005] 现有技术中的视频数据存储方法存在以下几个问题：（1）视频监控的数据量非常巨大，如果完整的向主服务器或
云服务器传输，将会占用大量网络资源，且实时性非常差；（2）很多监控设备在大多数时候的监控画面为变化不大的静态画面，如果全部存储下来，海量的视频监控数据量需要的存储空间将产生巨大的浪费；（3）视频监控数据为非结构性的无序数据，用户在使用时检索非常麻烦，只能依靠人工查阅，费时且费力。因此如何合理的传输、存储及调阅这些视频数据，成为了一个急需解决的难题。
[0006]
发明内容
[0007] 针对上述现有技术存在不足，本发明提供基于边缘计算的视频结构化存储方法，利用距离采集设备端更近的边缘
节点服务器，对视频数据进行结构化处理，使视频监控更加智能化，有序化，快速化。
[0008] 本发明采用的技术方案为：第一方面，本发明提供了一种基于边缘计算的视频结构化存储方法，利用靠近设备端的边缘节点的服务器完成视频数据的结构化处理，包括以下步骤：
对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；
对有效目标进行
跟踪，获取该有效目标的系列图片；
识别系列图片中目标特征，并将识别结果进行存储。
[0009] 在第一方面的第一种可能实施方式中，所述对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；具体为：采用前景检测
算法，对服务器内部的视频数据进行提取获得预期目标；
对预期目标中的场景、人员和行为进行识别，确定预期目标是否为有效目标。
[0010] 在第一方面的第二种可能实施方式中，所述采用前景检测算法，对服务器内部的视频数据进行提取获得预期目标；具体包括：预先获取背景图像，建立背景参考模型；
将当前
视频帧与背景参考模型进行比较，分离前景与背景，提取出预期目标的轮廓；
更新背景模型与样本点集合。
[0011] 在第一方面的第三种可能实施方式中，所述对预期目标中的场景、人员和行为进行识别，确定预期目标是否为有效目标；具体为：采集预期目标的样本集；
采用
深度学习模型
框架对样本集进行
迭代更新，训练得到预期目标的模型；
使用训练好的目标模型判断前景分离出的预期目标是否为有效目标。
[0012] 在第一方面的第四种可能实施方式中，所述对有效目标进行跟踪，获取该有效目标的系列图片；具体包括：采用目标跟踪、目标合并以及目标评价技术，对有效目标进行持续跟踪，如果在当前帧中检测到有效目标，提取其特征元素及当前
像素点
位置，并保存下来；
检测跟踪的视频帧，如果有相同特征的目标，则持续记录其位置，形成目标轨迹并将其分类。
[0013] 在第一方面的第五种可能实施方式中，所述识别系列图片中目标特征，并将识别结果进行存储；具体包括：确定视频关键帧，记录帧号信息；
提取视频关键帧中的图片
颜色、轮廓特征，对场景进行分类，融合，记录场景的首尾时间、帧号及目标特征信息；
通过评价模型对记录的每一帧目标特征进行评价，得到识别结果；
将识别结果存储于主服务器的
数据库。
[0014] 在第一方面的第五种可能实施方式中，所述确定视频关键帧，记录帧号信息；具体包括：采用直方图比较法确定视频关键帧，提取每一帧的颜色直方图并比较差值，计算出直方图相似度；如果相似度超过设定的
阈值，表示两帧相似度较高；反之，说明有场景或者目标的切换；选取后一帧作为关键帧，记录帧号信息。
[0015] 在第一方面的第六种可能实施方式中，所述提取视频关键帧中的图片颜色、轮廓特征，对场景进行分类，融合，记录场景的首尾时间、帧号及目标特征信息；具体包括：对视频关键帧上截取目标区域图像并进行归一化；
计算目标区域的颜色、纹理和形状特征矢量；
使用
支持向量机对提取的头部特征矢量进行有和无的二分类判断；
对场景进行分类，融合；
记录下场景的首尾时间、帧号及目标特征信息。
[0016] 第二方面，本发明
实施例提供了一种基于边缘计算的视频结构化存储装置，包括：有效目标识别模
块，用于对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；
跟踪模块，用于对有效目标进行跟踪，获取该有效目标的系列图片；
判断存储模块，用于识别系列图片中目标特征，并将识别结果进行存储。
[0017] 第三方面，本发明实施例提供了一种基于边缘计算的视频结构化存储装置，包括：处理器、
存储器以及存储在所述存储器中且被配置为由所述处理器执行的
计算机程序，所述处理器执行所述计算机程序时实现所述的基于边缘计算的视频结构化存储方法。
[0018] 第四方面，本发明实施例提供了一种基于边缘计算的视频结构化存储介质，所述基于边缘计算的视频结构化存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述基于边缘计算的视频结构化存储介质所在设备执行所述的基于边缘计算的视频结构化存储方法。
[0019] 本发明的有益效果为：本发明利用靠近设备端的边缘节点的服务器完成视频数据的结构化处理，无需在摄像机中进行视频分析等算法，减少了视频采集终端的成本；同时，结构化处理后的视频数据量也将大大减少，降低了骨干网络的压力。
[0021] 图1为本发明提出的基于边缘计算的视频结构化存储方法
流程图；图2为本发明提出的一具体实施例结构图；
图3为本发明提出的一具体实施例结构图；
图4为本发明提出的一具体实施例结构图；
图5为本发明提出的基于边缘计算的视频结构化存储装置结构图。
[0022]
具体实施方式
[0023] 本发明提供基于边缘计算的视频结构化存储方法，利用靠近设备端的边缘节点的服务器完成视频数据的结构化处理，减少了骨干网络的传输压力并实现了视频信息的高效组织，极大的提高设备存储的利用率。
[0024] 本发明提供的技术方案总体思路如下：本发明提供基于边缘计算的视频结构化存储方法，包括以下步骤：有效检测、场景跟踪和特征提取；其中，有效检测是先利用前景检测算法，根据预期目标的特征从视频场景中提取出预期目标；然后使用场景识别、人员识别和行为识别技术，识别出预期目标是否为有效目标。场景跟踪采用目标跟踪、目标合并以及目标评价技术，对前期目标进行持续跟踪，同时在整个跟踪过程中抓拍一张或多张高
质量图片，最终对多帧中的相同目标进行特征评价。
[0025] 以上是本
申请的核心思想，为了使本技术领域的人员更好地理解本申请方案，下面结合附图对本申请作进一步的详细说明。应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
[0026] 实施例一如图1所示，为本发明提出的基于边缘计算的视频结构化存储方法流程图。
[0027] 参照图1，基于边缘计算的视频结构化存储方法，利用靠近设备端的边缘节点的服务器完成视频数据的结构化处理，包括以下步骤：步骤101，对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；
步骤102，对有效目标进行跟踪，获取该有效目标的系列图片；
步骤103，识别系列图片中目标特征，并将识别结果进行存储。
[0028] 本发明实施例中，包括如下三个步骤：有效检测、场景跟踪和特征提取。其中，有效检测是先利用前景检测算法，根据预期目标的特征从视频场景中提取出预期目标，然后使用场景识别、人员识别和行为识别技术，识别出预期目标是否为有效目标（如：施工人员、
安全帽和刀闸等）。场景跟踪采用目标跟踪、目标合并以及目标评价技术，对前期目标进行持续跟踪，同时在整个跟踪过程中抓拍一张或多张高质量图片，最终对多帧中的相同目标进行特征评价。特征提取是基于
人工智能算法对已经获取到的抓拍图片中目标特征的识别，提取出该目标具有的
可视化特征属性，例如施工人员的性别、行为、是否佩戴安全帽等，设备的
开关、是否着火等。
[0029] 参见图2，在步骤101中，所述对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；具体为：步骤111，采用前景检测算法，对服务器内部的视频数据进行提取获得预期目标；
步骤112，对预期目标中的场景、人员和行为进行识别，确定预期目标是否为有效目标。
[0030] 其中，采用前景检测算法，对服务器内部的视频数据进行提取获得预期目标；具体包括：预先获取背景图像，建立背景参考模型；
将当前视频帧与背景参考模型进行比较，分离前景与背景，提取出预期目标的轮廓；
更新背景模型与样本点集合。
[0031] 本发明实施例中，对预期目标中的场景、人员和行为进行识别，确定预期目标是否为有效目标；具体为：采集预期目标的样本集；
采用深度学习模型框架对样本集进行迭代更新，训练得到预期目标的模型；
使用训练好的目标模型判断前景分离出的预期目标是否为有效目标。
[0032] 本发明实施例中，首先，前端设备通过流媒体
接口AVSSDK，其中AVSSDK为综合AVS（数字音视频编解码技术标准工作组）和SDK（Software Development Kit，
软件开发工具包）的
内部接口；把原始的视频数据传输给边缘服务器，该流媒体接口屏蔽了不同厂家设备之间的差异，将厂家的私有接口抽象成统一的对外接口，减少了视频数据的
冗余度。
[0033] 在边缘服务器中，使用背景减除法，提取出预期目标；通过当前帧的像素值与背景参考模型的像素值做差，获得像素点的灰度差值，如果该灰度差值超过了阈值，则认定该像素点为前景目标点。这样，就可以从非结构化的原始视频数据分离出预设的前景目标和背景模板。
[0034] 该背景减除法中最重要的是像素值的比对，这要求背景模板不断更新，为此，本方法采用了ViBe背景建模法。该方法在初始化背景模板时，会为每个背景点初始化一个样本集合。当比较像素值时，待测像素点与该集合中所有点进行比较，然后取所有差值的平均值，判定该检测点是否超过阈值，如果是，则不属于该集合内，为前景点，反之为背景点，同时更新背景模型与样本点集合。
[0035] 在分离出了前景后，本方法采用场景识别，人员识别，行为识别算法，识别出前景是否为有效目标。以行为识别为例，在检测到的前景区域中提取人体特征（包括LUV颜色特征、梯度直方图HOG特征和深度学习特征）并使用AdaBoost和滑窗法搜索人体并进而
定位人体区域。从而判断该人员是否跨越安全区域等。
[0036] 参见图3，在步骤102中，所述对有效目标进行跟踪，获取该有效目标的系列图片；具体包括：
步骤121，采用目标跟踪、目标合并以及目标评价技术，对有效目标进行持续跟踪，如果在当前帧中检测到有效目标，提取其特征元素及当前像素点位置，并保存下来；
步骤122，检测跟踪的视频帧，如果有相同特征的目标，则持续记录其位置，形成目标轨迹并将其分类。
[0037] 本发明实施例中，如果在当前帧中检测到有效目标，将提取其将运动速度等变化特征和区域紧凑度的变化作为分类特征元素，并保存下来。同时检测后面的视频帧，如果有相同分类特征的目标，则记录其像素点位置信息及运动轨迹。通过其运动轨迹可区分该前景目标为“人”、“车辆”、“设备”等，生成目标分类。
[0038] 参见图4，在步骤103中，所述识别系列图片中目标特征，并将识别结果进行存储；具体包括：
步骤131，确定视频关键帧，记录帧号信息；
步骤132，提取视频关键帧中的图片颜色、轮廓特征，对场景进行分类，融合，记录场景的首尾时间、帧号及目标特征信息；
步骤133，通过评价模型对记录的每一帧目标特征进行评价，得到识别结果；
步骤134，将识别结果存储于主服务器的数据库。
[0039] 其中，所述确定视频关键帧，记录帧号信息；具体包括：采用直方图比较法确定视频关键帧，提取每一帧的颜色直方图并比较差值，计算出直方图相似度；如果相似度超过设定的阈值，表示两帧相似度较高；反之，说明有场景或者目标的切换；选取后一帧作为关键帧，记录帧号信息。
[0040] 本发明实施例中，所述提取视频关键帧中的图片颜色、轮廓特征，对场景进行分类，融合，记录场景的首尾时间、帧号及目标特征信息；具体包括：对视频关键帧上截取目标区域图像并进行归一化；计算目标区域的颜色、纹理和形状特征矢量；使用支持向量机（SVM）对提取的头部特征矢量进行有和无的二分类判断；对场景进行分类，融合；记录下场景的首尾时间、帧号及目标特征信息。
[0041] 本发明实施例中，基于人工智能算法对已经获取到的抓拍图片中目标特征的识别，提取出该目标具有的可视化特征属性。首先需要确定视频关键帧，本方法采用了直方图比较法。该方法读取联系两帧图像，提取每一帧的颜色直方图并比较差值，计算出直方图相似度。如果相似度超过设定的阈值，表示两帧相似度较高。反之，说明有场景或者目标的切换，选取后一帧作为关键帧，记录帧号信息。
[0042] 记录下关键帧后，需提取该帧中的图片的颜色、轮廓等特征。首先从帧原始图像中截取目标区域图像并进行归一化；其次，计算目标区域的颜色、纹理和形状特征矢量；最后使用支持向量机（SVM）对提取的头部特征矢量进行有和无的二分类判断。然后对场景进行分类，融合。最后，记录下场景的首尾时间、帧号及目标特征等信息。
[0043] 最后，为了合理的评价该方法的结果，本方法建立了性能评测模型，模型公式如下： ；通过评价模型对记录的每一帧目标特征进行评价，得分最高的确定为其最终识别结果，最终将这些信息存储进主服务器的数据库。
[0044] 本发明利用靠近设备端的边缘节点的服务器完成视频数据的结构化处理，无需在摄像机中进行视频分析等算法，减少了视频采集终端的成本；同时，结构化处理后的视频数据量也将大大减少，降低了骨干网络的压力。
[0045] 实施例二参见图5，基于与前述实施例中基于边缘计算的视频结构化存储方法同样的发明构思，本发明还提供基于边缘计算的视频结构化存储装置。
[0046] 一种基于边缘计算的视频结构化存储装置，其特征在于，包括：有效目标识别模块201，用于对服务器中接收到的视频数据提取预期目标，识别出预期目标是否为有效目标；
跟踪模块202，用于对有效目标进行跟踪，获取该有效目标的系列图片；
判断存储模块203，用于识别系列图片中目标特征，并将识别结果进行存储。
[0047] 实施例一中的基于边缘计算的视频结构化存储方法的各种变化方式和具体实例同样适用于本实施例的基于边缘计算的视频结构化存储方法，通过前述对基于边缘计算的视频结构化存储方法的详细描述，本领域技术人员可以清楚的知道本实施例中基于边缘计算的视频结构化存储方法，所以为了
说明书的简洁，在此不再详述。
[0048] 实施例三一种基于边缘计算的视频结构化存储设备，其特征在于，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时所述的一种基于边缘计算的视频结构化存储方法。其中处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字
信号处理器(Dig ita l Sig na l Processor，DSP) 、专用集成
电路(Application Specific Integrated Circuit，ASIC)、现成可编程
门阵列(Field-Programmable Gate Array，FPGA)或者其他
可编程逻辑器件、分立门或者晶体管逻辑器件、分立
硬件组件等。通用处理器可以是
微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于边缘计算的视频结构化存储方法的控制中心，利用各种接口和线路连接整个所述基于边缘计算的视频结构化存储方法的各个部分。
[0049] 所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现基于边缘计算的视频结构化存储装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储
操作系统、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速
随机存取存储器，还可以包括
非易失性存储器，例如
硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card ,SMC)，安全数字(Secure Digital ,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0050] 实施例三一种基于边缘计算的视频结构化存储介质，其特征在于，所述基于边缘计算的视频结构化存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述基于边缘计算的视频结构化存储介质所在设备执行所述的基于边缘计算的视频结构化存储方法。
[0051] 其中，所述基于边缘计算的视频结构化存储方法集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、
只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和
专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0052] 上述实施例为本发明的经典案例，但本发明的实施方式并不受上述实施例的限制。其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化等，均应为等效的置换方式，都包含在本发明的保护范围之内。
[0053] 本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方
框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程
数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中
指定的功能的装置。
[0054] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
[0055] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
[0056] 最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行
修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的
权利要求保护范围之内。
