视频检测方法及装置
阅读：1043发布：2020-05-16
专利汇可以提供视频检测方法及装置专利检索，专利查询，专利分析的服务。并且本 申请 实施例 公开了一种视频检测方法及装置，用以提高视频检测的效率。所述方法包括：提取待检测视频的关键 帧 特征图；根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测。该技术方案不仅能够大大减少视频检测的运算量，提高视频检测的效率，还能够减少信息冗余。，下面是视频检测方法及装置专利的具体信息内容。
1.一种视频检测方法，其特征在于，包括：
提取待检测视频的关键帧特征图；
根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；
根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测；其中，所述根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图，包括：
根据所述关键帧和所述相近帧计算用于预测所述相近帧特征图的预测因子；
根据所述预测因子及所述关键帧特征图预测所述相近帧特征图，所述预测因子包括灰度差、光流场中的至少一项；
所述灰度差和/或所述光流场为矩阵形式；
所述根据所述预测因子及所述关键帧特征图预测所述相近帧特征图，包括：
将所述灰度差和所述光流场分别对应的矩阵进行拼接、卷积处理，以使所述拼接后的矩阵与所述关键帧特征图对应的特征矩阵大小一致；
将所述拼接后的矩阵与所述特征矩阵再次进行拼接、卷积处理，得到所述关键帧和所述相近帧之间的帧间差；
根据所述帧间差和所述关键帧特征图预测所述相近帧特征图。
2.根据权利要求1所述的方法，其特征在于，所述提取待检测视频的关键帧特征图，包括：
确定用于提取所述关键帧特征图的卷积神经网络的卷积核；
利用所述卷积核与所述待检测视频的关键帧进行卷积处理，以获得所述关键帧特征图。
3.一种视频检测装置，其特征在于，包括：
提取模块，用于提取待检测视频的关键帧特征图；
预测模块，用于根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；
检测模块，用于根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测；
其中，
所述预测模块包括：
确定单元，用于根据所述关键帧和所述相近帧计算用于预测所述相近帧特征图的预测因子；
预测单元，用于根据所述预测因子及所述关键帧特征图预测所述相近帧特征图，所述预测因子包括灰度差、光流场中的至少一项；
所述灰度差和/或所述光流场为矩阵形式；
所述根据所述预测因子及所述关键帧特征图预测所述相近帧特征图，包括：
将所述灰度差和所述光流场分别对应的矩阵进行拼接、卷积处理，以使所述拼接后的矩阵与所述关键帧特征图对应的特征矩阵大小一致；
将所述拼接后的矩阵与所述特征矩阵再次进行拼接、卷积处理，得到所述关键帧和所述相近帧之间的帧间差；
根据所述帧间差和所述关键帧特征图预测所述相近帧特征图。
4.一种视频检测设备，其特征在于，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1或2所述的视频检测方法。
5.一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现如权利要求1或2所述的视频检测方法。
视频检测方法及装置
技术领域
背景技术
[0002] 目前的视频检测主要是基于帧的检测，检测网络通常可以分成特征提取网络和物体检测网络两个子网络。其中，特征提取网络提取视频的每一帧的特征，物体检测网络基于特征提取网络所提取的特征做检测。由于相近帧的相似度很高，提取出的特征相似度也很高，因此，对每一帧进行特征提取的运算量太大，且存在很多的信息冗余。
发明内容
[0004] 为解决上述技术问题，本申请实施例是这样实现的：
[0005] 一方面，本申请实施例提供一种视频检测方法，包括：
[0006] 提取待检测视频的关键帧特征图；
[0007] 根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；
[0008] 根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测。
[0009] 可选地，所述根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图，包括：
[0010] 根据所述关键帧和所述相近帧计算用于预测所述相近帧特征图的预测因子；
[0011] 根据所述预测因子及所述关键帧特征图预测所述相近帧特征图。
[0012] 可选地，所述预测因子包括灰度差、光流场中的至少一项。
[0013] 可选地，所述灰度差和/或所述光流场为矩阵形式；
[0014] 所述根据所述预测因子及所述关键帧特征图预测所述相近帧特征图，包括：
[0015] 将所述灰度差和所述光流场分别对应的矩阵进行拼接、卷积处理，以使所述拼接后的矩阵与所述关键帧特征图对应的特征矩阵大小一致；
[0016] 将所述拼接后的矩阵与所述特征矩阵再次进行拼接、卷积处理，得到所述关键帧和所述相近帧之间的帧间差；
[0017] 根据所述帧间差和所述关键帧特征图预测所述相近帧特征图。
[0018] 可选地，所述提取待检测视频的关键帧特征图，包括：
[0020] 利用所述卷积核与所述待检测视频的关键帧进行卷积处理，以获得所述关键帧特征图。
[0021] 另一方面，本申请实施例提供一种视频检测装置，包括：
[0022] 提取模块，用于提取待检测视频的关键帧特征图；
[0023] 预测模块，用于根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；
[0024] 检测模块，用于根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测。
[0025] 可选地，所述预测模块包括：
[0026] 确定单元，用于根据所述关键帧和所述相近帧计算用于预测所述相近帧特征图的预测因子；
[0027] 预测单元，用于根据所述预测因子及所述关键帧特征图预测所述相近帧特征图。
[0028] 可选地，所述预测因子包括灰度差、光流场中的至少一项。
[0029] 再一方面，本申请实施例提供一种视频检测设备，其特征在于，包括：
[0030] 处理器；以及
[0031] 被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
[0032] 提取待检测视频的关键帧特征图；
[0033] 根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；
[0034] 根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测。
[0035] 再一方面，本申请实施例提供一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：
[0036] 提取待检测视频的关键帧特征图；
[0037] 根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；
[0038] 根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测。
[0039] 采用本发明实施例的技术方案，通过提取待检测视频的关键帧特征图，并根据关键帧特征图预测与关键帧临近的相近帧特征图，进而根据关键帧特征图和相近帧特征图对待检测视频进行监测，使得对待检测视频进行检测时只需提取关键帧特征图，而无需提取每一帧的特征图，从而大大减少视频检测的运算量，提高视频检测的效率。此外，由于相近帧之间的相似性，因此减少对相近帧的特征提取还能够减少信息冗余。附图说明
[0040] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0041] 图1是根据本发明一实施例的一种视频检测方法的示意性流程图；
[0042] 图2是根据本发明一实施例的一种视频检测方法中关键帧的示意图；
[0043] 图3是根据本发明一实施例的一种视频检测方法中Sobel卷积核的示意图；
[0044] 图4是根据本发明一实施例的一种视频检测方法中提取关键帧特征图的示意图；
[0045] 图5是根据本发明一实施例的一种视频检测方法中提取关键帧特征图的示意图；
[0046] 图6是根据本发明一实施例的一种视频检测方法中提取关键帧特征图的示意图；
[0047] 图7是根据本发明一实施例的一种视频检测装置的示意性框图；
[0048] 图8是根据本发明一实施例的一种视频检测设备的示意性框图。
具体实施方式
[0049] 本申请实施例提供一种视频检测方法及装置，用以提高视频检测的效率。
[0050] 为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0051] 图1是根据本发明一实施例的一种视频检测方法的示意性流程图，如图1所示，该方法包括：
[0052] 步骤S101，提取待检测视频的关键帧特征图。
[0053] 在一个实施例中，可首先确定用于提取关键帧特征图的卷积神经网络的卷积核，进而利用卷积核与待检测视频的关键帧进行卷积处理，以获得关键帧特征图。
[0054] 其中，卷积核不唯一，可根据实际应用(如对提取关键帧特征图的要求)确定不同的卷积核，不同的卷积核可提取不同的关键帧特征图。以下详细介绍如何利用卷积神经网络提取关键帧特征图。
[0055] 卷积层的计算方法如公式(1)所示：
[0056] conv＝σ(imgMatoW+b) (1)
[0057] 在公式(1)中，σ表示激活函数，imgMat表示灰度图像矩阵，W表示卷积核，o表示卷积操作，b表示偏置值。
[0058] 假设图2所示的512*512图像为视频中的某一关键帧。当需要提取该关键帧的特征图时，首先确定卷积核。本示例中，卷积核为Sobel卷积核。图3示出了分别在水平方向和垂直方向上的Sobel卷积核，其中，Gx表示水平方向，Gy表示垂直方向。
[0059] 首先用Sobel-Gx卷积核来对图像做卷积，由图2和图3可看出，Sobel-Gx卷积核大小为3*3，图像大小为512*512，假设不对图像做任何其他处理，直接做卷积，则卷积后的图像大小应为(512-3+1)x(512-3+1)，卷积结果如图4所示。
[0060] 然后，将上述卷积结果对应的矩阵中的每个元素均加上偏置值b，并将所得结果中的每个元素均输入到激活函数σ，得到最终的结果如图5所示。其中，激活函数σ如公式(2)所示：
[0061]
[0062] 同理，利用Sobel-Gy卷积核来对图像做卷积，可得到如图6所示的结果。
[0063] 步骤S102，根据关键帧特征图预测与关键帧临近的相近帧特征图。
[0064] 在一个实施例中，执行步骤S102(即根据关键帧特征图预测与关键帧临近的相近帧特征图)时，可首先根据关键帧和相近帧计算用于预测相近帧特征图的预测因子，进而根据预测因子及关键帧特征图预测相近帧特征图。其中，预测因子可包括灰度差、光流场中的至少一项。
[0065] 为使更加准确地预测相近帧特征图，通常情况下，需同时使用灰度差和光流场这两个预测因子。
[0066] 具体的，将关键帧与其相近帧分别对应的图像灰度值矩阵作减法运算，即可得到关键帧与其相近帧之间的灰度差，采用这种方式计算得到的灰度差为矩阵形式。光流场是指视频图像中所有像素点构成的一种二维瞬时速度场，其中的二维速度矢量是视频图像中可见点的三维速度矢量在成像表面的投影。光流场的计算方法已是现有技术，在此不再赘述。
[0067] 当灰度差和光流场均为矩阵形式时，可按照以下步骤预测相近帧特征图：
[0068] 步骤一、将灰度差和光流场分别对应的矩阵进行拼接、卷积处理，以使拼接后的矩阵与关键帧特征图对应的特征矩阵大小一致。
[0069] 步骤二、将拼接后的矩阵与特征矩阵再次进行拼接、卷积处理，得到关键帧和相近帧之间的帧间差。
[0070] 步骤三、根据帧间差和关键帧特征图预测相近帧特征图。
[0071] 该步骤中，根据帧间差和关键帧特征图预测相近帧特征图时，可采用直接加减法进行预测。即，将帧间差和关键帧特征图进行相加得到相近帧特征图的预测结果，或，将帧间差和关键帧特征图进行相减得到相近帧特征图的预测结果。
[0072] 步骤S103，根据关键帧特征图和相近帧特征图对待检测视频进行相应检测。
[0073] 采用本发明实施例的技术方案，通过提取待检测视频的关键帧特征图，并根据关键帧特征图预测与关键帧临近的相近帧特征图，进而根据关键帧特征图和相近帧特征图对待检测视频进行监测，使得对待检测视频进行检测时只需提取关键帧特征图，而无需提取每一帧的特征图，从而大大减少视频检测的运算量，提高视频检测的效率。此外，由于相近帧之间的相似性，因此减少对相近帧的特征提取还能够减少信息冗余。
[0074] 综上，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
[0075] 以上为本申请实施例提供的生成数据关系模型的方法，基于同样的思路，本申请实施例还提供一种视频检测装置。
[0076] 图7是根据本发明一实施例的一种视频检测装置的示意性框图。如图7所示，该装置包括：
[0077] 提取模块710，用于提取待检测视频的关键帧特征图。
[0078] 预测模块720，用于根据关键帧特征图预测与关键帧临近的相近帧特征图。
[0079] 检测模块730，用于根据关键帧特征图和相近帧特征图对待检测视频进行相应检测。
[0080] 可选地，预测模块720包括：
[0081] 确定单元，用于根据关键帧和相近帧计算用于预测相近帧特征图的预测因子。
[0082] 预测单元，用于根据预测因子及关键帧特征图预测相近帧特征图。
[0083] 可选地，预测因子包括灰度差、光流场中的至少一项。
[0084] 采用本发明实施例的装置，通过提取待检测视频的关键帧特征图，并根据关键帧特征图预测与关键帧临近的相近帧特征图，进而根据关键帧特征图和相近帧特征图对待检测视频进行监测，使得对待检测视频进行检测时只需提取关键帧特征图，而无需提取每一帧的特征图，从而大大减少视频检测的运算量，提高视频检测的效率。此外，由于相近帧之间的相似性，因此减少对相近帧的特征提取还能够减少信息冗余。
[0085] 本领域的技术人员应可理解，图7中的视频检测装置能够用来实现前文所述的视频检测方法，其中的细节描述应与前文方法部分描述类似，为避免繁琐，此处不另赘述。
[0086] 基于同样的思路，本申请实施例还提供一种视频检测设备，如图8所示。视频检测设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器801和存储器802，存储器802中可以存储有一个或一个以上存储应用程序或数据。其中，存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对视频检测设备中的一系列计算机可执行指令。更进一步地，处理器801可以设置为与存储器802通信，在视频检测设备上执行存储器802中的一系列计算机可执行指令。视频检测设备还可以包括一个或一个以上电源803，一个或一个以上有线或无线网络接口804，一个或一个以上输入输出接口805，一个或一个以上键盘806。
[0087] 具体在本实施例中，视频检测设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对视频检测设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
[0088] 提取待检测视频的关键帧特征图；
[0089] 根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；
[0090] 根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测。
[0091] 可选地，计算机可执行指令在被执行时，还可以使所述处理器：
[0092] 根据所述关键帧和所述相近帧计算用于预测所述相近帧特征图的预测因子；
[0093] 根据所述预测因子及所述关键帧特征图预测所述相近帧特征图。
[0094] 可选地，所述预测因子包括灰度差、光流场中的至少一项。
[0095] 可选地，计算机可执行指令在被执行时，还可以使所述处理器：
[0096] 所述根据所述预测因子及所述关键帧特征图预测所述相近帧特征图，包括：
[0097] 将所述灰度差和所述光流场分别对应的矩阵进行拼接、卷积处理，以使所述拼接后的矩阵与所述关键帧特征图对应的特征矩阵大小一致；
[0098] 将所述拼接后的矩阵与所述特征矩阵再次进行拼接、卷积处理，得到所述关键帧和所述相近帧之间的帧间差；
[0099] 根据所述帧间差和所述关键帧特征图预测所述相近帧特征图。
[0100] 可选地，计算机可执行指令在被执行时，还可以使所述处理器：
[0101] 确定用于提取所述关键帧特征图的卷积神经网络的卷积核；
[0102] 利用所述卷积核与所述待检测视频的关键帧进行卷积处理，以获得所述关键帧特征图。
[0103] 本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行上述视频检测方法，并具体用于执行：
[0104] 提取待检测视频的关键帧特征图；
[0105] 根据所述关键帧特征图预测与所述关键帧临近的相近帧特征图；
[0106] 根据所述关键帧特征图和所述相近帧特征图对所述待检测视频进行相应检测。
[0107] 上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0109] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0110] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0111] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0112] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0113] 在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
[0115] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0116] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0117] 本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0118] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0119] 以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种仓库物流的监控方法和系统 | 2020-05-08 | 432 |
| 适用于远程桌面应用程序的个体应用程序窗口的流式传输 | 2020-05-08 | 286 |
| 一种快速收放的视频监控系统 | 2020-05-11 | 683 |
| 视频编码方法及设备 | 2020-05-08 | 331 |
| 一种多路视频合成的方法及装置 | 2020-05-08 | 552 |
| 基于子块的预测 | 2020-05-08 | 505 |
| 一种视频存储业务的处理方法、系统及设备 | 2020-05-11 | 821 |
| 一种扫描识别方法 | 2020-05-08 | 501 |
| 一种基于时空大数据的景区实时负荷监控方法及系统 | 2020-05-08 | 266 |
| 一种基于分布式的WEB无插件视频直播方法 | 2020-05-08 | 512 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
流式视频热门专利
QQ群二维码
意见反馈
意见反馈