视频处理装置和用于确定编码视频的运动元数据的方法
阅读：458发布：2020-05-08
专利汇可以提供视频处理装置和用于确定编码视频的运动元数据的方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了视频处理装置和用于确定编码视频的运动元数据的方法。本发明涉及编码视频的运动元数据的生成。视频处理装置包括：配置成对编码视频的 帧 进行解码的 解码器 (20)；以及配置成对由解码器(20)解码的图像帧执行运动元数据导出操作(50)的处理 电路 (30)。运动元数据导出操作(50)包括：划分功能(52)，被配置成将当前图像帧划分成单元网，其中每个单元包括多个图像 像素 ；比较功能(54)，被配置成通过比较每个单元的像素数据与前一个和/或后一个图像帧的相应地 定位 的单元的像素数据来确定每个单元的变化度量；以及存储功能(56)，被配置成存储每个单元的变化度量作为与当前图像帧有关的运动元数据。还公开了用于识别编码视频中的运动的方法。，下面是视频处理装置和用于确定编码视频的运动元数据的方法专利的具体信息内容。
1.一种用于识别编码视频中的运动的方法，所述方法包括：
对所述编码视频的帧进行解码，从而导出图像帧；
针对一些或所有所述图像帧：
将当前图像帧划分成单元网，每个单元包括多个图像像素，
通过下列操作来确定每个单元的变化度量：
比较每个单元的像素数据与前一个和/或后一个图像帧的相应地定位的单元的像素数据，
识别在所述图像帧内的所述变化度量超过变化阈值的单元，和
针对每个识别出的单元，确定所述变化度量超过所述变化阈值的相邻单元的数量，以及
存储每个单元的所述变化度量作为与所述当前图像帧有关的运动元数据，其中所述运动元数据对于每个识别出的单元进一步包括所述变化度量超过所述变化阈值的相邻单元的数量；
设置由所述编码视频描绘的场景的第一感兴趣区域；
设置第一运动阈值；
访问所存储的运动元数据；
识别与所述第一感兴趣区域重叠的一个或多个单元中的所述变化度量超过所述第一运动阈值的图像帧，从而识别在所述第一感兴趣区域内的运动。
2.如权利要求1所述的方法，进一步包括：
改变所述第一运动阈值；以及
识别与所述第一感兴趣区域重叠的单元中的所述变化度量超过改变的第一运动阈值的图像帧，从而识别在所述第一感兴趣区域内的运动。
3.如权利要求1所述的方法，进一步包括：
除了所述第一感兴趣区域以外或作为所述第一感兴趣区域的替代，还设置所述场景的第二感兴趣区域；
设置第二运动阈值，其中所述第一运动阈值和所述第二运动阈值相同或不同；以及识别与所述第二感兴趣区域重叠的单元中的所述变化度量超过所述第二运动阈值的图像帧，从而识别在所述第二感兴趣区域内的运动。
4.如权利要求1所述的方法，其中每个单元跨小于5％的所述图像帧。
5.如权利要求1所述的方法，其中运动元数据被确定的所述图像帧相应于所述编码视频的帧内编码帧。
6.一种非暂时性计算机可读记录介质，具有记录在其上的程序代码，所述程序代码当在具有处理能力的装置处被执行时被配置成执行根据权利要求1所述的方法。
7.一种用于确定编码视频的运动元数据的方法，所述方法包括：
对所述编码视频的帧进行解码，从而导出图像帧；
针对一些或所有所述图像帧：
将当前图像帧划分成单元网，每个单元包括多个图像像素，
通过下列操作来确定每个单元的变化度量：
比较每个单元的像素数据与前一个和/或后一个图像帧的相应地定位的单元的像素数据，
识别在所述当前图像帧内的所述变化度量超过变化阈值的单元，和针对每个识别出的单元，确定所述变化度量超过所述变化阈值的相邻单元的数量，以及
存储每个单元的所述变化度量作为与所述当前图像帧有关的运动元数据，其中所述运动元数据对于每个识别出的单元进一步包括所述变化度量超过所述变化阈值的相邻单元的数量。
8.如权利要求7所述的方法，其中运动元数据被确定的所述图像帧相应于所述编码视频的帧内编码帧。
9.一种非暂时性计算机可读记录介质，具有记录在其上的程序代码，所述程序代码当在具有处理能力的装置处被执行时被配置成执行根据权利要求7所述的方法。
10.一种视频处理装置，包括：
解码器，被配置成将编码视频的帧解码成图像帧；以及
处理电路，被配置成对由所述解码器解码的图像帧执行运动元数据导出操作，其中所述运动元数据导出操作包括：
划分功能，被配置成将当前图像帧划分成单元网，其中每个单元包括多个图像像素，比较功能，被配置成通过比较每个单元的像素数据与前一个和/或后一个图像帧的相应地定位的单元的像素数据来确定每个单元的变化度量，
单元识别功能，被配置成：
识别在所述当前图像帧内的所述变化度量超过变化阈值的单元，并且针对每个识别出的单元，确定所述变化度量超过所述变化阈值的相邻单元的数量；以及
存储功能，被配置成存储每个单元的所述变化度量作为与所述当前图像帧有关的所述运动元数据；
其中所述单元识别功能被进一步配置成添加所述变化度量超过所述变化阈值的相邻单元的所确定的数量作为所述识别出的单元的所述运动元数据的一部分。
11.如权利要求10所述的视频处理装置，其中所述视频处理装置构成配置成存储所述编码视频的视频存储服务器的一部分，所述视频处理装置进一步包括：
资源监视器，被配置成确定所述处理电路的可用处理能力，并且一旦所述可用处理能力高于阈值就指示所述运动元数据导出操作(50)确定所述运动元数据。
12.如权利要求10所述的视频处理装置，其中所述视频处理装置构成客户端计算机的一部分，所述视频处理装置进一步包括：
收发器，被配置成从外部源装置下载所述编码视频；
其中所述存储功能被进一步配置成将所述运动元数据上传到所述外部源装置。
视频处理装置和用于确定编码视频的运动元数据的方法
技术领域
背景技术
[0002] 为了找到所记录的视频中的运动事件，特别是识别所记录的视频中描绘的场景的特定区域中的运动，常常使用关于所记录的视频中的移动对象的元数据。所记录的视频可以例如是所记录的监视视频。用于确定关于所记录的视频中的移动对象的元数据的已知方法是由用于捕获所记录的视频的摄像机收集关于移动对象的数据并存储所收集的数据作为关于所记录的视频中的移动对象的元数据。这样的元数据可包括关于所记录的视频中的移动对象的位置和/或尺寸的信息。这样的元数据的示例是由用于捕获所记录的视频的摄像机的运动与目标跟踪引擎收集的元数据，所谓的MOTE数据。
[0003] 然而，关于由用于捕获视频的摄像机收集的所记录的视频中的移动对象的元数据并不总是可得到的。这可能是因为摄像机不支持这样的元数据的收集，或因为用户关闭这样的元数据的收集。
[0004] 对关于由用于捕获视频的摄像机收集的所记录的视频中的移动对象的元数据的可替代方案或补充是使用像素变化的逐帧比较。然而，每当执行对所记录的视频中的运动事件的搜索时，必须执行这样的逐帧比较。因此，这样的逐帧比较对处理器的要求高且耗时，因为每当用于找到所记录的视频中的运动事件的搜索参数改变时必须重新执行。所使用的典型搜索参数是在所记录的视频的场景内的感兴趣区域和/或被发现作为运动事件的移动对象的尺寸。此外，所记录的视频一般因此以编码格式被存储，以便执行像素变化的逐帧比较，所记录的视频需要被解码。这将进一步增加用于识别所记录的视频中的运动的处理能力和时间的使用。
[0005] 因此，需要对所记录的视频的运动元数据的替代确定方案。
发明内容
[0006] 根据第一方面，提供用于识别编码视频中的运动的方法。该方法包括对编码视频的帧进行解码，从而导出图像帧。该方法进一步包括针对一些或所有图像帧：将当前图像帧划分成单元网，每个单元包括多个图像像素；通过比较每个单元的像素数据与前一个和/或后一个图像帧的相应地定位的单元的像素数据来确定每个单元的变化度量；以及存储每个单元的变化度量作为与当前图像帧有关的运动元数据。该方法进一步包括：设置由编码视频描绘的场景的第一感兴趣区域；设置第一运动阈值；访问所存储的运动元数据；以及识别与第一感兴趣区域重叠的一个或多个单元中的变化度量超过第一运动阈值的图像帧。因此在第一感兴趣区域内并因而在编码视频中的运动被识别。
[0007] 通过本方法，可节省与搜索所记录的视频中的运动事件有关的处理能力使用。这是因为逐帧比较的重新使用成为可能。逐帧比较只需要被执行一次。相同的运动元数据可使用不同的感兴趣区域和/或不同的运动阈值被搜索多次。
[0008] 该方法可以进一步包括：改变第一运动阈值；以及识别与第一感兴趣区域重叠的单元中的变化度量超过改变的第一运动阈值的图像帧。因此在第一感兴趣区域内并因而在编码视频中的运动被识别。
[0009] 该方法可以进一步包括：除了第一感兴趣区域以外或作为第一感兴趣区域的替代，还设置场景的第二感兴趣区域；设置第二运动阈值，其中第一运动阈值和第二运动阈值相同或不同；以及识别与第二感兴趣区域重叠的单元中的变化度量超过第二运动阈值的图像帧。因此在第二感兴趣区域内并因而在编码视频中的运动被识别。
[0010] 每个单元可跨小于5％的图像帧。通过这么做，单元的数量可被调整以达到性能对准确度的良好平衡。
[0011] 确定变化度量的步骤可以进一步包括：识别在图像帧内变化度量超过变化阈值的单元；以及针对每个识别出的单元，确定变化度量超过变化阈值的相邻单元的数量。其中运动元数据对于每个识别出的单元可以进一步包括变化度量超过变化阈值的相邻单元的数量。这允许在运动元数据中提供移动对象的尺寸的估计。
[0012] 运动元数据被确定的图像帧可相应于编码视频的帧内编码帧。这可加速编码视频的解码，因为只有编码视频的一些帧需要被解码。此外，可加速运动元数据的确定，因为不是编码视频的所有数据都需要被分析。
[0013] 相应于编码视频帧的预测编码帧的图像帧可被免除运动元数据的确定。
[0014] 根据第二方面，提供非暂时性计算机可读记录介质。非暂时性计算机可读记录介质具有记录在其上的程序代码，该程序代码当在具有处理能力的装置处被执行时被配置成执行根据第一方面的方法。
[0015] 根据第三方面，提供用于确定编码视频的运动元数据的方法。该方法包括：对编码视频的帧进行解码，从而导出图像帧；针对一些或所有图像帧：将当前图像帧划分成单元网，每个单元包括多个图像像素；通过比较每个单元的像素数据与前一个和/或后一个图像帧的相应地定位的单元的像素数据来确定每个单元的变化度量；以及存储每个单元的变化度量作为与当前图像帧有关的运动元数据。
[0016] 确定变化度量的步骤可以进一步包括：识别在当前图像帧内变化度量超过变化阈值的单元；以及针对每个识别出的单元，确定变化度量超过变化阈值的相邻单元的数量。其中运动元数据对于每个识别出的单元可以进一步包括变化度量超过变化阈值的相邻单元的数量。
[0017] 第一方面的方法的上面提到的特征当可适用时也适用于根据第三方面的该方法。为了避免过度的重复，参考上述内容。
[0018] 根据第四方面，提供非暂时性计算机可读记录介质。非暂时性计算机可读记录介质具有记录在其上的程序代码，该程序代码当在具有处理能力的装置处被执行时被配置成执行根据第三方面的方法。
[0019] 根据第五方面，提供视频处理装置。视频处理包括：配置成对编码视频的帧进行解码的解码器；以及配置成对由解码器解码的图像帧执行运动元数据导出操作的处理电路。运动元数据导出操作包括：划分功能，被配置成将当前图像帧划分成单元网，其中每个单元包括多个图像像素；比较功能，被配置成通过比较每个单元的像素数据与前一个和/或后一个图像帧的相应地定位的单元的像素数据来确定每个单元的变化度量；以及存储功能，被配置成存储每个单元的变化度量作为与当前图像帧有关的运动元数据。
[0020] 运动元数据导出操作可以进一步包括单元识别功能，单元识别功能被配置成：识别在当前图像帧内变化度量超过变化阈值的单元；针对每个识别出的单元，确定变化度量超过变化阈值的相邻单元的数量；以及添加所确定的变化度量超过变化阈值的相邻单元的数量作为识别出的单元的运动元数据的一部分。
[0021] 视频处理装置可构成配置成存储编码视频的视频存储服务器的一部分。视频处理装置可接着进一步包括资源监视器，资源监视器被配置成确定处理电路的可用处理能力，并且一旦可用处理能力高于阈值就指示运动元数据导出操作确定运动元数据。因此，可利用视频存储服务器的关闭时段，用于导出存储在视频存储服务器上的编码视频的运动元数据。
[0022] 视频处理装置可构成客户端计算机的一部分。视频处理装置可接着进一步包括配置成从外部源装置下载编码视频的收发器。其中存储功能可接着进一步被配置成将运动元数据上传到外部源装置。由客户端计算机导出的运动元数据可因此由其它客户端计算机或由视频存储服务器重新使用，用于编码视频中的运动的以后识别，客户端计算机为该运动导出运动元数据。
[0023] 第一方面的方法的上面提到的特征当可适用时也适用于根据第五方面的视频处理装置。为了避免过度的重复，参考上述内容。
[0024] 从下面给出的详细描述中，本发明的适用性的另外的范围将变得明显。然而应理解，详细描述和特定示例(虽然指示本发明的优选实施例)仅作为例证被给出，因为从这个详细描述中在本发明的范围内的各种变化和修改将对本领域中的技术人员变得明显。
[0025] 因此应理解，本发明不限于所述装置的特定部件部分或所述方法的动作，因为这样的装置和方法可改变。还应理解，本文使用的技术仅仅是为了描述特定的实施例的目的，且并不意在限制。必须注意，如在说明书和所附权利要求中使用的，冠词“a”、“an”、“the”意在表示存在一个或多个元件，除非上下文清楚地指示另外的情况。因此，例如对“单元”或“该单元”的提及可包括几个装置等。此外，词“包括”、“包含”和类似用词不排除其它元件或步骤。附图说明
[0026] 现在将参考示出实施例的附图更详细描述本发明的上述和其它方面。附图不应被考虑为限制性的；相反它们用于解释和理解。
[0027] 如在附图中所示的，层和区域的尺寸可为了说明目的被夸大，且因此被提供来示出实施例的典型结构。相似的附图标记始终指相似的元件。
[0028] 图1示出视频处理装置。
[0029] 图2示出与图像帧的单元有关的运动元数据。
[0030] 图3示出所标记的感兴趣区域与被分成单元网的图像帧的单元之间的重叠。
[0031] 图4是用于确定编码视频的运动元数据的方法的方框图。
[0032] 图5是用于识别编码视频中的运动的方法的方框图。
具体实施方式
[0033] 现在将参考附图在下文中更充分描述本发明，在附图中示出本发明的当前优选实施例。然而，本发明可以以很多不同的形式体现，且不应被解释为限于本文阐述的实施例；更确切地，这些实施方例为了彻底性和完整性而被提供，并将本发明的范围充分传达给技术人员。
[0034] 图1示出视频处理装置10。视频处理装置10被配置成确定编码视频的运动元数据。视频处理装置10可以进一步被配置成识别编码视频中的运动。编码视频描绘场景。编码视频可以例如是监视视频。编码视频一般被存储为所记录的编码视频。
[0035] 视频处理装置10可构成视频存储服务器的一部分。视频存储服务器可被配置成存储编码视频。视频存储服务器可被配置成处理编码视频。下面更详细地讨论构成视频存储服务器的一部分的视频处理装置10。
[0036] 可替代地，视频处理装置10可构成客户端计算机的一部分。客户端计算机可被配置成从视频存储服务器下载编码视频。客户端计算机可处理编码视频。下面更详细地讨论构成客户端计算机的一部分的视频处理装置10。
[0037] 视频处理装置10包括解码器20、处理电路30和存储器40。现在将讨论解码器20、处理电路30和存储器40的特征和功能。
[0038] 存储器40可以是缓冲器、闪存、硬盘驱动器、可移动介质、易失性存储器、非易失性存储器、随机存取存储器(RAM)或另一适当装置中的一种或多种。在典型布置中，存储器40可包括用于长期数据存储的非易失性存储器和充当处理电路30的系统存储器的易失性存储器。存储器40可通过数据总线50与处理电路30交换数据。存储器40和处理电路30之间的附随的控制线和地址总线也可以存在。
[0039] 编码视频可存储在视频处理装置10的存储器40上。可替代地，视频处理装置10可从视频处理装置10外部的装置接收编码视频。
[0040] 解码器20被配置成将编码视频的帧解码成图像帧。每个图像帧由多个图像像素表示。所解码的图像帧可被存储在视频处理装置10的存储器40上。将编码视频的帧编码成图像帧是本领域技术人员公知的且将不在本公开中在任何细节上被讨论。完整的编码视频可被解码。因此，编码视频的所有帧可被解码成图像帧。可替代地，完整的编码视频的仅仅一部分可被解码。因此，只有编码视频的一些帧可被解码成图像帧。根据一个示例，只有编码视频的帧内编码帧(例如I帧)可被解码。因此，预测编码帧(例如P帧和/或B帧)可被免除解码。视频处理装置10被配置成确定由解码器20解码的一些或所有图像帧的运动元数据。
[0041] 处理电路30被配置成执行视频处理装置10的操作和功能。操作可以是视频处理装置10的主要过程。然而功能可以是操作的构成部分。因此，每个功能可以是操作的子过程。
[0043] 视频处理装置10的操作和功能可以以存储在视频处理装置10的非暂时性计算机可读介质(例如存储器40)上并由处理电路30(例如使用处理器32)执行的可执行逻辑例程(例如代码的行、软件程序等)的形式体现。此外，视频处理装置10的操作和功能可以是独立软件应用或构成用于执行与视频处理装置10有关的附加任务的软件应用的一部分。所述操作和功能可被考虑为相应装置被配置成执行的方法。此外，虽然所述操作和功能可以以软件实现，但这样的功能也可通过专用硬件或固件，或硬件、固件和/或软件的某种组合来实现。
[0044] 处理电路30被配置成执行运动元数据导出操作50。运动元数据导出操作50被配置成使用由解码器30解码的图像帧作为输入数据。输入数据可以是相应于编码视频的帧内编码帧(例如I帧)的图像帧。此外，相应于编码视频流的预测编码帧(例如P帧或B帧)的图像帧可从输入数据被免除。
[0045] 运动元数据导出操作50包括划分功能52、比较功能54和存储功能56。运动元数据导出操作50被配置成处理相应于输入数据的图像帧以针对每个这样的图像帧导出运动元数据。
[0046] 划分功能52被配置成将输入数据的当前图像帧划分成单元网。单元网可被预先确定。这关于图2被示出，其中当前图像帧200被划分成单元网。在图2的示例中，单元网包括24个单元202。单元网的每个单元202包括多个图像像素。每个单元可包括相等数量的图像像素。优选地，整个图像帧由单元网覆盖。每个单元可以是矩形的，特别是正方形的。每个单元可跨小于5％的图像帧。通过这么做，单元的数量可被调整以达到性能对准确度的良好平衡。
[0047] 每个单元的尺寸也可与场景中的感兴趣区域的平均尺寸有关。例如，可选择每个单元的尺寸，使得平均尺寸的感兴趣区域由多个单元覆盖。
[0048] 每个单元的尺寸也可与场景中的平均尺寸的移动对象有关。例如，可选择每个单元的尺寸，使得平均尺寸的对象由多个单元覆盖。
[0049] 此外，单元网中的单元的尺寸可改变。尺寸的改变可取决于存在于图像帧中的桶形畸变。
[0050] 比较功能54被配置成确定当前图像帧的每个单元的变化度量。这通过比较每个单元的像素数据与前一个和/或后一个图像帧的相应地定位的单元的像素数据来完成。用于像素比较的前一个和/或后一个图像帧是输入数据的另一图像帧，该输入数据是运动元数据导出操作50的输入。可以用不同的方式确定变化度量。例如，当前图像帧的单元的变化度量可以是在已改变的单元内的像素数量的测量。可替代地或组合地，当前图像帧的单元的变化度量可以是在单元内的所有像素的组合变化。每个像素的变化可以例如是欧几里德距离的形式或是光度当量的变化。
[0051] 存储功能56被配置成将当前图像帧的每个单元的变化度量存储为运动元数据。存储功能56被进一步配置成使运动元数据与当前图像帧200相关。所谓相关在这里意指在时间上相关。运动元数据可被看作一时间段的运动元数据，该时间段与在当前图像帧并还可能是刚好在当前图像帧之前和/或刚好在当前图像帧之后的图像帧的图像数据被捕获时的时间段相应。运动元数据可被存储在当前视频帧的元数据部分中。可替代地或组合地，运动元数据可被存储在编码视频的元数据部分中，图像帧的流已从该元数据部分被解码。可替代地或组合地，运动元数据可被存储在单独的文件中。
[0052] 运动元数据还可以包括与编码视频相关的信息。运动元数据可以进一步包括与用于捕获编码视频的摄像机的标识相关的信息。
[0053] 运动元数据导出操作50可以进一步包括单元识别功能58。单元识别功能58被配置成识别在当前图像帧内的变化度量超过变化阈值的单元。变化阈值可以是预先确定的固定阈值。可替代地，变化阈值可以是可调节的阈值。单元识别功能58可进一步被配置成针对每个单元(优选地针对每个所识别的单元)确定变化度量超过变化阈值的相邻单元的数量。
[0054] 所谓相邻单元在这里意指与所识别的单元毗邻的单元。如果单元正好在另一单元之上、正好在另一单元之下、正好在另一单元右边、正好在另一单元左边或正好与那个单元成对角线(在四个不同的对角方向中的任一个上)，则该单元与另一单元毗邻。运动元数据可以在这样的情况下对于每个所识别的单元进一步包括变化度量超过变化阈值的相邻单元的数量。这关于图2在下面进一步被讨论。
[0055] 单元识别功能58可进一步被配置成针对每个单元(优选地每个所识别的单元)添加变化度量超过变化阈值的相邻单元的所确定的数量作为所识别的单元的运动元数据的一部分。因此对于每个单元(优选地每个所识别的单元)，元数据可包括该单元的变化度量和变化度量超过变化阈值的相邻单元的数量。此外，对于每个所识别的单元，元数据可以进一步包括指示变化度量超过变化阈值的标志。单元识别功能58可进一步被配置成针对每个单元(优选地每个所识别的单元)确定哪个相邻单元的变化度量超过变化阈值。这个数据也可被添加到运动元数据。
[0056] 参考图2，将例示当前图像帧200的单元202的运动元数据204的不同可能的部分。在图2中被指示为MC的在运动元数据204中的数据的第一部分与单元的变化度量有关。在图
2的示例中，变化度量是在已改变的单元内的像素的数量的测量。在图2中被指示为ET的运动元数据204中的数据的第二部分与指示对于单元202变化度量是否超过变化阈值的标志有关。在图2的示例中，如果单元的变化度量超过变化阈值则标志是说明是(Y)的二进制标志，或如果单元的变化度量未超过变化阈值则标志是说明否(N)的二进制标志。在这个示例中，变化阈值被设置为10。代替使用Y或N，二进制标志1或0可被使用。在图2中被指示为NC的在运动元数据204中的数据的第三部分与变化度量超过变化阈值的相邻单元的数量有关。
相邻单元可以是任何邻近的单元。相邻单元(其变化度量超过变化阈值)的数量可以是从0到8。在图2中被指示为D的在运动元数据204中的数据的第四部分与哪个相邻单元具有超过变化阈值的变化度量有关。数据的第四部分D是在如在图2中指示的运动元数据的括号()内的数据。数据的第四部分D可具有零到八个条目。数据的第四部分D的每个条目指示到具有超过变化阈值的变化度量的相邻单元的方向。在图2中，数据的第四部分D的不同条目被例示为U(向上)、D(向下)、L(向左)、R(向右)、UL(对角地向左上)、UR(对角地向右上)、DL(对角地向左下)或DR(对角地向右下)。
2的示例中，变化度量是在已改变的单元内的像素的数量的测量。在图2中被指示为ET的运动元数据204中的数据的第二部分与指示对于单元202变化度量是否超过变化阈值的标志有关。在图2的示例中，如果单元的变化度量超过变化阈值则标志是说明是(Y)的二进制标志，或如果单元的变化度量未超过变化阈值则标志是说明否(N)的二进制标志。在这个示例中，变化阈值被设置为10。代替使用Y或N，二进制标志1或0可被使用。在图2中被指示为NC的在运动元数据204中的数据的第三部分与变化度量超过变化阈值的相邻单元的数量有关。
相邻单元可以是任何邻近的单元。相邻单元(其变化度量超过变化阈值)的数量可以是从0到8。在图2中被指示为D的在运动元数据204中的数据的第四部分与哪个相邻单元具有超过变化阈值的变化度量有关。数据的第四部分D是在如在图2中指示的运动元数据的括号()内的数据。数据的第四部分D可具有零到八个条目。数据的第四部分D的每个条目指示到具有超过变化阈值的变化度量的相邻单元的方向。在图2中，数据的第四部分D的不同条目被例示为U(向上)、D(向下)、L(向左)、R(向右)、UL(对角地向左上)、UR(对角地向右上)、DL(对角地向左下)或DR(对角地向右下)。
[0057] 如上面所提到的，视频处理装置10可构成视频存储服务器的一部分。在这样的情况下，视频存储服务器可被配置成存储所记录的视频，所记录的视频的运动元数据将被确定。所记录的视频然后一般以编码格式被存储。被编码的所记录的视频一般被存储在视频存储服务器的存储器40中。在确定运动元数据之后，存储功能56可被配置成将运动元数据存储在视频存储服务器的存储器40中。视频存储服务器可以进一步包括资源监视器60。资源监视器60被配置成确定处理电路30的可用处理能力。资源监视器60进一步被配置成一旦可用处理能力高于阈值就指示运动元数据导出操作50确定运动元数据。
[0058] 此外，如上面提到的，视频处理装置10可构成客户端计算机的一部分。客户端计算机可被配置成从外部源装置下载运动元数据将被确定的所记录的视频。这样的外部源装置可以是配置成存储所记录的视频的视频存储服务器。一般，被下载的所记录的视频以编码格式被接收。因此，客户端计算机可被配置成下载运动元数据将被确定的被编码的所记录的视频。因此，视频处理装置10可以进一步包括收发器70。收发器70被配置成与外部源装置通信。也就是说，这样的外部源装置还包括用于与视频处理装置10通信的收发器。通信可包括数据传输等。数据传输可包括但不限于下载和/或上传数据以及接收或发送消息。
[0059] 在视频处理装置10构成客户端计算机的一部分的情况下，存储功能56可被配置成将运动元数据上传到外部源装置。上传可构成运动元数据的存储的一部分。
[0060] 视频处理装置10可进一步被配置成利用所确定的运动元数据来识别编码视频中的运动。为了这个目的，视频处理装置10包括运动识别操作80。运动识别操作80包括感兴趣区域设置功能82、阈值设置功能84、运动元数据访问功能86和图像帧识别功能88。运动识别操作80被配置成处理编码视频和由运动元数据导出操作50导出的运动元数据。
[0061] 感兴趣区域(ROI)设置功能82被配置成设置在由编码视频描绘的场景内的ROI。一般，这通过接收相应于场景的感兴趣区域的ROI输入数据来实现。可例如通过接收关于在图形用户界面中被标记的与编码视频的帧相应的图像帧的区域的输入数据来确定ROI输入数据。ROI设置功能82可进一步被配置成识别单元网的与ROI重叠的单元。这在图3中示出，其中ROI 310被标记为多边形，且五个单元(由对角线图案指示)被发现与ROI 310重叠。因此，单元的一部分被标记为感兴趣的以进一步研究。
[0062] 阈值设置功能84被配置成设置运动阈值。运动阈值与变化度量有关。因此，如果单元中的变化度量被确定为高于运动阈值，则运动被认为被识别出。阈值设置功能84可被配置成针对与ROI 310重叠的所有单元设置公共运动阈值。可替代地，阈值设置功能84可被配置成针对与ROI 310重叠的单元设置单独的运动阈值。
[0063] 运动元数据访问功能86被配置成访问与ROI 310重叠的单元的所存储的运动元数据。可以针对与整个编码视频的时间段相应的所记录的视频的图像帧访问运动元数据。可替代地，可以针对与整个编码视频的时间段的一部分相应的编码视频的图像帧访问运动元数据。
[0064] 图像帧识别功能88被配置成识别与ROI重叠的单元，对于该ROI，变化度量超过每个单元的运动阈值。如上面所提到的，与ROI重叠的所有单元可具有相同的运动阈值，即运动阈值对于与ROI重叠的所有单元是公共的。可替代地，也如上面提到的，与ROI重叠的每个单元可具有单独的运动阈值。图像帧识别功能88被进一步配置成基于所识别的单元来识别所记录的视频的图像帧，对于该图像帧，与ROI重叠的一个或多个单元中的变化度量超过运动阈值。因此，在ROI内的运动被识别出。
[0065] 图像帧识别功能88可被配置成将图像帧识别为其中在ROI内的运动以不同的方式出现的图像帧。可以是如果与ROI重叠的单元之一包括超过相应单元相关的运动阈值的变化度量则运动被识别出。可以是如果与ROI重叠的单元的一部分包括超过相应单元相关的运动阈值的变化度量则运动被识别出。该部分可以是单元的百分比，例如单元的25％、50％或75％。可以是如果与ROI重叠的所有单元包括超过相应单元相关的运动阈值的变化度量则运动被识别出。可以是如果单元的与ROI重叠的两个或更多个相邻单元包括超过相应单元相关的运动阈值的变化度量则运动被识别出。
[0066] 所识别的图像帧可进一步与在编码视频内的时间戳相关联。因此，图像帧识别功能88可进一步被配置成识别在编码视频中的什么时间运动被识别到。
[0067] 运动识别操作80可被配置成在下面的标准下识别运动：由图像帧识别功能88识别为其中在ROI内的运动已出现的图像帧的多个连续图像帧应被识别到。
[0068] 参考图4，将讨论用于确定编码视频的运动元数据的方法400。编码视频优选地是已经记录的视频。编码视频可以例如被存储在视频存储服务器上。该方法包括通过将编码视频的帧解码S402来导出图像帧。编码视频的编码帧中的全部或一些可被解码。此外对于图像帧中的全部或一些，运动元数据将根据下面的步骤被确定并存储。将当前图像帧划分S404成单元网。单元网可以是预先确定的单元网。单元网中的每个单元包括多个图像像素。上面关于运动元数据导出操作50的划分功能52更详细地讨论了将当前图像帧划分S404成单元网的步骤。确定S406每个单元的变化度量。确定S406每个单元的变化度量的步骤包括比较每个单元的像素数据与前一个和/或后一个图像帧的相应地定位的单元的像素数据。
前一个和/或后一个图像帧在当前图像帧的前面和/或后面。上面关于运动元数据导出操作
50的比较功能54更详细地讨论了确定S406每个单元的变化度量的步骤。存储S408每个单元的变化度量作为与当前图像帧相关的运动元数据。上面关于运动元数据导出操作50的存储功能56更详细地讨论了存储S408每个单元的变化度量作为与当前图像帧相关的运动元数据的步骤。
前一个和/或后一个图像帧在当前图像帧的前面和/或后面。上面关于运动元数据导出操作
50的比较功能54更详细地讨论了确定S406每个单元的变化度量的步骤。存储S408每个单元的变化度量作为与当前图像帧相关的运动元数据。上面关于运动元数据导出操作50的存储功能56更详细地讨论了存储S408每个单元的变化度量作为与当前图像帧相关的运动元数据的步骤。
[0069] 运动元数据被确定并存储的图像帧可以是相应于编码视频的帧内编码帧的图像帧。此外，相应于编码视频的预测编码帧的图像帧可被免除运动元数据的确定。
[0070] 确定S406每个单元的变化度量的步骤可以进一步包括识别在当前图像帧内的变化度量超过变化阈值的单元，以及针对每个所识别的单元确定变化度量超过变化阈值的相邻单元的数量。这在上面关于运动元数据导出操作50的单元识别功能58被更详细地讨论。
[0071] 参考图5，将讨论用于识别编码视频中的运动的方法500。该方法包括下面的步骤。执行S502用于确定编码视频的运动元数据的方法400。因此，确定并存储编码视频的运动元数据。设置S504由编码视频描绘的场景的感兴趣区域。上面关于运动识别操作80的感兴趣区域设置功能82更详细地讨论了设置S504感兴趣区域的步骤。设置S506运动阈值。上面关于运动识别操作80的阈值设置功能84更详细地讨论了设置S506运动阈值的步骤。访问S508所存储的运动元数据。上面关于运动识别操作80的运动元数据访问功能86更详细地讨论了访问S508所存储的运动元数据的步骤。识别S510与感兴趣区域重叠的一个或多个单元中的变化度量超过运动阈值的图像帧。上面关于运动识别操作80的图像帧识别功能88更详细地讨论了识别S510图像帧的步骤。因此，在感兴趣区域内的运动被识别，且因此编码视频中的运动也被识别。
[0072] 用于识别编码视频中的运动的方法500可以进一步包括改变运动阈值以及识别与感兴趣区域重叠的单元中的变化度量超过变化的运动阈值的图像帧。
[0073] 本领域技术人员认识到，本发明决不限于上面所述的优选实施例。相反，在所附权利要求的范围内，很多修改和变化是可能的。
[0074] 例如，用于识别编码视频中的运动的方法500可以进一步包括设置场景的另一感兴趣区域。除了原始感兴趣区域以外或作为对原始感兴趣区域的替代，还可设置场景的另一感兴趣区域。也可针对另一感兴趣区域设置不同于用于原始感兴趣区域的运动阈值的另一运动阈值。然而，与用于原始感兴趣区域的相同的运动阈值可用于另一感兴趣区域。然后，可识别与另一感兴趣区域重叠的单元中的变化度量超过用于另一感兴趣区域的运动阈值的图像帧。因此，在另一感兴趣区域内的运动被识别，且因此编码视频中的运动也被识别。
[0075] 此外，用于识别编码视频中的运动的方法500可以进一步包括设置排除区域。可在用于识别编码视频中的运动的方法500中忽略存在于排除区域中的运动。排除区域可与一组感兴趣区域部分地或全部重叠。例如，排除区域可用于排除树、旗帜等在风中吹动的区域中的运动。因此，排除区域可用于排除场景的非感兴趣区域。
[0076] 此外，从附图、本公开和所附权利要求的研究中，对所公开的实施例的变化可由技术人员在实践所主张的发明时理解和实现。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 图像重构方法和装置 | 2020-05-11 | 182 |
| 一种用于显示设备的像素电路 | 2020-05-08 | 825 |
| 图像曝光装置及图像曝光方法 | 2020-05-08 | 388 |
| 带宽压缩中的后选择预测方法 | 2020-05-08 | 880 |
| 有机发光显示装置 | 2020-05-08 | 926 |
| 指纹检测装置和电子设备 | 2020-05-08 | 117 |
| 具有可移动的光阑的视网膜相机 | 2020-05-08 | 835 |
| 显示面板及移动终端 | 2020-05-11 | 967 |
| 光电设备 | 2020-05-08 | 793 |
| 视频处理方法、装置和电子设备 | 2020-05-08 | 704 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈