技术领域
[0001] 本
发明涉及一种视频浓缩方法，特别是涉及一种基于物体尺寸自适应的视频浓缩方法。
背景技术
[0002] 文献“Y.Pritch,A.Rav-Acha,and S.Peleg,Nonchronological Video Synopsis and Indexing.IEEE Transactions on Pattern Analysis and Machine Intelligence,30(11):1971-1987,2008”提出了一种基于物体的视频浓缩方法。该方法首先通过背景减除
算法把活动的物体从背景中识别并提取出来，然后通过在一小段时间内同时展现多个活动物体来压缩原视频的长度。同时，为了使浓缩后的视频不会出现一些不合理的情况，该方法设计了特定的
能量函数来限制各个活动物体在浓缩视频的时间轴上的
位置。此能量函数主要包括三个惩罚项，而每个惩罚项对应着浓缩视频中一种不合理的情况。这三种不合理的情况分别是活动物体信息的丢失、物体间的相互碰撞遮挡现象和物体间相对时间关系的损坏。通过最小化能量函数的函数值，该方法能够将浓缩视频中的不合理情况降到最低。然而，当原视频的浓缩率较大时，要同时展现出多个活动物体，就会不可避免地产
生物体相互碰撞遮挡的现象。
发明内容
[0003] 为了克服现有视频浓缩方法容易出现活动物体相互碰撞遮挡的不足，本发明提供一种基于物体尺寸自适应的视频浓缩方法。该方法采用聚合通道特征检测算法和背景减除算法对原视频中的活动物体进行检测和提取，可以有效降低前景、背景分离时产生的噪声，从而得到更精确的活动物体分割结果；之后通过设计新的能量函数来确定活动物体在浓缩视频中的时间位置及合理的缩小尺寸，该能量函数除考虑到目前已提出的不合理情况外，还针对物体尺寸的缩小操作加入了尺寸缩小惩罚项，以避免活动物体因尺寸过度缩小而变得难以辨识；最后，该方法采用泊松图像编辑方法将提取出的活动物体按照第二阶段计算出的时间位置和物体尺寸无缝地融合进背景视频中。本发明方法可以有效地减少浓缩视频中活动物体相互碰撞遮挡的情况。
[0004] 本发明解决其技术问题所采用的技术方案是：一种基于物体尺寸自适应的视频浓缩方法，其特点是采用以下步骤：
[0005] 步骤一、对于输入视频数据的每一
帧合成对应的背景图像，背景图像合成公式为[0006]
[0007] 式中，B表示要合成的背景图像，I表示所选取的视频序列中的一帧，n表示所选取的视频序列的总帧数。
[0008] 步骤二、使用聚合通道特征检测算法检测原视频中的活动物体，并使用矩形框将每个活动物体标出。使用背景减除算法将每一帧视频与其对应的合成背景相减，根据差值对活动物体进行提取
[0009] Diff(x,y,t)＝|I(x,y,t)-B(x,y,t)| (2)
[0010] 式中，x,y分别是图像
像素的横、纵坐标，t是当前帧的帧序号，Diff(x,y,t)表示当前帧中位于坐标(x,y)处的像素与对应
背景像素之差的绝对值。若绝对值大于
阈值τ，则认为当前像素为
前景像素，τ取值为20。
[0011] 步骤三、各活动物体在浓缩视频中的时间位置和缩小尺寸通过求解特定的能量函数确定，能量函数为
[0012] E(M)＝Ea(M)+Ec(M)·Er(M)+Et(M) (3)
[0013] 式中，E表示能量值，M表示活动物体从原视频到浓缩视频的一个映射，所述能量函数由四个惩罚项组成。各个惩罚项的具体如下：
[0014] ①Ea(M)是活动物体信息损失惩罚项，用来衡量浓缩视频中活动物体信息丢失的程度，其具体定义为
[0015]*
[0016] 式中，O表示所有活动物体的集合，o表示其中的一个活动物体，o表示物体o在浓缩视频中的映射，o'表示属于物体o而没有被包含进浓缩视频的观测序列，Dif(o′)表示当前物体与背景之间的差异。
[0017] ②Ec(M)是活动物体碰撞遮挡惩罚项，计算的是浓缩视频中物体之间重叠面积的总和，用来评价活动物体相互碰撞遮挡的程度，其具体定义为
[0018]
[0019] 式中，α是一个参数，用于调节该惩罚项在整个能量函数中的重要性，p表示不同*于物体o的另一活动物体，p表示物体p在浓缩视频中的映射，box()表示一个
指定物体的边界框，A()表示一
块指定区域的面积。
[0020] ③Er(M)是活动物体尺寸缩小惩罚项，用来限制物体的过度缩小，其具体定义为[0021]
[0022] 式中，X是所有活动物体缩小系数的集合，xo是物体o所对应的一个缩小系数，Ao是物体o的原始面积，物体o缩小后的尺寸Ao是与 的乘积，η是一参数，用于调节活动物体的原始面积对整个尺寸缩小惩罚项的影响。
[0023] ④Et(M)是物体间相对时间关系损坏惩罚项，用于在浓缩视频中保护活动物体间的相对时间关系，其具体定义为
[0024]
[0025] Et(M)包括三个子项，每个子项对应着一种特定的情况。在第一子项的条件中，to和tp分别表示物体o和p在原视频中活动的时间段，to∩tp≠φ表示两者的活动时间有交集，D(o,p)是衡量物体o和p相对空间关系的函数，其定义为
[0026]
[0027] 式中，d(o,p,t)表示物体o和p在时间t时的欧氏距离，min{}表示一个集合中的最小值，ω为一参数，用于调
节距离衡量尺度。T(o,p)是衡量物体o和p在浓缩视频中时间关系损坏程度的函数，其定义为
[0028]
[0029] 式中， 和 分别表示物体o和p在原视频中的出现时间， 和 分别表示物体o和p的映射o*、p*在浓缩视频中的出现时间。
[0030] 在第②子项的条件中，to∩tp＝φ表示物体o和p的活动时间没有有交集，T'(o,p)用来衡量在这种情况下，物体o和p的时间关系是否遭到了破坏，其定义为[0031]
[0032] 只有当T'(o,p)>0时才表示两者的相对时间关系得以保留。
[0033] 在第③子项中，当两活动物体的活动时间段既没有交集，并且两者的相对时间关系又遭到破坏时，使用下式对这种情况进行惩罚
[0034]
[0035] 式中，σ为一参数，用于调节第③子项在整个活动物体尺寸缩小惩罚项中的重要性。
[0036] 步骤四、生成浓缩视频。
[0037] 首先，根据用户自定义的浓缩视频的长度，对步骤一中合成的背景图像中有物体活动的子集进行均匀降
采样，将降采样得到的背景图像按照时间顺序拼接起来得到浓缩视频的背景视频。然后，使用泊松图像编辑方法，按照步骤三求解的映射结果，将各个活动物体融合进背景视频中，得到浓缩视频。
[0038] 本发明的有益效果是：该方法采用聚合通道特征检测算法和背景减除算法对原视频中的活动物体进行检测和提取，可以有效降低前景、背景分离时产生的噪声，从而得到更精确的活动物体分割结果；之后通过设计新的能量函数来确定活动物体在浓缩视频中的时间位置及合理的缩小尺寸，该能量函数除考虑到目前已提出的不合理情况外，还针对物体尺寸的缩小操作加入了尺寸缩小惩罚项，以避免活动物体因尺寸过度缩小而变得难以辨识；最后，该方法采用泊松图像编辑方法将提取出的活动物体按照第二阶段计算出的时间位置和物体尺寸无缝地融合进背景视频中。本发明方法可以有效地减少浓缩视频中活动物体相互碰撞遮挡的情况。
[0039] 下面结合
附图和具体实施方式对本发明作详细说明。
附图说明
[0040] 图1是本发明基于物体尺寸自适应的视频浓缩方法的
流程图。
具体实施方式
[0041] 参照图1。本发明基于物体尺寸自适应的视频浓缩方法具体步骤如下：
[0042] 1.合成背景图像。
[0043] 对于输入的视频数据的每一帧，为其合成对应的背景图像。具体地，对先于当前帧30秒和晚于当前帧30秒的视频序列取均值，使用均值图像作为当前帧所对应的背景。对于原视频起始位置的帧，没有先于其的帧，则只使用晚于其的视频序列；对于原视频末尾的帧，则只使用先于其的视频序列。背景图像合成公式为
[0044]
[0045] 式中，B表示要合成的背景图像，I表示所选取的视频序列中的一帧，n表示所选取的视频序列的总帧数。
[0046] 2.活动物体的检测与提取。
[0047] 使用聚合通道特征检测算法检测原视频中的活动物体，并使用矩形框将每个活动物体标出。使用背景减除算法将每一帧视频与其对应的合成背景相减，根据差值对活动物体进行提取
[0048] Diff(x,y,t)＝|I(x,y,t)-B(x,y,t)| (2)
[0049] 式中，x,y分别是图像像素的横、纵坐标，t是当前帧的帧序号，Diff(x,y,t)表示当前帧中位于坐标(x,y)处的像素与对应背景像素之差的绝对值。若差值的绝对值大于本发明方法定义的阈值τ，则认为当前像素为前景像素，τ在本发明中的取值为20。本发明方法认为超出活动物体边界框的前景像素为噪声，将其忽略，而边界框以内的所有前景像素被提取出来。
[0050] 3.定义能量函数。
[0051] 各活动物体在浓缩视频中的时间位置和缩小尺寸需要通过求解特定的能量函数来确定，本发明方法定义的能量函数为
[0052] E(M)＝Ea(M)+Ec(M)·Er(M)+Et(M) (3)
[0053] 式中，E表示能量值，M表示活动物体从原视频到浓缩视频的一个映射，它指示各个活动物体在浓缩视频中的时间位置及物体尺寸。该能量函数由四个惩罚项组成。各个惩罚项的具体介绍如下：
[0054] ⑤Ea(M)是活动物体信息损失惩罚项，用来衡量浓缩视频中活动物体信息丢失的程度，其具体定义为
[0055]*
[0056] 式中，O表示所有活动物体的集合，o表示其中的一个活动物体，o表示物体o在浓缩视频中的映射，o'表示属于物体o而没有被包含进浓缩视频的观测序列，Dif(o′)表示当前物体与背景之间的差异。
[0057] ⑥Ec(M)是活动物体碰撞遮挡惩罚项，计算的是浓缩视频中物体之间重叠面积的总和，用来评价活动物体相互碰撞遮挡的程度，其具体定义为
[0058]
[0059] 式中，α是一个参数，用于调节该惩罚项在整个能量函数中的重要性，p表示不同*于物体o的另一活动物体，p表示物体p在浓缩视频中的映射，box()表示一个指定物体的边界框，A()表示一块指定区域的面积。
[0060] ⑦Er(M)是活动物体尺寸缩小惩罚项，用来限制物体的过度缩小，其具体定义为[0061]
[0062] 式中，X是所有活动物体缩小系数的集合，xo是物体o所对应的一个缩小系数，Ao是物体o的原始面积，物体o缩小后的尺寸Ao是与 的乘积，η是一参数，用于调节活动物体的原始面积对整个尺寸缩小惩罚项的影响。
[0063] ⑧Et(M)是物体间相对时间关系损坏惩罚项，用于在浓缩视频中保护活动物体间的相对时间关系，其具体定义为
[0064]
[0065] Et(M)包括三个子项，每个子项对应着一种特定的情况。在第一子项的条件中，to和tp分别表示物体o和p在原视频中活动的时间段，to∩tp≠φ表示两者的活动时间有交集，D(o,p)是衡量物体o和p相对空间关系的函数，其定义为
[0066]
[0067] 式中，d(o,p,t)表示物体o和p在时间t时的欧氏距离，min{}表示一个集合中的最小值，ω为一参数，用于调节距离衡量尺度。T(o,p)是衡量物体o和p在浓缩视频中时间关系损坏程度的函数，其定义为
[0068]
[0069] 式中， 和 分别表示物体o和p在原视频中的出现时间， 和 分别表示物体o和p的映射o*、p*在浓缩视频中的出现时间。
[0070] 在第②子项的条件中，to∩tp＝φ表示物体o和p的活动时间没有有交集，T'(o,p)用来衡量在这种情况下，物体o和p的时间关系是否遭到了破坏，其定义为[0071]
[0072] 只有当T'(o,p)>0时才表示两者的相对时间关系得以保留。
[0073] 在第③子项中，当两活动物体的活动时间段既没有交集，并且两者的相对时间关系又遭到破坏时，本发明方法使用下式对这种情况进行惩罚
[0074]
[0075] 式中，σ为一参数，用于调节第③子项在整个活动物体尺寸缩小惩罚项中的重要性。
[0076] 本发明方法使用模拟
退火算法对提出的能量函数进行求解，求解过程分为两步。首先保持活动物体的原始尺寸不变，确定各物体在浓缩视频中的时间位置。然后对发生碰撞遮挡的物体进行尺寸缩小，为每个活动物体确定一个合理尺寸，使得物体间重叠面积得以减少，并且物体仍然是可辨识的。
[0077] 4.生成浓缩视频。
[0078] 浓缩视频的生成阶段分为两小步。首先，根据用户自定义的浓缩视频的长度，对第一步合成的背景图像中有物体活动的子集进行均匀降采样，将降采样得到的背景图像按照时间顺序拼接起来得到浓缩视频的背景视频。然后，使用泊松图像编辑方法，按照第三步求解的映射结果，将各个活动物体融合进背景视频中，得到浓缩视频。
[0079] 本发明方法的效果通过以下实验做进一步的说明。
[0080] 1.实验条件。
[0081] 本发明是在
中央处理器为 i5-34703.2GHz CPU、内存4G、WINDOWS 7
操作系统上，运用MATLAB
软件进行实验。
[0082] 实验中使用的数据为来自网络的监控视频。
[0083] 2.实验内容。
[0084] 首先，以浓缩视频中物体间总重叠面积和展现物体碰撞过程所需的平均时间作为标准来衡量一个浓缩视频的
质量。然后按照具体实施方式中给出的步骤分别对3个监控视频进行实验，并对浓缩结果按所提衡量标准进行统计。
[0085] 为了 证 明 本 发明 方 法 的 有效 性，与 文 献“Y.Pritch,A.Rav-Acha,and S.Peleg,Nonchronological Video Synopsis and Indexing.IEEE Transactions on Pattern Analysis and Machine Intelligence,30(11):1971-1987,2008”提出的方法进行比较。该方法仅将活动物体沿时间轴移动，因此当视频浓缩率较高时，容易产生物体间的碰撞遮挡现象。对比结果参照表1。
[0086] 表1
[0087]
[0088] 相对于对比方法，本发明方法显著地减少了浓缩视频中物体间相互碰撞遮挡的现象。对于3个监控视频，总重叠面积被平均减少了10倍以上。由于本发明方法限制物体尺寸的过度缩小，因而不能将所有的碰撞现象都完全消除。但是，本发明展现两物体碰撞过程所需的时间也要远远少于对比方法。
