技术领域
本发明涉及用于在视频序列中数据压缩的方法、用于执行本方法的 设备以及计算机程序和计算机程序产品。
背景技术
在传输和处理视频数据时采用所谓的数据压缩方法,利用所述数据 压缩方法例如通过汇总冗余的数据来减小数据规模,使得可以更快速地 传输所述数据。
在当前的
视频编码模式中,
运动补偿是在压缩效能方面的决定性因 数。但是在此要考虑的是,在运动补偿时所执行的
运动估计、即对视频 序列的运动参数的确定是有很大计算量的,并在编码期间需要最多的时 间。
诸如MPEG-1/2/4和H264/AVC的许多视频编码标准采用所谓的基 于分
块的运动补偿,其中各个图像被划分成矩形分区的像点区域,并且 来自参考图像的位错的分块被采用为每个分区(Partition)的预报或预 测。在此,对于每一个区域和示出了在实际编码的区域和预报之间的差 别的结构偏差,
编码器只对位错(Versetzung)、也即运行矢量或运动 矢量进行编码。
在基于经运动补偿的时间
滤波器或分层双向预测的图像(B片 (B-slice))的可定标的视频编码(SVC:可定标的视频编码(scalable video coding))时,可以期望在不同的时间和空间分解级中运动参数的 相关性。
虽然仅微小地减小了压缩效率,但是用于快速运动估计的
算法可以 显著减少计算步骤的数量。与运动图像矢量搜索相比较,这种算法减小 了要测试的
运动矢量的组,以便节省搜索图样(Suchmuster)。在此可 以应用以最好的矢量候选为中心的搜索图样。
在典型的视频序列中,运动的对象常常
覆盖大于运动补偿的最大分 块大小或大于宏分块大小的图像区域。空间上相邻的运动矢量因此常常 具有大的依赖性,其中,在视频编码系统中经常利用这种事实,其方式 是仅对在当前的运动矢量和所分配的运动矢量预测值(MVP:运动矢量 预测值(motion vector predictor))之间的差别进行编码,该差别又从 因果关系的空间上相邻的矢量来推导。
除此之外,同样由于在各个情景内仅缓慢变化的内容而可以估计在 时间上相邻的矢量之间的相关性。在此,许多用于运动估计的方法将运 动矢量预测值用作初始矢量,其中搜索算法以所述初始矢量为中心。另 一实施方式规定,仅仅采用由运动矢量预测值和从中推导出的矢量所组 成的一组候选。
发明内容
本发明涉及一种用于在视频序列中数据压缩的方法,其中,也将先 前时间分解级的运动估计的结果用于运动补偿。使用这些结果,以便预 报下一分解级的矢量候选,因为尤其是当图像之间的时间间隔大时,用 于运动估计的算法的计算耗费是很高的,这例如在可定标的视频编码时 是这种情况。因此规定采用预测性运动估计算法,该预测性运动估计算 法使用尤其是在可定标的视频编码时存在的运动相关性,基于经运动补 偿的时间滤波器或基于所谓的开放式分层双向预测的图像的使用。
所建议的算法显著减少运动估计级的计算规模。在此,客观的和视 觉的
质量在很大程序度上对应于已知的广泛的完全搜索算法的客观的 和视觉的质量。
在扩展方案中,算法包括针对宏分块的每个(子)分区的前向和后 向的预报或预测的(准确的)全
像素运动矢量的候选组。对运动矢量候 选的计算要求
访问当前图像或事先所估计的图像矢量场的矢量。如下来 选出全像素候选组S的各个候选:
零矢量候选
许多情景不含有或仅含有少量的
照相机或背景运动。因此向候选组 添加后向的零矢量(0,0)。
空间矢量候选
从在当前图像内的空间上相邻的分区或分段中推导出每个预报方 向高达三个候选。首先观察运动矢量预测值,所述运动矢量预测值同样 被用于当前运动矢量的差分编码并且以已知方式被推导,正像例如由 Thomas Wiegand和Garry Sullivan著的文献“Joint final draft international standard(FDIS)of joint video specification(ITU-T rec.H.264/ISO/IEC 14496-10AVC)”(JVT,7th Meeting,文献JVT-G050,Pattaya,Thailand, 2003年3月,ITU-T,ISO/IEC)中所描述的那样。
同样包括左边邻居和右上方邻居的分区的运动矢量,只要这些运动 矢量可供使用的话,其中所述运动矢量从在计算运动矢量预测值时所采 用的运动矢量中获得。如果不存在右上方邻居,则使用左上方邻居代替 右上方邻居。
时间矢量候选
根据事先确定的运动矢量的可用性,以不同的方式推导出前向和后 向估计的时间矢量候选。从当前图像的逆前向运动矢量中推导出后向运 动矢量候选。由于因果关系限制,因此仅仅使用当前宏分块之上的或左 边的运动矢量。将有关当前宏分块的左边和右上方宏分块的两个事先存 储的运动矢量选择为时间矢量候选。在前向运动矢量中,情况则是另一 种,因为可以将先前图像的已经估计的运动矢量场的前向运动矢量中的 每一个采用为候选。所选择的前向候选是所存储的运动场的逆运动矢 量,并且从共同布置的宏分块之下的右边和左边邻居中来获得。
时间
中间层矢量候选
时间中间层矢量候选(ILC:中间层候选(interlayer candidate)) 被设置用于改善矢量预报。尤其是在与经运动补偿的时间滤波器的关联 中或在开放式分层双向预测的图像中就是这种情况。在每一时间分解级 中,在经运动补偿的图像之间的时间间隔加倍。这本来会使得要求用于 运动估计的提高的运动矢量搜索区域。但是可以组合以前级的运动矢 量,以便预报在稍后的级中的运动。借助先前时间分解级1-1的前向和 后向运动矢量对来计算时间层1的候选。
由于除了运动矢量预测值的候选之外直接从先前的图像估计结果 中推导所有的候选,因此用于与序列中的变化的运动相匹配的方法是有 利的。所以通过将组S的每一个矢量添加到随机选择的矢量ri来规定矢 量组S,这导致最终的矢量组Sfinal:
Sfinal={v1,...vn,v1+r1,...vn+rn}。
在扩展方案中,通过使最终矢量组的所有明确的矢量的成本函数最 小化来确定运动矢量的最好的候选。同样可以执行围绕最好的运动矢量 候选的图样搜索的随后全像素细化。
可以规定,首先通过评价八个周围的半像素
位置和随后通过测试围 绕最好的半像素候选的八个四分之一像素位置来最后执行子像素细化。
为了选择编码模式,可以比较来自两个单向模式和双向模式的数据 速率图像失真比的成本,其中,在没有其它的双向细化的情况下,采用 两个最好的单向运动矢量。
还建议一种被构造用于执行上述方法的装置。该装置通常包括计算 单元。
本发明还涉及一种具有程序代码装置的计算机程序,以便当在计算 机或相应的计算单元上实施计算机程序时,执行本发明方法的所有步 骤。
本发明还涉及一种具有存储在计算机可读的数据载体上的程序代 码装置的计算机程序产品,以便当在计算机或相应的计算单元上实施计 算机程序时,执行本发明方法的所有的步骤。
从
说明书和
附图中得出本发明的其它的优点和扩展方案。
不言而喻,上述的和以下还要阐述的特征不仅可以用在分别所说明 的组合中,而且也可以用于另外的组合中或单独采用,而不脱离本发明 的范围。
附图说明
借助附图中的
实施例示意性示出本发明,并在下面参照附图进行详 细说明。
图1展示了用于说明本发明方法的两种不同的候选分配模式。
图2展示了借助运动估计的不同信息源对运动矢量组的生成。
图3以示意图展示了本发明装置的一种实施形式。
具体实施方式
在图1中示出了时间中间层的候选的不同分配模式。在上部区域中 示出了矢量组s1-1 2t-2的第一
帧10、矢量组s1-1 2t-1的第二帧12和矢量组s1-1 2t 的第三帧14。在示图的下部区域中,示出了矢量组s1 t-1的第四帧16和 矢量组s1 t的第五帧18。
根据图的上面部分,对于具有从帧10出去的矢量21vfwd和具有从 帧14出去的矢量22vbwd的分块20,确定矢量的候选。因此借助所存储 的从先前时间分解级1-1出去的前向和后向运动矢量对来确定时间层1 的候选。
正如示图的下面部分所介绍的那样,原则上可以采用两个候选分配 模式。因此这可以利用矢量23vfwd,col通过将候选分配给分别共同布置的 (共同
定位的)分块和利用矢量24vfwd,trj通过将候选分配给遵循运动轨 迹的分块来实现。在s1-1 2t中的分块最大重叠某个vbwd的参考的 (referenzierten)范围,并将其共同布置的在s1 t中的分块作为候选分配 给vfwd,trj。
图2展示了借助快速和有效运动估计的不同信息源生成运动矢量候 选组30。在此,不同的信息源是具有较小
分辨率的当前帧32、可能取 自不同时间层的事先编码的帧34和具有较高空间分辨率的当前帧36。 第一虚线38表明,将矢量40以定标至较高空间分辨率的方式接纳到清 单30中。在当前帧36中设置的分块42表示当前宏分块42。
在图3中示出了总体用参考符号50标注的本发明装置的实施形式。 该装置50包括经过数据线58互相连接的计算单元52、存储设备54和 输入/输出单元56。
在计算单元52中执行用于数据压缩的方法,其中,经由输入/输出 单元56来接收要压缩的数据或视频序列,并且也可以在压缩之后重新 再现。计算单元52也可以被设置用于解压缩所压缩的数据。