无漂移视频编码和解码方法及相应的设备
专利汇可以提供无漂移视频编码和解码方法及相应的设备专利检索，专利查询，专利分析的服务。并且三维(3D)子带编码方案在它们的时间滤波阶段中采用 运动补偿 。不幸的是，这个过程产生两个 缺陷 ：(a)MC是以全 分辨率 施加，因而当在较低分辨率解码时就出现漂移，并且(b)所有的在全分辨率时估计的 运动矢量 都要传输，这导致比特的浪费。根据本 发明 ，首先，通过小波分解的方式，从 帧 的原始输入序列中产生一个低分辨率序列，即一个低分辨率帧序列，并对它们执行一个运动补偿的空间－时间分析。然后，对每一个全分辨率帧组执行一个运动补偿空间－时间分析，并且，最后在每一个时间分解级，用所产生的低分辨率序列的对应空间－时间子带替换该分解的低频子带。由此获得的变更后的序列最后被编码。由于这种方法，低分辨率时的良好性能得到保持(不再漂移)，同时更接近于在全分辨率时传统3D子带编 解码器 的性能。，下面是无漂移视频编码和解码方法及相应的设备专利的具体信息内容。
1.一种用来压缩一个被分为连续帧组(GOF)的原始视频序列的 视频编码方法，所述方法包括如下步骤：
(1)通过小波分解，从该原始视频序列的全分辨率帧中产生一 个被组织在连续低分辨率GOF中的低分辨率帧序列；
(2)对所述低分辨率帧序列的每一个低分辨率GOF执行一个 运动补偿空间-时间分析，从而产生一个低分辨率序列；
(3)对该原始视频序列的每一个全分辨率GOF执行一个运动 补偿空间-时间分析；
(4)在每一个时间分解级，用该低分辨率序列的相应空间-时 间子带代替所述分解的低频子带；
(5)对所获得的变更后的序列和在每一个全分辨率GOF的运 动补偿空间-时间分析期间产生的运动矢量进行编码，以便产生一个 输出的编码比特流。
2.一种用来压缩一个被分为连续帧组(GOF)的原始视频序列的 视频编码设备，所述设备包括：
(1)通过小波分解，从该原始视频序列的全分辨率帧中产生一 个组织在连续低分辨率GOF中的低分辨率帧序列的装置；
(2)对所述低分辨率帧序列的每一个低分辨率GOF执行一个 运动补偿空间-时间分析，从而产生一个低分辨率序列的装置；
(3)对该原始视频序列的每一个全分辨率GOF执行一个运动 补偿空间-时间分析的装置；
(4)在每一个时间分解级，用该低分辨率序列的相应空间-时 间子带代替所述分解的低频子带的装置；
(5)对所获得的变更后的序列和在每一个全分辨率GOF的运 动补偿空间-时间分析期间产生的运动矢量进行编码，以便产生一个 输出的编码比特流的装置。
3.一种用来对一个编码比特流进行解码的视频解码方法，其中 该编码比特流对应着一个以如下的视频编码方法进行编码的视频序 列，并且为了压缩所述的原始视频序列，该视频编码方法包括如下步 骤：
(1)通过小波分解，从该原始视频序列的全分辨率帧中产生一 个被组织在连续低分辨率GOF中的低分辨率帧序列；
(2)对所述低分辨率帧序列的每一个低分辨率GOF执行一个 运动补偿空间-时间分析，从而产生一个低分辨率序列；
(3)对该原始视频序列的每一个全分辨率GOF执行一个运动 补偿空间-时间分析；
(4)在每一个时间分解级，用该低分辨率序列的相应空间-时 间子带代替所述分解的低频子带；
(5)对所获得的变更后的序列和在每一个全分辨率GOF的运 动补偿空间-时间分析期间产生的运动矢量进行编码，以便产生一个 输出的编码比特流，
所述视频解码方法包括连续的步骤，这些步骤与权利要求1的所 述视频编码方法所执行的步骤成对。
4.一种用来对一个编码比特流进行解码的视频解码设备，其中 该编码比特流对应着一个被如下的视频编码设备编码的视频序列，为 了压缩所述的原始视频序列，该视频编码设备包括：
(1)通过小波分解，从该原始视频序列的全分辨率帧中产生一 个被组织在连续低分辨率GOF中的低分辨率帧序列的装置；
(2)对所述低分辨率帧序列的每一个低分辨率GOF执行一个 运动补偿空间-时间分析，从而产生一个低分辨率序列的装置；
(3)对该原始视频序列的每一个全分辨率GOF执行一个运动 补偿空间-时间分析的装置；
(4)在每一个时间分解级，用该低分辨率序列的相应空间-时 间子带代替所述分解的低频子带的装置；
(5)对所获得的变更后的序列和在每一个全分辨率GOF的运 动补偿空间-时间分析期间产生的运动矢量进行编码，以便产生一个 输出的编码比特流的装置，
所述视频解码设备包括连续的装置，这些装置与权利要求2的所 述视频编码具有的装置成对。
技术领域
本发明涉及一种对被分成连续帧组(GOF)的原始视频序列进行压 缩的编码方法，并涉及一种相应的解码方法。本发明还涉及相应的编 码和解码设备。
背景技术
代替地，三维(3D)子带视频编码技术产生单个的具有完全可伸 缩的内嵌式比特流。它们依赖于空间-时间滤波，该空间-时间滤波 允许以任何所需的空间分辨率或帧速率重建。这样的方法例如是 Podilchuk等人发表在1995年2月的IEEE Transactions on Image Processing，第4卷第2期第125-139页的文章“Three-dimensional subband coding of video”所公开的方法，其中帧组(GOF)被作为三 维(2D+t，或3D)结构来处理并被空间-时间滤波，以便压缩低频中 的能量(进一步研究包括这个方案的运动补偿，以改善整个编码效 率)。
在图1中描述了由此方法获得的3D子带结构，图1示出了应用到 一个帧组(GOF)的具有运动补偿的3D小波分解，并且首先对当前GOF 进行运动补偿(MC)以处理具有大运动的序列，并接着利用哈尔小波 (Haarwavelet)对3D小波进行时间滤波(TF)(虚线箭头相应于高 通时间滤波，而另一个相应于低通时间滤波)。在运动补偿操作以及 时间滤波操作之后，每一个时间子带在空间上被分解为一个空间-时 间子带，这个空间-时间子带最后产生原始GOF的3D小波表示，在图 1的示例中示出了分解的三个阶段(L和H＝第一阶段；LL和LH＝第二 阶段；LLL和LLH＝第三阶段)。然后，为了有效地相对于空间-时间 分解结构对最后系数位平面进行编码，选择公知的从2D扩展至3D的 SPIHT算法。
在实施时，在编码器侧，这个3D子带结构以全原始分辨率应用运 动补偿(MC)空间-时间分析。空间可伸缩性是通过除去分解中的最 高空间子带而获得的。然而，当运动补偿被用于3D分析方案时，这个 方法不能实现较低分辨率的视频序列的完全重建，即使在非常高的比 特率的情况下也不能实现，这种现象在下文中被称为漂移(drift)，与 以目标最终显示尺寸直接编码相比，这种现象降低了可伸缩方案的视 觉质量。如在P.Y.Cheng等人发表于Proceedings of the International Conference on Image Processing(ICIP95)1995年第1卷第606至609页上 的文献“Multiscale video compression using wavelet transform and motion compensation”所述，所述漂移由小波变换和运动补偿的顺序产生，这 个顺序是不可变的。当在解码器侧允许空间可伸缩性，那么在编码器 侧执行的分解的最高空间子带被省略，这允许原始帧A的低分辨率版 本ad的重建或合成。为了进行这样的合成，应用下列操作：
a＝DWTL(L)+MC[DWTL(H)]
＝DWTL(A)+[MC[DWTL(H)]-DWTL(MC[H])] (1)
其中DWTL(在空域中进行的离散余弦变换)表示利用与3D分析相 同的小波滤波器的分辨率缩减取样。在优选的可伸缩方案中，希望具 有：
a＝DWTL(A) (2)
因而表达式(1)的剩余部分相当于漂移。可注意到，如果不应用 MC，那么漂移被消除。如果对帧应用单一的运动矢量，那么也会产生 相同的现象(除了在图像边缘)。然而，在下文中可知，为了获得良 好的编码效率，MC是不可避免的，并且单一的全体运动的可能性很小， 足以消除这个特殊情况。
一些作者例如J.W.Wood等在发表于2001年9月的IEEE Transactions on Circuits and Systems for Video Technology第1卷第 9期第1035-1044页的文章“A resolution and frame-rate scalable subband/wavelet video coder”中已经公开消除这个漂移的建议的技术 方案。然而，在这个文章中，上述的方案除了非常复杂外，还意味着 在比特流中发送额外的信息(正确地合成较高分辨率所需的漂移方 向)，导致了一些比特的浪费。在前面引用的“Multiscale video compression......”的文章中描述的方案避免了这个瓶颈，但是该方案对 预测方案有效，并且不能转用到3D子带编解码器。
于2002年1月22日申请的欧洲专利申请第02290155.7 (PHFR020002)中建议了一个避免这些缺点的方案，并且根据这个方 案，用来对被分成连续帧组(GOF)的原始视频序列进行压缩的视频编 码方法包括如下步骤：
(1)利用小波分解方法从原始视频序列中产生一个包括连续 的低分辨率GOF的低分辨率序列；
(2)通过对每一个低分辨率GOF进行运动补偿空间-时间分 析，对上述低分辨率序列执行一个低分辨率分解；
(3)通过将该小波分解产生的高频空间子带固定到所述低分 辨率分解，从所述低分辨率分解中产生一个全分辨率序列。
(4)对在所述运动补偿空间-时间分析期间产生的所述全分 辨率序列和运动矢量进行编码，以便产生一个输出的编码比特流。
在所述方法中，3DS分析中的分解树的全局结构被保存，并且不发 送用于校正漂移效应的额外信息(仅改变分解/重建的机理)，下面以 参考图2的编码方案和参考图3所示的在最低分辨率时的运动补偿时 间分析的更为详细的方式回忆所述方法。
提供两个主要步骤：(a)最低分辨率时的运动补偿步骤；(b) 高空间子带的编码步骤。首先，为了避免较低分辨率时的漂移，在此 级应用运动补偿(MC)。因此，全分辨率时的GOF(图2中的21)首 先被缩小(这个步骤由图3附图标记d表示；对应于图2中的步骤22 和23)，并接着如图3所示将通常的3D子带MC分解方案应用至这个 已缩小GOF而不是全尺寸GOF，如图2的步骤24所述。在图3中，根 据公知的提升方法(首先由A和B限定H，然后由A和H限定L)确定 时间子带(L0，d，H0，d)以及(L1，d，H1，d)，虚线箭头对应于高通时间滤 波，实线箭头对应于低通时间滤波，而曲线箭头(位于该序列的帧的 低频空间子带A(附图标记A0，d、A1，d、A2，d和A3，d)之间，或者低频时 间子带L(附图标记L0，d和L1，d)之间)对应于运动补偿(可以注意到 这个方法的一个副作用是将在比特流中发送的运动矢量的数量下降， 这为纹理编码节省了一些比特)。在将子带传输至基于树结构的熵编 码器之前(例如图2所示，传输至3D-SPIHT编码器27，诸如在B.J.Kim 等人发表于2000年12月8日的IEEE Transactions on Circuits and Systems for Video Technology第10卷第8期第1374-1387页的文章“Low bit-rate scalable video coding with 3D set partitioning in hierarchical trees(3D- SPIHT)”中所述)，一个移动(步骤25)允许全分辨率的重建的高空 间子带(图2中的26)。最后的树结构看上去非常象例如在IEEE Conference on Image Processing(ICIP2001)，vol.2，pp.1017- 1020，Thessaloniki，Greece，October 7-10，2001上的文章“A fully scalable 3D subband codec”所记载的3D子带编解码器的树结构，并因此，一个 基于树结构的熵编码器可以在没有任何限制的情况下被应用到其上。 在图2的编码方案中，附图标记如下(针对全分辨率序列21的一个帧)
FRS：全分辨率序列21
WD：小波分解22
LRS：低分辨率序列23
MC-3DSA：运动补偿3D子带分析24
LRD：低分辨率分解(251)
HS：高子带26
U-HFSS：一个帧的三个高频空间子带的联合
FR-3D-SPIHT：全分辨率3D SPIHT 27
OCB：输出的编码比特流
相应的解码方案在图4中示出，该解码方案与这个编码器对称(在 图4中，补充的附图标记如下：
FR-3D-SPIHT：解码步骤41
MC-3DSS：运动补偿3D子带分析43
HSS：高子带分离44
FRR：全分辨率序列的全分辨率重建45)。
为了使空间可伸缩，高频空间子带只需象在通常的3D子带编解码 器的方案中那样被切分，图4的解码方案示出了如何自然地获得低分 辨率序列。
接着，为了对高空间子带进行编码，提出了两个主要方案，第一 个没有MC，而第二具有MC。
在第一个方案中，高子带仅对应于小波分解中GOF的原始(全分 辨率)帧的高频空间子带。这些子带允许在解码侧以全分辨率重建。 实际上，帧可以在低分辨率时被解码。然而，这些帧与原始帧的小波 合成中的低空间子带对应。因此，人们仅必须将低分辨率帧和相应的 高子带放在一起，并提供小波合成，从而获得全分辨率的帧，并因此 优化3D-SPIHT编码器。在3D子带编码器的MC方案中，低时间子带看 是去总是象GOF的原始帧之一。这是由于：
(3)
因此，L看上去象A。因此，A的高空间子带应该与对应于L的低 分辨率分解放在一起。这种方法(在前向MC的情况中，高空间子带的 重排序)在图5中示出，其中jt表示时间分解级(全帧速是0，最低 帧速是jt-max)，nf是时间级jt的子带索引，DWTH表示高频小波滤 波器，并且系数cjt是倍增系数，而OF、LRF、TS分别表示：标记为0 -3的原始帧、标记为00-03的低分辨率帧以及已传输子带。
在第二种方案中，因为在每一个子带中使用MC而得不到没有漂移 的重建，所以部分地采用MC来构建高空间子带还是可能的，并且还可 以重建每一个分辨率。根据从全分辨率序列上执行的MC获得的预测误 差来执行小波分解，并再次利用例如低频分辨率的运动矢量，而不是 直接利用小波分解的高频空间子带。
发明内容
为此，本发明涉及一种用来对被分成连续帧组(GOF)的原始视频 序列进行压缩的视频编码方法，所述方法包括如下步骤：
(1)通过小波分解，从该原始视频序列的全分辨率帧中产生一 个组织在连续低分辨率GOF中的低分辨率帧序列；
(2)对所述的低分辨率帧序列中每一个分辨率的GOF执行一 个运动补偿空间-时间分析，产生一个低分辨率序列；
(3)对该原始视频序列的每一个全分辨率GOF执行一个运动 补偿空间-时间分析；
(4)在每一个时间分解级中，用相应的低分辨率序列的时间子 带代替所述分解的低频子带；
(5)对由此获得的变更后的序列和在每一个全分辨率GOF的 运动补偿空间-时间分析期间产生的运动矢量进行编码，以便产生一 个编码比特率输出。
本发明还涉及一种与上述的视频编码方法成对的视频解码方法， 并涉及相应的视频编码和解码设备。
附图说明
图1示出了一个3D子带分解；
图2描述了根据前一实施例的一个编码方案的实施例；
图3示出了最低分辨率时的运动补偿时间分析；
图4描述了对应于图2所示编码方案的一个解码方案实施例；
图5对高空间子带重排序进行了说明(用于前向运动补偿)；
图6对本发明编码方法的主要步骤进行了说明；
图7A和7B对相应的运动补偿时间滤波分解方案进行了说明；
图8A和8B对解码侧的、相应于图5所示编码方法的合成方案的 实施进行了说明。
具体实施方式
与上述的前一个方案主要的不同在于第二步骤：其原理是在每一 个分解级将低空间分辨率分析的时间子带插入到全分辨率分析的时间 子带中去。因此，在执行一个实际的时间滤波的同时，在解码侧重建 原始帧是可能的(而对于高频空间子带，不象前一个方案那样仅是额 外编码和预测差异)。
下列方程对这个机理进行了更详细的说明。如上所述，以低分辨 率执行第一时间分析，其可由方程式(4)和(5)表示：
(4)
(5)
其中符号：
A＝参考帧
B＝当前帧
DWT＝离散小波变换
Ad＝帧A的DWT的低频空间子带，即帧A的一个低空间分辨率型式
Bd＝帧B的DWT的低频空间子带，即帧B的一个低空间分辨率型式
H＝低空间分辨率时的高频时间子带
L＝低空间分辨率时的低频时间子带
MCdown＝在低分辨率(即次取样)帧上执行的运动补偿
MC-1＝逆运动补偿(所计算出的用于从帧A预测出帧B的运动矢量 被相反地用来从帧B中预测帧A)
方程式(6)-(9)可用来限定Ls和Hs：
H’＝B-MCfull(A) (6)
(7)
Hs＝H’ (8)
(9)
其中：
Xs＝给定帧X的DWT的三个高频空间子带的组合(其中Xs＝Hs或Ls)
MCfull＝在全分辨率帧上执行的运动补偿
L’和H’＝分别为传统3D子带方案中的低频和高频时间子带
H＝DWT-1[Hd∪Hs]
L＝DWT-1[Ld∪Ls]
一旦所有的低频和高额时间子带均已在给定的时间级jt上产生， 那么在低和全空间分辨率时，低频时间子带L被进一步分解以获得下 一个时间级jt+1。
在时间分解的每一个步骤都重复这个操作，最后产生一个时间分 解结构，其与传统3D子带编码器的时间分解结构非常类似。然后，通 过小波滤波器对最后一级的低频时间子带和所有级的高频时间子带进 行空间分解，并对其进行编码以形成比特流。
上述的本发明使前述方案在低分辨率时保持良好的性能，并在全 分辨率时更接近传统3D子带编解码器的性能(3D子带分析中分解树的 整体结构被保存并且不发送额外信息来校正漂移影响；仅改变分解/重 建机理)。主要的提高归因于产生高频空间子带的新方法，其为分解 树带来更多的相干性，并因此提高系统的编码效率。
在解码器，前述的所有方程式可以被逆转，以获得良好的重建。 仅将a^加到每一个子带中去，以便表示现在涉及的是解码并且一些信 息可能已经丢失。首先，低分辨率时的传统的3D子带分析允许从Ld 和Hd中恢复低空间分辨率子带Ad和Bd：
(10)
(11)
通过合成H和通过逆转方程式(7)还可以容易地得到As。这个过 程由方程式(12)至(15)来说明：
(12)
(13)
(14)
(15)
然后，根据 和 简单地重建 。因而可以得到Bs并最终合成B。 这可由系列方程(16)-(19)来概括：
(16)
(17)
(18)
(19)
重复这些操作，直到第一时间级，即直到GOF完全解码。可以清 楚看出，这个方案由于只要L和H在比特流中传输完毕就可以获得完 全重建，因而不产生漂移(还可以看出在每一个时间级上，全空间分 辨率合成与低分辨率的合成紧密相连，在所述的前一个方案中不存在 这种情况)。
现在，参照图6和图7对上述的编码原理进行更详细的说明，图6 示出了编码方法的主要步骤，而图7(实际上包括图7A和7B)以更详 细的方式示出了相应的运动补偿时间滤波方案。
在图6所示的编码方案中，首先，通过小波分解WD，利用原始帧 组GOF(这个当前GOF包括全分辨率帧FRF)产生低分辨率帧LRF，然 后对低分辨率帧执行运动补偿空间-时间分析MCSTA。因而获得一个低 分辨率序列。原始全分辨率帧(即每一个全分辨率GOF)还被用来执行 运动补偿空间-时间分析(相应的连续步骤MCSTA和WD对应着：一个 “MC时间分析”和一个“小波分解”)，以便产生高空间子带HSS。
在全分辨率帧上执行这两组平行的步骤之后，由此获得该分解的 低频子带，这些低频子带在每一个时间分解级被低分辨率序列LRS的 相应的空间-时间子带根据下列操作反复代替：
(a)首先，一个存储操作62，用于为最后编码步骤69存储该 分解的高频空间-时间子带；
(b)然后，一个小波合成63，其从所述分解的低频空间-时 间子带执行(一个测试61“L或H时间子带”允许分离所述低频和高 频空间-时间子带)；
(c)然后，一个关于该时间分解级的测试64，用于在所述级 是最后一个时存储(65)该分解的低频空间-时间子带，在所述级不 是最后一个时针对下个时间级(66)执行两组相反的平行步骤。
整个分解方案(在编码侧)以及相应的运动补偿合成方案(在解 码侧)的更详细描述可分别见图7和8(也包括两个图：图8A和图8B)。 本发明的这个空间-时间分解的示例涉及一个只有四帧A0-A3的GOF (为了简明)，具有前向运动补偿和两个分解级。通过利用被称为提 升方案从原始帧计算高和低频(分别是H0′、H1′与L0′、L1′)时间子带， 在I.Daubechies和W.Seldens发表于1996年的Bell Laboratories technical report(贝尔实验室技术报告)，Lucent Techologies文章 “Factoring wavelet transforms into lifting steps”中已有描述。符 号DWT和DWT-1分别表示小波分解和小波合成。图7的右侧连续地示出 了第一空间-时间分解级，对该分解的低频空间-时间子带和第二空 间-时间分解级应用反合成(在分解的低频子带被低分辨率序列的相 应的空间-时间子带代替后执行，所述代替由来自图7左侧的箭头示 出)。
在上文中已经对本发明的视频编码方法和设备进行了详细说明， 但是很明显本发明还涉及相应的视频解码方法，该解码方法包括与实 现所述视频编码方法时执行的步骤成对的连续步骤，并涉及相应的解 码设备，该解码设备包括与所述视频编码设备具有的装置成对的连续 装置。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于更新的运动矢量的运动预测 | 2020-05-11 | 875 |
| 一种基于多传感器组合的合成孔径声呐运动补偿方法 | 2020-05-13 | 1027 |
| 基于时域分析深度网络的工人作业姿势分类方法 | 2020-05-14 | 579 |
| 基于距离像复包络相位匹配处理的空间进动目标成像方法 | 2020-05-13 | 28 |
| 图像信号处理器偏置补偿噪声降低系统和方法 | 2020-05-14 | 134 |
| 运动图像编码装置及其方法、运动图像解码装置及其方法 | 2020-05-13 | 711 |
| 一种机动目标ISAR成像方法 | 2020-05-15 | 548 |
| BIO中的时间梯度计算的改善 | 2020-05-08 | 107 |
| 使用更新的运动信息的限制 | 2020-05-08 | 264 |
| 视频解码方法和设备以及视频编码方法和设备 | 2020-05-12 | 882 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
