在被称为混合标准的编码标准中，如MPEG-1、MPEG-2、MPEG-4、 h264等，与大多数2D+t子带编码方案(如MC-EZBC(运动补偿嵌入零 块上下文)等)中一样，编码序列的第一步在于：在利用图像内的空 间冗余之前，利用连续图像之间的时间冗余。
图1示出了根据现有技术的视频编码器方案。
将视频信号传输到时间分析电路1。运动估计电路2与此第一电 路相连，以便估计编码器所接收到的两幅图像之间的运动。将运动信 息传输到电路1和编码电路6，例如以运动矢量场的形式。将电路1 的输出传输到空间分析电路3，空间分析电路3从纹理中提取出图像 频率系数。随后，熵编码电路4对这些系数进行量化和编码。将编码 后的信息和运动信息传输到分组产生电路或分组器5，分组器5以视 频分组的形式发送视频数据，形成视频数据流。
在子带编码方案的情况下，在混合方案或MCTF(运动补偿时间滤 波)的情况下，时间分析电路1执行运动补偿时间预测。具有时间预 测的编码算法在于施加运动补偿，以便产生稍后用在编码处理中的预 测图像。这些算法基于相同的原理。从被称作参考图像的一幅或多幅 在先的已编码图像开始，预测要编码的图像。这是具有预测(P)图像 和双向或双预测(B)图像的视频MPEG标准中的情况。预测在于利用 这些参考图像和与当前图像相关联的运动矢量进行运动补偿。随后进 行编码的是预测的残余部分，换句话说，当前图像与时间预测图像之 间的差别。通常按照像素块来描述运动，并按照像素块来实现运动补 偿。
例如，空间分析电路3执行小波分解或离散余弦变换。电路4的 熵编码可以是VLC(可变长度编码)型的编码或算术类型的编码。
分组化电路(packetization circuit)的功能是将分别来自熵 编码电路和运动场编码电路的纹理和运动信息按照其空间和时间频率 及其重要性(例如，其在比特平面编码方案中的权重)分割为相关子 集合。因此，所获得的二进制流可以独立地在分辨率、帧频率和保真 度方面进行缩放。
估计运动场对应于源的分辨率。因此，必须在全分辨率图像上执 行通过滤波或预测来进行的编码器的运动补偿步骤及解码器中的逆步 骤，以便保持一致。
目前，在视频数据传输中通常采用空间可缩放性，以多种分辨率 等级传输和重构图像的可能性，例如SD(标准清晰度)、CIF或QCIF 格式的图像。进行空间-时间分析的传统编码方案(如前述利用小波分 解或离散余弦变换的编码方案)适合于这种可缩放性，换句话说，适 合于图像的多种分辨率，因此优化了数据压缩。遵循上述体系结构的 视频编码器对于纹理而言可以是空间可缩放的，但对于运动则不是。 而且，运动信息是不可忽略的。例如，当对低速率15Hz CIF序列进行 编码时，其表示整个二进制流的大约30％。因此，通常的体系结构遇 到了过于清晰的运动信息，其实质上影响了低分辨率时的压缩性能。
存在用于保留纹理和运动的可缩放性的解决方案。最简单的手段 是以允许解码的最低空间分辨率估计运动。因此，初始进行空间分解。 于是，保持对存在于连续空间高频之间的时间冗余的利用。为此，已 经提出了几种解决方案，其重新引入了传统的时间去相关工具：预测 或运动补偿滤波。现在，由于产生了已知为空间变换的‘移位变异’ 的现象的相位问题，这些传统的技术在变换域中不如像素域中那样有 效。事实上，离散小波变换(DWT)和离散余弦变换(DCT)都会使与 相同像素图案对应的连续图像系数根据运动的方向和幅度、空间滤波 器的方向和长度而在符号和绝对值上迥然不同。空间变换所固有的移 位变异需要新的运动估计解决方案，由于其使得时间高频不适合于通 过预测或滤波进行编码。

本发明的目的是克服上述缺陷。本发明的一个主题是一种对图像 序列中的图像进行编码的方法，包括以下步骤：对当前图像进行空间 分析，以便产生低空间频率的信号和高空间频率的信号，并执行对与 当前图像相对应的当前时间和与参考图像相对应的参考时间之间的运 动的估计，以便提供运动矢量，其特征在于其通过考虑基于运动估计 的时间上下文，对与当前图像有关的高空间频率的信号中的至少一个 进行熵编码，用于计算时间上下文的参数之一是与运动矢量的分量有 关的奇偶性(parity)。
根据一个特定的实施例，用于计算时间上下文的参数之一是与运 动矢量的分量有关的分数部分。
根据一个特定的实施例，对于高空间频率的信号，所考虑的分量 是高通空间滤波器方向上的分量。
根据一个特定的实施例，熵编码是算术比特平面(bit plane) 编码，以及时间上下文对应于时间参考图像中相同等级的比特平面。
根据一个特定的实施例，算术编码是N元编码，以及时间上下文 对应于时间参考图像中相同等级的N比特平面。
本发明的另一主题是一种对根据上述编码方法进行了编码的、图 像序列中的图像进行解码的方法，其特征在于其通过考虑基于运动估 计的时间上下文，执行与高空间频率信号中的至少一个有关熵解码， 用于计算时间上下文的参数之一是与运动矢量的分量有关的奇偶性。
根据一个特定的实施例，所述解码方法的特征在于用于计算时间 上下文的参数是与运动矢量的分量有关的分数部分。
本发明的另一主题是一种实现了前述编码方法的视频编码器，包 括：空间分析电路，接收视频信号，并产生与最低分辨率相对应的最 低空间频率的信号以及针对一个或多个较高分辨率的高空间频率的信 号；运动估计电路，用于计算运动矢量，所述视频编码器的特征在于 包括：电路，考虑基于运动估计的时间上下文，对高空间频率的信号 中的至少一个进行熵编码，用于计算时间上下文的参数之一是与运动 矢量的分量有关的奇偶性。
本发明的另一主题是一种针对根据上述编码方法进行了编码的、 图像序列中的图像的视频解码器，其特征在于包括：熵解码电路，实 现了根据运动估计计算时间上下文的算法，用于计算时间上下文的参 数之一是与运动矢量的分量有关的奇偶性。
所述方法允许更好地利用连续图像的空间变换的时间冗余，尤其 是较高频率，而同时保持了运动和纹理的空间可缩放性。由于运动的 多分辨率描述，改进了针对空间可缩放性的每个分辨率的、比率质量 方面的压缩性能。
由于未经滤波或预测地使用时间冗余，也改进了解码视频的视觉 和客观质量，因为滤波和预测是人工噪声的来源，例如按块进行运动 估计时的分块效应。
附图说明
通过以下作为非限制性示例并参照附图而给出的描述，本发明的 其他特定特征和优点将变得更加显而易见，其中：
图1示出了根据现有技术的编码方案；
图2示出了根据本发明的编码电路的简化方框图；
图3示出了当前图像的像素(x，y)的时间邻域；
图4示出了像素(x，y)的时间和空间邻域；
图5示出了像素(x，y)的两个时间邻域；
图6示出了像素(m，n)的空间和时间邻域；
图7示出了运动矢量的分量的奇偶性和分数部分；
图8示出了根据本发明的编码电路的方框图。

图2示出了实现了根据本发明的编码方法的编码电路。这种情况 下，选择小波分解，但并非限制性的。
将视频源传输到2D空间分析电路，以参考数字7表示，是小波 分解电路。其执行空间分解，以便提供多种空间分辨率的子带系数。 产生了最低分辨率系数的第一输出与时间分析电路8相连。与较高分 辨率的子带系数相对应的其他输出与采用了运动补偿空间-时间上下 文的算术编码电路或MC-STAC(运动补偿空间-时间算术编码)电路的 输入相连。时间分析电路8与基于上下文的算术编码或CAE电路9相 连。MC-STAC电路的输出对应于多种分辨率。
从视频图像开始，2D空间小波分解电路产生小波系数图像或子图 像，每一个对应于给定的空间频带，直到达到解码所能接受的最低分 辨率为止。在空间域内，将图像分解为基带或低频带(LL)和高频带 (LH、HL、HH)。
时间分析电路8只处理与基带相对应的图像。因此，将来自时间 分析电路7的最低空间分辨率信号(LL)传输到时间分析电路8。此 电路执行运动估计，然后执行运动补偿时间滤波，也称作MCTF。时间 分析在于根据输入频率的接收图像，产生中间图像，以便获得时间可 缩放性。例如，这种分析器电路是MC-提升型的，稍后将进行解释。 例如，时间滤波在于从根据运动补偿在先图像预测出的图像中减去当 前图像。
除了与基带相对应的图像以外的其他图像由运动补偿空间-时间 上下文算术编码或MCSTAC电路10进行处理。事实上，最高达原始分 辨率的连续分辨率的重构所需的这些子带并不适合于传统滤波或时间 预测技术，因而立即对其进行算术编码。为了使用残余的时间冗余， 其链接连续的空间高频，此自适应上下文算术编码步骤涉及对运动信 息的使用，如此后所解释的那样。
小波系数到空间高频的分配如下：以轮廓分隔零或低幅度系数的 大面积连通区域，所述大面积连通区域对应于图像的均匀区域，所述 轮廓通常为连续曲线，所述系数的幅度沿着所述轮廓快速地变化，其 符号也是如此。
因此，在现有方案中广泛使用的空间上下文数据允许对系数的幅 度和符号进行编码，以便大概地进行再现，因此降低了子带的熵，并 提高了压缩比。例如，在G.Langdon和J.Rissanen发表于IEEE Transactions on Communications，第29卷，第6号，第858～867 页，1981年6月的题为“Compression of black-white images with arithmetic coding”的文章中，描述了基于空间上下文的上下文算术 编码的运算算法。因为代替了整个信号的全局性的、概率表的估计和 使用依赖于上下文，换句话说，根据邻域的可能配置的分类，局部适 配，所以此算术算法是与上下文有关的。此类编码很好地适用于对空 间DCT或DWT的高频系数进行编码，因为其利用了残余局部空间相关。 通常，通过组合紧邻邻域的可能值，确定多种上下文。算术编码是自 适应的，因为在编码处理期间，从初始值开始，通过学习过程，执行 对统计数据的估计。
根据已知方法，上下文时间维度的实现不是非常有效的处理。除 了比严格空间上下文具有更高的信息丰度，由于上述移位变异现象， 运动矢量所指向的系数数据可能会误导统计数据学习阶段。根据空间 变异的动态，像素图案及其变换的空间滤波器、小波或DCT系数的位 移和长度在原理上将具有不同的幅度和不同的符号。如果按照偶数个 总像素进行移位，则变换将是“同相”的；如果按照奇数个总像素进 行移位，则变换将是“反相”的等。无论估计运动的子像素精度如何， 都将遵循这种推论。正是提出将这种区别信息按照创新的方式附加到 空间-时间上下文中，以便使连续高频的统计数据的评估最好地向其条 件分频会聚。
所提出的方法在于利用上下文熵编码，其中所述上下文包括时间 上下文。
熵编码和算术编码允许将低于一比特的平均代码长度用于高可 能值。熵编码的关键点是确定描述了要编码的信号的统计数据的特征 的概率表。
首先，将简要地回顾自适应概率表的构成，例如，考虑空间上下 文。将考虑比特平面编码的情况。在这种情况下，编码中所考虑的数 值和上下文是二进制值：0或1。
考虑围绕当前像素且刚刚处理过的像素的数值，例如，考虑三个 最接近的邻近像素。因此，可得到23＝8个不同的上下文的列表。每个 上下文与概率表相关联。这些概率表是自适应的，换句话说在编码的 过程中，根据已处理的系数的值进行更新。编码算法通过按照预定的 次序遍历图像的系数进行操作。在处理的每一级，上下文以到当前时 刻出现的次数以及这些出现中所遇到数值1(或0)的次数为特征。因 此，在与给定元素的比特平面有关的当前比特的编码期间，如果此元 素的上下文是Cj，递增与Cj有关的出现次数，而且如果该比特的数 值是1，则递增遇到数值1的次数。按照如下方式计算在上下文Cj中 获得‘零’或‘壹’的概率：获得零的概率(p0)等于给定上下文遇 到零的次数除以此上下文出现的总数。因此，已知上下文Cj中当前比 特x的概率px，对上下文Cj中的这个比特进行编码。
这里，提出了通过利用信号的多种统计数据和作为空间-时间上 下文的函数的概率表，进行熵编码。
在先图像以Iprec来表示，要编码的当前图像以Icur来表示。这些 图像不必是亮度图像；其可以是小波系数图像、运动场图像等。
在图3中，分别以参考数字12和11来表示这些图像，其代表当 前图像的像素(x，y)的时间邻域。在此当前图像的每个像素(x，y)处， 作为其时间邻域的函数，对要处理的数据值进行编码。此时间邻域对 应于来自前一图像的数据值，位移像素(pdx，pdy)的邻域局部以参考数 字14表示，换句话说，图3中以参考数字13表示的像素(x，y)的运动 矢量所指向的局部。
时间上下文，以C(pdx，pdy)表示，是时间邻域的数据的函数。为 了简化标注，在以下的描述中，将C(pdx，pdy)表示为C。根据时间上 下文中所考虑的系数数k，可以得到2k个上下文的列表。对于每个上 下文，按照与时间上下文的情况下所描述的相同方式，按照自适应的 方式定义概率表。
当然可以针对不同的比特平面，使用不同的运动场，例如，针对 第一比特平面，采用粗糙的运动描述，而对于第二比特平面，采用更 为精细的版本等。
时间上下文的使用可以与空间上下文的使用进行组合。如果形成 空间上下文的系数的数表示为j，以及k是形成时间上下文的系数数， 则可得到2j+k个上下文的列表。
图4示出了利用与坐标为(x，y)的像素(x，y)相关联的运动矢量13 所定义的时间邻域14，且与此像素(x，y)周围的空间邻域15进行组合。
根据相同的原理，可以设想使用多于一个时间上下文，按照与使 用多幅参考图像的预测类似的方式，如用在具有双向图像的MPEG标准 中那样。图5示出了当前图像周围的在先图像和在后图像。前向运动 矢量(与MPEG标准中一样)13允许定义与在先图像Iprec相关的时间 邻域14，而后向运动矢量16允许定义与在后图像Ifuture相关的时间邻 域17。
本发明最重要的方面之一是为了定义空间-时间上下文而采用的 参数类型。上述‘移位变异’现象倾向于使上下文算术编解码器‘失 去方向’。为了使概率表的自适应不受到这种现象的影响，将作为‘移 位变异’的决定因素的参数包括在上下文数据值中。
因此，要考虑的参数是以下参数的全部或一部分：
-给定数量系数的空间邻域；
-所考虑的空间子带的另一已编码时间样本的系数的运动补偿时 间邻域；
-位移在所考虑的空间子带的高通滤波方向上的至少一个分量的 奇偶性；
-位移在所考虑的空间子带的高通滤波方向上的至少一个分量的 分数部分。
位移整数部分的奇偶性允许其时间和空间邻域同相和反相的情 况，位移的分数部分允许得出与位移所产生的‘相位-移位’有关的信 息。最后，对于这些参数，有利的是只考虑高通滤波方向上的分量， 因为其是区分分量。其是水平细节子带(LH)的垂直分量和垂直细节 子带(HL)的水平分量。对角线细节子带(HH)是具有两个滤波方向 (分为朝向+45°和-45°)的特殊情况。对于此频带，可以同时考虑两 个分量，其增加了上下文的数量，或者为了限制此数量，可以使用两 个分量的参数的函数。因此，可以考虑如位移的幅度，或者更简单地， 两个分量的和，或者只保留具有最高幅度的分量。对于位移幅度，奇 偶性与两个相邻像素之间的对角线距离有关。
图6示出了在限制每个上下文的邻近系数的个数和1/4像素的合 理运动精度的情况下的空间-时间邻域的示例。以灰色示出的、位于当 前图像的行m和列n的当前系数(m，n)的空间邻域18对应于三个先前 处理过的邻近系数Lcur、Ucur和Dcur。时间邻域20对应于由指向参考图 像的运动矢量19指定的四个系数Xref、Bref、Rref和Dref。系数Xref位于 行m+k和列n+1。
图7示出了与位移矢量的分量有关的参数。正交坐标系统21上 的轴刻度对应于两个像素之间的距离的四分之一。奇偶性与运动矢量 的分量有关。在运动矢量末端周围的过采样网格允许确定对应的分数 部分，Fractdx＝d1以及Fractdy＝dk，在图6所示示例的水平方向上为 分数四分之二，以及垂直方向上为分数四分之一。
dx＝1+d1是矢量的水平分量，dy＝k+dk是矢量的垂直分量。
水平和垂直分量的奇偶性分别为Parx＝1 mod 2和Pary＝k mod 2。根据是否存在奇偶性或非奇偶性，系数同相或反相。
在比特平面内，对小波系数进行编码。对于每个比特平面，确定 系数L、U和D的重要性以及系数X、B、R和D的重要性。这通过测量 系数值是否大于与要处理的平面有关的比特的权重相对应的数值来实 现。还记录分数和奇偶性信息。因此，通常可以由以下的二进制数据 流来索引上下文：
  Lcur Ucur Dcur Fracdx Fracdy Parx Pary Xref Bref Rref Dref
将每个分数部分编码为2比特(像素的0到3/4)。
在多于一个矢量与系数或像素相关联的情况下，例如，当采用几 个参考图像时，当然可以考虑几个矢量的奇偶性和分数参数。
按照传统方式，对传输到时间分析电路8的输入的低频频带进行 此电路的运动估计。
可以根据多种方案来执行ME-MCSTAC电路10所实现的运动估计 方法(ME)，例如：
-在连续的低频频带上的运动估计；
-直接在高频频带上的运动估计。
第一种情况的实现最为简单。在空间分解的每个步骤中，在将低 频再次分为四个子频带之前，在低频上估计运动场。由于源可以与像 素域相关，可以通过最小化预测误差，按照传统方式执行此估计。
于是，运动在分辨率上连贯，因为其具有要以MC-STAC编码的三 个高频频带的维度，并事实上包含所需分辨率的位移信息。
因此，使用以如CIF分辨率估计的运动，以MC-STAC对水平、垂 直和对角线细节三个频带进行编码，用于从CIF变为SD分辨率。按照 类似的方式，以QCIF分辨率估计的运动，除了用作对针对QCIF分辨 率的序列的传统MCTF的支持以外，允许以MC-STAC对用于从QCIF变 为CIF分辨率的水平、垂直和对角线细节三个频带进行编码。如下所 示，图9描述了采用这种解决方案的编码器。
可能还需要更加专用于MC-STAC应用的运动场。于是，需要估计 要进行编码的每个高频频带上的运动；这是第二种情况。由于高频包 含比低频少的信息，认为高频上所估计出的场不比低频上所估计出的 场重要是合理的。然而，因为上述移位-变异现象，用于估计的判据不 再由简单DFD最小化构成。所选择的判据是隐含与MCSTAC相关联的条 件熵的最小化。这种判据对应于矢量的回溯选择，并且在资源和复杂 性上，可能代价非常大。但是，这当然是最优判据。另一判据是绝对 值的差的最小化。这是允许克服移位-变异的一阶妨碍的非常简单的判 据。
也可以在比特平面中实现运动估计。
在一个示例中，时间分析电路8依赖于被称为运动补偿提升或 MC-Lift的已知技术，以便获得具有所需时间分辨率的图像。MC-Lift 在于针对一组图像，构建多种时间分辨率级别。对于每个时间分辨率， 除了第一个，通过从较低时间分辨率的图像开始的时间预测来构造图 像。
图8按照更为详细的方式描述了实现根据本发明的方法的设备。
编码器的视频输入与在其输出产生低频带LL和高频带LH、HL和 HH的2D小波变换(2dWT)电路22相连。低频带LL与2D小波变换电 路23和运动估计ME电路24相连。高频带LH、HL和HH与MC-STAC 电路25相连。第二2D小波变换电路23在一个输出产生低频带LLLL， 而在另一输出产生高频带LLLH、LLHL和LLHH。低频带LLLL与MCTF 电路26和运动估计ME电路27相连。高频带与第二MC-STAC电路28 相连。
将来自ME电路24的运动信息传输到MC-STAC电路25，以及将来 自ME电路27的运动信息传输到MC-STAC电路28。
MC-STAC电路25和28的输出产生SD和CIF分辨率的纹理。ME 电路24和27的输出分别与用于编码运动场的电路29和30相连，将 SD运动信息提供给电路29，将QCIF和CIF运动信息提供给电路30。 MCTF电路26的输出与基于上下文的算术编码CAE电路31相连，算术 编码CAE电路31执行熵编码，从而在其输出产生QCIF分辨率的已编 码纹理。
因此，电路22和电路23对视频输入信号进行金字塔小波分解。 在低频频带上执行上述运动估计。运动补偿空间-时间上下文算术编码 MC-STAC电路利用在给定空间分辨率的低频频带上计算出的运动估 计，对与此低频带相对应的分辨率的高频带进行编码。
由进行运动补偿时间滤波的MCTF电路26按照传统的方式处理基 带LLLL。
实现了本发明的解码方法和电路对应于前述编码方法和电路。
因此，解码方法依赖于根据所述编码方法进行编码的数据流的信 息，计算上下文。针对编码中所选择的多种参数，在当前系数的处理 期间已经解码的这些信息允许计算和连续更新上下文的列表，以便计 算此系数。
熵解码电路实现了根据前述方法计算概率表和上下文的算法。
所描述的编码是比特平面编码，因此是二进制编码。也可以设想 采用N元编码(N-ary coding)，换句话说，执行N个比特平面的同时 编码。因此，除了二进制值(比特平面的二进制值)以外，所采用的 上下文考虑包括N个比特的N元数值。由此得到的不同上下文的列表 更长，增加了计算的次数，但改进了编码效率。
本说明书涉及‘完全可缩放’方案，换句话说，可同时在空间、 时间和保真度上进行缩放的方案，允许任何解码器利用编码流。其他 类型的方案，如不具有时间可缩放性，仍然在本发明的范围内。
只描述了在空间高频上利用时间上下文的熵编码，因为空间低频 适用于从预测图像开始的时间滤波。当然可以设想在信号的全部空间 频率上应用这种熵编码，而不会偏离本发明的范围。
类似地，可以在基带或源图像上进行运动估计。
在分量的整数部分上计算奇偶性。也可以在最接近的整数值上计 算奇偶性。
所描述的熵编码是算术编码。根据本发明的方法也可以应用于利 用信号的统计属性的其他类型的熵编码，如VLC型的编码。
本发明的应用涉及具有时间预测的视频压缩。