因为传输信道上的带宽是有限的，所以仅有一有限数目的比特可以 用于编码音频和视频信息。视频编码技术是试图使用尽可能少的比特来 对视频信息进行编码，而仍然保持一个给定应用所需要的图象质量。这 样，视频压缩技术通过去除冗余信息和用最少数目的比特来表示余项的 信息，来减少传输一个视频信号所需要的带宽。从这个最少数目的比特， 可以重构一个类似源图象的图象，并且使重要的特征损失最少。使用这 个方法，可以使用比源图象数据更有效的方法来保存或者传输压缩数 据。
有一些视频编码技术能够通过去除视频信号中的统计冗余性来增 加编码的效率。许多标准图象压缩技术是基于输入图象的块变换技术， 例如离散余弦变换(DCT)。例如，众所周知的、由运动图象专家组开 发的MPEG视频编码技术通过利用空间域中点的相关性(通过使用 DCT)，和时间域中图象帧之间的相关性(通过使用预测和运动补偿)， 大大地减少了比特率。
在基于众所周知的正交和双正交(子带)变换的编码系统(包括重 叠(lapped)正交变换)中，一个图象被变换，而不需要首先对这个图象 进行分块。基于DCT的变换编码器基于两个原因对图象进行分块：1) 经验已经表明在8×8的图象区域上，或者一系列8×8的差分图象上， DCT是对已知的最优变换(Kahunen-Luove′变换)的一个很好的近似； 和2)DCT的处理增长为O(NlogN)，并且通过对图象分块，就可以限 制计算量。
其结果是除非有其它的改善，基于DCT的方法具有被一个图象的 一个8×8区域(或者图象外的零)很好地支持的基本功能。所考虑的 正交和双正交变换具有在一个有限间隔的图象中被主要支持，但是与相 邻的空间区域共享范围的基本成员。例如，子带图象编码技术使用一组 滤波器将一个输入图象分成多个空间频带，然后对每一个频带或者信道 进行量化。关于子带图象编码技术的详细讨论见“使用动态比特分配和 几何矢量量化的子带视频编码”，C.Podilchuck & A.Jacquin，SPIE卷 1666，Human Vision，Visual Processing，and Digital Display III的第241 -52页(1992年2月)。在子带编码过程中的每一个阶段，信号被分成 图象的一个低通近似，和表示在产生近似过程中所丢失的细节的一个高 通项。
另外，对具有跨越整个8×8块的支持的基本成员来说，基于DCT 的变换编码器对变换来说是不变量。这使得不能够在变换域中进行有效 的运动补偿。所以，大多数所使用的运动补偿技术使用了时间上相邻的 图象帧来形成一个误差项，然后使用8×8块来对这个误差项变换编码。 结果，这些技术需要执行从频率域到时间域的一个逆变换来提供一个参 考图象。这种系统的示例在Suzuki等等申请的美国专利号No.5,481,553 和Murakami等等申请的美国专利号No.5,025,482中可以找到。
图1显示了使用DCT的、现在的标准视频压缩方法的一个简化框 图。在模块10中，通过使用运动检测技术，例如在处于预测模式中的 MPEG中使用的一个技术，可以有效地表示图象的变化。特别地，前 一帧被用作一个参考帧，并且在前面预测中，一个随后的帧被与前一帧 来相比来消除时间上的冗余性(termporal redundancy)并且根据程度 来对它们之间的差异进行排序。这个步骤构成了对随后帧进行运动预测 的步骤，并且也减少了随后帧的数据量。在块12中，进行判断来确定 图象的哪一部分移动了。继续使用MPEG的示例，使用在模块10中所 提供的数据集合，通过将运动补偿技术应用到参考帧和随后的帧上，来 执行帧间运动预测。随后的帧减去所产生的预测来产生一个预测误差/ 帧。其后，在模块14中，这些变化被转换为特征。在MPEG中，通过 使用一个2维的8×8DCT来压缩预测误差。
基于DCT或者子带的大多数视频压缩技术集中在高精度技术，来 对视频信息进行编码而不会在变换级中丢失准确性。但是，这种高精度 编码技术依赖于昂贵的微处理器，例如Intel公司的PENTIUM处理器， 它具有专用的硬件来帮助进行浮点运算操作并且由此减少维持一个高 程度精度而带来的代价。
但是，对许多应用来说，这种相对昂贵的硬件是不实际的或者是不 正确的。这样，就需要一价格便宜的实施方式并且也能够将图象质量水 平维持在可接受程度。但是，可以在价格较低的硬件上实现的、已知的 精度有限的变换的准确性降低，其原因是编码过程中本身会产生的“丢 失”。如这里所使用的，一个“丢失”系统指通过各级编码器丢失了精 度并且由此缺乏在解码时从变换系数完全重构输入的能力的一个系统。 不能够对这些低精度转换所出现的、降低的准确性进行补偿的能力对这 种转换的使用是一个障碍。
从前面所讨论的角度来说，需要一个视频编码器在变换域内进行运 动补偿，由此不需要在编码器中进行一个逆变换，并且对软件和硬件器 件的控制结构也很简单。同时，在该领域中也需要一个视频编码器， 这个视频编码器应具有一类能够适合低精度实现方式的变换，包括能够 降低硬件价格和提高软件速度的一个控制结构。

本发明的目的是提供用于压缩数据的一个新的、独特的装置及其方 法。更特别地，本发明的装置及其方法可以被调节和构造成更有效地对 表示例如一个视频图象的数据进行编码，由此减少必须被传送到一个解 码器的数据数量。
本发明涉及用于压缩包括一第一数据集合和一第二数据集合的数 据的一个方法。这个方法包括将第一和第二数据集合变换成相应的第一 和第二变换系数集合。其后，产生表示第一和第二变换系数集合之间差 异的数据。然后，对被产生的数据进行编码以传送到解码器。
可以使用一个张量乘积小波变换来对第一和第二数据集合进行变 换。进一步，在变换过程中所产生的余项可以被从一个子带发送到另一 个子带。
通过估计第一和第二变换系数集合之间的差异来产生表示第一和 第二变换系数集合之间差异的数据，以提供运动矢量。这个运动矢量被 应用到第一变换系数集合来产生对第二变换系数集合的一个预测。从第 二个变换系数集合中减去这个预测来产生一组预测误差。第一和第二变 换系数集合可以被进行误差纠正来确保编码器和解码器之间的同步。
在估计第一和第二变换系数集合之间的差异的过程中，从第一和第 二变换系数集合中的一个变换系数集合产生关于变换系数子集合的一 个搜寻域。其后，从第一和第二变换系数集合中的另一个来的相关变换 系数子集合被应用到这个搜寻域。然后，通过逐步增加，这个相关的变 换系数子集合遍历搜寻域以找到表示一个最佳增加匹配的一个位置。然 后，这个相关的子集合进行小量的移动来遍历这个搜寻域，以找到表示 一个最佳小量匹配的一个位置。
另一个用于压缩包括一第一数据集合和一第二数据集合的数据的 方法的实施方式包括将第一和第二数据集合变换为相应的第一和第二 子带的集合。然后，产生表示第一和第二子带集合之间差异的数据。例 如，可以通过执行一个运动补偿技术来产生这个数据。这个运动补偿技 术可以提供输出，例如运动矢量和预测误差。其后，所产生的数据被进 行编码以传送到解码器。
在一个实施方式中，第二子带宏块集合也可以被组成起来以形成一 个子带宏块组。其后，所产生的数据可以通过如下的一个运动补偿技术 被获得。估计在第一子带集合和子带宏块组之间的差异来提供运动矢 量。将运动矢量应用到第一子带集合来产生对第二子带集合的一个预 测。然后，从第二子带集合中减去这个预测来产生一组预测误差。
可以按照如下的方法来估计在第一子带集合和子带宏块组之间的 差异。从第一子带集合中产生关于变换系数的一个子集合的一个搜寻 域。从子带宏块组中所获得的一个相关的变换系数子集被应用到搜寻 域。然后，通过逐步增加，这个相关的变换系数子集合遍历搜寻域以找 到表示一个最佳增加匹配的一个位置。然后，这个相关的变换系数子集 合进行小量的移动来遍历这个搜寻域，以找到表示一个最佳小量匹配的 一个位置。
同时，也公开了一个子带宏块封装方法来对从一个图象的一个变换 所获得的子带集合进行子带块进行组织管理。这个方法包括从与图象中 一个图象宏块相应的子带集合中分离一组相关的子带块。这个相关的块 集合被封装在一块以作为一个子带宏块。这个分离和封装相关子带块的 步骤被对子带集合中每一个相关子带块集合进行重复，来形成一个子带 宏块组。
通过将子带宏块内的相关子带块安排在与子带块在子带集合中的 位置相同的相对位置，可以进一步改善宏块封装的方法。这个方法也包 括将子带宏块组内的子带宏块放置在与相应的图象宏块在图象宏块组 中的位置相同的空间位置。
在宏块封装后，可以检测出第一子带宏块组(参考)和一随后的第 二子带宏块组之间的改变。检测是基于估计一通用形式方程的一个畸变 评价的：
$e_c=\underset{i}{\Sigma }{W}_i\left|\right|G-R{\left|\right|}_x^{\mathrm{px}};$
其中，ec＝相对R的畸变的测量；
      Wi＝应用的权重；
G＝第二子带宏块组的变换系数；和
R＝参考(例如，第一子带宏块组)。
一个更详细地评价畸变的方程形式是：
$e_c=W_0\left|\right|G-R{\left|\right|}_2^2+W_1{\left|\right|G-R\left|\right|}_{\infty }^2$
本发明的另一个实施方式是用于将一个数据集合变换为变换系数 的一个有限精度方法，其中使用一个张量乘积小波对来进行变换，并且 其发出的剩余被传送到相反的滤波器路径。更特别地，这个实施方式可 以包括决定一个图象的一个低通分量和一个高通分量。低通分量被归一 化，以产生一个低通归一化的输出和一第一余项rl。类似地，高通分量 被归一化，以产生一个高通归一化的输出和一第二余项rh。对第一和第 二余项rl，rh执行一第一操作g(rl，rh)，并且这个第一操作被添加到从 这个近似所产生的结果中。另外，对第一和第二余项rl，rh执行一第二 操作f(rl，rh)，并且这个第二操作被添加到从这个细节所产生的结果中。 值得注意的是，可以在任何形式的变换中使用余项的传播(误差传播)， 而不仅仅是在张量乘积中。
上述有限精度的方法产生了一个图象的过分完成的表示。这个方法 也可以包括对高通和低通分量进行降采样，例如降低到采样速率的1/2， 来获得变换域中表示图象的必要的和充分的变换系数。
一个精度有限的方法的实施方式包括具有值为-1，2，6，2，-1 的一个低通滤波器和具有值为-1，2，-1的一个高通滤波器。这个第 一操作g(rl，rh)和第二操作f(rl，rh)具有功能：
g(rl，rh)＝rh；和
f(rl，rh)＝floor(rh+1/2)，其中rh＝1/2。
函数floor(x)被定义为最大值不超过括号中的值x。
一个特定的、包括上述的一个张量乘积小波变换的示例具有如下的 形式：
$D_i=X_{2i}-\left[\frac{X_{2i-1}+X_{2i+1}}{2}\right];$   和
$A_i=X_{2i+1}+\left[\frac{D_i+D_{i+1}+2}{4}\right];$
其中：X2i＝输入数据；
X2i-1＝在输入数据X2i前的数据；
X2i+1＝在输入数据X2i后的数据；
Di＝细节项(分抽样的高通滤波器输出)；
Di+1＝在细节项Di后的细节项；和
Ai＝近似项(分抽样的低通滤波器输出)。
另外，还公开了用于预测变换域中一系列帧之间的变化的一个编码 器装置。这个装置包括一个变换装置，这个变换装置具有一个被构造成 接收一系列帧中第一和第二帧，并且进一步被构造成从其产生每一个支 持一个变换系数集合的一个相应的第一和第二子带集合的一个输入。具 有连接到这个变换装置的一个输入的一个运动补偿装置，被构造成接收 第一和第二子带集合，并且进一步被构造成有效地表示第一和第二子带 集合之间的差异。另外还包括了一个差分模块，这个差分模块具有连接 到这个变换装置的一个输入和连接到运动补偿装置的输出的一个输入。 在差分模块中将第二子带集合减去从运动补偿装置所接收的输入，由此 产生一个预测误差。
这个运动补偿装置包括被构造成对第一和第二子带集合进行比较 的一个运动估计装置。从其产生近似地表示第一和第二子带集合之间差 异的一个运动矢量集合。这个运动补偿装置也包括一个运动预测装置， 这个运动预测装置具有连接到运动估计装置的一个输入，并且进一步被 构造成从其产生表示第二子带集合的预测的一个预测组。在一个差分模 块中将第二子带集合减去第二子带集合的预测，以产生预测误差。
也公开了用于将一个图象帧转换成变换域的一个精度有限的变换 装置。这个装置包括结构是并行的、并且共享被构造成接收图象帧的一 个输入的一个低通分量和一个高通分量。包括了一个低通归一化装置， 这个装置具有被构造成接收低通分量的输出的、并且被进一步构造成产 生一个低通归一化输出和一第一余项(rl)的一个输入。一个高通归一 化装置具有被构造成接收一个高通分量输出的、并且被进一步构造成产 生一个高通归一化输出的和一第二余项(rh)的一个输入。一第一操作 装置具有被构造成接收第一余项(rl)和第二余项(rh)的、并且进一 步被构造成计算一第一计算(g(rl，rh))由此产生一第一计算结果的一 个输入。一第二操作装置具有被构造成接收第一余项(rl)和第二余项 (rh)的、并且进一步被构造成计算一第二计算(f(rl，rh))由此产生一 第二计算结果的一个输入。另外，一第一加法器具有被构造成接收低通 归一化输出和第一计算结果的一个输入，这个第一加法器产生一子带近 似。类似地，一第二加法器具有被构造成接收高通归一化输出和第二计 算结果的一个输入，这个第二加法器产生一子带的细节。
这个精度有限的变换装置进一步在低通输出包括一第一降采样器 和在高通输出包括一第二降采样。一个2(2)的降采样率就能够提供充 分和必要的变换系数来在解码器中重构输入图象。
从下面联系附图所描述的细节，可以更容易理解这里所公开的装置 及其方法的这些和其它独特的特征。

下面将参考附图来描述本发明的代表性的实施方式：
图1是使用离散余弦变换(DCT)的、现有技术的视频压缩方法的 一个原理性框图，其中在图象域中执行运动补偿；
图2是显示本发明的一个实施方式的一般结构的一个原理性框图， 其中在变换域中执行运动补偿；
图3是图2所显示的实施方式的一个更详细结构的一个原理性框 图；
图4(a)显示了具有图象宏块(IMBX，X)0，0到8，10的一个QCIF 图象，图4(b)显示了在使用一个前向小波变换对图象帧进行变换后， 表示QCIF图象的一个子带；
图5(a)显示了表示图4(b)所显示的QCIF图象的子带，图5 (b)显示了从图5(a)所显示的子带表示产生的子带宏块(SMBX，X) 集合，图5(c)显示了图5(b)子带宏块的组织以使子带宏块(SMBX，X )在空间上与图4(a)中它们相关的图象宏块(IMBX，X)相应。
图6(a)和6(b)是显示用于对一个输入图象进行变换和分采样 的滤波器组的，和从每一个滤波器组所产生的、与它们相应的垂直和水 平子带。
图7显示了用于将滤波器组中的精度有限的算法从高带区域转移到 低带区域，和相反地，从低带区域转移到高带区域的一个结构；
图8显示了图象域中与图象宏块2，4(IMB2，4)相应的每一个子带 (SBij)、在变换域中的搜寻区域，其中搜寻带是P×P点，并且当输入 图象尺寸在QCIF中时进一步细化了SB00的搜寻区域；
图9(a)到9(d)显示了在变换域中估计运动的一个方法；
图10显示了在变换域中预测运动的一个方法；
图11是显示图2所显示的实施方式的另一个详细结构的原理性框 图；
图12是显示本发明另一个详细实施方式的原理性框图，其中在图 象域中执行运动估计，在变换域中执行运动预测；
图13显示了当输入尺寸是QCIF时，在图象域中搜寻关于图象宏 块2，4(IMB2，4)的一个P×P点搜寻区域；和
图14是显示本发明另一个详细实施方式的原理性框图，其中在图 象域中执行运动估计和运动预测。

本发明提供了使用一个精度有限的变换技术来对数字视频信号进 行压缩的一个装置及其方法。这个实施方式通过在变换域中进行运动补 偿，例如运动估计和预测，而不是象现有技术在时间域中来进行运动补 偿，改善了传统的、基于无损或者有损变换技术。使用这个方法，可以 使用不太昂贵的硬件来实现质量改善的图象。
术语“运动补偿”是在更宽广的意义上来进行理解。换句话说，尽 管经常将运动补偿描述和图示为包括了对一组图象元素进行运动估计 和运动预测，但是应理解，例如可以包括旋转和伸缩。另外，术语“运 动补偿”可以包括，例如简单地产生表示两个数据集合之间差异的数据。
通过将图象转换成特征和首先匹配这些特征这两个方法来提高了 压缩效率。这里所讨论的公开内容被显示成涉及一系列图象或者视频 帧。可以很容易地理解，这样一个图象序列是空间意义上的数据元素的 集合(或者标量的，矢量的，或者功能上的)，这些数据元素在结构上 相邻，并且可以用时间或者某种其它参数来进行索引。一个图象序列可 以是笛卡尔坐标，但是，在该领域中也可以使用其它不同的坐标系统。
另外，本发明的装置及其方法可以用于非视频的应用中，例如语 音，音频，和心电图的压缩应用中。即，即使这里所公开的本发明被 显示为一个2维系统(2D)，即视频压缩，但是其思想可以应用于任 何其它维的系统中，以改进通用的数据压缩技术。
例如，这个思想可以用于一维半的系统(1-1/2D)，例如超声波 图象。另外，这个思想可以用于3维系统(3D)例如磁共振图象(MRI)。
在下面的描述中，术语“帧”指被馈送到一个编码器的一系列图 象中的一单个图象，而与这单个图象的形式无关，即与它是否在时间 域中，频率域中，或者任何对它所进行的处理无关。另外，术语“点” 被用于指图象在时间域中的一个图象元素，术语“系数”和“变换系 数”用于指在点被经过例如一个前向小波变换后所产生的点的表示。 这些术语被用于实现对实施方式所进行的描述，并且不对本发明的范 围产生任何限制。
现在参考附图，在附图中，类似的标号表示本发明中类似的部件， 在图2中显示了用于对一系列图象或者一系列帧进行压缩的一个实施 方式的原理性框图。这个图是这里所公开的几个实施方式之一。在后 面的图中将更详细地讨论实施方式。
图2中，一个图象在模块20中被转换成变换域中的特征集合。在 模块22中选择被认为是对这个图象来说很重要的这些特征，即被认 为是与一个过去的帧或者参考帧来说已经产生了大的改变的这些特 征。在模块24中，有效地表示这些重要的特征，其后，这些重要的特 征被传送到一个解码器来更新一个参考帧中的特征。
另外，在模块20中，源图象被变换，并且被一个变换系数集合 来表示。然后，在模块22中，评价系数集合中的变换系数，以经过各 种权重和评价方法判断其重要性并且根据重要性进行排序。然后，在 模块24中，在当前帧和过去的或者参考帧之间进行运动补偿。运动补 偿可能包括对帧之间的改变进行运动估计，以产生一个运动矢量集合。 其后，在一个运动预测步骤期间，运动矢量被应用到一个参考帧。将 变换系数集合减去从运动预测所产生的结果，以决定这个预测的误差。 然后，这个预测误差被选择性地进行伸缩，并且最后与运动矢量一起 被进行编码，以传送到解码器。
参考图3，图3显示了参考图2所描述的实施方式的一个更具体 的结构。例如，使用Caltech Intermediate Format(CIF)格式进行 编码的一个图象序列或者一系列视频帧26被馈送到一个转换器28。 一个CIF帧具有288×352个点。在转换器28中，帧被转换成四分之 一的CIF(QCIF)，例如图4a所显示的QCIF图象30。一个QCIF 图象具有144×176点。通过一个低通滤波器和在水平方向和垂直方向 上同时进行2分之一的分抽样来将CIF转换成QCIF。为了方便处理， 144×176点被分成图象宏块(IMBX，X)，每一个宏块具有16×16点。 这里，QCIF仅仅被用作一个示例，不对本发明有任何意义的限制。 通过对该领域内的技术人员众所周知的方法，下面所描述的技术可以 很容易地用于其它图象(和非图象)格式。
参考图3和4，QCIF图象30被馈送到模块32和36，模块32和 36组成了图2中的模块20，在模块20中进行图象特征的匹配。更详 细地，QCIF图象30(图4(a))被馈送到模块32中，在模块32中， 一个前向小波变换将每一个帧变换到子带34(图4(b))的集合。这 个变换图象的结构，即子带34的集合被保存在存储器中，以被后面所 使用，例如被后面进行的运动估计，运动预测和决定预测误差时所使 用。下面，将更详细地讨论可以用于本发明的一个合适的前向小波变 换。
子带34集合被馈送到模块36，以进行子带宏块的封装。在子带 宏块的封装期间，与一个特定的图象宏块相应的子带块被进行组织以 形成子带宏块(SMBX，X)。然后，每一个子带宏块停留在它所涉及的 并且所表示的、图象宏块中的空间位置上。一个特定帧的所有子带宏 块的集合称作一个子带宏块组40。
图5显示了子带宏块封装的过程。在子带宏块封装的期间，子带 34中所有相关的子带块(图5(a))在子带宏块封装期间被进行重新 组织，以形成图5(b)所显示的子带宏块38。
例如，图5(a)中的阴影子带块与图4(a)中图象宏块2，4(IMB2，4 )相应，并且在模块36中(图3)进行的子带宏块封装期间被重新组 织，以形成如图5(b)所显示的子带宏块SMB2，4。然后，子带宏块 38(SMB0，0到SMB8，10)被组织成如图5(c)所显示的子带宏块组40， 以使每一个子带宏块可以被它在QCIF图象30中的相应图象宏块 (IMBX，X)的空间位置所支持。在这个示例中，SMB2，4被发现为被 如图4(a)和5(c)所显示的IMB2，4的空间位置有效地支持。
另外，值得注意的是，尽管这里所描述的实施方式仅涉及QCIF 中所表示的帧图象，该领域的技术人员将能够很容易理解，可以使用 其它格式而不会偏离本发明的思想。另外，也应注意到，每一个子带 宏块中的特定子块组是用于容纳所显示的特定小波的。对其它小波更 合适的其它子带数据组也将存在。
从上面关于图象宏块30集合(图4(a))，子带34集合(图4(b)) 和子带宏块组40(图5(c))的描述中，可以很明显地看到，在特定 的图象宏块，子带块和子带宏块之间存在一个相关性。这种相关性的 一个示例如下：(a)图象宏块2，4(IMB2，4)被用阴影部分表示并且 也被表示为图4(a)中的图象宏块106；(b)图4(b)中所有被划上 阴影部分的子带块，例如子带00(SB00)中的子带块116和子带33 (SB33)中的子带块118；和(c)子带宏块2，4(SMB2，4)，被用阴 影部分表示并且也被表示为图5(c)中的子带宏块117。在这个说明 中，包括对具有例如如上面所描述的一个关系的系数进行的描述将称 作是“相关”的。
参考图3，子带宏块组40被馈送到模块42，46，48，和52，这 些模块42，46，48和52组成了图2中的模块22，在模块22中判断 出哪些特征或者子带宏块(SMB0，0到SMB8，10)已经发生了改变。特 别地，子带宏块组40被馈送到模块42，在模块42中，使用权重来对 子带宏块组40中的每一个子带宏块进行伸缩，其伸缩大小等于这个子 带宏块的感官重要性。进行加权的模块42的输出是加权组44。
例如可以通过一个平均评价分数研究来决定加权的感官重要性， 或者从其它编码系统，例如国际电话与电报顾问委员会(CCITT)的 H.261和H.263中所找到的系统中所使用的权重来决定加权的感官重 要性，CCITT的标准在这里被用作参考。关于平均评价分数，可以参 考这里被用作参考的、K.R.Rao&P.Yip著的、由Academic Press公 司出版的、离散余弦变换的第165-174页(1990年)。
在模块42进行加权以对每一个子带宏块进行伸缩后，加权组44 被馈送到改变检测模块46并且在改变检测模块46中进行处理来决定 已经发生的相对改变量。这个改变也可以称作术语“有效性 (significance)”，或者对视频来说，加权组44的畸变。可以联系一给 定参考，例如零(0)或者一个过去的加权组来决定有效性。从改变检 测模块46所延伸的环包括将一个过去的加权组返回到改变检测模块46 以用作一个参考的一帧延迟48。改变检测模块46的输出是改变检测 组50。    
例如当通过编码器最初发送帧时，在改变检测模块46中所使用的 是一个零(0)参考。在这个情形下，整个帧的参考为零(0)。这也称 作帧内参考。如上面所描述的，也可以使用一个过去的加权组，其中 宏块组在模块42中被如上面所描述地进行加权，然后在改变检测模块 46的延迟模块48中被进行延迟以用作一个参考。后面的这个方法也 称作帧间参考，它可以避免向解码器重复地发送冗余和/或者不重要的 信息。
交替使用零(0)参考帧的方法的目的是为了在系统操作期间，在 解码器中能够再生和维持一个准确度较高的参考图象。一个方法是， 对标准的每秒30帧的图象，在整个图象中的每第8帧周期性地使用零 (0)参考帧。替代地，图象可以被任意地(stoichastically)刷新，例 如随机地(randomy)，或者使用方法地，例如将子带的参考设为零(0)。 为了方便地实现将所有或者部分帧的参考设为零(0)的过程，这样来 标识参考为零(0)的子带块以使避免对产生作用的块执行运动补偿操 作(下面描述)。这样，在解码器中，完整地再生被标识的子带块，以 刷新其中的整个参考或者部分参考，这根据具体需要而定。
再参考图3，在模块52中，根据所决定的每一个子带块的改变大 小，即根据它们的有效性，对早先被保存在存储器中的子带集合34和 改变检测组50的子带宏块进行排序。排序是基于前面通过分别在模块 42和46中对子带宏块进行的加权和检测而被分配的值来进行的。模 块52的输出包括被经过线55所发送的、一个被排序的子带组53和一 个被排序的子带宏块组54。
继续参考图3，被排序的子带组53和被排序的子带宏块组54被 选择性地馈送到模块56，60，62，68，72和76，这些模块与图2中 的模块24相应，其中发生了改变的宏块被有效地表示。特别地，被排 序的子带宏块组54(“当前帧”)被馈送到模块56进行运动估计。被 排序的子带组53被馈送到延迟模块62，然后向线64提供一个延迟的 子带组57(′参考′帧)以分别在模块56和60中分别进行运动估计和 运动预测。以下面所描述的一个方式，在运动估计模块56中产生一个 运动矢量集合58，并且这个运动矢量集合58被馈送到模块60中以进 行运动预测，并且也被发送到模块76进行位置编码。
被发送到运动预测模块60的运动矢量58用于改变被延迟的排序 子带组57，以产生一个预测组66。一个差分模块68接收被排序的子 带组53和从其减去预测组66，以产生组差异70，即预测误差。在模 块72中，进一步对组差异70进行伸缩来产生被伸缩的组差异74。那 些该领域的技术人员将认识到，非零的组差异70的数目越少，对当前 帧和参考帧之间的改变进行预测的运动矢量58集合的准确性就越高。 并且，差异越少，必须被传送到解码器以纠正运动估计中的缺陷的比 特数就越少。
从伸缩模块72来的被伸缩组差异74和从运动估计模块56来的运 动矢量集合58在模块76中被进行位置编码成宏块。这里，数据被有 效地组织成一个比特流。被编码的比特流组78被从模块76输出并且 经过传输线80被发送到一个解码器82以进行反处理。传输可以经过 很多媒质进行，例如经过电子的，电磁的或者光学的方法。
与比特流的格式有关，该领域中有几个标准的对比特流进行格式 化的方法。在一个基于H.263的编码器系统中所使用的格式是一个示 例。一个比特流基本上是一个比特包的串行串。每一个包表示一个特 定类型的数据。
例如，比特包可以包括系统电平数据，视频，控制和音频数据。 当接收数据以在模块76中进行位置编码时，它被根据所使用的格式组 织成比特包。一般，表示一个视频帧的比特包的集合从标识它是一个 新帧的一个比特开始。量化的数目和其它控制码一般就在其后面。然 后，是被编码的、表示被伸缩组差异74的一个宏块列表。对QCIF来 说，宏块数目等于99(99)。(见图5(c))。
为了方便地实现有效地传送数据，每一个宏块前头具有一个宏块 零比特(MBZ零比特)以表示一个宏块中是否出现或者没有出现非 零数据。如果宏块出现了，宏块的控制信息，包括相关的运动矢量集 合58就被发送，其后是子带数据，即相关的被伸缩的组差异74。包 括这种信息基本上减少了经过传输线被发送的比特数目，因为一个没 有出现的宏块被用一单个符号表示而不是用都等于零的所有表示整个 宏块串系数所需要的比特来表示。
另一个可以进一步提高效率的情形是，当一个子带宏块内中仅部 分子带块是零时。一个实施方式包括用一个子带零标识(SB零标识) 来标识其系数为零的子带的步骤。被伸缩的组差异74中其系数为零的 一个子带表示在被排序子带组53的相应子带块和预测的组66的相应 子带块之间没有差异。与用分别表示每一个为零的系数相比，基本上 需要很少的比特来表示SB零标识。当然，解码器被编程成识别MB 零比特和SB零标识，以理解在模块76中进行位置编码时所引入的这 个符号。下面描述了用于对串进行符号化的一个零游程长度码的示例。
零游程长度码     零码   连续为零的数目     01   一个零     001b0   2，3     0001b1b0   4，5，6，7     00001b2b1b0   8，9，10，11，12，13，14，15     000001b3b2b1b0   16…31 (log2(N))n个零MSB-1nMSB-2…n1n0   对一般的N
继续参考图3，解码器82经过传输线80接收了编码比特流组78， 并且编码比特流组78被馈送到一个位置解码模块86以反转位置编码 模块76所产生的效果。运动矢量集合58被从比特流组78中提取出来， 并且被馈送到一个预测模块98。以子带形式(图4(b))被解码的被伸 缩组差异88被提供到一个量化恢复模块90。在量化恢复模块90中， 过去的变换系数和过去及当前去量化项被用于恢复量化变换系数值， 即它们被用于重新产生组差异70。
一个子带集合92，编码器的参考帧被馈送到一个延迟模块94。一 个延迟子带集合96被从延迟模块94馈送到一个预测模块98。与在编 码器内的运动预测模块60中执行的过程类似，运动矢量集合58在预 测模块98中被应用到延迟的子带96集合。这里，改变被延迟的子带 集合96来产生一个预测的组100，即没有包括组差异70的一个被更 新图象的子带表示。在一个加法器模块102中将组差异70和预测组100 进行相加来产生子带集合92，即一个新参考帧。最后，在模块104中 对子带集合92进行一个反小波变换。这个步骤基本上是上面简单描述 的前向小波变换32的逆变换，并且下面将更详细地描述它。从模块104 输出的输出是一个重构图象105。
如图3和4中前面描述的和显示的，QCIF图象30(图4(a)) 被馈送到对每一个视频帧进行变换以形成子带集合34(图4(b))的 前向小波变换32。一个变换模块32的一个实施方式利用了一个张量 乘积小波变换。关于张量乘积小波变换的详细讨论见Joel Rosiene和 Ian Greenshields在Optical Engineering的第33卷，第8期(1994 年8月)上发表的“图象的标准小波基本压缩”，这里被用作参考。可 以使用一个精度有限的变换，例如众所周知的Mallat，GenLOT，或者 Harr变换。关于合适的替代的小波变换见G.Strang和T.Nguye， Welleley-Cambirdge Press在1997年发表的“小波和滤波器组”，这 里被用作参考。
参考图4(b)，显示了在QCIF图象30经过前向小波变换32后 的子带集合34。如前面所指出的，前向小波变换过程利用张量乘积小 波变换或者其它众所周知的精度有限的变换作为这里被修改的，以减 少一个精度有限的实施方式的影响。一般，变换过程包括m×n级来 产生(m+1)×(n+1)子带。在一个实施方式中，下面联系图6所 讨论的，变换过程包括3×3级来产生一个总数为16的子带。按照下 面位于本发明范围内的、这里所提供的公开内容，可以使用一个其它
实施方式。
参考图6(a)，一个前向小波变换过程开始使用3级，一行接一 行地对一个QCIF图象帧30进行滤波。每一级包括一个低通滤波器108 和一个高通滤波器110。在一个实施方式中，每一个低通滤波器108 具有值-1，2，6，2，-1，每一个高通滤波器具有值-1，2，-1。  
在滤波后，在每一级，分别由分抽样器(decimator)112和114 对低通分量和高通分量进行伸缩和分抽样，或者降采样，由此消除了 包括一个离散信号的采样值的分量。在所显示的实施方式中，用一个 1/2的因子来对输入图象降采样，以丢弃其它的采样。使用因子为2的 分抽样最后产生了必要的和充分的变换系数来精确地重构输入。然后， 低通分量和高通分量的降采样值被使用在下面参考图7而详细描述的 一个方式在每一级被归一化。第一级的输出包括一个低通滤波器分量 A0R和一个高通分量D0R。低通分量A0R被进行第二次和第三次分 解，产生附加的行细节D1R和D2R，和行平均值A2R。
然后，图6(a)所显示的行级的行输出D0R，D1R，D2R，和A2R 被一列接一列地应用到图6(b)所显示的级。图6(b)中所显示的3 级中的每一级包括以与上面参考图6(a)所讨论的方式相同的方式被 应用的一个滤波器对，降采样和归一化过程。变换输出是如上面参考 图3所讨论的和如图4(b)所显示的子带集合34。
现在参考图4(b)，为了识别，每一个子带被用一个子带标识SBij 标识，其中对每一行来说，i＝0，1，2，或者3，对每一列来说，j＝0， 1，2或者3。带阴影的子带块，例如在SB00中的子带块116和在SB33 中的子带块118与图4(a)的QCIF图象30中的IMB2，4相应。因为 上面所描述的分抽样过程，每一个相应的子带块被成比例地减少，以 使例如SB00中的子带块116包括8×8系数和SB33中的子带块118包 括2×2系数。如上面所讨论的，相关的子带块，例如那些在子带位置 2，4中被发现的、每一个子带(SB00到SB33)中的子带块在模块36 进行子带宏块封装步骤期间(图3和5)被收集，以方便地实现特定 的处理步骤。
现在参考图7，根据所公开实施方式的一个特征，子带编码过程 的每一级的余项被传递到相反的滤波器路径，以补偿在精度有限的变 换过程中所引入的误差。所传递的余项被利用来调节相反滤波器路径 上的系数，以解决精度的损失。这个过程产生了一个非线性的变换。 进一步，改变滤波器的过程将使它们既不是双正交也不是正交的。
图7显示了用于将余项传递到图6(a)所显示的行变换的第一级 的相反滤波器信道的一个实现方式。在每一个行级和列级包括了一个 类似的实现方式。使用正常的方式来在低通滤波器108和高通滤波器 110中对输入帧30的系数进行滤波。结果分别在采样器112和114中 被降采样。在一个低通归一化过程120中对低通滤波器108的分离结 果进行归一化，以产生一个低通归一化输出122和一个低通余项rl。 在一个高通归一化过程124中对高通滤波器110的分离结果进行归一 化，以产生一个高通归一化输出126和一个高通余项rh。从每一个归 一化过程120和124中所产生的余项rl和rh分别被通过所显示的功 能函数g(rl，rh)128和f(rl，rh)130。函数g(rl，rh)128的结果在加法器 132中被添加到低通归一化输出122以产生A0R(第一级平均)。函数 f(rl，rh)130的结果在加法器133中被添加到高通归一化输出126以产 生D0R(第一级丢失的细节)。
对滤波器L＝{-1，2，6，2，-1}和H＝{-1，2，-1}，余项函数的实施方 式是：f(rl，rh)＝floor(rh+1/2)，其中nh＝1/2；和g(rl，rh)＝rh。上述余 项的运算对每一个滤波器对被重复，在变换输出减少了比特的分配数 目。
一个张量乘积小波对的实施方式的形式是：
$D_i=X_{2i}-\left[\frac{X_{2i-1}+X_{2i+1}}{2}\right];$ 和
$A_i=X_{2i+1}+\left[\frac{D_i+D_{i+1}+2}{4}\right];$
其中：X2i＝输入数据；
X2i-1＝在输入数据X2i前的数据；
X2i+1＝在输入数据X2i后的数据；
Di＝细节项(分抽样的高通滤波器输出)；
Di+1＝在细节项Di后的细节项；和
Ai＝近似项(分抽样的低通滤波器输出)。
上面关于张量乘积小波变换的描述显示了一个双向分离高通(细 节)和低通(近似)分量。另外，描述显示了将余项从一第一带传递 到一第二带，从第二带传递到第一带，或者同时进行从一第一带传递 到一第二带，从第二带传递到第一带的可能性。上面所描述的实施方 式的目的是显示本发明的基本概念，并且无论如何也不能够被理解为 对本发明的范围产生限制。
例如，一个张量乘积小波变换具有其中一个3向分离包括一高通 滤波器，一中通滤波器，和一低通滤波器的一第一级。然后，低通滤 波器的输出被叠代，即具有一3向分离的一第二级可以被应用到低通 滤波器的输出，产生总数为5的子带。在这样一个实施方式中，余项 可以被从低通滤波器和高通滤波器传递到中通滤波器。这个实施方式 仅仅是张量乘积小波变换如何被改变并且仍然保持在本发明的范围和 精神内的一个示例。该领域的技术人员将很容易地理解，可以有很多 方法来在每一级对输入进行分离和叠代，并且有许多其它的方法来在 子带间传递余项。
另外，余项传递的上述描述并没有将其使用局限于一个张量乘积 小波变换的意思。它可以用于任何其它变换。例如，余项的传递可以 和一个离散余弦变换(DCT)一起使用。另外，余弦传递可以一个无 损或者有损的方式来进行。
如上面所讨论的，前向小波变换32的输出可以是QCIF图象30 的一个完全的表示或者一个过完全的表示。QCIF图象30的一个完全 表示包括恰好足够表示图象内容的子带集合。QCIF图象30的一个过 完全表示包括完全表示和冗余的、替代地，或者附加的子带表示，来 使后面描述的运动补偿能够方便地被实现。每一个表示具有在所公开 的实施方式中的值。例如，过完全表示可包括各种图象改变，例如平 移，旋转变化，和伸缩变化。这些变化在运动补偿期间是必需的，并 且减少了用一个索引来表示图象变化的问题。
应注意，就上述前向小波变化来说，尽管这里所显示的被变换帧 结构对亮度是对的，这个结构对色度分量来说也是对的，所以，没有 被分别描述。
就上面参考图3所描述的改变检测模块46来说，应注意，一个零 (0)参考，或者某些其它参考，例如通过延迟48被提供的、过去的 加权组可以被用于检测加权组44如何被改变了。改变检测模块46的 一个实施方式包括一个改变检测度量，被应用到加权组44的改变检测 度量的一般形式是：
$e_c=\underset{i}{\Sigma }{W}_i{\left|\right|G-R\left|\right|}_x^{\mathrm{Px}};$
其中，ec＝相对参考R的畸变的测量；
      Wi＝应用的权重；
G＝当前的子带变换系数组；和
R＝一个参考，例如，零(0)或者一通过延迟模块48而获得的前 一子带系数组。
一个改变检测度量的更详细的形式是：
$e_c=W_0\left|\right|G-R{\left|\right|}_2^2+W_1{\left|\right|G-R\left|\right|}_{\infty }^2$
另外，改变检测46可以利用一个反馈132(图3)从编码比特流 组78所提供的信息，来消除加权组44中的特定加权宏块，让它不从 改变检测46中输出，如果判断出就比特分配来说其代价太昂贵的话。 进一步，改变检测模块46可以用另一个认为更好地表示了特征的特征 来替代一个特征，例如子带块。
如上面所描述的和图3所显示的，排序子带组53和排序子带宏块 组54被分别经过线55馈送到延迟模块62和块56，以进行运动估计。 在模块56中，执行对排序子带宏块组54，即′当前′帧和被延迟的排序 子带组57，即′参考′帧的相关搜寻区域进行的比较过程。该领域的技 术人员将认识到利用当前帧的排序子带宏块组54和参考帧的延迟排序 子带组57的优点。但是，也应注意到，与本发明的思想一致的其它组 和组合可以被使用。在模块56中执行的比较过程产生了被馈送到模块 60以进行运动预测和被馈送到模块76以进行位置编码成比特流的运 动矢量集合58，如上面简单地描述的。
参考图8和9，将更特别地描述模块56中的运动估计和运动矢量 集合58的产生。图8显示了延迟排序子带组57。延迟排序子带组57 与图4(b)所显示的子带34集合离散，但是它在模块52(图3)中 被进行子带块排序，在延迟模块62中被延迟至少一帧，以进行进一步 的处理。为了方便地决定单独的运动矢量，在至少一个子带(SB00到 SB33)中定义关于子带块的搜寻区域。被选择具有为它们而定义的搜 寻区域的每一个子带内的子带块是那些在改变检测模块46中被定义为 有效的子带块。根据SB00内的有效的子带块来推导运动矢量经常是足 够的。
继续参考图8，图8显示了为与QCIF图象30(图4(a))的图象 宏块2，4(IMB2，4)相应的每一个子带块而推导的搜寻区域。搜寻区 域的大小可以改变。但是，关于子带块的搜寻区域总是根据它们与图 象的分关系成比例的。例如，QCIF图象30(图13)中一个基本搜 寻区域P×P点转换关于SB00的子带块137的一个搜寻区域P/2×P/2 (图8)，如136所显示，转换关于SB01的子带块140的一个搜寻区域 P/4×P/2，如139所显示的。
对下面提供的运动估计的示例，图13的P×P点搜寻区域包括32 ×32点，这是IMB2，4的尺寸，16×16点的4倍。所以，搜寻区域P/2 ×P/2(图8)包括16×16系数，这是子带137(8×8系数)的4倍。 另外，搜寻区域P/4×P/2(139)包括16×8系数，这是子带块140(8 ×4系数)的4倍。如后面将要描述的，子带搜寻区域被用于方便地 决定某些或者所有子带(SB00到SB33)内的每一个有效子带块(0，0 到8，10)的运动矢量。
可以根据经验，或者考虑例如帧间所预期的运动数量并进行统计 分析，来决定搜寻区域的基本大小(P×P)。另外，也应考虑需要在 一给定搜寻区域内执行一个搜寻所需要的计算量。该领域的技术人员 很容易理解，较大的搜寻区域需要更多的计算资源，所以对一给定处 理器来说，就意味着更多的帧间延迟。相反，较小的搜寻区域需要较 少的计算资源，但是牺牲了图象质量。这尤其是在高图象运动期间特 别正确。即，因为部分运动可能位于搜寻区域外，这样就不可能进行 精确的运动矢量选择，所以图象质量下降。
如上述，排序子带组53和排序子带宏块组54被分别经过线55从 模块52馈送到延迟模块62和运动估计模块56。对下面所显示的示例， 一个搜寻区域被放置在延迟排序子带组57(图8)的SB00的子带块2， 4的周围。在排序子带宏块组54(图5(c)中的参考子带块116)的 子带宏块2，4中的SB00的一个子带块被用于穿过搜寻区域以寻找改 变。但是，如上述，根据下面所描述的方法，可以使用任何子带选择 或者所有子带。
现在参考图3，8，和9，如上述，排序子带组53在延迟62中被 延迟以产生被延迟的、排序子带组57(′参考′帧)。被延迟的、排序子 带组57被馈送到运动估计模块56，在运动估计模块56中，一个搜寻 区域136被表示为围绕子带块137的、在SB00中具有P/2×P/2区域。 对这个示例，搜寻区域等于16×16个系数。排序子带宏块组54(′当 前′帧)也被馈送到运动估计模块56，其中与图5(c)中子带块116 的阴影区域类似，一个子带块138(图9(a))被检索以用于下面所描 述的比较过程。
现在特别参考图9(a)到(d)，图中显示了在图3的运动估计模 块56中决定运动矢量(MVX，X)的过程。在下面的示例中，对一个子 带块，即SB00的子带块2，4决定一个运动矢量。但是，也可以对每 一个子带(SB00到SB33)中的每一个有效子带块决定运动矢量。
参考图9(a)，排序子带宏块组54的子带块138位于被延迟的、 排序子带组57(图8)的搜寻区域136中。子带块138基本上被叠加 在被延迟的、排序子带组57的子带块137上。如上面所讨论的，排序 子带宏块组54具有与图5(c)所显示的子带宏块组40的结构类似的 结构。另外，被延迟的、排序子带组57具有与图4(b)所显示的子带 集合34的结构类似的结构。再参考图9(a)，搜寻区域136的系数141 (被显示为4个圆圈，每一个圆圈中有一个′x′)和子带块138的系数142 (被显示为4个圆圈)在这里被用于方便地描述决定运动矢量的方法。 对这个示例，假定系数141和142的值大致相等，并且剩余的系数(没 有显示)是与系数141和142不同的值，但是也大致相等。系数141和 142的位置差异表示两个视频帧之间的改变，例如平移。
参考图9(b)，子带块138使用一个预定的逐步递增的方式，穿过， 即搜寻搜寻区域136来决定在每一步骤在子带块138和搜寻区域136之 间的总的绝对差异。该领域的技术人员将很容易地认识到可以使用各种 穿过方式。以全部步长进行遍历涉及到考虑满足子波变换数据中某特定 准则的每个系数。以小于全部步长进行遍历意味着使用满足某特定准则 的两个或多个系数内插到介于两个或多个变换系数之间的一个点上。另 外，作为比较的基础，也可以使用不是总绝对差异的准则。初始的比较 是利用子带块138的增加，或者整个步骤的移动来发现最佳匹配。一个 增加的移动是一个完全的偏移或者步进，这可以是x方向或者是y方向。 例如，在搜寻整个搜寻区域136中，子带块138在搜寻区域136内，在 x方向上以±4的增量，即变换系数，在搜寻区域136内移动，在y方向 上以±4的增量进行移动。因为子带块138具有8×8的系数，而搜寻区 域136具有16×16的系数，所以子带块138在x和y方向上以±4的增 量进行移动。
继续参考图9(b)，在继续一个增量搜寻后，发现最佳的匹配是在 正x方向上移动3完全增量移动，而在正y方向上进行2完全的增量移 动。然后，如图9(c)所显示的，决定分量差异来更精确地表示子带块 138和搜寻区域136之间的差异。为了方便地实现这个过程，表示对这 个子带合适的分量移动的掩码被应用到子带块138。
例如，因为SB00的尺寸是源图象的相关宏块(见图4(a)的IMB2，4 )的尺寸的四分之一，所以子带138可以进行四个分量移动来更精确 地再生IMB2，4的精细移动。即，子带块138可以在x方向上移动一 个增量的±1/2，在y方向上移动增量的±1/2。所以，4个分量掩码143 用于改变子带块138，以搜寻最佳匹配。
继续参考图9(c)，4个掩码143被应用到子带块138，在应用每 一个掩码之间，决定子带块138和搜寻区域136之间的系数的总绝对 差异。如果与在上述增量搜寻期间决定的相比，发现了一个最佳匹配， 分量掩码被添加到运动矢量中。在这个示例中，最佳匹配被决定为在 正x方向上的+1/2分量移动处。结果，所产生的运动矢量的x和y分 量分别是+3 1/2和+2。
该领域的技术人员将认识到，获得如上面示例所描述的精确匹配 是不平常的。从这个角度来说，子带块的系数和搜寻区域的系数之间 的′最佳匹配′可以被更精确地描述为两个之间的′最近的近似′。后面使 用运动预测来补偿这个的不精确性。
参考图9(d)，运动矢量的x和y分量的符号被反转并且被伸缩。 更特别地，在这个示例中，将每一个的x和y分量乘以-1，其中SB00 用于运动估计，将每一个的x和y分量乘以2。x和y分量的符号被 反转以使当在运动预测期间(下面将更详细地讨论)，运动矢量被应用 到被延迟的、排序子带组57时，合适的系数被从′前一′帧位置移动到′ 当前′帧位置。并且对x和y分量进行伸缩，以表示上面所决定的、相 对于源图象QCIF(IMB2，4)  的相关宏块的移动(x＝3 1/2，y＝2)。伸 缩允许在移动预测期间，更简单地决定在移动子带SB00到SB33内的合 适的系数时所使用的x和y分量。
在这个示例中，所产生的、表示SMB2，4内的子带块的移动的运 动矢量是x＝-7和y＝-4(MV2，4)。MV2，4与运动矢量集合58一起被保 存在存储器中。所以，MV2，4表示特定系数集合从被延迟的、排序子 带组57(′参考′帧)到它们的新位置的移动，以预测排序的、子带组53 (′当前′帧)。在例如SB00中，对每一个有效的子带块重复上述过程。 典型地，按照排序来进行处理，即，从具有最大移动量的宏块到具有 最小移动量的宏块。整个非有效的子带块将根本不被考虑，所以也不 被分配任何运动矢量。例如，当在那些帧之间的位置没有发生改变或 者非有效时，就出现这个情形。当如前面所讨论的，子带块的参考为 零(0)时，也出现这个情形。
如果一个不同的子带将要被用于计算运动矢量，将使用与上述使 用特定子带和QCIF图象30成正比例关系来描述的方法类似的方法， 决定增量和分量移动。例如，如果SB01内的子带块被用于推导运动矢 量，就使用下述准则：搜寻区域尺寸＝16×8系数；x分量掩码＝±1/4， ±1/2，和±3/4增量；y分量掩码＝±1/2增量；x伸缩＝4，y伸缩＝2。
使用上述方法的一个优点是可以使用分离的滤波器。换句话说， 用于一个子带块的增量和分量移动的滤波器可以被用于另一个子带块 的增量和分量移动。例如，SB00中的子带块有4个可能的分量移动：x＝ ±1/2和y＝±1/2。并且，SB01中的子带块具有8个可能的分量移动： x＝±1/4，±1/2和±3/4，和y＝±1/2。因为SB00和SB01具有共同的 分量移动x＝±1/2和y＝±1/2，所以在两个子带中可以使用单个分离 的滤波器来用于分量移动x＝+1/2，y＝+1/2，x＝-1/2和y＝-1/2。 这个方法可以用于被延迟的、排序子带组57中的所有共同分量移动。 在运动预测模块60中也可以执行使用分离滤波器的相同优点。
参考图10，在运动估计模块56已经处理了所有有效子带块后， 运动矢量集合58被输出到运动预测模块60和位置编码模块76。在运 动预测模块60中，运动矢量被用于计算从被延迟的、排序子带组57 (′参考′帧)中的每一个子带到它们的新位置的特定系数集合的移动， 以预测排序子带组53(′当前′帧)。
为了决定使用哪一个掩码来产生这样的移动，用每一个子带块的 相应模数的倒数乘以x和y分量。例如，为了决定用于移动已经被判 断移动到SB00中2，4位置的8×8系数集合138的x和y分量，MV2，4 的x和y分量中的每一个被乘以相应模数2的倒数。这个计算产生 了x＝-3 1/2和y＝-2。所以，增量移动x＝3的一个掩码，分量移动x＝- 1/2的一个掩码，和增量移动y＝-2的一个掩码被应用到8×8系数148。
作为一第二示例，为了决定用于移动已经被判断移动到SB01中2， 4位置的8×4系数集合139的x和y分量，MV2，4的x分量被乘以 模数4的倒数，MV2，4的y分量被乘以模数2的倒数。这个计算产生 了x＝-1 3/4和y＝-2。所以，增量移动x＝-1的一个掩码，分量移动x＝- 3/4的一个掩码，和增量移动y＝-2的一个掩码被应用。
图10显示了所有系数集合到与SMB2，4相应的子带块的移动。将 运动矢量集合58中所有运动矢量(MVX，X)应用到被延迟的、排序子 带组57(′参考′帧)产生了对排序子带组53(′当前′帧)的一个预测， 并且被称作预测组66(图3)。
用于决定帧之间分量移动的、上述过程的一个替代实施方式包括 使用3×3系数掩码。这些掩码使用围绕一个被选择系数的系数的平均 权重。在这个替代的方法中，如上述和图9(a)和9(b)所显示的， 对每一个子带(SB00到SB33)中的或者仅一个选择数目的子带例如SB00 中的每一个有效子带块决定包括仅增量移动的一个运动矢量集合58。 运动矢量集合58被馈送到运动预测模块60。
在运动预测模块60中，使用与图10所显示的方式类似的方式来 应用运动矢量集合58，以使被延迟的、排序子带组57的有效子带块 进行增量移动。然后，每一个被移动系数集合的每一个系数在其上应 用了一个3×3掩码。被应用的掩码决定围绕每一个被移动系数的系数 的平均权重。这个计算的结果是对被移动系数的预测，即新的系数值。
在所有运动矢量集合58的运动矢量已经被应用到被延迟的、排序 子带组57，并且被运动矢量移动的所有系数已经在其上应用了3×3 掩码后，结果被从运动预测模块60输出，并作为预测组66。当然， 在解码器82的预测模块98中重复这个过程，以再做在运动预测模块 60中所执行的这个掩码过程。
在使用上述任何一个方法决定了预测后，预测组66被传递到差分 模块68，在差分模块68中，决定排序子带组53和预测组66之间的 差异。如上述，差分模块68产生了组差异70。
尽管这里所描述的运动补偿方法显示为是联系一个张量乘积小波 的功能，但是重要的是应注意，这些方法可以与其它类型的变换一起 被使用。这包括或者在时间域中，或者在变换域中与其它变换一起使 用运动补偿方法。例如，使用一个DCT进行变换的数据可以使用与上 述方法类似的方法来进行运动补偿。即，DCT的8×8块中的每一个 的64个变换系数可以使用与用于对张量乘积小波变换的SB00中的8× 8子带块的每一个的64个变换系数进行运动补偿的方法相同的方法 来进行运动补偿。
现在参考图11，显示了视频编码器的另一个实施方式。与上述的 实施方式和图3中所显示的实施方式相同，分别在模块150和152中 执行变换域中的运动估计和运动预测。另外，这个实施方式的前部分 与上述的和图3所显示的类似。更详细地，CIF图象26在转换器28 中被转换为一个QCIF图象30。QCIF图象30通过图象到特征匹配部 件20被变换和转换成一个子带宏块组40。另外，子带集合34和子带 宏块组40分别被与决定发生改变的特征22相关的部件转换成排序子 带组53和排序子带宏块组54。
另外，与图3所显示的实施方式类似的是，排序子带宏块组54被 馈送到一个运动估计模块150，排序子带组53被馈送到差分模块68。 但是，不是使用一个延迟的、排序子带组57作为一个参考帧，而是其 上具有累加误差的一个错误纠正子带组171，被馈送到延迟模块156， 由此产生延迟的子带组172(′参考′帧)。当量化(或者伸缩)是如此 地大，以使它基本上改变了差分模块68中所产生的预测误差70时， 这样一个改变是必要的。
为了推导错误纠正子带组171，当系统的参考是零(0)时，例如 当系统被初始化或者当解码器中的参考需要被刷新时，排序子带组53 的一个拷贝被不发生改变地传递通过差分模块168，并且被保存在存 储器中。然后，当每一个随后帧的预测误差70通过量化模块158时， 预测误差70被累加到，即被添加到参考上。这个被更新的参考图象被 馈送到延迟模块156，由此产生被延迟的、子带组172。通过利用这个 方法，编码器中的参考保持与解码器中的参考之间的同步。该领域的 技术人员将认识到，当在运动预测和位置编码之间执行伸缩和/或者量 化的有效数量时，这样一个结构在保持编码器和解码器之间的同步是 有用的。
在运动估计模块150和运动预测模块152从延迟模块156接收了 被延迟的子带组172后，通过与上述和图8到10所显示的过程类似的 过程，决定运动估计和运动预测。另外，在改变检测46和量化模块158 之间提供一个前馈159，以调节将要在一特定块上执行的量化数量， 这与块改变的数量相关。当在改变检测模块46中检测到改变的数量大 时，就给量化分配一数目较大的比特。相反，当在改变检测模块46中 检测到改变的数量小时，就成比例地给量化分配一数目较少的比特。
现在参考图12，图12显示了视频编码器的另一个实施方式。这 个实施方式的前部分与上述和图3和图11所显示的实施方式类似。但 是，与上述实施方式不同的是，在图象域中执行运动估计。这个实施 方式利用了某些处理器上可以获得的具体的硬件结构。
图12中，一个CIF图象26在转换器模块28中被转换为一个QCIF 图象30。QCIF图象30通过图象到特征匹配部件20被变换和转换成 一个子带宏块组40。子带宏块组40被与决定发生改变的特征22相关 的部件进行处理，以决定子带宏块排序。结果被应用到子带集合34， 产生排序的子带组53。然后，排序的子带组53被馈送到差分模块68。
另外，被称作′当前′帧的QCIF图象30被馈送到运动估计模块160 和延迟模块166，以决定一个运动矢量集合162。更详细地，在延迟166 中，对一个图象帧30进行延迟，以产生一个被延迟的图象帧167，也 被称作′参考′帧。参考图13，被延迟的图象帧167被馈送到运动估计 模块160，其中在每一个有效的图象宏块周围推导一个P×P点的搜寻 区域107。例如，在图象宏块2，4(IMB2，4)的周围建立一个P×P 点的搜寻区域107。根据经验分析，一个32×32点的搜寻区域107被 用作在一个QCIF图象帧的一个16×16点图象宏块周围的搜寻区域。
在运动估计模块160中，当前QCIF图象30帧的每一个有效图象 宏块(IMBX，X)位于被延迟的图象帧167的相应搜寻区域内，以决定 运动矢量。例如，IMB2，4被从QCIF图象30中进行检索，并且位于 被延迟图象帧167的搜寻区域107内。这个过程与上面所所描述的÷ 在变换域中所执行的过程和图8和图9(a)所显示的过程类似。
使用与上述的和图9(b)所显示的方法类似的一个方法，IMB2，4 穿过搜寻区域107进行寻找，来决定每一步骤内，在IMB2，4和搜寻区 域107之间的最小总绝对差异。但是与上述子带的搜寻不同，当在图 象域中进行搜寻时，分量搜寻是不必要的。所以，在决定IMB2，4的增 量移动后，x和y分量的被反转(乘以-1)并且被与运动矢量集合162 一起保存在存储器中。运动矢量被馈送到运动预测模块154和位置编 码模块76。然后，使用与上述就图3和11所描述的、和图10所显示 的方式类似的方式，将运动矢量应用到被延迟子带组172。
现在参考图14，显示了视频编码器的另一个实施方式，其中前部 分与上述实施方式和图3，11和12所显示的实施方式类似。但是，与 上述实施方式不同的是，运动估计和运动预测均是在图象域中进行的。
在图14中，使用与上述和图12和13所显示的方式类似的方式， 决定运动矢量集合162。运动矢量集合162被馈送到模块164以进行 运动预测，被馈送到模块76以进行位置编码。使用与上述和图11和 12所显示的方式类似的方式，其上具有累加误差的一个误差纠正子带 组171被馈送到延迟模块156，以产生被延迟的子带组172(′参考帧′)。 但是与上述实施方式不同的是，然后通过反小波变换模块174来重构 被延迟子带组172，以形成一个被重构的图象176。被重构的图象具有 与图4(a)所显示的QCIF图象30的结构类似的结构。
替代地，通过不是完整地重构被延迟子带组172，而是只重构一 部分组来提高效率。例如，一个3，5滤波器可以被用于获得具有48 ×48点的一个重构区域。根据区域中心的图象宏块(16×16)内的有 效性，即被检测的改变来选择区域。
在运动预测模块164中，运动矢量集合162被应用到重构图象176 (或者重构48×48点区域，如果仅区域被进行反小波变换)。使用与 上述和图10所显示的方式类似的方式，运动矢量集合162被应用到重 构参考图象176，以移动表示QCIF图象的子带中的变换系数集合。 然后，一个预测178被馈送到前向小波变换模块180，以产生预测组66。 然后，在差分模块68中，从排序子带组53中减去预测组66，以产生 组差异70。在模块158中执行量化，并且累加误差以维持参考(如上 述)，并且被前传到位置编码模块76。如上述进行量化误差和运动矢 量162的位置编码，并且经过传输线80被前传到解码器。
尽管这里所显示的是一个软件实现方式，本发明实施方式的原理 可以用硬件来实现，例如，用一个专用集成电路(ASIC)来实现。优 选地，ASIC实现方式，包括必要的存储器要求，应工作在点的速率， 以(i)使实现这个实施方式的功耗最小，(ii)允许全彩色视频压缩， 例如一个全CCIR601，其数据速率不低于13.5MHz。可以预见，通过 利用ASIC，与传统的软件和处理器实现方式相比，可以将功耗降低到 十分之一。
替代地，可以使用光学的方法来进一步节省功耗。如上述，在小 波变换的每一级对图象进行一个近似，并且记录进行这个近似时所丢 失的细节。在一个光电或者一个光学的实现方式中，可以调节光被聚 集的方式和相关的感应电荷的方式，以收集每一个近似图象的采样。 如果这些近似图象被并行记录在一起，就可以通过模拟的或者数字的 装置从这些中间值计算出细节项。优选，使用模拟装置来计算细节项， 并且作为一个模拟级的输出。
通过使用实现了量化策略的一个比特串行模拟到数字转换器来对 细节项进行量化。所产生的比特流被压缩。使用这个方式，光学的/光 的装置工作的速率，即数字跳变的次数，是压缩数据率，而不是图象 数据率(如ASIC的情形相同)或者处理器数据速率(与传统的处理 器情形相同)。这将产生消耗很小电流的一个实施方式，即这样就需要 较少的功率。可以预见，与ASIC的实施方式相比，一个光学方法的 实施方式可以进一步将功耗降低到十分之一。
应理解，这里所显示的和描述的实施方式及其变化仅仅是本发明 原理的示例，该领域的技术人员可以进行许多改变，而不会偏离本发 明的范围和精神。
本申请要求于1997年11月14日申请的、这里被用作参考的、临 时申请序列号60/066,638的优先权。