本发明总体上涉及对网络上或其它类型通信介质上传输的数 据、语音、图像、视频和其它类型信号进行多描述编码(MDC)。

在当今网络上传送的大部分信息甚至会在劣化条件下使用。例 子包括语音、音频、静止图像和视频。当此类信息遭受分组丢失时， 因实时约束而无法进行重传。总传输速率、失真和时延方面的优越 性能有时可通过在比特流中增加冗余而非重发丢失分组来实现。

可以通过多描述编码(MDC)方法在比特流中添加冗余，在MDC 中，数据被分解成几个流，且这些流带有一些冗余。当收到所有流 时，可以以比专为压缩而设计的系统稍高的比特率为代价来确保低 失真度。另一方面，当只收到其中一些流时，重建的质量会适度下 降，而对专为压缩而设计的系统而言这几乎不可能发生。不像多分 辨率或分层信源编码，没有描述层次；因此多描述编码适用于不提 供优先级的擦除信道或分组网络。

多描述编码可以多种方式来实现。一种方式是通过在编码器分 别收集奇帧序列和偶帧序列并独立地对所得的经时间上二次抽样的 序列进行编码，从而将输入视频流分解到任意的信道子集中。当解 码器上收到二次抽样序列之一时，可以以一半帧速率将视频流解码。 由于视频流的相关特性，仅收到一个二次抽样序列允许使用运动补 偿差错消除技术来恢复中间帧。此技术的更详细描述可参见Wenger 等人的“H.263+中的容错弹性(error resilience)支持”(“Error resilience support in H.263+”，IEEE Transactions on Circuits and Systems for Video Technology，pp.867-877，November 1998)。

为了实现容错弹性，Wang和Lin所著的题为“采用多描述运动 补偿的容错弹性视频编码”(“Error resilient video coding using multiple description motion compensation”，IEEE Transactions on Circuits and Systems for Video Technology，vol.12，no.6，pp.4348-52，June 2002)的 论文描述了一种用于实现多描述编码的方法。根据此方法，时间预 测器允许编码器在编码时利用过去的偶帧和奇帧，因而在解码器上 只收到一个描述时在编码器和解码器之间造成一种失配。为克服此 问题可将这种失配误差进行显式编码。允许编码器同时将奇帧序列 和偶帧序列用于预测的主要好处在于编码效率。通过改变时间滤波 器的抽头，可以控制冗余量。所公开的方法在冗余量和容错弹性之 间提供合理的灵活性。

Wang和Lin所提出的方法的一个缺陷是该方法局限于仅I和P 帧(没有B帧)。该方法的另一个缺陷是它不允许像在H.26L中那 样进行多帧预测。这些缺陷限制了MDMC的编码效率，而且还要求 完全的专有实现而非采用可用的编解码器模块。

本发明提供了一种改进的多描述编码(MDC)方法和装置，这 种方法和装置克服了上述缺陷。具体地说，本发明的编码方法通过 允许多帧预测而扩展了多描述运动补偿(MDMC)，且不仅限于I 帧和P帧。此外，本发明的编码方法将MDMC扩展用于任何常规的 预测性编解码器，如MPEG2/4和H.26L。

根据本发明的第一方面，提供了一种改进的MDMC编码器，它 包括三个预测性编码器，即上预测性编码器、中预测性编码器和下 预测性编码器。输入帧以三个独立输入的形式提供给所述编码器。 输入帧提供给中间编码器。此外，输入帧分成两个子帧流，第一子 帧流只包括奇帧，而第二子帧流则只包括偶帧。由偶帧组成的第一 子帧流输入上编码器进行编码，以得到编码的偶帧序列；而由奇帧 组成的第二子帧流输入下编码器进行编码，以得到编码的奇帧序列。 注意，其它实施例可使用不同的准则来对帧进行划分，例如可采用 不均衡划分，其中，三个帧中每两个帧由上编码器编码，而每第三 个帧由下编码器编码。原始的未经分割的输入帧流加到中央编码器， 由其根据偶帧计算奇帧的预测。此外，中央编码器根据奇帧单独计 算偶帧的预测。随后分别计算中央编码器与第一侧编码器和第二侧 编码器之间的预测残余。本发明的MDMC编码器输出与偶帧预测相 对应的第一计算预测残余连同上编码器的输出，以及输出与奇帧预 测相对应的第二计算预测残余连同下编码器的输出。

根据本发明的第二方面，提供了一种对表示帧序列的视频信号 进行编码的方法，所述方法包括：将所述帧序列分成第一子序列和 第二子序列，将第一子序列加到第一侧编码器，将第二子序列加到 第二侧编码器，将原始的未分割帧序列加到中央编码器，计算第一 侧编码器输出和中央编码器输出之间的第一预测残余，计算第二侧 编码器输出和中央编码器输出之间的第二预测残余，将第一预测残 余和第一侧编码器的输出合并成第一数据子流，将第二预测残余和 第二侧编码器的输出合并成第二数据子流，然后分开发送第一数据 子流和第二数据子流。

本发明的优点包括：

(1)可以将任何常规预测性编码器用作上编码器和下编码器。 此外，上预测性编码器和下预测性编码器可有利地包括B帧和多预 测运动补偿；

(2)上预测性编码器、中间预测性编码器和下预测性编码器中 的任一编码器可以是可扩展编码器(例如，首先发送运动矢量 (MV))、采用时域分级(temporal scalability)等技术的类似FGS (精细分级编码)或类似数据分割的编码器)。例如，在只有中间 编码器是可扩展编码器的情况中，中间编码器将只发送信道允许数 量的信息。在确定可用带宽非常少的极端情况下，将只发送由侧编 码器编码的信息。当其它带宽变为可用时，则将使用可扩展的中间 编码器发送信道允许数量的失配信号。

(3)为了限制系统的复杂性，用于确定失配信号的根据当前偶/ 奇帧的奇/偶帧序列的预测可以根据B帧得到。

(4)不是像常规一样计算侧预测误差(即用于侧编码器的偶帧 和奇帧之间的误差)并对其编码进行，而是还计算侧预测误差和中 央误差(即当前帧和根据前两帧的预测之间的误差)之间的失配， 或计算中央误差(central error)。

现参考附图，附图中的同样标号表示对应的装置：

图1表示根据本发明一个实施例的MDMC编码器。

多描述编码(MDC)指一种压缩形式，其目的是将一个输入流 编码成多个分开的比特流，其中，所述多个分开的比特流常常称为 多个描述。这些分开的比特流均具有可彼此独立地加以解码的特性。 具体地说，如果解码器收到任何一个比特流，则它可以将该比特流 解码，以得到有用信号(无需访问任何其它比特流)。MDC还具有 如下特性：解码信号质量会随更多比特流被正确接收而改善。例如， 假定采用MDC将一个视频编码成总共N个流。只要解码器收到这 N个流中的任何一个流，它就可以解码得到该视频的一个有用版本。 如果该解码器接收到两个流，则它可以解码得到比只收到一个流的 情况有所改善的视频版本。这种质量上的改善一直持续到收到所有 N个流，这时它可以重建最佳质量。

有许多种实现MDC视频编码的方法。一种方法是独立地将不同 帧编码成不同的流。例如，每个视频序列帧可以只采用帧内编码如 JPEG、JPEG-2000或任何只使用I帧编码的视频编码标准(如 MPEG-1/2/4、H.26-1/3)编码成一个帧(独立于其它帧)。例如，所 有偶帧序列可以在流1中发送，而所有奇帧序列可以在流2中发送。 因为每个帧可独立于其它帧进行解码，所以每个比特流也可以独立 于其它流进行解码。MDC视频编码的这种简单形式具有如上所述的 特性，但因缺少帧内编码而导致压缩效率不很高。

在详细描述图1之前，先回忆有关MPEG2标准中采用的数字化 图像内像素的分层结构和预测策略的一些定义。亮度和色度样本(像 素)二者组成块，每块由8×8矩阵(每个块含8行像素，每行又含 8个像素)构成；一定数量的亮度和色度块(如4个亮度数据块和2 个对应的色度数据块)形成一个宏块；数字化的图像于是包括宏块 构成的矩阵，其大小取决于所选择的类(即，取决于分辨率)和电 源频率：例如，在50赫兹的电源频率下，其大小可从最小18×32 的宏块到最大72×120的宏块。图像又可以具有帧结构(其中顺序 行的像素附属于不同场)或场结构(其中所有像素附属于同一场)。 因此，宏块也可以具有帧结构或场结构。图像又组织成图像组，其 中，第一图像总是I图像，其后是若干B图像(双向内插的图像， 它们服从前向或后向预测或二者，“前向”指预测基于前一图像， 而“后向”指预测基于未来的参考帧)，然后是P图像，P图像用于 预测B图像，将在I图像之后立刻被编码。

现参考图1，一个未显示的信号源为编码器200提供一个已按编 码顺序(即使参考图像可用的顺序)排列的帧序列201(即帧结构)， 之后，这些帧序列可用于图像预测。完整的帧序列201由运动估计 单元(未显示)接收，该估计单元用于计算正在编码的图像中每个 宏块的一个或多个运动矢量及与所述或每个矢量相关联的代价或误 差，并将其输出。编码器200包括第一侧编码器(侧编码器1)202、 中央编码器204和第二侧编码器206。完整的帧序列201全部加到中 央编码器204。完整帧序列201的第一子集210在本实施例中由完整 帧序列201的偶帧子序列210子集构成，它加到第一侧编码器202。 完整帧序列201的第二子集220在本实施例中由完整帧序列201的 奇帧序列220子集构成，它加到第二侧编码器206。

下面概述预测编码操作。

A.第一侧编码器202

包括输入序列201的子集的奇帧子序列210加到第一侧编码器 202。应注意，第一侧编码器202可以有利地实现为任何常规预测性 编解码器(如MPEG-1/2/4、H.26-1/3)。第一侧编码器202对奇帧 子序列210进行编码，输出编码的奇帧子序列211。编码的奇帧子序 列211作为要输出的分量包含在第一数据子流245中。编码的奇帧 子序列211还作为输入提供给中央编码器子模块230，下面将会描述。

B.第二侧编码器206

包括输入序列201的子集的偶帧子序列220加到第二侧编码器 206。应注意，第二侧编码器206类似于第一侧编码器202可以有利 地实现为任何常规预测性编解码器(如MPEG-1/2/4、H.26-1/3)。 第二侧编码器206对偶帧子序列220进行编码，输出编码的偶帧子 序列212。编码的偶帧子序列212作为要输出的分量包含在第二数据 子流255中。编码的偶帧子序列212还作为输入提供给中央编码器 子模块232，下面将会描述。

C.中央编码器204

完整的帧序列201被加到中央编码器204上。

中央编码器子模块250计算第一组运动矢量214，而且还计算偶 帧预测序列215并对其进行编码，该偶帧预测序列215由根据输入 序列201的奇帧作出的偶帧预测构成。中央编码器子模块250输出 偶帧预测序列215和第一运动矢量序列214，这两个序列均作为输入 提供给中央编码器子模块230。

中央编码器子模块260计算第二组运动矢量216，而且还计算奇 帧预测序列217并对其进行编码，该奇帧预测序列217由根据输入 序列201的偶帧作出的奇帧预测构成。中央编码器子模块260输出 奇帧预测序列217和第二运动矢量序列216，这两个序列均作为输入 提供给中央编码器子模块232。

中央编码器子模块230执行两种功能或处理。第一种处理是对 从子模块250接收的第一组运动矢量214进行编码，以输出第一组 编码的运动矢量218。第二种功能或处理是计算第一预测残余221， 这可以按如下方式计算：

第一预测残余＝ec-es                        (1)

其中，ec＝偶帧预测帧序列215，以及

      es＝编码的奇帧子序列211。

中央编码器子模块230输出包括编码的第一预测残余221连同 第一组编码的运动矢量218。这些输出与编码的奇帧序列211(点A) 合并，共同作为第一数据子流245输出。

类似地，按如下方式计算第二预测残余，以便包括在第二数据 子流255中：

第二预测残余＝ec-es                        (2)

其中，ec＝奇帧预测帧序列217，以及

      es＝编码的偶帧子序列212。

中央编码器子模块232输出包括编码的第二预测残余222连同 第二组编码的运动矢量219。这些输出与编码的偶帧序列212(点B) 合并，作为第二数据子流255输出。

以上对本发明优选实施例的描述用于示意和说明。所述优选实 施例不用于穷举或将本发明限制于所公开的精确形式，根据以上教 导显然可以作出许多种修改和变化。这类修改和变化对本技术领域 中的技术人员而言是显而易见的，并且包括在如所附权利要求书所 限定的本发明范围中。