本发明涉及视频编码和译码方法，特别是涉及利用数据分段结构的视频 编码和译码方法，以及使用这种方法的视频编码和译码装置。

最近，在已经规定了很多涉及诸如H.32X的视频会议的标准的国际电信 联盟(ITU)的视频编码小组、即所谓的第16个研究小组的第15个问题小组 (Q.15/SG16)直在致力于开发名称为H.263++的先进视频编码方案。在使 H.263++能够灵活地适应易出现差错的移动信道方面付出了大量努力。截止 到目前为止，已经向ITU-T中的Q.15/SG16建议了很多有关容错(error resilience)的技术方案。在这些技术建议当中，由UCLA/Samsung共同建议的 数据分段和可逆变长编码(RVLC)在形成H.263++容错特性方面取得了很大 的进展。尽管在H.263++方案中至今还没有采用这种容错特性，但是，在 ITU-T中Q.15/SG16的容错对话技术中的最新技术方案都是以使用数据分段 和RVLC为基础的。本发明是以数据分段为目的的。

本发明的一个目的是提供一种根据信道的状态和语法的重要程度将冗 余位自适应地添加到视频位流中去的视频数据编码方法。

本发明的另一个目的是提供一种用于对由上述编码方法编码的视频位 流进行译码的方法。

根据本发明的一个方面，提供了一种在用于经过通信信道发射和接收视 频数据的视频数据收发信机中使用的视频编码方法，该方法包括：接收指出 通信信道差错分布的信道状态信息；和在信道状态信息的基础上自适应地将 冗余信息添加到由具有分层结构的语法划分的数据包中。

在本发明的另一个实施例中，提供了一种在用于经过通信信道发射和接 收视频数据的视频数据收发信机中使用的视频编码方法，该方法包括：(a)接 收包含指出信道差错分布的信息的信道状态信息；(b)在信道状态信息的基础 上确定是否需要一个附加层；(c)如果在步骤(b)中确定不需要附加层，则组成 包含视频数据信息和管理信息的第一层；(d)如果在步骤(b)中确定只需要第二 层，则通过添加包含与有关第一层的信息对应的冗余信息的第一辅助信息而 构成第二层；(e)如果在步骤(b)中确定第二和第三层都是需要的，则通过添加 包含与有关第一层的信息对应的冗余信息的第一辅助信息而构成第三层，和 通过添加包含与有关第一层的信息对应的其它冗余信息的第二辅助信息而 构成第三层。

如果在步骤(b)确定只有第二层需要或者第二和第三层都是需要的，那 么，视频编码方法最好还包括将预定的唯一标志添加到第二层结构中相应数 据包的前导部分上的步骤。另外，如果在步骤(b)中确定只有第二层需要或者 第二层和第三层都是需要的，那么，视频编码方法还可以包括添加指出存在 附加层的第二标记位的步骤。

第一附加信息最好包含有关第一层中图像数据的编码参数的信息、和一 个或多个指出是否执行编码的COD位。另外，COD位可以由每一个宏块三 个位组成。另外，第一辅助信息可以包含每个宏块一个或多个MCBPC(MaCro 块图案色度)位，MCBPC位可以由每个将被编码的宏块5个位组成。

第二辅助信息最好包含有关第一层中图像数据的编码参数的信息。例 如，第二辅助信息可以包含指出每个宏块的MCBPC(MaCro块图案色度)位 数量的多个位，MCBPC指出宏块的色度的类型。指出MCBPC位数量的位 可以由每个QCIF(四分之一公用中间格式(Quarter Common Intermediate Format))4位组成。另外，第二辅助信息可以包含一个或多个指出是否执行编 码的COD位，COD位可以由每个宏块1位组成。最好，第二辅助信息包含 指出宏块类型的MB(宏块)类型位，MB类型位由每个宏块位2位组成。

根据本发明的另一个实施例，提供了一种在用于经过通信信道发射和接 收视频数据的视频数据收发信机中使用的视频译码方法，该方法包括：把已 经利用分层结构自适应添加了冗余信息的视频位流输入给由语法划分的数 据包；识别是否存在附加层和哪一个层已经被添加；和在关于附加层信息的 基础上对相应的层译码。

在本发明的另一个实施例中，在用于经过通信信道发射和接收视频数据 的视频数据收发信机中使用的视频译码方法包括：将已经利用分层结构自适 应添加了冗余信息的视频位流输入给由语法划分的数据包；通过检测来自视 频位流的再同步标志规定第一层，和识别指出在第一层中是否存在附加层的 第一标记位；如果第一标记位指出附加层不存在，则对第一层译码；如果第 一标记位指出存在附加层，识别指出第二层开始的标志；识别指出是否存在 第三层的第二标记位；如果第二标记位指出不存在第三层，则对第一和第二 层译码；和如果第二标记位指出存在第三层，则对第一、第二和第三层译码。

本发明可通过运行来自计算机可读介质的程序而应用于通用数字计算 机中，计算机可读介质包括但不局限于读如磁存储介质(例如ROM、软盘、 硬盘等)、光可读介质(例如CD-ROM、DVD等)和载波(例如在因特网 (Internet)上的传送)等的存储介质。因此，本发明可以被用做计算机可读介 质。

通过下面结合附图对优选实施例的详细描述，本发明的上述目的和优点 将变得更加清楚，附图中：

图1的框图示出了根据本发明用于执行视频编码和译码方法的视频数据 收发信机；

图2的流程示出了根据本发明实施例的视频编码方法的主要步骤；

图3示出了根据本发明的视频编码方法对位流编码的例子；

图4示出了图3所示层2的例子；

图5示出了图3所示层3的例子。

参看图1，根据本发明用于执行视频编码和译码方法的视频数据收发信 机系统包括发射机10和接收机12。发射机10包括H.263编码器102和第 一系统104，接收机12包括H.263译码器和第二系统124。

在视频数据收发信机的运行过程中，发射机10的H.263编码器102对 视频数据编码，第一系统104接收和多路复用被编码的视频数据和添加控制 信息，以便在无线通信信道上经过射频(RF)级发射视频位流。当接收机12 经过无线通信信道接收视频位流时，第二系统124多路分解所接收的位流并 提取控制信息。被多路分解的编码视频位流被H.263译码器126译码。另外， 在由H.263译码器126进行译码处理期间，可以提取包含所发射视频位流的 差错信息在内的信道状态信息。然后，接收机12经过额外的返回信道发射 信道状态信息。

发射机10的第一系统104经过返回信道接收包含与被编码视频位流相 关的状态信息的信道状态信息，并在所接收信息的基础上将层控制信息发射 给H.263编码器102，以允许H.263编码器102规定冗余添加结构。H.263 编码器102在所接收的层控制信息的基础上自适应地将冗余信息添加到视频 数据流中。即，由于冗余信息的附加是根据信道状态进行控制的，所以，针 对易出错无线信道的容错得到了改善。

图2的流程示出了根据本发明实施例的视频编码方法的主要步骤。参看 图2，视频编码方法包括接收包含指出信道差错分布(步骤202)和在信道状态 信息的基础上确定是否需要附加层(步骤204)的信息的信道状态信息。在这个 实施例中，可以规定相对于基线流的第一层和包括第二和第三层的附加层。

然后，如果在步骤204确定不需要附加层，则将第一标记位添加到数据 包中，以便指出不存在附加层(步骤210)，和构成包含第二和第三层的第一层 (步骤212)。相反，如果在步骤204确定只有第二层是需要的或者第二层和第 三层都是需要的，那么，添加第一标记位，以指出附加层的存在(步骤204)， 然后构成第一层(步骤226)。然后，在只有第二层是需要的情况下，通过添加 包含与有关第一层的信息对应的冗余信息的第一辅助信息而组成第二层(步 骤244)。同时，在第二层和第三层都是需要的情况下，通过添加包含与第一 层信息对应的冗余信息的第一辅助信息而组成第二层，通过添加包含与第一 层信息对应的其它冗余信息的第二辅助信息组成第三层(步骤264)。另外，当 在步骤204确定附加层时只有第二层或第二层和第三层都是需要的情况下， 最好在步骤224之前将预定的唯一标志添加到附加层相应数据包的前导部分 中(步骤222)。另外，在步骤244和264之前，可将第二标记位添加到相应 数据包中，以指出不存在(步骤242)或存在(步骤262)第三层。

经过上述步骤，冗余信息被根据信道状态信息利用分层结构自适应地添 加到由语法划分的数据包中，由此产生视频位流(步骤282)。

如本领域技术人员所期待的，当在数据包中包括多个层时，容错将逐步 得到改善，但这将牺牲编码效率。通过监视信道状态，可以在系统中完全构 成模式选择(仅仅是第一层、第一和第二层或第一、第二和第三层)，本领域 的技术人员可以适当地选择一个模式。

在本实施例中，为简便起见，实验是利用QCIF(四分之一公用中间格式) 序列和在每个数据包中11个宏块(MB)实施的。图3示出了利用本发明视频 编码方法编码的位流的结构。图3所示的位流包括仅仅第一层(层1)、第一和 第二层(层1+2)或第一、第二和第三层(1+2+3)。层1包括：用于指出是否存 在附加层的第一标记位(标记1)；和包含诸如对熟悉MPEG技术的人员来讲 是很明显的DC、AC和MV位的视频数据信息的首标(Header)以及关于编 码参数的信息的首标(header)。层2包括位于其前导部分处的预定的唯一标志 (marker)、用于指出是否存在附加层的第二标记位、和包含与第一层的信息 对应的冗余信息的第一辅助信息(Aux Info 1)。层3包括包含有关第一层图像 数据编码参数的第二辅助信息(Aux Info 1)。

图4示出了图3中所示的层2的一个例子。由于如参考图2只有当确定 需要附加层时才构成层2，所以，例如22位的唯一码(0000 0000 0000 0000 1110 00)的预定唯一标志才被添加到层2的数据包的前导部分中。层2的数 据包包括一位的标记2、用于指出编码状态的每个MB 3位的COD、以及用 于指出MB色度类型的每个MB 5位的MCBPC(MaCro块图案色度)。由于宏 块的数量是11，所以，33位的COD被包括在层2的数据包内。另外，由 于MCBPC的存在与否取决于是否执行编码，所以，它的位数在0和55之 间。

图5示出了图3中所示的层3的一个例子。参看图5，层3包含作为第 二辅助信息的位，第二辅助信息用于表示MCPBC位的数量，MCBPC位用 于指出MB的色度类型。表示MCBPC位数量的位最好由每个QCIF 4位组 成。另外，层3包含每个MB 1位的COD，即11位COD。另外，层3包 含表示MB类型的MB类型位。这里，MB类型位最好由每个MB 2位组成。 另外，由于MB类型位的存在与否取决于是否执行编码，所以，MB类型位 的数量在0和22之间。

在为评估差错分布、诸如位速率和帧速率的编码参数、将被编码的最小 帧的数量等技术贡献而由ITU-TQ.15/SG16于1998年7月建立的公用仿真条 件的基础上，执行计算机仿真以评估本发明实施例的视频编码和译码方法。 根据公用条件，48kbps/10fps速率的4个测试序列的950个帧被编码。用于 INTRA(内)帧的量化器的量化系数被设置为15，和被跳跃的帧数被设置为每 10fps为2。在各种推荐的差错分布中，选择使用三种宽带CDMA差错分布， 它们的特征如表1所示。

表1 差错分布 多普勒频率[Hz] 平均BER 平均突发长度[位] 差错1 70 1.260E-3 17 差错2 5.3 8.170E-5 11 差错3 211 9.370E-5 11

表2到表5示出了对前500个被译码帧以dB测量的平均PSNR(峰值信 号与噪声比值)。对于每种差错分布来讲，每种情况的帧损失几乎是不变的。

特别是，图2示出了信道差错相对于速率为32kbps/10fps的第一取样序 列(称之为“母和子序列”)的平均PSNR。表3示出了信道差错相对于速率 为32kbps/10fps的第二取样序列(称之为“载体序列”)的平均PSNR。表4 示出了信道差错相对于速率为48kbps/10fps的第三取样序列(称之为 “Forman(福尔曼)序列”)的平均PSNR。表5示出了信道差错相对于第四取 样序列(称之为“New(新闻)序列”)的平均PSNR。

表2 层(位速率) 差错1 差错2  差错3 H.263++(32kbps) 27.34 29.63  29.10 位分割(DP) 29.10 30.02  29.98 DP+层2 30.26 30.89  30.03 DP+层2/3 30.87 31.02  30.29

表3 层(位速率) 差错1 差错2 差错3 H.263++(32kbps) 28.38 29.96 29.68 数据分割(DP) 29.79 30.01 29.98 DP+层2 30.02 30.30 30.10 DP+层2/3 30.08 30.57 30.37

表4 层(位速率) 差错1 差错2 差错3 H.263++(48kbps) 24.78 28.10 27.69 数据分割(DP) 28.89 29.77 29.42 DP+层2 29.56 30.02 29.42 DP+层2/3 29.87 30.10 29.97

表5  层(位速率) 差错1 差错2 差错3  H.263++(48kbps) 25.35 30.47 30.01  数据分割(DP) 28.65 30.94 30.30  DP+层2 29.84 31.10 30.93  DP+层2/3 30.04 31.77 31.22

如表2-5所示，在使用简单的H.263+编码的情况下、在以数据分割(DP) 为基础编码的情况下、在DP基础上添加层2的情况下和在添加层2和层3 的情况下，平均值是顺序增加的。特别是，参看图2，对于差错1，在使用 第一取样序列的情况下，在使用传统的H.263+编码的情况下，平均PSNR是 27.34dB，在以DP为基础编码的情况下，平均PSNR是29.10dB，在以DB 为基础添加层2的情况下，PSNR是30.26dB，而在DP基础上添加层2和 层3的情况下，PSNR是30.87dB。

根据与使用D1条的差错分布的图像质量比较显示结果，使用简单的 H.263++能够在无差错信道状态下产生最佳图像质量。但是，在易出现差错 的信道中的容错更加影响图像的质量。根据本发明的编码和译码方法能够明 显减少由易出现差错信道引起的致命错误图像的发生，所以，改善了整个图 像的质量。

另外，压缩比和编码效率通常与差错鲁棒性(robustness)成反比。在给定 具有某个位预算的信道时，需要将冗余信息添加到以减少压缩比形式牺牲编 码效率的源编码的位流中，以便使被编码的位流具有更强的容错性。除了上 述特征之外，另外一个优点是在进行速率控制时冗余具有固定长度。用于冗 余信息的位数量的变化可以导致非常好地逼近所希望的速率控制。

如上所述，根据本发明的视频编码和译码方法可以被用在视频编码器- 译码器(CODEC)中，以避免在易出现差错信道中的错误译码，从而改善 PSNR，借此增强整个图像的质量。

另外，根据本发明的视频编码和译码方法可以分别利用视频编码和译码 装置执行。视频编码装置(未示出)最好包括信道信息接收单元、附加层确定 单元和编码单元。信道信息接收部分接收表示信道差错分布的信道状态信 息。附加层确定单元确定是否需要附加层。编码单元产生包含图像数据信息 和管理信息的第一层数据字段。另外，编码部分将包含与有关第一层的信息 对应的冗余信息的第一附加信息作为第二层数据字段添加到第一层数据字 段中。另外，如果附加层确定单元确定只需要第二层或者第二和第三层都需 要，那么，编码单元将把包含与第一层的信息对应的其它冗余信息的第二附 加信息添加到包含第一辅助信息的信号中。

视频译码装置(未示出)最好包括位流输入单元、识别单元和译码单元。 位流输入单元将已经被利用分层结构自适应添加了冗余信息的视频位流输 入给由语法划分的数据包中。识别部分检测来自视频位流的再同步标志 (Resync Marker)，以规定第一层，和识别指出在第一层中存在附加层的第一 标记位。如果第一标记位表示存在附加层，则识别单元识别指出第二层开始 的标志。另外，识别单元识别指出第三层存在的第二标记位。

如果第一标记位表示不存在附加层，则译码单元对第一层译码，如果第 二标记位表示不存在第三层，则译码单元对第一和第二层译码。另外，如果 第二标记位表示存在第三层，则译码单元对第一、第二和第三层译码。

通过运行来自计算机可用介质的程序，根据本发明的视频编码和译码方 法可以被应用于通用数字计算机中，计算机可用介质包括但不局限于诸如磁 存储介质(例如ROM、软盘、硬盘等)、光可读介质(例如CD-ROM、DVD 等)和载波(例如经过Internet传输)的存储介质。从这里所包含的对本发明的 描述中，普通计算机编程人员可以得到用于执行本发明的功能程序、代码和 代码段。