首页 / 专利库 / 视听技术与设备 / 视频编码层 / 细粒可调节视频残差信号的编码解码系统和方法

细粒可调节视频残差信号的编码解码系统和方法

阅读:285发布:2022-01-16

专利汇可以提供细粒可调节视频残差信号的编码解码系统和方法专利检索,专利查询,专利分析的服务。并且本 发明 揭示了一种 视频编码 器和一种视频 解码器 。这种视频 编码器 包括接收输入 视频 帧 流和从中产生压缩 基层 视频数据以便传输给成流视频接收机的基层 电路 。这种视频编码器还包括接收原始变换系数(O)和重建的基层变换系数(B)和从中产生一个正比于原始变换系数(O)与重建的基层变换系数(B)之差的残差 信号 (R)的增强层电路。增强层电路将残差信号(R)的符号和残差信号(R)的各个比特平面编码后发送给成流视频接收机。这种视频解码器包括确定重建的基层变换系数的基层电路和确定重建的增强层变换系数的增强层电路。,下面是细粒可调节视频残差信号的编码解码系统和方法专利的具体信息内容。

1.一种视频编码器(114),所述视频编码器包括:
基层电路(410),所述基层电路能够接收输入视频流和从中 产生适合传输给一个成流视频接收机(130)的压缩基层视频数据, 所述基层视频数据包括与所述输入视频帧流关联的多个原始变换系 数(O)和通过对所述多个原始变换系数(O)量化和去量化产生的多 个重建的基层变换系数(B);以及
增强层电路(450),所述增强层电路能够接收所述多个原始变 换系数(O)和所述多个重建的基层变换系数(B),从中产生一个正 比于所述多个原始变换系数(O)与所述多个重建的基层变换系数(B) 之差的残差信号(R),所述增强层电路(450)将所述残差信号(R) 的符号编码后发送给所述成流视频接收机(130)。
2.在权利要求1中所提出的视频编码器(114),其中所述基 层电路(410)包括一个能够产生所述多个原始变换系数(O)的变换 电路(414)。
3.在权利要求2中所提出的视频编码器(114),其中所述变 换电路(414)是一个离散余弦变换(DCT)电路。
4.在权利要求1中所提出的视频编码器(114),其中所述基 层电路(410)包括能够从所述多个原始变换系数(O)中产生所述多 个重建的基层变换系数(B)的一个量化电路(416)和一个逆量化电 路(424)。
5.在权利要求1中所提出的视频编码器(114),其中所述增 强层电路(450)包括一个能够将所述多个原始变换系数(O)与所述 多个重建的基层变换系数(B)相比较的残差计算电路(454)。
6.一种视频解码器(134),所述视频解码器包括:
基层电路(510),所述基层电路能够接收压缩基层视频数据和 从中确定与量化所述压缩基层视频数据关联的多个重建的基层变换 系数(B);以及
增强层电路(550),所述增强层电路能够接收与所述压缩基层 视频数据关联的增强层视频数据和从中确定一个残差信号(R)和与 所述残差信号(R)关联的符号,所述增强层电路(550)还能够从所 述残差信号(R)和所述多个重建的基层变换系数(B)中重建多个增 强层变换系数(E)。
7.在权利要求6中所提出的视频解码器(134),其中所述增 强层电路(550)包括一个能够从所述多个重建的增强层变换系数(E) 中产生多个解压缩增强层视频帧的逆变换电路(558)。
8.在权利要求7中提出的视频解码器(134),其中所述逆变 换电路(558)是一个离散余弦反变换(IDCT)电路(558)。
9.在权利要求6中所提出的视频解码器(134),其中所述增 强层电路(550)包括一个能够将所述残差信号(R)与所述多个重建 的基层变换系数(B)相加的计算电路(554)。
10.在权利要求6中所提出的视频解码器(134),其中所述增 强层电路(550)包括一个能够接收所述增强层视频数据和从中确定 所述残差信号(R)和与所述残差信号(R)关联的所述符号的增强层 解码电路(552)。
11.一种操作一个视频编码器(114)的方法,所述视频编码 器(114)包括1)能够接收输入视频帧流和从中产生适合传输给一个 成流视频接收机(130)的压缩基层视频数据的基层电路和2)能够从 中产生与所述压缩基层视频数据关联的和适合传输给所述成流视频 接收机(130)的增强层视频数据的增强层电路(450),所述方法包 括下列步骤:
产生多个与所述输入视频帧流关联的多个原始变换系数(O);
通过对所述多个原始变换系数进行量化和去量化产生多个重建 的基层变换系数(B);
从所述多个原始变换系数(O)和所述多个重建的基层变换系数 (B)中产生一个正比于所述多个原始变换系数(O)与所述多个重建 的基层变换系数(B)之差的残差信号(R);以及
将所述残差信号的符号编码后发送给成流视频接收机(130)。
12.在权利要求11中所提出的方法,其中所述基层电路(410) 包括一个能够产生所述多个原始变换系数(O)的变换电路(414)。
13.在权利要求12中所提出的方法,其中所述多个原始变换系数 (O)是离散余弦变换(DCT)系数。
14.在要求11中所提出的方法,其中所述产生多个原始变换系数 (O)的步骤包括对所述输入视频帧流进行量化和去量化从而产生所 述多个原始变换系数(O)的子步骤。
15.在权利要求11中所提出的方法,其中所述产生残差信号(R) 的步骤包括将所述多个原始变换系数(O)与所述多个重建的基层变 换系数(B)相比较的步骤。
16.一种操作一个视频解码器(134)的方法,所述视频解码器 (134)包括1)能够接收压缩基层视频数据的基层电路(510)和2) 能够接收与所述压缩基层视频数据关联的增强层视频数据的增强层 电路(550),所述方法包括下列步骤:
从所述压缩基层视频数据中确定与量化所述压缩基层视频数据 关联的多个重建的基层变换系数(B);以及
从所述增强层视频数据中确定一个残差信号(R)和与所述残差 信号(R)关联的符号;以及
从所述残差信号(R)和所述多个重建的基层变换系数(B)中重 建多个增强层变换系数(E)。
17.在权利要求16中所提出的方法,其中所述增强层电路(550) 包括一个能够从所述多个重建的增强层变换系数(E)中产生多个解 压缩增强层视频帧的逆变换电路(558)。
18.在权利要求17中所提出的方法,其中所述逆变换电路(558) 是一个离散余弦反变换(IDCT)电路(558)。
19.在权利要求16中所提出的方法,其中所述重建的步骤包括将 所述残差信号(R)与所述多个重建的基层变换系数(B)相加的步 骤。
20.在权利要求16中所提出的方法,其中所述确定残差信号的步 骤包括对所接收的增强层视频数据解码和从中确定所述残差信号(R) 和与所述残差信号(R)关联的所述符号的步骤。
21.一种电视接收机(130),所述电视接收机包括:
一个能够接收和存储压缩基层视频数据和压缩增强层视频数据 的解码缓存器(132);以及
一个与所述解码缓存器(132)连接的视频解码器(134),所述 视频解码器包括:
基层电路(510),所述基层电路能够接收压缩基层视频数 据和从中确定与量化所述压缩基层视频数据关联的多个重建的 基层变换系数(B),以及
增强层电路(550),所述增强层电路能够接收与所述压缩 基层视频数据关联的所述压缩增强层视频数据和从中确定一个 残差信号(R)和与所述残差信号(R)关联的符号,所述增强层 电路(550)还能够从所述残差信号(R)和所述多个重建的基层 变换系数(B)中重建多个增强层变换系数(E)。
22.在权利要求21中所提出的电视接收机(130),其中所述增 强层电路(550)包括一个能够从所述多个重建的增强层变换系数(E) 中产生多个解压缩增强层视频帧的逆变换电路(558)。
23.在权利要求22中提出的电视接收机(130),其中所述逆变 换电路(558)是一个离散余弦反变换(IDCT)电路(558)。
24.在权利要求21中所提出的电视接收机(130),其中所述增 强层电路(550)包括一个能够将所述残差信号(R)与所述多个重建 的基层变换系数(B)相加的计算电路(554)。
25.在权利要求21中所提出的电视接收机(130),其中所述增 强层电路(550)包括一个能够接收所述增强层视频数据和从中确定 所述残差信号(R)和与所述残差信号(R)关联的所述符号的增强层 解码电路(552)。
26.一些供在一个能够接收压缩基层视频数据和与所述压缩基 层视频数据关联的增强层视频数据的图象处理系统(130)内使用的 存储在一种计算机可读存储媒体(135)上的对所述增强层视频数据 解码的计算机可执行处理步骤,所述计算机可执行处理步骤包括下列 步骤:
从所述压缩基层视频数据中确定与量化所述压缩基层视频数据 关联的多个重建的基层变换系数(B);
从所述增强层视频数据中确定一个残差信号(R)和与所述残差 信号(R)关联的符号;以及
从所述残差信号(R)和所述多个重建的基层变换系数(B)中重 建多个增强层变换系数(E)。
27.在权利要求26中所提出的存储在计算机可读存储媒体 (135)上的计算机可执行处理步骤,所述处理步骤还包括从所述多 个重建的增强层变换系数(E)产生多个解压缩增强层视频帧的步 骤。
28.在权利要求27中所提出的存储在计算机可读存储媒体 (135)上的计算机可执行处理步骤,其中所述产生多个解压缩增强 层视频帧的步骤包括对所述多个重建的增强层变换系数进行逆变换 的步骤。
29.在权利要求28中提出的存储在计算机可读存储媒体(135) 上的计算机可执行处理步骤,其中所述逆变换步骤包括执行离散余弦 反变换(IDCT)的步骤。
30.在权利要求26中所提出的存储在计算机可读存储媒体上的 计算机可执行处理步骤,其中所述重建的步骤包括将所述残差信号 (R)与所述多个重建的基层变换系数(B)相加的步骤。
31.一种视频系统,所述视频系统包括:
一个电视接收机(130),所述电视接收机包括:
一个能够接收和存储压缩基层视频数据和压缩增强层视频 数据的解码缓存器(132),以及
一个与所述解码缓存器(132)连接的视频解码器(134), 所述视频解码器包括
基层电路(510),所述基层电路能够接收压缩基层视 频数据和从中确定与量化所述压缩基层视频数据关联的多 个重建的基层变换系数(B),以及
增强层电路(550),所述增强层电路能够接收与所述 压缩基层视频数据关联的所述压缩增强层视频数据和从中 确定一个残差信号(R)和与所述残差信号(R)关联的符 号,所述增强层电路(450)还能够从所述残差信号(R) 和所述多个重建的基层变换系数(B)中重建多个增强层变 换系数(E);以及
一个与所述电视接收机(130)连接的视频显示器(136),用来 显示从所述基层视频数据和含有所插入的全零比特平面的所述增强 层视频数据得出的电视图像。
32.在权利要求31中所提出的视频系统(130),其中所述增强 层电路(550)包括一个能够从所述多个重建的增强层变换系数(E) 中产生多个解压缩增强层视频帧的逆变换电路(558)。
33.在权利要求32中提出的视频系统(130),其中所述逆变换 电路(558)是一个离散余弦反变换(IDCT)电路(558)。
34.在权利要求31中所提出的视频系统(130),其中所述增强 层电路(550)包括一个能够将所述残差信号(R)与所述多个重建的 基层变换系数(B)相加的计算电路(554)。
35.在权利要求31中所提出的视频系统(130),其中所述增强 层电路(550)包括一个能够接收所述增强层视频数据和从中确定所 述残差信号(R)和与所述残差信号(R)关联的所述符号的增强层解 码电路(552)。
36.一种可发送的增强层视频信号,所述可发送的增强层视频信 号通过下列步骤产生:
在一个视频编码器(114)的基层电路(410)内接收输入视频帧 流和从中产生适合传输给成流视频接收机(130)的压缩基层视频数 据;
产生多个与所述输入视频帧流关联的多个原始变换系数(O);
产生与所述多个原始变换系数(O)关联的多个重建的基层变换 系数(B);
从所述多个原始变换系数(O)和所述多个重建的基层变换系数 (B)中产生一个正比于所述多个原始变换系数(O)与所述多个重建 的基层变换系数(B)之差的残差信号(R);以及
对所述残差信号的符号编码和对所述残差信号编码,从而生成所 述可发送的增强层视频信号。
37.在权利要求36中所提出的可发送的增强层视频信号,其中所 述基层电路(410)包括一个能够产生所述多个原始变换系数(O) 的变换电路(414)。
38.在权利要求37中所提出的可发送的增强层视频信号,其中所 述多个原始变换系数(O)是离散余弦变换(DCT)系数。
39.在要求36中所提出的可发送的增强层视频信号,其中所述产 生多个原始变换系数(O)的步骤包括对所述输入视频帧流进行量化 和去量化从而产生所述多个原始变换系数(O)的子步骤。
40.在权利要求36中所提出的可发送的增强层视频信号,其中所 述产生残差信号(R)的步骤包括将所述多个原始变换系数(O)与所 述多个重建的基层变换系数(B)相比较的步骤。
41.一种网络系统,所述网络系统包括:
至少一个成流视频接收机(130);
一个成流视频发送机(110),所述成流视频发送机包括:
一个视频编码器(114),所述视频编码器包括
基层电路(410),所述基层电路能够接收输入视频帧 流和从中产生适合传输给所述至少一个成流视频接收机 (130)的压缩基层视频数据,所述基层视频数据包括与所 述输入视频帧流关联的多个原始变换系数(O)和与所述多 个原始变换系数(O)关联的多个重建的基层变换系数 (B),以及
增强层电路(450),所述增强层电路能够接收所述多个 原始变换系数(O)和所述多个重建的基层变换系数(B), 从中产生一个正比于所述多个原始变换系数(O)与所述多个 重建的基层变换系数(B)之差的残差信号(R),所述增强 层电路(450)将所述残差信号(R)的符号编码后发送给所 述至少一个成流视频接收机(130);以及
一个可变带宽网络(120),所述可变带宽网络能够将所述基层 视频数据和所述增强层视频数据从所述成流视频发送机(110)传送 给所述至少一个成流视频接收机(130)。
42.在权利要求11中所提出的网络系统,其中所述基层电路 (410)包括一个能够产生所述多个原始变换系数(O)的变换电路 (414)。
43.在权利要求42中所提出的网络系统,其中所述变换电路 (414)是一个离散余弦变换(DCT)电路。
44.在权利要求41中所提出的网络系统,其中所述基层电路 (410)包括能够从所述多个原始变换系数(O)产生所述多个重建的 基层变换系数(B)的一个量化电路(416)和一个逆量化电路 (424)。
45.在权利要求41中所提出的网络系统,其中所述增强层电路 (450)包括一个能够将所述多个原始变换系数(O)与所述多个重建 的基层变换系数(B)相比较的残差计算电路(454)。

说明书全文

发明视频编码系统有关,具体地说,所针对的是成流视频数 据(streaming video data)的编码系统和解码系统。

在包括互联网的数据网上实时形成多媒体内容的数据流近年来 已经成为越来越普遍的应用。各种各样的交互型和非交互的多媒体应 用,诸如点播新闻、网络电视、电视会议之类,都依赖于视频成流技 术。不同于“下载”视频文件可以首先“非实时”下载而以后“实时” 观看或重放,成流视频应用要求视频发送机在数据网上向视频接收机 发送视频信号,而视频接收机必须对视频信号实时解码和显示。

可调节视频编码(Scalable video coding)是一种对于许多多 媒体应用和采用具有各种各样的处理能解码器的系统中的业务 所希望的特色功能。可调节性(Scalability)允许计算能力低的处 理器只对可调节视频流的一个子集解码。可调节视频还可用于传输带 宽可变的环境。在那些环境中,接入带宽小的接收机可以只接收可调 节视频流的一个子集予以解码,而这个子集的数据量与可用带宽成正 比。

一些诸如MPEG-2和MPEG-4之类的主导视频压缩标准已经采纳了 一些视频可调节方法。在这些标准中已经定义了时间、空间和质量(例 如,信噪比(SNR))可调节类型。所有的这些方法都包括一个基层 (BL)和一个增强层(EL)。可调节视频流的基层部分通常表示对这 个视频流解码所需的最小数据量。这个视频流的增强层部分表示附加 信息,在由接收机解码后增强视频信号的表现能力。

例如,在一个诸如互联网之类的可变带宽系统中,基层传输率可 以是这个可变带宽系统的最小保证传输率。因此,如果一个用户的最 小保证带宽为256kbps,基层传输率就也可以为256kbps。如果实 际可用带宽为384kbps,这额外的128kbps带宽可以由增强层用来 改善以基层传输率发送的基本信号。

对于每种视频可调节性,确定了一定的可调节性结构。可调节性 结构规定了基层的图片和增强层的图片之间的关系。可调节性中的一 种是细粒可调节性(fine-granular scalability)。用这种可调节 性编码的图像可以渐进地解码。也就是说,解码器可以只对图像编码 数据中的一个子集解码和显示。随着接收到更多的数据,解码得到的 图像的质量也逐渐提高,直到全部信息都被接收、解码和显示。

所提出的MPEG-4标准针对的是基于非常低的比特率编码的视频 流应用,诸如电视电话、移动多媒体/音像通信、多媒体电子邮件、 遥感、交互型游戏之类。在MPEG-4标准内,细粒可调节性(FGS)已 经认为是联网视频播发的基本技术。FGS主要针对在多种网络上实时 形成视频流的应用。它提供了带宽适应能力,一旦为一个范围的比特 率对内容编码后,就允许视频传输服务器动态地改变传输率而不需要 对视频比特流有深入的认识或进行深入的分析。

在传统的FGS技术内重点是改善内编码的增强层编码效率和视 觉质量。这是证明采用FGS技术代替非可调节的(例如,单层的)或小 粒(例如,多级SNR可调节性)编码方法压缩增强层的合理性所必需 的。

已经提出了许多视频编码技术用于对增强层的FGS压缩,其中包 括小波、比特平面DCT和匹配研究。在1999年3月的韩国汉城MPEG-4 会议上,Optivision提出的比特平面DCT解决方案被选作参考文献。 这个收为FGS参考文献的比特平面编码方案在编码器侧包括下列步 骤:

1.通过从每个原始DCT系数中减去在基层量化和去量化后重 建的DCT系数,在DCT域内进行残差计算;

2.确定在视频目标平面(VOP)内所有残差信号绝对值中的 最大值和表示这个最大值所需的最大比特数n;

3.对于在VOP内的每个,用n个比特以二进制格式表示每个 残差信号绝对值,形成n个比特平面;

4.对残差信号绝对值进行比特平面编码;以及

5.对在基层量化为零的DCT系数进行符号编码。

在解码器侧执行的步骤是这些编码步骤的逆步骤。要注意的是, 当前实现DCT系数的比特平面编码有赖于基层量化信息。增强层的输 入信号主要是作为经运动补偿的图片的原始DCT系数与在基层编码期 间所用的较低的量化单元边界之差(这在基层重建的DCT系数为非零 时是成立的;否则用零作为减除值)计算出来的。增强层信号,在这 里称为“残差(residual)”信号,按逐个比特平面压缩。由于较低 的量化单元边界用作计算残差信号的“基准”信号,因此除了基层DCT 量化为零的情况,残差信号总是正的。这样就没有必要对残差信号的 符号位编码。

这些现有的对成流视频编码和解码的方法的一个主要缺点是比 较复杂。诸如量化参数之类的的大量信息必须在基层编码器与增强层 编码器之间和在基层解码器与增强层解码器之间传送。此外,在增强 层内残差信号的编码和解码是有条件的操作,取决于基层DCT是否量 化为零。这使所用的编码解码器(codec)更为复杂。

因此,在这个技术领域内有必要改善用于成流视频系统的编码器 和编码技术。特别是有必要开发采用较简单的方法对残差信号进行编 码和解码的编码器和解码器。具体地说,有必要开发不用根据基层DCT 是否量化为零的编码技术。还有必要开发不用根据基层DCT是否量化 为零的解码技术。

为了克服以上所述的现有技术不足,本发明提出了一种新的技 术,可以减小增强层压缩方案的复杂性。本发明所提出的技术减小了 例如当前在MPEG-4标准内收为参考的残差DCT系数的比特平面压缩方 案的复杂性。然而,要指出到的是,所提出的改进并不局限于DCT变 换。熟悉该技术的人员容易理解,本发明的原理也可以成功地用于压 缩基层和增强层的其他变换(例如,小波变换)。然而,在以下说明中, 只是以DCT系数为例进行说明。

因此,在本发明的一个优选实施例中,所提供的视频编码器包括 能够接收输入的视频帧流和从中产生适合传输给成流视频接收机的 经压缩的基层视频数据的基层电路。基层视频数据包括与输入视频帧 流关联的多个原始变换系数(O)和通过对这些原始变换系数量化和 去量化产生的多个重建的基层变换系数(B)。视频编码器还包括能 够接收这些原始变换系数(O)和这些重建的基层变换系数(B)和从 中产生一个残差信号(R)的增强层电路。残差信号(R)正比于原始 变换系数(O)与重建的基层变换系数(B)之差。增强层电路将残差 信号(R)的符号编码后发送给成流视频接收机。在本发明的一个实 施例中,基层电路包括一个能够产生这些原始变换系数(O)的变换 电路。

在本发明的另一个实施例中,这个变换电路是一个离散余弦变换 (DCT)电路。

在本发明的又一个实施例中,基层电路包括能够从多个原始变换 系数(O)产生多个重建的基层变换系数(B)的量化电路和逆量化电 路。

在本发明的又一个实施例中,增强层电路包括一个能够将这些原 始变换系数(O)与这些重建的基层变换系数(B)相比较的残差计算 电路。

本发明也可以体现为一种解码器。按照本发明的一个优选实施 例,所提供的视频解码器包括能够接收压缩基层视频数据和从中确定 由对基层视频数据量化和去量化产生的多个重建的基层变换系数(B) 的基层电路。视频解码器还包括能够接收与压缩基层视频数据关联的 增强层视频数据和从中确定残差信号(R)和与残差信号(R)关联的 符号的增强层电路。增强层电路还能够从残差信号(R)和重建的基 层变换系数(B)重建多个增强层变换系数(E)。

在本发明的一个实施例中,增强层电路包括一个能够从这些重建 的增强层变换系数(E)产生多个解压缩增强层视频帧的逆变换电 路。

在本发明的另一个实施例中,这个逆变换电路是一个离散余弦反 变换(IDCT)电路。

在本发明的又一个实施例中,增强层电路包括一个能够将残差信 号(R)与这些重建的基层变换系数(B)相加的计算电路。

在本发明的又一个实施例中,增强层电路包括一个能够接收增强 层视频数据和从中确定残差信号(R)和与残差信号(R)关联的符号 的增强层解码电路。

以上相当概括地概述了本发明的功能部件和技术优点,使熟悉该 技术的人员可以更好地理解以下的发明详细说明。本发明的其他功能 部件和优点将在下文说明,这些形成了本发明的权利要求书的主题。 熟悉该技术的人员可以看到,他们很容易以所揭示的构思和具体实施 例为基础修改或设计出其他结构来贯彻本发明的同样意图。熟悉该技 术的人员也可以认识到,这样的等效结构广义上并不背离本发明的精 神和范围。

在对本发明进行详细说明前,给出在这个专利文件中所用的一些 词和词组的定义可能是有益的:所谓“包括”及其派生词是指没有限 制意义的包括;所谓“或”是指也包括,意味着和/或;词组“与… 关联”和“与之关联”及其派生词可以指包括、包括在…内、含有、 包含…在内、与…连接、与…有关、与…配合、与…邻近、具 有、从属之类;而术语“控制器”、“处理器”或“装置”是指任何 控制至少一种操作的器件、系统或其部分,这样的器件可以用硬件固件软件实现,也可以用它们的组合实现。应注意的是,与任何具 体控制器关联的功能可以集中或分布实现,无论是在本地还是远地实 现。在整个这篇专利文件中提供了一些词和词组的定义,原就熟悉该 技术领域的应该理解,在许多情况(即使不是大多数情况)下,这样 一些定义适用于这样定义的词和词组以前以及将来所表达的意义。

为了更完整地理解本发明及其优点,下面将结合附图进行说明, 在这些附图中同样的标注号码标注的是同样的对象,这些附图中:

图1例示了按照本发明的一个实施例将成流视频从一个成流视频 发送机通过数据网端到端传输给一个成流视频接收机的情况;

图2例示了按照现有技术的一个实施例实现的一个典型细粒可调 节(FGS)编码器;

图3例示了按照现有技术的一个实施例实现的一个典型细粒可调 节(FGS)解码器;

图4例示了按照本发明的一个实施例实现的一个典型细粒可调节 (FGS)编码器;

图5例示了按照本发明的一个实施例实现的一个典型细粒可调节 (FGS)解码器;

图6为例示在图4这个按照本发明的一个实施例实现的典型编码 器中执行的典型编码操作的流程图;以及

图7为例示在图5这个按照本发明的一个实施例实现的典型解码 器中执行的典型解码操作的流程图。

下面讨论的图1至7以及在这个专利文件中用来说明本发明的原 理的各个实施例都是例示性的,无论如何不应该理解为对本发明的范 围有所限制。熟悉该技术的人员可以理解,本发明的原理可以用任何 适当配置的视频编码器和视频解码器实现。

图1示出了按照本发明的一个实施例将成流视频从成流视频发送 机110通过数据网120端到端传输给一个或多个诸如典型成流视频接 收机130之类的成流视频接收机的视频传输系统。根据应用情况,成 流视频发送机110可以是多种视频帧信源中的任何一个信源,包括数 据网服务器、电视台发射机、有线电视网、台式个人计算机(PC) 等等。

成流视频发送机110包括视频帧信源112、视频编码器114、存储 器115和编码缓存器116。视频帧信源112可以是任何能够产生无压缩 视频帧序列的设备,包括电视天线和接收装置、录象重放装置、摄像 机、能够存储“原始”影像剪辑的磁盘存储装置等等。无压缩视频帧 以给定的图片率(或“成流率”)进入视频编码器114后,按照任何已 知压缩算法或装置(例如MPEG-4编码器)压缩。然后,视频编码器114 将压缩视频帧传送给编码缓存器116缓存,以便通过数据网120传输。 数据网120可以是任何适当的网络,可以包括诸如互联网之类的公用 数据网和诸如企业拥有的局域网(LAN)或广域网(WAN)之类的专用 数据网两者的一部分。

成流视频接收机130包括解码缓存器132、视频解码器134、存储 器135和视频显示器136。根据应用情况,成流视频接收机可以是多种 视频帧接收机中的任何一个接收机,包括电视接收机、台式个人计算 机(PC)、盒式磁带录像机(VCR)等等。解码缓存器132接收和存 储来自数据网120的成流压缩视频帧。解码缓存器132然后按照需要将 压缩视频帧传送给视频解码器134。视频解码器134对这些视频帧以与 视频编码器114压缩视频帧的速率相同的速率(在理论上)解压缩。视 频解码器134将解压缩帧发送给视频显示器136,在视频显示器的屏幕 134上显示。

在本发明的一个优选实施例中,视频编码器114可以实现为一个 由通用数据处理器执行的软件程序,诸如标准的MPEG编码器之类。在 这样的实现中,视频编码器114可以包括一系列存储在存储器115内的 计算机可执行指令。存储器115可以包括任何类型的计算机存储媒 体,如固定磁盘、活动磁盘、CD-ROM、磁带、录像磁盘等等。此外, 在本发明的一个优选实施例中,视频解码器134也可以实现为一个由 通用数据处理器执行的软件程序,诸如传统的MPEG解码器之类。在这 样的实现中,视频解码器134可以包括一系列存储在存储器135内的计 算机可执行指令。存储器135也可以包括任何类型的计算机存储媒 体,如固定磁盘、活动磁盘、CD-ROM、磁带、录像磁盘等等。

图2示出了按照先前技术的一个实施例实现的典型视频编码器 200。视频编码器200包括基层编码单元210和增强层编码单元250。视 频编码器200接收的原始视频信号传送给基层编码单元210,用来产生 一个基层比特流,以及传送给增强层编码单元250,用来产生一个增 强层比特流。

基层编码单元210含有一个主处理支路,它包括运动预测电路 212、离散余弦变换(DCT)电路214、量化电路216、熵编码电路218 和基层比特缓存器220,用来产生基层比特流。基层编码单元210还含 有一个反馈支路,它包括逆量化电路224、离散余弦反变换(IDCT) 电路226和帧存储电路228。

运动预测电路212接收到原始视频信号后,估计出的这个当前视 频帧与由帧存储器228提供的基准帧之间的运动量,以像素特性改变 情况表示。例如,MPEG标准规定,运动信息可以表示为帧的每个16×16 子块的1至4个空间运动矢量。DCT电路214接收到运动预测电路212输 出的运动差分估计后,用已知的去相关技术,诸如离散余弦变换 (DCT),将它从空间域变换到频率域。

量化电路216接收到DCT电路214输出的原始DCT系数(标为“O”) 后,用众所周知的量化技术进一步压缩运动补偿预测信息。量化电路 216确定量化变换输出需用的一个除法因子。量化电路216的输出包括 每个原始DCT系数的较低的量化单元边界值(标为“L”)。

然后,熵编码电路218接收到来自量化电路216的量化DCT系数 后,用可变长度编码技术进一步压缩数据,用比较短的码表示出现概 率高的区域而用比较长的码表示出现概率较低的区域。基层比特缓存 器220接收到熵编码器218的输出后为之提供必要的缓存,以便输出压 缩基层比特流(BLB)

逆量化电路224对量化电路216的输出去量化,产生一个表示量化 电路216的变换输入的信号。这个信号包括重建的基层DCT系数(标为 “B”)。众所周知,逆量化过程是一个“有损”过程,因为没有恢复 量化电路216执行的除法中丢失的那些除余比特。IDCT电路226对逆量 化电路224的输出解码,产生一个信号,它提供了原始视频信号经变 换和量化过程修改后的帧表示。帧存储电路228从逆变换电路226接收 到解码的表示帧后,将它存储起来作为输出给运动预测电路212的基 准帧。运动预测电路212用这个存储帧作为确定在原始视频信号中的 运动改变情况的输入基准信号。

增强层编码单元250包括基准计算电路252、残差计算电路254、 增强层编码电路256和增强层比特缓存器258。基准计算电路252和残 差计算电路254接收到原始DCT系数(O)、较低的量化单元边界值(L) 和重建的基层DCT系数(B)后,从中产生残差信号(标为“R”),由 残差计算电路254输出。残差信号的计算情况如下:如果重建的基层 DCT系数(B)等于零(B=O),就将残差信号取为原始DCT系数(R =O)。否则,将残差信号(R)取为等于原始DCT系数(O)与较低 的量化单元边界值(L)之差(即,R=O-L)。

这个表示由于变换和量化过程在重建的基层帧中失去的图像信 息的残差信号(R)于是在增强层编码电路256内编码。如果重建的基 层DCT系数(B)等于零(B=O),增强层编码电路256就对残差信 号(R)的符号编码,在发送了残差信号的这些比特平面后发送。如 果重建的基层DCT系数(B)为非零,增强层编码电路256就只将残差 信号的比特平面编码后发送。编码残差信号存储在增强层比特缓存器 258内,以便传输。增强层比特缓存器258的输出是增强层比特流 (ELB)。

图3示出了按照现有技术的一个实施例实现的典型视频解码器 300。视频解码器300包括基层解码单元310和增强层解码单元350。 基层解码单元310包括熵解码电路312、逆量化电路314、离散余弦反 变换(IDCT)电路316、运动补偿电路318和帧存储电路320。

熵解码单元312接收到基层比特流后进行与视频编码器300的基 层熵编码过程相反的处理,产生一个与基层编码单元210的量化电路 216的输出类似的量化数据信号。熵解码电路312输出的量化信号含有 诸如运动信息量化步长和宏块类型之类的信息。逆量化电路314接收 到熵解码电路312的解码量化(去量化)输出后,执行逆量化,产生一 个相当于逆量化电路224产生的重建的基层DCT系数(B)的部分解压 缩信号。逆量化电路314还将这些较低的量化单元边界值(L)输出给 增强层解码单元350,情况如下面所述。

IDCT电路316从逆量化电路314接收到重建的基层DCT系数(B) 后,执行离散余弦反变换操作。这个逆变换产生一个表示视频编码器 200的原始视频输入信号的解压缩运动信号的输出信号。这个解压缩 运动补偿信号由运动补偿电路318接收,运动补偿电路318从中产生基 层视频帧,这些基层视频帧最终与增强层数据合并后发送给视频显示 器。基层视频帧还存储在帧存储电路320内,并且反馈到运动补偿电 路318,供产生后续的基层视频帧用。

增强层解码单元350包括增强层解码单元352、增强DCT计算电路 354、基准计算电路356和离散余弦反变换(IDCT)电路358。增强层 解码电路352从解码缓存器接收到来自解码缓存器的增强层比特流和 逆量化电路314产生的重建的基层DCT系数(B)后,产生残差信号 (R)。如果重建的基层DCT系数为零(B=O),增强层解码电路352 就对残差信号(R)的符号解码,接着对残差信号(R)的各个比特平 面解码。如果重建的基层DCT系数为非零,增强层解码电路352就只对 残差信号(R)的各个比特平面解码。

基准计算电路356接收到较低的量化单元边界值(L)和重建的基 层DCT系数(B)后,利用这些值对增强DCT计算电路354产生增强层解 码和重建的DCT系数(E)进行控制。如果重建的基层DCT系数为零(B =O),增强层解码和重建的DCT系数(E)就等于来自增强层解码电 路352的残差信号(R)(E=R)。如果重建的基层DCT系数为零(B =O),增强层解码和重建的DCT系数(E)就等于来自增强层解码电 路352的残差信号(R)与从逆量化电路314接收到的较低的量化单元 边界值(L)之和(E=R+L)。增强层解码和重建的DCT系数(E) 于是由IDCT 358进行逆变换,产生增强层输出视频帧,接着可以与基 层视频帧合并后发送给视频显示器。

如从以上可以看到的那样,增强层数据的计算、编码、解码和重 建都与基层重建的DCT系数是否为非零以及所用的量化参数(L)紧密 相关。本发明提供了除去这些相关性而得到改善的编码器和解码器。

图4示出了按照本发明的一个实施例实现的典型视频编码器 114。视频编码器114包括基层编码单元410和增强层编码单元450。视 频编码器114接收的原始视频信号传送给基层编码单元410,用来产生 一个基层比特流,以及传送给增强层编码单元450,用来产生一个增 强层比特流。

基层编码单元410含有一个主处理支路,它包括运动预测电路 412、离散余弦变换(DCT)电路414、量化电路416、熵编码电路418 和基层比特缓存器420,用来产生基层比特流(BLB)。基层编码单元 410还含有一个反馈支路,它包括逆量化电路424、离散余弦反变换 (IDCT)电路426和帧存储电路428。基层编码单元410内的这些部件 在功能上相当于现有技术视频编码器200的基层编码单元210内的相 应部件。为了使本发明的说明简明起见,基层编码单元410的这些部 件就不再详细说明,因为这样的说明将是多余的。只要说基层编码单 元410以类似于现有技术视频编码器200内的基层编码单元210的方式 产生原始DCT系数(O)和重建的基层DCT系数(B)就足以清楚了。

增强层编码单元450包括残差计算电路454、增强层编码电路456 和增强层比特缓存器458。如同基层编码单元410,增强层编码单元450 内的这些部件在功能上相当于在现有技术视频编码器200的增强层编 码单元250内的相应部件。同样,为了使本发明的说明简明起见,增 强层编码单元450的这些部件的一般操作就不再详细说明,因为这样 的说明将是多余的。

本发明除去了现有技术视频编码器200内可以看到的基准计算电 路252。残差计算电路454接收到原始DCT系数(0)和重建的基层DCT 系数(B)后,从中产生残差信号(标为“R”)输出。残差信号(R) 为原始DCT系数(O)与重建的基层DCT系数(B)之差(即,R=O-B)。

这个表示由于变换和量化过程而在重建的基层帧中失去的图像 信息的残差信号(R)于是在增强层编码电路456内编码。增强层编码 电路456将残差信号(R)的符号编码后发送,接着再将残差信号的各 个比特平面编码后发送。编码残差信号存储在增强层比特缓存器458 内,以便传输。增强层比特缓存器458的输出是增强层比特流(ELB)。

图5示出了按照本发明的一个实施例实现的典型视频解码器 134。这个视频解码器134包括基层解码单元510和增强层解码单元 550。基层解码单元510包括熵解码电路512、逆量化电路514、离散余 弦反变换(IDCT)电路516、运动补偿电路518和帧存储电路520。基 层解码单元510内的这些部件在功能上相当于现有技术视频解码器 300的基层解码单元310内的相应部件。为了使本发明的说明简明起 见,基层解码单元510的这些部件就不再详细说明,因为这样的说明 将是多余的。只要说基层解码单元510以类似于现有技术视频解码器 300内的基层解码单元310的方式产生重建的基层DCT系数(B)就足以 清楚了。

增强层解码单元550包括增强层解码单元552、增强DCT计算电路 554和离散余弦反变换(IDCT)电路558。如同基层解码单元510,增 强层解码单元550内的这些部件在功能上相当于现有技术视频解码器 300的增强层解码单元350内的相应部件。同样,为了使本发明的说明 简明起见,增强层编码单元550的这些部件的一般操作就不再详细说 明,因为这样的说明将是多余的。

本发明除去了现有技术解码器300内可以看到的基准计算电路 356。增强层解码电路552接收到从解码缓存器输入的增强层比特流 后,产生残差信号(R)。增强层解码电路552对输入的残差信号(R) 的符号解码后接着对残差信号(R)的各个比特平面解码。增强DCT 计算电路554接收到残差信号(R)后,产生增强层解码和重建的DCT 系数(E)。

增强层解码和重建的DCT系数(E)等于来自增强层解码电路552 的残差信号(R)与从基层解码单元510内的逆量化电路514接收到的 重建的基层DCT系数(B)之和。增强层解码和重建的DCT系数(E) 于是由IDCT 558进行逆变换,产生增强层输出视频帧,接着可以与基 层视频帧合并后发送给视频显示器。

图6示出了例示按照本发明的一个实施例实现的编码器114的典 型编码操作的流程图600。编码器114从视频帧信源112接收输入视频 帧。运动预测电路412预测所接收的帧与前一帧之差,将这些值传送 给DCT电路414(步骤605)。DCT电路414对输入视频帧信号(经运动 预测电路312运动预测后)执行离散余弦变换,产生原始视频信号的 DCT系数(O)(步骤610)。

然后,编码器114用量化电路416和逆量化电路424对原始DCT系数 (O)进行量化和去量化。这产生重建的基层DCT系数(B),这些系 数传送给逆DCT电路426和残差计算电路454(步骤615)。然后,残差 计算电路454产生等于原始DCT系数(O)与重建的基层DCT系数(B) 之差的残差信号(R)(步骤620)。增强层编码电路456接着对残差信 号(R)的符号和比特平面编码后传送给增强层比特缓存器458,以便 输出给成流视频接收机130(步骤625)。

图7示出了例示按照本发明的一个实施例实现的与视频接收机 130关联的解码器134内执行的典型解码操作的流程图700。基层解码 单元510对进入的基层比特流解码后,对解码值执行逆量化操作,产 生重建的基层DCT系数(B)(步骤705)。然后,基层解码单元510进 行标准的逆DCT和运动补偿处理,产生重建的基层DCT系数(B),重 建基层输出视频信号。

增强层解码电路552对来自增强层比特缓存器458的输入增强层 比特流解码,重新生成残差信号(R)的符号和比特平面(步骤710)。 增强DCT计算电路554将残差信号(R)与重建的基层DCT系数(B)相 加,产生增强层解码和重建的DCT系数(B)(步骤715)。最后,IDCT 电路558对增强层解码和重建的DCT系数(E)执行离散余弦反变换, 生成增强层输出视频帧,予以存储器和/或传送给视频显示器136(步 骤720)。

虽然以上对本发明进行了详细说明,但熟悉该技术的人员应该理 解,他们可以在其中进行各种改变、替换和修改,这并不背离本发明 的精神和范围。

本发明与以下美国专利申请所公开的有关;

1. 1999年7月6日提出的美国专利申请No.09/347832“具有局 部质量增强的细粒可调节视频系统和方法”(“SYSTEMAND METHOD FOR FINE GRANULAR SCALABLE VIDE0 WITH SELECTIVE QUALITY ENHANCEMENT”);

2. 1999年7月6日提出的美国专利申请No.09/347381“利用基 层编码信息改善细粒可调节视频的系统和方法”(“SYSTEM AND METHOD FOR IMPROVED FINE GRANULAR SCALABLE VIDEO USING BASE LAYER CODING INFORMATION”);以及

3. 1999年10月1日提出的美国专利申请No.09/411464“利用 基层量化数据对增强层数据编码和解码的系统和方法”(“SYSTEM AND METHOD FOR ENCODING AND DECODING ENHANCEMENT LAYER DATA USING BASE LAYER QUANTIZATION DATA”)。

以上申请均转让给本发明的受让方。这些相关专利申请中所揭示 的在这里列为参考予以引用。

高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈