技术领域
[0001] 本
发明涉及画面和/或
视频编码，具体地，涉及使用质量可缩放数据流的质量可缩放编码。
背景技术
[0002] ISO/IEC运动画面专家组(MPEG)与ITU-T视频编码专家组(VCEG)的联合视频小组(JVT)的当前项目是开发最新技术视频编码标准H.264/MPEG4-AVC的可缩放扩展，所述最新技术视频编码标准H.264/MPEG4-AVC的可缩放扩展定义于T.Wiegand，G.J.Sullivan，J.Reichel，H.Schwarz 和 M.Wien 的“Scalable Video Coding-Joint Draft7，”Joint Video Team，Doc.JVT-T201，Klagenfurt，Germany，July 2006以及J.Reichel，H.Schwarz和M.Wien的“Joint Scalable VideoModel JSVM-7，”Joint Video Team，Doc.JVT-T202，Klagenfurt，Germany，July 2006中，支持视频序列的时间、空间和SNR可缩放编码或其任何组合。
[0003] ITU-T Rec.&ISO/IEC 14496-10AVC，“Advanced Video Coding forGeneric Audiovisual Services，”version 3，2005中描述的H.264/MPEG4-AVC规定了一种混合视频编
解码器，其中，宏
块预测
信号通过
运动补偿预测在时域中产生，或通过
帧内预测在空间域中产生，这两种预测之后接着都进行残差编码。不带有可缩放性扩展的H.264/MPEG4-AVC编码被称为
单层H.264/MPEG4-AVC编码。与单层H.264/MPEG4-AVC编码相当的率失真性能意味着：典型地，可以10％的比特率实现相同的视觉重现质量。基于上述情况，可以将可缩放性看作：在以任何所支持的空间、时间或SNR
分辨率实现与该特定分辨率下的单层H.264/MPEG4-AVC编码相当的R-D性能的同时，去除部分比特流中的功能。
[0004] 可以将可缩放视频编码(SVC)的基本设计归类为分层视频编解码器。在每一层中，如H.264/MPEG4-AVC中一样，采用运动补偿的预测和帧内预测的基本概念。然而，已经集成了附加层间预测机制，以利用若干空间或SNR层之间的冗余。基本上，SNR可缩放性是通过残差量化来实现的，而对于空间可缩放性，采用运动补偿预测与过
采样金字塔分解的组合。保持了H.264/MPEG4-AVC的时间可缩放性方法。
[0005] 一般而言，
编码器结构取决于应用所需的可缩放性空间。作为示意，图3示出了具有两个空间层902a、902b的典型编码器结构900。在每一层中，采用具有层专用运动参数的906a、b的独立分级运动补偿预测结构904a、b。层间预测概念908利用连续层902a、b之间的冗余，层间预测概念908包括针对运动参数906a、b以及纹理数据910a、b的预测机制。通过与H.264/MPEG4-AVC中类似的变换编码916a、b来获得每一层902a、b的输入画面914a、b的基本表示912a、b，对应的NAL单元(NAL——
网络抽象层)包含运动信息和纹理数据；最低层的基本表示的NAL单元(即912a)与单层H.264/MPEG4-AVC兼容。可以通过所谓的渐进细化像条的附加编码918a、b来改进基本表示的重构质量；可以任意截断对应NAL单元以支持细粒度质量可缩放性(FGS)或灵活比特率适配。复用器920对相应层902a、b的基本层编码916a、b和渐进SNR细化纹理编码918a、b分别输出的结果比特流进行复用，以产生可缩放比特流922。该比特流922在时间、空间和SNR质量上可缩放。
[0006] 概括而言，根据上述视频编码标准H.264/MPEG4-AVC的可缩放扩展，通过使用分级预测结构来提供时间可缩放性。对于这种分级预测结构，可以无需任何改变地使用单层H.264/MPEG4-AVC标准之一。对于空间和SNR可缩放性，必须将附加工具添加至单层H.264/MPEG4-AVC。可以将所有这3种可缩放性类型进行组合，以产生支持较大程度的组合可缩放性的比特流。
[0007] 对于SNR可缩放性，粗粒度可缩放性(CGS)与细粒度可缩放性(FGS)不同。使用CGS，仅支持所选的SNR可缩放性层，并且针对粗速率分级(从一层至下一层的因子为1.5-2)来优化编码效率。FGS实现了在任何任意的并最终字节对齐的点处对NAL单元进行截断。NAL单元表示比特分组，这些比特分组顺次对齐，以表示复用器920输出的可缩放比特流922。
[0008] 为了支持细粒度SNR可缩放性，已经引入了所谓的渐进细化(PR)像条。渐进细化像条包含用于细化重构质量的细化信息，分别可以被来自基本层比特流912a、b的像条使用。甚至更准确地，PR像条的每个NAL单元表示与量化步长的对分(QP下降6)相对应的细化信号。按照以下方式来表示这些信号：在解码器侧，仅需要对每个变换块执行单次反变换。换言之，由PR NAL单元表示的细化信号对已由视频的当前画面分离而成的变换块的变换系数进行细化。在解码器侧，在执行反变换之前，可以使用该细化信号来对基本层比特流内的变换系数进行细化，以重构预测残差的纹理，所述预测残差的纹理用于使用空间和/或时间预测(如通过运动补偿)来重构实际画面。
[0009] 可以在任何任意点截断渐进细化NAL单元，以便能够以细粒度的方式来改进SNR基本层的质量。因此，已经对变换系数
水平的编码顺序进行了
修改。不像(正常)像条中所进行的那样逐宏块地扫描变换系数，而是在分离的路径中在每条路径中扫描变换系数块，仅对变换系数块的几个编码符号进行编码。除了修改的编码顺序之外，对H.264/MPEG4-AVC中规定的CABAC
熵编码进行重用。
[0010] 已经开发了单层H.264/MPEG4-AVC编码标准，用于使用可能的
色度采样结构中的固定采样结构(如分别为4:2:0和4:2:2)。在该标准的不同特性中包括不同的色度采样能
力。对此，参考Marpe，Wiegand，Sullivan：“The H.264/MPEG4Advanced Video Coding Standard and itsapplications”，IEEE Communication Magazine，August 2006，p.134-143。例如，在4:2:0中，在采样点方面，色度或着色采样内容(指示色彩偏离灰色的程度，并由两个色度分量定义)总计仅为
亮度内容(表示明亮度，并且由一个亮度分量定义)的采样数目的四分之一。换言之，亮度分量采样的数目在水平和垂直维度上均为亮度采样数目的一半。根据所使用的标准的特性，用于每采样的编码
精度固定为8比特或10比特。再次参考刚刚提及的文献。为了完整性起见，应注意，根据标准，术语亮度实际上是指非线性或γ校正后的RGB成分的加权和。然而，根据另一观点，可以将亮度视为指示RGB成分的线性关系的亮度(luminance)。根据本
申请，这两种观点将同样适用。
[0011] 一般而言，术语色度采样格式是指相对于相应亮度采样的数目和
位置的色度采样的数目和位置。现在描述3种可能的采样格式的示例。如上所述，根据4:2:0采样，与亮度信号相比，色度信号具有一半的水平分辨率和一半的垂直分辨率。图4中示意了这种格式，图中的叉指示了亮度采样的位置，而圈表示色度采样的位置，其中每个色度采样可以由两个色度分量(如Cb和Cr)组成。另一采样格式为4:2:2，其中色度信号具有亮度信号一半的水平分辨率和与亮度信号相同的垂直分辨率。在图5中示出了这一点。根据4:4:4色度采样格式，色度信号具有与亮度信号或内容分别相同的水平和垂直分辨率。在图6中示意了这一点。
[0012] 当彩色视频源信号分别具有与解码器或播放器所需的动态范围和/或色度采样格式不同的动态范围和/或不同的色度采样格式时，将出现问题。在上述当前SVC工作草案中，仅针对基本层和增强层均表示亮度和色度采样的相应阵列具有相同比特深度的给定视频源的情况规定了可缩放性工具，此外还假设对于基本层和增强层，相对于亮度采样的色度采样(即色度采样格式)是固定的。因此，分别考虑需要不同比特深度和色度采样格式的不同解码器和播放器，必须分别提供专用于每一种比特深度和色度采样格式要求的若干编码流。然而，在速率/失真意义上，这分别意味着增加的开销和降低的效率。
[0013] 因此，期望提供一种克服上述
缺陷的编码方案。
发明内容
[0014] 本发明的目的是提供一种编码方案，实现一种更有效的方式来提供画面或视频的编码，所述编码适用于不同比特深度或不同比特深度和色度采样格式要求。
[0015] 为实现该目的，根据本发明的第一方面，提供了一种用于将画面编码为质量可缩放数据流的编码器，包括：基本编码装置，用于将画面编码为基本编码数据流，所述基本编码数据流表示具有第一画面采样比特深度的画面表示；预测装置，用于基于具有第一画面采样比特深度的画面表示来提供画面的预测，所述画面的预测具有第二画面采样比特深度，所述第二画面采样比特深度大于所述第一画面采样比特深度，所述预测装置包括：映射装置，用于对具有所述第一画面采样比特深度的画面表示执行采样映射以获得画面预测，所述采样映射是从与所述第一画面采样比特深度相对应的第一动态范围映射至大于所述第一动态范围并与第二画面采样比特深度相对应的第二动态范围，在所述映射中，针对采样的亮度和色度分量使用不同的映射机制或针对画面的不同区域使用不同的映射机制；以及残差编码装置，用于将所述预测的预测残差编码为比特深度增强层数据流；以及组合装置，用于基于所述基本编码数据流、所述比特深度增强层数据流以及
指定所述映射装置所使用的映射机制的映射信息，来形成质量可缩放数据流。
[0016] 根据本发明的第二方面，提供了一种用于对质量可缩放数据流进行解码的解码器，所述质量可缩放数据流是通过对画面进行编码而产生的，所述质量可缩放数据流包括基本层数据流和比特深度增强层数据流以及表示在提供画面预测时使用的映射机制的映射信息，所述基本层数据流表示具有第一画面采样比特深度的画面，所述比特深度增强层数据流表示具有第二画面采样比特深度的预测残差，所述第二画面采样比特深度大于所述第一画面采样比特深度，所述解码器包括：用于将所述基本层数据流解码为较低比特深度重构画面的装置；用于将所述比特深度增强数据流解码为所述预测残差的装置；用于基于所述较低比特深度重构画面来提供画面预测的装置，所述画面预测具有所述第二画面采样比特深度，其中，用于提供的装置适于对所述较低比特深度重构画面执行采样映射以获得画面预测，所述采样映射是从与所述第一画面采样比特深度相对应的第一动态范围映射至大于所述第一动态范围并与第二画面采样比特深度相对应的第二动态范围，在所述映射中，根据所述映射信息，针对采样的亮度和色度分量使用不同的映射机制或针对画面的不同区域使用不同的映射机制；以及用于基于所述预测和所述预测残差来重构具有所述第二画面采样比特深度的画面的装置。
[0017] 根据本发明的第三方面，提供了一种用于将画面编码为质量可缩放数据流的方法，包括：将画面编码为基本编码数据流，所述基本编码数据流表示具有第一画面采样比特深度的画面表示；基于具有第一画面采样比特深度的画面表示来提供画面预测，所述画面预测具有第二画面采样比特深度，所述第二画面采样比特深度大于所述第一画面采样比特深度，所述提供包括对具有所述第一画面采样比特深度的画面表示执行采样映射以获得画面的预测，所述采样映射是从与所述第一画面采样比特深度相对应的第一动态范围映射至大于所述第一动态范围并与第二画面采样比特深度相对应的第二动态范围，在所述映射中，针对采样的亮度和色度分量使用不同的映射机制或针对画面的不同区域使用不同的映射机制；以及将所述预测的预测残差编码为比特深度增强层数据流；以及基于所述基本编码数据流、所述比特深度增强层数据流以及表示在提供预测时使用的映射机制的映射信息来形成质量可缩放数据流。
[0018] 根据本发明的第四方面，提供了一种用于对质量可缩放数据流进行解码的方法，所述质量可缩放数据流是通过对画面进行编码而产生的，所述质量可缩放数据流包括基本层数据流和比特深度增强层数据流以及表示在提供画面预测时使用的映射机制的映射信息，所述基本层数据流表示具有第一画面采样比特深度的画面，所述比特深度增强层数据流表示具有第二画面采样比特深度的预测残差，所述第二画面采样比特深度大于所述第一画面采样比特深度，所述方法包括：将所述基本层数据流解码为较低比特深度重构画面；将所述比特深度增强数据流解码为所述预测残差；基于所述较低比特深度重构画面来提供画面的预测，所述画面的预测具有所述第二画面采样比特深度，所述提供包括对所述较低比特深度重构画面执行采样映射以获得画面的预测，所述采样映射是从与所述第一画面采样比特深度相对应的第一动态范围映射至大于所述第一动态范围并与第二画面采样比特深度相对应的第二动态范围，在所述映射中，根据所述映射信息，针对采样的亮度和色度分量使用不同的映射机制或针对画面的不同区域使用不同的映射机制；以及基于所述预测和所述预测残差来重构具有所述第二画面采样比特深度的画面。
[0019] 本发明基于以下发现：当使用低比特深度或低比特深度和低色度分辨率表示(以下简称为低比特深度和/或低色度分辨率表示)时，可以实现更有效的方式来处理不同比特深度或不同比特深度和色度采样格式要求，以提供表示该低比特深度和/或低色度分辨率表示的相应基本层数据流，并提供较高比特深度和/或较高色度分辨率表示，使得可以对相应预测残差进行编码，以获得较高比特深度和/或较高色度分辨率表示。通过这种措施，编码器能够存储可以使用任何传统解码器或视频解码器来解码的画面或视频序列的基本质量表示，以及可以被传统解码器或视频解码器忽略的针对较高比特深度和/或减小的色度子采样的增强信号。例如，基本质量表示可以包含画面或视频序列的8比特版本，而高质量增强信号包含其10比特版本的“细化”，并且，基本质量表示可以表示画面或视频序列的4:2:0版本，而高质量增强信号包含其4:2:2或4:4:4版本的“细化”。
附图说明
[0020] 以下参照附图来描述本申请的优选
实施例。具体地，在附图中：
[0021] 图1示出了根据本发明实施例的视频编码器的
框图；
[0022] 图2示出了根据本发明实施例的视频解码器的框图；
[0023] 图3示出了用于可缩放视频编码的传统编码器结构的框图；
[0024] 图4示出了4:2:0色度采样格式的示意图；
[0025] 图5示出了4:2:2色度采样格式的示意图；以及
[0026] 图6示出了4:2:4色度采样格式的示意图。
具体实施方式
[0027] 图1示出了编码器100，包括：基本编码装置102、预测装置104、残差编码装置106和组合装置108以及输入110和输出112。图1的编码器100是在输入110处接收高质量
视频信号，并在输出112处输出质量可缩放比特流的视频编码器。与输入110处的
输入信号相比，基本编码装置102使用减小的画面采样比特深度，或使用具有相同亮度分辨率但减小的色度分辨率的色度采样格式，将输入110处的数据编码为表示输入110处的该视频信号的内容的基本编码数据流。预测装置104适于：基于基本编码装置102输出的基本编码数据流来提供预测信号，该预测信号具有输入110处的视频信号的完全或增大的画面采样比特深度和/或完全或增大的色度分辨率。编码器100还包括减法器114，用于形成由装置104提供的预测信号相对于输入110处的高质量输入信号的预测残差，残差编码装置106将该残差信号编码为质量增强层数据流。组合装置108将来自基本编码装置102的基本编码数据流与残差编码装置106输出的质量增强层数据流进行组合，以在输出112处形成质量可缩放数据流112。质量可缩放性意味着输出112处的数据流由以下部分组成：一方面是自包含(self-contained)的部分，该部分在无需任何其他信息并忽略数据流112中的其余部分的情况下，能够使用减小的比特深度和/或具有减小的色度分辨率的色度采样格式来重构视频信号110；另一部分能够与第一部分进行组合，以原始比特深度和原始色度采样格式(比第一部分的比特深度和/或色度分辨率更高)来重构输入110处的视频信号。
[0028] 在相当概括地描述了编码器100的结构和功能之后，以下将更具体地描述其内部结构。具体地，基本编码装置102包括：下转换模块116、减法器118、变换模块120和量化模块122，这些模块以上述顺序分别
串联连接在输入110与组合装置108和预测装置104之间。下转换模块116用于减小输入110处的视频信号的画面采样的比特深度和/或画面的色度分辨率，同时保持从输入110接收的视频信号的亮度分辨率。换言之，下转换模块116将输入110处的高质量输入视频信号不可逆地下转换为基本质量视频信号。如以下将要更详细描述的，这种下转换可以包括使用任何
色调映射方案来减小信号采样的比特深度(即
像素值)，所述色调映射方案包括诸如：对采样值进行舍入、在视频信号以亮度加色度分量的形式给出的情况下对色度分量进行二次采样，对输入110处的输入信号进行滤波(如使用RGB至YCbCr转换)或其任意组合。以下将介绍关于可能的预测机制的更多细节。具体地，下转换模块116可以针对在输入110处输入的视频信号或画面序列中的每个画面使用不同的下转换方案，或针对所有画面使用相同的方案。
[0029] 减法器118、变换模块120和量化模块122进行协作，例如使用不可缩放视频编码方案(如H.264/MPEG4-AVC)来对下转换模块116输出的基本质量信号进行编码。根据图1的示例，减法器118、变换模块120和量化模块122与基本编码装置102和预测装置104通常包括的可选预测环路
滤波器124、预测器模块126、反变换模块128和加法器130进行协作，以形成混合编码器的不相关性减小部分，该混合编码器使用基于运动补偿的预测与其后进行的预测残差的压缩来对下转换模块116输出的基本质量视频信号进行编码。具体地，减法器118从基本质量视频信号的当前画面或宏块中减去通过使
用例如运动补偿根据基本质量视频信号中先前编码的画面重构的预测画面或预测宏块部分。变换模块120对预测残差应用变换，如DCT、FFT或
小波变换。变换后的残差信号可以表示
频谱表示，并且在量化模块122中对其变换系数进行不可逆量化。所产生的量化残差信号表示基本编码装置
102输出的基本编码数据流的残差。
[0030] 除了可选预测
环路滤波器124、预测器模块126、反变换模块128和加法器130之外，预测装置104还包括用于减少编码伪像的可选滤波器132以及预测模块134。反变换模块128、加法器130、可选预测环路滤波器124和预测器模块126进行协作，使用下转换模块116定义的减小的比特深度和/或具有减小的色度分辨率的色度采样格式来重构视频信号。换言之，它们创建了输入至可选滤波器132的低比特深度和/或低色度分辨率视频信号，该信号表示也能够在解码器侧重构的、输入110处的源信号的低质量表示。具体地，反变换模块128和加法器130串联连接在量化模块122与可选滤波器132之间，而可选预测环路滤波器124和预测模块126以上述顺序串联连接在加法器130的输出以及加法器130的另一输入之间。预测器模块126的输出也连接至减法器118的反相输入。可选滤波器132连接在加法器130的输出与预测模块134之间，预测模块134继而连接在可选滤波器132的输出与减法器114的反相输入之间。
[0031] 反变换模块128对基本编码装置102输出的基本编码后的残差画面进行反变换，以实现低比特深度和/或低色度分辨率残差画面。相应地，反变换模块128执行的反变换是模块120和122执行的变换和量化的逆过程。可选地，可以在反变换模块128的
输入侧单独提供解量化模块。加法器130将预测添加至重构的残差画面，其中所述预测基于先前重构的视频信号画面。具体地，加法器130以减小的比特深度和/或减小的色度分辨率色度采样格式来输出重构的视频信号。例如，用于减少伪像的环路滤波器124对这些重构的画面进行滤波，此后，预测器模块126使用这些画面，例如通过根据先前重构的画面来进行的运动补偿，来预测当前要重构的画面。可选滤波器132与预测模块134的串联连接使用由此在加法器130的输出处所获得的基本质量信号，以获得输入110处的高质量输入信号的预测，要使用后一预测来形成残差编码装置106的输出处的高质量增强信号。这将在以下更详细描述。
[0032] 具体地，用于减少编码伪像的可选滤波器132可选地对从加法器130获得的低质量信号进行滤波。此后，预测模块134使用该低质量视频信号来形成针对在连接至输入110的加法器114的非反相输入处接收的高质量视频信号的预测信号。该形成高质量预测的过程可以包括将解码后的基本质量信号画面采样乘以常数因子(即线性缩放)、使用基本质量信号采样的相应值作为包含相应高质量采样值的查找表的索引、使用基本质量信号采样的值来进行插值处理以获得相应的高质量采样值、对色度分量进行上采样、使用例如YCbCr至RGB转换来对基本质量信号进行滤波、或其任何组合。以下描述其他示例。
[0033] 一般而言，例如，预测模块134可以使用特殊的插值滤波器，对基本质量视频信号的色度采样进行插值以将色度分辨率增大为与输入110处的视频信号的色度分辨率相对应，从而将基本质量视频信号的采样从第一动态范围映射至第二动态范围，该第二动态范围高于该第一动态范围。以与上述下转换模块116类似的方式，可以针对基本质量视频信号序列的不同画面使用不同的预测过程，也可以针对所有画面使用相同的预测过程。
[0034] 减法器114在从输入110接收的高质量视频信号中减去从预测模块134接收的高质量预测，以向残差编码装置106输出高质量(即具有原始比特深度和/色度采样格式)的预测残差信号。在残差编码装置106中，示例性地使用压缩编码方案(例如H.264/MPEG4-AVC中规定的压缩编码方案)来对原始高质量输入信号与从解码后的基本质量信号导出的预测之间的差进行编码。为此，图1的残差编码装置106示例性地包括变换模块136、量化模块138和熵编码模块140，这些模块以上述顺序串联连接在减法器114的输出和组合装置108之间。变换模块136分别将残差信号或其画面变换至变换域或频谱域，其中量化模块138对频谱分量进行量化，熵编码模块140对量化后的变换值进行熵编码。熵编码的结果表示残差编码装置106输出的高质量增强层数据流。如果模块136至140实现H.264/MPEG4-AVC编码，则变换模块136中用于对来自减法器114的残差信号的亮度分量进行变换的变换大小可以针对每个宏块任意加以选择，而不一定必须与变换模块120中用于对基本质量信号进行编码的变换大小相同，H.264/MPEG4-AVC编码支持以4×4或8×8采样大小的变换以对亮度内容进行编码。对于色度分量的编码，当前规定的H.264/MPEG4-AVC标准未提供任何选择。在量化模块138中对变换系数进行量化时，可以使用与H.264/MPEG4-AVC中相同的量化方案，这意味着可以通过量化参数QP来控制量化器步长，QP的取值可以从-6*(高质量视频信号分量的比特深度-8)至51。量化模块122中用于对基本质量表示宏块进行编码的QP与量化模块138中用于对高质量增强宏块进行编码的QP不一定必须相同。
[0035] 组合装置108包括熵编码模块142和复用器144。熵编码模块142连接在量化模块122的输出与复用器144的第一输入之间，而复用器144的第二输入连接至熵编码模块140的输出。复用器144的输出表示编码器100的输出112。
[0036] 熵编码模块142对量化模块122输出的量化后的变换值进行熵编码，以根据量化模块122输出的基本编码数据流来形成基本质量层数据流。因此，如上所述，模块118、120、122、124、126、128、130和142可以被设计为根据H.264/MPEG4-AVC来进行协作，并一起表示混合编码器，其中熵编码器142对量化的预测残差进行
无损压缩。
[0037] 复用器144接收基本质量层数据流和高质量层数据流，并将它们放在一起来形成质量可缩放数据流。
[0038] 预测模块134根据解码的基本表示来形成预测信号的方式(即预测方案)对解码器可以是已知的。然而，也可以通过信号将预测方案信息(表示预测模块134使用的预测)指示为辅助信息，即将这种辅助信息引入输出112处的比特流中。换言之，为了允许使用与解码的基本表示不同的方案来进行预测，可以通过信号将所使用的预测方案指示为辅助信息(例如在H.264/MPEG4-AVC的画面参数集PPS的扩展中)。此外，可以做出规定以防质量可缩放比特流中未指定明确的预测规则。例如，对于比特深度方面的可缩放性，将预测模M-N块134的输入处的基本质量采样简单地乘以2 ，其中M是高质量信号的比特深度，N是基M-N M
本质量信号的比特深度，这与线性映射相对应。可选地，可以将其视为根据min(2 x，2-1)来执行对预测模块134的输入处的基本质量采样值的缩放和截断。
[0039] 可选地，可以使用以下映射机制之一来进行预测过程。例如，当可以指定任意数目的插值点时，可以使用逐块(piece-wise)线性映射。例如，对于具有值x和两个给定插值点(xn，yn)和(xn+1，yn+1)的基本质量采样，根据以下公式使用模块134来获得相应预测采样y：
[0040]
[0041] 如果将xn+1-xn限制为2的幂，则可以通过仅仅使用移位而不是除法运算，以很小的计算复杂度来执行该线性插值。
[0042] 另一种可能的映射机制表示一种查找表映射，其中，通过基本质量采样值，在查找表中执行查表操作，在所述查找表中针对每个可能的基本质量采样值指定了相应的预测采样值。可以将该查找表作为辅助信息提供给解码器侧，或者缺省地该查找表对解码器侧可以是已知的。
[0043] 此外，可以使用具有常数偏移的缩放。根据这种可选方式，为了实现具有较高比特深度的相应高质量预测采样y，例如分别根据以下公式之一，模块134将基本质量采样x乘M-N-K M-1 M-1-K以常数因子2 ，此后加上常数偏移2 -2 ：
[0044] y＝2M-N-Kx+2M-1-2M-1-K或
[0045] y＝min(2M-N-Kx+2M-1-2M-1-K，2M-1)。
[0046] 通过这种措施，将低质量动态范围映射至第二动态范围，使得映射后的值x以集M中方式相对于y的可能的动态范围[0；2-1]分布，位于由K确定的扩展内。K的值可以是整数或实数值，并且例如可以在质量可缩放数据流内，作为辅助信息被传送给解码器，使得在解码器中某些预测装置的行为方式与以下将予以描述的预测模块134相同。至于M和N的定义，参照上面的描述。可以使用舍入运算来获得整数的y值。
[0047] 另一种可能是以可变偏移进行缩放：例如根据以下公式之一，用基本质量采样x乘以常数因子，此后加上可变偏移：
[0048] y＝2M-N-Kx+D或
[0049] y＝min(2M-N-Kx+D，2M-1)
[0050] 通过这种措施，将低质量动态范围映射至第二动态范围，使得映射后的值x分布在可能的y的动态范围的一部分内，其扩展由K确定，并且其相对于下界的偏移由D来确定。D可以是整数或实数。结果y表示高比特深度预测信号的画面采样值。例如，在质量可缩放数据流内，可以将K和D的值作为辅助信息传送给解码器。再一次，可以使用舍入运算来获得取整数值的y值，对于本申请中给出的针对比特深度映射的其他示例，后者也成立，不再重复地明确表述。
[0051] 另一种可能性是使用具有
叠加的缩放：例如根据以下公式之一，根据相应基本质量采样x来获得高比特深度预测采样y，其中floor(a)将a向下舍入至最接近的整数：
[0052] y＝floor(2M-Nx+2M-2Nx)或
[0053] y＝min(floor(2M-Nx+2M-2Nx)，2M-1)
[0054] 可以将上述可能性进行组合。例如，可以使用具有叠加和常数偏移的缩放：例如根据以下公式之一来获得高比特深度预测采样y，其中floor(a)将a向下舍入至最接近的整数：
[0055] y＝floor(2M-N-Kx+2M-2N-Kx+2M-1-2M-1-K)
[0056] y＝min(floor(2M-N-Kx+2M-2N-Kx+2M-1-2M-1-K)，2M-1)
[0057] 可以将K的值作为辅助信息指定给解码器。
[0058] 类似地，可以使用具有叠加和可变偏移的缩放：例如根据以下公式来获得高比特深度预测采样y，其中floor(a)将a向下舍入至最接近的整数：
[0059] y＝floor(2M-N-Kx+2M-2N-Kx+D)
[0060] y＝min(floor(2M-N-Kx+2M-2N-Kx+D)，2M-1)
[0061] 可以将D和K的值作为辅助信息指定给解码器。
[0062] 此外，可以针对基本质量信号的亮度和色度分量来指定不同的映射机制，以考虑其统计特性(如其概率
密度函数)可能不同。也可以针对画面的不同区域来指定不同的映射机制，其中区域不一定必须是连续的。此外，在采用上述映射机制之一后，可以指定：在编码器和解码器处，分别要将伪随机噪声信号(“抖动信号”)添加至由预测模块执行的预测过程内的高比特深度预测信号。由于解码器处必须精确知道该信号才能够对高比特深度表示进行解码，因此必须将特定参数(如伪随机产生器的初始化值、伪随机过程的方差和形状(例如正态或均匀分布))作为辅助信息来传送。如果在可缩放比特流中未传送这种辅M-N M-N-K助信息，根据所选的映射机制，可以使用缺省值，例如分别在范围[0，2 -1]或[0，2 -1]内的伪随机值的均匀分布。
[0063] 上述是否使用预测方案辅助信息的可能性也适用于在色度采样格式方面的可缩放性。对于色度采样格式方面的可缩放性，可以将预测模块134用于产生上采样色度信号的插值滤波方案作为辅助信息(例如在H.264/MPEG4-AVC的PPS中)进行传送。在最简单的情况下，如果未指定上采样规则，则解码器可以假定上采样信号是针对4:2:0至4:2:2和4:2:2至4:4:4色度子采样的转换，通过基本质量色度采样点之间的线性插值来产生的，以及针对4:2:0至4:4:4色度子采样的转换通过双线性插值来产生的。关于上述色度采样格式，参考上述关于图4至6的描述。否则，预测模块134可以选择例如由ISO/IEC 14496-2：
2004，“Information technology-Coding of audio-visual objects-Part 2：Visual”中的MPEG-4高级简单特性所规定的8抽头半像素插值滤波器，或由H.264/MPEG4-AVC规定的
6抽头半像素插值滤波器，以产生插值的色度采样值。然而，关于色度采样格式可缩放性的预测方案不限于上述滤波器。也可以通过分别将所使用的滤波器抽头或FIR滤波器系数作为质量可缩放比特流(例如H.264/MPEG4-AVC的PPS)中的辅助信息来传送，以指定一般的插值滤波器。
[0064] 关于色度采样格式方面的可缩放性，应当明确注意，当考虑图4至6所示的色度采样格式时，编码器100可以支持以下变型。首先，下转换模块116可以从4:2:2
下采样至4:2:0，在这种情况下，预测模块134从4:2:0上采样至4:2:2，并且，在输出112处的质量可缩放比特流实现了从4:2:0至4:2:2的色度采样格式可缩放性。类似地，下采样模块116可以从4:4:4下采样至4:2:0，而预测模块134执行反向的上采样。相应地，下采样模块116可以从4:4:4下采样至4:2:2，继而预测模块134可以执行从4:2:2至4:4:4的上采样。
[0065] 在模块136、138和140实现与H.264/MPEG4-AVC相容的编码的情况下，在熵编码模块140输出的编码后的高质量增强信号中，可以针对每个宏块传送以下信息。可以包括编码块模式(CBP)信息，用于指示宏块内的4个8×8亮度变换块中的哪一个以及宏块的相关联色度变换块中的哪一个可能包含非零变换系数。如果不存在非零变换系数，则不针对该特定宏块发送任何其他信息。其他信息可以涉及用于对亮度分量进行编码的变换大小，即在其中(即在4×4或8×8变换块中)在变换模块136中对由16×16亮度采样组成的宏块进行变换的变换块的大小。此外，高质量增强层数据流可以包括量化模块138中用于控制量化器步长的量化参数QP。此外，针对熵编码模块140输出的高质量增强层数据流中的每个宏块，可以包括量化后的变换系数，即变换系数级。
[0066] 在描述了编码器的实施例之后，参考图2来描述解码器的实施例。图2的解码器由参考标记200表示，并包括：解复用装置202、基本解码装置204、预测装置206、残差解码装置208和重构装置210以及输入212、第一输出214和第二输出216。解码器200在其输入212处接收质量可缩放数据流，该数据流例如是由图1的编码器100输出的。如上所述，质量可缩放性可以涉及比特深度和/或色度采样格式。换言之，输入212处的数据流具有：自包含部分，可独立用于以减小的比特深度和/或减小的色度分辨率以及保持不变的亮度分辨率来重构视频信号；以及附加部分，与第一部分进行组合，能够以较高的比特深度和/或较高的色度分辨率来重构视频信号。在输出216处输出较低质量的重构视频信号，而在输出214处输出较高质量的重构视频信号。
[0067] 解复用装置202将输入212处的输入的质量可缩放数据流划分为基本编码数据流和高质量增强层数据流，已经针对图1提到了这两种数据流。基本解码装置204用于将基本编码数据流解码为视频信号的基本质量表示，可选地，可以直接(如在图2的示例中的情况)或经由伪像减少滤波器(未示出)间接地在输出216处输出。基于基本质量表示视频信号，预测装置206形成具有增大的画面采样比特深度和/或增大的色度采样分辨率的预测信号。解码装置208对增强层数据流进行解码，以获得具有增大的比特深度和/或增大的色度分辨率的预测残差。重构装置210根据预测和预测残差来获得高质量视频信号，并经由可选伪像减少滤波器在输出214处将其输出。
[0068] 解复用装置202内部包括解复用器218和熵解码器220。解复用器218的输入连接至输入212，解复用器218的第一输出连接至残差解码装置208。熵解码模块220连接在解复用器218的另一输出与基本解码装置204之间。如上所述，解复用器218将质量可缩放数据流划分为分别输入至复用器144的基本层数据流和增强层数据流。熵解码模块220执行例如霍夫曼解码或算术解码
算法，以获得变换系数级、运动向量、变换大小信息和其他所需的语法元素，以从其中导出视频信号的基本表示。
[0069] 基本解码装置204包括反变换模块222、加法器224、可选环路滤波器226和预测器模块228。在功能和相互连接方面，基本解码装置204中的模块222至228与图1的元件124至130相对应。更准确地说，反变换模块222和加法器224以上述顺序串联连接在一方面为解复用装置202与另一方面分别为预测装置206和基本质量输出之间；可选环路滤波器226和预测器模块228以上述顺序串联连接在加法器224的输出与加法器224的另一输入之间。通过这种措施，加法器224以减小的比特深度和/或减小的色度分辨率来输出基本表示视频信号，可以在输出216处从外部接收该信号。
[0070] 预测装置206包括可选伪像减少滤波器230和预测信息模块232，这两个模块以相对于图1的元件132和134同步的方式工作。换言之，可选伪像减少滤波器230可选地对基本质量视频信号进行滤波，以减少其中的伪像，预测信息模块232以以上已针对预测模块134描述过的方式来检索具有增大的比特深度和/或增大的色度分辨率的预测画面。这就是说，通过或不通过质量可缩放数据流中包含的辅助信息，预测信息模块232可以将输入画面采样映射至较高动态范围和/或将空间插值滤波器应用至画面的色度内容，以增大色度分辨率。
[0071] 残差解码装置208包括熵解码模块234和反变换模块236，这两个模块以上述顺序串联连接在解复用器218与重构装置210之间。熵解码模块234和反变换模块236进行协作，以反转图1的模块136、138和140执行的编码过程。具体地，熵解码模块234执行例如霍夫曼解码或算术解码算法来获得语法元素，所述语法元素其中包括变换系数级等，反变换模块236对变换系数级进行反变换，以获得预测残差信号或残差画面序列。
[0072] 重构装置210包括加法器238，加法器238的输入分别连接至预测信息模块232的输出和反变换模块236的输出。加法器238将预测残差与预测信号相加，以获得具有增大的比特深度和/或增大的色度分辨率的高质量视频信号，经由可选伪像减少滤波器240将该信号馈送至输出214。
[0073] 因此，从图2中可以导出，基本质量解码器可以根据输入212处的质量可缩放数据流来重构基本质量视频信号，并且，为此可以不包括元件230、232、238、234、236和240。另一方面，高质量解码器可以不包括输出216。
[0074] 换言之，在解码过程中，基本质量表示的解码较为直接。对于高质量信号的解码，首先需要对基本质量信号进行解码，这是由模块218至228来执行的。此后，使用解码后的基本表示，采用上述针对模块232和可选模块230描述的预测过程。例如由H.264/MPEG4-AVC中规定的，用反变换模块236对高质量增强信号的量化后的变换系数进行缩放和反变换，以获得残差或差值信号采样，预测模块232将该残差或差值信号采样添加至从解码后的基本表示采样导出的预测。作为对要在输出214处输出的高质量视频信号进行的解码过程的最后一步，可以采用可选滤波器，以去除或减小在视觉上恼人的编码伪像。应注意，包括模块226和228在内的运动补偿预测环路是完全自包含的，仅使用基本质量表示。因此，解码复杂度适中，并且不需要插值滤波器，所述插值滤波器在预测器模块228的运动补偿的预测过程中对高比特深度或高色度分辨率图像数据进行操作。
[0075] 对于上述实施例，值得一提的是，伪像减少滤波器132和230是可选的，并且可以去除。这也分别适用于环路滤波器124和226以及滤波器240。此外，本发明不限于视频编码。相反，以上描述也适用于静止图像编码。相应地，也可以去除分别包括元件118、128、130、126和124以及元件224、228和226的运动补偿的预测环路。类似地，不一定必须执行上述熵编码。
[0076] 甚至更准确地，在上述实施例中，基本层编码118-130、142基于运动补偿的预测，该运动补偿的预测基于有损编码后的画面的重构。在这种情况下，如在以上描述中所进行的，也可以将基本编码过程的重构视为高质量预测形成过程的一部分。然而，在对基本表示进行无损编码的情况下，将不必须进行重构，可以直接将下转换的信号分别转发至装置132、134。在有损基本层编码中未进行基于运动补偿的预测的情况下，用于在编码器侧重构基本质量信号的重构过程将特别地专用于104中的高质量预测形成。换言之，可以分别以其他方式来执行元件116-134和142与装置102、104和108的关联。具体地，可以将熵编码模块142视为基本编码装置102的一部分，其中预测装置仅包括模块132和134，组合装置108仅包括复用器144。这种观点与图2中使用的模块/装置关联的相关性在于：预测装置206不包括基于运动补偿的预测。然而，还可以将解复用装置202视为不包括熵模块
220，使得基本解码装置也包括熵解码模块220。然而，这两种观点产生相同的结果：基于源素材的具有减小的比特深度和/或减小的色度分辨率的表示来执行104中的预测，所述表示分别被有损编码为质量可缩放比特流和基本层数据流并可以从质量可缩放比特流和基本层数据流导出。根据图1所基于的观点，预测134基于基本编码数据流的重构，而在该可选观点中，该重构将始于基本质量信号的中间编码版本或中途编码版本，为了将其完全编码为基本层数据流，所述版本未经过根据模块142的无损编码。对此，还应注意，模块116中的下转换不一定必须由编码器100来执行。相反，编码器100可以具有两个输入，一个用于接收高质量信号，另一个用于从外部接收下转换版本。
[0077] 在上述实施例中，质量可缩放性确实仅与比特深度和/或色度分辨率相关。然而，可以容易地将上述实施例扩展至包括时间可缩放性、空间可缩放性以及细粒度质量可缩放性。例如，在编码器侧，图1的中的多个编码器可以具有将输入信号的未经空间
抽取和递增空间抽取后的版本输入至这些空间层编码器。可以使用低空间分辨率层的重构表示作为下一较高空间分辨率层的预测，以利用这些层之间的冗余。例如，通过相应地将变换系数级编码在量化分辨率递增的层或与递减量化步长相对应的层中，使得能够根据各FGS层的成分之和导出变换系数级，可以在残差编码装置106和残差解码装置208中分别实现细粒度质量可缩放性。
[0078] 因此，上述实施例实现了可缩放视频编码向采样比特深度和/或色度采样格式方面的可缩放性的扩展，从而实现了一种编码器，用于存储可由任何传统视频解码器解码的视频序列的基本质量表示，以及被传统视频解码器所忽略的较高比特深度和/或减小的色度子采样的增强信号。例如，基本质量表示可以包含视频序列的8比特版本，而高质量增强信号包含细致程度达到相同序列的10比特版本的“细化”。
[0079] 因此，换言之，上述实施例描述了一种视频编码器(编码器/解码器)，用于对视频信号的分层表示进行编码(编码/解码)，所述编码包括例如：标准化的视频编码方法，用于对基本质量层进行编码；预测方法，用于使用重构的基本质量信号来执行高质量增强层信号的预测；以及残差编码方法，用于对高质量增强层信号的预测残差进行编码。在这种视频编码器中，可以使用从与基本质量层相关联的动态范围至与高质量增强层相关联的动态M-N M范围的映射函数来执行预测。具体地，可以通过根据公式(2 x，2-1)来对基本质量层的采样值x进行缩放和截断来执行预测，其中，基本质量层的采样值x以比特深度N来表示，而高质量增强层的采样值以比特深度M来表示(M＞N)。以上已经示出了其他可选方案。可选地，可以使用逐块线性映射来执行预测，其中将给定数目的插值点作为辅助信息发送。甚至可选地，可以通过使用基本质量信号采样的值来作为查找表的索引来执行预测，该查找表包含对应的高质量采样值，并且也可以作为辅助信息发送。可以按照H.264/MPEG4-AVC来执行残差编码。可以以一个亮度分量和两个色度分量的形式来给出视频信号的色彩空间表示，其中基本质量层和高质量增强层的色度采样格式分别为4:2:0和4:2:2，而且，可以使用对基本质量层的色度采样值应用的空间插值滤波器来执行高质量增强层信号的色度采样值的预测。类似地，可以以一个亮度分量和两个色度分量的形式来给出视频信号的色彩空间表示，其中基本质量层和高质量增强层的色度采样格式分别为4:2:2和4:4:4，而且，可以通过使用对基本质量层的色度采样值应用的空间插值滤波器来执行高质量增强层信号的色度采样值的预测。相应地，可以以一个亮度分量和两个色度分量的形式来给出视频信号的色彩空间表示，其中基本质量层和高质量增强层的色度采样格式分别为4:2:0和
4:4:4，而且，可以通过使用对基本质量层的色度采样值应用的空间插值滤波器来执行高质量增强层信号的色度采样值的预测。在基本质量层和高质量增强层分别为4:2:0和4:2:2的情况下，所使用的空间插值滤波器可以是垂直应用于基本质量层的色度采样值的线性插值滤波器。类似地，如果基本质量层和高质量增强层分别为4:2:2和4:4:4，则可以将线性插值滤波器水平地应用于基本质量层的色度采样值，并且，如果基本质量层和高质量增强层分别为4:2:0和4:4:4，则空间插值滤波器可以是应用于基本质量层的色度采样值的双线性插值。此外，如果基本质量层和高质量增强层分别为4:2:0和4:2:2，则空间插值滤波器可以是H.264/MPEG4-AVC所规定的、垂直应用于基本质量层的色度采样值的6抽头半像素插值滤波器。类似地，如果基本质量层和高质量增强层分别为4:2:2和4:4:4，则空间插值滤波器可以是H.264/MPEG4-AVC所规定的、水平应用于基本质量层的色度采样值的6抽头半像素插值滤波器。如果基本质量层和高质量增强层分别为4:2:0和4:4:4，则空间插值滤波器可以由H.264/MPEG4-AVC所规定的、分离地应用于基本质量层的色度采样值的
6抽头半像素插值滤波器来实现。类似地，在基本质量层和高质量增强层分别为4:2:0和
4:2:2的情况下，在预测模块134和232中，可以分别将MPEG2第二部分视觉、高级简单特性所规定的8抽头半像素插值滤波器垂直应用于基本质量层的色度采样值。类似地，如果基本质量层和高质量增强层分别为4:2:2和4:4:4，则可以将MPEG2第二部分视觉、高级简单特性所规定的8抽头半像素插值滤波器水平应用于基本质量层的色度采样值。如果基本质量层和高质量增强层分别为4:2:0和4:4:4，则可以将MPEG2第二部分视觉、高级简单特性所规定的8抽头半像素插值滤波器分离地应用于基本质量层的色度采样值。使用FIR插值滤波器作为空间插值滤波器也是可能的。例如，如果基本质量层和高质量增强层分别为
4:2:0和4:2:2，则可以将FIR插值滤波器垂直应用于基本质量层的色度采样值，其中可以将FIR滤波器的滤波器抽头作为辅助信息发送。类似地，如果基本质量层和高质量增强层分别为4:2:2和4:4:4，则可以将FIR插值滤波器水平应用于基本质量层的色度采样值，其中可以将FIR滤波器的滤波器抽头作为辅助信息发送。如果基本质量层和高质量增强层分别为4:2:0和4:4:4，则可以将FIR插值滤波器分离地应用于基本质量层的色度采样值，其中可以将FIR滤波器的滤波器抽头作为辅助信息发送。也可以以一个亮度分量和两个色度分量的形式，以4:2:0或4:2:2的色度子采样格式来给出基本质量视频信号的色彩空间表示，其中高质量视频信号的色度采样格式为4:4:4，而其色彩空间表示不同于基本质量表示的色彩空间表示。在这种情况下，可以首先如上所述将空间插值滤波器应用于基本质量层的色度采样值，随后将所产生的上采样的基本质量信号色彩变换为高质量增强层的色彩空间，以分别执行模块134和232内高质量增强层信号的色度采样值的预测。
[0080] 根据实际实现方式，可以以
硬件或
软件来实现本发明的编码方案。因此，本发明也涉及一种
计算机程序，可以将计算机程序存储在计算机可读介质(如CD、盘或任何其他数据载体)上。因此，本发明也是一种具有程序代码的计算机程序，当在计算机上执行时，程序代码执行结合上述附图来描述的本发明的方法。具体地，图1和2中的装置和模块的实现可以包括在例如CPU、ASIC的
电路部分等上运行的子例程。
