首页 / 专利库 / 多媒体工具与应用 / 视频编码 / 用于解码/编码视频信号的方法及装置

用于解码/编码视频信号的方法及装置

阅读:641发布:2023-03-21

专利汇可以提供用于解码/编码视频信号的方法及装置专利检索,专利查询,专利分析的服务。并且本 发明 涉及用于解码/编码视频 信号 的方法及装置。公开了一种解码 视频信号 的方法,本发明包括:解码第一层的比特流;获得表示是否对第二层的当前 块 执行层间预测的标志信息;基于该标志信息获得至少一个偏移量信息,该偏移量信息表示用于该层间预测的该第一层的上 采样 后的图像和该第二层的当前图像间的 位置 差异;和通过使用该至少一个偏移量信息,对该第一层的参考图像进行上采样。,下面是用于解码/编码视频信号的方法及装置专利的具体信息内容。

1.一种使用层间预测解码可伸缩视频编码的比特流的增强层的方法,包括:
从所述可伸缩视频编码的比特流提取层间预测信息,所述层间预测信息表示所述层间预测是否被用于解码所述增强层中的当前条带;
从可伸缩视频编码的比特流提取质量识别信息,所述质量识别信息识别所述当前条带的图像质量;
当所述层间预测信息表示所述层间预测被用于解码所述当前条带且所述质量识别信息被设置为零时,从所述当前条带的头区域提取预测限制信息,所述预测限制信息表示基本层内的参考内编码采样是否被用于推导在所述参考块与所述基本层内的至少两个条带交迭时所述增强层内的当前块的预测值,所述参考块被所述当前条带内的当前块参照;
检查所述参考块是否与所述基本层内的至少两个条带交迭;
使用除帧内基本预测模式以外的预测模式推导所述当前块的所述预测值,当所述参考块的帧内编码采样没有被用于根据所述预测信息推导所述当前块的预测值且所述参考块与所述基本层内的至少两个条带交迭时,所述帧内基本预测模式表示从所述参考块的帧内编码采样推导所述当前块的预测值的预测模式,其中所述当前块的预测值是基于偏移量信息从所述基本层内的所述参考块推导出的,所述偏移量信息包括至少一个表示参考块的左像素和当前块的左像素之间的位置差异的左偏移量信息、表示参考块的顶像素和当前块的顶像素之间的位置差异的顶偏移量信息、表示参考块的右像素和当前块的右像素之间的位置差异的右偏移量信息以及表示参考块的底像素和当前块的底像素之间的位置差异的底偏移量信息;以及
使用所述当前块的所述预测值重建所述当前块。
2.根据权利要求1所述的方法,进一步包括提取参数识别信息,所述参数识别信息表示将被用于所述基本层的上采样过程的参数是否存在于至少一个序列参数集和条带头内,其中至少一个偏移量信息是基于所述参数识别信息获取的。
3.根据权利要求2所述的方法,进一步包括基于所述层间预测信息和所述参数识别信息获取与色度信号相移相关的相位信息,
其中基于所述相位信息和所述偏移量信息获取所述当前块的预测值,并且所述相位信息包括平相移信息和竖直相移信息。
4.根据权利要求1所述的方法,其中所述基本层的屏幕比例或空间分辨率和所述增强层的不同,所述增强层来自于所述基本层的相同视频信号

说明书全文

用于解码/编码视频信号的方法及装置

[0001] 本申请是申请日为2008年9月8日申请号为200780008172.1的发明名称为“用于解码/编码视频信号的方法及装置”的专利申请的分案申请。

技术领域

[0002] 本发明涉及一种编/解码视频信号的方案。

背景技术

[0003] 一般来说,压缩编/解码是指通过通信线路传输数字化的信息,或者以合适的格式把其储存在存储介质的一系列的信号处理技术。压缩编码的对象有音频、视频、文字等,尤其是以视频为对象执行压缩编码的方案称为视频序列压缩。通常,视频序列的特征是具有空间冗余和时间冗余。
[0004] 尤其是,可伸缩视频编码比特流可以被部分地和选择性地解码。举例来说,低复杂度的解码器可解码基本层,且为了通过具有限容量的网络被传输,可提取低数据率的比特流。为了能进一步逐渐地生成高分辨率的图像,需要分阶段来提高图像的质量

发明内容

[0005] 技术问题
[0006] 尤其是,可伸缩视频编码比特流可以被部分地和选择性地解码。举例来说,低复杂度的解码器可解码基本层,且为了通过具有限容量的网络被传输,可提取低数据率的比特流。为了能进一步逐渐地生成高分辨率的图像,需要分阶段来提高图像的质量。
[0007] 技术手段
[0008] 因此,本发明是针对一种编/解码视频信号的方案,其充分避免了因相关技术的限制和缺点而导致的一个或多个问题。
[0009] 本发明的一个目的是提供一种用于提高编/解码视频信号时的编/解码效率的方法。
[0010] 本发明的另一目的是提供一种在增强层中的区域和参考层不相对应的情形下使与层间预测有关的信息的传输最小化的方法。
[0011] 本发明的另一目的是提供一种通过确认可伸缩视频编码后的比特流的配置信息来使得与层间预测相关的信息的传输最小化的方法。
[0012] 本发明的另一目的是提供一种通过确认表示是否执行层间预测的信息来使得与层间预测相关的信息的传输最小化的方法。
[0013] 本发明的一个目的是提供一种通过确认质量识别信息来使得与层间预测相关的信息的传输最小化的方法。
[0014] 本发明的另一目的是提供一种通过定义表示条带边界处理的信息来提高视频信号的编/解码效率的方法。
[0015] 本发明的进一步目的是提供一种通过在合适的位置确认可伸缩视频编码后的比特流的配置信息来提高视频信号的编/解码效率的方法。
[0016] 有益效果
[0017] 相应地,本发明提供以下效果或优点。
[0018] 首先,本发明通过检查增强层的当前是否可以使用层间预测来被预测。在上述增强层的当前块不通过使用层间预测而被预测的情形下,就不需要传输用于层间预测的编/解码信息。因此,本发明可以提高编/解码效率。其次,通过在合适的位置上确认可伸缩视频编码后的比特流的配置信息,使得与层间预测相关的信息的传输最小化。举例来说,通过识别表示是否执行层间预测的信息和/或质量识别信息,可以使与层间预测相关的信息的传输最小化。而且,本发明可以通过定义表示条带边界的处理的信息,使得并行处理成为可能。通过应用上述解释的各种方法可以显著地提高视频信号的编/解码效率。附图说明
[0019] 本发明所包括的附图用于提供对本发明的进一步理解,它们被结合在此并构成了本说明书的一部分,这些附图示出了本发明的实施例,并且与说明书一起用于解释本发明的原理。
[0020] 附图中:
[0021] 图1为根据本发明的可伸缩视频编码系统的示意框图
[0022] 图2和图3分别为根据本发明的一个实施例的可增加到可伸缩视频编码比特流中的可伸缩序列的配置信息的结构图和用于说明该配置信息的图像;
[0023] 图4为根据本发明的一个实施例的采样后的基本层和增强层之间的裁切(cropping)关系的图;
[0024] 图5和图6分别为根据本发明的一个实施例的与通过层间预测的宏块预测和子宏块预测相关的语法的图;
[0025] 图7为根据本发明的一个实施例的与通过层间预测的残差预测相关的语法的图;
[0026] 图8为根据本发明的一个实施例的用于根据是否进行层间预测来执行去块滤波的语法的结构图;
[0027] 图9为根据本发明的一个实施例的根据是否进行层间预测来表示上采样后的参考图像与当前图像间的位置差异的偏移量信息的语法的结构图;
[0028] 图10为根据本发明的一个实施例的根据是否进行层间预测来获得表示是否限制使用参考层中的内块(intra-block)的标志信息的语法的结构图;
[0029] 图11为根据本发明的一个实施例的用于根据是否进行层间预测来获得自适应预测信息的语法的结构图。
[0030] 最佳实施方式
[0031] 本发明的其他特征及优点将在下面的描述中被说明,且其部分将可从说明中被了解,或可通过实施本发明而得到。本发明的目的及其他优点将可通过说明书及其权利要求以及附图中所具体指出的结构来实现并获得。
[0032] 为了实现这些和其他优点并根据如同包括并广泛描述的本发明的目的,根据本发明的一种解码视频信号的方法包括:解码第一层的比特流;获得表示是否对第二层的当前块执行层间预测的标志信息;基于该标志信息获得至少一个偏移量信息,该偏移量信息表示用于该层间预测的该第一层的上采样后的图像和该第二层的当前图像间的位置差异;和通过使用该至少一个偏移量信息,对该第一层的参考图像进行上采样。
[0033] 优选地,该方法进一步包括获得表示用于该上采样的参数是否存在于该第二层的相应区域的信息,其中,基于该表示用于该上采样的该参数是否存在于该第二层的该相应区域的信息,获得该至少一个偏移量信息。
[0034] 更优选地,该方法进一步包括基于该表示用于该上采样的该参数是否存在于该第二层的该相应区域的信息,获得关于色度信号的相移的信息,其中,通过使用该关于色度信号的相移的信息,该第一层被上采样。
[0035] 这里,基于表示色度格式的信息,获得该关于色度信号的相移的信息。而且,该关于色度信号的相移的信息包括平方向上的相移信息和垂直方向上的相移信息。
[0036] 更优选地,该方法进一步包括获得用于识别该第二层的该当前块的质量的质量识别信息,其中,基于该质量识别信息获得该偏移量信息。
[0037] 优选地,该第二层和该第一层的屏幕比例或空间分辨率不同,该第一层来自于该第二层的相同视频信号。
[0038] 为了进一步实现这些和其他优点并根据本发明的目的,一种用于解码视频信号的装置包括:基本层解码单元,用于解码第一层的比特流;第一头信息获得单元,用于获得表示是否对第二层的当前块执行层间预测的标志信息;第二头信息获得单元,用于基于该标志信息获得至少一个偏移量信息,该偏移量信息表示用于该层间预测的该第一层的上采样后的图像和该第二层的当前图像间的位置差异;和上采样单元,用于通过使用该至少一个偏移量信息,对该第一层的参考图像进行上采样。
[0039] 可以理解的是以上的一般描述和以下的详细描述都是示例的和解释性的,并且可以提供对本发明所要求的进一步说明。
[0040] 发明的实施方式
[0041] 现在将参考本发明优选实施例进行详细说明,其例子已表示在附图中。
[0042] 首先,对视频信号数据的压缩编/解码考虑空间冗余、时间冗余、可伸缩冗余、视间冗余。考虑可伸缩冗余的压缩编/解码只是本发明的一个实施例。但是本发明的技术构思可适用于时间冗余、空间冗余、视角间冗余等。进一步,本说明书中所指的“编/解码”包含编码和解码两个概念,可以根据本发明的技术构思和技术范围灵活地进行解释。
[0043] 在视频信号的比特序列配置中,存在称之为NAL(NetworkAbstraction Layer,网络抽象层)的独立的层结构,其位于执行运动图像编码过程本身的VCL(Video Code Layer,视频编码层)和传输并存储编码信息的下级系统之间。编码过程所生成的输出为VCL数据,其在传输或存储之前被映射为NAL单元。各个NAL单元包含压缩的视频数据或相应于头信息的数据RBSP(Raw Byte Sequence Payload,原始字节序列载荷,运动图像压缩的结果数据)。
[0044] NAL单元基本上包括NAL头和RBSP两部分。NAL头中包含表示是否包含作为该NAL单元的参考图像的条带的标志信息(nal_ref_idc)和表示NAL单元的类型的信息(nal_unit_type)。在RBSP中存储压缩后的原始数据。并且,为了使RBSP的长度表示为8比特的倍数,在RBSP的末尾部分加入RBSP拖尾比特(RBSP trailing bit)。NAL单元的类型有IDR(Instantaneous Decoding Refresh,即时解码刷新)图像,SPS(SequenceParameter Set,序列参数集),PPS(Picture Parameter Set,图像参数集)和SEI(Supplemental Enhancement Information,补充增强信息)等。
[0045] 因此,如果表示NAL单元的类型的信息(nal_unit_type)表示为可伸缩视频编码条带的话,可通过增加与上述可伸缩编/解码有关的各种配置信息来提高编/解码效率。举例来说,可以增加表示当前接入单元是否为即时解码刷新(以下称为IDR)接入单元的标志信息,表示空间可伸缩性的依赖关系识别信息,质量识别信息,表示是否使用层间预测的标志信息(no_inter_layer_pred_flag),优先级识别信息等。其将参考图2进行详细说明。
[0046] 在标准中,为了能以适当的费用购买目标产品,规定了对于各种简表和级别的要求。这种情况下,解码器必须满足根据相应简表和级别中所确定的要求。类似地,定义了“简表”和“级别”两种概念来表示函数或参数,其用于表示解码器可以处理的被压缩序列的范围的大小。可通过简表识别符(profile_idc)来识别比特流基于预定的简表。简表识别符是指表示比特流所基于的简表的标志。举例来说,H.264/AVC中,如果简表识别符为66,其表示比特流基于基准简表;如果简表识别符为77,其表示比特流基于主要简表;如果简表识别符为88,其表示比特流基于扩展简表。此外,上述简表识别符可包含在序列参数集中。
[0047] 因此,为了处理可伸缩序列,需要识别输入的比特流是否为可伸缩序列的简表,如果识别为与可伸缩序列的简表的话,有必要增加语法使得至少一个用于可伸缩序列的附加信息可以被传输。这里可伸缩序列的简表,作为H.264/AVC的附加方案,表示用于处理可伸缩视频的简表模式。因为对于传统AVC技术,SVC为附加方案,所以,和无条件增加语法相比,增加语法作为用于SVC模式的附加信息更为有效。举例来说,当AVC的简表识别符表示为可伸缩序列的简表时,如果增加关于可伸缩序列的信息的话,可提高编/解码效率。
[0048] 以下将说明用于提供有效的视频信号解码方法的各种实施例。
[0049] 图1为根据本发明的可伸缩视频编/解码系统的示意框图。
[0050] 为了提供用于各种通信环境和各种终端的最优化序列,提供给终端的序列应该是多样化的。如果对于每个终端最优化的序列被提供到相应终端的话,表示单个序列源被准备用于各种参数的组合值,这些参数包括每秒的传输帧数、分辨率、每一像素的比特数等。因此,最优化序列的提供对内容提供商施加了负担。因此,内容提供商把原始序列编码为高比特率的压缩序列数据。在接收到由终端做出的序列请求时,内容提供商解码原始序列,把其编码为适合于终端的序列处理能的序列数据,并且然后把该编码后的数据提供给终端。因为该代码转换伴随着编码-解码-编码过程,所以在提供序列的过程中不能避免产生时间延迟。因此,另外需要复杂的硬件设备和算法
[0051] 另一方面,可伸缩视频编码(SVC)是一种用于以最佳图像质量编码视频信号的编码方案以使得所产生的图像序列的部分序列通过解码而被表现为序列。这里,部分序列可以表示由从整个序列中被间歇地挑选出来的帧构成的序列。对于由SVC编码的图像序列,通过使用空间可伸缩性,序列尺寸可被缩减用于低比特率。并且,也可使用质量可伸缩性降低序列的图像质量。这里,具有小尺寸屏幕和/或低每秒帧数的图像序列可被称为基本层,且具有相对大尺寸屏幕和/或相对高的每秒帧数的序列可被称为被增强的或增强层。
[0052] 由上述提到的可伸缩方案编码的图像序列以只接收和处理部分序列的方式实现低图像质量的序列表示。然而,如果比特率变低的话,图像质量就降级很多。为了解决降级的图像质量问题,可以为低比特率提供独立的辅助图像序列,举例来说,具有小尺寸屏幕和/或低每秒帧数的图像序列。这样的辅助序列可被称为基本层,且主图像序列可被称为被增强的或增强层。
[0053] 在描述用于层间预测的各种实施例时,本发明使用了包括基本层和增强层的概念。例如,增强层可以具有和基本层不一样的空间分辨率或屏幕比例。并且,增强层可以具有和基本层不一样的图像质量。详细举例来说,基本层可以是参考层,并且增强层可以是当前层。下文中所解释的基本层和增强层仅是示例性的,其并不构成对本发明解释的限制。
[0054] 以下详细说明可伸缩视频编/解码系统。首先,可伸缩编/解码系统包括编码器102和解码器110。编码器102包括基本层编码单元104,增强层编码单元106,和复用单元
108。并且,解码器可以包括去复用单元112,基本层解码单元114,和增强层解码单元116。
基本层编码单元104能够通过压缩输入的序列信号X(n)来产生基本比特流。增强层编码单元106可以通过使用输入的序列信号X(n)和由基本层编码单元104所产生的信息来产生增强层比特流。并且,复用单元108可以通过使用基本层比特流和增强层比特流来产生可伸缩比特流。
[0055] 所产生的可伸缩比特流被通过特定信道传送到解码器110,所传送的可伸缩比特流可以由解码器110的去复用单元112分为增强层比特流和基本层比特流。基本层解码单元114接收基本层比特流并且把基本层比特流解码为宏块间的序列信号及块间的残差和运动信息。这里,可基于单回路解码方法来执行相应的解码。
[0056] 增强层解码单元116接收增强层比特流,并且参照由基本层解码单元114重建的基本层来解码输出序列信号Xe(n)。这里,输出序列信号Xb(n)将是具有比之后的输出序列信号Xe(n)低的图像质量或分辨率的序列信号。
[0057] 因此,增强层编码单元106和增强层解码单元116的每一个均通过使用层间预测来执行编码。层间预测表示通过使用基本层的运动信息和/或纹理信息预测增强层的序列信号。这里,纹理信息可表示属于宏块的图像数据或像素值。例如,在层间预测方法中,有帧内基本预测模式(intra baseprediction mode)或残差预测模式。帧内基本预测模式可以表示用于预测基于基本层中的相应区域的增强层的块的模式。这里,基本层中的相应区域可以表示以层间模式编码的区域。同时,残差预测模式可以使用具有残差数据的相应区域,该残差数据为基本层中的图像差值。在两种情形中,上述基本层中的相应区域能够通过采样被扩大或缩小来用于层间预测。采样表示改变图像分辨率。而且,采样可以包括重采样、下采样、上采样等。举例来说,能够在样本内重采样以执行层间预测。并且,可以通过使用下采样滤波器来重新产生像素数据以降低图像分辨率,这可被称为下采样。而且,可以通过使用上采样滤波器来生成一些附加像素数据以提高图像分辨率,这可被称为上采样。重采样可以包括下采样和上采样两个概念。本发明中,可根据本发明的相应实施例的范围和技术思想来正确解释“采样”这一术语。
[0058] 同时,对于相同序列内容,为了不同的用途或目的产生基本层和增强层,并且其在空间分辨率、帧速率、比特率等方面相互不同。在通过层间预测编码视频信号时,非二阶情况,即在空间分辨率上增强层对基本层的比率不是2的整数,可被称为扩展空间可伸缩性(ESS)。举例来说,当通过层间预测将增强层编码为具有16∶9(水平∶垂直)比率的视频信号时,可能发生基本层被编码为具有4∶3比率的图像这一情形。这种情形下,因为基本层按照原始视频信号被部分裁切的裁切状态(cropping state)被编码,即使基本层被扩大以用于层间预测,也不能覆盖增强层的整个区域。因此,既然增强层的部分区域在被上采样的基本层中没有相应的区域,该部分区域就不能使用用于层间预测的上采样后的基本层的信息。也就是说,这表示层间预测不适用于该部分区域。这种情形下,被用于层间预测的编码信息可能不被传输。下面将参考图5至图11来详细说明有关具体实施例。
[0059] 图2和图3分别为根据本发明的一个实施例的可加入到可伸缩视频编码比特流的可伸缩序列的配置信息的结构图,及用于描述该配置信息的图像。
[0060] 图2示出了NAL单元的结构示例,该NAL单元使得关于可伸缩序列的配置信息加入其中。首先,NAL单元可以主要包括NAL单元头和RBSP(原始字节序列载荷:运动图像压缩的结果数据)。NAL单元头可以包括表示NAL单元是否包括参考图像的条带的识别信息(nal_ref_idc)和表示NAL单元类型的信息(nal_unit_type)。并且,还可有限制地包括NAL单元头的扩展区域。举例说来,如果表示NAL单元类型的信息和可伸缩视频编码相关联或表示前缀NAL单元的话,那么NAL单元可以包含该NAL单元头的扩展区域。具体而言,如果nal_unit_type等于20或14的话,NAL单元可以包含NAL单元头的扩展区域。并且,可以根据能够识别其是否为SVC比特流的标志信息(svc_mvc_flag)来把关于可伸缩序列的配置信息加入到NAL单元头的扩展区域。
[0061] 另一示例中,如果表示NAL单元类型的信息为表示子集序列参数集的信息的话,RBSP可以包括关于子集序列参数集的信息。具体而言,如果nal_unit_type等于15,RBSP可以包括关于子集序列参数集的信息,关于条带层的信息等。这种情形下,根据简表信息,子集序列参数集可以包括序列参数集的扩展区域。举例来说,如果简表信息(profile_idc)为和可伸缩编码相关的简表,那么子集序列参数集可以包括序列参数集的扩展区域。或者,根据简表信息,序列参数集可以包括序列参数集的扩展区域。序列参数集的扩展区域可以包括用于控制层间预测的去块滤波器的特性的信息,和用于上采样过程的参数相关的信息等。关于可伸缩序列的各种配置信息,例如,可以包含在NAL单元头的扩展区域、序列参数集的扩展区域、和条带层中的配置信息将在下文中详细说明。
[0062] 首先,从序列参数集的扩展区域中可以获得标志信息(inter_layer_deblocking_filter_control_present_flag),该标志信息表示是否存在对于控制用于层间预测的去块滤波器的特性的信息。并且,从序列参数集的扩展区域中可以获得信息(extended_spatial_scalability),该信息表示用于上采样过程的参数相关的信息的位置。具体而言,举例来说,如果extended_spatial_scalability等于0的话,可以表示在序列参数集或条带头中不存在用于上采样过程的任何参数。如果extended_spatial_scalability等于1的话,可以表示在序列参数集中存在用于上采样过程的参数。如果extended_spatial_scalability等于2的话,可以表示在条带头中存在用于上采样过程的参数。下文中将参考图9详细说明用于上采样过程的参数。
[0063] 表示是否使用层间预测的信息④可以是指表示层间预测是否在对已编码条带的解码中被使用的标志信息。标志信息可以从NAL头的扩展区域中获得。举例来说,如果标志信息被设为1,可以表示没有使用层间预测。如果标志信息被设为0,根据宏块中的编码方案可以使用或不使用层间预测。这是因为宏块中的层间预测可以使用或不使用。
[0064] 质量识别信息③表示识别NAL单元的质量的信息。将参考图3来描述配置信息。举例来说,单个图像可以被编码成相互质量不同的层。图3中,Spa_Layer0和Spa_Layer1上的层可以被编码为相互质量不同的层。具体而言,假设识别NAL单元质量的信息被命名为quality_id,层B1,B2,…,B10可被设置为quality_id等于0。并且,层Q1,Q2,…,Q10可被设置为quality_id等于1。换句话说,层B1,B2,…,B10可以表示具有最低图像质量的层。这些被称为基本图像。层Q1,Q2,…,Q10相应于包含层B1,B2,…,B10的层,并且具有比层B1,B2,…,B10好的图像质量。并且,质量识别信息可以按照各种方式被定义。举例来说,质量识别信息可以表示为16个级别。
[0065] 表示空间可伸缩性的信息是指表示识别有关NAL单元的依赖关系的信息。参考图3来描述配置信息。举例来说,依赖关系会根据空间分辨率而变化。图3中,Spa_Layer0和Spa_Layer1中的层具有相同分辨率。Spa_Layer0中的层可以包括通过对Spa_Layer1中的层执行下采样而获得的图像。具体而言,举例来说,假设识别关于NAL单元的依赖关系的信息被表示为dependency_id,Spa_Layer0中的层之间的dependency_id等于0。并且,Spa_Layer1中的层之间的dependency_id等于1。依赖关系识别信息可按照各种方式被定义。因此,具有相同值的识别依赖关系信息的NAL单元可以用依赖关系表示(dependency representation)来表示。
[0066] 同时,可根据识别依赖关系的信息和质量识别信息来定义单个层。在这种情形下,具有相同值的识别依赖关系的信息和质量识别信息的NAL单元可以用层表示(layer representation)来表示。
[0067] 表示时间可伸缩性的识别信息是指识别关于NAL单元的时间级别的信息。可以按照分级B图像结构来描述时间级别。举例说来,Spa_Layer0中的层(B1,Q1)和层(B3,Q3)可以有相同的时间级别Tem_Layer0。如果层(B5,Q5)引用层(B1,Q1)和层(B3,Q3),那么层(B5,Q5)可以有比层(B1,Q1)和层(B3,Q3)的时间级别Tem_Layer0高的时间级别Tem_Layer1。同样地,如果层(B7,Q7)引用层(B1,Q1)和层(B5,Q5)的话,那么层(B7,Q7)具有比层(B5,Q5)的时间级别Tem_Layer1高的时间级别Tem_Layer2。在单个接入单元中的所有NAL单元可以有相同的时间级别值。在IDR接入单元的情形中,时间级别值可变为0。
[0068] 表示参考基本图像是否被用作参考图像的标志信息表示在层间预测过程中参考基本图像是否被用作参考图像或者在层间预测过程中解码图像是否被用作参考图像。对于同一层中的NAL单元,即具有相同的识别依赖关系的信息的NAL单元,标志信息可以具有相同的值。
[0069] 优先级标识信息是指识别NAL单元的优先级的信息。通过使用优先级标识信息来提供层间可扩展性或图像间可扩展性是可能的。举例来说,通过使用优先级标识信息来向用户提供各种时间和空间级别的序列是可能的。因此,用户能够只观看特定时间和空间上的序列,或者只观看根据不同的限制条件的序列。优先级信息可以根据其参考条件按照不同方式进行配置。优先权信息能够不基于特定参考而被随机配置。并且,优先级信息可以由解码器来决定。
[0070] 并且,在NAL单元头的扩展区域中的配置信息可以包括表示当前接入单元是否为IDR接入单元的标志信息。
[0071] 用于层间预测的各种信息可以被包括在条带层中。举例来说,可以包括表示上采样过程中的对于条带边界的处理的信息⑤,和去块滤波器的操作相关的信息⑥,和色度信号的相移相关的信息⑦,表示基本层和增强层之间的位置差异的偏移量信息⑧,和表示是否存在自适应预测的信息⑨。上述信息可以从条带头中被获得。
[0072] 作为和去块滤波器的操作相关的信息⑥的示例,可以有表示去块滤波器的方法的信息(disable_deblocking_filter_idc)、去块滤波所必需的偏移量信息(inter_layer_slice_alpha_c0_offset_div2,inter_layer_slice_beta_offset_div2)。
[0073] 作为和色度信号的相移相关的信息⑦的示例,可以有关于用于层间预测的图像的色度分量的水平和垂直相移(scaled_ref_layer_left_offset,scaled_ref_layer_top_offset,scaled_ref_layer_right_offset,scaled_ref_layer_bottom_offset)的信息。
[0074] 作为表示层间的位置差异的偏移量信息⑧的示例,可以有表示用于层间预测的上采样后的参考图像和当前图像的上、下、左、右位置差异的信息(scaled_ref_layer_left_offset,scaled_ref_layer_top_offset,scaled_ref_layer_right_offset,scaled_ref_layer_bottom_offset)。
[0075] 作为表示基本层上采样过程中的条带边界处的宏块的处理的信息⑤的示例,可以有表示当基本层中的相应帧内编码块(intra-coded block)存在于增强层的至少两个条带的情形下,当前宏块是否不能通过使用基本层中的相应帧内编码块被预测的信息(constrained_intra_resampling_flag)。
[0076] 并且,表示是否存在自适应预测的信息⑨可以表示在条带头和宏块层中是否存在和预测相关联的信息。根据表示是否存在自适应预测的信息,可以决定将使用哪种类型的自适应预测方法。稍后将参照图11对其进行详细说明。
[0077] 图4为关于采样后的基本层和增强层1之间的裁切关系(croppingrelation)的图。
[0078] 在可伸缩视频编码中,可以检查增强层的当前块是否能使用层间预测。举例来说,可以检查相应于当前块中的所有像素的区域是否存在于基本层中。作为检查过程的结果,如果增强层的当前块没有被用于层间预测,那么就不必传输用于层间预测的编码信息。因此,可以提高编码效率。
[0079] 因此,可以定义一函数,其能够检查增强层的当前块是否使用了层间预测。举例来说,函数in_crop_window()可以被定义为用于检查相应于当前块中的所有像素的区域是否存在于基本层中。假设增强层上的水平方向上的宏块索引被设置为mbIdxX,并且垂直方向上的宏块索引被设置为mbIdxY,如果满足下述条件的话,函数in_crop_window()能够返回值“TRUE”(或“1”)。
[0080] mbIdxX≥(ScaledBaseLeftOffset+15)/16
[0081] mbIdxX≤(ScaledBaseLeftOffset+ScaledBaseWidth-1)/16
[0082] mbIdxY≥(ScaledBaseTopOffset+15)/16
[0083] mbIdxY≤(ScaledBaseTopOffset+ScaledBaseHeight-1)/16
[0084] 可以通过使用宏块地址和水平方向上的宏块数来导出mbIdxX。可以通过根据是否应用宏块自适应帧-场(macroblock adaptive frame-field)而用不同的方法来导出mbIdxY。举例来说,如果应用了宏块自适应帧-场的话,可以通过考虑宏块对来导出mbIdxY。当考虑宏块对时,假定上部宏块的索引被设置为mbIdxY0,底部宏块的索引被设置为mbIdxY1。mbIdxY0可以从表示用于层间预测的上采样后的图像与当前图像之间的上部位置差异的偏移量信息及水平方向的宏块数信息中导出。这种情形中,水平宏块数信息的值可以根据当前图像是帧图像或场图像(field picture)而不同。mbIdxY1可以从表示用于层间预测的上采样后的图像与当前图像之间的上部位置差异的偏移量信息及垂直方向上的宏块数信息中导出。同时,如果没有应用宏块自适应帧-场的话,mbIdxY0和mbIdxY1可以被设置为相同值。
[0085] ScaledBaseLeftOffset表示偏移量信息,其表示用于层间预测的上采样后的图像和当前图像之间的左侧的位置差异。ScaledBaseTopOffset为表示用于层间预测的上采样后的图像和当前图像之间的上方的位置差异。ScaledBaseWidth表示上采样后的图像的水平宽度。并且,ScaledBaseHeight表示上采样后的图像的垂直高度。
[0086] 如果上述条件中的任一项不满足的话,函数in_crop_window()会返回一“FALSE”(或“0”)值。
[0087] 当相应于当前块中的至少一个像素的像素不在上采样后的基本层中时,也就是说,当函数in_crop_window(CurrMbAddr)返回“FALSE”值时,和层间预测相关联的信息不被用于当前块,并且该信息不会被传输。因此,根据本发明的实施例,如果通过in_crop_window(CurrMbAddr)识别出基本层中的相应区域不存在的话,可以省略和用于当前块的层间预测相关的信息的传输。
[0088] 根据本发明的实施例,下面说明了通过使用函数in_crop_window()执行编码的情形。
[0089] 首先,当通过in_crop_window(CurrMbAddr)识别出相应于当前块的区域存在于基本层中时,增强层编码单元106通过使用基本层的纹理和/或运动信息执行层间预测。这种情形下,运动信息可以包含参考索引信息,运动向量信息,分割(partition)信息等。
[0090] 在当前块的纹理和/或运动信息被设置为相应块的纹理和/或运动信息时,或是在当前块的纹理和/或运动信息是从相应块的纹理和/或运动信息导出时,增强层编码单元106把指示完整或导出信息的指示信息加入到增强层的数据流中,并且将该加入通知给解码器110。但是,当通过in_crop_window(CurrMbAddr)识别出相应于当前块的区域不存在于基本层时,增强层编码单元106可以不执行层间预测而产生增强层。同时,如果解码器110通过in_crop_window(CurrMbAddr)确认相应于当前块的区域不存在于基本层时,解码器110决定不传输指示信息。
[0091] 图5和图6分别是根据本发明的一个实施例的与通过层间预测的宏块和子宏块预测相关的语法图。
[0092] 当执行层间预测时,和当前NAL的条带数据的层间预测相关的信息被传输到解码器。举例说来,在增强层的当前块的运动向量的预测中,可以从宏块层获得表示是否使用基本层的运动向量的标志(motion_prediction_flag_lx)。根据本发明的一个实施例,解码器以检查in_crop_window(CurrMbAddr)的方式来得知和层间预测相关联的信息是否由编码器来传输(510,610)。举例说来,根据in_crop_window(CurrMbAddr),如果相应于当前块的区域不存在于基本层的话,标志motion_prediction_flag_10/11将不会在比特流中传输(520/530,620/630)。
[0093] 并且,表示和运动向量预测相关联的信息是否存在于宏块层的标志adaptive_motion_prediction_flag可以从当前NAL的条带数据中被获得。根据本发明的一个实施例,通过 检查adaptive_motion_prediction_flag和in_crop_window(CurrMbAddr)的方式,编码器可以不传输和层间预测相关联的信息(510)。举例说来,根据in_crop_window(CurrMbAddr),如果相应于当前块的区域不存在于基本层的话,或者根据adaptive_motion_prediction_flag,如果和运动向量预测相关联的信息不存在于宏块的话,可以不传输标志motion_prediction_flag_10/11(520/530,620/630)。上述技术思想同样可应用于图6中所示的子宏块预测。
[0094] 因此,如果在识别上述两种信息后满足上述两条件的话,传输和层间预测相关联的信息。因此,可以提高编码效率。
[0095] 图7是根据本发明的一个实施例的与通过层间预测的残差预测相关的语法图。
[0096] 在执行层间预测的情形中,当前NAL的条带数据中的和层间预测相关的信息被传输到解码器。举例来说,在预测当前块的残差信号的情形中,可以从宏块层获得表示是否使用基本层的残差信号的标志residual_prediction_flag(740)。这种情形下,可以通过层表示信息(layer representation information)知道基本层。根据本发明的一个实施例,通过确认in_crop_window(CurrMbAddr)的方式,编码器可以不传输和层间预测相关的信息。
[0097] 举例说来,可以根据表示宏块中与残差信号的预测相关的信息的存在的信息adaptive_residual_prediction_flag及当前块的条带类型的信息,来获得上述residual_prediction_flag(710)。上述residual_prediction_flag也可根据base_mode_flag被获得。上述base_mode_flag表示当前宏块的类型(mb_type)是否从基本层的相应区域被导出(720)。也可以根据当前宏块的类型和函数in_crop_window(CurrMbAddr)来获得residual_prediction_flag。举例说来,当宏块和子宏块的类型不是帧内模式 (MbPartPredType(mb_type,0)! =Intra_16x16(8x8 and 4x4)),并 且 in_crop_window(CurrMbAddr)的值为“true”时(其表示相应于当前宏块的区域存在于基本层中),可获得residual_prediction_flag(730)。如果当前宏块的类型不是帧内模式或相应于当前宏块的区域不存在于基本层(in_crop_window(CurrMbAddr)=0)时,不执行残差预测。并且,上述编码器102生成增强层而不包含residual_prediction_flag。
[0098] 如果上述residual_prediction_flag被设置为1,则从基本层的残差信号预测当前块的残差信号。如果residual_prediction_flag被设置为0,则不进行层间预测而编码残差信号。如果在宏块层中不存在residual_prediction_flag的话,其可被按照下文导出。举例说来,只有当完全满足下述条件时,residual_prediction_flag可以被推导为预先设定值(default_residual_prediction_flag)。首先,base_mode_flag应该被设置为1或者当前宏块的类型应该不为帧内模式。其次,in_crop_window(CurrMbAddr)应被设置为1。第三,表示是否使用层间预测的标志no_inter_layer_pred_flag应被设置为0。第四,条带类型应该不是EI条带。否则的话,推导得出0。
[0099] 通过in_crop_window(CurrMbAddr),当确认相应于当前序列块的区域不存在于基本层中时,增强层解码单元116决定运动预测标志(motion_prediction_flag)信息不存在于宏块或子宏块中,并且只通过使用增强层的数据比特流来重建视频信号而不进行层间预测。如果用于残差预测的语法元素不包含在增强层的数据比特流中的话,增强层解码单元116可以推导出残差预测标志residual_prediction_flag。如此进行时,可以通过in_crop_window(CurrMbAddr)考虑相应于当前块的区域是否存在于基本层中。如果in_crop_window(CurrMbAddr)为设置为0的话,增强层解码单元116可以确认相应于当前序列块的区域不存在于基本层中。在这种情形下,推导出residual_prediction_flag为0,并且然后可以只通过使用增强层的数据重建视频信号而不通过使用基本层的残差信号执行残差预测。
[0100] 图8是根据本发明的一个实施例的根据是否存在层间预测来执行去块滤波的语法结构图。
[0101] 首先,根据本发明的一个实施例,编码器可以通过检查可伸缩视频编码后的比特流的配置信息,不传输和层间预测相关的信息。可伸缩视频编码后的比特流的配置信息可以从NAL头的扩展区域获得。举例说来,可以根据表示是否使用层间预测的信息(no_inter_layer_pred_flag)和质量识别信息(quality_id)来获得和去块滤波器相关的信息(810)。作为和去块滤波器的操作相关的信息的示例,可以有表示去块滤波器的操作方法的信息(disable_deblocking_filter_idc),去块滤波所需的偏移量信息(slice_alpha_c0_offset_div2,slice_beta_offset_div2)等。
[0102] 首先,可以基于用于控制去块滤波器的特性的信息来获得表示去块滤波器的操作的信息。在这种情形下,如同图2的描述所提及的,用于控制去块滤波器的特性的信息可以从序列参数集的扩展区域中获得。举例说来,作为用于控制去块滤波器的特性的信息,可以有表示控制用于层间预测的去块滤波器的特性的信息是否存在的标志信息(inter_layer_deblocking_filter_control_present_flag)(820)。因此,可以根据上述标志信息获得表示去块滤波器的操作方法的信息(830)。
[0103] 具体而言,如果disable_deblocking_filter_idc等于0,那么可以对于当前图像的亮度和色度信号的所有块边缘执行滤波。如果disable_deblocking_filter_idc等于1的话,可以不对当前图像的所有块边缘执行滤波。disable_deblocking_filter_idc等于2,则对具有重叠条带边界的块边缘之外的所有块边缘执行滤波。如果disable_deblocking_filter_idc等于3的话,则对具有不重叠条带边界的块边缘进行滤波,并且然后对具有重叠条带边界的块边缘进行滤波。如果disable_deblocking_filter_idc等于4的话,只对亮度信号的块边缘执行滤波而可以不对色度信号的块边缘执行滤波。如果disable_deblocking_filter_idc等于5的话,则对具有重叠条带边界的块边缘之外的亮度信号的所有块边缘进行滤波,并且可以不对色度信号的块边缘执行滤波。如果disable_deblocking_filter_idc等于6的话,可以不对色度信号的块边缘进行滤波,但可以只对亮度信号的块边缘进行滤波。当对于具有不重叠条带边界的亮度信号的块边缘进行滤波后,可以对具有重叠条带边界的亮度信号的块边缘进行滤波。
[0104] 基于表示去块滤波器的操作方法的信息,可以获得去块滤波所需的偏移量信息。举例来说,如果disable_deblocking_filter_idc等于1的话,对所有的块边缘都不执行去块滤波。因此,只有当disable_deblocking_filtor_idc的值不被设置为1的时候,才能获得去块滤波所必需的偏移量信息(840)。举例说来,inter_layer_slice_alpha_c0_offset_div2和inter_layer_slice_beta_offset_div2可以是指层间预测时在宏块中访问去块滤波器表时所使用的偏移量信息(850)。因此,可以通过使用所获得的偏移量信息来执行去块滤波。
[0105] 图9是根据本发明的一个实施例的根据是否存在层间预测来获得表示上采样后的参考图像和当前图像间的位置差异的偏移量信息的语法结构图。
[0106] 根据本发明的一个实施例,编码器可以通过检查可伸缩视频编码比特流的配置信息,而不传输和层间预测相关的信息。可伸缩视频编码比特流的配置信息可以从NAL头的扩展区域中获得。举例来说,可以根据表示是否使用层间预测的信息(no_inter_layer_pred_flag)和质量识别信息(quality_id)来获得和用于上采样过程的参数相关的信息(910)。作为和用于上采样过程的参数相关的信息的示例,存在关于色度信号的相移的信息(930),表示图像间的位置差异的偏移量信息(940)等。并且,可以从序列参数集的扩展区域和条带头获得和用于上采样过程的参数相关的信息。
[0107] 作为关于色度信号的相移的信息(930)的示例,存在关于用于层间预测的图像的色度分量的水平相移的信息(ref_layer_chroma_phase_x_plusl),关于其垂直相位变化的信息(ref_layer_chroma_phase_y_plus1)。作为表示图像间的位置差异的偏移量信息(940)的示例,存在偏移量信息(scaled_ref_layer_left_offset,scaled_ref_layer_top_offset,scaled_ref_layer_right_offset,scaled_ref_layer_bottom_offset),其表示用于层间预测的上采样后的图像和当前图像间的左、上、右和底部位置差异。
[0108] 可以基于表示用于上采样过程的参数有关的信息的位置的信息(extended_spatial_scalability)来获得和用于上采样过程的参数相关的信息。举例说来,如果上述extended_spatial_scalability被设置为0,那么可以表示和用于上采样过程的参数相关的信息既不存在于序列参数集中也不存在于条带头中。如果extended_spatial_scalability被设置为1,可表示和用于上采样过程的参数相关的信息不存在于条带头中,但存在于序列参数集中。如果extended_spatial_scalability被设置为2,可表示和用于上采样过程的参数相关的信息不存在于序列参数集中,但存在于条带头中。因此,如果extended_spatial_scalability被设置为2,可以控制条带头中的和用于上采样过程的参数相关的信息(920)。而且,如果extended_spatial_scalability被设置为1,则可以控制序列参数集中的和用于上采样过程的参数相关的信息。
[0109] 关于色度信号的相移的信息(930),及表示参考图像和当前图像间的位置差异的偏移量信息(940)被用于上采样过程。
[0110] 图10是根据本发明的一个实施例的根据是否存在层间预测来获得表示是否限制在基本层中使用帧内块(intra-block)的标志信息的语法结构图。
[0111] 根据本发明的一个实施例,通过检查可伸缩视频编码比特流的配置信息,编码器可以不传输和层间预测相关的信息。上述可伸缩视频编码比特流的配置信息可以从NAL头的扩展区域获得。举例说来,可以根据表示是否使用层间预测的信息(no_inter_layer_pred_flag)和质量识别信息(quality_id)来获得表示上采样过程中的条带边界的处理的信息(1010)。作为表示条带边界的处理的信息的示例,存在表示对于增强层中的当前块是否限制使用基本层中的帧内块的信息(constrained_intra_resampling_flag)。通过定义表示是否限制使用帧内块的信息,可以提高执行并行处理时的解码速度。可以从条带头获得表示是否限制使用帧内块的信息。
[0112] 因为可以从条带头获得表示是否限制帧内块的使用的信息,即使其值被设置为1,也需要检查和当前块相应的基本层的参考块是否包含在基本层的特定条带中。因此,当constrained_intra_resampling_flag被设置为1时,可以确认和当前块相应的基本层的参考块是否包含在基本层的特定条带中。举例说来,当基本层的参考块和基本层中的至少两个条带相交叠时,当前块被标记为在基本层中不使用帧内块。具体而言,不能通过使用帧内基本预测模式(intra-base prediction mode)来编码当前块。帧内基本预测模式可表示基于基本层的相应区域来预测增强层的当前块的模式。这种情形下,基本层的相应区域表示以帧内模式编码的块。当基本层的相应区域被包含入基本层的特定条带时,可以通过使用基本层的帧内块(intra-block)来解码当前块。这种情形下,当前块可以被标记为使用了帧内基本预测模式(intra-base prediction mode)。
[0113] 如果上述constrained_intra_resampling_flag设置为1,则表示参照图8所描述的去块滤波器的操作方法的信息(disable_deblocking_filter_idc)将受到限制。举例说来,disable_deblocking_filter_idc只能被设置为1、2或4。
[0114] 如果上述constrained_intra_resampling_flag被设置为0,即使基本层中的相应块和基本层中的至少两个条带相交叠,也可以使用基本层的帧内块(intra-block)来解码增强层的当前块。
[0115] 以上描述的实施例可以适用于色度信号,同样按照相同方式也适用于亮度信号。
[0116] 图11是根据本发明的一个实施例的用于根据是否存在层间预测来获得自适应预测信息的语法图。
[0117] 根据本发明的一个实施例,通过确认可伸缩视频编码比特流的配置信息,编码器可以不传输和层间预测相关的信息。可以从NAL头的扩展区域获得可伸缩视频编码比特流的配置信息。举例说来,可以基于表示是否使用层间预测的信息no_inter_layer_pred_flag来获得自适应预测信息(1110)。自适应预测信息可以表示和预测相关的语法是否存在于相应位置。例如,存在表示和预测相关的语法是否存在于条带头和宏块层的信息adaptive_prediction_flag,表示和运动预测相关的语法是否存在于宏块层的信息adaptive_motion_prediction_flag,和表示和残差预测相关的语法是否存在于宏块层的信息adaptive_residual_prediction_flag,等等。
[0118] 当根据表示是否使用层间预测的信息来执行层间预测时,首先可获得表示是否存在条带数据的标志信息slice_skip_flag(1120)。通过确认表示存在条带数据的信息,为了执行层间预测,可决定是否推导出宏块内的信息。根据表示上述条带数据的存在的信息,如果条带数据存在于条带中(1130),可以获得自适应预测标志adaptive_prediction_flag(1140)。并且,可以获得表示和残差预测相关的语法是否存在于宏块层的信息adaptive_residual_prediction_flag(1180)。根据上述自适应预测标志,可以从基本层的相应块获得表示如何推导表示是否预测运动信息等信息的信息default_base_mode_flag(1150)。当运动信息等不是从基本层的相应块被预测得到时(1155),可以获得表示和运动预测相关的语法是否存在于宏块层中的信息adaptive_motion_prediction_flag(1160)。如果和运动预测相关的语法不存在于宏块层的话(1165),可以获得表示如何推断运动预测标志信息的信息default_motion_prediction_flag(1170)。
[0119] 可以在宏块层使用表示和运动预测相关的语法是否存在于宏块层的信息adaptive_motion_prediction_flag和表示和残差预测相关的语法是否存在于宏块层的信息adaptive_residual_prediction_flag。例如,可以基于上述adaptive_motion_prediction_flag,获得表示是否使用基本层的运动向量的标志motion_prediction_flag_lx。并且,可以基于上述adaptive_residual_prediction_flag,获得表示是否使用基本层的残差信号的标志residual_prediction_flag。
[0120] 如上文所述,可应用于本发明的解码器/编码器被提供到用于诸如DMB(数字多媒体广播)等的多媒体广播的广播发射机/接收机,以用于解码视频信号、数据信号等。并且,上述多媒体广播发射机/接收机可以包括移动通信终端
[0121] 一种应用本发明的解码/编码方法,被作为用于计算机执行的程序,并且存储在计算机可读记录介质中。并且,具有本发明的数据结构的多媒体数据可以被存储在计算机可读记录介质中。计算机可读记录介质包括用于存储计算机系统可读数据的所有类型的存储设备。计算机可读记录介质包括ROM、RAM、CD-ROM、磁带、软盘、光盘存储设备等,并且还包括由载波所实现的设备(例如,通过因特网的传输)。并且,由编码方法所生成的比特流被存储在计算机可读介质中或通过有线/无线通信网络被传输。
[0123] 尽管本发明已参照其优选实施例进行了描述及说明,很明显本领域的技术人员可对其进行各种修改及变化,而不脱离本发明的精神或范畴。因此,本发明覆盖权利要求书及其等同物的范围中所提供本发明的修改及变化。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈