首页 / 专利库 / 广播 / 帧内预测 / 用于在视频编码中随机存取和逐步更新图像的方法

用于在视频编码中随机存取和逐步更新图像的方法

阅读:889发布:2023-12-30

专利汇可以提供用于在视频编码中随机存取和逐步更新图像的方法专利检索,专利查询,专利分析的服务。并且一种用于提供随机存取和逐步更新编码视频序列( 附图 E)的方法及相关设备。逐步 解码器 更新是通过使用隔离区域、灵活的宏 块 顺序(附图4)和在切片边界关闭环路 滤波器 来实现的。还提供一种用于随机存取操作的可靠检测和引导 帧 及开路解码器更新(ODR)图像的可靠信令的机制。,下面是用于在视频编码中随机存取和逐步更新图像的方法专利的具体信息内容。

1.一种用于执行与随机存取编码视频序列有关的图像内容的逐步更新的 方法,该视频序列包括多个视频,每一帧的图像内容被编码为至少非时间预测 形式和时间预测形式其中之一,其特征在于,逐步更新通过以下步骤来实现,即 在由视频帧表示的图像区域内定义一个区域,,当视频序列的每一个编码帧在所述 随机存取之后被解码时逐渐地更新该区域的图像内容,并且引起该区域以预定的 方式在多于一个帧的周期上逐渐演化来覆盖由视频帧表示的整个图像区域,从而 提供该图像内容的完全更新。
2.根据权利要求1的方法,其特征在于所述的随机存取在一个被编码为 时间预测形式的帧处发生。
3.根据权利要求1的方法,其特征在于所述的随机存取在一个被编码为 非时间预测形式的帧处发生。
4.根据权利要求1的方法,其特征在于所述区域演化的预定的方式的一 个指示是以代表编码视频序列的比特流来提供的。
5.根据权利要求4的方法,其特征在于所述区域演化的预定方式的所述 指示包括所述区域演化的方向的指示。
6.根据权利要求4的方法,其特征在于所述区域演化的预定方式的所述指 示包括一个确定了所述的区域从一个帧到下一个帧增长的量值的增长率的指示。
7.根据权利要求6的方法,其特征在于所述的增长率的指示确定了所述 区域从一个帧到下一个帧所增长的宏数目。
8.一种用于执行根据权利要求1的方法的视频解码器

说明书全文

技术领域

发明主要涉及对视频图像的随机存取和逐步更新。特别地,本发明涉及一 种在根据ITU-T H.264|ISO/IEC MPEG-4第十部分视频编码标准编码的视频序列中 的视频图像的随机存取和逐步更新的方法。

背景技术

视频序列由一系列的静止图像或组成。视频压缩方法基于减少视频序列的 冗余的以及与感知上不相关的部分。视频序列中的冗余可以分类为频谱、空间和 时间冗余。频谱冗余涉及到同一图像中不同颜色成分之间的相似性,而空间冗余 是由于图像中的相邻象素之间的相似性造成的。时间冗余是因为在先前图像中出 现的物体在当前图像中很可能还会出现而存在的。压缩可以通过利用时间冗余和 根据另一个被称为锚定或参考图像的图像来预测当前图像来完成。实际上,这是 通过产生一个描述在当前图像和先前图像之间的运动的运动补偿数据来完成的。
视频压缩方法典型地区分利用时间冗余减少的图像和那些不利用时间冗余 减少的图像。不利用时间冗余减少方法的压缩图像通常被称为INTRA(或I)帧 或图像。在时间上预测的图像通常是根据在当前图像之前出现的图像向前预测出 的,并且被称为INTER或P帧。在INTER帧的情况下,预测的运动补偿图像很 难足够精确,因而空间压缩的预测误差帧会伴随着每一个INTER帧。INTER图像 可以包括INTRA编码区域。
很多视频压缩方案也使用时间上双向预测帧,该帧通常被称为B图像或B 帧。B图像被插入到I和/或P帧的锚定图像对之间,并根据其中的一个或两个锚 定图像来预测。B图像通常产生与向前预测的INTER编码的P图像相比增强的压 缩。B图像不当作固定器(anchor)图像使用,也就是,其它的图像不根据它们来 预测。因此,它们可以被丢弃(有意地或无意地),而不会影响将来的图像的图像 质量。同时,与P图像比较,B图像可以改善压缩性能,它们的产生需要更大的 计算复杂性和存储器使用,并且它们还会引入附加的延时。对于例如视频流的非 实时应用来说这可能不是一个问题,但是对于例如视频会议的实时应用来说就会 引起问题。
因而,如上面所阐述的,一个压缩的视频剪辑典型地由图像序列组成,该图 像序列被粗略地分类为在时间上独立的INTRA图像,在时间上被不同编码的 INTER图像和(可能的)双向预测B图像。由于INTRA编码图像的压缩效率通 常低于INTER编码图像的压缩效率,所以使用INTRA图像比较节约,特别是在 低比特率应用中。然而,因为INTRA编码图像可以独立于视频序列中的其它图像 而被解码,所以每一个INTRA图像代表一个进入编码的视频序列的入口(或者随 机存取点),也就是一个解码的起始点。因而,在编码的视频序列中包含一定数量 的INTRA编码图像是有利的,例如每隔一定间隔,以便允许随机存取该序列。此 外,一个典型的视频序列包含很多的场景和连续镜头。由于图像内容在一个场景 和另一个场景之间可能有很值得注意的区别,因此将每一个新场景的第一图像以 INTRA格式进行编码也是有利的。这样,即使没有其它的INTRA编码帧包含在 编码序列中,至少每一个场景中的第一帧提供了一个随机存取点。编码视频序列 中的每一组可独立解码的图像都以INTRA编码帧(构成随机存取点)开始并且以 紧接在下一个INTRA编码帧之前的帧结束,它通常被称为图像组或简写为GOP。
某些随机存取操作是由终端用户产生的(例如,视频序列的观众),例如由 于用户在流传输的视频文件中搜索新位置。在这种情况下,解码器很可能得到用 户产生的随机存取操作的指示并且可以相应地执行。但是,在一些情况下,随机 存取操作不是由终端用户控制的。例如,在编码数据流中,拼接或编辑过的数据 流可能包括一些具有与用户实施的随机存取操作相似的特点的“切入口(cut)”。 但是,在后面的这种情况下,解码器就可能接收不到这样的切入口已经产生的指 示,并且可能不能正确地解码序列中随后的图像。因此为视频解码器提供一种用 于检测编码视频流中的随机存取操作或切入口的可靠的方法是很重要的。
现代视频编码标准定义了一个自给自足的视频比特流的语法。在撰写本文时 最流行的标准是国际电信联盟ITU-T建议H.263,“用于低比特率通信的视频编码 (Video coding for low bit rate communication)”,1998年2月;国际标准化组织/国 际电子工程委员会ISO/IEC14496-2,“音视频对象的普通编码.第二部分:视频 (Generic Coding of Audio-Visual Object.Part2:Visual)”,1999年(称为MPEG-4);以及 ITU-T建议H.262(ISO/IEC13818-2)(称为MPEG-2)。这些标准为比特流以及相应 地为图像序列及图像定义了一个级别。此外的视频编码标准仍在发展中。特别是, 对H.263的长期接任者的研究的标准化努,如已知的ITU-T H.264|ISO/IEC MPEG-4第十部分正在被称为ISO/IEC MPEG(运动图像专家组)的联合视频组 (JVT)和ITU-T VCEG(视频编码专家组)的标准化主体的联合支持下进行。这 些标准的一些特殊方面和特别是与本发明相关的H.264视频编码标准的那些特性 在下面将被描述。
附图1表示了一个传统的编码图像序列,包括INTRA编码的I图像,INTER 编码的P图像和双向编码的B图像,并被排列为具有形式IBBP...等等的模式。 方框表明以显示顺序排列的帧,箭头表明运动补偿,方框中的字母表明帧的类型, 并且方框中的数值是帧的编号(如根据H.264视频编码标准指定的),表明帧的编 码/解码顺序。
术语“引导帧”或“引导图像”被用于描述任何在随机地存取先前的I帧之 后不能被正确地解码的帧或图像,并且它们的显示时间是在I帧的显示时间之前 (附图1中的B帧B17是引导帧的例子)。在该描述中,术语“开路解码器更新” (ODR)图像被用于标识一个具有引导图像的可随机存取的帧。
与附图1所示的相类似的编码帧的模式是普遍的,并且使得对ODR图像的 随机存取尽可能地简单是希望得到的。
已经存在很多可供选择的办法来存取ODR图像。一个典型的解决方案只是 简单地丢弃一些引导B图像。这是一种在不允许参考图像选择及解码和显示顺序 的去耦的视频编码标准中典型采用的方法,其中I图像始终是一个随机存取点。
该问题的另一个解决方案是将紧随在一个I帧(按照编码/解码顺序)后面的 所有未存储的帧视为引导帧。当该方法在附图1所描述的简单的情况下工作时, 它缺少处理存储的引导帧的性能。附图2示出了一个编码方案的例子,其中在可 随机存取的I帧之前具有一个存储的引导帧。在该例子中,刚才描述的引导帧的 简单的隐藏标识符并没有正确地工作。
另外一个简明的想法是将所有在I帧(按照编码/解码顺序)之后出现的B图 像视为引导图像。但是,引导图像并不是始终是B图像。例如,由Miska M.Hannuksela写的科学论文,题目为:“Simple Packet Loss Recovery Method for Video Streaming”,Proceedings of Packet Video Workshop 2001,Kyongju,韩国,2001年 4月30日-5月1日以及ITU-T SG16/Q15文献Q15-K38提出一种用于改善在视 频编码中的误差弹性(error resiliency)的INTRA帧延迟方法,该方法的采用使得 这个用于标识引导帧的简单方法不可行。附图3示出了一个被延迟了一个存储的 帧间隔的INTRA帧的例子。因此,有一个按照显示顺序先于INTRA帧的P帧 (P17)。
JVT文献JVT-B063提出一帧可以与预置延迟相关联(在视频比特流中提供 作为补充增强信息),其用于指示在从一个特定的帧开始解码之后用于按照显示顺 序的所有连续的帧在内容上被完全校正所占用的时间。在存取ODR图像时,可以 使用该预置延迟SEI信息。但是,有三个缺点伴随着这种方法。第一,用于处理 SEI信息的解码器处理是非标准化的,也就是它不是H.264标准的命令部分并且因 而不必由所有的根据H.264实现的解码器支持。因此,可以有一个服从标准的不 知道SEI的解码器来随机存取服从标准的流,但是由于它缺少用于引导图像的参 考帧而不能解码该数据流。第二,解码器可能会不必要地解码一些数据,如存储 的引导帧,因为它并不知道它们对更新操作来说是无用的。第三,参考缺少的帧 的数量的解码器操作变得更复杂。因此,该方法作为ODR图像随机存取的解决方 案不是优选的。
H.264视频编码标准(如在JVT委员会草案中指定的)包括“瞬时解码器更 新”和“独立GOP”的概念。术语“瞬时解码器更新”涉及到一种“整洁”的随 机存取方法,其中在解码过程中,不设计先于INTRA帧的数据。一个独立GOP 是一个可以独立于先前或以后的图像被解码的图像组。一个“瞬时解码器更新” (IDR)图像发出一个新的独立GOP开始的信号。因此,根据H.264,一个IDR 图像可以当作一个随机存取点使用。(详情参见文献JVT-B041,它分析了瞬时解 码器更新的必要条件,和JVT-C083,其提出了该特性的语法,语义,和标准文本。)
建议包含在H.264视频编码标准中的另一个概念是“逐步解码器更新” (GDR)。它被称为“不整洁”的随机存取,其中涉及先前编码的但可能没有接 收到的数据,并且正确的图像内容根据多于一幅编码图像被逐步地恢复。GDR允 许使用任何一种帧的随机存取功能。一种用于GDR的信令机制首先在JVT文献 JVT-B063中提出(并且随后在JVT出版文献JVT-B109中)。JVT-B063断定主要 有两个基本的可供选择的办法来预置GDR解码处理,“最佳效果解码”和“保险 解码”。在最佳效果解码中,所有不可用的帧都被预置为中间等级灰度,开始所有 帧的解码,但仅仅在确定的指示条件满足之后才认为它们在内容上完全正确。在 “保险解码”中解码器从一个I帧开始解码,然后在试图解码任何更多的非I帧 之前等待,以确保剩余的帧不包含对不可用的数据的参考。该“最佳成果”可供 选择的方法在JVT-B063中是首选的。
关于逐步解码器更新的编码的问题在JVT文献JVT-C074中研究。该文献断 定GDR不可能实现使用在当时有效的JVT H.264编码解码器版本,并提出一种称 为“隔离区域技术”(IREG)的方法应被用于GDR编码。
该隔离区域技术是在JVT文献JVT-C072中提出的。该隔离区域是宏的一 个可靠区域,用于定义边界的形状,环路滤波在穿过该边界时应被关闭以及空间 图像内预测被限制于该边界。参考帧中的隔离区域外面的时间预测也应被禁止。 在大量连续的编码图像期间,隔离区域的形状可以是发展的。在图像组(GOP) 中,隔离区域的形状取决于先前图像中的相应的隔离区域的形状,并且该图像组 包括具有在未进行时间预测的情况下编码的原始隔离区域的图像,这种图象组被 称为“具有进化的隔离区域的图像组”(IREG GOP)。相应的周期(根据编码参 考帧)被称为“进化的隔离区域周期”或者“IREG周期”。
如上面所述,IREG提供了一种实实现GDR功能的极好的方法并且可以被用 于提供误差弹性和恢复(参见JVT文献JVT-C073),感兴趣区域编码和优先化, 画中画功能,和遮掩的视频场景转变的编码(参见文献JVT-C075)。基于IREG 的逐步随机存取,能实现接收机的媒体信道的转换,服务器的比特流转换,并且 还允许新来者在多点传输流应用中很容易进行存取。
改进的隔离区域的误差弹性特性和逐步解码器更新特性可以同时应用。因 此,当一个编码器使用隔离区域来完成逐步解码器更新时,不用附加的比特率和 复杂性的代价可以“免费”得到改进的误差弹性。
包含在H.264视频编码标准中的另外一个概念是“灵活的宏块顺序” (FMO)。FMO首先在JVT文献JVT-C089中提出,随后被包含在H.264标准的 JVT委员会草案中。通过将图像分割为切片组,FMO允许以一种不同于典型的光 栅扫描顺序的顺序编码宏块。由该机制实现的主要应用是误差弹性方法、例如离 散切片(slice)(参见JVT文献JVT-C090)和切片交织(如在JVT文献JVT-C091 中提出的)的执行。由于它的灵活性,具有灵活的宏块顺序的其它应用也是可以 的。JVT文献JVT-D095提出了一些对FMO的增强。
在文献JVT-C117中提出了在切片边界上关闭环路滤波器来改善误差弹性和 支持理想的GDR。该环路滤波器的限制具有两个另外的优点:第一,提供了一种 关于FMO技术中固有的并行处理问题的很好的解决方案,并且第二,它是及时 实现乱序切片的正确解码所必须的。

发明内容

本发明引入用于实现随机存取和逐步更新编码视频序列中的图像的方法。它 特别是基于在H.264视频编码标准的发展期间提出的逐步解码器更新的方法并且 提出了一种用于在H.264视频编码解码器环境中的GDR的可行实现方案。但是, 应该知道本发明并不仅限于在H.264标准的限制范围的应用而可以应用于其它视 频编码标准,其中视频序列使用INTRA和INTER编码帧的组合来编码,并且其 采用了与在H.264中所使用的语法相类似的语法。
更明确地,本发明提出了通过使用隔离区域、可变换宏块顺序和在切片边界 上关闭环路滤波器来实现逐步解码器更新的实现方案。特别是,本发明使得 JVT-C072的初始的隔离区域技术适合于被包含在H.264视频编码标准中,并且引 入了一种用于逐步解码器更新的信令方法。
本发明还提出了一种用于可靠地检测随机存取操作的机制。
本发明还提出了用于引导帧和ODR图像的可靠的信令机制。

附图说明

附图1描述了一个IBBP编码帧模式并示出了引导B帧的位置;
附图2示出了具有存储的引导帧的可随机存取的I帧;
附图3描述了INTRA帧延迟的技术;和
附图4描述了根据本发明的方框外部顺时针方向形状发展的增长顺序。

具体实施方式

现在描述一个根据本发明的逐步解码器更新的可行实现方案。
如同本发明的背景技术中所描述的,在切片边界上环路滤波的关闭有利于逐 步解码器更新的执行。特别是,穿过已更新的区域边界的环路滤波应该被关闭以 避免在正常解码时和在随机存取后的解码期间的象素值失配。没有环路滤波器限 制(也就是具有仍激活的环路滤波的)的逐步解码器更新是可能的并且令人厌恶 的失配不是非常可能产生,但是控制失配的振幅和传播很困难,所以关闭环路滤 波器是更可取的。因此,本发明建议用以下方式来限制环路滤波,即将切片边界 作为图像边界进行处理。这个限制可以在逐图像的基础上用信令发送。更特别地, 根据本发明的一个优选实施例,如果一个宏块及其左边的相邻宏块属于不同的切 片,该宏块如同在图像左边界一样被滤波。如果一个宏块及其上面的相邻宏块属 于不同的切片,则该宏块如同在图像中最上面一行宏块中一样被滤波。
本发明进一步引入用于结合逐步解码器更新一起使用的概念“切片组”。根 据本发明,一个切片组被定义为覆盖图像的一定区域的一组切片,在该组中的每 一个切片的尺寸是可以独立调整的。有利地,一个切片的编码尺寸根据优选的传 输包尺寸进行调整。一个切片组,如根据本发明定义的,对于执行采用隔离区域 方法的逐步解码器更新(如JVT文献JVT-C072介绍和先前在本文中描述的)来 说是理想的。特别是,一个隔离区域覆盖一定的空间区域,该区域可以包括多于 一个切片并且它的边界应当采用与切片边界相似的方式进行处理(特别是,环路 滤波和内部预测必须停止)。当隔离区域被用于执行逐步解码器更新时,隔离区域 的形状,尺寸,位置产生演化,因为逐步更新的区域典型地在图像之间增长。当 这种形状发展可以通过H.264视频编码标准的FMO语法来传达时,当用于形状演 变的特定的FMO语法被定义时,很多比特可以被节省。
根据本发明,在连续帧中的隔离区域的形状和位置信息被存储。上述信息被 用于运动估计。执行运动估计/补偿的方法也被修改来促进隔离区域的使用。特别 的,当进行全象素运动估计时,在相应的参考帧中的涉及隔离区域外的运动向量 被丢弃而不计算编码成本。在对非整数象素分辨率执行运动估计/补偿时,特定的 措施也是很必要的。H.264视频编码标准允许对1/4或1/8象素精确度执行运动估 计/补偿。不同的内插滤波器被用于内插1/4和1/8子象素。对于1/4象素精确度, 1/2抽样位置使用6抽头滤波来内插,并且1/4抽样位置通过平均在整数或1/2抽 样位置上的两个最近的抽样来内插。有一个不同于上述一般规则的例外,被称为 “奇特位置”,它通过平均最近的四个整数抽样来获得。内插处理的结果是,某些 “剩余(left-over)”区域影响位于内部但是距离隔离区域边界少于两个整数象素 的子象素。根据本发明,当执行对子象素分辨率的运动估计时,这一事实被考虑。 更特别地,涉及距离隔离区域边界近于两个象素的块的运动向量被丢弃而不用计 算编码成本。当1/8象素分辨率用于运动估计/补偿时,进行一个类似的操作。
如上面阐明的,当使用隔离区域进行逐步解码器更新时,隔离区域在尺寸, 形状和位置上产生演化。最终,作为逐步解码器更新处理的结果,获得一个可靠 的(即完全重建的)帧。这在隔离区域演变为等于整个帧(即覆盖了整个图像区 域)时实现。根据本发明,一旦达到这种情况,下面的限制就会强加于后面帧的 编码:
1.新的隔离区域必须避免根据先前的IREG GOP进行预测:
对于剩余区域,应该避免参考先于可靠帧的帧中的剩余区域的预测和参考在 时间上处于先前的IREG GOP之前的帧中任何块的预测。应用适当的类似于上面 描述的参考帧限制和运动向量限制来满足这两个要求。
在使用了利用根据本发明实现的隔离区域的GDR技术的帧中,每一幅图像 包括一个隔离区域和一个剩余区域。该隔离区域是一个切片组,并且剩余区域是 另一个切片组。根据用信令通知的区域的增长率,两个切片组的区域形状发展变 化并随着图像之间的隔离区域发展。
本发明还引入了另外的包含在H.264视频编码标准中的用于启动隔离区域的 信令的语法。更特别,根据本发明,一些新的mb_allocation_map_types被增加到 H.264标准语法中。这些在下面的表格1中示出,其中增加的被引入以支持隔离区 域的语法元素由右手列中的“IREG”表示以及“RECT”表示矩形切片组(如 JVT-D095中提出的):
Num_slice_group_minus1   0   U(3) If(num_slice_group_minus1>0){/*use of Flexible MB Order*/ Mb_allocation_map_type   0   e(v) if(mb_allocation_map_type==0) for(i=0;i<=max_slice_group_id;i++) run_length   0   e(v) Else if(mb_allocation_map_type==2) for(i=0;i<=num_mbs_in_picture;i++) slice_group_id   0   u(3) Else if(mb_allocation_map_type==3){   RECT for(i=0;I<=max_slice_group_id;i++){   RECT top_left_mb   0   u(v)   RECT Bottom_right_mb   0   u(v)   RECT }   RECT }   RECT else if(mb_allocation_map_type==4‖ mb_allocation_map_type==5‖ mb_allocation_map_type==6){   IREG Evolution_direction   0   u(1)   IREG Growth_rate   0   e(v)   IREG }   IREG }
表格1:根据本发明的用于支持独立区域的语法
在表格1中,当mb_allocation_map_type是4,5,或6的时候(也就是只有 两个切片组在图像中),参数num_slice_group_minus1被设定为1。参数growth_rate 表示每幅图像中隔离区域增长的宏块的数量。使用growth_rate参数和得知将被更 新的图像的尺寸,一个解码器可以决定完全更新整个图像所需要的时间(称为 GDR周期)。例如,在QCIF图像(在11×9的矩形阵列中其包括99个16×16 的象素宏块)和每幅图像中10个宏块的growth_rate的情况下,完成一个完全更新 的图像需要从GDR周期开始(包含的)的ceil(99/10)=10幅图像。
新的mb_allocation_map_types4,5,6和根据本发明定义的并在表格1中示 出的evolution_directions定义隔离区域的六个切片组演化模式,如下面表格2所 示:     (mb_allocation_map_type,     evolution_directions)     区域演化模式     (4,0)     方框外部顺时针方向     (4,1)     方框外部反时针方向     (5,0)     光栅扫描     (5,1)     反向光栅扫描     (6,0)     向右擦除     (6,1)     向左擦除
表格2:根据本发明的新切片组演化模式
在表格2中示出的六个区域演化模式定义如下:
1.光栅扫描:隔离区域的第一个宏块是图像顶端最左边的宏块。隔离区域 以光栅扫描的顺序增长。
2.反向光栅扫描:隔离区域的第一个宏块是图像底部最右边的宏块。隔离 区域以反向光栅扫描的顺序增长。
3.向右擦除:隔离区域的第一个宏块是图像顶端最左边的宏块。隔离区域 从顶部向底部增长。在一列的最底部的宏块之后的下一个宏块是该列右手侧的那 列的最顶部的宏块。
4.向左擦除:隔离区域的第一个宏块是图像底部最右边的宏块。隔离区域 从底部向顶部增长。在一列的最顶部的宏块之后的下一个宏块是在该列的左手侧 一列的底部宏块。
5.方框外部顺时针方向:使用一个原点在顶端最左边宏块处并且具有宏块 间隔尺寸的(x,y)坐标系,以及使用H来表示图像中编码宏块的行数,使用W 来表示图像中编码宏块的列数,隔离区域中的第一宏块是具有坐标(x0,y0) =(W/2,H/2)的宏块。“/”表示舍位除法(division by truncation)。隔离区域增长顺序 的定义如附图4中所示。
6.方框外部反时针方向:使用与在上面5中所介绍的相同的坐标系,变量 和数学运算的定义,隔离区域中的第一宏块是具有坐标为(x0,y0)=((W-1)/2, ((H-1)/2)的宏块。增长顺序与附图4所示的相似,但是沿反时针方向。
为了使解码器、编码范围编辑单元和网络单元容易辨别一个随机存取点,本 发明的一个优选实施例提出GDR周期的开始根据网络适配层(NAL)单元类型 的H.264语法用信令发送。GDR周期的第一幅图像被称为一个GDR图像。并不 需要精确的语法,但是可能使用的示例的语法可以在JVT-C074工作草案中找到。
本发明还提出了用于可靠的指示ODR图像和引导帧的机制。
以与刚才结合GDR图像的信令所讨论的相类似的方式,本发明提出了带有 专用的NAL单元类型的ODR图像。
此外,在本发明的一个优选实施例中,引导帧被明确地标识出。由于其对编 码器执行没有强加任何限制和复杂化,并且提供了一种机制,编码器可以通过该 机制容易地识别出引导帧,因此该方法是首选的。根据本发明,引导图像可以是 任何运动补偿图像,例如,P,B和SP图像(SP图像类型是根据H.264定义的运 动补偿图像的特殊类型)。有利地,一个标记(被称为leading_picture_flag)与这些 图像类型相关并被加入到H.264 NAL单元类型语法中或者图像或切片报头语法 中,以提供一个明确的指示即提供的图像是一个引导图像。这一选择是非常有利 的,由于它需要很少或不需要比特率开销并且易于编码器和解码器的使用。
根据本发明,使用如JVT文献JVT-D098中所描述的“子序列标识符”来指 示随即存取点。
用于GDR和ODR图像以及引导图像的信令的准确的语法可以根据应用于 H.264视频编码标准的NAL单元类型语法的细节来改变。
根据本发明定义的一个ODR图像具有以下特征:
1.解码处理可以在一个随机存取操作后从一个ODR图像开始或重新开始。
2.一个ODR图像只包括I或SI切片;
3.ODR NAL单元包括一个切片EBSP;以及
4.ODR NAL单元类型用于所有包含一个ODR图像的编码宏块数据的NAL 单元。
根据本发明定义的一个GDR图像具有以下特征:
1.解码处理可以在一个随机存取操作后从一个GDR图像开始或重新开始。
2.一个GDR图像可以以任何编码类型进行编码。
3.GDR NAL单元类型用于所有包含一个GDR图像的编码宏块数据的NAL 单元。
根据本发明,与引导图像相关联的leading_picture_flag具有以下特征:
1.如果解码处理开始于按照解码顺序的的前一幅ODR图像并且按照解码顺 序在当前图像和该ODR图像之间没有出现一个IDR图像,则leading_picture_flag 标明一个不应该被解码的图像。
2.leading_picture_flag使能对ODR图像的随机存取,该图像被用作为按照 显示顺序在时间上在先的图像的运动补偿参考,如果ODR图像被随机存取,则不 解码这些不能被正确重建的帧。
在H.264解码处理中的以下改变是由于采用ODR和GDR图像和随机存取 点的信令机制以及如根据本发明定义的引导帧而导致的:
1.如果一个GDR或ODR图像的子序列标识符与先前接收到的子序列标识 符不同,则解码器推断一个GDR或ODR图像更新操作,并且最大的长期帧索引 重置为0。
2.如果一个ODR操作开始于一个ODR图像并且如果自从原始ODR图像 没有ODR或IDR图像被解码,一个具有leading_picture_flag等于“1”的图像不 被解码。
3.如果一个GDR操作开始于一个GDR图像,解码器不解码任何剩余区域 并且如果没有接收到剩余区域,就不推断数据的丢失。
相关申请的交叉参考
专利申请要求申请号为60396200,申请日为2002年4月16的申请的优先 权。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈