视频解码方法和设备、视频编码方法和设备
阅读：501发布：2020-05-31
专利汇可以提供视频解码方法和设备、视频编码方法和设备专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种视频解码设备，包括：解码模 块 ，用于解码画面，其中，基于所述画面的下一画面的 片段 报头中包括的基准画面信息来标记所述画面是基准画面、还是非基准画面。，下面是视频解码方法和设备、视频编码方法和设备专利的具体信息内容。
1.一种视频解码设备，包括：
解码模块，用于解码画面，
其中，基于所述画面的下一画面的片段报头中包括的基准画面信息来标记所述画面是基准画面、还是非基准画面。
2.如权利要求1所述的视频解码设备，其中，使用所述基准画面信息来再次标记所述画面是基准画面、还是非基准画面。
3.如权利要求1所述的视频解码设备，其中，所述视频解码设备进一步包括：
解析模块，解析包括关于编码视频的信息的网络抽象层(NAL)单元的NAL单元报头，其中，所述NAL单元报头不包括指示所述NAL单元是基准画面、还是非基准画面的信息。
4.如权利要求3所述的视频解码设备，其中，所述编码视频对应于所述下一画面。
5.如权利要求1所述的视频解码设备，其中，所述视频解码设备进一步包括：
解析模块，解析所述画面的网络抽象层(NAL)单元的NAL单元报头，并且所述NAL单元报头不包括指示所述画面是基准画面、还是非基准画面的信息。
6.如权利要求5所述的视频解码设备，其中，指示所述画面是基准画面、还是非基准画面的信息是1位的标志信息。
7.一种视频解码方法，包括：
解码画面；以及
将所述画面标记为基准画面和非基准画面中的一个，
其中，基于所述画面的下一画面的片段报头中包括的基准画面信息来标记所述画面是基准画面、还是非基准画面。
8.一种视频编码设备，包括：
编码单元，用于编码画面和编码所述画面的下一画面的片段报头，
其中，所述片段报头包括指示所述画面是否是非基准画面的基准画面信息。
9.如权利要求8所述的视频编码设备，其中，对于包括所述画面和所述下一画面的视频的解码处理，使用所述基准画面信息来再次标记先前标记为基准画面的所述画面是基准画面、还是非基准画面。
10.如权利要求8所述的视频编码设备，其中，所述编码单元编码网络抽象层(NAL)单元的NAL单元报头，
所述NAL单元报头包括与编码视频相关的信息，并且
所述NAL单元报头不包括指示所述NAL单元是基准画面、还是非基准画面的信息。
11.如权利要求10所述的视频编码设备，其中，所述编码视频对应于所述下一画面。
12.如权利要求7所述的视频编码设备，其中，所述编码单元编码所述画面的网络抽象层(NAL)单元的NAL单元报头，并且
所述NAL单元报头不包括指示所述画面是基准画面、还是非基准画面的信息。
13.如权利要求12所述的视频编码设备，其中，指示所述画面是基准画面、还是非基准画面的信息是1位的标志信息。
14.一种视频编码方法，包括：
编码画面；以及
编码所述画面的下一画面的片段报头，
其中，所述片段报头包括指示所述画面是否是非基准画面的基准画面信息。
15.一种用于存储由权利要求14所述的方法生成的位流的计算机可读介质。
16.一种用于存储位流的方法，包括：
生成包括画面的信息和所述画面的下一画面的信息的位流；以及
存储所述位流，
其中，所述片段报头包括指示所述画面是否是非基准画面的基准画面信息。
17.一种用于生成位流的方法，包括：
生成包括画面的信息和所述画面的下一画面的信息的位流，
其中，所述片段报头包括指示所述画面是否是非基准画面的基准画面信息。
18.一种用于存储位流的计算机可读介质，所述位流包括：
画面的信息；以及
所述画面的下一画面的片段报头的信息，
其中，所述片段报头包括指示所述画面是否是非基准画面的基准画面信息。
19.如权利要求18所述的计算机可读介质，其中，对于包括所述画面和所述下一画面的视频的解码处理，使用所述基准画面信息来再次标记所述画面是基准画面、还是非基准画面。
20.如权利要求18所述的计算机可读介质，其中，所述位流包括网络抽象层(NAL)单元的NAL单元报头，所述NAL单元报头包括与编码视频相关的信息，
所述NAL单元报头不包括指示所述NAL单元是基准画面、还是非基准画面的信息。
21.如权利要求20所述的计算机可读介质，其中，所述编码视频对应于下一画面。
22.如权利要求18所述的计算机可读介质，其中，所述画面的信息包括所述画面的网络抽象层(NAL)单元的NAL单元报头，并且
所述NAL单元报头不包括指示所述画面是基准画面、还是非基准画面的信息。
23.如权利要求22所述的计算机可读介质，其中，指示所述画面是基准画面、还是非基准画面的信息是1位的标志信息。
视频解码方法和设备、视频编码方法和设备
技术领域
[0002] 本发明涉及视频编码和解码处理，且更具体地，涉及一种视频解码方法 和设备、视频编码方法和设备、存储和生成位流的方法以及计算机可读介质。
背景技术
[0003] 随着具有高清晰度(HD)分辨率的广播全国性和全世界性地扩展和服务， 许多用户正在习惯于具有高分辨率和高SNR的视频。因此，许多组织已经进 行了用于开发下一代视频装置的很多尝试。此外，因为与HDTV一起、还对 于具有比HDTV高4倍的分辨率的超高清晰度(UHD)存在增长的兴趣，所 以需要压缩和处理具有较高分辨率和较高SNR的视频的技术。
[0004] 为了压缩视频，可以使用帧间预测技术、帧内预测技术、熵编码技术等， 在帧间预测技术中，从时间上之前和/或之后的画面预测当前画面中包括的像 素的值，在帧内预测技术中，使用关于当前画面中包括的像素的信息预测当 前画面中包括的像素的值，在熵编码技术中，将短码分配给具有高出现频率 的码元并将长码分配给具有低出现频率的码元。
[0005] 视频压缩技术包括其中在硬件的受限操作环境下提供特定网络带宽、而 不考虑柔性网络环境的技术。但是，为了压缩应用于包括频繁改变的带宽的 网络环境的视频数据，需要新的压缩技术。为此，可以使用可伸缩的视频编 码/解码方法。
发明内容
[0006] 技术问题
[0007] 本发明的目的是提供一种用于描述分层位流内的提取和可伸缩性信息的 方法和设备。
[0008] 本发明的另一目的是提供一种用于表示关于以灵活的方式使用的各种位 流的可伸缩性信息的方法和设备。
[0009] 本发明的又一目的是提供一种用于在分层位流内提供提取和可伸缩性信 息、以使得可以在分组级别自适应地变换提取和可伸缩性信息的方法和设备。
[0010] 技术方案
[0011] 根据本发明实施例的视频解码设备包括：解析模块，用于解析接收画面 的片段报头；解码模块，用于解码接收画面；和解码画面缓冲器(DPB)，用 于存储解码画面，其中，在DPB中标记解码画面作为基准画面，且基于解码 画面的下一画面的片段报头中包括的基准画面信息来再次标记解码画面是基 准画面、还是非基准画面。
[0012] 所述解析模块解析包括关于编码视频的信息的网络抽象层(NAL)单元 的NAL单元报头，且所述NAL单元报头不包括当编码视频时指示NAL单元 是整个位流中的非基准画面、还是基准画面的1位的标志信息。
[0013] 所述NAL单元报头包括：层标识信息，用于识别支持可伸缩层的位流中 的可伸缩层。
[0015] 根据本发明实施例的视频解码方法可以包括：解码接收画面；在解码画 面缓冲器(DPB)中标记解码画面作为基准画面；解析解码画面的下一画面 的片段报头；和基于片段报头中包括的基准画面信息来标记解码画面是基准 画面、还是非基准画面。
[0016] 所述视频解码方法可以包括：解析包括关于编码视频的信息的网络抽象 层(NAL)单元的NAL单元报头，且所述NAL单元报头不包括当编码视频 时指示NAL单元是整个位流中的非基准画面、还是基准画面的1位的标志信 息。
[0017] 所述NAL单元报头包括：层标识信息，用于识别支持可伸缩层的位流中 的可伸缩层。
[0018] 用于指示NAL单元是整个位流中的非基准画面、还是基准画面的标志信 息的1位用于发信号通知所述层标识信息。
[0019] 一种视频编码设备可以包括：编码模块，用于编码包括由相应的片段参 考的基准画面信息的片段报头；和传输模块，用于发送包括片段报头的位流。
[0020] 所述编码模块编码包括关于编码视频的信息的网络抽象层(NAL)单元 的NAL单元报头，且所述NAL单元报头不包括当编码视频时指示NAL单元 是整个位流中的非基准画面、还是基准画面的1位的标志信息。
[0021] 所述NAL单元报头包括：层标识信息，用于识别支持可伸缩层的位流中 的可伸缩层。
[0022] 所述编码模块使用用于指示NAL单元是整个位流中的非基准画面、还是 基准画面的标志信息的1位，来编码所述层标识信息。
[0023] 一种视频编码方法可以包括：编码包括由相应的片段参考的基准画面信 息的片段报头；和发送包括片段报头的位流。
[0024] 所述视频编码方法可以进一步包括：编码包括关于编码视频的信息的网 络抽象层(NAL)单元的NAL单元报头；和发送包括NAL单元的位流，其 中，所述NAL单元报头不包括当编码视频时指示NAL单元是整个位流中的 非基准画面、还是基准画面的1位的标志信息。
[0025] 所述NAL单元报头包括：层标识信息，用于识别支持可伸缩层的位流中 的可伸缩层。
[0026] 用于指示NAL单元是整个位流中的非基准画面、还是基准画面的标志信 息的1位用于编码所述层标识信息。
[0027] 一种视频解码设备可以包括：解析模块，用于接收包括关于活动参数集 的信息的补充增强信息(SEI)消息，并且解析关于参数集的信息。
[0028] 关于活动参数集的信息包括：对活动视频参数集(VPS)编索引的信息 和对活动序列参数集(SPS)编索引的信息的至少一个。
[0029] 关于活动参数集的信息包括：对活动VPS编索引的信息、指示参考活动 VPS的SPS的数目的信息、和对SPS编索引的信息。
[0030] 关于参数集的信息用于提取提供时间、空间、质量和视图可伸缩性的至 少一个的子层或者层。
[0031] 关于参数集的信息用于参考或者激活用于解码视频编码层网络抽象层 (NAL)单元的参数集。
[0032] SEI消息包括：对VPS编索引的信息和对SPS编索引的信息的至少一个， 且所述视频解码设备进一步包括：解码模块，用于激活与对VPS编索引的信 息和对SPS编索引的信息对应的VPS和SPS的至少一个。
[0033] 一种视频解码方法可以包括：接收包括关于活动参数集的信息的补充增 强信息(SEI)消息；和解析关于参数集的信息。
[0034] 关于活动参数集的信息包括：对活动视频参数集(VPS)编索引的信息 和对活动序列参数集(SPS)编索引的信息的至少一个。
[0035] 关于活动参数集的信息包括：对活动VPS编索引的信息、指示参考活动 VPS的SPS的数目的信息、和对SPS编索引的信息。
[0036] 关于参数集的信息用于提取提供时间、空间、质量和视图可伸缩性的子 层。
[0037] 关于参数集的信息用于参考或者激活用于解码视频编码层网络抽象层 (NAL)单元的参数集。
[0038] SEI消息包括：对VPS编索引的信息和对SPS编索引的信息的至少一个， 且所述视频解码方法进一步包括：激活与对VPS编索引的信息和对SPS编索 引的信息对应的VPS和SPS的至少一个。
[0039] 一种视频编码设备可以包括：编码模块，用于编码包括关于活动参数集 的信息的补充增强信息(SEI)消息；和传输模块，用于发送包括SEI消息的 位流。
[0040] 关于活动参数集的信息包括：对活动视频参数集(VPS)编索引的信息 和对活动序列参数集(SPS)编索引的信息的至少一个。
[0041] 关于活动参数集的信息包括：对活动VPS编索引的信息、指示参考活动 VPS的SPS的数目的信息、和对SPS编索引的信息。
[0042] 关于参数集的信息用于提取提供时间、空间、质量和视图可伸缩性的子 层。
[0043] 关于参数集的信息用于参考或者激活用于解码视频编码层网络抽象层 (NAL)单元的参数集。
[0044] 一种视频编码方法可以包括：编码包括关于活动参数集的信息的补充增 强信息(SEI)消息；和发送包括SEI消息的位流。
[0045] 关于活动参数集的信息包括：对活动视频参数集(VPS)编索引的信息 和对活动序列参数集(SPS)编索引的信息的至少一个。
[0046] 关于活动参数集的信息包括：对活动VPS编索引的信息、指示参考活动 VPS的SPS的数目的信息、和对SPS编索引的信息。
[0047] 关于参数集的信息用于提取提供时间、空间、质量和视图可伸缩性的子 层。
[0048] 关于参数集的信息用于参考或者激活用于解码视频编码层网络抽象层 (NAL)单元的参数集。
[0049] 技术效果
[0050] 根据本发明的实施例，可以提供一种用于描述分层位流内的提取和可伸 缩性信息的方法和设备。
[0051] 根据本发明的实施例，可以提供一种用于表示关于以灵活的方式使用的 各种位流的可伸缩性信息的方法和设备。
[0053] 图1是示出了根据示例性实施例的视频编码设备的结构的实例的框图；
[0054] 图2是示出了根据示例性实施例的视频解码设备的结构的实例的框图；
[0055] 图3是示意性地示出了本发明可以应用的、使用多层的可伸缩视频编码 (SVC)结构的示例性实施例的概念图；
[0056] 图4是图示根据本发明的编码视频信息的方法的控制流程图；和
[0057] 图5是图示根据本发明的解码视频信息的方法的控制流程图。
具体实施方式
[0058] 参考附图来详细描述本发明的一些示例性实施例。但是，在描述本说明 书的实施例时，如果认为使得本发明的主旨不必要地不清楚，则将省略公知 功能和结构的详细说明。
[0059] 在本说明书中，当叙述一个要素与另一要素“连接”或者“耦合”时， 可以意味着一个要素可以与另一要素直接连接或耦合，或者第三要素可以“连 接”或者“耦合”在这两个要素之间。此外，在本说明书中，当叙述“包括” 特定要素时，可以意味着不排除除了该特定要素之外的要素，且另外的要素 可以包括在本发明的示例性实施例或者本发明的技术范围中。
[0060] 比如第一和第二的术语可以用于描述各种要素，但是要素不由该术语限 制。该术语仅用于区分一个要素与另一要素。例如，第一要素可以命名为第 二要素，而不脱离本发明的范围。同样地，第二要素可以命名为第一要素。
[0061] 此外，本发明的示例性实施例中描述的要素单元可以独立地示出，以指 示差别和特性功能，且这不意味着每一个要素单元由一件单独的硬件或者一 件软件形成。也就是，为了说明的方便起见，排列和包括要素单元，且至少 两个要素单元可以形成一个要素单元或者一个要素可以划分为多个要素单元 且该多个划分的要素单元可以执行功能。要素集成到其中的实施例或者从其 分离一些要素的实施例也包括在本发明的范围中，除非它们脱离了本发明的 实质。
[0062] 此外，在本发明中，一些要素不是用于执行必需功能的必需要素，而可 以是仅用于改进性能的可选要素。本发明可以仅使用用于实现本发明的实质 的、除了仅用于改进性能的要素之外的必需要素来实现，且仅包括除了仅用 于改进性能的可选要素之外的必需要素的结构包括在本发明的范围中。
[0063] 图1是示出了根据示例性实施例的视频编码设备的结构的实例的框图。 可伸缩视频编码/解码方法或者设备可以由不提供可伸缩性的普通的视频编 码/解码方法或者设备的扩展来实现。图1的框图示出了可以成为用于可伸缩 视频编码设备的基础的视频编码设备的示例性实施例。
[0064] 参考图1，视频编码设备100包括运动预测模块111、运动补偿模块112、 帧内预测模块120、开关115、减法器125、变换模块130、量化模块140、 熵编码模块150、去量化模块160、逆变换模块170、加法器175、滤波器180 和基准画面缓存器190。
[0065] 视频编码设备100可以以帧内模式或者帧间模式关于输入画面执行编 码，并输出作为编码的结果的位流。在本说明书中，帧内预测具有与画面内 预测相同的含义，且帧间预测具有与画面间预测相同的含义。在帧内模式的 情况下，开关115可以切换到帧内模式。在帧间模式的情况下，开关115可 以切换到帧间模式。视频编码设备100可以产生输入画面的输入块的预测块， 且然后编码输入块和预测块之间的余量(residual)。
[0066] 在帧内模式的情况下，帧内预测模块120可以通过使用已经编码的当前 块的相邻块的像素值执行空间预测，来产生预测块。
[0067] 在帧间模式的情况下，运动预测模块111可以通过对于与运动估计处理 中的输入块最好匹配的区域、搜索基准画面缓存器中存储的基准画面，来获 得运动矢量。运动补偿模块112可以通过使用运动矢量和基准画面缓存器190 中存储的基准画面执行运动补偿，来产生预测块。
[0068] 减法器125可以基于输入块和产生的预测块之间的余量，产生余量块。 变换模块130可以关于余量块执行变换，并根据变换的块输出变换系数。此 外，量化模块140可以通过使用量化参数和量化矩阵中的至少一个量化接收 的变换系数，来输出量化系数。
[0069] 熵编码模块150可以根据基于由量化模块140计算的值或者在编码处理 中计算的编码参数值的概率分布，关于码元执行熵编码，并输出作为熵编码 的结果的位流。熵编码方法是接收具有各种值的码元和在从码元去除统计冗 余的同时以可解码的二进制数的串的形式表示码元的方法。
[0070] 这里，码元指的是要编码或者解码的语法要素和编码参数，余量信号的 值等。编码参数是编码和解码所需的参数。编码参数可以不仅包括由编码器 编码并然后与语法要素一起传送给解码器的信息，而且包括在编码或者解码 处理中可能引出的信息。编码参数指的是编码或者解码视频所需的信息。编 码参数例如可以包括：帧内/帧间预测模式的值或者统计、运动矢量、基准画 面索引、编码块模式(pattern)、关于是否存在余量信号的信息、变换系数、 已量化变换系数、量化参数、块大小和块分区信息。此外，余量信号可以指 的是原始信号和预测信号之间的差值。此外，余量信号可能指的是通过变换 原始信号和预测信号之间的差值而获得的信号，或者通过变换和量化原始信 号和预测信号之间的差值而获得的信号。在块单位中，余量信号可以称作余 量块。
[0071] 如果使用熵编码，则可以减小要编码的码元的位流大小，这是因为通过 将少量位分配给具有高出现频率的码元并且将大量位分配给具有低出现频率 的码元来表示码元。因此，可以通过熵编码改进视频编码的压缩性能。
[0072] 对于熵编码，可以使用比如指数哥伦布(Golomb)、上下文自适应可变 长度编码(CAVLC)和上下文自适应二进制运算编码(CABAC)之类的编码 方法。例如，比如可变长度编码/代码(VLC)表之类的用于执行熵编码的表 可以存储在熵编码模块150中，且熵编码模块150可以使用存储的VLC表执 行熵编码。此外，熵编码模块150可以导出用于目标码元的二值化方法和用 于目标码元/箱(bin)的概率模型，并使用导出的二值化方法或者概率模型执 行熵编码。
[0073] 量化系数由去量化模块160去量化，且然后由逆变换模块170逆变换。 去量化和逆变换系数可以通过加法器175加到预测块，由此产生重构块。
[0074] 重构块经历滤波器180。滤波器180可以应用解组块(deblock)滤波器、 样本自适应偏移(SAO)和自适应环路滤波器(ALF)的一个或多个到重构 块或者重构画面。已经经历滤波器180的重构块可以存储在基准画面缓存器 190中。
[0075] 图2是示出了根据示例性实施例的视频解码设备的结构的实例的框图。 如上参考图1所述，可伸缩视频编码/解码方法或者设备可以由不提供可伸缩 性的普通的视频编码/解码方法或者设备的扩展来实现。图2的框图示出了可 能成为用于可伸缩视频解码设备的基础的视频解码设备的示例性实施例。
[0076] 参考图2，视频解码模块200包括熵解码模块210、逆量化模块220、逆 变换模块230、帧内预测模块240、运动补偿模块250、滤波器260和基准画 面缓存器270。
[0077] 视频解码设备200可以接收从编码器输出的位流，以帧内模式或者帧间 模式关于位流执行解码，和输出所重构的画面，即，重构画面。在帧内模式 的情况下，开关可以切换到帧内模式。在帧间模式的情况下，开关115可以 切换到帧间模式。视频解码设备200可以从接收的位流获得重构的余量块， 产生预测块，且然后通过将重构的余量块加到预测块来产生所重构的块，即， 重构块。
[0078] 熵解码模块210可以通过根据概率分布关于接收的位流执行熵解码，来 产生包括具有量化系数形式的码元的码元。熵解码方法是接收二进制数的串 并使用二进制数的串产生每个码元的方法。熵解码方法类似于上述熵编码方 法。
[0079] 量化系数由逆量化模块220去量化，且由逆变换模块230逆变换。作为 量化系数的去量化/逆变换的结果，可以产生余量块。
[0080] 在帧内模式的情况下，帧内预测模块240可以通过使用与当前块相邻的 已经解码的块的像素值执行空间预测，来产生预测块。在帧间模式的情况下， 运动补偿模块250可以通过使用运动矢量和基准画面缓存器270中存储的基 准画面执行运动补偿，来产生预测块。
[0081] 余量块和预测块由加法器255加在一起。相加的块经历滤波器260。滤 波器260可以应用解组块滤波器、SAO和ALF的至少一个到重构块或者重构 画面。滤波器260输出所重构的画面，即，重构画面。重构画面可以存储在 基准画面缓存270中且可以用于帧间预测。
[0082] 从视频解码设备200中包括的熵解码模块210、逆量化模块220、逆变换 模块230、帧内预测模块240、运动补偿模块250、滤波器260和基准画面缓 存器270中，直接关于视频解码的元件，例如，熵解码模块210、逆量化模 块220、逆变换模块230、帧内预测模块240、运动补偿模块250和滤波器260 可以表示为解码模块，以将其与其他元件区分。
[0083] 此外，视频解码设备200可以另外包括用于解析关于位流中包括的编码 视频的信息的解析模块(未示出)。解析模块可以包括熵解码模块210，或者 解析模块可以包括在熵解码模块210中。解析模块可以表示为解码模块的元 件之一。
[0084] 图3是示意性地示出了本发明可以应用的、使用多层的可伸缩视频编码 (SVC)结构的示例性实施例的概念图。在图3中，画面组(GOP)指示画 面的组，即，一组画面。
[0085] 为了发送视频数据，需要传输介质，且传输介质取决于各种网络环境而 具有不同性能。为了应用于各种传输介质或者网络环境，可以采用可伸缩视 频编码(SVC)方法。
[0086] SVC方法是通过使用层之间的纹理信息、运动信息、余量信号等去除层 之间的冗余来改进编码/解码性能的编码方法。SVC方法可以取决于周围条 件，比如传输位速率、传输差错率和系统资源，而从空间、时间和信噪比(SNR) 的视点提供各种可伸缩性。
[0087] 可以使用多层结构执行SVC，以使得可以提供可应用于各种网络条件的 位流。例如，SVC结构可以包括可以通过利用普通视频编码方法压缩和处理 其视频数据的基层，且可以包括可以通过使用基层的编码信息和普通视频编 码方法两者压缩和处理其视频数据的增强层。
[0088] 这里，层指的是基于空间分辨率(例如，图像大小)、时间分辨率(例如， 编码次序、画面输出次序和帧速率)、SNR和复杂性分类的画面和位流的集合。 此外，基层可以指基准层，且增强层可以指增强层。此外，多层可以在它们 之间具有相关性。
[0089] 例如，参考图3，基层可以由标准清晰度(SD)、15Hz的帧速率和1Mbps 的位速率定义。第一增强层可以由高清晰度(HD)、30Hz的帧速率、3.9Mbps 的位速率定义。第二增强层可以由4K超高清晰度(UHD)、60Hz的帧速率 和27.2Mbps的位速率定义。格式、帧速率、位速率等仅是示例性实施例， 且如有必要，可以不同地确定。此外，使用的层的数目不限于当前示例性实 施例，且可以根据情况不同地确定。
[0090] 例如，如果传输带宽是4Mbps，则第一增强层HD的帧速率可以减小到 小于15Hz。SVC方法可以根据上面与图3的示例性实施例相关描述的方法提 供时间、空间和SNR可伸缩性。
[0091] SVC从编码视点上看，具有与可伸缩视频编码相同的含义，且从解码视 点上看，具有与可伸缩视频解码相同的含义。
[0092] 如上所述，可伸缩性由于异构通信网络和各种终端的缘故而现在成为视 频格式的重要功能。开发了SVC，即，先进视频编码(AVC)的扩展标准， 以产生具有大范围位速率的位流，同时维持压缩效率到最高程度。为了满足 各种装置和网络的特性和改变，可以以多种方式容易地提取SVC位流。也就 是，SVC标准提供空间、时间和SNR可伸缩性。
[0093] 同时，包括多层的位流由使能视频经分组交换网络的自适应传输的网络 抽象层(NAL)单元组成。就像在多层中那样，在位流内包括多个多视图视 频的多视图视频编码中的多个视图之间的关系类似于在支持多层的视频中空 间层之间的关系。
[0094] 为了在内容传送路径中的所有节点中有效地和高效地变换位流，关于位 流的可伸缩性信息是非常重要的。在用于单层的视频编码(即，高效率视频 编码)的当前标准中，关于层信息的两个字段，即，时间id(temporal_id) 和保留一个5位(reserved_one_5bits)存在于NAL单元(以下简称为‘NALU’) 报头中。具有3位的长度的字段‘temporal_id’指示视频位流的时间层，且字 段‘reserved_one_5bits’对应于用于指示另一后续层信息的区域。
[0095] 时间层指的是包括视频编码层(VCL)NALU的时间上可伸缩的位流的 层，且时间层具有特定的temporal_id值。
[0096] 本发明涉及有效地描述支持多层的位流内关于画面的提取信息和可伸缩 性信息并发信号通知提取信息和可伸缩性信息的方法、和用于实现该方法的 设备。
[0097] 在本发明中，位流被分为两个类型：仅支持时间可伸缩性的基类型和能 够具有支持空间/SNR/多视图的可伸缩性的扩展类型。
[0098] 位流的第一类型涉及支持单层视频的位流，且其第二类型涉及基于HEVC的分层视频编码中的增强层。以下，提出了用于表示关于两个位流类 型的可伸缩性信息的改进方法。根据本发明，在扩展的类型中，5位的 ‘reserved_one_5bits’可以用作指示可伸缩层的标识符的层id(layer_id)。
[0099] 从NALU报头去除nal_ref_flag
[0100] Nal基准标志(nal_ref_flag)用于指示非基准画面。该信息指示非基准 画面和基准画面之间的近似优先级，但是nal_ref_flag的使用稍微受限。
[0101] 基准画面指的是包括当以解码次序解码后续画面时可以用于帧间预测的 样本的画面。
[0102] 非基准画面指的是包括当以解码次序解码后续画面时未用于画面间预测 的样本的画面。
[0103] nal_ref_flag是指示以下信息的标志，该信息在编码时指示在整个位流中 相应的NALU是非基准画面、还是基准画面。
[0104] 当nal_ref_flag的值是1时，NALU指的是其包括序列参数集(SPS)、 画面参数集(PPS)、自适应参数集(APS)、或者基准画面的片段(slice)。 当nal_ref_flag的值是0时，NALU指的是其包括包含非基准画面的某些部分 或者整个非基准画面的片段。
[0105] 这里，nal_ref_flag的值是1的NALU可以包括基准画面的片段。 nal_ref_flag对于视频参数集(VPS)、序列参数集(SPS)、或者画面参数集(PPS) 的NALU具有值1。如果在特定画面的VCL NALU之一中nal_ref_flag的值 是0，则nal_ref_flag对于该画面的所有VCL NALU具有值0。
[0106] 同时，如果提取所有非基准画面，特别地，主要与最高时间层对应的非 基准画面，则提取之后剩余的所有画面的nal_ref_flag变为1。
[0107] 但是，虽然nal_ref_flag的值是1，但是，自适应地变换的位流的某些画 面，即，在剩余位流中与最高时间层对应的画面，变为非基准画面。
[0108] 换句话说，NALU报头的另一语法要素(例如，temporal_id)可以在支 持自适应变换(或者提取)方面更有效。也就是，可以使用包括位流的时间 层的总数和NALU报头的temporal_id的值，提取包括所需时间层的位流。
[0109] 此外，当解码(重构)由包括nal_ref_flag的NALU形成的画面且然后 在比如解码画面缓冲器(DPB)之类的存储器中存储解码的画面时， nal_ref_flag也可以用于指示相应的画面是否将随后用作基准画面。如果 nal_ref_flag的值是1，则其指示相应的画面随后用作基准画面。如果nal_ref_flag的值是0，则其指示相应的画面随后不用作基准画面。
[0110] 当在DPB中存储解码画面、而不基于nal_ref_flag确定相应的NALU是 非基准画面、还是基准画面时，解码画面可以表示为基准画面。在该情况下， 虽然解码画面是非基准画面，但是表示为基准画面，因为当以解码次序解码 相应的画面的下一画面时、相应的画面将不包括在下一画面的片段报头中传 送的基准画面列表中，所以没有问题。
[0111] 也就是，当解码下一画面时，基于下一画面的片段报头中包括的基准画 面列表指示先前的解码画面是基准画面、还是非基准画面。因此，即使解码 画面表示为基准画面、而不考虑nal_ref_flag，在确定解码画面是基准画面、 还是非基准画面上也没有问题。
[0112] 本发明提出了从NALU报头删除nal_ref_flag或者改变nal_ref_flag的语 义。关于nal_ref_flag的删除的实施例如下。
[0113] 实施例1
[0115] <表1>
[0116]
[0117] 在表1中，当slice_ref_flag的值是1时，其指示片段是基准画面的一部 分。当slice_ref_flag的值是0时，其指示片段是基准画面的某些部分。
[0118] 实施例2
[0119] 标志‘nal_ref_flag’改变为au基准标志(au_ref_flag)，且标志的位置从 NALU报头移动到访问单元定界符。访问单元定界符的语法可以与表2相同。
[0120] <表2>
[0121]
[0122] 在表2中，当au_ref_flag的值是1时，其指示访问单元包括基准画面。 当au_ref_flag的值是0时，其指示访问单元包括非基准画面。
[0123] 实施例3
[0124] nal_ref_flag不是移动到另一语法，而是从NALU报头删除nal_ref_flag。
[0125] 如果当解码画面时指示整个位流中画面是非基准画面、还是基准画面的 nal_ref_flag，即，1位的标志信息，被删除，则可以通过另一处理执行通过 nal_ref_flag的画面是否是基准画面的确定。在解码接收画面之后，在解码画 面缓冲器(DPB)中无条件地指示解码画面作为基准画面。也就是，可以不 确定解码画面是否是基准画面，但是解码画面可以指示为基准画面。
[0126] 此后，解析紧挨着解码画面的画面的片段报头，且可以基于片段报头中 包括的基准画面信息指示解码画面是基准画面、还是非基准画面。
[0127] 实施例4
[0128] 可以从NALU报头删除nal_ref_flag，且temporal_id可用于指示NALU 是非基准画面。为了指示非基准画面，temporal_id可以是‘7’，位流中包括 的时间层的最大数目-1(即，max_temporal_layers_minus1)，或者除了‘0’之 外的预设值。
[0129] 实施例5
[0130] 可以从NALU报头删除nal_ref_flag，且reserved_one_5bits可以用作优 先级id(priority_id)要素，以指示NALU是非基准画面。priority_id是指示 相应的NALU的优先级的标识符，且用于基于优先级提供位流提取功能，而 与不同的空间、时间和SNR无关。
[0131] 也就是，如果temporal_id＝Ta是最高时间层的标识符，则temporal_id＝ Ta和NALU，即，priority_id＝31(或者另一特定值)用于指示NALU是非 基准画面的NALU。
[0132] 用于发信号通知nal_ref_flag的1位可以用作以下事项之一。
[0133] (1)1位可用于指示nal单元类型(nal_unit_type)。nal_unit_type可以 为7位信号，且NALU类型的数目可以加倍。
[0134] (2)1位可用于指示temporal_id。temporal_id可以为4位信号，且时间 层的最大数目可以加倍。
[0135] (3)1位可用于指示layer_id。layer_id指的是分层位流的可伸缩层的标 识符且可以由reserved_one_5bits语法要素来发信号通知。用于发信号通知 nal_ref_flag的1位可以与用于标识可伸缩层的reserved_one_5bits的5位相加， 且由此layer_id可以为6位的信号。如果使用6位，则可以标识64个可伸缩 层。
[0136] (4)1位可以用作通知reserved_one_5bits是否指示优先级的标志。
[0137] (5)1位可以用作保留位(reserved_bit)。
[0138] 如果不从NALU报头删除nal_ref_flag，则nal_ref_flag的语义可以如下 修改。
[0139] 当nal_ref_flag的值是0时，其指示NALU仅包括非基准画面的片段。 当nal_ref_flag的值是1时，其指示NALU可以包括基准画面或者非基准画面 的片段。
[0140] 视频参数集(VPS)的激活信令
[0141] VPS包括用于解码视频的最基本信息，且可以包括现有的SPS中存在的 内容。
[0142] VPS可以包括关于表示支持时间可伸缩性的时间层的子层的信息和关于 支持空间、质量和视图可伸缩性的多层的信息。也就是，VPS可以包括多层 信息，即，用于HEVC扩展的语法。
[0143] A.视频参数集
[0144] 用于VPS的语法与表3相同。
[0145] <表3>
[0146]
[0147]
[0148] 在表3中，大多数语法具有与应用于包括单层的位流的SPS语法相同的 语义，且另外的部分如下。
[0149] -视频参数集id(video_parameter_set_id)指的是VPS的标识符，且可 以对序列参数集(SPS)、补充增强信息(SEI)或访问单元定界符中的 video_parameter_set_id做出参考。
[0150] -当priority_id_flag的值是1时，其指示reserved_one_5bits可以与SVC 标准的priority_id同样地使用。当priority_id_flag的值是0时，这意味着 reserved_one_5bits可以用作layer_id。
[0151] -当扩展信息标志(extension_info_flag)的值是0时，其指示位流符合 HEVC的单层标准。当extension_info_flag的值是1时，其指示用于支持可伸 缩性的增强层(即，当支持HEVC扩展时)，且提供关于层的信息。
[0152] B.序列参数集(SPS)的修改
[0153] 如在表4中，某些现有的语法可以并入VPS中且可以从SPS删除。同时， vps_id语法要素可以添加到SPS。vps_id已经添加到的SPS语法与表4相同。 在表4中，由通过语法的中间的行指示删除的语法。
[0154] vps_id指示用于标识在SPS中可以对其做出参考的VPS的标识符，且可 以具有0到X的范围。
[0155] <表4>
[0156]
[0157]
[0158] C.VPS的激活信令
[0159] 片段报头包括关于相应的片段参考的画面参数集(PPS)的索引信息， 且PPS包括关于相应的画面参考的序列参数集(SPS)的索引信息。SPS包 括关于相应的序列参考的视频参数集(VPS)的信息。如上所述，当解析关 于参数集的信息，且然后参考关于解析的参数集的信息时，其被称作激活。
[0160] 为了使用关于特定参数集的信息，即，为了激活参数集，需要从片段报 头逐渐地解析参数集。这意味着需要分析所有片段报头和有关的PPS，以知 道激活什么SPS。
[0161] 当从包括单层的位流提取子层(即，时间层)的某些部分时，提取器需 要分析(或者解析)NALU报头和多个参数集。
[0162] 如果用于NALU的提取的信息包括在VPS或者SPS中，则提取器需要 从片段报头顺序地解析较高的参数集。这意味着提取器需要了解参数集和片 段报头的所有语法要素。
[0163] 另一方面，当甚至在视频解码处理中也没有复杂的解析处理的情况下， 可以搜索vps_id或者sps_id且可以仅激活需要的参数集。在该情况下，如果 VPS或者SPS包括要激活的参数索引信息，则可以减少用于复杂的片段报头 和相关PPS的解析过程。
[0164] 同时，仅语法的某些要素可能包括提取位流所需的各条信息。然而，分 析所有语法要素可能变为提取器上的大负担。为了解决该问题，提出以下方 法。
[0165] 在本发明中，参数集的激活指的是执行信令以使得提取器可以知道激活 什么参数集、而不用分析片段报头和相关的画面参数集(PPS)。
[0166] 根据本发明，可以另外发信号通知哪个VPS SPS或者PPS是活动的，以 使得需要分析所有片段报头和相关的PPS的提取器上的负担减小。
[0167] 可以更新VPS。可以使用以下三个方法之一，以使得提取器可以知道活 动的VPS和相关的SPS或者PPS，而不用分析片段报头。
[0168] (1)vps_id、sps_id和pps_id可以包括在访问单元定界符中。vps_id、 sps_id和pps_id指示用于相关的AU的NALU的各个VPS、SPS和PPS的标 识符。
[0169] 为了指示标识符是否存在于访问单元定界符中，使用vps_id存在标志 (vps_id_present_flag)、sps_id存在标志(sps_id_present_flag)和pps_id存在 标志(pps_id_present_flag)。提出的访问单元定界符的语法可以与表5相同。
[0170] <表5>
[0171]
[0172] (1-1)在另一方法中，排除sps_id和pps_id且仅vps_id可以包括在如 在表6中的访问单元定界符中。
[0173] <表6>
[0174]
[0175] (2)用于VPS的激活信令的另一方法是使用新的SEI消息‘参数设置 基准(parameter_set_reference)’。SEI消息包括用于通知指示用于相关的AU 内的NALU的VPS、SPS和PPS的标识符的vps_id、sps_id和pps_id是否存 在的语法。
[0176] 为了指示标识符是否存在，可以使用vps_id_present_flag、sps_id_present_flag和pps_id_present_flagsyntax，且SEI语法与表7相同。
[0177] <表7>
[0178]
[0179] (2-1)此外，可以通过排除pps_id和在SEI消息中包括sps_id和vps_id， 如在<表8>中一样，来通知VPS和SPS的激活。SEI消息中的sps_id和vps_id 可以包括与SEI消息相关联的访问单元的视频编码层NALU参考的sps_id和 vps_id。因此，sps_id和vps_id可以指示关于具有激活的可能性的参数集的信 息。
[0180] <表8>
[0181]
[0182] 在表8中，vps_id指示现在激活的VPS的video_parameter_set_id。vps_id 的值可以具有0-15的值。
[0183] 如果sps_id_present_flag具有值1，则其指示现在激活的SPS的 sequence_parameter_set_id包括在相应的SEI消息中。如果sps_id_present_flag 具有值0，则其指示现在激活的SPS的sequence_parameter_set_id不包括在相 应的SEI消息中。
[0184] sps_id指示现在激活的SPS的sequence_parameter_set_id。sps_id可以具 有0-31的值，更限制地，0-15的值。
[0185] 当psr扩展标志(psr_extension_flag)的值是0时，其指示SEI消息扩展 语法要素不包括在SEI消息中。当psr_extension_flag的值是1时，其指示扩 展并使用包括SEI消息的SEI消息扩展语法要素。
[0186] psr扩展长度(psr_extension_length)指示psr扩展数据 (psr_extension_data)的长度。psr_extension_length可以具有范围从0到256 的值，且psr扩展数据字节(psr_extension_data_byte)可以具有任何值。
[0187] (2-2)此外，除了pps_id之外的一个或多个sps_id和vps_id可以包括 在SEI消息中并然后发信号通知，如在表9中一样。
[0188] <表9>
[0189]
[0190] 在表9中，vps_id指示活动VPS的video_parameter_set_id。vps_id可以 具有0-15的值。
[0191] 数目基准sps(num_reference_sps)指示参考活动的vps_id的SPS的数 目。
[0192] sps_id(i)指示活动SPS的sequence_parameter_set_id，且sps_id可以具有 0-31的值，更限制地，0-15的值。
[0193] (2-3)此外，除了sps_id和pps_id之外仅vps_id可以包括在SEI消息 中并然后发信号通知，如在表10中一样。
[0194] <表10>
[0195]
[0196] (3)用于VPS的激活信令的另一方法是在缓冲时段SEI消息中包括通 知vps_id、sps_id和pps_id的信息。表11示出了包括指示vps_id、sps_id和 pps_id是否存在的vps_id_present_flag、sps_id_presen和pps_id_present_flag 的语法。
[0197] <表11>
[0198]
[0199] (3-1)此外，如在表12中，可以通过在缓冲时段SEI消息中除了sps_id 和pps_id之外仅包括vps_id来发信号通知VPS的激活。
[0200] <表12>
[0201]
[0202]
[0203] (4)用于参数集的激活信令的另一方法是在恢复点SEI消息中包括通知 vps_id、sps_id和pps_id的信息。表13示出了包括指示vps_id、sps_id和pps_id 是否存在的vps_id_present_flag、sps_id_present_flag和pps_id_present_flag的 语法。
[0204] <表13>
[0205]
[0206]
[0207] (4-1)此外，如表14，可能有通过在恢复点SEI消息中除了sps_id和 pps_id之外仅包括vps_id来通知vps_id、sps_id和pps_id的方法。
[0208] <表14>
[0209]
[0210]
[0211] 用于传送vps_id或者sps_id的消息可以包括在帧内随机访问点(IRAP) 访问单元中。
[0212] 如果上述信息信令方法中的任何一个包括在访问单元中并被使用，则提 取器可以通过上述的信令方法识别vps_id、sps_id和pps_id值以提取位流， 且可以管理一个或多个vps/sps/pps。
[0213] 此外，用于执行解码的解码设备或者解码模块可以通过上述的信令方法 识别vps_id、sps_id和pps_id值，且可以通过激活参数集、以信令方法来解 码关联的AU。
[0214] 扩展类型中位流的表示
[0215] 以下，提出了VPS的扩展信息()(extension_info())和新的SEI消息， 以在包括支持层扩展的位流时，描述和发信号通知关于可伸缩层的信息。为 了表示扩展类型中的位流，可以发信号通知以下信息。
[0216] layer_id发信号通知是否其传送层的优先级值。
[0217] 这里，可以响应于每一layer_id值来发信号通知空间层(其由相关性id (dependency_id)值识别)、SNR层(其由质量id(quality_id)值识别)、视 图(其由视图id(view_id)值识别)等，且可以由NALU报头的temporal_id 识别时间层。
[0218] 此外，可以通过区域id(region_id)发信号通知关于layer_id的视频的 区域。
[0219] 此外，可以发信号通知每一可伸缩层的相关性信息、位速率信息和每一 可伸缩层的质量信息。
[0220] extension_info()语法与表15相同。
[0221] <表15>
[0222]
[0223]
[0224]
[0225] 表15的语法的语义如下。
[0226] -数目帧尺寸减1(num_frame_sizes_minus1)加1指示编码视频序列中 包括的其他类型的画面的尺寸信息的最大数目(例如，luma样本中的画面宽 度(pic_width_in_luma_samples[i])、luma样本中的画面高度 (pic_height_in_luma_samples[i])、画面切割标志(pic_cropping_flag[i])、pic_cropping_flag[i]、画面切割左偏移(pic_crop_left_offset[i])、画面切割右 偏移(pic_crop_right_offsetv[i])、画面切割上偏移(pic_crop_top_offset[i])和 画面切割下偏移(pic_crop_bottom_offset[i]))。num_frame_sizes_minus1的值 可以是0-X。其他类型的画面可以包括具有不同分辨率的画面。
[0227] -数目rep格式减1(num_rep_formats_minus1)加1指示编码视频序列 中包括的不同类型的位深度和色度格式的最大数目(例如，位深度luma减8 (bit_depth_luma_minus8[i])、位深度色度减8(bit_depth_chroma_minus8[i]) 和色度格式idc(chroma_format_idc)值[i])。num_rep_formats_minus1的值可 以是0-X的范围。
[0228] -pic_width_in_luma_samples[i]、pic_height_in_luma_samples[i]、 pic_cropping_flag[i]、pic_cropping_flag[i]、pic_crop_left_offset[i]、 pic_crop_right_offsetv[i]、pic_crop_top_offset[i]和pic_crop_bottom_offset[i]指 示编码视频序列的第i个pic_width_in_luma_samples、 pic_height_in_luma_samples、pic_cropping_flag、pic_cropping_flag、 pic_crop_left_offset、pic_crop_right_offsetv、pic_crop_top_offset、 pic_crop_bottom_offset值。
[0229] -bit_depth_luma_minus8[i]、bit_depth_chroma_minus8[i]和 chroma_format_idc[i]指示编码视频序列的第i个bit_depth_luma_minus8、 bit_depth_chroma_minus8和chroma_format_idc值。
[0230] -数目层减1(num_layers_minus1)指示位流中可用的可伸缩层的数目。
[0231] -当相关性id标志(dependency_id_flag)的值是1时，其指示存在关于 layer_id值的一个或多个dependency_id值。
[0232] -当质量id标志(quality_id_flag)的值是1时，其指示存在关于layer_id 值的一个或多个quality_id值。
[0233] -当视图id标志(view_id_flag)的值是1时，其指示存在关于layer_id 值的一个或多个view_id值。
[0234] -当区域id标志(region_id_flag)的值是1时，其指示存在关于layer_id 值的一个或多个相关的region_id值。
[0235] -当层相关联信息标志(layer_dependency_info_flag)的值是1时，其指 示提供了可伸缩层的相关性信息。
[0236] -帧尺寸idx(frame_size_idx[i])指示用于应用于具有layer_id值为i的 层的一组帧尺寸的索引。frame_size_idx[i]具有范围从0到X的值。
[0237] -rep格式idx(rep_format_idx[i])指示用于应用于具有layer_id值为i 的层的一组位深度和色度格式的索引。rep_format_idx[i]具有范围从0到X的 值。
[0238] -当一个相关性id标志(one_dependency_id_flag[i])的值是1时，其指 示仅存在与其layer_id是i的层相关联的一个dependency_id。当 one_dependency_id_flag[i]的值是0时，其指示存在与其layer_id是i的层相关 联两个或更多dependency_id。
[0239] -dependency_id[i]指示与其layer_id是i的层相关联的dependency_id的 值。
[0240] -相关性id最小(dependency_id_min[i])和相关联id组大 (dependency_id_max[i])分别指示与其layer_id是iI的层相关联的最小 dependency_id值和最大dependency_id值。
[0241] -当一个质量id标志(one_quality_id_flag[i])的值是1时，其指示仅存 在与其layer_id是i的层相关联的一个quality_id。当one_quality_id_flag[i]的 值是0时，其指示存在与其layer_id是i的层相关联的两个或更多quality_id 值。
[0242] -quality_id[i]指示与其layer_id是i的层相关联的quality_id的值。
[0243] -质量id最小(quality_id_min[i])和质量id最大(quality_id_max[i]) 分别指示与其layer_id是I的层相关联的最小quality_id值和最大quality_id 值。
[0244] -当一个视图id标志(one_view_id_flag[i])的值是1时，其指示仅存在 与其layer_id是i的层相关联的一个view_id。当one_view_id_flag[i]的值是0 时，其指示存在与其layer_id是i的层相关联的两个或更多view_id值。
[0245] -view_id[i]指示与其layer_id是i的层相关联的view_id的值。
[0246] -当深度标志(depth_flag[i])的值是1时，其指示其layer_id是i的可 伸缩层包括3-D视频位流的深度信息。
[0247] -视图id最小(view_id_min[i])和视图id最大(view_id_max[i])分别 指示与其layer_id是i的层相关联的最小view_id值和最大view_id值。
[0248] -数目区域减1(num_regions_minus1)加1指示与其layer_id是i的层 相关联的区域的数目。
[0249] -region_id[j]指示与其layer_id是i的层相关联的区域j的标识符。
[0250] -数目直接相关层(num_directly_dependent_layers[i])指示当前可伸缩 层i直接相关联的可伸缩层的数目(即，当执行解码时产生预测信号所需的 层的数目)。
[0251] -直接相关层id差量减1(directly_dependent_layer_id_delta_minus1[i][j]) 加1指示layer_id[i]，即，当前可伸缩层和当前可伸缩层直接相关联的第j可 伸缩层的层标识符之间的差值。当前可伸缩层直接相关联的第j可伸缩层的 层标识符与(layer_id[i]-directly_dependent_layer_id_delta_minus1[i][j]-1)相同。
[0252] 根据另一实施例的extension_info()语法与表16相同。
[0253] <表16>
[0254]
[0255]
[0256] 如表16所示，可以通过关于不同表示格式的信息来发信号通知 pic_width_in_luma_samples[i]和pic_height_in_luma_samples[i]、 bit_depth_luma_minus8[i]、bit_depth_chroma_minus8[i]和 chroma_format_idc[i]。
[0257] 根据另一实施例，可以通过关于不同画面(即，具有不同分辨率的画面) 的信息来发信号通知pic_width_in_luma_samples[i]、 pic_height_in_luma_samples[i]、bit_depth_luma_minus8[i]、 bit_depth_chroma_minus8[i]和chroma_format_idc[i]。
[0258] 用于发信号通知位速率和质量信息的激活SEI消息的语法与表17相同。
[0259] <表17>
[0260]
[0261] 表17的语法的语义如下。
[0262] -num_layers_minus1指示可以在位流中提供的可伸缩层的数目。
[0263] -当位速率信息标志(bit rate_info_flag)的值是1时，其指示提供每一 可伸缩层的位速率信息。
[0264] -当质量信息标志(quality_info_flag)的值是1时，其指示提供每一可 伸缩层的质量值的信息。
[0265] -当质量类型标志(quality_type_flag)的值是1时，其指示提供每一可 伸缩层的质量类型的信息。
[0266] -最大位速率(max_bit rate[i])指示其layer_id值是i的可伸缩层的最 大位速率，且平均位速率(average_bit rate[i])指示其layer_id值是i的可伸 缩层的平均位速率。
[0267] -质量值(quality_value[i])指示可伸缩层i的质量值。
[0268] -质量类型uri(quality_type_uri[QualityTypeUriIdx])指示具有以UTF-8 字符编码的空0终结(null0terminated)字符串的第QualityTypeUriIdx字节且 指示包括质量值的类型的表示的通用资源标识符(URI)。
[0269] 在下文中，提出改进视频参数集(VPS)的方案以高效地提取位流。
[0270] 层参考
[0271] 指示支持多层的位流中layer_id和可伸缩性维度ID之间的关系的方法可 以包括第一方法和第二方法。第一方法通知layer_id和可伸缩性维度ID之间 的映射方法。第二方法分区或者拼接layer_id的位，且然后，通知哪个维度 类型存在于分区或者拼接的位中。
[0272] 在支持多层的位流中，维度类型可能指的是可伸缩性(比如，空间可伸 缩性和质量可伸缩性)的类型，且维度ID可能指的是用于特定维度类型的层 的索引。
[0273] 在支持多层的位流中，总的来说，特定层(为了帮助理解，例如，当在 单层的位流中支持时间可伸缩性的情况下，时间层(子层)3)可以直接参考 特定维度中的下一下层(例如，时间层(子层)2)。
[0274] 例如，在支持空间可伸缩性的情况下，这意味着空间层2直接参考下一 较低空间层1。
[0275] 因此，为了指示以上情况，提出首先描述具有默认直接相关性的维度。
[0276] 此后，在用于可伸缩层的描述环中具体描述特定相关性。
[0277] 以下提出了用于使用这两种方法发信号通知层参考的方案。用于vps扩 展(vps_extension)的改进的语法与表18到表21相同。
[0278] <表18>
[0279]
[0280]
[0281] 表18示出了使用第一方法将layer_id映射到可伸缩性维度ID的语法。 表18的语法的语义如下。
[0282] -当所有默认相关性标志(all_default_dependency_flag)的值是1时，其 指示所有层维度具有默认相关性。也就是，这意味着在特定维度i中，具有 ‘维度id(dimension_id[i])＝n’的层默认地直接参考具有dimension_id[i]＝ n-1的另一层。
[0283] 当all_default_dependency_flag的值是0时，其指示所有层维度可以不具 有默认相关性。当all_default_dependency_flag的值是0时，发信号通知以下 ‘num_default_dim_minus1’。
[0284] -数目默认维度减1(num_default_dim_minus1)指示具有默认相关性的 维度的数目。
[0285] -维度[j]规定具有默认相关性的层维度的类型。也就是，在逐个地增加 具有默认相关性的维度的数目的同时，发信号通知关于具有默认相关性的层 维度的类型的信息。在相应的维度中，较高层(例如，dimension_id＝n)将 直接参考下一较低层(例如，dimension_id＝n-1)。
[0286] -当特定相关性标志(specific_dependency_flag[i])的值是1时，这意味 着存在对于相应层详细描述的直接相关性/参考。因此，当 specific_dependency_flag[i]的值是1时，发信号通知相应层直接参考的层的数 目和层的ID。
[0287] 层C直接参考层B指的是解码器需要使用层B的信息(解码或不解码的) 以解码层C。如果层B直接使用层A的信息，则不考虑层C直接参考层A。
[0288] <表19>
[0289]
[0290]
[0291] 表19示出了layer_id的位分配给可伸缩性维度类型和使用第二方法发信 号通知所分配的维度类型的长度的语法。
[0292] 表19中描述的数目维度减1(num_dimensions_minus1)指示NALU报 头中存在的层维度的数目。也就是，检查NALU报头中存在的层维度的数目， 且检查每一相应层维度中存在的层类型和分配给维度类型的位的数目。
[0293] 表19中描述的用于层参考的语法‘all_default_dependency_flag、 num_default_dim_minus1、dimension[j]和specific_dependency_flag[i]’具有与表 18中描述的语法相同的语义。
[0294] 表20和21描述表18和19的替代语法。表20示出了当使用第一方法时 指示默认相关性的替代语法，且表21示出了当使用第二方法时指示默认相关 性的替代语法。
[0295] <表20>
[0296]
[0297] <表21>
[0298]
[0299] 在表20和21的语法当中，省略了表18和19中描述的语法的描述。
[0300] 表20和21中的新语法‘默认相关性标志(default_dependency_flag[i])’ 指示维度类型i是否使用默认相关性。在相应的维度中，高层(例如， dimension_id[i]＝n)直接参考右下层(例如，dimension_id[i]＝n-1)。
[0301] 也就是，在由num_dimensions_minus1和维度类型(dimension_type[i]) 指定特定维度类型之后，发信号通知特定维度类型是否使用默认相关性。如 果不发信号通知它，则其指示发信号通知用于相应层直接参考的层的信息。
[0302] 根据本发明的维度类型列出在表22中。
[0303] <表22>
[0304]dimension_type[i][j] dimension_id[i][j]
0 视图次序idx(view order idx)
1 深度标志(depth flag)
2 相关联ID(dependency ID)
3 质量ID(quality ID)
4 优先级ID(priority ID)
5 区域ID(region ID)
6..15 保留
0 视图次序idx(view order idx)
1 深度标志(depth flag)
2 相关联ID(dependency ID)
3 质量ID(quality ID)
4 优先级ID(priority ID)
5 区域ID(region ID)
6..15 保留
[0305] 根据本发明，已经在现有的维度类型中添加了维度类型4和5，即，指 示优先级ID和区域ID的类型。
[0306] dimension_type[i][j]可以具有0和5之间的值。可以随后定义其他值，且 如果dimension_type[i][j]不具有0和5之间的值，则解码器可以忽视 dimension_type[i][j]的值。
[0307] 如果dimension_type具有值4，则相应的dimension_id指示SVC标准中 位流的优先级层的ID。
[0308] 如果dimension_type具有值5，则相应的dimension_id指示位流的特定 区域的ID。特定区域可以是位流中的一个或多个空间-时间分段。
[0309] 图4是图示根据本发明的编码视频信息的方法的控制流程图。
[0310] 参考图4，编码设备在步骤401编码包括关于视频的信息的网络抽象层 (NAL)单元。
[0311] NALU的NALU报头不包括指示NALU是否包括包含至少某些或者整 个非基准画面的片段的信息。
[0312] 同时，NALU报头包括层ID信息，以识别支持可伸缩层的位流中的可 伸缩层。
[0313] 这里，用于发信号通知指示除了NALU报头之外的NALU是否包括包含 至少某些或者整个非基准画面的片段的信息的位可用于发信号通知层ID信 息。
[0314] 此外，NALU可以包括关于解码视频所需的各种参数集的信息。
[0315] 编码设备可以编码包括关于活动参数集的信息的补充增强信息(SEI)消 息，作为独立NALU。
[0316] 关于活动参数集的信息可以包括在其上对活动VPS编索引的信息和在 其上对活动SPS编索引的信息的至少一个。
[0317] 此外，关于活动参数集的信息可以包括关于在其上对活动VPS编索引的 信息、关于参考活动VPS的SPS的数目的信息、和在其上对SPS编索引的信 息。
[0318] 解码设备可以使用关于参数集的信息来提取提供时间可伸缩性的子层。
[0319] 此外，当激活解码视频编码层NALU所需的参数集时，用于执行解码的 解码设备或者解码模块可以使用关于参数集的信息。
[0320] 编码设备在步骤402以位流的形式发送包括关于编码视频的信息的 NALU。
[0321] 图5是图示根据本发明的解码视频信息的方法的控制流程图。
[0322] 参考图5，解码设备在步骤501通过位流接收包括关于编码视频的信息 的NALU。
[0323] 解码设备在步骤502解析NALU的报头和NAL有效载荷。视频信息的 解析可以由熵解码模块或者附加的解析模块执行。
[0324] 解码设备可以通过解析获得NALU的报头和NAL有效载荷中包括的各 条信息。
[0325] NALU报头可以在支持可伸缩层的位流中包括用于识别可伸缩层的层 ID信息，且可以不在整个位流中包括当编码视频数据时指示NALU是非基准 画面、还是基准画面的1位的标志信息。
[0326] 这里，用于发信号通知指示除了NALU报头之外的NALU是否包括包含 至少某些或者整个非基准画面的片段的信息的位可用于发信号通知层ID信 息。
[0327] 此外，解码设备可以通过解析获得SEI消息中包括的关于参数集的信息。 用于参数集的获得的信息是解码与SEI消息相关联的NALU所需的。
[0328] 关于活动参数集的信息可以包括在其上对活动VPS编索引的信息和在 其上对活动SPS编索引的信息的至少一个。
[0329] 此外，关于活动参数集的信息可以包括在其上对活动VPS编索引的信 息、指示参考活动VPS的SPS的数目的信息、和在其上对SPS编索引的信息。
[0330] 解码设备可以使用关于参数集的这些条信息来提取提供时间可伸缩性的 子层。
[0331] 另外，当解码位流时或者在会话协商(例如，在IP网络中的流传输时的 会话协商)中可以使用关于参数集的所述条信息。
[0332] 在上述的实施例中，虽然已经以一系列步骤或者块的形式基于流程图描 述了所述方法，但是本发明不限于所述步骤的序列，且可以以与其他步骤不 同的次序执行某些步骤，或者可以与其他步骤同时地执行某些步骤。此外， 本领域技术人员将理解，在流程图中示出的步骤不是排他的，且所述步骤可 以包括另外的步骤或者可以删除流程图中的一个或多个步骤，而不改变本发 明的范围。
[0333] 上述实施例包括实例的各种方面。虽然可能没有描述呈现各种方面的所 有可能组合，本领域技术人员将理解其他组合是可能的。因此，本发明应该 理解为包括落入到权利要求的范围内的所有其他替换、修改和改变。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于SVC数据特性的P2P流媒体分片及调度方法 | 2020-05-08 | 255 |
| 向后兼容的HDR视频多层压缩技术 | 2020-05-12 | 152 |
| 用于混合的交错和递进内容的可伸缩视频编码的方法 | 2020-05-11 | 643 |
| 处理和传输媒体数据的方法和装置 | 2020-05-11 | 992 |
| BIO中的时间梯度计算的改善 | 2020-05-08 | 174 |
| 图像处理方法、装置、存储介质及电子设备 | 2020-05-08 | 595 |
| 用于视频编码或解码的运动信息获取方法与装置 | 2020-05-11 | 396 |
| 在native层实现无缝录像的方法、装置及终端设备 | 2020-05-08 | 810 |
| 一种电子商务数据处理系统及方法 | 2020-05-11 | 709 |
| 基于rtmp的音视频数据加解密方法、装置及可读存储介质 | 2020-05-11 | 127 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈