使用可分级嵌套SEI消息的视频编码和解码
阅读：1074发布：2020-07-16
专利汇可以提供使用可分级嵌套SEI消息的视频编码和解码专利检索，专利查询，专利分析的服务。并且公开了用于 视频编码 的各种方法、装置和 计算机程序 产品。在一些 实施例 中，图片被编码到比特流中。比特流包括与 访问 单元相关联的至少两个可分级性层和图片。第一指示和第二指示被编码到比特流中。第一指示被配置成指示 输出层 。并且第二指示被配置成指示至少一个替选输出层。当输出层的图片不在包含所述至少一个替选输出层的所述第一图片的访问单元中时，通过比特流的解码过程来输出所述至少一个替选输出层的第一图片。，下面是使用可分级嵌套SEI消息的视频编码和解码专利的具体信息内容。
1. 一种方法，包括： -对可分级嵌套补充增强信息(SEI)消息进行编码； -将所述可分级嵌套SEI消息与包括至少两个层的比特流相关联并且与所述比特流内 的第一帧内随机访问点（IRAP)图片相关联； -在所述可分级嵌套SEI消息中包括缓冲周期SEI消息； -在所述可分级嵌套SEI消息中指示所述缓冲周期SEI消息应用于相关联的所述比特流 的多于一个层； -在所述缓冲周期SEI消息中指示当在所述比特流中不存在所述第一 IRAP图片的跨层 随机访问跳跃(CL-RAS)图片时应用的至少一个缓冲参数，其中特定层中的CL-RAS图片是所 述特定层中按照解码顺序在IRAP图片前面的图片，从所述IRAP图片能够对所述特定层的解 码进行初始化。
2. 根据权利要求1所述的方法，其中图片和SEI消息被包括在所述比特流中，访问单元 包括所述比特流中的连续数据单元，并且所述相关联包括在包括所述第一 IRAP图片的访问 单元中包括所述可分级嵌套SEI消息。
3. 根据权利要求1所述的方法，其中所述至少一个缓冲参数包括初始已编码图片缓冲 延迟。
4. 根据权利要求1所述的方法，其中所述至少一个缓冲参数符合假设参考解码器模型。
5. -种包括至少一个处理器和至少一个存储器的装置，所述至少一个存储器在其上存 储有代码，所述代码当由所述至少一个处理器执行时使得装置至少执行以下操作： -对可分级嵌套补充增强信息(SEI)消息进行编码； -将所述可分级嵌套SEI消息与包括至少两个层的比特流相关联并且与所述比特流内 的第一帧内随机访问点（IRAP)图片相关联； -在所述可分级嵌套SEI消息中包括缓冲周期SEI消息； -在所述可分级嵌套SEI消息中指示所述缓冲周期SEI消息应用于相关联的所述比特流 的多于一个层； -在所述缓冲周期SEI消息中指示当在所述比特流中不存在所述第一 IRAP图片的跨层 随机访问跳跃(CL-RAS)图片时应用的至少一个缓冲参数，其中特定层中的CL-RAS图片是所 述特定层中按照解码顺序在IRAP图片前面的图片，从所述IRAP图片能够对所述特定层的解 码进行初始化。
6. 根据权利要求5所述的装置，其中图片和SEI消息被包括在所述比特流中，访问单元 包括所述比特流中的连续数据单元，并且所述相关联包括在包括所述第一 IRAP图片的访问 单元中包括所述可分级嵌套SEI消息。
7. 根据权利要求5所述的装置，其中所述至少一个缓冲参数包括初始已编码图片缓冲 延迟。
8. 根据权利要求5所述的装置，其中所述至少一个缓冲参数符合假设参考解码器模型。
9. 一种装置，至少包括： -处理部件和存储器部件； -用于对可分级嵌套补充增强信息(SEI)消息进行编码的部件； -用于将所述可分级嵌套SEI消息与包括至少两个层的比特流相关联并且与所述比特 流内的第一帧内随机访问点（IRAP)图片相关联的部件； -用于在所述可分级嵌套SEI消息中包括缓冲周期SEI消息的部件； -用于在所述可分级嵌套SEI消息中指示所述缓冲周期SEI消息应用于相关联的所述比 特流的多于一个层的部件； -用于在所述缓冲周期SEI消息中指示当在所述比特流中不存在所述第一 IRAP图片的 跨层随机访问跳跃(CL-RAS)图片时应用的至少一个缓冲参数的部件，其中特定层中的CL-RAS图片是所述特定层中按照解码顺序在IRAP图片前面的图片，从所述IRAP图片能够对所 述特定层的解码进行初始化。
10.-种在非暂态计算机可读介质上实施的计算机程序产品，包括计算机程序代码，所 述计算机程序代码被配置成当在至少一个处理器上执行时使得装置或系统： -对可分级嵌套补充增强信息(SEI)消息进行编码； -将所述可分级嵌套SEI消息与包括至少两个层的比特流相关联并且与所述比特流内 的第一帧内随机访问点（IRAP)图片相关联； -在所述可分级嵌套SEI消息中包括缓冲周期SEI消息； -在所述可分级嵌套SEI消息中指示所述缓冲周期SEI消息应用于相关联的所述比特流 的多于一个层； -在所述缓冲周期SEI消息中指示当在所述比特流中不存在所述第一 IRAP图片的跨层 随机访问跳跃(CL-RAS)图片时应用的至少一个缓冲参数，其中特定层中的CL-RAS图片是所 述特定层中按照解码顺序在IRAP图片前面的图片，从所述IRAP图片能够对所述特定层的解 码进行初始化。
使用可分级嵌套化I消息的视频编码和解码
技术领域
[0001] 本申请总体上设及对数字视频材料的编码和解码。特别地，本申请设及可分级编 码。
背景技术
[0002] 本节旨在提供权利要求书中记载的本发明的背景或上下文。本文中的描述可W包 括能够寻求的概念，但是不一定是之前已经设想或寻求的概念。因此，除非本文中另行指 示，在本节中描述的内容不是本申请中的描述和权利要求的现有技术并且不会通过包含在 本节中而被承认为是现有技术。
[0003] 视频编码系统可W包括编码器和解码器，编码器将输入视频变换成适合于存储/ 传输的经压缩的表示，解码器能够将经压缩的视频表示解压回到可观看的形式。编码器可 W丢弃原始视频序列中的一些信息W便W更紧凑的形式来表示视频，例如W使得能够W比 可能需要的比特率更低的比特率来存储/传输视频信息。
发明内容
[0006] 根据第一方面，提供了一种方法，包括：
[0009] -将指示至少一个替选输出层的第二指示编码到比特流中，
[0010] -其中第一指示和第二指示联合地具有W下影响：当在包含第一图片的访问单元 中没有输出层的图片时，通过比特流的解码过程输出至少一个替选输出层的第一图片。
[0011] 根据实施例，方法还包括将层与一个或多个可分级性尺寸相关联;并且将层与一 个或多个可分级性尺寸的不同值集合相关联;其中第二指示独立于一个或多个可分级性尺 寸。
[0012] 根据第二方面，提供了一种装置，包括至少一个处理器和至少一个存储器，所述至 少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时使得装置至少执行 W下操作：
[0013] -将图片编码到比特流中，比特流包括与访问单元相关联的至少两个可分级性层 和图片；
[0014] -将指示输出层的第一指示编码到比特流中；W及
[0015] -将指示至少一个替选输出层的第二指示编码到比特流中，
[0016] -其中第一指示和第二指示联合地具有W下影响：当在包含第一图片的访问单元 中没有输出层的图片时，通过比特流的解码过程输出至少一个替选输出层的第一图片。
[0017] 根据装置的实施例，所述至少一个存储器在其上存储有代码，代码在由所述至少 一个处理器执行时使得装置:将层与一个或多个可分级性尺寸相关联;并且将层与一个或 多个可分级性尺寸的不同值集合相关联;其中第二指示独立于一个或多个可分级性尺寸。
[0018] 根据第=方面，提供了一种在非暂态计算机可读介质上实施的计算机程序产品， 包括计算机程序代码，计算机程序代码被配置成当在至少一个处理器上执行时使得装置或 系统：
[0019] -将图片编码到比特流中，比特流包括与访问单元相关联的至少两个可分级性层 和图片；
[0020] -将指示输出层的第一指示编码到比特流中；W及[0021 ]-将指示至少一个替选输出层的第二指示编码到比特流中，
[0022] -其中第一指示和第二指示联合地具有W下影响：当在包含第一图片的访问单元 中没有输出层的图片时，通过比特流的解码过程输出至少一个替选输出层的第一图片。
[0023] 根据计算机程序产品的实施例，所述至少一个存储器在其上存储有代码，代码在 由所述至少一个处理器执行时使得装置:将层与一个或多个可分级性尺寸相关联;并且将 层与一个或多个可分级性尺寸的不同值集合相关联;其中第二指示独立于一个或多个可分 级性尺寸。
[0024] 根据第四方面，提供了一种方法，包括：
[0025] -从比特流解码图片，比特流包括与访问单元相关联的至少两个可分级性层和图 片；[00%]-从比特流解码指示输出层的第一指示；
[0027] -从比特流解码指示至少一个替选输出层的第二指示；W及
[0028] -当在包含第一图片的访问单元中没有输出层的图片时，输出至少一个替选输出 层的第一图片。
[0029] 根据实施例，方法还包括输出输出层的第二图片，第二图片与第二访问单元相关 联。
[0030] 根据实施例，方法还包括：[0031 ]-将层与一个或多个可分级性尺寸相关联；W及
[0032] -将层与一个或多个可分级性尺寸的不同值集合相关联；
[0033] -其中第二指示独立于一个或多个可分级性尺寸。
[0034] 根据第五方面，提供了一种装置，包括至少一个处理器和至少一个存储器，所述至 少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时使得装置至少执行 W下操作：
[0035] -从比特流解码图片，比特流包括与访问单元相关联的至少两个可分级性层和图 片；
[0036] -从比特流解码指示输出层的第一指示；
[0037] -从比特流解码指示至少一个替选输出层的第二指示；W及
[0038] -当在包含第一图片的访问单元中没有输出层的图片时，输出至少一个替选输出 层的第一图片。
[0039] 根据装置的实施例，所述至少一个存储器在其上存储有代码，代码在由所述至少 一个处理器执行时使得装置:输出输出层的第二图片，第二图片与第二访问单元相关联。
[0040] 根据装置的实施例，所述至少一个存储器在其上存储有代码，代码在由所述至少 一个处理器执行时使得装置:将层与一个或多个可分级性尺寸相关联；W及将层与一个或 多个可分级性尺寸的不同值集合相关联;其中第二指示独立于一个或多个可分级性尺寸。
[0041] 根据第六方面，提供了一种在非暂态计算机可读介质上实施的计算机程序产品， 包括计算机程序代码，计算机程序代码被配置成当在至少一个处理器上执行时使得装置或 系统：
[0042] -从比特流解码图片，比特流包括与访问单元相关联的至少两个可分级性层和图 片；
[0043] -从比特流解码指示输出层的第一指示；
[0044] -从比特流解码指示至少一个替选输出层的第二指示；W及
[0045] -当在包含第一图片的访问单元中没有输出层的图片时，输出至少一个替选输出 层的第一图片。
[0046] 根据计算机程序产品的实施例，所述至少一个存储器在其上存储有代码，代码在 由所述至少一个处理器执行时使得装置:输出输出层的第二图片，第二图片与第二访问单 元相关联。
[0047] 根据计算机程序产品的实施例，所述至少一个存储器在其上存储有代码，代码在 由所述至少一个处理器执行时使得装置:将层与一个或多个可分级性尺寸相关联；W及将 层与一个或多个可分级性尺寸的不同值集合相关联;其中第二指示独立于一个或多个可分 级性尺寸。[004引根据第屯方面，提供了一种方法，包括：
[0049] -将图片编码到比特流中，比特流包括至少两个可分级性层；
[0050] -将至少一个第一指示编码到比特流中，至少一个第一指示提供输出层集合的一 个或多个属性并且关联输出层集合的索引；[0051 ]-将第一层的第一图片编码到比特流中；
[0052] -将至少一个第二指示编码到比特流内的图片级结构中，至少一个第二指示将第 一图片关联到输出层集合；
[0053] -将第二层的第二图片编码到比特流中；
[0054] -将至少一个第=指示编码到比特流内的图片级结构中，至少一个第=指示将第 二图片关联到输出层集合；
[0055] -其中第一指示、第二指示和第=指示联合地具有W下影响:通过在其中已经选择 输出层集合的比特流的解码过程来输出与输出层集合相关联的图片。
[0056] 根据第八方面，提供了一种装置，包括至少一个处理器和至少一个存储器，所述至 少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时使得装置至少执行 W下操作：
[0057] -将图片编码到比特流中，比特流包括至少两个可分级性层；[005引-将至少一个第一指示编码到比特流中，至少一个第一指示提供输出层集合的一 个或多个属性并且关联输出层集合的索引；
[0059] -将第一层的第一图片编码到比特流中；
[0060] -将至少一个第二指示编码到比特流内的图片级结构中，至少一个第二指示将第 一图片关联到输出层集合；[0061 ]-将第二层的第二图片编码到比特流中；
[0062] -将至少一个第=指示编码到比特流内的图片级结构中，至少一个第=指示将第 二图片关联到输出层集合；
[0063] -其中第一指示、第二指示和第=指示联合地具有W下影响:通过在其中已经选择 输出层集合的比特流的解码过程来输出与输出层集合相关联的图片。
[0064] 根据第九方面，提供了一种在非暂态计算机可读介质上实施的计算机程序产品， 包括计算机程序代码，计算机程序代码被配置成当在至少一个处理器上执行时使得装置或 系统：
[0065] -将图片编码到比特流中，比特流包括至少两个可分级性层；
[0066] -将至少一个第一指示编码到比特流中，至少一个第一指示提供输出层集合的一 个或多个属性并且关联输出层集合的索引；
[0067] -将第一层的第一图片编码到比特流中；
[0068] -将至少一个第二指示编码到比特流内的图片级结构中，至少一个第二指示将第 一图片关联到输出层集合；
[0069] -将第二层的第二图片编码到比特流中；
[0070] -将至少一个第=指示编码到比特流内的图片级结构中，至少一个第=指示将第 二图片关联到输出层集合；
[0071] -其中第一指示、第二指示和第=指示联合地具有W下影响:通过在其中已经选择 输出层集合的比特流的解码过程来输出与输出层集合相关联的图片。
[0072] 根据第十方面，提供了一种方法，包括：
[0073] -从比特流解码图片，比特流包括至少两个可分级性层；
[0074] -从比特流解码至少一个第一指示，至少一个第一指示提供输出层集合的一个或 多个属性并且关联输出层集合的索引；
[0075] -确定输出层集合用在从解码器输出中；
[0076] -从比特流解码第一层的第一图片；
[0077] -从比特流内的图片级结构解码至少一个第二指示，至少一个第二指示将第一图 片关联到输出层集合；
[0078] -从比特流解码第二层的第二图片；
[0079] -从比特流内的图片级结构解码至少一个第=指示，至少一个第=指示将第二图 片关联到输出层集合；
[0080] -输出第一图片和第二图片，因为它们是与输出层集合相关联的图片。[0081 ]根据第十一方面，提供了一种装置，包括至少一个处理器和至少一个存储器，所述 至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时使得装置至少执 行W下操作：
[0082] -从比特流解码图片，比特流包括至少两个可分级性层；
[0083] -从比特流解码至少一个第一指示，至少一个第一指示提供输出层集合的一个或 多个属性并且关联输出层集合的索引；
[0084]-确定输出层集合用在从解码器输出中；[00化]-从比特流解码第一层的第一图片；
[0086] -从比特流内的图片级结构解码至少一个第二指示，至少一个第二指示将第一图 片关联到输出层集合；
[0087] -从比特流解码第二层的第二图片；
[0088] -从比特流内的图片级结构解码至少一个第=指示，至少一个第=指示将第二图 片关联到输出层集合；
[0089] -输出第一图片和第二图片，因为它们是与输出层集合相关联的图片。
[0090] 根据第十二方面，提供了一种在非暂态计算机可读介质上实施的计算机程序产 品，包括计算机程序代码，计算机程序代码被配置成当在至少一个处理器上执行时使得装 置或系统：
[0091] -从比特流解码图片，比特流包括至少两个可分级性层；
[0092] -从比特流解码至少一个第一指示，至少一个第一指示提供输出层集合的一个或 多个属性并且关联输出层集合的索引；
[0093] -确定输出层集合用在从解码器输出中；
[0094] -从比特流解码第一层的第一图片；[00M]-从比特流内的图片级结构解码至少一个第二指示，至少一个第二指示将第一图 片关联到输出层集合；
[0096] -从比特流解码第二层的第二图片；
[0097] -从比特流内的图片级结构解码至少一个第=指示，至少一个第=指示将第二图 片关联到输出层集合；
[0099] 为了更完整地理解本发明的示例实施例，现在结合附图对下面的描述进行参考， 在附图中：
[0100] 图1示出了根据实施例的视频编码系统的框图；
[0101] 图2示出了根据实施例的用于视频编码的装置；
[0102] 图3示出了包括多个装置的用于视频编码的布置；
[0103] 图4示出了可分级视频编码的示例；
[0104] 图5示出了根据实施例的编码方法的高级流程图；
[0105] 图6示出了根据实施例的解码方法的高级流程图；
[0106] 图7示出了根据实施例的编码方法的高级流程图；W及
[0107] 图8示出了根据实施例的解码方法的高级流程图。
具体实施方式
[0108] 下面，将在一个视频编码布置的上下文中描述本发明的若干实施例。然而，应当注 意，本发明不限于运一特定布置。实际上，不同实施例在其中需要可分级（scalable)和/或 多视图视频编码的改进的任何环境中具有广泛的应用。例如，本发明可W适用于视频编码 系统，如流送系统、DVD播放器、数字电视接收器、个人视频记录仪、在个人计算机、手持式计 算机和通信设备上的系统和计算机程序，W及网络元件(诸如其中处理视频数据的代码转 换器和云计算布置）。
[0109] 图1示出了根据示例实施例的视频编码系统的方框图作为示范性装置或电子装置 50的示意性方框图，所述示范性装置或电子装置50可W包含根据本发明的实施例的编解码 器。图2示出了根据示例实施例的装置的布局。接下来将解释图1和图2的元件。
[0110] 电子装置50可W例如是移动终端或无线通信系统的用户设备。然而，将认识到，本 发明的实施例可W被实施在可W要求编码和解码或对视频图像进行编码和解码的任何电 子设备或装置内。
[0111] 装置50可W包括用于包含和保护设备的壳体30。装置50还可W包括形式为液晶显 示器的显示器32。在本发明的其他实施例中，显示器可W是适合于显示图像或视频的任何 适当的显示技术。装置50还可W包括小键盘34。在本发明的其他实施例中，可W采用任何适 当的数据或用户接口机构。例如，用户接口可W被实施为作为触敏显示器的一部分的虚拟 键盘或数据输入系统。装置可W包括麦克风36或可W为数字或模拟信号输入的任何适当的 音频输入。装置50还可W包括音频输出设备，所述音频输出设备在本发明的实施例中可W 为W下的任何一个:耳机38、扬声器或任何模拟音频或数字音频输出连接。装置50还可W包 括电池40(或在本发明的其他实施例中，设备可W由诸如太阳能电池、燃料电池或时钟机 构发生器的任何适当的移动能量设备来供电）。装置还可W包括能够记录或捕获图像和/或 视频的相机42。在一些实施例中，装置50还可W包括用于到其他设备的短程视影通信的红 外端口。在其他实施例中，装置50还可W包括任何适当的短程通信解决方案，诸如举例而言 蓝牙无线连接或USB/火线有线连接。
[0112] 装置50可W包括控制器56或用于控制装置50的处理器。控制器56可W被连接到存 储器58,所述存储器58在本发明的实施例中可W存储W图像和音频数据的形式的两种数据 和/或还可W存储用于实施在控制器56上的指令。控制器56还可W被连接到适合于执行对 音频和/或视频数据的编码和解码或辅助由控制器56执行的编码和解码的编解码器电路 54。
[0114] 装置50可W包括连接到控制器并且适合于生成无线通信信号例如W用于与蜂窝 通信网络、无线通信系统或无线局域网的通信的无线电接口电路52。装置50还可W包括连 接到射频接口电路52W用于向其他装置传输在无线电接口电路52处生成的射频信号并且 用于从其他装置接收射频信号的天线44。
[0115] 在本发明的一些实施例中，装置50包括能够记录或检测单个帖的相机，运些帖之 后被传递到编解码器54或控制器W用于处理。在本发明的一些实施例中，装置可W在传输 和/或存储视频图像数据之前从另一设备接收该视频图像数据W用于处理。在本发明的一 些实施例中，装置50可W无线地或通过有线连接接收图像W用于编码/解码。
[0116] 图3示出了根据示例实施例的包括多个装置、网络和网络元件的用于视频编码的 布置。参考图3,示出了其内能够利用本发明的实施例的系统的示例。系统10包括多个通信 设备，所述多个通信设备能够通过一个或多个网络通信。系统10可W包括有线网络或无线 网络的任何组合，包括但不限于无线蜂窝电话网络(诸如，GSM、UMTS、CDMA网络等）、诸如由 IE邸802. X标准中的任何标准限定的无线局域网(WLAN)、蓝牙个人局域网、W太网局域网、 令牌环局域网、广域网W及互联网。
[0117] 系统10可W包括适合于实施本发明的实施例的有线和无线通信设备或装置50两 者。例如，图3中示出的系统示出了移动电话网络11和互联网28的表示。到互联网28的连接 性可W包括但不限于远程无线连接、短程无线连接W及各种有线连接，包括但不限于电话 线、线缆线、电力线和类似的通信通路。
[0118] 系统10中示出的示例通信设备可W包括但不限于电子设备或装置50、个人数字助 理(PDA)和移动电话14的组合、PDA 16、集成消息设备（IMD) 18、台式计算机20、笔记本电脑 22。装置50当由正在移动的个人携带时可W是固定的或移动的。装置50还可W位于交通工 具中，交通工具包括但不限于汽车、卡车、出租车、公交车、火车、轮船、飞机、自行车、摩托车 或任何类似的交通工具。
[0119] -些或另外的装置可W通过到基站24的无线连接25发送和接收呼叫和消息并与 服务提供商通信。基站24可W被连接到网络服务器26,所述网络服务器26允许移动电话网 络11和互联网28之间的通信。系统可W包括附加的通信设备和各种类型的通信设备。通信 设备可W使用各种传输技术来通信，包括但不限于码分多址（CDMA)、全球移动通信系统 (GSM)、通用移动通信系统(UMTS)、时分多址(TDMA)、频分多址(抑MA)、传输控制协议-互联 网协议（TCP-IP)、短消息服务（SMS)、多媒体消息服务（MMS)、电子邮件、即时消息服务 (IMS)、蓝牙、I邸E 802.11W及任何类似的无线通信技术。在实施本发明的各种实施例中设 及的通信设备可W使用各种介质来通信，包括但不限于无线电、红外、激光、线缆连接W及 任何适当的连接。
[0120] H.264/AVC标准由国际电信联盟（ITU-T)的电信标准化部口的视频编码专家组 (VCEG)和国际标准化组织（ISO)/国际电工委员会（IEC)的运动图片专家组(MPEG)的联合 视频团队（JVT)开发。H.264/AVC标准由两个母标准化组织发布，并且它被称为ITU-T推荐 H. 264和IS0/IEC国际标准14496-10,也称为MPEG-4部分10高级视频编码(AVC)。已经有 H.264/AVC标准的多个版本，每个版本向规范集成新扩展或者特征。运些扩展包括可分级视 频编码(SVC)和多视图视频编码(MVC)。
[0121] VCEG和MPEG的视频编码联合校准组(JCT-VC)开发了H. 265/肥VC标准。H. 265/肥VC 标准将由两个母标准化组织来发布，并且称为ITU-T推荐H. 265和IS0/IEC国际标准23008- 2，也称为MPEG-H部分2高效视频编码（HEVC)。当前有正在进行的标准化项目W开发对 H.265/肥VC的扩展，包括可分级扩展、多视图扩展、S维扩展和保真度范围扩展。
[0122] 可W实施用于品质可分级性(也称为信噪比或者SNR)和/或空间可分级性的可分 级视频编码器如下。对于基础层，可W使用常规的非可分级视频编码器和解码器。在用于增 强层的参考画面缓冲器和/或参考画面列表中包括基础层的重建/解码画面。在空间可分级 性的情况下，重建/解码基础层画面可W在它插入到用于增强层画面的参考画面列表中之 前被上采样。基础层解码画面可W与增强层的解码参考画面相似地被插入到用于对增强层 画面进行编码/解码的参考画面列表中。因而，编码器可W选择基础层参考画面作为帖间预 测参考并且指示它与在编码比特流中的参考画面索引一起使用。解码器从比特流(例如从 参考画面索引）解码出基础层画面用作用于增强层的帖间预测参考。在解码基础层画面用 作用于增强层的预测参考时，它称为层间参考画面。
[0123] 当前研究和开发用于提供=维(3D)视频内容的各种技术。特别地，主要研究各种 多视图应用，其中查看者从特定视角能够仅看到一对立体视频并且从不同的视角仅能够看 到另一对立体视频。已经证明用于运样的多视图应用的最可行的方法之一是：其中仅有限 数目的视图（例如单声道或立体视图加上一些补充数据)被提供给解码器侧并且所有所需 要的视图然后被解码器本地擅染(及合成）W在显示器上显示。
[0124] 运一部分描述H.264/AVC和肥VC的一些关键定义、比特流和编码结构W及概念，作 为其中可W实现实施例的视频编码器、解码器、编码方法、解码方法和比特流结构的示例。 H.264/AVC的关键定义、比特流和编码结构W及概念中的一些与肥VC中一样一一因此，下面 对其进行联合描述。本发明的各个方面不限于H.264/AVC或HEVC，描述被给出用于一个可能 的基础，基于该基础能够部分或完全认识本发明。
[0125] 在描述H.264/AVC和肥VC时W及在示例实施例中，可W使用例如H.264/AVC或肥VC 中规定的用于算法运算符、逻辑运算符、关系运算符、按位运算符、赋值运算符和范围符号 的一般符号。另外，可W使用例如H.264/AVC或皿VC中规定的一般数学函数，并且可W使用 例如H. 264/AVC或皿VC中规定的一般顺序或优先级W及运算符的执行顺序(从左到右或从 右到左）。
[0126] 在描述H. 264/AVC和皿VC时W及在示例实施例中，可W使用W下描述来规定每个 句法元素的解析过程。
[0127] -b(8):具有位串的任何图案的字节(8比特）。[012引 -Se(V):有符号整数Exp-Golomb编码的句法元素，左侧比特优先。
[0129] -u(n):使用n个比特的无符号整数。当n是句法表格中的VW,
[0130] 比特的数目按照取决于其他句法元素的值的方式变化。运一描述
[0131] 符的解析过程由从被解释为无符号整数的二进制表示的比特流开
[0132] 始的接下来n个比特来规定，其中首先写入最高有效位。
[0133] -Ue(V):无符号整数Exp-Golomb编码的句法元素，左侧比特优先。
[0134] 巧1；1例如伸巧W下亲格檐Rxn-Golomb位串变换成码编号（COdeNum):
[0135]
[0136]
[0137] 可W例如使用W下表格将对应于Exp-Golomb位串的码编号变换成se(v):[OU引
[0139] 在描述H.264/AVC和皿VC时W及在示例实施例中，可W如下来规定句法结构、句法 元素的语义W及解码过程。比特流中的句法元素用粗体类型表示。每个句法元素用其名称 (全部小写字母具有下划线特性）、可选地其一个或两个句法种类W及用于其已编码表示的 方法的一个或两个描述符来描述。解码过程根据句法元素的值W及先前已解码句法元素的 值来运作。当在句法表格或文本中使用句法元素的值时，用小写字母和大写字母的混合来 命名并且没有任何下划线字符。得到具有大写字母的变量，用于当前句法结构和所有依赖 性句法结构的解码。W大写字母开始的变量可W用在后面的句法结构的解码过程中而没有 提及变量的起源句法结构。W小写字母开始的变量仅用在其中得到它们的上下文内。在一 些情况下，句法元素值或变量值的"助记符"名称与其数值可互换地使用。有时，使用"助记 符"名称而没有任何相关联的数值。文本中规定了值与名称的关联关系。名称由W下划线字 符分离的一组或多组字母构成。每组W大写字母开始并且可W包含更多大写字母。
[0140] 在描述H.264/AVC和皿VC时W及在示例实施例中，可W使用W下方式来规定句法 结构。波形括号中包括的一组语句是复合语句并且在功能上被视为单个语句。"Whi Ie"结构 规定条件是否为真的测试，并且如果为真，则重复地规定语句(或者复合语句）的求值直到 条件不再为真。"do…while"结构规定语句的一次求值，之后是条件是否为真的测试，并且 如果为真，则规定语句的重复求值直到条件不再为真。"if…else"结构规定条件是否为真 的测试，并且如果条件为真，则规定主要语句的求值，否则规定替选语句的求值。运一结构 的"else"部分W及相关联的替选语句在不需要替选语句求值的情况下被省略。"for"结构 规定初始语句的求值，之后是条件的测试，并且如果条件为真，则规定主要语句的重复求 值，之后是随后的语句，直到条件不再为真。
[0141] 在现有标准的描述中W及在示例实施例的描述中，可W使用短语"通过(by)外部 手段"或"通过(through)外部手段"。例如，实体、诸如解码过程中使用的变量的句法结构或 值可通过解码过程的外部手段"来提供。短语"通过外部手段"可W表示实体没有被包括 在由编码器产生的比特流中，而是例如使用控制协议从比特流在外部传达。替选地或者另 外地，其可W表示，实体没有由编码器产生，但是可W例如在使用解码器的层或解码控制逻 辑等中产生。解码器可W具有用于输入外部手段(诸如变量值)的接口。
[0142] 类似于很多早先的视频编码标准，H.264/AVC和皿VC中规定了比特流句法和语义 W及用于无误差比特流的解码过程。没有规定编码过程，但是编码器必须生成一致的比特 流。比特流和已解码一致性可W通过假设参考解码器损失来验证，但是工具在编码时的使 用是可选的，并且没有规定错误比特流的解码过程。
[0143] 分别用于到H.264/AVC或皿VC编码器的输入W及H.264/AVC或皿VC解码器的输出 的基本单元是图片。图片可W是帖或字段。帖包括亮度样本W及对应色度样本的矩阵。当源 信号交织时，字段是帖的交替的样本行的集合，并且可W用作编码器输入。色度图片在与亮 度图片相比较时可W被子采样。例如，在4:2:0采样图案中，色度图片的空间分辨率沿着两 个坐标轴是亮度图片的空间分辨率的一半。
[0144] 在H.264/AVC中，宏块是16x16亮度样本块W及对应色度样本块。例如，在4:2:0采 样图案中，宏块包含每个色度分量一个8x8色度样本块。在H. 264/AVC中，图片被分割成一个 或多个切片组，并且切片组包含一个或多个切片。在H.264/AVC中，切片包括在特定切片组 内的光栅扫描中连续排序的整数数目个宏块。
[0145] 在皿VC中，视频图片分为覆盖图片区域的编码单元(CU)。CU包括针对CU内的样本 定义预测过程的一个或多个预测单元(PU) W及针对CU中的样本定义预测误差编码过程的 一个或多个变换单元(TU)。通常，CU包括大小从可能的CU大小的预定义集合可分级的样本 的正方形块。具有最大允许大小的CU通常称为CTU(编码树单元），并且视频图片分为非交叠 CTU。例如通过递归地划分CTUW及所得到的CU,还可W将CTU划分为更小的CU的组合。每个 所得到的CU通常具有至少一个PU和至少一个与其相关联的TU。每个PU和TU还可W划分成更 小的PU和TU，W便分别增加预测和预测误差解码过程的粒度。PU划分可W通过按照对称或 非对称方式竖直地或者水平地将CU划分成4个相等大小的正方形PU或者将CU划分成2个矩 形PU来实现。图像分为CU、CU分为PU和TU通常在比特流中被信号传输，W使得解码器能够再 现运些单元的意图结构。
[0146] 在肥VC中，可W用瓦片来分割图片，瓦片是矩形并且包含整数个CTU。在肥VC中，分 割成瓦片形成规则网格，其中瓦片的高度和宽度彼此不同并且最大相差一个CTU。
[0147] 在肥VC中，切片定义为相同的访问单元内一个独立性的切片分段W及在下一独立 性切片分段(如果存在)之前的全部随后的依赖性切片分段(如果存在）中所包含的整数个 编码树单元。在肥VC中，切片分段定义为瓦片扫描中连续排序的并且在单个NAL单元中包含 的整数个编码树单元。每个图片分为切片分段是分割。在肥VC中，独立性切片分段定义为其 切片分段首部的句法元素的值没有从在前切片分段的值来推断的切片分段，并且依赖性切 片分段定义为其切片分段首部的某些句法元素的值从按照解码顺序在前的独立性切片分 段的值来推断的切片分段。在皿VC中，切片首部被定义为作为当前切片分段或者在当前依 赖性切片分段前面的独立性切片分段的独立性切片分段的切片分段首部，并且切片分段首 部被定义为包含从属于切片分段中表示的第一或全部编码树单元的数据元素的已编码切 片分段的部分。如果没有使用瓦片，贝化U按照瓦片内或图片内的LCU的光栅扫描顺序被扫 描。在LCU内，CU具有特定的扫描顺序。
[0148] 在肥VC的工作草案(WD)5中，如下定义了用于图片分割的一些关键定义和概念。分 割被定义为集合分为子集使得集合的每个元素仅为子集之一。
[0149] 皿VC WD5中的基本编码单元是树块。树块是具有S个样本阵列的图片的NxN亮度 样本块W及两个对应色度样本块，或者单色图片或使用=个单独的颜色平面编码的图片的 NxN样本块。可W针对不同的编码和解码过程来分割树块。对于具有S个样本阵列的图片， 树块分割是由于树块的分割而产生的亮度样本块W及两个对应色度样本块，或者对于单色 图片或使用=个单独的颜色平面编码的图片，树块分割是由于树块的分割而产生的亮度样 本块。每个树块被分配分割信令W识别用于帖内或帖间预测的块大小W及用于变换编码的 块大小。分割是递归四叉树分割。四叉树的根与树块相关联。四叉树被划分直到到达叶子， 叶子也称为编码节点。编码节点是两个树(预测树和变换树）的根节点。预测树规定预测块 的位置和大小。预测树和相关联的预测数据被称为预测单元。变换树规定变换块的位置和 大小。变换树和相关联的变换数据被称为变换单元。针对亮度和色度的划分信息对于预测 树而言相同，并且对于变换树而言可W相同或可W不同。编码节点W及相关联的预测单元 和变换单元一起形成编码单元。
[0150] 在皿VC WD5中，图片分为切片和瓦片。切片可W是树块的序列，但是(在提及所谓 的细粒度切片时)其边界也可W在树块内在其中变换单元和预测单元一致的位置处。切片 内的树块按照光栅扫描顺序被编码和解码。对于主要已编码图片，每个图片分为切片是分 割。
[0151] 在肥VC WD5中，瓦片定义为瓦片内在光栅扫描中被连续排序的在一列和一行中同 时出现的整数个树块。对于主要已编码图片，每个图片分为瓦片是分割。瓦片在图片内在光 栅扫描中被连续排序。虽然切片包含在瓦片内在光栅扫描中连续的树块，但是运些树块在 图片内在光栅扫描中不一定连续。切片和瓦片不需要包含相同的树块序列。瓦片可W包括 被包含在多于一个切片中的树块。类似地，切片可W包括被包含在若干瓦片中的树块。
[0152] 在H.264/AVC和皿VC中，图片内预测可W在切片边界上被停用。因此，可W认为切 片是将已编码图片划分为独立可解码的片的一种方式，并且切片因此被认为是用于传输的 基本单元。在很多情况下，编码器可W在比特流中指示在切片边界上关闭哪些种类的图片 内预测，并且解码器操作例如在总结哪些预测源可用时将运一信息考虑在内。例如，如果相 邻宏块或CU驻留在不同切片中，则可W认为来自相邻宏块或CU的样本不可用于帖内预测。
[0153] 句法元素可W定义为在比特流中表示的数据的元素。句法结构可W定义为按照规 定的顺序一起存在于比特流中的零个或多个句法元素。
[0154] 分别用于H.264/AVC或皿VC编码器的输出W及H.264/AVC或皿VC解码器的输入的 基本单元是网络抽象层(NAL)单元。对于数据包取向的网络上的传输或者到结构化文件中 的存储，可W将NAL单元封装成数据包或类似结构。H. 264/AVC和皿VC中已经规定了用于没 有提供成帖结构的传输或存储环境的字节流格式。字节流格式通过在每个NAL单元前面附 接开始代码来将NAL单元彼此分离。为了避免NAL单元边界的错误检测，编码器可W运行字 节取向开始代码仿真预防算法，其在出现开始代码的情况下向NAL单元净荷添加仿真预防 字节。为了在数据包取向系统与流取向系统之间实现直接网关操作，通常可W执行开始代 码仿真预防而不管是否使用字节流格式。
[0155] NAL单元包括首部和净荷。在H. 264/AVC中，NAL单元首部表示NAL单元的类型W及 NAL单元中包含的已编码切片是参考图片还是非参考图片的部分。H.264/AVC包括2比特 nal_ref_idc句法元素，其在等于0时表示NAL单元中包含的已编码切片是非参考图片的部 分，而在大于0是表示NAL单元中包含的已编码切片是参考图片的部分。SVC和MVC NAL单元 的首部还可W包含与可分级性和多视图层级相关的各种指示。
[0156] 在皿VC中，2字节NAL单元首部用于所有规定的NAL单元类型。NAL单元首部包含一 个预留位、6比特的ML单元类型指示、6比特的预留字段(称为nuh_layer_id)W及用于时间 级的3比特的temporal_id_plusl指示。temporal_id_plusl句法元素可W被认为是NAL单元 的时间标识符，并且基于零的Temporal Id变量可W如下来得到：Temporal Id = temporal_ id_plusl-l sTemporalId等于0对应于最低时间级。temporal_id_plusl的值必须为非零W 避免开始代码仿真设及两个NAL单元首部字节。通过排除Temporal Id大于或等于所选择的 值的所有VCL NAL单元并且包括所有其他VCL NAL单元产生的比特流保持一致。因此， TemporalId等于TID的图片没有使用TemporalId大于TID的任何图片作为帖间预测参考。子 层或时间子层可W定义为时间可分级比特流的时间可分级层，包括Temporal Id变量为特定 值的VCL NAL单元W及相关联的非VCL NAL单元。在不失一般性的情况下，在一些示例实施 例中，例如如下根据nuh_laye;r_id的值得到变量Layer Id: Layer Id = nuh_laye;r_id。下面， 可互换地使用1曰761'1(1、]11111_1曰761'_1(1和1曰761'_1(1，除非另外指出。
[0157]期望的是，NAL单元首部中的nuh_laye;r_id和/或类似的句法元素携带与可分级性 层级有关的信息。例如，LayerId值可W被映射到描述不同可分级性尺寸的变量或句法元素 的值，诸如quality_id等、dependency_id等，任何其他类型的层标识符、视图顺序索引等、 视图标识符、NAL单元是否设及深度或纹理的指示（即depth_f lag等）、或者类似于在所有大 于特定标识符值的NAL单元从比特流中被去除的情况下指示有效子比特流提取的SVC的 priority_id的标识符。例如，rmh_layer_id和/或类似句法元素中某个数目的比特可W用 于dependency_id等，而nuh_layer_id和/或类似句法元素中另一某个数目的比特可W用 于quality_id等。替选地，例如可W在视频参数集合、序列参数集合或另一句法结构中提供 LayerId值或者类似于描述不同可分级性尺寸的变量或句法元素的值的映射。[015引 NAL单元可W分类成视频编码层(V化)NAL单元和非VCL NAL单元。V化NAL单元通 常是已编码切片NAL单元。在H.264/AVC中，已编码切片NAL单元包含表示一个或多个已编码 宏块的句法元素，每个已编码宏块对应于未压缩图片中的样本的块。在肥VC中，已编码切片 NAL单元包含表示一个或多个CU的句法元素。
[0159] 在H.264/AVC中，已编码切片NAL单元可W被表示为瞬时解码刷新（IDR)图片中的 已编码切片或者非IDR图片中的已编码切片。
[0160] 在肥VC中，已编码切片NAL单元可W被表示为W下类型之一：
[0162]
[0163] 在草拟皿VC标准中，图片类型的缩写可W如下定义:拖尾(TRAIL)图片、时间子层 访问（TSA)、按步时间子层访问（STSA)、随机访问可解码前导(RADL)图片、随机访问跳跃前 导(RA化）图片、中断链路访问（BLA)图片、瞬时解码刷新（IDR)图片、清洁随机访问（CRA)图 片。
[0164] 也或者替选地可W称为帖内随机访问点（IRAP)图片的随机访问点(RAP)图片是其 中每个切片或切片分段的nal_unit_type在16到23(含）的范围内的图片。RAP图片仅包含帖 内编码切片，并且可W是BLA图片、CRA图片或IDR图片。比特流中的第一图片是RAP图片。假 设必要的参数集合在它们需要被激活时可用，则RAP图片W及按照解码顺序在后的所有的 非RA化图片可W被正确地解码而不执行按照解码顺序在RAP图片前面的任何图片的解码过 程。比特流中可W存在仅包含不是RAP图片的帖内编码切片的图片。
[0165] 在皿VC中，CRA图片可W是比特流中按照解码顺序的第一图片，或者在比特流中 可W稍后出现。皿VC中的CRA图片实现了所谓的前导图片，前导图片按照解码顺序在CRA图 片之后但是按照输出顺序在CRA图片之前。前导图片中的一些图片(所谓的RA化图片）可W 使用在CRA图片之前解码的图片作为参考。如果在CRA图片处执行随机访问，则按照解码顺 序和输出顺序都在CRA图片之后的图片可解码，并且因此类似于IDR图片的清洁随机访问功 能实现了清洁随机访问。
[0166] CRA图片可W具有相关联的RADL或RA化图片。当CRA图片是比特流中按照解码顺序 的第一图片时，CRA图片是已编码视频序列按照解码顺序的第一图片，并且任何相关联的 RA化图片没有被解码器输出并且不可W是可解码的，因为它们可W包含对不存在于比特流 中的图片的引用。
[0167] 前导图片是按照输出顺序在相关联的RAP图片之前的图片。相关联的RAP图片是按 照解码顺序的在前RAP图片(如果存在）。前导图片可W是RADL图片或RA化图片。
[0168] 所有的RA化图片是相关联的BLA或CRA图片的前导图片。当相关联的RAP图片是BLA 图片或者是比特流中的第一已解码图片时，RA化图片没有被输出并且不可W正确地可解 码，因为RASL图片可W包含对没有存在于比特流中的图片的引用。然而，如果解码已经从在 RA化图片的相关联的RAP图片前面的RAP图片开始，则可W正确地解码RA化图片。RA化图片 没有用作用于非RA化图片的解码过程的参考图片。如果存在，则所有的RA化图片按照解码 顺序在相同的相关联的RAP图片的所有拖尾图片的前面。在HEVC标准的一些草案中，RASL图 片称为标记W丢弃(TFD)图片。
[0169] 所有的RA化图片是前导图片。RA化图片没有用作用于相同的相关联的RAP图片的 拖尾图片的解码过程的参考图片。如果存在，则所有的RADL图片按照解码顺序在相同的相 关联的RAP图片的所有拖尾图片前面。RADL图片没有设及按照解码顺序在相关联的RAP图片 前面的任何图片，并且因此在解码从相关联的RAP图片开始时可W被正确地解码。在皿VC 标准的一些草案中，RADL图片称为可解码前导图片(DLP)。
[0170] 可解码前导图片可W使得在解码从CRA图片开始时能够被正确解码。换言之，可解 码前导图片仅使用初始CRA图片或按照解码顺序随后的图片作为帖间预测中的参考。非可 解码前导图片使得在解码从CRA图片开始时不能够被正确解码。换言之，非可解码前导图片 使用按照解码顺序在初始CRA图片前面的图片作为帖间预测中的参考。
[0171] 可W出现也可W称为切片的已编码视频数据的连结，例如，已编码视频序列连结 成被广播或流送或者存储在海量存储器中的比特流。例如，可W将表示商业或广告的已编 码视频序列与电影或其他"主要"内容连结。切片比特流可W定义为在第一比特流之后添加 的比特流，并且第一比特流和切片比特流的连结形成新的比特流。如果切片比特流仅包含 一个已编码视频序列，则其可W称为切片已编码视频序列。类似地，切片比特流的第一已编 码视频序列可W称为切片已编码视频序列。执行比特流的连结的实体可W称为切片器。
[0172] 当从CRA图片开始的比特流的部分被包括在另一比特流中时，与CRA图片相关联的 RA化图片不可W正确地可解码，因为其参考图片中的一些图片可能没有存在于组合比特流 中。为了使得运样的切片操作简单直接，可W改变CRA图片的NAL单元类型W表示其是BLA图 片。与BLA图片相关联的RA化图片不可W正确地可解码，因此没有被输出/显示。另外，与BLA 图片相关联的RASL图片可W从解码中被省去。
[0173] BLA图片可W是比特流中按照解码顺序的第一图片，或者可W出现在比特流中的 后部。每个BLA图片开始新的已编码视频序列，并且对解码过程具有与IDR图片类似的影响。 然而，BLA图片包含规定非空参考图片集合的句法元素。当BLA图片的nal_unit_type等于 BLA_W_LP时，其可W具有相关联的RA化图片，运些图片没有被解码器输出并且不可W是可 解码的，因为它们可W包含对没有存在于比特流中的图片的引用。当BLA图片的nal_unit_ type等于BLA_W_LP时，其还可W具有相关联的RADL图片，运些图片被规定为待解码。当BLA 图片的nal_unit_type等于BLA_W_DLP时，其没有相关联的RA化图片，但是可W具有相关联 的RA化图片，运些图片被规定为待解码。BLA_W_DLP也可W称为化A_W_RA化。当BLA图片的 nal_uni t_type等于BLA_N_LP时，其没有任何相关联的前导图片。
[0174] nal_unit_type等于IDR_N_LP的IDR图片没有存在于比特流中的相关联的前导图 片。nal_unit_type等于IDR_W_DLP的IDR图片没有存在于比特流中的相关联的RA化图片，但 是可W具有在比特流中的相关联的RADL图片。IDR_W_DLP也可W称为IDR_W_RADL。
[0175] 当 nal_unit_type 的值等于 TRAIL_N、TSA_N、STSA_N、RADL_N、RA^_N、RSV_VCL_ NlO、RSV_V&_N12或RSV_V&_N14时，已解码图片没有用作相同的时间子层的任何其他图片 的参考。也就是说，在肥VC中，当nal_unit_type的值等于TRAIL_N、TSA_N、STSA_N、RADL_N、 RASL_N、RSV_VCL_N10、RSV_VCL_N12或RSV_VCL_N14时，已解码图片没有被包括在 Temporal Id的值相同的任何图片的Ref PicSet StCu;r;rBef ore、Ref PicSet StCurrAf ter和 RefPicSetLtCurr 中的任何一项中。nal_unit_type 的值等于 TRAIL_N、TSA_N、STSA_N、RADL_ N、RASL_N、RS V_VCL_N 10、RS V_VCL_N 12或RS V_VCL_N 14的已编码图片可W被丢弃而不影响 Tempora 11 d的值相同的其他图片的可解码性。
[0176] 拖尾图片可W定义为按照输出顺序在相关联的RAP图片之后的图片。作为拖尾图 片的任何图片的nal_unit_type的值都不等于RADL_N、RADL_R、RASL_N或RASL_R。作为前导 图片的任何图片可W被约束为按照解码顺序在与相同的RAP图片相关联的所有拖尾图片前 面。比特流中不存在任何与nal_unit_type等于BLA_W_DLP或BLA_N_LP的BLA图片相关联的 RA化图片。比特流中不存在与nal_unit_type等于BLA_N_LP的化A图片相关联或者与nal_ unit_type等于IDR_N_LP的IDR图片相关联的任何RADL图片。与CRA或BLA图片相关联的任 何RA化图片可W被约束为按照输出顺序在与CRA或BLA图片相关联的任何RADL图片前面。与 CRA图片相关联的任何RA化图片可W被约束为按照输出顺序在按照解码顺序在CRA图片前 面的任何其他RAP图片的后面。
[0177] 在肥VC中，有两种图片类型(TSA和STSA图片类型），其可W用于表示时间子层切换 点。如果TemporalId最高达N的时间子层已经被解码直到TSA或STSA图片（排他性地)并且 TSA或STSA图片的TemporalId等于N+1，则TSA或STSA图片实现TemporalId等于N+1的所有随 后的图片(按照解码顺序）的解码。TSA图片类型可W对TSA图片本身W及相同子层中按照解 码顺序在TSA图片之后的所有图片强加约束。运些图片中没有一个图片被允许使用相同的 子层中按照解码顺序在TSA图片之前的任何图片的帖间预测。TSA定义还可W对更高子层中 按照解码顺序在TSA图片之后的图片强加约束。运些图片中没有一个图片被允许引用按照 解码顺序在TSA图片之前的图片（如果该图片属于与TSA图片相同或更高的子层KTSA图片 的TemporalId大于OdSTSA类似于TSA图片，但是没有对更高子层中按照解码顺序在STSA图 片之后的图片强加约束，并且因此仅实现了到STSA图片驻留在其中的子层上的向上切换。
[0178] 非VCL NAL单元可W是例如W下类型之一:序列参数集合、图片参数集合、补充增 强信息（SEI)NAL单元、访问单元定界符、序列NAL单元的端部、流NAL单元的端部或者填充数 据NAL单元。可能需要已解码图片的重构的参数集合，而其他非V化NAL单元中的很多单元 不一定用于已解码样本值的重构。
[0179] 在已编码视频序列中保持不变的参数可W被包括在序列参数集合(SPS)中。除了 对于解码过程可能很重要的参数，序列参数集合可选地可W包含视频可用性信息(VUI )，其 包括对于缓冲、图片输出定时、擅染和资源预留可能很重要的参数。H.264/AVC中规定了 3个 NAL单元W携带序列参数集合:包含序列中的H.264/AVC V化NAL的所有数据的序列参数集 合NAL单元、包含辅助已编码图片的数据的序列参数集合扩展NAL单元、W及MVC和SVC V化 ML单元的子集序列参数集合。图片参数集合(PPS)包含很有可能在若干已编码图片中不变 的参数。
[0180] 参数集合句法结构可W具有扩展机制，其例如可W用于包括特定于编码标准的扩 展的参数。下面针对SI^提供扩展机制的示例句法：
[0181]
[0182] 编码标准或编码方案的特定版本的解码器可W忽略sps_extension_data_f lag， 而在编码标准或编码方案的另一版本中，可W规定扩展句法结构并且其可W出现在sps_ extension_data_flag比特内。也可W针对其他类型的参数集合规定类似的扩展机制。
[0183] 在肥VC的草拟版本中，还有第S类型的参数集合，其在此称为自适应参数集合 (APS)，其包括很有可能在若干已编码切片中不变的参数。在肥VC的草拟版本中，AI^句法结 构包括与基于上下文的自适应二进制算术编码(CABAC)、自适应样本偏移、自适应回路滤波 W及解块滤波相关的参数或句法元素。在皿VC的草拟版本中，APS是NAL单元并且被编码而 没有来自任何其他NAL单元的参考或预测。被称为aps_id句法元素的标识符被包括在APS NAL单元中，并且被包括在切片首部中并且在切片首部中使用W指代特定APS。然而，APS没 有被包括在最终的H. 265/肥VC标准中。
[0184] H. 265/肥VC还包括另一类型的参数集合，其称为视频参数集合(VPS)。视频参数集 合RBSP可W包括可W被一个或多个序列参数集合RBSP引用的参数。
[0185] VPS、SPS和PPS之间的关系和层级可W如下描述。VPS在参数集合层级中并且在可 分级性和/或3DV的上下文中驻留在SI^之上一个级别上。VPS可W包括对于整个已编码视 频序列中的所有(可分级性或视图）层上的所有切片公共的参数。SPS包括对于整个已编码 视频序列中的特定(可分级性或视图）层中的所有切片公共的参数，或者可W由多个(可分 级性或视图）层共享。PPS包括对于特定层表示(一个访问单元中的一个可分级性或视图层 的表示）中的所有切片公共的参数，并且很有可能被多个层表示中的全部切片共享。
[0186] VPS可W提供与比特流中的层的依赖性关系有关的信息W及适用于整个已编码视 频序列中的所有(可分级性或视图）层上的所有切片的很多其他信息。在肥VC的可分级扩展 中，VPS例如可W包括从NAL单元首部得到的LayerId值到一个或多个可分级性尺寸值的映 射，例如对应于类似于SVC和MVC定义的层的d邱endency_id、quality_id、view_i^Plcbpth_ flagnVPS可W包括一个或多个层的简档和级别信息W及层表示的一个或多个时间子层(包 括在某些TemporalId值处W及W下的VCL NAL单元)的简档和/或级别。还可W提供比特 流中存在的层的最大数目。例如，句法元素 vps_max_layers_minusl可W被包括在句法中， 并且vps_max_laye;r_minusl+l可W表示比特流中存在的层的最大数目。比特流中的层的实 际数目可^小于或等于乂93_111日义_1日7日1'_111；[]11131 + 1。
[0187]下面提供意图作为VPS的部分的VPS扩展的示例句法。所呈现的VPS扩展提供依赖 性关系等。应当理解，VPS扩展句法被提供作为示例，其他类似的和/或扩展的句法结构可W 等同地应用于不同示例。
[0190] 可W如下面段落中描述的那样来规定所呈现的VI^扩展的语义。[0191 ] ¥93_6別6113；[0]1_6716_日11邑皿6]11：_'6 361'¥6(1_〇]16_13；[1：等于1，并且用于实现下一句[018 引
[0189] 法元素与字节边界的对准。
[0192] scalability_mask[i]等于1表示存在对应于第i可分级性尺寸的dimension_id句 法元素。3。日1日13；[1；[17_1]1日34[；[]等于0表示不存在对应于第；[可分级性尺寸的(1；[111日]13；[0]1_1(1 句法元素。例如可W将对应于scalabi 1 i ty_mask[ i ]中的i的每个值的可分级性尺寸规定为 包括W下内容或其任何子集连同其他可分级性尺寸。
[0193]
[0194] dimension_id_len_minusl [ j]加上1 规定dimension_id[i] [ j]句法元素的 W比特 为单位的长度。vps_nuh_laye;r_id_present_f lag 规定是否存在laye;r_id_in_nuh[i]句法。 laye;r_id_in_nuh[i]规定第i层的V化NAL单元中nuh_laye;r_id句法元素的值。如果不存 在，贝推断 layer_id_in_nuh [ i ]的值等于 i。layer_i d_in_nuh [ i ]大于 layer_id_in_nuh [ i - 1]。变量1^日761'1扣111化3[1日761'_；[(1_；[]1_]11111[；[]]被设置为等于；[。(1；[1116]13；[0]1_1(1[；[]。']规定 第i层的第j可分级性尺寸类型的标识符。如果不存在，则推断dimension_id[ i ] [ j ]的值等 于0。用于dimension_id[i] [ j]的表示的比特的数目是dimension_id_len_minusl[j] + l比 特。
[0195] direct_(kpenden^_flag[i][ j]等于0规定索引为j的层不是索引为i的层的直接 参考层。direct_d邱enden巧_flag[i][j]等于l规定索引为j的层可W是索引为i的层的直 接参考层。当direct_dependency_flag[i][j]对于在0到vps_max_num_layers_minusl的范 围内的i和j不存在时，推断其等于0。
[0196] 可 W如下得到变量NumDirectRefLayers[ i]和RefLayerId[ i][ j]:
[0197]
[0198] direct_dep_type_len_minus2 加上 2 规定 direct_dependency_type [ i ] [ j ]句法元 素的比特数目。direct_dependen^_type[i] [ j]等于0表示可W会用样本预测并且运动预 测没有用于来自用j识别的层的用i识别的层。direct_(kpenden^_type[ i ] [ j ]等于1表示 可W使用运动预测并且样本预测没有用于来自用j识别的层的用i识别的层。direct, dependency_type [ i ] [ j ]等于2表示样本和运动预测都可W用于来自用j识别的层的用i识 别的层。
[0199] 可^如下得到变量NumSamplePredRe化ayers[i]、NumMotionPredRe化ayers[i]、 SamplePredEnabledFlag[i][j]、MotionPredEnabledFlag[i][j]、NumDirectRefLayers [i]、RefLaye;rId[ i] [j] 'MotionPredRef Laye;rld[ i] [j]和SamplePredRef Laye;rld[ i] [j]:
[0200]
[0201] H. 264/AVC和皿VC句法实现了参数集合的很多实例，并且每个实例用唯一的标识 符识别。在H.264/AVC中，每个切片首部包括对于包含切片的图片的解码有效的图片参数集 合的标识符，并且每个图片参数集合包含有效序列参数集合的标识符。因此，图片和序列 参数集合的传输不一定实际上与切片的传输同步。相反，在引用之前的任何时刻接收到有 效序列和图片参数集合即可，运使得能够使用与用于切片数据的协议相比更可靠的传输机 制巧带外"传输参数集合。例如，参数集合可W被包括作为实时传输协议(RTP)会话的会话 描述中的参数。如果参数集合在带内传输，则可W对其进行重复W改善错误鲁棒性。
[0202] SEI NAL单元可W包含一个或多个SEI消息，其不需要用于输出图片的解码但是帮 助相关处理，诸如图片输出定时、擅染、错误检巧M昔误隐藏和资源预留。H.264/AVC和皿VC 中规定了若干SEI消息，并且用户数据SEI消息使得组织和公司能够规定SEI消息用于其自 身使用。H.264/AVC和皿VC包含规定的SEI消息的句法和语义，但是没有定义用于处理接受 者的消息的过程。因此，当编码器产生SEI消息时，要求编码器符合H.264/AVC标准或肥VC标 准，并且分别不要求符合H.264/AVC标准或肥VC标准的解码器处理SEI消息W获得输出顺序 一致性。在H. 264/AVC或肥VC中包括SEI消息的句法和语义的原因之一是使得不同的系统规 范能够一致地解释补充信息并且因此交互操作。意图在于，系统规范可能需要在编码端和 解码端二者使用特定SEI消息，并且可选地，可能规定了用于处理接受者的特定SEI消息的 过程。
[0203] AVC和皿VC标准中已经规定或提出了若干嵌套SEI消息。嵌套SEI消息的思想是在 嵌套SEI消息内包含一个或多个SEI消息并且提供用于使得所包含的SEI消息与比特流的子 集和/或已解码数据的子集相关联的机制。可能要求嵌套SEI消息包含不是嵌套SEI消息本 身的一个或多个SE I消息。嵌套SE I消息中包含的SE I消息可W称为嵌套式SE I消息。没有包 含在嵌套SEI消息中的SEI消息可W称为非嵌套式SEI消息。肥VC的可分级嵌套SEI消息使得 能够识别嵌套式SEI消息应用于其的比特流子集（由于子比特流提取过程)或者层的集合。 比特流子集也可W称为子比特流。
[0204] 已编码图片是图片的已编码表示。H.264/AVC中的已编码图片包括图片的解码所 需要的VCL NAL单元。在H.264/AVC中，已编码图片可W是主要已编码图片或冗余已编码图 片。主要已编码图片用在有效比特流的解码过程中，而冗余已编码图片是应当仅在主要已 编码图片不能成功解码时被解码的冗余表示。在肥VC中，没有规定冗余已编码图片。
[0205] 在H.264/AVC和皿VC中，访问单元包括主要已编码图片和与其相关联的NAL单元。 在肥VC中，访问单元定义为根据规定的分类规则彼此相关联的NAL单元的集合，运些NAL单 元按照解码顺序连续并且仅包含一个已解码图片。在H.264/AVC中，访问单元内的NAL单元 的呈现顺序如下约束。可选的访问单元界定符NAL单元可W表示访问单元的开始。之后是零 个或多个SEI NAL单元。接下来是主要已编码图片的已编码切片。在H.264/AVC中，主要已编 码图片的已编码切片之后可W是零个或多个冗余已编码图片的已编码切片。冗余已编码图 片是图片或者图片的部分的已编码表示。如果解码器由于例如传输中的损失或者物理存储 介质中的错误而没有接收到主要已编码图片，则可W解码冗余已编码图片。
[0206] 在H.264/AVC中，访问单元还可W包括辅助已编码图片，其是补充主要已编码图片 的图片并且可W例如用在显示过程中。辅助已编码图片例如可W用作规定已解码图片中的 样本的透明级别的阿尔法通道或阿尔法平面。阿尔法通道或平面可W用在分层组合或擅染 系统中，其中输出图片由在彼此之上至少部分透明的交叠的图片形成。辅助已编码图片与 单色冗余已编码图片具有相同的句法和语义约束。在H.264/AVC中，辅助已编码图片包含与 主要已编码图片相同的数目的宏块。
[0207] 在皿VC中，访问单元可W定义为根据规定的分类规则彼此相关联的NAL单元的集 合，运些NAL单元按照解码顺序连续，并且包含仅一个已编码图片。除了包含已编码图片的 V化NAL单元，访问单元还可W包含非V化NAL单元。在肥VC中，访问单元的解码产生已解 码图片。
[0208] 在H.264/AVC中，已编码视频序列定义为从IDR访问单元(含巧Ij下一IDR访问单元 (不含)或者到比特流的结尾的按照解码顺序的出现较早的连续的访问单元的序列。在HEVC 中，已编码视频序列定义为按照解码顺序包括作为比特流中的第一访问单元的CRA(清洁随 机访问）访问单元W及IDR访问单元或化A(中断链路访问）访问单元(之后是零个或多个非 IDR和非BLA访问单元，包括最高达但是不包括任何随后的IDR或BLA访问单元的所有随后的 访问单元)的访问单元的序列。
[0209] 图片组(GOP)及其特性可W如下定义。GOP可W被解码而不管任何在前图片是否被 解码。开放式GOP是其中按照输出顺序在初始帖内图片之前的图片在解码从开放式GOP的初 始帖内图片开始时不能正确可解码的图片组。换言之，开放式GOP的图片可W指代(在帖间 预测中）属于在前GOP的图片。H. 264/AVC解码器可W从H. 264/AVC比特流中的恢复点SE I消 息认识到开始开放式GOP的帖内图片。皿VC解码器可W辨识开始开放式GOP的帖内图片，因 为特定的NAL单元类型、CDR NAL单元类型用于其已编码切片。封闭式GOP是其中全部图片在 解码从封闭式GOP的初始帖内图片开始时都可W正确解码的图片组。换言之，封闭式GOP中 没有任何图片设及在前GOP中的任何图片。在H. 264/AVC和皿VC中，封闭式GOP从IDR访问单 元开始。在肥VC中，封闭式GOP也可W从BLA W DLP或者BLA N LP图片开始。因此，封闭式GOP 图片与开放式GOP图片相比具有更大的错误恢复潜力，然而是W压缩效率的可能降低为代 价。由于在参考图片的选择方面的更大灵活性，开放式GOP编码结构在压缩方面有可能更高 效。
[0210] H.264/AVC和皿VC的比特流句法表示特定图片是否是用于任何其他图片的帖间预 巧化勺参考图片。任何编码类型（I，P，B)的图片可W是H.264/AVC和肥VC中的参考图片或非参 考图片。NAL单元首部表示NAL单元的类型W及NAL单元中包含的已编码切片是参考图片还 是非参考图片。
[0211] 很多混合视频编解码器(包括H.264/AVC和皿VC)分两个阶段对视频信息进行编 码。在第一阶段，应用预测编码，例如作为所谓的样本预测和/或所谓的句法预测。
[0214] -视图间预测，其设及在紧密对应于被编码的块的在前已编码视图组成之一中寻 找和指示区域。
[0215] -视图合成预测，其设及合成其中基于已重构/已解码测距信息来得到预测块的预 测块或图像区域。
[0216]-层间预测，其使用已重构/已解码样本，诸如所谓的Intra化(基本层)模式SVC。
[0217] -层间残差预测，其中例如可W使用参考层的已编码残差或者来自已重构/已解码 参考层图片与对应已重构/已解码增强层图片的差异的所得残差用于预测当前增强层块的 残差块。残差块例如可W被添加至运动补偿预测块W获得当前增强层块的最终预测块。
[0218] -帖内预测，其中可W通过设及寻找和指示空间区域关系的空间机制预测像素或 样本值。
[0219] 在也可W称为参数预测的句法预测中，根据早先解码(编码）的句法元素和/或早 先得到的变量来预测句法元素和/或句法元素值和/或根据句法元素得到的变量。下面提供 句法预测的非限制性示例：
[0220] -在运动矢量预测中，可W关于块特定的预测运动矢量不同地对例如帖间和/或视 图间预测的运动矢量编码。在很多视频编解码器中，用预定义的方式产生预测运动矢量，例 如通过计算相邻块的已编码或已解码运动矢量的中间矢量。产生运动矢量预测（有时称为 先进的运动矢量预测(AMVP))的另一方式是根据时间参考图片中的相邻块和/或共同定位 的块来生成候选预测的列表并且将所选择的候选作为运动矢量预测符进行信号传输。除了 预测运动矢量值，还可W预测先前编码/解码的图片的参考索引。参考索引通常根据时间参 考图片中的相邻块和/或共同定位的块来预测。运动矢量的不同编码通常在切片边界上被 停用。
[0221] -可W预测例如从CTU到CU并且直至PU的块分割。
[0222] -在滤波参数预测中，可W预测例如样本自适应偏移的滤波参数。
[0223] 使用来自先前已编码图像的图像信息的预测方法也可W称为帖间预测方法，其也 可W称为时间预测和运动补偿。使用相同图像内的图像信息的预测方法也可W称为帖内预 测方法。
[0224] 第二阶段是对像素或样本的预测块与像素或样本的原始块之间的误差进行编码 之一。运可W通过使用规定的变换对像素或样本值的差异进行变换来实现。运一变换可W 是例如离散余弦变换(DCT)或其变型。在对差异进行变换之后，对变换后的差异进行量化并 且对其进行赌编码。
[0225] 通过改变量化过程的保真度，编码器可W控制像素或样本表示的准确性（即图片 的视觉质量)与所得到的已编码视频表示的大小（即文件大小或传输比特率)之间的平衡。
[0226] 解码器通过应用类似于编码器所使用的机制的预测机制来重构输出视频W便形 成像素或样本块的预测表示(使用由编码器产生并且包括在图像的压缩表示中的运动或空 间信息）W及预测误差解码(预测误差编码在空间域中恢复量化后的预测误差信号的逆操 作)。
[0227] 在应用像素或样本预测和误差解码过程之后，解码器将预测和预测误差信号（像 素或样本值)组合W形成输出视频帖。[0。引解码器(和编码器)还可W应用另外的滤波处理W便在传递输出视频用于显示和/ 或存储输出视频作为视频序列中即将到来的图片的预测参考之前改善输出视频的质量。
[0229] 在很多视频编解码器(包括H.264/AVC和皿VC)中，运动信息用与每个运动压缩图 像块相关联的运动矢量来表示。运些运动矢量中的每个运动矢量表示要编码(在编码器 中）或解码(在解码器处）的图片中的图像块的位移W及先前已编码或已解码图像(或图片） 之一中的预测源块。与很多其他视频压缩标准一样，H.264/AVC和皿VC将图片分为矩形网 格，对于每个矩形，参考图片之一中的类似块被表示用于帖间预测。预测块的位置被编码为 表示预测块相对于被编码的块的位置的运动矢量。
[0230] H. 264/AVC和皿VC包括图片顺序计数(POC)的概念。POC的值针对每个图片被得到 并且按照输出顺序随着图片位置的增加而不减小。POC因此表示图片的输出顺序。POC可W 用在解码过程中例如用于暗示双向预测切片的时间直接模式下的运动矢量的分级，用于加 权预测中隐含地得到的权重，并且用于参考图片列表初始化。另外，POC可W用在输出顺序 一致性的验证中。在H. 264/AVC中，POC相对于在前IDR图片或者包含将所有图片标记为"没 有用于参考"的存储器管理控制操作的图片来规定。
[0231] 帖间预测过程可W使用W下因素中的一个或多个因素被特征化。
[0232] 运动矢量表示的准确性。例如，运动矢量可W具有四分之一像素准确性，并且可从 使用有限脉冲响应(FIR)滤波器获得分数像素位置的样本值。
[0233] 帖间预测的块分割。很多编码标准(包括H. 264/AVC和皿VC)使得能够选择其运动 矢量在编码器中应用于运动补偿预测的块的大小和形状，并且在比特流中指示所选择的大 小和形状W使得解码器能够再现在编码器中进行的运动补偿预测。
[0234] 帖间预测的参考图片的数目。帖间预测的源是先前已解码图片。很多编码标准(包 括H.264/AVC和皿VC)使得能够存储用于帖间预测的多个参考图片并且使得能够基于块选 择所使用的参考图片。例如，在H.264/AVC中可W基于宏块或宏块分割并且在肥VC中可W基 于PU或CU选择参考图片。很多编码标准(诸如H.264/AVC和皿VC)在比特流中包括使得解码 器能够产生一个或多个参考图片列表的句法结构。到参考图片列表的参考图片索引可W用 于表示多个参考图片中的哪个参考图片用于特定块的帖间预测。参考图片索引在某些帖 间编码模式下可W被编码器编码到比特流中，或者其在某些其他帖间编码模式下可W(由 编码器和解码器)使用例如相邻块来得到。
[0235] 运动矢量预测。为了在比特流中高效地表示运动矢量，可W关于块特定的预测运 动矢量不同地编码运动矢量。在很多视频编解码器中，按照预定义方式产生预测运动矢量， 例如通过计算相邻块的已编码或已解码运动矢量的中间矢量。产生运动矢量预测（有时称 为先进的运动矢量预测(AMVP))的另一方式是根据时间参考图片中的相邻块和/或共同定 位的块来生成候选预测的列表并且将所选择的候选作为运动矢量预测符进行信号传输。除 了预测运动矢量值，还可W预测先前编码/解码的图片的参考索引。参考索引通常根据时间 参考图片中的相邻块和/或共同定位的块来预测。运动矢量的不同编码通常在切片边界上 被停用。
[0236] 多假设运动补偿预测。H.264/AVC和皿VC使得能够使用P切片(本文中称为单向预 测切片）中的单个预测块或者双向预测切片（其也称为B切片）的两个运动补偿预测块的线 性组合。B切片中的各个块可W被双向预测、单向预测或者帖内预测，并且P切片中的各个块 可W被单向预测或者帖内预测。双向预测图片的参考图片可W不限于按照输出顺序的在后 的图片和在前的图片，而可W使用任何参考图片。在很多编码标准(诸如H.264/AVC和HEVC) 中，针对P切片构造被称为参考图片列表0的一个参考图片列表，并且针对B切片构造2个参 考图片列表(列表0和列表1)。对于B切片，当正向上的预测可W设及来自参考图片列表0中 的参考图片的预测，并且反向上的预测可W设及来自参考图片列表1中的参考图片的预测 时，即使用于预测的参考图片可W关于彼此或者关于当前图片具有任何解码或输出顺序。
[0237] 加权预测。很多编码标准使用预测权重1用于帖间(P)图片的预测块并且使用预测 权重0.5用于B图片的每个预测块(得到平均值）边.264/AVC使得能够对P切片和B切片二者 进行加权预测。在隐含加权预测中，权重与图片顺序计数(POC)成比例，而在明确加权预测 中，预测权重被明确指出。
[0238] 在很多视频编解码器中，运动补偿之后的预测残差首先通过变换核(如DCT)被变 换并且然后被编码。运一操作的原因在于，残差之间通常仍然存在某种关联关系并且变换 在很多情况下能够帮助减小关联关系并且提供更高效的编码。
[0239] 在皿VC中，每个PU具有与其相关联的预测信息，其定义要针对PU内的像素应用哪 种预测（例如用于帖间预测PU的运动矢量信息W及用于帖内预测PU的帖内预测方向性信 息）。类似地，每个TU与描述TU内的样本的预测误差解码过程的信息（包括例如DCT系数信 息)相关联。可W在CU级信号传输针对每个CU是否应用预测误差编码。如果没有与CU相关联 的预测误差残差，则可W认为没有用于CU的TU。
[0240] 在一些编码格式和编解码器中，在所谓的短期参考图片和长期参考图片之间做出 区分。运一区分可能影响一些解码过程，诸如时间直接模式下的运动矢量分级或者隐含加 权预测。如果用于时间直接模式的参考图片都是短期参考图片，则可W根据当前图片与参 考图片中的每个图片之间的图片顺序计数差异来对预测中使用的运动矢量进行分级。然 而，如果用于时间直接模式的至少一个参考图片是长期参考图片，则可W使用运动矢量的 默认分级，可W使用例如将运动分级到一半。类似地，如果使用短期参考图片用于隐含加权 预测，则可W根据当前图片的POC与参考图片的POC之间的POC差异对预测权重进行分级。然 而，如果使用长期参考图片用于隐含加权预测，则可W使用默认预测权重，诸如用于双向预 测块的隐含加权预测的0.5。
[0241] 一些视频编码格式(诸如H.264/AVC)包括打ame_num句法元素，其用于与多个参考 图片相关的各种解码过程。在H.264/AVC中，IDR图片的打ame_num为0。非IDR图片的打ame_ num的值等于按照解码顺序增力日1的在前参考图片的frame_num(在模运算中，即frame_num 的值在打ame_n皿的最大值之后绕至0)。
[0242] 用于（已解码)参考图片标记的句法结构可W存在于视频编码系统中。例如，当完 成图片的解码时，已解码参考图片标记句法结构（如果存在)可W用于自适应地将图片标记 为"未用于参考"或者"用于长期参考"。如果已解码参考图片标记句法结构不存在并且被标 记为"用于参考"的图片的数目可W不再增加，则可W使用滑动窗口参考图片，其基本上将 最早(按照解码顺序)的已解码参考图片标记为未用于参考。
[0243] H.264/AVC规定了用于已解码参考图片标记的过程W便控制解码器中的存储器消 耗。被称为M的用于帖间预测的参考图片的最大数目在序列参数集合中被确定。当参考图片 被解码时，其被标记为"用于参考"。如果参考图片的解码造成多于M个图片被标记为"用于 参考"，则至少一个图片被标记为"未用于参考"。有两种类型的用于已解码参考图片标记的 操作：自适应存储器控制和滑动窗口。用于已解码参考图片标记的操作模式基于图片来选 择。自适应存储器控制实现了明确的信令，其图片被标记为"未用于参考"，并且还向短期参 考图片分配长期索引。自适应存储器控制可W要求比特流中存在存储器管理控制操作 (MMCO)参数。MMCO参数可W被包括在已解码参考图片标记句法结构中。如果使用滑动窗口 操作模式并且有M个图片被标记为"用于参考"，则将作为被标记为"用于参考"的短期参考 图片中的第一已解码图片的短期参考图片标记为"未用于参考"。换言之，滑动窗口操作模 式在短期参考图片中产生先入先出缓冲操作。
[0244] H.264/AVC中的存储器管理控制操作之一造成除当前图片W外的所有参考图片被 标记为"未用于参考"。瞬时解码刷新（IDR)图片仅包含帖内编码切片并且造成参考图片的 类似"重置'。
[0245] 在皿VC中，使用参考图片集合(RPS)句法结构取代参考图片标记句法结构和相关 的解码过程，并且取而代之出于类似目的使用解码过程。对于图片有效或活动的参考图片 包括针对图片用作参考的所有参考图片W及针对按照解码顺序的任何随后图片保持被标 记为"用于参考"的所有参考图片。有参考图片集合的6个子集，其被称为 RefPicSetSt CurrO (又称RefPicSetSt CurrBef ore)、RefPi cSetStCurrl (又称 RefPicSetStCurrAfter)、RefPicSetStI^l10、RefPicSetStFol11,RefPicSetLtCurr和 RefPicSetLtFoll DRefPicSetStFollO 和 RefPicSetStFolll 也可 W 被认为联合形成一个子 集RefPicSetStFolL6个子集的注释如下/'Curr"指被包括在当前图片的参考图片列表中 并且因此可W用作当前图片的帖间预测参考的参考图片。"Foir指没有被包括在当前图片 的参考图片列表中但是可W在按照解码顺序的在后图片中用作参考图片的参考图片。"St" 指短期参考图片，其通常可W通过其POC值的某个数目的最低有效位来识别。"Lt"指长期参 考图片，其具体地被识别并且通常与可W用所提及的某个数目的最低有效位表示的相比关 于当前图片具有更大的POC值差异。"0"指比当前图片具有更小的POC值的参考图片。"r指 比当前图片具有更大POC值的参考图片。RefPicSetStCurrO、Ref PicSetStCurr 1、 RefPicSetStFol 10和RefPicSetStFol 11统称为参考图片集合的短期子集。 RefPicSetStCurr和RefPicSetStFoll统称为参考图片集合的长期子集。
[0246] 在肥VC中，可W在图片参数集合中规定参考图片集合并且通过到参考图片集合的 索引将其用在切片首部中。参考图片集合也可W在切片首部中规定。参考图片集合的长期 子集通常仅在切片首部中规定，而相同的参考图片集合的短期子集可W在图片参数集合或 切片首部中规定。参考图片集合可W独立地被编码或者可W根据另一参考图片集合来预测 (被称为帖间WS预测）。当参考图片集合被独立编码时，句法结构总共包括在不同类型的参 考图片上迭代的3个回路一一POC值比当前图片低的短期参考图片、POC值比当前图片高的 短期参考图片W及长期参考图片。每个回路条目规定要被标记为"用于参考"的图片。通常， 图片用不同的POC值来规定。帖间RPS预测采用W下事实:可W根据先前已解码图片的参考 图片集合来预测当前图片的参考图片集合。运是因为当前图片的所有参考图片是在前图片 的参考图片或者是先前已解码图片本身。仅需要表明运些图片中的哪些图片应当是参考 图片W及用于当前图片的预测。在两种类型的参考图片集合编码中，针对每个参考图片另 外发送指示参考图片是(被包括在*Curr列表中）否（被包括在冲oil列表中）用于当前图片 的参考的标记(used_by_curr_pic_X_f lag)。被包括在由当前切片使用的参考图片集合中 的图片被标记为"用于参考"，而没有在由当前切片使用的参考图片集合中的图片被标记为 "未用于参考"。如果当前图片是IDR图片，则RefPicSetStCurrO、RefPicSetStCurr 1、 RefPicSetS 评 ollO、RefPicSetStFoll URefPicSetLtCurr 和 RefPicSetLtFoll 全部设置为 空。
[0247] 已解码图片缓冲器(DPB)可W用在编码器和/或解码器中。缓冲已解码图片的原因 有两个:为了帖间预测中的参考W及用于将已解码图片重新排序成输出顺序。由于H.264/ AVC和皿VC提供参考图片标记和输出重新排序的更大的灵活性，所W用于参考图片缓冲和 输出图片缓冲的单独的缓冲器可能浪费存储器资源。因此，DPB可W包括用于参考图片和输 出重新排序的统一的已解码图片缓冲过程。当已解码图片不再用作参考并且不需要用于输 出时，可W将已解码图片从DTO去除。
[0248] 在H.264/AVC和皿VC的很多编码模式中，用到参考图片列表的索引来指示帖间预 测的参考图片。索引可W用CABAC或可变长度编码来进行编码。通常，索引越小，对应句法元 素可W变得越短。在H.264/AVC和肥VC中，针对每个双向预测(B)切片生成2个参考图片列表 (参考图片列表0和参考图片列表1)，并且针对每个帖间编码(P)切片形成1个参考图片列表 (参考图片列表0)。另外，对于肥VC标准的草拟版本中的B切片，可W在构造最终参考图片列 表(列表O和列表1)之后构造组合列表(列表c)。组合列表可W用于B切片内的单向预测（也 称为单方向预测）。然而，在最终H.265/AVC标准中，没有构造组合列表。
[0249] 参考图片列表(诸如参考图片列表0和参考图片列表1)可W用两个步骤来构造:首 先，生成初始参考图片列表。初始参考图片列表例如可W基于打ame_num、POC、temporal_ id或者与预测层级有关的信息(诸如GOP结构）、或者其任意组合来生成。其次，可W通过参 考图片列表记录(R化R)命令来记录初始参考图片列表，RPLR命令也称为参考图片列表修改 句法结构，其可W被包含在切片首部中。R化R命令表示被排序为相应参考图片列表的开始 的图片。运一第二步骤也可W称为参考图片列表修改过程，并且RPLR命令可W被包括在参 考图片列表修改句法结构中。如果使用参考图片集合，则参考图片列表0可W被初始化W首 先包含 RefPicSetStCurrO,之后是 RefPicSetStCurrl、之后是 RefPicSe 化 tCurr。参考图片 列表1可W被初始化W首先包含Ref PicSetStCurr 1，之后是Ref PicSetStQirrO。可W通过参 考图片列表修改句法结构来修改初始参考图片列表，其中可W通过到列表的条目索引来识 别初始参考图片列表中的图片。
[0250] 由于多视图视频向编码器和解码器提供使用视图间冗余的可能性，所W可W将已 解码视图间帖也包括在参考图片列表中。[0251 ]下面的段落中提供运动矢量预测方案和相关编码模式的示例。
[0252]除了差分运动矢量被编码的运动补偿宏块模式，在H.264/AVC中，P宏块也可W在 所谓的PJ^ip类型中被编码。对于运一编码类型，没有不同的运动矢量、参考索引或量化预 测误差信号被编码到比特流中。使用P_Skip类型被编码的宏块的参考图片在参考图片列表 0中的索引为0。用于重构?_51^9宏块的运动矢量使用宏块的中间运动矢量预测来获得而没 有添加任何不同的运动矢量nP_Skip特别是在其中运动场平滑的区域中可W有益于压缩效 率。[02对在H.264/AVC的B切片中，支持4种不同类型的帖间预测：来自参考图片列表0的单 向预巧U、来自参考图片列表1的单向预测、双向预测、直接预测和B_skip。可W针对每个宏块 分割单独地选择帖间预测的类型。B切片使用与P切片类似的宏块分割。对于双向预测宏块 分割，预测信号由运动补偿列表0和1预测信号的加权平均来形成。可W针对单向预测和双 向预测B宏块分割对参考索引、运动矢量差异W及量化预测误差信号进行编码。
[0254] H.264/AVC中包括2个直接模式:时间直接和空间直接，并且其中之一可W被选择 用于切片首部中的切片，然而其使用例如在配置文件等中可W被进一步约束。在时间直接 模式下，参考图片列表1的参考索引设置为0,并且参考图片列表0的参考索引设置为指向在 参考图片列表1中索引为0的参考图片的共同定位的块(与当前块Cb相比较）中使用的参考 图片（如果该参考图片可用），或者被设置为〇(如果该参考图片不可用Kcb的运动矢量预测 符基本上通过将参考图片列表1中索引为0的参考图片的共同定位的块内的运动信息考虑 在内来得到。时间直接块的运动矢量预测符通过分级来自共同定位的块的运动矢量来得 到。分级与当前图片和与列表0和列表1中的推断参考索引相关联的参考图片之间的图片排 序计数差异成比例，并且通过取决于其使用的参考图片列表选择运动矢量预测符的符号来 实现。
[0255] 在H.264/AVC的空间直接模式下，采用空间上相邻的块的运动信息。可W将空间直 接模式下的运动矢量预测分为=个步骤:参考索引确定、单向或双向预测的确定W及运动 矢量预测。在第一步骤中，从相邻的块A、B和C(其中A是在当前块的左侧的相邻块，B是在当 前块的上方的相邻块，C是在当前块的右上方的相邻块)的参考图片列表O和参考图片列表1 中的每个参考图片列表中选择具有最小非负参考索引的参考图片（即非帖内块）。如果相邻 块A、B和C的参考图片列表O中不存在任何非负参考索引，并且相邻块A、B和C的参考图片列 表1中同样不存在非负参考索引，则选择参考索引O用于两个参考图片列表。
[0256] 如下来确定用于H.264/AVC空间直接模式的单向或双向预测的使用：如果在参考 索引确定步骤找到用于两个参考图片列表的最小非负参考索引，则使用双向预测。如果在 参考索引确定步骤中找到用于参考图片列表0或参考图片列表1中的一者而非两者的最小 非负参考索引，则相应地使用来自参考图片列表0或参考图片列表1的单向预测。
[0257] 在用于H.264/AVC空间直接模式的运动矢量预测中，检查某些条件(诸如在第一 步骤中是否得出负的参考索引），并且如果满足，则确定零运动矢量。否则，类似于P块的运 动矢量预测符使用空间上相邻的块A、B和C的运动矢量得到运动矢量预测符。
[0258] H.264/AVC中的直接模式块的比特流中不存在任何运动矢量差异或参考索引，而 可W对量化预测误差信号编码并且其因此存在于比特流中。H.264/AVC中的B_skip宏块模 式类似于直接模式，但是没有对预测误差信号编码并且其也没有被包括在比特流中。
[0259] H.265/AVC包括2个运动矢量预测方案，即先进的运动矢量预测(AMVP)和合并模 式。在AMVP或合并模式下，针对PU得到运动矢量候选的列表。有两种候选谊间候选和时间 候选，其中时间候选也可W称为TMVP候选。
[0260] 例如可W如下执行候选列表的取得，然而应当理解，存在用于候选列表取得的其 他可能性。如果候选列表的占用不是最大，则在空间候选可用并且没有存在于候选列表中 的情况下首先将空间候选包括在候选列表中。之后，如果候选列表的占用尚未最大，则在候 选列表中包括时间候选。如果候选的数目仍然没有达到最大允许数目，则添加组合的双向 预测候选(用于B切片)和零运动矢量。在构造候选列表之后，编码器例如基于速率失真优化 (RDO)决定来决定来自候选的最终运动信息并且将所选择的候选的索引编码到比特流中。 同样，解码器从比特流中解码所选择的候选的索引，构造候选列表，并且使用已解码索引从 候选列表中选择运动矢量预测符。[0%。 在H. 265/AVC中，AMVP和合并模式可W如下被特征化。在AMVP中，编码器指示使用 单向预测还是双向预测W及使用哪些参考图片并且对运动矢量差异进行编码。在合并模式 下，仅将来自候选列表的所选择的候选编码到比特流中，W指示当前预测单元与所指示的 预测符具有相同的运动信息。因此，合并模式产生包括共享相同的运动信息(其针对每个区 域仅被信号传输一次）的相邻预测块的区域。在H.265/AVC中，AMVP与合并模式之间的另一 差异在于，AMVP的最大候选数目为2,而合并模式的最大候选数目为5。
[0262]先进的运动矢量预测例如可W如下操作，然而先进的运动矢量预测的其他类似的 实现也是可能的，例如候选位置集合不同W及具有候选位置集合的候选位置不同。可W得 到2个空间运动矢量预测符(MVP)，并且可W得到时间运动矢量预测符(TMVP)。它们可W在 W下位置之间进行选择:位于当前预测块上方的3个空间运动矢量预测符候选位置(B0，B1， B2) W及在左侧的两个空间运动矢量预测符候选位置(A0，A1)。可W选择按照每个候选位置 集合(B0，B1，B2)或(A0，A1)的预定义的顺序可用（例如驻留在相同的切片中，被帖间编码 等）的第一运动矢量预测符W表示运动矢量竞争中的预测方向（向上或者向左）。时间运动 矢量预测符的参考索引可W由编码器在切片首部中表示(例如作为collocated_ref_idx句 法索引）。可W根据时间运动矢量预测符的参考图片、共同定位的图片和当前图片的图片顺 序计数差异的比例来对从共同定位的图片获得的运动矢量进行分级。另外，可W在候选之 间执行冗余校验W去除相同的候选，运可W产生将零运动矢量包括在候选列表中。例如可 W通过表示空间运动矢量预测符的方向（向上或者向左）或者时间运动矢量预测符候选的 选择来在比特流中表示运动矢量预测符。
[0263] 合并/合并模式/过程/机制例如可W如下操作，然而合并模式的其他类似的实现 也是可能的，例如候选位置集合不同W及具有候选位置集合的候选位置不同。
[0264] 在合并/合并模式/过程/机制中，其中块/PU的所有运动信息被预测并且被使用而 没有任何修改/校正。前述PU的运动信息可W包括W下各项中的一项或多项：1)关于"仅使 用参考图片列表0来单向预测Pir还是"仅使用参考图片列表1来单向预测PU"还是"使用参 考图片列表0和列表1二者来双向预测PU"的信息；2)对应于参考图片列表0的运动矢量值， 其可W包括水平和竖直运动矢量分量;3)参考图片列表0中的参考图片索引和/或由对应于 参考图片列表0的运动矢量指向的参考图片的标识符，其中参考图片的标识符可W是例如 图片顺序计数值、层标识符值(对于层间预测）、或者一对图片顺序计数值和层标识符值； 4)参考图片的参考图片标记的信息，例如关于参考图片被标记为"用于短期参考"还是"用 于长期参考"的信息;5)-7)分别与2)-4)相同，但是用于参考图片列表1。
[0265] 类似地，使用时间参考图片的相邻块和/或共同定位的块的运动信息来执行运动 信息。可W通过包括与可用的相邻的/共同定位的块相关联的运动预测候选来构造通常称 为合并列表的列表，并且列表中的所选择的运动预测候选的索引被信号传输并且所选择的 候选的运动信息被复制到当前PU的运动信息。当合并机制用于整个CU并且用于CU的预测信 号用作重构信号（即没有处理预测残差)时，对CU的运种类型的编码/解码通常称为跳跃模 式或者基于合并的跳跃模式。除了跳跃模式，合并机制也可W用于各个PU(不一定是如跳跃 模式下的整个CU),并且在运种情况下，可W使用预测残差来改善预测质量。运种类型的预 测模式通常称为帖间合并模式。
[0266] 用于AMVP的合并列表和/或候选列表或者任何类似运动矢量候选列表中的候选之 一可W是TMVP候选等，其可W从所指示或者所推断的参考图片(诸如例如在切片首部中指 示的参考图片）内的共同定位的块来得到。在肥VC中，根据切片首部中的collocated_from_ 10_flag句法元素选择要用于获取共同定位的分割的参考图片列表。当标志等于1时，其规 定从列表0得到包含共同定位的分割的图片，否则从列表1得到图片。当collocated_from_ 10_flag不存在时，推断其等于1。切片首部中的collocated_ref_idx规定包含共同定位的 分割的图片的参考索引。在当前切片为P切片时，collocated_ref_idx指列表0中的图片。在 当前切片为B切片时，。〇11〇。曰16(1_'6；1^_1扯在(3〇11〇。曰16(1_；1^1'〇111_10为1的情况下指列表0中 的图片，否则指列表1中的图片。collocated_ref_idx通常指有效列表条目，并且所得到的 图片对于已编码图片的所有切片而言是相同的。当collocated_ref_idx不存在时，推断其 等于0。
[0267] 在皿VC中，当运动编码模式是合并模式时，合并列表中的时间运动矢量预测的所 谓的目标参考索引设置为0。当使用时间运动矢量预测的皿VC中的运动编码模式是先进的 运动矢量预测模式时，明确地指示目标参考索引值(例如每个PU)。
[0268] 在肥VC中，可W如下确定候选预测运动矢量(PMV)的可用性(用于空间候选和时间 候选二者KSRTP =短期参考图片，LRTP =长期参考图片）：
[0269]
[0270] 在皿VC中，如果已经确定目标参考索引值，则可W如下得到时间运动矢量预测的 运动矢量值:获取与当前预测单元的右下侧邻居共同定位的块处的运动矢量PMV。例如可W 根据切片首部中的信号传输的参考索引来确定共同定位的块驻留在其中的图片，如W上所 描述的。如果位置CO处的PMV不可用，则获得共同定位的图片的位置Cl处的运动矢量PMV。关 于第一图片顺序计数差异和第二图片顺序计数差异的比例对共同定位的块处的所确定的 可用运动矢量PMV进行分级。第一图片顺序计数差异在包含共同定位的块的图片与共同定 位的块的运动矢量的参考图片之间来得到。第二图片顺序计数差异在当前图片与目标参考 图片之间来得到。如果目标参考图片和共同定位的块的运动矢量的参考图片中的一者而非 两者是长期参考图片（而另一者为短期参考图片），则可W认为TMVP候选不可用。如果目标 参考图片和共同定位的块的运动矢量的参考图片二者均为长期参考图片，则可W不应用基 于POC的运动矢量分级。
[0271] 运动参考类型或运动信息可W包括但不限于W下类型中的一个或多个类型：
[0272] -预测类型的指示(例如帖内预测、单向预测、双向预测)和/或参考图片的数目；
[0273] -预测方向的指示，诸如帖间（又称时间）预测、层间预测、视图间预测、视图合成 预测(VSP)和组成间预测(其可W每个参考图片和/或每个预测类型被指示并且其中在一些 实施例中可W将视图间预测和视图合成预测联合当作一个预测方向），和/或参考图片类型 的指示，诸如短期参考图片和/或长期参考图片和/或层间参考图片(其可W例如每个参考 图片被指示）
[0274] -到参考图片列表的参考索引和/或参考图片的任何其他标识符(其可W例如每个 参考图片被指示并且其类型可W取决于预测方向和/或参考图片类型并且其可W伴随有其 他相关信息，诸如参考索引应用于其的参考图片列表等）；
[0275] -水平运动矢量分量(其可W例如每个预测块或者每个参考索引等被指示）；
[0276] -竖直运动矢量分量(其可W例如每个预测块或者每个参考索引等被指示）；
[0277] --个或多个参数，诸如图片顺序计数差异和/或包含运动参数的图片或者与运动 参数相关联的图片与其参考图片之间的相关相机分离，其可W用于在一个或多个运动矢量 预测过程中分级水平运动矢量分量和/或竖直运动矢量分量(其中所述一个或多个参数可 W例如每个参考图片或者每个参考索引等被指示）；
[0278] -运动参数和/或运动信息应用于其的块的坐标，例如W量度样本为单位的块的左 上侧样本的坐标.
[0279] -运动参数和/或运动信息应用于其的块的范围（例如宽度和高度）。
[0280] 通常，运动矢量预测机制(诸如W上被呈现作为示例的运动矢量预测机制）可W包 括某些预定义的或者所指示的运动参数的预测或继承。
[0281] 可W认为与图片相关联的运动场包括针对图片的每个已编码块产生的运动信息 的集合。运动场例如可W通过块的坐标可访问。运动场例如可W用在TMVP中或者其中使用 用于预测而非当前已编码（已解码）图片的源或参考的任何其他运动预测机制中。
[0282] 可W应用不同的空间粒度或单元来表示和/或存储运动场。例如，可W使用空间单 元的规则网格。例如，可W将图片分为某个大小的矩形块(可能的例外的块在图片的边缘 处，诸如在右侧边缘和底部边缘上）。例如，空间单元的大小可W等于编码器能够在比特流 中表示的不同运动的最小大小，诸如亮度样本单元中的4x4块。例如，可W使用所谓的已压 缩运动场，其中空间单元可W等于预定义的或者所表示的大小，诸如亮度样本单元中的 16x16块，其大小可W大于用于表示不同运动的最小大小。例如，可W用如下方式实现皿VC 编码器和/或解码器：该方式使得能够针对每个已解码运动场执行运动数据存储减小 (MDSR)或运动场压缩(先于使用运动场用于图片之间的任何预测）。在皿VC实现中，MDSR可 W通过将运动保持可用于已压缩运动场中的16x16块的左上侧样本来将运动数据的粒度减 小为亮度样本单元中的16x16块。编码器可W将与已压缩运动场的空间单元相关的指示编 码为例如序列级句法结构中的一个或多个句法元素和/或句法元素值，诸如视频参数集合 或序列参数集合。在一些编码(解码)方法和/或设备中，可W根据运动预测的块分割(例如 根据皿VC标准的预测单元)来表示和/或存储运动场。在一些编码(解码)方法和/或设备中， 可W应用规则网格和块分割的组合使得分割大于预定义的或者所指示的空间单元大小的 运动能够与运些分割相关联地被表示和/或存储，而与分割小于预定义的或者所指示的空 间单元大小或者未与其对准的运动能够针对预定义的或者所指示的单元被表示和/或存 储。
[0283] 在肥VC中，已经做出若干改进W使得编解码器能够更好地使用并行性，即编码和/ 或解码任务的并行处理，从而更可靠地使用现代多核处理器架构。虽然切片原则上可W用 于并行化解码器，然而采用切片用于并行性通常产生相对较差的编码效率。已经向皿VC引 入波前处理的概念W改善并行性的使用。
[0284] 为了实现波前处理，编码器和/或解码器使用在前CTU行中的第二CTU的CABAC状态 作为当前CTU行的初始CABAC状态。因此，可W在在前CTU的第二CTU的处理完成之后开始当 前CTU行的处理。由于运一属性，可W用并行方式来处理CTU行。通常，例如可W在编码标准 中预先定义哪个CTU用于传递CTU的在前行的赌编码(解码)状态，或者可W由编码器在比特 流中确定和指示和/或由解码器从比特流解码。
[0285] 皿VC中的波前处理可W在两个并行化方法（波前并行处理（WPP)和交叠的波前 (OWF))中使用。WPP使得能够产生可W并行处理而没有出现高的编码损失的图片分割。
[0286] WPP并行地处理编码树单元(CTU)的行，同时保留所有的编码依赖性。在WPP中，可 W在单个处理步骤中应用赌编码、预测编码W及回路内滤波，其使得WPP的实现更加直接。 OWF使得能够将连续图片的执行交叠。在当前图片中的编码树单元的当前处理已经完成并 且没有另外的行可用时，可W开始下一图片的处理而非等待当前图片完成。
[0287] 当已经针对波前处理约束了已编码图片时或者当已经使用瓦片时，可W在比特流 中将CTU行或瓦片(分别）字节对准并且可W在其之前放置开始代码。另外地，可W在比特流 中（例如在切片首部中）和/或在外部（例如在包含文件中）提供进入点。进入点是到CTU行 (用于波前实现的已编码图片)或瓦片的开始的字节指针或者字节计数或者类似的直接参 考机制。在肥VC中，可W使用切片首部的entry_point_offset_minusl[i]来规定进入点。在 肥VC文件格式（ISCVIEC 14496-15)中，子样本信息盒可W提供进入点的信息。在一些场景 中，依赖性切片分段的使用可W很有用，其取代或者补充进入点。例如可W在已编码图片被 约束用于波前处理时针对CTU行形成依赖性切片分段，并且因此可W使用依赖性切片分段 NAL单元的开始来确定CTU行边界。
[0288] 很多视频编码标准规定了比特流的缓冲模型和缓冲参数。运样的缓冲模型可W称 为假设参考解码器化畑)或视频缓冲验证器(VBV)。标准的符合比特流兼容缓冲参数的集合 在对应标准中规定的缓冲模型。用于比特流的运样的缓冲参数可W被明确地或者隐含地 信号传输。"隐含地信号传输"表示例如默认缓冲参数值符合配置文件和级别应用。使用 HRD/VBV参数等对符合比特流的比特率变化强加约束。
[0289] 视频编码标准使用可变比特率编码，其例如由编码器在用于压缩视频帖的帖内和 帖间编码技术之间自适应地选择的灵活性造成。为了处理已压缩视频的比特率变化的波 动，可W在编码器和解码器侧使用缓冲。可W将假设参考解码器(HRD)认为是规定对编码过 程可W产生的符合比特流、符合NAL单元流或符合类型流中的可变性的约束的假设解码器 模型。
[0290] 如果比特流能够被皿D解码而没有缓冲器上溢或者在某些情况下下溢，则比特流 是兼容的。如果在缓冲器满时要向缓冲器中放置更多比特，则发生缓冲器上溢。如果在要从 缓冲器取回一些比特用于解码/回放时缓冲器中没有所述比特，则发生下溢。
[0291] 皿D可W是编码器的部分或者在操作上连接至编码器的输出。可W使用缓冲占用 和可能的其他H畑信息来控制编码过程。例如，如果H畑中的已编码数据缓冲器可能要上溢， 则例如可W通过增加量化器步长来减小编码比特率。
[0292] HRD的操作可W用HRD参数来控制，诸如缓冲器大小和初始延迟。可W产生HRD参数 值作为被包括或者在操作上连接至编码的HRD过程的部分。替选地，可W与编码单独地生成 皿D参数，例如在H畑验证器中，皿D验证器通过所规定的皿D过程来处理输入比特流并且生 成比特流符合的运样的H畑参数值。H畑验证器的另一使用是验证给定的比特流W及给定的 HRD参数实际上产生符合的HRD操作和输出。
[0293] HRD-致性检查可W设及例如W下两种类型的比特流:第一种类型的比特流(称为 类型I比特流)是仅包含比特流中的所有访问单元的V化NAL单元和滤波数据NAL单元的NAL 单元流。第二类型的比特流(称为类型II比特流)除了比特流中的所有访问单元的VCL NAL 单元和滤波数据NAL单元还包含另外的非VCL NAL单元而非滤波数据NAL单元和/或根据 NAL 单元流形成字节流的句法元素、诸如 leading_ze;ro_8bits、ze;ro_byte、sta;rt_code_ prefix_one_3bytes和trailing_zero_8bits。
[0294] 可W使用两种类型的H畑参数(ML HRD参数和VCL HRD参数）dHRD参数可W通过被 包括在序列参数集合句法结构中的视频可用性信息来表示。HRD参数例如可W包括缓冲器 大小和输入比特率。
[0295] 可W在比特流中（通过非VCL ML单元)或者通过带外手段从比特流外部（例如使 用信令机制，诸如被包括在例如根据会话描述协议(SDP)格式化的会话描述的介质行中的 介质参数)来将缓冲和图片定时参数(例如被包括在VCL NAL单元中提及的序列参数集合和 图片参数集合中或者在缓冲周期和图片定时SEI消息中）及时地传达给HRD。出于对HRD中的 比特进行计数的目的，可W仅对比特流中实际存在的适当比特进行计数。当借助于除比特 流内的存在之外的其他手段来针对应用传达非VCL NAL单元的内容时，非V化NAL单元的内 容的表示可W或者可W不使用在比特流中存在非VCL NAL单元的情况下所使用的相同的句 法。
[0296] H畑可W包含已编码图片缓冲器(CPB)、瞬时解码过程、已解码图片缓冲器化PB)和 输出剪裁（cropping)。
[0297] CPB可W基于解码单元来操作。解码单元可W是访问单元或者可W是访问单元的 子集，诸如整数个NAL单元。编码器可W确定解码单元例如是瓦片或CTU行（当应用实现波前 处理的编码约束时）。当解码单元是图片的子集时，可W实现编码和解码中的更低延迟 (latency)。解码单元的选择可W由编码器在比特流中表示。例如，解码单元SEI消息可W如 下表示解码单元:与解码单元信息SEI消息相关联的NAL单元的集合按照解码顺序包括包含 解码单元信息SEI消息的SEI NAL单元W及访问单元中的所有随后的NAL单元最高达而不包 括任何随后的包含解码单元信息SEI消息的SEI NAL单元。可W要求每个解码单元包括至少 一个V化NAL单元。与VCL NAL单元相关联的所有非VCL NAL单元可W被包括在包含V化 NAL单元的解码单元中。
[0298] HRD可W如下操作。可W通过假设流调度器化SS)来递送与根据规定的到达调度流 入CPB中的解码单元相关联的数据。到达调度可W由编码器来确定并且例如通过图片定时 SEI消息来表示，和/或到达调度可W例如基于比特率来得到，其例如可W被表示为视频可 用性信息(其可W被包括在序列参数集合中）中的HRD参数的部分。视频可用性信息中的HRD 参数可W包含很多参数集合，每个集合用于不同的比特率或者递送调度。与每个解码单元 相关联的数据可W在WB去除时间通过瞬时解码过程被瞬时去除和解码。CPB去除时间例如 可W使用初始CPB缓冲延迟来确定，初始WB缓冲延迟可W由编码器确定并且通过例如缓冲 周期SEI消息表示，并且例如通过图片定时SEI消息针对每个图片表示不同的去除延迟。每 个第一解码单元的初始到达时间（即第一比特的到达时间）可W确定为0。任何随后的解码 单元的到达时间可W确定为等于在前解码单元的最终到达时间。每个已解码图片可W放置 在DTO中。可W在DTO输出时间或者其变得不再需要用于帖间预测参考的稍后将已解码图片 从DPB去除。因此，HRD的CPB的操作可W包括:解码单元初始到达的定时（当解码单元的第一 比特进入CPB时）、解码单元去除的定时W及解码单元的解码，而HRD的DPB的操作可W包括 图片从DTO的去除、图片输出W及当前已解码图片标记和存储。
[0299] 可W如下用简化方式来描述HRD中基于AU的已编码图片缓冲的操作。假定比特W 恒定的到达比特率到达CPB中（当没有使用所谓的低延迟模式时）。因此，已编码图片或访问 单元与初始到达时间相关联，初始到达时间表示已编码图片或者访问单元的第一比特何时 进入CPB。另外，在低延迟模式下，假定已编码图片或访问单元在已编码图片或访问单元的 最后比特被插入到WB中并且相应已解码图片因此被插入DTO中时瞬时被去除，从而模拟瞬 时解码。运一时间称为已编码图片或访问单元的去除时间。已编码视频序列的第一已编码 图片的去除时间通常例如通过缓冲周期补充增强信息（SEI)消息来控制。运一所谓的初始 已编码图片去除延迟确保了关于用于填充WB的恒定比特率的已编码比特率的任何变化不 会造成CPB的饥饿或上溢。应当理解，CPB的操作在某种程度上比运里所描述的更复杂，例如 具有低延迟操作模式W及在很多不同的恒定比特率下操作的能力。另外，在不同的标准中 可W不同地规定(PB的操作。
[0300] 当比特流在IRAP图片处开始时，例如由于随机地访问文件或流并且从IRAP图片开 始解码或者变为广播，按照解码顺序在IRAP图片之后并且按照输出顺序在其之前可W存在 前导图片(RADL和/或RA化图片）。能够丢弃或者省略在RAP图片之后的运些前导图片的解码 而没有影响解码操作，因为运些前导图片对任何其他图片的解码过程没有任何影响。
[0301] 肥VC的缓冲周期SEI消息支持表示初始缓冲延迟和初始缓冲延迟偏移参数的两个 集合，其可W例如在IRAP图片处信号传输。一个值集合规定在比特流中存在与IRAP图片(缓 冲周期SEI消息与其相关联)相关联的前导图片时所需要的初始缓冲。其他值集合规定先于 通过HSS调度和/或将其输入CPB当比特流中不存在前导图片时所需要的初始缓冲。可W要 求通过用于在缓冲周期SEI消息中提供的缓冲参数的两个集合的H畑来验证H畑操作。
[0302] 使用DPB等来控制解码一致比特流所需要的存储器资源。缓冲已解码图片有两个 原因：用于在预测中参考W及用于将已解码图片重新排序成输出顺序。由于H.264/AVC和 肥VC提供参考图片标记和输出重新排序二者的灵活性的详细细节，所有用于参考图片缓冲 和输出图片缓冲的单独的缓冲器浪费存储器资源。因此，DPB包括用于参考图片和输出重新 排序的统一的已解码图片缓冲过程。可W在已解码图片不再用作参考并且不再需要用于输 出时将已解码图片从DTO去除。
[0303] 在输出裁剪中，可W根据裁剪矩形从已解码图片去除样本的行和/或列W形成输 出图片。在皿VC中，基于在由对应已编码图片引用的SPS中规定的一致性裁剪窗口来定义 已裁剪已解码图片作为已解码图片的裁剪的结果。如在皿VC中规定的解码过程，一致解码 器需要产生在数字上相同的已裁剪已解码图片。肥VC的输出裁剪产生已裁剪已解码图片。
[0304] HRD可W用于检查比特流和解码器的一致性。
[0305] 皿D的比特流一致性要求可W包括例如W下内容等。要求CPB不上溢(相对于例如 库在视频可用性信息的HRD参数中表示的大小)或下溢(即解码单元的去除时间不能小于该 解码单元的最后比特的到达时间）。可W要求DPB中图片的数目小于或等于某个最大数目， 最大数目可W例如在序列参数集合中规定。可W要求所有用作预测参考的图片存在于DPB 中。可W要求用于从Dro输出连续图片的间隔不小于某个最小值。
[0306] 皿D的解码器一致性要求可W包括例如W下内容等。可W要求与特定配置文件和 级别的解码器声明一致性W成功解码针对解码器一致性规定的所有一致比特流，假定在 V化NAL单元中提及的所有序列参考集合和图片参考集合W及适当的缓冲周期和图片定时 SEI消息在比特流中（通过非VCL NAL单元)或者通过外部手段被及时地传达给解码器。解码 器可W声明的有两种类型的一致性:输出定时一致性和输出顺序一致性。
[0307] 为了检查解码器的一致性，可W由假设流调度器化SS)向皿D和待测解码器(DUT) 二者递送符合声明的配置文件和级别的测试比特流。也可W要求HRD输出的所有图片由DUT 输出，并且对于由皿D输出的每个图片，还可W要求由DUT输出用于对应图片的所有样本的 值等于由HRD输出的样本的值。
[0308] 对于输出定时解码器一致性，HSS可W例如通过从视频可用性信息的H畑参数中表 示的递送调度中选择的递送调度或者通过"内插的"递送调度来操作。可W针对HRD和DUT二 者使用相同的递送调度。对于输出定时解码器一致性，可W要求图片输出的定时（相对于第 一比特的递送时间）对于H畑和DUT相同最高达固定延迟。
[0309] 对于输出顺序解码器一致性，HSS可W根据来自DUT的"需求"向DUT递送比特流，表 示HSS仅在DUT需要更多比特W继续进行其处理时递送比特(按照解码顺序KHSS可W通过 比特流中规定的调度之一向HRD递送比特流W使得比特率和CPB大小受到限制。可W要求图 片输出的顺序对于H畑和DUT相同。
[0310] 在可分级视频编码中，可W将视频信号编码到基本层W及一个或多个增强层中。 增强层可W增强时间分辨率（即帖速率）、空间分辨率，或者简单地增强由另一层或者其部 分表示的视频内容的质量。每个层连同其所有依赖性层是视频信号在某个空间分辨率、时 间分辨率和质量水平下的一个表示。在本文档中，将可分级层连同其所有依赖性层称为"可 分级层表示"。可W提取对应于可分级层表示的可分级比特流的部分并且对其进行解码W 产生原始信号在某个保真度下的表示。
[0311] 下面，在任何类型的可分级性的上下文中使用术语层，包括视图可分级性和深度 增强。增强层是指任何类型的增强，诸如SNR、空间、多视图、深度、比特深度、色度格式和/或 颜色饱和度增强。基本层也指任何类型的基本操作点，诸如基本视图、SNR/空间可分级性的 基本层、或者深度增强的视频编码的纹理基本视图。
[0312] 可分级视频编码(解码)可W通过被称为单回路解码的概念来实现，其中仅针对最 高层重构已解码参考图片而更低层的图片可W完全不解码或者可W在使用其用于层间预 测之后将其丢弃。在单回路解码中，解码器仅针对期望用于回放的可分级层(称为"期望层" 或"目标层"）执行运动补偿和全图片表示，从而与多回路解码相比减小解码复杂性。除了期 望层之外的所有层不需要完全解码，因为已编码图片数据的全部或部分不需要用于期望层 的重构。然而，更低层（与目标层相比）可W用于层间句法或参数预测，诸如层间运动预测。 另外地或者替选地，更低层可W用于层间帖内预测并且因此可能必须解码更低层的帖内编 码块。另外地或者替选地，可W映射层间残差预测，其中更低层的残差信息可W用于目标层 的解码并且可能需要对残差信息解码或重构。在一些编码布置中，需要单个解码回路用于 解码多数图片，而第二解码回路可W选择性地应用W重构所谓的基本表示（即已解码基本 层图片），其可能被需要作为预测参考而不用于输出或显示。
[0313] 下面描述H.264/AVC标准的SV讶广展的一些方面作为可分级视频编码标准的示例。
[0314] SVC包括支持粗粒度质量和空间可分级性(CGS)、中间粒度质量可分级性(MGS)和 时间可分级性。在一些可分级视频编码方案中，可W在某个位置之后或者甚至在任意位置 处截短增强层中的数据，其中每个截短位置可W包括表示增加的增强的视觉质量的另外的 数据。运样的可分级性称为细粒度(间隔尺寸)可分级性(FGS)dFGS包括在SVC标准的一些草 拟版本中，但是其实际上从最终SVC标准排除。FGS基本上在SVC标准的一些草拟版本的上下 文中讨论。由不能截短的增强层提供的可分级性称为粗粒度（间隔尺寸)可分级性(CGS)。其 笼统包括传统的质量(SNR)可分级性和空间可分级性。SVC标准支持所谓的中间粒度可分级 性(MGS)，其中质量增强图片类似于SNR可分级层图片被编码但是类似于FGS层图片用高层 句法元素来表示(通过使得qual ity_id句法元素大于0)。
[0315] SVC使用层间预测机制，其中可W根据除了当前已重构层或下一更低层之外的层 来预测某些信息。可W层间预测的信息包括帖内纹理、运动和残差数据。层间运动预测包括 块编码模式的预测、首部信息等，其中来自更低层的运动可W用于更高层的预测。如果是帖 内编码，则来自周围宏块或者来自更低层的共同定位的宏块的预测是可能的。运些预测技 术没有采用来自更早的已编码访问单元的信息，并且因此被称为帖内预测技术。另外，也可 W采用来自更低层的残差数据用于当前层的预测。
[0316] SVC使得能够使用单回路解码。通过使用受约束的帖内纹理预测模式来实现，从而 能够将层间帖内纹理预测用于基本层的对应块位于帖内MB内的宏块(MB)。同时，基本层中 的运些帖内MB使用受约束的帖内预测（例如句法元素"constrained_intra_pred_f lag"等 于1)。在单回路解码中，解码器仅针对期望用于回放的可分级层（称为"期望层"或"目标 层"）执行运动补偿和全图片重构，从而极大地减小解码复杂性。除了期望层之外的所有其 他层不需要完全解码，因为没有用于层间预测的^ffl的数据的全部或部分(不管是层间帖内 纹理预测、层间运动预测还是层间残差预测）不需要用于期望层的重构。需要单个解码回路 用于多数图片的解码，而选择性地应用第二解码回路W重构基本表示，基本表示需要作为 预测参考但是没有用于输出或显示，并且仅针对所谓的关键图片（其"store_ref_base_ pic_f lag"等于1)被重构。
[0317] SVC草案中的可分级性结构的特征在于3个句法元素："temporal_id"、 "dependency_id"和"quality_i(T。句法元素"temporal_id"用于表示时间可分级性层级或 者间接地表示帖速率。包括更小的最大"t empora l_i d"值的图片的可分级层表示的帖速率 小于包括更大最大"temporaLid"的图片的可分级层表示。给定时间层通常取决于更低时 间层（即"temporal_icr值更小的时间层）但是不取决于任何更高时间层。句法元素 "d邱enden^_icr用于表示CGS层间编码依赖性层级（其如早先提及的包括SNR和空间可分 级性二者）。在任何时间级别位置，更小"dependency_icr值的图片可W用于层间预测W解 码"dependency_id"值更大的图片。句法元素 "qual ity_i(T用于表示FGS或MGS层的质量水 平层级。在任何时间位置，并且在"dependency_i(f值相同的情况下，"quality_i(T等于化 的图片使用"quality_id"等于化-1的图片用于层间预测。可W将"quality_id"大于0的已 编码切片编码为可截短FGS切片或非可截短MGS切片。
[0318] 为了简单起见，将一个访问单元中"dependency_i(f的值相同的所有数据单元(例 如SVC上下文中的网络抽象层单元或NAL单元)称为依赖性单元或依赖性表示。在一个依赖 性单元内，"quality_id"的值相同的所有数据单元称为质量单元或层表示。
[0319] 也称为已解码基本图片的基本表示是由于对"quality_id"等于0并且"store. ref_base_pic_flag"设置为等于1的依赖性单元的视频编码层(VCL)NAL单元解码而得到的 已解码图片。也称为已解码图片的增强表示是由于解码对于最高依赖性表示存在的所有层 表示的规则的解码过程而产生的。
[0320] 如早先所提及的，CGS包括空间可分级性和SNR可分级性。空间可分级性初始被设 计成支持具有不同分辨率的视频的表示。对于每个时刻，在相同的访问单元中编码VCL NAL 单元并且运些V化NAL单元可W对应于不同分辨率。在解码期间，低分辨率VCL NAL单元提 供可选地通过高分辨率图片的最终解码和重构来继承的运动场和残差。与旧的视频压缩标 准相比，SVC的空间可分级性被一般化，W使得基本层能够成为增强层的裁剪和分级版本。[0321 ] MGS质量层用"quality_i(T表示。在SVC的草拟版本中，quality_id还用于表示FGS 质量层。对于每个依赖性单元(具有相同的"dependency_i(T )，存在"quality_i(T等于0的 层并且可W有其他Vality_id"大于0的层。Vality_icr大于0的运些层是MGS层，并且在 SVC的草拟版本中，它们是MGS层或FGS层，运取决于切片是否被编码为可截短切片。
[0322] 在基本形式的FGS增强层中，仅使用层间预测。因此，可W自由地截短FGS增强层而 没有在已解码序列中造成任何误差传播。然而，基本形式的FGS遭受低压缩效率的问题。运 一问题是由于仅使用低质量UTP用于帖间预测参考而造成的。因此已经提出了使用FGS增强 的图片作为层间预测参考。然而，运在一些FGS数据被丢弃时可能造成编码解码失配，也称 为漂移。
[0323] 草拟SVC标准的一个特征在于，可W自由地丢弃或截短FGS NAL单元，并且SVC标准 的特征在于，可W自由地丢弃MGS NAL单元(但是不能截短)而不影响比特流的可解码性。如 W上讨论的，当运些FGS或MGS数据在编码期间用于帖间预测参考时，数据的丢弃或截短可 能导致解码器侧与编码器侧的已解码图片之间的失配。运一失配也称为漂移。
[0324] 为了控制由于FGS或MGS数据的丢弃或截短而产生的漂移，SVC适用于W下情况:在 某个依赖性单元中，将基本表示(通过仅解码具有等于零的"quality_icrW及所有依赖的 较低层数据的CGS图片)存储在已解码图片缓冲器中。在解码"dependency_icr值相同的随 后的依赖性单元时，所有NAL单元(包括FGS或NGS NAL单元)使用基本表示用于帖间预测参 考。因此，由于早先访问单元中的FGS或MGS NAL单元的丢弃或截短而产生的所有漂移在运 一访问单元处被停止。对于"dependency_i(T值相同的其他依赖性单元，所有的NAL单元使 用已解码图片用于帖间预测参考，W实现高的编码效率。
[0325] 每个NAL单元在NAL单元首部中包括句法元素"use_ref_base_pic_f lag"。当运一 元素的值等于1时，NAL单元的解码在帖间预测过程期间使用参考图片的基本表示。句法元 素"store_ref_base_pic_f lag"规定是(如果等于1)否（如果等于0)为未来的图片存储当前 图片的基本表示W用于在帖间预测时使用。[03%] "quality_icr大于0的NAL单元不包含与参考图片列表约束和加权预测有关的句 法元素，即句法元素"num_ref_active_lx_minusr (X = O或1)，不存在参考图片列表记录句 法表格和加权预测句法表格。因此，MGS层或FGS层必须根据需要从相同的依赖性单元的 "quality_id"等于0的NAL单元继承运些句法元素。
[0327] 在SVC中，参考图片列表包括仅基本表示（当"use_ref_base_pic_flag"等于1时） 或者仅没有被标记为"基本表示"的已解码图片（当"use_ref_base_pic_f lag"等于0时），但 是运二者不同时存在。[032引在H.264/AVC比特流中，一个已编码视频序列中的已编码图片使用相同的序列参 数集合，并且在解码过程期间的任何时刻，仅一个序列参数集合有效。在SVC中，来自不同可 分级层的已编码图片可W使用不同的序列参数集合。如果使用不同的序列参数集合，则在 解码过程期间的任何时刻，可W有多于一个的有效序列图片参数集合。在SVC规范中，用于 顶部层的序列图片参数集合被表示为有效序列图片参数集合，而其余序列图片参数集合被 称为层有效序列图片参数集合。任何给定有效序列参数集合在有效序列参数集合所设及的 层中的已编码视频序列中保持不变。
[0329]如早先指出的，MVC是H. 264/AVC的扩展。H. 264/AVC的定义、概念、句法结构、语义 和解码过程中的很多也适用于MVC，或者具有某些一般性或约束。下面描述MVC的一些定义、 概念、句法结构、语义和解码过程。
[0330] MVC中的访问单元定义为按照解码顺序连续的NAL单元的集合并且仅包含包括一 个或多个视图组成的一个主要已编码图片。除了主要已编码图片，访问单元还可W包含一 个或多个冗余已编码图片、一个辅助已编码图片或者包含已编码图片的切片或切片数据分 割的其他NAL单元。如果没有发生解码误差、比特流误差或者可能影响解码的其他误差，贝U 访问单元的解码产生包括一个或多个已解码视图组成的一个已解码图片。换言之，MVC中的 访问单元针对一个输出时刻包含视图的视图组成。
[0331] MVC中的视图组成称为单个访问单元中的视图的已编码表示。
[0332] 视图间预测可W用在MVC中并且指来自相同访问单元的不同视图组成的已解码样 本的视图组成的预测。在MVC中，视图间预测类似于帖间预测来实现。例如，视图间参考图片 放置在与用于帖间预测的参考图片相同的参考图片列表中，并且类似地针对视图间和帖间 参考图片来编码或推断参考索引W及运动矢量。
[0333] 错定图片是其中所有切片可W仅设及相同的访问单元内的切片的已编码图片，即 可W使用视图间预测，但是不使用帖间预测，并且按照输出顺序的所有随后的已编码图片 不使用来自按照解码顺序先于已编码图片的任何图片的帖间预测。可W使用视图间预测用 于作为非基本视图的部分的IDR视图组成。MVC中的基本视图是已编码视频序列中视图顺序 索引的值最大的视图。基本视图可W独立于其他视图被解码并且不使用视图间预测。基本 视图可W由仅支持单视图配置文件（诸如H.264/AVC的基线配置文件或高配置文件）的 H.264/AVC解码器来解码。
[0334] 在MVC标准中，通过分别使用"视图组成"、"帖视图组成"和"场视图组成"来代替 H. 264/AVC标准的子过程规范中的术语"图片"、"帖"和"场"，MVC解码过程的子过程中的很 多子过程使用H. 264/AVC标准的相应子过程。同样，下面通常使用术语"图片"、"帖"和":!劳' 来分别表示"视图组成"、"帖视图组成"和"场视图组成"。
[0335] 在可分级多视图编码中，相同的比特流可W包含多个视图的已编码视图组成，并 且可W使用质量和/或空间可分级性对至少一些已编码视图组成进行编码。
[0336] 很多视频编码器使用拉格朗日代价函数来求解速率失真最佳编码模式，例如期望 的宏块模式和相关联的运动矢量。运种类型的代价函数使用加权因子或M拉姆达)将由于 有损编码方法而产生的准确或估计图像失真W及表示图像区域中的像素/样本值所需要的 准确或估计信息量绑在一起。拉格朗日代价函数可W用W下等式表示：
[0337] C = D+入 R
[0338] 其中C是要最小化的拉格朗日代价，D是在考虑到当前模式和运动矢量的情况下的 图像失真(例如原始图像块和已编码图像块中像素/样本值之间的均方差），A是拉格朗日系 数，R是表示在解码器中重构图像块所需要的数据所需的比特的数目（包括表示候选运动矢 量的数据的量）。
[0339] 当前的标准化活动规定皿VC的多视图扩展(其可W称为MV-皿VC)、皿VC的深度增 强的多视图扩展(其可W称为3D-HEVC)、W及肥VC的可分级版本(其可W称为甜VC)。预想能 够在所有运些规范中使用多回路解码操作。
[0340] 在使用多回路编码（解码）的可分级视频编码方案中，可W在已解码图片缓冲器 (DPB)中维持每个已编码（已解码)层的已解码参考图片。DPB的存储器消耗因此明显高于使 用单回路编码(解码)操作的可分级视频编码方案。然而，多回路编码(解码)可W具有其他 优点，诸如与单层编码相比相对较少的另外的部分。
[0341] 在使用多回路解码的可分级视频编码中，可W根据已经在基本(参考)层解码的图 片来预测增强层。运样的图片可W存储在基本层的Dro中并且可W标记为用于参考。在某些 情况下，标记为用于参考的图片可W存储在快速存储器中，W便提供对其样本的快速随机 访问，并且可W在认为要显示图片之后保持存储W便用作用于预测的参考。运对存储器组 织强加要求。为了释放运样的存储器要求，多回路多视图视频编码方案(诸如MVC)中的传统 设计假定层间预测的受限的使用。允许来自位于相同访问单元的基本视图的已解码图片的 用于增强的视图的层间/视图间预测，换言之，表示在相同的时间实体处的场景。在运样的 设计中，可用于预测增强视图的参考图片的数目针对每个参考视图增加1。
[0342] 已经提出，在使用多回路编码(解码)操作的可分级视频编码中，被标记为用于参 考的图片不需要源自于所有层中的相同的访问单元。例如，与基本层相比，可W在增强层中 维持更少数目的参考图片。在一些实施例中，可W使用也可W称为对角层间预测或对角预 测的时间层间预测来改善运样的编码场景中的压缩效率。通常，对角预测可W指其中预测 跨过多于一个的可分级性域或可分级性类型的任何预测。例如，对角预测可W指从不同的 组成类型（例如从深度到纹理）W及从不同的时刻（例如从按照编码(解码)顺序在前的访问 单元的图片到当前访问单元中的图片)发生的预测。
[0343] 解码过程可W参考层标识符列表TargetDe化ayerIdLi St来规定，层标识符列表 1'日'邑日1〇日化日7日1'1化131:规定了层标识符值的列表，诸如]11111_1日7日1'_1(1值。层标识符值可^ 按照要解码的NAL单元的升序在I'ai'getDec: Layer I化i St中。TargetDecLayer I化i St可W包 括意图由解码器来输出的层的层标识符W及输出层在解码过程中取决于其的所有层的层 标识符。
[0344] 工作继续进行W规定肥VC标准的可分级和多视图扩展。被称为MV-肥VC的皿VC的 多视图扩展类似于H. 264/AVC的MV讶广展。类似于MVC，在MV-HEVC中，视图间参考图片可W被 包括在被编码或解码的当前图片的参考图片列表中。计划规定被称为SHVC的HEVC的可分级 版本使得其使用多回路解码操作坏同于H.264/AVC的SVC扩展）"SHVC使用基于参考索引的 设计，其中层间参考图片可W被包括在被编码或解码的当前图片的一个或多个参考图片列 表中（如W上描述的）。在SHVC的较早草案中，还研究另一设计，其可W称为Intra化或 TextureRL,其中使用如CU级的特定编码模式用于使用参考层图片的已解码/已重构样本值 用于增强层图片的预测。SHVC开发专注于空间和粗粒度质量可分级性的开发。
[0345] MV-肥VC和甜VC都使用基于参考索引的可分级性并且因此类似于彼此。MV-HEVC和 細VC的高级句法、语义和解码操作已经在很大程度上对准。SHVC与MV-皿VC之间的差异在 于，SHVC实现空间可分级性并且因此包括样本阵列的上采样W及运动场映射或上采样。
[0346] 能够使用相同的句法结构、语义和解码过程中的很多用于MV-皿VC和基于参考索 引的SHVC。另外，也能够使用相同的句法结构、语义和解码过程用于深度编码。下文中，使用 术语皿VC的可分级多视图扩展(SMV-皿VC)来指其中很大地使用相同的编码(解码)工具而 不管可分级性类型并且其中使用在切片首部下在句法、语义或解码过程中没有变化的基于 参考索引的方法的编码过程、解码过程、句法和语义。SMV-皿VC可W不限于多视图、空间和 粗粒度质量可分级性，而是也可W支持其他类型的可分级性，诸如深度增强的视频。[CX347] 对于增强层编码，可W在SHVC、MV-皿VC和/或SMV-皿VC中使用皿VC的相同概念和 编码工具。然而，可W向SHVC、MV-皿VC和/或SMV-HEVC编解码器集成另外的层间预测工具， 其在采用参考层中的已经编码的数据(包括已重构图片样本和运动参数(又称运动信息）） 用于对增强层高效地编码。
[0%引 SHVC、MV-皿VC和SMV-肥VC中的访问单元可W定义为根据规定的分类规则彼此相 关联的NAL单元的集合，运些NAL单元按照解码顺序连续并且包含与相同的输出时间相关联 的所有已编码图片的V化NAL单元及其相关联的非V化NAL单元。
[0%引 SHVC、MV-皿VC和SMV-肥VC中的访问单元可W定义为根据规定的分类规则彼此相 关联的NAL单元的集合，运些NAL单元按照解码顺序连续并且包含与相同的输出时间相关联 的所有已编码图片的V化NAL单元及其相关联的非V化NAL单元。
[0349] 在MV-HEVC、SMV-HEVC和基于参考索引的SHVC解决方案中，块级句法和解码过程不 变W支持层间纹理预巧M又修改高级句法(与肥VC相比)使得来自相同的访问单元的参考层 的已重构图片(根据需要被上采样)可W用作用于编码当前增强层图片的参考图片。层间参 考图片W及时间参考图片被包括在参考图片列表中。信号传输的参考图片索引用于表示根 据时间参考图片还是层间参考图片来预测当前预测单元(PU)。运一特征的使用可W由编码 器来控制并且在比特流中表示，例如在视频参数集合、序列参数集合、图片参数和/或切片 首部中。表示例如可W特定于增强层、参考层、一对增强层和参考层、特定的TemporalId值、 特定的图片类型(例如IRAP图片）、特定的切片类型(例如P切片和B切片而非I切片）、特定的 POC值的图片和/或特定的访问单元。
[0350] MV-HEVC、SMV-皿VC和基于参考索引的SHVC解决方案中的参考列表可W使用其中 层间参考图片(如果存在)可W被包括在初始参考图片列表中的特定过程来初始化，如W下 构造的。例如，可W首先按照与皿VC中的参考列表构造相同的方式将时间参考添加到参考 列表化0，L1)中。之后，可W在时间参考后面添加层间参考。层间参考图片例如可W根据层 依赖性信息来得到，诸如W上描述的从VPS扩展得到的Re化ayerld[i]变量。如果当前增强 层切片是P切片，则可W将层间参考图片添加到初始参考图片列表L0,如果当前增强层切片 是B切片，则可W将层间参考图片添加到初始参考图片列表LO和Ll二者。可W按照特定顺序 将层间参考图片添加到参考图片列表，所述顺序对于两个参考图片列表可W但不一定相 同。例如，与初始参考图片列表0相比，可W使用相反的顺序向初始参考图片列表1添加层间 参考图片。例如，可W按照nuh_lay er_i d的顺序向初始参考图片0中插入层间参考图片，而 可W使用相反的顺序来初始化初始参考图片列表1。
[0351] 在编码和/或解码过程中，可W将层间参考图片视为长期参考图片。
[0352] 在SMV-肥VC和基于参考索引的SHVC解决方案中，可W通过将层间参考图片设置为 用于TMVP推导的共同定位的图片来执行层间运动参数预测。例如可W执行两个层之间的运 动场映射过程W避免TMVP推导中的块级解码过程修改。也可W针对多视图编码执行运动场 映射，但是MV-肥VC的当前草案(JCT-3V文档JCT3V-E1004)没有包括运样的过程。运动场映 射特征的使用可W由编码器来控制并且在比特流中表示，例如在视频参数集合、序列参数 集合、图片参数和/或切片首部中。表示例如可W特定于增强层、参考层、一对增强层和参考 层、特定的TemporalId值、特定的图片类型（例如RAP图片）、特定的切片类型(例如P切片和B 切片而非I切片）、特定的POC值的图片、和/或特定的访问单元。可W指示表示的范围和/或 一致性连同表示本身和/或可W对其进行推断。
[0353] 在空间可分级性的运动场映射过程中，基于相应参考层图片的运动场得到上采样 后的层间参考图片的运动场。可W根据参考层图片中的共同定位的块的对应运动参数和/ 或预测模式得到上采样后的层间参考图片的每个块的运动参数(其可W包括例如水平和/ 或竖直运动矢量值和参考索引）和/或预测模式。用于得到上采样后的层间参考图片中的运 动参数和/或预测模式的块大小可W是例如16xl6"16xl6块大小与其中使用参考图片的压 缩运动场的肥VC TMVP取得过程相同。
[0354] 在H. 265/皿VC中，sps_temporal_mvp_enabled_f lag表示在皿VC基本层/视图 (nuh_laye;r_id等于0)中是（当标志等于1时）否（当标志等于0时）使用TMVP机制。当sps_ temporal_mvp_enabled_f lag 等于 1时，slice_temporal_mvp_enabled_f lag 存在于切片首 部中并且表示TMVP机制是否用于当前图片。
[0355] 可W有皿VC的可分级性扩展的"黑盒"实现，其中基本层解码/编码使用现有的 肥VC Vl实现来实现而没有变化。基本层解码/编码的运样的实现仅在sps_temporal_mvp_ enabled_flag等于1的情况下存储运动场。
[0356] 基本层运动场可W用于W下两个目的之一或二者:基本层的图片之间的时间运动 矢量预测W及层间运动预测。如果基本层运动场仅用于层间运动预测，则用于基本层运动 场的存储器在访问单元的解码完成之后(或者更准确地说，在可W使用基本层作为运动预 测参考的访问单元内的所有层的解码完成之后)可W被解除分配或者用于其他目的。然而， 当sps_temporal_mvp_enabled_f lag用于控制基本层运动场的存储时，其不能用于表示基 本层运动场仅用于层间运动预测而不用于基本层内的时间运动矢量预测。
[0357] 在基于texture化的甜VC解决方案中，可W在引入新的预测模式（即tex化re化模 式）的CU层执行层间纹理预测。使用共同定位的上采样后的基本层块作为用于WtextureRL 模式编码的增强层CU的预测。对于增强层编码器的输入CU,可W确定CU模式等，例如是层间 模式和texture化模式。texture化特征的使用可W由编码器来控制并且在比特流中表示， 例如在视频参数集合、序列参数集合、图片参数和/或切片首部中。表示例如可W特定于增 强层、参考层、一对增强层和参考层、特定的TemporalId值、特定的图片类型（例如RAP图 片）、特定的切片类型（例如P切片和B切片而非I切片）、特定的POC值的图片和/或特定的访 问单元。可W指示表示的范围和/或一致性连同表示本身和/或可W对其进行推断。另外， texUire化可W由编码器在CU级进行选择并且可W每个CU例如使用CU级标签（texUire_;rl_ flag)在比特流中表示，该标签可W例如使用上下文自适应算法编码(例如CABAC)进行赌编 码。
[0358] tex化re化预测的CU的其余部分可W被如下编码。tex化re化预测的CU的变换过程 可W与帖内预测的CU相同，其中向亮度组成的大小为4x4的TU应用离散正弦变换(DST)并且 向其他类型的TU应用离散余弦变换(DCTKtexture化预测的CU的变换系数可W与帖间预 测的CU相同，其中可W使用no_residue_flag来表示是否跳过整个CU的系数。
[0359] 在基于texture化的甜VC解决方案中，除了空间和时间相邻的PU,也可W使用共同 定位的参考层块的运动参数来形成合并候选列表。基本层合并候选可W在与当前PU的中央 位置共同定位的位置来得到并且可W被插入在合并列表的特定位置，诸如作为合并列表中 的第一候选。在空间可分级性的情况下，可W根据两个层之间的空间分辨率比率来对参考 层运动矢量进行分级。可W通过共同定位的基本层候选来针对每个空间相邻的候选执行修 剪(双倍候选检查）。对于共同定位的基本层合并候选和空间合并候选取得，可W使用某个 最大数目的合并候选;例如，可W在位于6个不同位置的候选中选择4个合并候选。可W按照 与肥VC合并列表相同的方式来得到时间合并候选。当候选的数目没有到达最大合并候选数 目（其可W由编码器确定或者可W在比特流中表示并且可W向变量MaxNumMerge化nd分配） 时，与肥VC合并列表构造类似地或者相同地，可W在合并列表的末尾生成和添加另外的候 选，包括组合双向预测候选和零合并候选。
[0360] 在一些编码和/或解码布置中，可W组合基于参考索引的可分级性和块级可分级 性方法，诸如基于texture化的方法。例如，可W如下执行多视图视频加深度编码和/或解 码。可W在相同视图的组成之间使用texture化方法。例如，深度视图组成可W使用 tex化re化方法根据相同视图的纹理视图组成来层间预测。可W使用基于参考索引的方法 用于视图间预测，并且在一些实施例中，可W仅在相同组成类型的视图组成之间应用视图 间预测。
[0361] 工作继续进行W规定肥VC标准的深度增强的视频编码扩展，其可W称为3D-HEVC， 其中可W将纹理视图和深度视图编码到其中纹理视图中的一些与皿VC兼容的单个比特流 中。换言之，皿VC解码器可W能够解码运样的比特流的纹理视图中的一些并且可W省略其 余纹理视图和深度视图。
[0362] 其他类型的可分级性和可分级视图编码包括:比特深度可分级性，其中每个亮度 和/或色度W比增强层图片(例如10或12比特)更低的比特深度(例如8比特)对基本层图片 编码;色度格式可分级性，其中增强层图片在色度方面比基本层图片(例如4:2:0格式)提供 更高的保真度和/或更高的空间分辨率(例如用4:4:4色度格式编码）；W及颜色饱和度可分 级性，其中增强层图片比基本层图片具有更丰富/更宽广的颜色表示范围，例如增强层可W 具有UHDTVQTU-R BT.2020)颜色饱和度，基本层可W具有ITU-ER BT.709颜色饱和度。另外 地或者替选地，可W提供深度增强层或视图（提供距离和/或差异信息）、和/或具有阿尔法 图片的层(提供透明信息）、和/或其他类型的辅助图片层作为可分级层。任何数目的运样的 其他类型的可分级性例如可W通过如W上描述的基于参考索引的方法或者基于块的方法 来实现。
[0363] 可分级编码的另一分类基于使用相同还是不同的编码标准或技术作为基本层和 增强层的基础。术语混合编解码器可分级性或标准可分级性可W用于表示其中使用一个编 码标准或系统用于一些层而使用另一编码标准或系统用于某些其他层的场景。例如，基本 层可WACV编码，而一个或多个增强层可W通过肥V讶广展来编码，诸如SHVC或MV-HEVC。多于 一个层可W属于第一编码标准或系统，诸如AVC或其扩展(如MVC)，并且多于一个的层可W 是第二表面标准。层可W表示多于两个的编码标准。例如，基本层可W通过AVC编码，增强层 可W通过MVC编码并且表示非基本视图，并且在前的层中的一者或二者可W通过使用SHVC 编码的空间或质量可分级层来增强。
[0364] 在很多视频通信或传输系统、传送机制和多媒体包含文件格式中，存在与增强层 单独地传输或存储基本层的机制。可W认为，层存储在单独的逻辑通道中并且通过单独的 逻辑通道来传输。下面提供示例：[03化]1.1SO基本媒体文件格式（ISOBMFF，ISO/IEC国际标准14496-12):基本层可W存储 为轨迹并且每个增强层可W存储在另一轨迹中。类似地，在混合编解码器可分级性情况 下，非皿VC编码的基本层可W存储为轨迹(例如样本输入类型"aver的轨迹），而增强层可 W存储为另一轨迹，其使用所谓的轨迹参考链接至基本层轨迹。
[0366] 2.实时传输协议(RTP):可W使用RTP会话复用或同步源(SSRC)复用在逻辑上分离 不同的层。
[0367] 3.MPEG-2传输流(TS):每个层可W具有不同的数据包标识符(PID)值。
[0368] 很多视频通信或传输系统、传送机制和多媒体包含文件格式提供使得诸如不同轨 迹或会话的单独的逻辑通道的已编码数据彼此相关联的方法。例如，存在使得相同的访问 单元的已编码数据关联在一起的机制。例如，可W在包含文件格式或传送机制中提供解码 或输出时间，并且可W认为具有相同解码或输出时间的已编码数据形成访问单元。
[0369] -种对不同类型的预测分类的方式是:考虑预测跨哪些领域或可分级性类型。运 一分类可W产生W下类型的预测中的一项或多项，其有时也可W称为预测方向：
[0370] -通常根据相同的可分级性层、视图和组成类型（纹理或深度）的较早图片的例如 样本值或运动矢量的时间预测。
[0371] -视图间预测（其也可W称为跨视图预测），指通常在相同时刻或访问单元W及相 同组成类型的视图组成之间进行的预测。
[0372] -层间预测，指通常在相同时刻、相同组成类型和相同视图的层之间进行的预测。
[0373] -组成间预测，可W定义为包括从一种类型的组成图片到另一类型的组成图片预 测句法元素值、样本值、在解码过程中使用的变量值等。例如，组成间预测可W包括根据深 度视图组成预测纹理视图组成，反之亦然。
[0374] 使用来自先前已编码图像的图像信息的预测方法也可W称为帖间预测方法。帖间 预测有时可W被认为仅包括运动补偿后的时间预测，而其有时也被认为包括其中使用样本 的已重构/已解码块作为预测源的所有类型的预测（因此包括传统的视图间预测）。可W认 为帖间预测仅包括样本预测，但是替选地可W认为其包括样本预测和句法预测二者。由于 句法和样本预测，可W获得样本的像素的预测块。
[0375] 如果编码器没有使用任何形式的预测误差或残差编码来对预测进行细化，诸如预 巧化勺变量值和/或预测块，贝顺测可W称为继承。例如，在合并模式的肥VC中，例如没有通过 编码(解码)预定矢量差异来细化预测运动信息，并且因此可W认为合并模式是运动信息继 承的示例。
[0376] 视频编码方案可W在图片之间使用预测方案。如所讨论的，可W在编码器中例如 通过当前图片中的当前已编码块(饥)与被选择为参考的图片中的参考块(Rb)之间的块分 割和块匹配过程来执行预测。因此，可W将运样的预测的参数定义为包括例如W下各项中 的一项或多项的运动信息(MI):化的空间坐标(例如饥的左上方像素的坐标）；规定被选择 为参考图片的参考图片列表中的图片的参考索引refldx等;规定参考图片中化和Rb的空间 坐标之间的位移的运动矢量(MV); W及运动分割的大小和形状(匹配块的大小和形状）。
[0377] 可W认为与图片相关联的运动场包括针对图片的每个已编码块产生的运动信息 的集合。运动场可W通过例如块的坐标可访问。运动场可W用在例如时间运动矢量预测或 者其中使用用于预测的参考而非当前已解码/已编码图片的任何其他运动预测机制中。
[0378] 视频编码方案可W使用时间运动矢量预测方案，诸如H.264/A VC中的时间直接模 式或者H. 265/肥VC的合并和AVMP模式中的时间运动矢量预测符(TMVP)。在时间运动矢量预 测方案中，至少使用另一图片的运动信息的子集来得到当前图片的运动信息或运动信息预 测符。时间运动矢量预测因此需要存储参考图片的运动信息。[03"79]在H.265/肥VC中，序列参数集合包括sps_temporal_mvp_enabled_flag句法元素， 其表示切片首部是否包括sps_temporal_mvp_enabled标签。如果sps_temporal_mvp_ enabIe^f lag等于O，则在已编码视频序列中不使用时间运动矢量预测符。si ice_ temporal_mvp_enabled_flag规定时间运动矢量预测符是否可W用于帖间预测。当slice_ temporal_mvp_enabletflag等于1时，切片首部中存在识别用于得到时间运动矢量预测符 的共同定位的图片的句法元素。
[0380] 当使用层间参考图片的运动场来预测或得到当前图片的运动信息时，在可分级视 频编码中也可W使用时间运动矢量预测。
[0381] 例如当层间参考图片与当前图片具有不同的空间分辨率时，可W使用运动场映 射。在空间可分级性的运动场映射过程中，基于相应参考层图片的运动场得到上采样后的 层间参考图片的运动场。运动参数（其例如可W包括水平和/或竖直运动矢量值和参考索 引)和/或上采样后的层间参考图片的每个块的预测模式可W根据参考层图片中的共同定 位的块的对应运动参数和/或预测模式来得到。
[0382] 例如可W基于运动分割的最小大小（例如在H.264/AVC的情况下为4x4(个亮度样 本））来执行运动信息的存储。在另一示例中，运动信息的空间粒度例如可W在编码标准中 预定义并且可W将已编码运动信息重新采样或者变换成该空间粒度。例如，在H. 265/皿VC 中可W针对16x16块(亮度样本)存储运动信息。
[0383] 可分级视频比特流的HRD可W类似于单层比特流的皿D来操作。然而，可能需要或 者期望一些变化，特别是在其到达可分级比特流的多回路解码中的WB操作时。能够用多种 方式针对可分级比特流的多回路解码规定DTO操作。在按层方法中，每个层可W在概念上具 有其自身的DPB，其否则可W独立地操作，但是可W针对所有的按层DTO联合地提供一些DPB 参数并且图片输出可W同时操作，使得具有相同输出时间的图片同时地或者按照输出顺序 一致性检查来输出，来自相同访问单元的图片一个接一个地输出。在被称为分辨率特定的 方法的另一方法中，具有相同关键属性的层共享相同的子DPB。关键属性可W包括W下各项 中的一项或多项：图片宽度、图片高度、色度格式、比特深度、颜色格式/粒度。
[0384] 可W能够使用可W称为子DPB模型的相同DPB模型来支持按层和分辨率特定的 DPB方法二者。DPB分割成若干子DPB，并且每个子DPB单独地被管理，但是可W针对所有子 DPB联合地提供一些DPB参数，并且图片输出可W同时操作，使得具有相同输出时间的图片 可W同时或者按照输出顺序一致性检查来输出，来自相同访问单元的图片一个接一个地输 出。
[0385] 编码标准可W包括子比特流提取过程，并且例如在SVC、MVC和肥VC中规定了运样 的过程。子比特流提取过程设及通常通过去除NAL单元来将比特流变换成子比特流，子比特 流也可W称为比特流子集。子比特流仍然保持一致标准。例如，在HEVC中，通过排除 TemporalId值大于所选择的值的所有VCL NAL单元并且包括所有其他VCL NAL单元产生的 比特流保持一致。在肥VC中，子比特流提取过程将161119〇脚11(1和/或]11111_1曰761'_1(1值的列表 作为输入并且通过从比特流中去除Temporal Id大于输入的Temporal Id值或者nuh_laye;r_ id值不在nuh_laye;r_id值的输入列表中的所有NAL单元来得到子比特流(也称为比特流子 集)。
[0386] 编码标准或系统可W设及术语操作点等，其可W表示解码操作在其下可W与包括 被解码的可分级层和/或子层子比特流相关联的可分级层和/或子层。下面提供操作点的一 些非限制性定义。
[0387] 在皿VC中，操作点定义为通过使用另一比特流、目标最高TemporalId和目标层标 识符列表作为输入的子比特流提取过程的操作从另一比特流产生的比特流。
[0388] 在SHVC和MV-皿VC中，操作点定义可W包括目标输出层集合的考虑。在SHVC和MV- 肥VC中，操作点可W定义为通过使用另一比特流、目标最高TemporalId和目标层标识符列 表作为输入的子比特流提取过程的操作从另一比特流产生的并且与目标输出层的集合相 关联的比特流。
[0389] 在MVC中，操作点可W被如下定义:操作点可W用表示目标时间级别的tempora 1_ id值W及表示目标输出视图的view_id值的集合来识别。一个操作点与比特流子集相关联， 比特流子集包括目标输出视图W及目标输出视图取决于其的所有其他视图，比特流子集 Wt IdTarget等于temporal_id值并且ViewIdhi^getLi St包括view_id值的集合作为输入使 用子比特流提取过程来得到。多于一个的操作点可W与相同的比特流子集相关联。当"对操 作点解码"时，可W解码对应于操作点的比特流子集并且随后可W输出目标输出视图。
[0390] 当比特流(诸如皿VC比特流)在CRA或BLA图片处开始时，不能够正确地解码与CRA 或BLA图片相关联的RA化图片，因为运些RSAL图片的一些参考图片尚未解码。运些RA化图片 因此没有通过解码过程和/或皿D被输出。还可W能够提供影响解码过程的外部手段，诸如 到解码器的接口或API,解码器通过其能够被控制成类似于BLA图片或CRA图片来处理CRA图 片，W开始比特流，并且因此省略相关联的RA化图片的输出。解码过程例如可W使得变量 NoRaslOu化UtFlag与每个IRAP图片相关联并且例如如下得到变量的值：
[0391] -如果当前图片是IDR图片、BLA图片、按照解码顺序的比特流中的第一图片、或者 按照解码顺序在序列NAL单元的端部之后的第一图片，则变量NoRaslOu化UtFlag设置为等 于1。
[0392] -否则，如果相同的外部手段可用于将变量化ndleCraAsBlaFlag设置为当前图片 的值，则变量Hand IeCraAsBlaFlag设置为等于由外部手段提供的值并且变量 NoRas l0u1:putFlag 设置为等于化 ndleCraAsBlaFlag。
[0393] 变量媒体文件格式标准包括ISO基本媒体文件格式(ISCVIEC 14496-12,其可W简 写为IS0BMFF)、MPEG-4文件格式（ISO/lEC 14496-14,也称为MP4格式）、用于NAL单元构造的 视频的文件格式（IS0/IEC 14496-15)¾及3GPP文件格式（3GPP TS 26.244，也称为36口格 式）dSVC和MVC文件格式规定为对AVC文件格式的修改。ISO文件格式是得到所有W上提及的 文件格式(排除ISO文件格式本身）的基础。运些文件格式(包括ISO文件格式本身)通常称为 ISO文件格式家族。
[0394] ISO基本媒体文件格式的基本构建块称为盒子。每个盒子具有首部和净荷。盒子首 部表示盒子的类型和W字节表示的盒子的大小。盒子可W封装其他盒子，并且ISO文件格式 规定在某种类型的盒子中允许哪些盒子类型。另外，某些盒子的存在在每个文件中可W是 强制性的，而其他盒子的存在可W是可选的。另外地，对于一些盒子类型，可W允许文件中 存在多于一个的盒子。因此，可W认为ISO基本媒体文件格式规定了盒子的分层结构。
[0395] 根据ISO文件格式家族，文件包括媒体数据W及封装在单独的盒子中的元数据。在 示例实施例中，可W在媒体数据(mdat)盒子中提供媒体数据，并且可W使用电影(moov)来 封装元数据。在一些情况下，对于要可操作的文件，必须存在mdat和moov盒子二者。电影 (moov)盒子可W包括一个或多个轨迹，并且每个轨迹可W驻留在一个对应轨迹盒子中。轨 迹可W是W下类型之一:媒体、提示、定时的元数据。媒体轨迹是指根据媒体压缩格式(及其 成为ISO基本媒体文件格式的封装)格式化的样本。提示轨迹是指提示样本，包含用于构造 数据包W通过专用通信协议来传输的食谱(C00化OOk)指令。食谱指令可W包括数据包首部 构造的说明并且包括数据包净荷构造。在数据包净荷构造中，可W参考驻留在其他轨迹或 条目中的数据。运样，例如可W通过关于特定轨迹或项目中的哪条数据在数据包构造过程 期间被指令为被复制到数据包中的参考来表示驻留在其他轨迹或项目中的数据。定时的元 数据轨迹可W是指描述推断的媒体的样本和/或提示样本。为了呈现一个媒体类型，通常选 择一个媒体轨迹。轨迹的样本可W隐含地与按照样本的所表示的解码顺序增加1的样本数 相关联。轨迹中的第一样本可W与样本数1相关联。
[0396] 可W如下来描述根据ISO基本媒体文件格式的简化的样本结构的示例。文件可W 包括moov盒子和mdat盒子，并且moov盒子可W包括分别对应于视频和音频的一个或多个轨 迹。
[0397] ISO基本媒体文件格式没有将呈现限制为包含在一个文件中。运样，呈现可W被包 括在若干文件中。作为示例，一个文件可W包括用于整个呈现的元数据并且从而可W包括 所有媒体数据W做出自包含的呈现。其他文件（如果使用）可W不需要被格式化为ISO基本 媒体格式，并且可W用于包括媒体数据，并且还可W包括未使用的媒体数据或者其他信息。 ISO基本媒体文件格式仅设及呈现文件的结构。媒体数据文件的格式可能受到ISO基本媒体 文件格式或其推导格式的约束，原因仅在于，媒体文件中的媒体数据如ISO基本媒体文件格 式或其推导格式中所规定地被格式化。
[0398] 指代外部文件的能力可W通过数据引用来实现。在一些示例中，被包括在每个轨 迹中的样本描述盒子可W提供样本条目的列表，每个样本条目提供与所使用的编码类型有 关的信息W及需要用于该编码的任何初始化信息。分块的所有样本W及轨迹分段的所有样 本可W使用相同的样本条目。分块可W定义为一个轨迹的样本的连续集合。也被包括在每 个轨迹中的数据参考(dref)盒子可W定义统一资源定位符化化）的索引列表、统一资源名 称(URN)和/或到包含元数据的文件的自引用。样本条目可W指向数据引用盒子的一个索 引，从而表示包含相应分块或轨迹分段的样本的文件。
[0399] 电影分段在将内容记录到ISO文件W避免在记录应用失灵、没有存储空间或者发 生某种其他突发事件的情况下丢失数据时使用。如果没有电影分段，可能发生数据丢失，运 是因为文件格式通常可能需要所有元数据(例如电影盒子)被写入文件的一个连续区域中。 另外，在记录文件时，可能没有足够的存储空间（例如RAM)来针对可用的存储大小缓冲电影 盒子，并且在电影关闭时重新计算电影盒子的内容可能太慢。另外，电影分段使得能够使用 规则的ISO文件解析器来同时记录和回放文件。最后，连续的下载可能需要出示缓冲的更小 持续时间，例如文件的同时接收和回放，在使用电影分段时并且初始电影盒子与具有相同 媒体内容但是没有构造有电影分段的文件相比更小。
[0400] 电影分段特征可W使得能够将传统上可能驻留在电影盒子中的元数据划分成多 个片。每个片可W对应于轨迹的某个时间段。换言之，电影分段可W实现将文件元数据和 媒体数据交织。因此，可W限制电影盒子的大小并且可W实现W上提及的使用案例。
[0401] 在一些示例中，如果电影分段的媒体样本与moov盒子在相同的文件中，则电影分 段的媒体样本通常可W驻留在mdat盒子中。然而，对于电影分段的元数据，可W提供moof盒 子。moof盒子可W包括先前已经在moov盒子中的回放时间的某个持续时间的信息。moov盒 子仍然自身可W表示有效电影，但是除此之外，其可W包括表示电影分段在相同的文件中 跟随的mvex盒子。电影分段可W及时地扩展与moov盒子相关联的呈现。
[0402] 在电影分段内，可W有轨迹分段的集合，包括从零到多个每个轨迹的任何地方。轨 迹分段又可W包括从零到多个轨迹行进的任何地方，其中每个文档是该轨迹的样本的连续 行进。在运些结构内，很多字段是可选的并且可W是默认的。可W被包括在moof盒子中的元 数据可W限于可W被包括在moov盒子中并且在一些情况下可W被不同地编码的元数据的 子集。与可W被包括在moof盒子中的盒子有关的细节可W从ISO基本媒体文件格式规定中 找到。
[0403] IS0/IEC 14496-15规定了聚合器和提取器是文件格式内部结构，其使得能够对 NAL单元分组或者从其他轨迹提取NAL单元。虽然当前IS0/IEC 14496-15规定了聚合器和提 取器用于AV讶广展的用途，诸如SVC和MVC，但是类似的NAL单元状结构也可W适用于肥VC扩 展。聚合器和提取器使用NAL单元句法，但是它们的净荷不一定易于开始代码仿真预防。运 些结构在文件格式的样本结构的上下文中被视为NAL单元。虽然访问样本，但是聚合器必须 被去除（留下其所包含的或者引用的NAL单元）并且提取器必须用它们所引用的数据来代 替。聚合器和提取器必须不存在于文件格式外部的流中。
[0404] IS0/IEC 14496-15支持将多个NAL单元聚合成一个聚合器NAL单元(其NAL单元类 型值从在H. 264/AVC标准中未规定的值范围中取得）。聚合器NAL单元可W通过在其中包括 NAL单元来聚合(在其长度所表示的大小内）并且还通过引用在其后的NAL单元来聚合（在 其中的additional_types字段所表示的区域内）。当流被AVC文件阅读器扫描时，仅所包括 的NAL单元被视为在聚合器"内"。运允许例如AVC文件阅读器跳过不需要的SVC或MVC NAL单 元的整个集合。SVC NAL单元指SVC特定的NAL单元，其NAL单元类型值被AVC规范保留。MVC NAL单元指MVC特定的NAL单元，其NAL单元类型值被AVC规范保留。类似地，如果AVC NAL单元 通过引用被聚合，则AVC阅读器不跳过其并且它们针对该阅读器保持在流中。
[0405] 本段落呈现通过使用聚合器实现的另一优点。H.264/AVC、肥VC及其扩展使得能够 在多个NAL单元中编码访问单元。NAL单元的数目可W变化。为了通过ISOMBFF解析器寻址 (SVC的）依赖性表示、（SVC的)层表示或者(MVC的）已编码视图作为一个逻辑单元，可W使用 一个或多个聚合器NAL单元。聚合器帮助每个逻辑可分级性单元组织NAL单元的数目的恒定 图案中的文件格式样本(例如访问单元）。例如，如果访问单元的所有基本层NAL单元被聚合 成一个聚合器，则可W认为基本层包括一个NAL单元。可分级性和/或多视图属性中的一些 可W通过概念所谓的层级用SVC和MVC文件格式来表示，概念所谓的层级通过ISOBMFF的样 本分组机制来规定。被包括作为样本组描述条目的每个可分级组条目或多视图组条目分别 文件证明SVC流或MVC流的子集。每个子集与层级相关联并且可W包含一个或多个操作点。 可分级组条目或多视图组条目的数目等于到层级分配的不同NAL单元序列图案的数目。例 如，一个样本组描述可W表示文件格式样本包括属于第一层级的一个NAL单元和属于第二 层级的另一 NAL单元。对于包括属于第一层级的两个NAL单元(之后是属于第二层级的NAL单 元)的文件格式样本，可能需要另一样本组描述条目。然而，如果使用聚合器来聚合属于第 一层级的两个NAL单元，则认为它们是样本组描述条目中的一个NAL单元。因此，聚合器帮助 减小规定层级所需要的信令的量。
[0406] 聚合器当前支持两种形式的聚合。在第一形式中，被聚合的所有样本被包括在聚 合器NAL单元本身中。第一形式的聚合称为通过包括实现的聚合。在第二形式中，通常被存 储作为ISOMBFF存储格式的继续字节的所有聚合的样本通过参引来信号传输。聚合的NAL单 元没有被包含在聚合器NAL单元中，但是称为来自聚合器NAL单元。聚合器NAL单元的句法包 括additional_tytes字段，其表示通过参考聚合的字节的数目。能够具有单个聚合器，其通 过定义聚合器的长度或大小W包括NAL单元并且通过定义非零additional_^tes值W通过 参考聚合NAL单元来实现通过包括的聚合W及通过引用的聚合。
[0407] 肥VC使得编码器和/或其他实体、诸如分离器能够通过如下面描述的pic_ou化ut_ flag和/或no_ou1:put_of_prio;r_pics_flag句法元素的值控制从解码过程和/或H畑输出的 图片。[040引可W存在于切片分段首部中的pic_output_flag句法元素影响变量 PicOu化UtFlag的取得。每个已解码图片与PicOutputFlag的值相关联(其可W不同于其他 图片的PicOutputFlag的值）。针对不是与NoRasIOutputFlag等于1的IRAP图片相关联的 RA化图片的图片，Pic0u1:putFlag设置为1。否则，Pic0u1:putFlag设置为等于pic_ou1:put_ flag。不输出PicOu化UtFlag等于0的图片。输出PicOu化UtFlag等于1的图片，除非它们变为 受No0u1:put0fP;rio;rPicsFlag的影响，如下面解释的。
[0409] 针对切片分段首部中的IRAP图片存在的no_output_of_p;rio;r_pics_f lag句法元 素如下影响在不是比特流中的第一图片的IDR或BLA图片的解码之后在已解码图片缓冲器 中的先前已解码图片的输出：在当前图片的解码之前(但是在解析当前图片的第一切片的 切片首部之后)将图片从DPB去除在访问单元n(包含当前图片）中的第一解码单元的CPB去 除时间之后立刻发生并且如下继续进行：
[0410] -解码当前图片的参考图片集合。[041 U -在当前图片是没有作为图片0的NoRaslOutputFlag等于1的IRAP图片时，应用W 下有序步骤：
[0412] 。如下得到变量 No0u1:put0fPi;ro;rPicsFlag:
[0413] •如果当前图片是CRA图片，则将NoOu化UtOfPiro巧icsFlag设置为等于1(而不管 no_output_of_prior_pics_f Ia邑的值）。
[0414] •否则，如果当前图片的宽度、高度或DPB容量不同于在前图片，则可W但不一定 将 NoOutputOfPi;ro;rPicsFlag设置为l或者可W将其设置为等于no_output_of_p;rio;r_ pics_fIa邑。
[0415] •否则，将NoOutputOf ?;[1'0计;[。3。1日旨设置为等于]1〇_〇1119111:_〇;1^_91'；[01'_9；[。3_ flag。
[0416] 。将针对待测解码器得到的NoOutputOf PirorPi csFlag的值应用于HRD，使得当 NoOu化UtOfPiro巧icsFlag的值等于1时，在DPB中的所有图片存储缓冲器被清空而没有它 们所包含的图片的输出，并且将Dro充满度设置为等于0。
[0417] -当W下条件对于DPB中的任何图片k都为真时，从DPB去除DPB中的所有运样的图 片k:[041引。图片k标记为"未用于参考'。
[0419] D图片k的PicOutputFlag等于0或者其DPB输出时间小于或等于当前图片n的第一 解码单元(表示为解码单元m)的(PB去除时间。
[0420] -对于从DTO去除的每个图片，将DTO充满度减小1。
[0421] 例如，当切片编码视频序列的输出与在前编码视频序列中的某个图片的输出交叠 时，可W将连结已编码视频序列或比特流的切片或其他条目设置为no_output_of_prior_ pics_f lag 等于 1。
[0422] 可W如下规定皿VC的可分级扩展中的已编码视频序列（CVS):已编码视频序列是 按照解码顺序包括IRAP访问单元的访问单元的序列，IRAP访问单元包含nuh_laye;r_id等于 0并且NoRasl0u1:putFlag等于1的IRAP图片，IRAP访问单元之后是没有作为包含nuh_laye;r_ id等于0并且NoRaslOutputFlag等于1的IRAP图片的IRAP访问单元的两个或多个访问单 元，包括所有随后的访问单元最高达但是不包括作为包含nuh_laye;r_id等于0并且 NoRaslOu化UtFlag等于1的IRAP图片的任何随后的访问单元。
[0423] 自适应分辨率变化(ARC)是指动态地改变视频序列内的分辨率，例如在视频会议 使用情况下。自适应分辨率变化可W用于例如更好的网络自适应和误差恢复。为了获得改 变不同内容的网络要求的更好的自适应，除了质量，可能想要能够改变时间/空间分辨率。 自适应分辨率变化还可W使得能够快速开始，其中可W能够通过首先发送低分辨率帖并且 然后增加分辨率来增加会话的开始时间。自适应分辨率变化还可W用在组织会议中。例如， 当有人开始讲话时，可W增加他/她的对应分辨率。通过IDR帖进行运一操作可W造成质量 的"尖峰(blip)"，因为IDR帖需要W相对较低的质量来编码W使得延迟没有明显增加。
[0425] 在图4的示例中，切换发生在图片3(化3)处并且解码器通过W下图片接收比特流： BL0-BL1-BL2-BL3-EL3-EL4-EL6-EL6…。图片化0-化3是基本层的图片，并且图片化3-EL6… 是增强层的图片。在本示例中，图片BL0-BL3W及EL4-EL6仅使用层间预测并且图片EL3使用 帖内预测和层间预测中的一者或二者。
[0426] 序列级信令可W用于向解码器表示比特流中是否存在分辨率变化。运例如可W通 吏用 t示'"ifesin 邑 le_l 曰 yer_for_non_ir 曰 p_f 1 曰邑 邑 le_l 曰 yer_for_non_ir 曰 p_f 1 曰邑 可W用于信号传输W下信息：已编码视频序列被约束为执行自适应分辨率变化操作。 single_laye;r_fo;r_non_irap_f lag特别地表示:除了切换图片，序列中的每个AU包含来自 单个层的单个图片(其可W是或者可W不是BL图片）；并且发生切换的访问单元包括来自两 个层的图片，运样的访问单元中的化图片是IRAP图片，并且层间预测可W用于化IRAP图 片。
[0427] 表示single_laye;r_fo;r_non_irap_f lag使得解码器能够知道除了实现分辨率变 化没有使用可分级性，使得能够在会话开始时相应地分配解码器资源。
[0428] 可W使用具有IRAP图片或者没有跨层对准的类似图片的可分级比特流，例如，可 W在基本层更频繁地使用IRAP图片，其中它们由于例如更小的空间分辨率而可W具有更小 的已编码大小。用于解码的按层开始的过程或机制可W被包括在视频解码方案中。解码器 因此可W在基本层包含IRAP图片时开始比特流的解码，并且在其他层包含IRAP图片时按步 开始解码其他层。换言之，随着来自另外的增强层的随后的图片在解码过程中被解码，在解 码过程的按层开始中，解码器逐渐增加已解码层的数目（其中层可W表示空间分辨率、质量 水平、视图、另外的组成、诸如深度、或者其组合的增强）。已解码层的数目的逐渐增加可W 被感知为例如图片质量的逐渐改进(在质量和空间可分级性的情况下）。
[0429] 按层开始机制可W生成不可用于特定增强层中的按照解码顺序的第一图片的参 考图片的图片。替选地，解码器可W省略对先于哪个从其开始层的解码的IRAP图片的图片 的解码。可W省略的运些图片可W特别地用编码器或者比特流内的其他实体来标记。例如， 可W使用一个或多个特定的NAL单元类型用于其。运些图片可W称为跨层随机访问跳跃 (化-RAS)图片。
[0430] 当该增强层的所有参考图片类似地通过参考层中的IRAP图片被初始化时，按层开 始机制可W从该增强层中的IRAP图片开始增强层图片的输出。换言之，不可W从解码器输 出和/或不可W显示按照输出顺序在运样的IRAP图片之前的任何图片（在相同的层内）。在 一些情况下，可W输出与运样的IRAP图片相关联的可解码前导图片，而不可W输出在运样 的IRAP图片之前的其他图片。
[0431] 可W在W下情况中的一个或多个情况下开始按层开始机制：
[0432] -在比特流开始的时候。[043引-对于基本层IRAP图片，当特别地通过给解码器的通知（例如称为 NocirasOutputFlag(设为等于1))通过解码过程外部的手段控制时。运一通知例如可W由 播放器例如在解码过程开始或者重新开始时(例如响应于转为广播或者寻找文件或流中的 位置)设置。
[0434] -在基本层中的BLA图片处。
[0435] -在基本层中的IDR图片处，其中IDR图片可W特别地被标记为例如使用切片首部 中的标签(其例如可W称为c;ross_laye;r_bla_flag)开始按层开始机制。
[0436] -在基本层中的IRAP图片处，其中相关联的指示表示按层开始机制的调用。相关联 的表示例如可W驻留在W下句法结构中的一个或多个句法结构中：NAL单元首部、切片首 部、切片分段首部、图片参数集合、切片参数集合的组等、图片首部、访问单元定界符、前缀 NAL单元、后缀NAL单元。NAL单元首部中的表示例如可W是nal_unit_type值，其表示造成按 层开始机制的调用的IRAP图片。
[0437] 在一些句法替选中，c;ross_laye;r_bla_f lag可W仅存在于某些NAL单元类型的切 片分段首部中。在一些句法替选中，c;ross_laye;r_bla_flag可W仅存在于某个(些)层的切 片分段首部中，诸如仅基本层或者取决于任何其他层的每个层。
[0438] 可W规定：当c;ross_laye;r_bla_flag等于1时，在解码中使用按层启动过程。同样， 可W规定：当c;ross_laye;r_bla_flag等于0时，在解码中不使用按层启动过程。
[0439] 可W按照W下方式来规定解码过程:该方式使得某个变量能够控制是否使用按层 启动过程。例如，可W使用变量NoClrasOutputFlag，其在等于0时表示正常解码操作，而在 等于1时表示按层开始操作。NoClrasOu化UtFlag可W使用例如W下步骤中的一个或多个步 骤来设置：[0440 ] I )如果当前图片是作为比特流中的第一图片的I R A P图片，则将 NoClrasOutputFlag 设置为等于 1。
[0441 ] 2)否则，如果一些外部手段可用于将变量NoClrasOutputFlag设置为等于基本层 IRAP图片的值，则将变量NoClrasOu化UtFlag设置为等于由外部手段提供的值。
[0441 ] 2)否则，如果一些外部手段可用于将变量NoClrasOutputFlag设置为等于基本层 IRAP图片的值，则将变量NoClrasOu化UtFlag设置为等于由外部手段提供的值。
[0442] 3)否则，如果当前图片是作为已解码视频序列(CVS)中的第一图片的BLA图片，现J 将 NoClrasOutputFlag 设置为等于 1。
[0443] 4)否则，如果当前图片是已解码视频序列（CVS)中的第一图片的IDR图片并且 c;ross_laye;r_bla_f lag 等于 1，则将 NoClrasOutputFlag 设置为等于 1。
[0444] 5)否则，将 NoClrasOutputFlag 设置为等于 0。
[0445] W上步骤4可W替选地例如如下更一般地来表述：
[0446] 否则，如果当前图片是作为CVS中的第一图片的IRAP图片并且按层启动过程的表 示与IRAP图片相关联，则将NoClrasOu化UtFlag设置为等于1。应当理解，其他表述条件的方 式是可能的并且同样可适用。
[0447] 按层开始的解码过程例如可W用两个阵列变量LayerInitia Ii sedFlag[i]和 FirstPichLay erDecodedFlag[i]来控制，其可W针对每个层具有输入(可能排除基本层并 且可能也排除其他独立性层）。当按层启动过程被调用时，例如，响应于NoClrasOutputFlag 等于1，运些阵列变量可W重置为其默认值。例如，当启用64个层时（例如6比特nuh_layer_ id)，变量可W如下重置:针对从0至化3(含）的所有i值，将变量LayerlnitialisedFlagU]设 为等于0,并且对于从1到63(含）的所有i值，将Firs巧icInLayerDecodedFlag[i]设为等于 0。
[0448] 解码过程可W包括W下等用于控制RA化图片的输出。如果当前图片是IRAP图片， 则W下步骤适用：
[0449] -如果 Laye;rInitialisedFlag[nuh_laye;r_id]等于 0，则将变量 NoRasl0u1:putFlag 设置为等于1。
[0450] -否则，如果一些外部手段可用于将变量化ndle化aAsBlaFlag设置为当前图片的 值，则可W将变量化ndleCraAsBlaFlag设置为等于由外部手段提供的值并且将变量 NoRas l0u1:putFlag 设置为等于化 ndleCraAsBlaFlag。[0451 ]-否则，将变量化ndleCraAsBlaFlag设置为等于0并且将变量NoRaslOu化UtFlag设 置为等于0。
[0452] 解码过程可W包括W下用于更新层的LayerlnitialisedFlag。如果当前图片是 IRAP图片并且W下之一为真，则将Laye;rInitialisedFlag[nuh_laye;r_id]设置为等于1。
[0453] -nuh_laye;r_id 等于 0。
[0454] -对于等于 RefLaye;rId[nuh_laye;r_id][j]的refLayerId 的所有值， Layer Initial isedFlag[nuh_layer_id]等于 0 并且 Layer Initial isedFlag[ref Layer Id]等 于I，其中 j在0到NumDirectRefLaye;r[nuh_laye;r_id]-l(含）的范围内。
[0455] 当Firs1:PicInLayerDecodedFlag[nuh_laye;r_id]等于0时，可 W限于解码当前图 片调用用于生成不可用的参考图片的解码过程。用于生成不可用的参考图片的解码过程可 W针对参考图片集合中的每个图片生成具有默认值的图片。生成不可用的参考图片的过程 可W主要仅针对化-RAS图片的句法约束的规定来规定，其中化-RAS图片可W定义为nuh_ 1曰761'_1(1等于1日761'1(1的层并且1^日761'1]1；[1：1日1136(1。1日旨[1日761'1(1]等于0。在皿0操作中，可 能需要在导出era到达和去除时间时将化-RAS图片考虑在内。在一些实施例中，解码器可W 忽略任何化-RAS图片，因为运些图片没有被规定用于输出并且对被规定用于输出的任何其 他图片的解码过程没有影响。
[0456] 在一些句法替选中，可W在比特流中特别地识别化-RAS图片，例如由编码器或者 由分析器或者其他实体。化-RAS图片可W具有一个或多个某种nal_uni t_type值，诸如也作 为子层非参考图片的化-RAS图片的&_RAS_NW及不是子层非参考图片的CL-RAS图片的化_ RAS_R。在另一选项中，可W使用表示c;ross_laye;r_bla_flag等的相同的句法元素来表示 a-RAS图片或者潜在的化-RAS图片。Cross_layer_bla_flag等仅适用于基本层IRAP图片， 因此，可W重新使用相同的句法元素用于表示化-RAS图片，其仅出现在增强层上。
[0457] C^RAS图片可W具有W下属性：当按层开始机制被调用时（例如当 NoClrasOutputFlag等于1时），不输出化-RAS图片并且其不可W是可正确地解码的，因为 化-RAS图片可W包含对没有存在于比特流中的图片的参考。可W规定，不使用化-RAS图片 作为参考图片用于非化-RAS图片的解码过程。[045引与MVC/SVC设计相反，MV-肥VC/SHVC设计允许如下访问单元:其中图片可W表示比 特流中存在的层的子集。运一特性可W用于例如W下目的：
[0459] -不同层中的不同图片，例如60化的更低空间分辨率的基本层W及30化的更高空 间分辨率的增强层；
[0460] -SHVC的用于实现单层比特流的自适应分辨率变化的用途；
[0461] -按层开始，其中层的数目在比特流的开始之后按步增加。
[0462] MV-肥VCySHVC设计包括在VPS扩展中规定的输出层集合，每个集合规定由解码器 在使用该输出层集合时输出的层。使用的输出层集合的选择意图通过外部手段来执行(例 如通过到解码的接口），类似于例如选择目标时间级别。可W通过皿D来测试每个规定的输 出层集合的一致性检查。为了实现HRD中的一致性检查，所选择的输出层集合必须针对整个 已编码视频序列（CVS)保持不变。术语目标输出层集合可W用于已经被选择用于由外部手 段或者由皿D来使用的输出层集合。术语目标输出层可W用于目标输出层集合中包括的每 个输出层。
[0463] MV-HEVC/SHVC草拟规范(分别在文档JCT3V-E1004和JCTVC-N1008中）针对VPS中规 定的每个层集合得到默认输出层集合。VPS扩展标志default_one_target_ou1:put_laye;r_ flag在等于加寸规定每个层是输出层，而在等于1时规定仅最高层是输出层。另外，到默认输 出层集合的扩展使得能够规定另外的输出层集合，其中所选择的层被表示为输出层。
[0464] 目标输出层集合影响从解码过程和/或HRD输出的图片。仅输出在目标输出层上的 图片（取决于其PicOu化UtFlag的值并且取决于NoOu化UtOfPrio巧icsFlag等于1的图片的 影响，如果存在）。不输出没有在目标输出层上的图片。运例如可W通过针对没有被包括在 任何目标输出层中的图片将PicOutputFlag设置为等于0来实行。
[0465] 虽然输出层集合很好地适合其中最高层在每个访问单元中保持不变的使用情况 和比特流，然而它们不支持其中最高层从一个访问单元到另一访问单元发生变化的使用情 况。参考W上的第一示例，可W用W下方式中的任何方式来规定输出层集合:仅包含增强层 的输出层可W使得解码器在30化的图片范围输出。包含基本层和增强层二者的输出层集合 可W使得解码器每隔一个访问单元输出图片，运可能在一些标准API中并且通过一些擅染 器难W处理。
[0466] 克服输出层集合的静态属性的一个方法可W是:如果访问单元中没有所规定的输 出层的图片，则输出下一更低的存在的空间或SNR可分级层的图片。运一方法由于W下原因 而是次最佳选项：
[0467] -其使得MV-HEVC/SHVC设及取决于当前可分级性类型。如果可能，设及可W独立于 可分级性类型，运可W使得能够使用用于也针对可分级性类型暂时改变输出层的方法，其 潜在地在MV-HEVC/SHVC W上的扩展中规定。
[0468] -在不存在规定的输出层的情况下是否期望更低空间和/或SNR层的输出可W是取 决于内容的。例如（参考W上示例1)，在一些情况下，内容提供者可能意图在30化消耗增强 层(没有将基本层图片交织到输出中，例如由于太强的质量波动），而在其他情况下，内容提 供者可能意图增强层解码W产生60化输出。
[0469] 在SVC中，要求访问单元使得具有一致地存在的相同的d邱enden^_id值。换言之， SVC不允许例如具有不同图片速率的层。
[0470] 对于所谓的中间粒度质量可分级性（MGS)，SVC包括通过NAL单元首部中的 quality_id句法元素识别的所谓的层表示。SVC解码器解码目标依赖性表示并且最高达每 个访问单元中存在的最高质量表示。SVC句法允许从比特流中去除quality_id大于0的任何 层表示，而所得到的比特流保持一致。然而，运样的所得到的比特流的已解码图片遭受与 编码器的已重构图片相比较的失配。编码器可W通过使用某些访问单元中的基本质量层表 示(qual i ty_id等于0)来停止失配的传播和累积。
[0471] 使用可分级性尺寸(SVC中的quality_id)用于表示可W或者可W不存在于访问单 元中的层的SVC方法W使得层输出行为与可分级性尺寸禪合。因此，可分级性尺寸值本身不 足W例如区分空间和SNR可分级性，因为其仅表示层在其变为输出和输出层的偏好顺序时 替选(例如解码和输出具有最高当前quality_id的层表示）。另外，SVC方法要求基本层表示 (quality_id等于0)存在于每个访问单元中，运在例如时间可分级性使用情况下是不理想 的。
[0472] 根据第一方面，输出层集合中的每个输出层与最小替选输出层相关联。每个输出 层集合中的每个输出层的最小替选输出层在序列级句法结构(例如H. 265/肥VC及其扩展中 的VPS)中表示。如果输出层的图片不存在于访问单元中，则其用于规定可W取代规定的输 出层被输出的图片的最小层标识符值。输出按照下降的层标识符顺序存在于访问单元中的 第一直接或间接层间参考图片最低到所表示的最小替选输出层。
[0473] 在根据实施例并且如图5所示的方法中，图片被编码到比特流中1040。比特流包括 与访问单元相关联的至少两个可分级性层和图片。第一指示和第二指示被编码到比特流中 1042、1044。第一指示被配置成指示输出层，第二指示被配置成指示至少一个替选输出层。 第一指示和第二指示联合地具有W下影响：当包含所述至少一个替选输出层的所述第一图 片的访问单元中没有输出层的图片时，通过比特流的解码过程输出所述至少一个替选输出 层的第一图片。在另外的实施例中，层与一个或多个可分级性尺寸W及一个或多个可分级 性尺寸的不同值集合相关联。第二指示独立于一个或多个可分级性尺寸被编码。
[0474] 在根据实施例的并且如图6所示的方法中，从比特流解码图片1050。比特流包括与 访问单元相关联的至少两个可分级性层和至少两个图片。从比特流解码第一指示和第二指 示1052、1054。第一指示表示输出层，第二指示表示至少一个替选输出层。当在包含所述第 一图片的第一访问单元中没有输出层的图片时，输出至少一个替选层的第一图片1056。在 另外的实施例中，输出输出层的第二图片，第二图片与第二访问单元相关联。在另外的实施 例中，层与一个或多个可分级性尺寸W及一个或多个可分级性尺寸的不同值集合相关联。 第二指示独立于一个或多个可分级性尺寸被编码。因此，一个或多个可分级性尺寸及其值 到层的分配独立于对第二指示的解码被解码W推断至少一个替选输出层。
[0475]换言之，每个输出层与最小替选输出层相关联。对于默认输出层集合，最小输出层 与输出层相同，即当使用默认输出层集合时，解码器仅输出规定的输出层。对于另外的输出 层集合，向非默认输出层集合中的每个输出层的VPS扩展句法添加句法元素 min_alt_ output-layer_idx[i][j]。 「A"么 I
[0477] 如果访问单元中不存在输出层处的图片，则其用于规定能够取代规定的输出层被 输出的图片的最小nuh_laye;r_i d值。输出按照下降的nuh_laye;r_i d顺序存在于访问单元中 的第一直接或间接层间参考图片最低到从min_alt_output_laye;r_idx[i][j]得到的最小 值。
[0478] 得到变量NumRe州rsiveRe化ayers[i巧日RecursiveRe化ayerFlag[i] [ j]并且其针 对层i分别表示直接和间接参考层W及直接和所指示的参考层掩码的数目。如下得到变量 NumRecursiveRefLayers[i]和RecursiveRefLayerFlag[i][j]:[04"79] -NumRecursiveRe 化 ayers[i 巧日 RecursiveRe 化 ayerFlag[i] [j]首先针对在 0 到63 (含)范围内的i和j的全部值被初始化为0。
[0480] -如下规定函数 setRefLayerFlags(cu;r;rLaye;rId)。函数用于修改 RecursiveRefLayerFlag[i][j]。
[0481]
[0482] -如下调用函数setRe化aye;rFlags(州rrLayerId):[04831
[0484] 得到索引为i并且层j的输出层集合的变量Ou化utLayerFlag[i][j]并且其表示层 是否为输出层。
[0485] 得到索引为i并且层j的输出层集合的变量MinAltOu化utLayer[i][j]，并且其表 示在访问单元中不存在输出层的图片的情况下能够取代规定的输出层被输出的图片的最 小nuh_laye;r_id值。min_alt_output_laye;r_idx[i][j]用于得到变量MinAlt0u1:putLayer [i ][ j ] cmin_alt_output_layer_idx[ i ][ j ]的值应当在0至IjNumRecursiVeRefLayers [LayerSetLayerIdList [ IsIdx] [j]]-l(含）的范围内。[04化]如下得到变量〇11化111:1^曰76巧1曰邑[;[]。']和組]1411:〇11化11化曰761'1(1[;[]。'](其中;[是 输出层集合的索引并且j是nuh_laye;r_id值）：
[0487]
[0488]
[0489] 变量化rgetOu化UtLayerSetIdx通过外部手段进行设置，或者(如果不通过外部手 段设置则)通过HRD进行设置，或者(如果没有通过所述方式设置则)设置为0。
[0490] -如果一些外部手段可用于设置化rgetOu化UtLayerSetIdx,则通过外部手段设 置T曰rgetOutputL曰yerSetIdx。[0491 ]-否则，如果解码过程在比特流一致性测试中被调用。
[0492]-否则，将1'日巧日1:〇11化111:1^日76'561:1扯设置为等于0。
[0493] 在实施例中，当对每个图片解码时，PicOu化UtFlag的得到与当前MV-皿VC和SHVC 草案相比保持不变（分别是文档JCT3V-E1004和JCTVC-N1008)。运一过程基本上设置 PicOu化UtFlag的值，只要图片属于输出的层。当已经解码访问单元的所有图片时，取决于 所使用的输出层集合中的输出层并且在访问单元中存在输出层的情况下更新 Pic0u1:putFlag 的值。
[0494] 当已经完成访问单元的最后的图片的解码时，如下更新访问单元中的每个图片的 PicOutputFlag:[04 巧]
[0496]
[0497] 本段落中描述当可分级比特流例如根据ISOBMFF存储在包含文件中时可W独立于 或者连同其他实施例一起应用的实施例。文件的每个轨迹(等)可W与输出层集合相关联。 关联关系可W是明确的，即文件创建者可W包括例如输出层集合或列表的索引，文件格式 结构的输出层，诸如样本条目内的可选框。替选地或者另外地，关联关系可W是隐含的，即 轨迹可W包含某些层，其可W例如通过IS0/IEC14496-15的层级定义来表示，并且层可W基 于例如VPS被映射到输出层集合。类似地，每个轨迹(等)和/或用轨迹表示的每个输出层集 合可W与如W上描述的替选输出层的集合相关联。例如，样本条目例如可W在可选框中包 括最小替选输出层的标识符。文件分析器或播放器可W在输出层和替选输出层解释W上提 及的信息。文件解析器或播放器可W使用外部手段控制解码器选择输出层集合和/或输出 层和/或替选输出层。例如，文件解析器或播放器可W确定要播放的轨迹，获得与轨迹相关 联的输出层集合，并且根据所选择的轨迹所表示的输出层集合来向解码器输入W上提及的 化rgetOu化UtLayerSetIdx。替选地或者另外地，当文件解析器或播放器接收到已解码图片 时，其可W基于输出层和替选输出层确定要向显示过程传递哪些已解码图片。
[0498] 根据第二方面，取代(或者补充)规定序列级结构中的输出层集合中的输出层，例 如在其使用产生的每个访问单元的输出层（即输出图片）的数目方面用序列级结构来特征 化输出层集合。索引或者标识符也与在序列级结构中规定的输出层集合相关联。切片级或 图片级结构包括指示切片或图片属于哪些输出层集合的指示，例如输出层集合索引的列 表。例如，切片分段首部扩展可W包括最小输出层集合索引和最大输出层集合索引，并且对 应图片被包括在所有输出层集合中，范围在所表示的最小值到所表示的最大值之间(含）。
[0499] 根据实施例，如图7所示，将图片编码到比特流中1070,比特流包括至少两个可分 级性层。将至少一个指示编码到比特流中1072。第一指示提供输出层集合的一个或多个属 性并且关联输出层集合的索引。将第一层的第一图片编码到比特流中1074。将至少一个第 二指示编码到比特流内的图片级结构中1076。第二指示将第一图片关联到输出层集合。将 第二层的第二图片编码到比特流中1078。将至少一个第=指示编码到比特流内的图片级结 构中1079。第=指示将第二图片关联到输出层集合。第一指示、第二指示和第=指示联合地 具有W下影响:通过其中选择输出层集合的比特流的解码过程输出与输出层集合相关联的 图片。
[0500] 根据实施例并且如图8所示，从比特流解码图片1080。比特流包括至少两个可分级 性层。从比特流解码至少一个第一指示1082。第一指示提供输出层集合的一个或多个属性 并且关联输出层集合的索引。确定在从解码器输出时使用输出层集合。从比特流解码第一 层的第一图片1084。从比特流内的图片级结构解码至少一个第二指示1086。第二指示将第 一图片关联到输出层集合。从比特流解码第二层的第二图片1087。从比特流内的图片级结 构解码至少一个第=指示1088。第=指示将第二图片关联到输出层集合。输出第一图片和 第二图片，因为它们是与输出层集合相关联的图片1089。
[0501] 在运一段落中描述可W在可分级性比特流例如根据ISOBMFF存储在包含文件时独 立于或者与其他实施例一起应用的实施例。根据实施例的聚合器NAL单元和/或提取器NAL 单元包括指示所包含的或者所指代的NAL单元属于哪些输出层集合的指示，例如输出层集 合索引的列表。文件创建者可W使用聚合器NAL单元来聚合NAL单元和/或基于NAL单元属于 相同的输出层集合使用提取器NAL单元来引用来自另一轨迹的NAL单元。文件解析器或播放 器可W基于在聚合器和/或提取器NAL单元中提供的信息来推断NAL单元的输出层集合。
[0502] 在W上两个方面中，输出层的表示独立于可分级性尺寸。
[0503] 在可W独立于或者与其他实施例一起应用的实施例中，解码器或皿D或另一实体 可W使用关于替选输出层的信息来提供容限到图片损失和/或粗屯、的比特流操作，例如如 下在中间框中。参考图片集合设计使得解码器能够检测参考图片的非故意损失并且按层启 动过程使得解码器能够按照逐步方式增加已解码层的数目。在当前描述的实施例中，如果 检测到增强层图片的丢失的参考图片(例如通过参考所应用的参考图片集合中的丢失的参 考图片)并且针对该增强层存在替选输出层，则针对增强层开始按层启动过程并且输出一 个或多个替选输出层的图片直到增强层包含IRAP图片。可W例如如下在MV-HEVC和/或SHVC 和/或其他皿VC扩展中实现所提及的影响:针对增强层将LayerInitialisedFlag设置为等 于0。运造成针对增强层将PicOutputFlag设置为0直到增强层中的下一 IRAP图片W及替选 输出层用于图片输出的使用。针对参考丢失的参考图片的图片，将 Firs巧IcInLayerDecodedFlag设置为等于0。运造成调用不可用参考图片的生成。如果检测 到增强层图片的参考图片集合中的丢失参考图片并且对于该增强层不存在替选输出层，贝U 可W推断比特流一致性违反并且解码器例如可W调用误差消除和/或交织误差控制或纠 正，诸如向远端编码器发送反馈消息。例如可W如下实现实施例:如果在包含可W用作当前 图片的参考的图片的参考图片集合的任何运样的子集中存在条目等于"没有参考图片"（例 女日RefPicSetInterLayerO、RefPicSetInterlayer 1、RefPi cSetStCurrBefore、 RefPicSetStCurrAfter或RefPicSetLtCurr)，贝W下适用于currLayerId等于当前图片的 ruih_laye;r_id的情况:如果已经解码当前访问单元中的具有nuh_laye;r_id IayerIdA的任 何运样的图片，其nuhLayerIdA大于或等于MinAltOutputLayerId [TargetOutputLayerSetIdx] kurrLayerId]，并且RecursiVeRefLayerFlagkurrLayerId] [layer IdA]等于1，则将 Layer Ini t ial i sedFlag[ currLayer Id]设置为等于0，将 FirstPicInLayerDecodedFlaglicurrLayerld]设置为等于 0,并且将 ]1〇尺6'?；[。¥；[01日1：；[0证1日旨设置为等于0。
[0504] 在可W独立于或者连同其他实施例一起应用的实施例中，编码器可W在比特流中 表示预测约束，其在层不在输出层中的情况下是有利的。下面提供运样的预测约束的示例 及其在比特流中的信令。
[0505] 即使在参考层不在输出层中的情况下仍然需要解码的参考层中的图片可W称为 关键图片。输出层中的图片例如可W使用关键图片作为层间预测的参考，或者参考层中的 另一图片可W用作输出层中的图片的层间预测的参考并且关键图片可W用作该另一图片 的参考。没有作为关键图片的参考层中的图片可W称为非关键图片。
[0506] 可W例如如下分类或特征化非关键图片：
[0507] -没有使用非关键图片，而非关键图片可W用于其他基本层(BL)非关键图片的样 本预测。（如果非关键图片没有用于其他化图片的样本预测，则在基本层不在输出层中的情 况下不需要在DPB中维持非关键图片。如果非关键图片用于其他化图片的样本预测，则在单 回路解码操作中，需要用相应已解码化图片代替非关键图片，运造成了漂移。）
[0508] -不使用非关键图片，非关键图片可W用于BL关键图片和/或其他BL非关键图片的 运动预测。
[0509] -不使用非关键图片，非关键图片可W用于层间样本预测。
[0510] -不使用非关键图片，非关键图片可W用于层间运动预测。
[0511] 在当前描述的实施例中，编码器可W在比特流中表示图片是关键图片还是非关键 图片和/或其可W针对非关键图片表示上述特性中的一个或多个特性。下面是表示预测特 性的一些详细示例。
[0512] 在第一示例中，2比特固定长度已编码句法元素、即u(2)(在此称为pic_ref_idc) 被包括在用于图片的句法中，例如在切片分段首部句法结构中，例如通过使用皿VC切片分 段首部的slice_rese;rved[i]句法元素的某两个比特位置。可W例如如下规定Pic_ref_idc 的语义：
[0513] -pic_ref_idc等于3表示可丢弃图片并且规定已编码图片没有用作帖间预测的参 考图片并且没有在按照解码顺序的随后的图片的解码过程中用作层间参考图片。
[0514] -pic_ref_idc等于2表示层内非参考图片并且规定图片没有用作相同的层内按照 解码顺序的随后图片的帖内预测的参考图片并且图片可W用作层间（样本或运动)预测参 考。
[0515] -pic_ref_idc等于1表示非输出层跳跃(NOLS)图片并且规定图片可W用作pic_ ref_idc等于1或3的按照解码顺序的随后图片的帖间预测的参考直到pic_ref_idc等于0并 且Temporal Id值等于或小于当前NOLS图片的按照解码顺序的下一图片。-pic_ref_idc等于 1还规定图片没有用作层间预测的参考并且没有用作pic_ref_idc等于0的任何图片的帖间 预测的参考。
[0516] -pic_ref_idc等于0表示关键图片并且规定图片可W用作相同的层内按照解码顺 序的随后图片的帖间预测的参考并且可W用作层间预测处的参考。
[0517] 标记为层内非参考图片W及没用用作或者不再用作层间预测的参考图片的图片 可W标记为"未用于参考"。
[0518] 第一示例的信令或者实现NOLS图片的识别的任何类似的信令使得能够从没用在 输出层中的层中去除NOLS图片。可能要求去除（相同的某个层的）两个关键图片之间的（某 个层的）所有可丢弃图片和NOLS图片或者不去除（相同的层）的两个关键图片之间的任何 NOLS图片。NOLS图片的去除可W通过包括但不限于W下各项的实体来进行：
[0519] -去除可W由解码器或者连接至解码器的比特流预处理器来进行，其可W具有关 于解码过程在其下操作的输出层集合的知识。因此，可W根据所使用的输出层集合推断输 出层并且可W去除来自没有被输出但是在已解码层之间的层的NOLS图片。NOLS图片的运样 的去除减小了解码复杂性和已解码图片缓冲所需要的存储器。
[0520] -去除可W由修改比特流的实体进行，诸如媒体已知网络元件（MANE)。可W从没 有作为任何规定的输出层集合中的输出层的运样的层去除NOLS图片。实体可W修改所表示 的输出层集合，例如基于接收器的属性和/或模式请求，W排除原始存在于指示中的某些输 出层集合(例如在中）。例如，可W去除接收器中被推断为未使用的运些输出层集合或者 针对接收器的属性和/或模式请求被推断为次最佳的输出层集合。因此，可W增加能够从其 中去除NOLS图片的层的数目。
[0521] 第二示例与第一示例相同，但是其规定:M)LS图片可W用于层间运动预测但是不 用于层间样本预测。因此，当包含NOLS图片的层不是目标输出层时，仅需要解码NOLS图片的 图片运动场，而运些NOLS图片的样本阵列不需要解码或者不需要维持在DTO中。
[0522] 在第S示例中，单独地表示第一示例和第二示例二者的NOLS图片。例如，在2比特 pic_ref_idc句法元素中，可W用NOLS图片类型之一代替表示层内非参考图片的值(或者示 例1或者示例2)。
[0523] 在第四示例中，NOLS图片如第一示例、第二示例或第S示例中被规定，但是NOLS图 片的语义独立于Tempora IId值。
[0524] 在可W独立于或者与其他实施例一起应用的实施例中，编码器或其他实体可W在 比特流中包括早于该层的下一图片的解码的开始使得将参考图片标记为某个层上的图片 的"未用于参考"的命令等。运样的命令的示例包括但不限于W下各项：
[0525] -在比特流中包括要在层内的图片的解码之后施加的参考图片集合(RPS)。运样的 RPS可W称为解码后RPS。解码后WS可W例如在访问单元的解码完成之后应用（其确保没有 仍然用作层间预测的参考的图片变得被标记为"未用于参考"）。解码后WS可W例如被包括 在特定的NAL单元中，在后缀NAL单元中或者在前缀NAL单元中，和/或在切片首部扩展中。可 能要求解码后RPS相同或者使得将与相同的层中的下一图片的RPS相同的图片维持在DPB 中。[化％]-例如使用皿VC切片分段首部的slice_rese;rved[i]句法元素的比特位置例如在 切片分段首部中包括标志，其使得在当前图片的解码之后(例如当完全解码包含的当前图 片的访问单元时)将层内的所有图片(包括标志设置为1的当前图片)标记为"未用于参考"。 [化27]-例如使用皿VC切片分段首部的slice_reserved[i]句法元素的比特位置例如在 切片分段首部中包括标志，其使得在当前图片的解码之后(例如当完全解码包含的当前图 片的访问单元时)将当前层内的所有非关键图片(例如在W上提及的示例中key_pic_idc等 于0的图片)标记为"未用于参考"。
[05%] -W上提及的标志可W特定于TemporalIcU即使得将与当前图片相同的或更高的 TemporalId值的图片标记为"未用于参考"（否则标志的语义与W上相同）。
[化巧]-MMCO命令等，使得已解码参考图片标记。
[05%] -W上提及的标志可W特定于TemporalIcU即使得将与当前图片相同的或更高的 TemporalId值的图片标记为"未用于参考"（否则标志的语义与W上相同）。
[化巧]-MMCO命令等，使得已解码参考图片标记。
[0530] 解码器和/或HRD和/或其他实体(诸如媒体已知网络元件)可W从比特流中解码W 上提及的命令等中的一个或多个并且因此将参考图片标记为"未用于参考"。将图片标记为 "未用于参考"可W影响Dro中的图片存储缓冲器的清空或重新分配，如早先描述的。
[0531] 在可W独立于或者与其他实施例一起应用的实施例中，在多个层上应用是否输出 按照解码顺序先于IRAP图片的图片运一控制。开始按层启动过程的基本层图片造成是否在 多个层(诸如比特流中存在的所有层或者取决于基本层的所有层)上应用是否输出按照解 码顺序先于基本层图片的图片运一控制。类似于向基本层图片应用开始按层启动过程的实 施例，实施例可W应用于开始按层启动过程的独立性层（即没有参考层的层)上的图片。在 解码开始按层启动过程的IRAP图片(例如NoClrasOu化UtFlag等于1的IRAP图片)时，可W先 于在Dro中包括IRAP图片而将Dro中的所有图片(所有层中）标记为"未用于参考"。如早先描 述的，可W通过n〇_〇utput_of_p;rio;r_pics_flag句法元素对其取得有影响的 NoOu化UtOfPrio巧icsFlag变量来控制是否输出按照解码顺序先于IRAP图片的图片运一控 审ij。另外，如早先描述的，变量NoClrasOutputFlag可W用于表示按层启动过程的开始。在 由No0u1:put0fP;rio;rPicsFlag和NoClras0u1:putFlag控制的解码过程和/或H畑中，运一实施 例可W通过将访问单元的所有图片的NoOutputOfPriorPicsFlag设置为 NoClrasOutputFlag设置为1并且被包含在相同的访问单元中的基本层图片的no_output_ of_p;rio;r_pics_flag。本实施例使得分离器或另一实体能够分离基本层中而非所有层中W 包含IRAP图片的访问单元开始的已编码视频序列并且控制先前已编码视频序列中的图片 的输出（先于分离的已编码视频序列）。换言之，由于本实施例，分离器或另一实体能够控制 是否在开始按层启动过程的IRAP图片的解码之后输出先前已编码视频序列的任何层的图 片。
[0532] 在可W独立于或者与其他实施例一起应用的实施例中，编码器或其他实体(诸如 HRD验证器)可W针对W下类型的比特流中的一个或两个比特流表示缓冲参数:其中存在 NoClrasOutputFlag等于1的IRAP图片的CL-RAS图片的比特流W及其中不存在 NoClrasOutputFlag等于1的IRAP图片的化-RAS图片。例如，可W针对所提及的类型的比特 流中的一者或两者例如在UVI中单独表示CPB缓冲器大小和比特率。另外地或者替选地，编 码器或另一实体可W针对所提及的类型的比特流中的一者或两者表示初始WB和/或DPB缓 冲延迟和/或其他缓冲和/或定时参数。编码器或另一实体例如可W在可分级嵌套SEI消息 中包括缓冲周期SEI消息，可分级嵌套SEI消息可W表示所包含的缓冲周期SEI消息应用于 其的子比特流、层集合或输出层集合。皿VC的缓冲周期SEI消息支持表示两个参数集合，一 个用于其中存在与IRAP图片相关联的前导图片(其缓冲周期SEI消息也相关联）的情况，另 一个用于其中不存在前导图片的情况。如果缓冲周期SEI消息包含在可分级嵌套SEI消息 中，则可W认为在后的（替选的）参数集合设及其中不存在与IRAP图片相关联的CL-RAS图片 (其缓冲周期SEI消息也相关联)的比特流。通常，在后的缓冲参数集合可W设及其中不存在 与NoClrasOutputFlag等于1的IRAP图片相关联的化-RAS图片。应当理解，虽然在本实施例 的描述中使用特定的术语和变量名称，然而其可W类似地通过其他术语来实现并且不需 要使用相同或类似的变量，只要解码器操作类似即可。
[0533] 在可W独立地或者与其他实施例一起应用的实施例中，编码器或另一实体(诸如 皿D验证器何W针对输出的层上去除NOLS图片的输出层集合表示缓冲参数。换言之，可W 针对包含被包括在其中去除了没有在输出层集合中的目标输出层输出层中的层的NOLS图 片的输出层集合中的层的子比特流表示缓冲参数。例如，可W针对运样的子比特流在例如 VUI中表示CPB缓冲器大小和比特率。另外地或者替选地，编码器或另一实体可W针对运样 的子比特流表示初始CPB和/或DPB缓冲延迟和/或其他缓冲和/或定时参数。编码器或另一 实体例如可W在嵌套SEI消息中包括缓冲周期SEI消息，嵌套SEI消息可W表示所包含的缓 冲周期SEI消息应用于其的输出层集合。皿VC的缓冲周期SEI消息支持表示两个参数集合， 一个用于其中存在与IRAP图片相关联的前导图片（其缓冲周期SEI消息也相关联）的情况， 另一个用于其中不存在前导图片的情况。如果缓冲周期SEI消息包含在应用于输出层集合 的嵌套SEI消息中，则可W认为在后的（替选的）参数集合设及其中不存在与IRAP图片相关 联的非输出层的NOLS图片和/或化-RAS图片（其缓冲周期SE I消息也相关联）的比特流。通 常，在后的缓冲参数集合可W设及其中不存在与NocirasOutputFlag等于1的IRAP图片相关 联的CL-RAS图片。应当理解，虽然在本实施例的描述中使用特定的术语和变量名称，然而其 可W类似地通过其他术语来实现并且不需要使用相同或类似的变量，只要解码器操作类似 即可。
[0534] 在可W独立地或者与其他实施例一起应用的实施例中，规定了子比特流提取过 程，其中输入是比特流、输出层集合(或者输出层的列表）、W及可能是最大TemporalId值 (最高Tid)。输出层集合可W用于推断需要解码的目标层集合，或者可W提供目标层集合作 为输入。过程的输出是子比特流。子比特流提取过程在子比特流中包括在输出层集合中 TemporalId小于或等于最高Tid的所有V化NAL单元W及与所包括的V化NAL单元相关联 的非VCL NAL单元。另外，子比特流提取过程包括不是NOLS图片并且是不可丢弃图片的来自 非输出层的运些VCL NAL单元(但是被包括在目标层集合中）。另外，子比特流提取过程可W 修改包含与输出层集合有关的信息的句法结构(诸如VPS)，W排除其中来自其的NOLS图片 和可丢弃图片在输出层的输出层集合。另外，子比特流提取过程可W修改HRD参数的信令， 使得在不存在非输出层的NOLS图片(和可丢弃图片）的情况下的应用于输出层集合的HRD参 数有效。另外，子比特流提取过程可W从比特流中排除假定非输出层的NOLS图片(和可丢弃 图片）的存在的那些HRD参数。
[0535] 在可W独立地或者与其他实施例一起应用的实施例中，附上或者规定了子比特流 提取过程W排除与NocirasOutputFlag等于1的IRAP图片相关联的化-RAS图片。另外，子比 特流提取过程可W从比特流中排除假定已经从输出比特流去除的化-RAS图片的存在的那 些HRD参数。
[0536] 本段落中描述在可分级比特流例如根据ISOBMFF存储在包含文件中时可W独立地 或者与其他实施例一起应用的实施例。如W上描述的，轨迹可W与一个或多个输出层集合 明确地或者隐含地相关联。如果轨迹包含不是输出层的层，则不需要存在来自运些输出层 的NOLS图片。表示多于一个层的轨迹例如可W通过使用提取器NAL单元从另一轨迹参考来 包括基本层数据。然而，当基本层不在包含提取器NAL单元的轨迹的输出层中时，文件创建 者可W针对基本层的NOLS图片省略提取器NAL单元的创建。文件创建者可W在样本条目的 可选框中包括轨迹是否包括非输出层的NOLS图片的指示。替选地或者另外地，文件创建者 可W将NOLS图片的NAL单元包括(通过包括或引用巧岐样的聚合器NAL单元中，其中包含所 包括的NOLS图片的层没有被表示为包括在输出层中。文件解析器或播放器可W确定要播放 输出层集合和/或输出层。其随后可W选择表示所选择的输出层集合和/或输出层的轨迹。 如果存在其中排除了非输出层的NOLS图片的轨迹，则文件解析器或播放器可W选择该轨 迹W减小解码复杂性和/或存储器使用。另外地或者替选地，文件解析器或播放器可W跳过 (省略处理)没有被表示为要映射到所选择的输出层集合和/或所选择的输出层的运样的聚 合器NAL单元。
[0537]在可W独立地或者连同其他实施例一起应用的实施例中，编码器和/或解码器和/ 或HRD可W针对可分级比特流中的图片得到按层图片顺序计数值。按层图片计数值(POC)变 量可W表示为Laye巧ic化der化tVal。当基本层中的POC重置时，例如通过将POC值设置为0 的基本层IDR图片，按层POC值的使用可W用于在增强层的POC差异值方面提供连续性和/或 完整性，而包含基本层IDR图片的访问单元不包含一个或多个其他层中的IDR图片。编码器 可W将按层POC的信息编码到比特流中并且解码器/HRD可W从比特流解码按层POC的信息， 诸如按层差异POC值。例如，可W在切片分段首部句法结构中使用W下句法等：[053引
[0539] 在当前描述的实施例中，可W独立于图片顺序计数值(Pic化derhtVal)得到变量 LayerPicOrderQitVal ,PicOrderQitVal可W在访问单元的所有图片上相同。因此，如果基 本层图片(诸如基本层IDR图片）重置图片顺序计数值，则也可W重置相同的访问单元的增 强层图片的Pic化derhtVal。如果相同的增强层中存在按照解码顺序的在前图片并且期间 没有开始任何按层启动过程，则独立于其他层的PicOrder化t化1值得到增强层图片的变量 Laye巧ic化der化t化1。可[^例如如下得到变量Laye巧ic化der化t化1:
[0540] -如果当前图片是NoRasl 0u1:putFlag等于 1 或者Fir s1:Pic InLayerDecodedFlag [nuh_laye;r_id]等于 0 的 IRAP图片，贝!j[0541 ]将Laye;rPicOrde;rQitVal设置为等于PicOrderQitVal，其中PicOrderQitVal是当 前图片的图片顺序计数值。
[0542] -否则，W下适用：
[0543] 。设 preTidOPic 是 TemporalId 等于 0 并且 nuh_laye;r_id 等于当前图片的 nuh_ layer_id的按照解码顺序的在前图片并且不是RA化图片、RADL图片或子层非参考图片。
[0544] 。设 preLaye;rPicOrde;rQit 等于 prevTidOPic 的 Laye;rPicOrde;rQit化 1。
[0545] 。设 prevPicOrderQit化 1 等于 preTidOPic 的PicOrderQit化 1。
[0546] 。如果 laye;r_delta_poc_present_f lag 等于 1，则将 Laye;rPicOrde;rCnt 化 1 设置为 等于prevL曰yerPicOrderCnt+l曰yer_delt曰_pic_order_cnt_minusl+l。
[0547] 。否则，将 Laye;rPicOrde;rQit 化 1 设置为 prevLaye;rPicOrde;rCnt+PicOrde;rQitVal- prevPicOrderCntVal。[054引在当前描述的实施例中，可W将相同的增强层的两个图片之间的POC的差异导出 为其按层POC值的差异。POC的差异可W用在例如帖间预测过程中，诸如用于在合并模式和 运动矢量预测中得到运动参数。相同的增强层的两个图片的POC的差异可W如下规定为函 数DiffPicOrde;r化t(picA,picB):
[0549] DiffPicOrde;rCnt(picA，picB) = laye;rPicOrde;rCnt(picA)-layerPicOrde;rCnt (picB)，其中函数laye;rPicOrde;rQit(picX)如下规定：[0 巧 0] Laye;rPicOrde;rQit(picX)=图片picX 的 Laye;rPicOrde;rQit化 1
[0551] 在当前描述的实施例中，当第二已编码视频序列按照解码顺序在第一已编码视频 序列之后时，可W要求第一已编码视频序列中的所有图片(在任何层中）按照输出顺序先于 第二已编码视频序列中的所有图片(在任何层中）。解码器和/或H畑因此可W每个已编码视 频序列使用图片的图片顺序计数值来确定输出顺序并且可W确定两个已编码视频序列的 相对输出顺序与其相对解码顺序相同。
[0552] 草拟SHVC设计使得能够具有覆盖视场中的不同区域的层。例如，增强层图片可W 增强参考层图片的区域而非参考基本层图片。增强层必须不应用层间预测。感兴趣的区域 (ROI)可W不通过使用层间预测而是联播基本层图片和增强层图片来增强，其中化图片对 应于基本层图片的区域。运一场景实现了ROI增强，但是具有低复杂性解码，因为不需要解 码整个化图片。混合色度格式编码可W是用于很多应用（诸如无线显示）的有用的特征。在 混合色度格式编码中，视频的某个区域用4:2:0格式编码，而其他区域用4:4:4格式编码。运 一使用案例可W通过用4:2:0格式对基本层编码来支持，并且4:4:4区域可W通过辅助色度 层来编码。
[0553] 在可W独立于或者与其他实施例一起应用的实施例中，输出图片交叠过程被包括 或者连接至解码过程和/或皿D的输出图片裁剪和/或图片输出过程。输出图片交叠过程可 W将来自不同层的表示相同输出时间或相同输出顺序的两个或多个图片作为输入。所述两 个或多个图片例如可W驻留在相同访问单元中的不同的可分级性层上，或者运两个可分级 性层可W是输出层集合中的输出层。在实施例中，编码器或另一实体可W在比特流中表示， 例如在序列级句法结构(诸如VPS)中表示所述可分级性层经历输出图片交叠过程(而非运 些层的已解码图片的单独输出）。在输出图片交叠过程中，应用分级后的参考偏移和/或采 样网格偏移等W在相同的坐标上定位所述可分级性层的所述一个或多个图片。Z顺序或交 叠顺序可W由编码器或另一实体在比特流中表示，或者可W例如被推断为上升的层标识符 顺序。可W例如由编码器例如在SPS和/或VPS中表示的分级后的参考偏移可W表示当前层 的当前图片与重新采样后的参考层图片之间的顶部偏移值、左侧偏移值、底部偏移值和右 侧偏移值，其中参考层可W是例如按照Z顺序在当前层之前的层。输出图片交叠过程的输出 图片可W通过W如下方式按照Z顺序将两个或多个图片的样本阵列定位在彼此之上来形 成:该方式使得按照Z顺序在后的样本阵列覆盖或替代按照Z顺序更早的样本阵列的共同定 位的位置中的样本值。例如，表示基本层的感兴趣区域(ROI)的增强层图片可W在输出交叠 过程中代替基本层图片的R0I。处理交叠所述两个或多个图片，过程还可W包括使得所述 两个或多个图片的已解码表示对准。例如，如果一个图片用YUV 4:2:0色度格式表示，而按 照Z顺序在后的另一图片用YUV4:4:4色度格式表示，则作为过程的部分，第一图片可W被上 采样到YUV4:4:4。同样，如果一个图片用第一颜色粒度或格式(诸如口U-R BT.709)表示，而 按照Z顺序在后的另一图片用第二颜色粒度或格式(诸如ITU-R BT.2020)表示，则作为过程 的部分，可W将第一图片变换成第二颜色粒度或格式。实际上，当所述两个或多个图片全部 交叠并且被处理时，如W上所描述的，所得到的图片形成输出图片并且取代所述一个或多 个图片被输出。可W另外地或者替选地将一致性检查点规定为输出图片交叠过程的输出 (除了或者而非裁剪后的已解码的两个或多个已解码图片）。
[0554] W上，已经关于将指示、句法元素和/或句法结构编码到比特流或已编码视频序列 中和/或从比特流或已编码视频序列解码指示、句法元素和/或句法结构描述了一些实施 例。然而，需要理解的是，实施例可W在将指示、句法元素和/或句法结构编码到在包括视频 编码层数据(诸如已编码切片）的比特流或已编码视频序列外部的句法结构或数据单元中 时和/或在从在包括视频编码层数据(诸如已编码切片）的比特流或已编码视频序列外部的 句法结构或数据单元解码指示、句法元素和/或句法结构时实现。
[0555] W上，已经在比特流的句法的帮助下描述了示例实施例。然而，需要理解的是，对 应的结构和/或计算机程序可W驻留在用于生成比特流的编码器和/或用于解码比特流的 解码器处。同样，虽然已经参考编码器描述了示例实施例，然而需要理解的是，所得到的比 特流和解码器具有对应的元素。同样，虽然已经参考解码器描述了示例实施例，然而需要理 解的是，编码器具有用于生成要由解码器来解码的比特流的结构和/或计算机程序。
[0556] 虽然已经参考分离器描述了示例实施例，然而需要理解的是，分离器同样可W是 编码器、中间盒子或者产生或修改已编码视频比特流的任何其他实体。
[0557] W上，已经参考包含文件描述了一些示例实施例。需要理解的是，实施例可W类似 地参考(传输协议或格式的）净荷来实现，诸如HTTP或RTP净荷上的动态自适应流送中的分 段。W上，已经参考文件创建者描述了一些示例实施例。需要理解的是，实施例可W类似地 参考数据包打包器或传输器来实现。W上，已经参考文件解析器或播放器描述了一些示例 实施例。需要理解的是，示例可W类似地参考数据包拆分器或接收器来实现。
[0558] W上，已经参考增强层和参考层描述了一些实施例，其中参考层可W是例如基本 层。W上，已经参考增强层和基本层描述了一些增强，其中可W认为基本层是增强层的任何 参考层。
[0559] 需要理解的是，实施例可W适用于任何类型的分层编码，例如用于多视图编码、质 量可分级性、空间可分级性，并且用于多视图视频加深度编码。
[0560] 本发明的实施例可W用软件、硬件、应用逻辑、或者软件、硬件和应用逻辑的组合 来实现。在示例实施例中，应用逻辑、软件或指令集维持在各种传统计算机可读介质中的任 何介质上。在本文档的上下文中，"计算机可读介质"可W是包含、存储、通信、传播或传输指 令用于由或结合指令执行系统、装置或设备(诸如计算机)来使用的任何介质或手段，计算 机的一个示例在图1和图2中描述和描绘。计算机可读介质可W包括计算机可读存储介质， 其可W是能够包含或存储用于由或结合指令执行系统、装置或设备(诸如计算机)来使用的 任何介质或手段。
[0561] 根据需要，本文中所讨论的不同功能可W按照不同顺序和/或彼此同时地执行。另 夕h根据需要，W上描述的功能中的一个或多个可W是可选的或者可W省略。
[0562] 虽然W上示例描述在电子设备内的编解码器内操作的本发明的实施例，然而，应 当理解，W下描述的本发明可W实现为任何视频编解码器的部分。因此，例如，本发明的实 施例可W在可W通过固定或有线通信路径实现视频编码的视频编解码器中实现。
[0563] 因此，用户设备可W包括诸如W上在本发明的实施例中描述的视频编码器。应当 理解，术语用户设备意图覆盖任意合适的类型的无线用户设备，诸如移动电话、便携式数据 处理设备或便携式网络浏览器。
[0564] 另外，公共陆地移动网络(PLMN)的单元也可W包括如W上描述的视频编解码器。
[0565] 总之，本发明的各种实施例可W用硬件或专用电路、软件、逻辑或其任意组合来实 现。例如，一些方面可W用硬件实现，而其他方面可W用可W由控制器、微处理器或其他计 算设备执行的固件或软件来实现，然而本发明不限于此。虽然本发明的各个方面可W被说 明和描述为框图、流程图，或者使用某种其他图形表示来说明和描述，然而应当理解的是， 本文中描述的运些框、装置、系统、技术和方法作为非限制性示例可W用硬件、软件、固件、 专用电路或逻辑、通用硬件或控制器或者其他计算设备、或其某种组合来实现。
[0566] 本发明的实施例可W用由移动设备的数据处理器可执行的计算机软件来实现，诸 如在处理器实体中，或者通过硬件，或者通过软件和硬件的组合。另外，在运一点上，应当注 意的是，附图中的逻辑流程的任何块可W表示程序步骤、或者互连的逻辑电路、块和功能、 或者程序步骤W及逻辑电路、块和功能的组合。软件可W存储在诸如存储忍片、或者集成在 处理器内的存储块、磁性介质(诸如硬盘或软盘）、W及光学介质(诸如例如DVD及其数据变 型、CD)等物理介质上。
[0567] 本发明的各种实施例可W在驻留在存储器中并且使得相关装置执行本发明的计 算机程序代码的帮助下来实现。例如，终端设备可W包括用于处理、接收和传输数据的电路 系统和电子设备、存储器中的计算机程序代码、W及在运行计算机程序代码时使得终端设 备执行实施例的特征的处理器。另外，网络设备可W包括用于处理、接收和传输数据的电路 系统和电子设备、存储器中的计算机程序代码、W及在运行计算机程序代码时使得终端设 备执行实施例的特征的处理器。
[0568] 存储器可W是适合本地技术环境的任何类型并且可W使用任意合适的数据存储 技术来实现，诸如基于半导体的存储器设备、磁性存储器设备和系统、光学存储器设备和系 统、固定存储器和可移除存储器。数据处理器可W是适合本地技术环境的任何类型，并且可 W包括通用计算机、专用计算机、微处理器、数字信号处理器(DSP)和基于多核处理器架构 的处理器中的一个或多个，作为非限制性示例。
[0569] 本发明的实施例用各种部件来实践，诸如集成电路模块。集成电路的设计或多或 少是高度自动化的过程。复杂且有力的软件工具可用于将逻辑级设计变换成准备好被蚀刻 和形成在半导体衬底上的半导体电路设计。[化7日]程序（诸如由加利福尼亚州Moun化in View的Synopsys公司和SAN化Se的化dence Design提供的）使用极好地建立的设计规则W及预先存储的设计模块库来自动路由导体并 且在半导体忍片上定位部件。一旦完成半导体电路的设计，就可W将标准化电子格式(例如 化us、GDSII等）的所得设计运送到半导体制造工厂或吁ab"用于制造。
[0571] W上描述作为示例性和非限制性示例提供了本发明的示例性实施例的全面且翔 实的描述。然而，在结合附图和所附权利要求阅读时，相关领域技术人员鉴于W上描述可W 很清楚各种修改和改变。然而，所有对本发明的教示的运样的和类似的修改将仍然落入本 发明的范围内。
[0572] 根据第一示例，提供了一种方法，包括：
[0573] -将图片编码到比特流中，比特流包括与访问单元相关联的至少两个可分级性层 和图片；
[0574] -将指示输出层的第一指示编码到比特流中；W及
[0575] -将指示至少一个替选输出层的第二指示编码到比特流中，
[0576] -其中第一指示和第二指示联合地具有W下影响：当在包含第一图片的访问单元 中没有输出层的图片时，通过比特流的解码过程输出至少一个替选输出层的第一图片。[化77] 在实施例中，方法还包括：
[0578] -将层与一个或多个可分级性尺寸相关联;并且
[0579] -将层与一个或多个可分级性尺寸的不同值集合相关联；
[0580] -其中第二指示独立于一个或多个可分级性尺寸。
[0581] 根据第二示例，提供了一种装置，包括至少一个处理器和至少一个存储器，所述至 少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时使得装置至少执行 W下操作：
[0582] -将图片编码到比特流中，比特流包括与访问单元相关联的至少两个可分级性层 和图片；
[0583] -将指示输出层的第一指示编码到比特流中；W及
[0584] -将指示至少一个替选输出层的第二指示编码到比特流中，
[0585] -其中第一指示和第二指示联合地具有W下影响：当在包含第一图片的访问单元 中没有输出层的图片时，通过比特流的解码过程输出至少一个替选输出层的第一图片。
[0586] 在装置的实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少 一个处理器执行时使得装置：
[0587] -将层与一个或多个可分级性尺寸相关联;并且
[0588] -将层与一个或多个可分级性尺寸的不同值集合相关联；
[0589] -其中第二指示独立于一个或多个可分级性尺寸。
[0590] 根据第=示例，提供了一种在非暂态计算机可读介质上实施的计算机程序产品， 包括计算机程序代码，计算机程序代码被配置成当在至少一个处理器上执行时使得装置或 系统：
[0591] -将图片编码到比特流中，比特流包括与访问单元相关联的至少两个可分级性层 和图片；
[0592] -将指示输出层的第一指示编码到比特流中；W及
[0593] -将指示至少一个替选输出层的第二指示编码到比特流中，
[0594] -其中第一指示和第二指示联合地具有W下影响：当在包含第一图片的访问单元 中没有输出层的图片时，通过比特流的解码过程输出至少一个替选输出层的第一图片。 [05%]在计算机程序产品的实施例中，所述至少一个存储器在其上存储有代码，代码在 由所述至少一个处理器执行时使得装置：
[0596] -将层与一个或多个可分级性尺寸相关联;并且
[0597] -将层与一个或多个可分级性尺寸的不同值集合相关联；
[0598] -其中第二指示独立于一个或多个可分级性尺寸。
[0599] 根据第四示例，提供了一种方法，包括：
[0600] -从比特流解码图片，比特流包括与访问单元相关联的至少两个可分级性层和图 片；[0601 ]-从比特流解码指示输出层的第一指示；
[0602] -从比特流解码指示至少一个替选输出层的第二指示；W及
[0603] -当在包含第一图片的访问单元中没有输出层的图片时，输出至少一个替选输出 层的第一图片。
[0604] 在实施例中，方法还包括：
[0605] -输出输出层的第二图片，第二图片与第二访问单元相关联。
[0606] 在实施例中，方法还包括：
[0607] -将层与一个或多个可分级性尺寸相关联；W及
[0608] -将层与一个或多个可分级性尺寸的不同值集合相关联；
[0609] -其中第二指示独立于一个或多个可分级性尺寸。
[0610] 根据第五示例，提供了一种装置，包括至少一个处理器和至少一个存储器，所述至 少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时使得装置至少执行 W下操作：
[0611] -从比特流解码图片，比特流包括与访问单元相关联的至少两个可分级性层和图 片；
[0612] -从比特流解码指示输出层的第一指示；
[0613] -从比特流解码指示至少一个替选输出层的第二指示；W及
[0614] -当在包含第一图片的访问单元中没有输出层的图片时，输出至少一个替选输出 层的第一图片。
[0615] 在装置的实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少 一个处理器执行时使得装置：
[0616] -输出输出层的第二图片，第二图片与第二访问单元相关联。
[0617] 在装置的实施例中，所述至少一个存储器在其上存储有代码，代码在由所述至少 一个处理器执行时使得装置：
[0618] -将层与一个或多个可分级性尺寸相关联；W及
[0619] -将层与一个或多个可分级性尺寸的不同值集合相关联；
[0620] -其中第二指示独立于一个或多个可分级性尺寸。
[0621] 根据第六示例，提供了一种在非暂态计算机可读介质上实施的计算机程序产品， 包括计算机程序代码，计算机程序代码被配置成当在至少一个处理器上执行时使得装置或 系统：
[0622] -从比特流解码图片，比特流包括与访问单元相关联的至少两个可分级性层和图 片；
[0623] -从比特流解码指示输出层的第一指示；
[0624] -从比特流解码指示至少一个替选输出层的第二指示；W及
[0625] -当在包含第一图片的访问单元中没有输出层的图片时，输出至少一个替选输出 层的第一图片。
[0626] 在计算机程序产品的实施例中，所述至少一个存储器在其上存储有代码，代码在 由所述至少一个处理器执行时使得装置：
[0627] -输出输出层的第二图片，第二图片与第二访问单元相关联。
[0628] 在计算机程序产品的实施例中，所述至少一个存储器在其上存储有代码，代码在 由所述至少一个处理器执行时使得装置：
[0629] -将层与一个或多个可分级性尺寸相关联；W及
[0630] -将层与一个或多个可分级性尺寸的不同值集合相关联；
[0631] -其中第二指示独立于一个或多个可分级性尺寸。
[0632] 根据第屯示例，提供了一种方法，包括：
[0633] -将图片编码到比特流中，比特流包括至少两个可分级性层；
[0634] -将至少一个第一指示编码到比特流中，至少一个第一指示提供输出层集合的一 个或多个属性并且关联输出层集合的索引；
[0635] -将第一层的第一图片编码到比特流中；
[0636] -将至少一个第二指示编码到比特流内的图片级结构中，至少一个第二指示将第 一图片关联到输出层集合；
[0637] -将第二层的第二图片编码到比特流中；[063引-将至少一个第=指示编码到比特流内的图片级结构中，至少一个第=指示将第 二图片关联到输出层集合；
[0639] -其中第一指示、第二指示和第=指示联合地具有W下影响:通过在其中已经选择 输出层集合的比特流的解码过程来输出与输出层集合相关联的图片。
[0640] 根据第八示例，提供了一种装置，包括至少一个处理器和至少一个存储器，所述至 少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时使得装置至少执行 W下操作：
[0641] -将图片编码到比特流中，比特流包括至少两个可分级性层；
[0642] -将至少一个第一指示编码到比特流中，至少一个第一指示提供输出层集合的一 个或多个属性并且关联输出层集合的索引；
[0643] -将第一层的第一图片编码到比特流中；
[0644] -将至少一个第二指示编码到比特流内的图片级结构中，至少一个第二指示将第 一图片关联到输出层集合；
[0645] -将第二层的第二图片编码到比特流中；
[0646] -将至少一个第=指示编码到比特流内的图片级结构中，至少一个第=指示将第 二图片关联到输出层集合；
[0647] -其中第一指示、第二指示和第=指示联合地具有W下影响:通过在其中已经选择 输出层集合的比特流的解码过程来输出与输出层集合相关联的图片。
[0648] 根据第九示例，提供了一种在非暂态计算机可读介质上实施的计算机程序产品， 包括计算机程序代码，计算机程序代码被配置成当在至少一个处理器上执行时使得装置或 系统：
[0649] -将图片编码到比特流中，比特流包括至少两个可分级性层；
[0650] -将至少一个第一指示编码到比特流中，至少一个第一指示提供输出层集合的一 个或多个属性并且关联输出层集合的索引；[0651 ]-将第一层的第一图片编码到比特流中；
[0652]-将至少一个第二指示编码到比特流内的图片级结构中，至少一个第二指示将第 一图片关联到输出层集合；
[0653] -将第二层的第二图片编码到比特流中；
[0654] -将至少一个第=指示编码到比特流内的图片级结构中，至少一个第=指示将第 二图片关联到输出层集合；
[0655] -其中第一指示、第二指示和第=指示联合地具有W下影响:通过在其中已经选择 输出层集合的比特流的解码过程来输出与输出层集合相关联的图片。
[0656] 根据第十示例，提供了一种方法，包括：
[0657] -从比特流解码图片，比特流包括至少两个可分级性层；[065引-从比特流解码至少一个第一指示，至少一个第一指示提供输出层集合的一个或 多个属性并且关联输出层集合的索引；
[0659] -确定输出层集合用在从解码器输出中；
[0660] -从比特流解码第一层的第一图片；
[0661] -从比特流内的图片级结构解码至少一个第二指示，至少一个第二指示将第一图 片关联到输出层集合；
[0662] -从比特流解码第二层的第二图片；
[0663] -从比特流内的图片级结构解码至少一个第=指示，至少一个第=指示将第二图 片关联到输出层集合；
[0664] -输出第一图片和第二图片，因为它们是与输出层集合相关联的图片。
[0665] 根据第十一示例，提供了一种装置，包括至少一个处理器和至少一个存储器，所述 至少一个存储器在其上存储有代码，代码在由所述至少一个处理器执行时使得装置至少执 行W下操作：
[0666] -从比特流解码图片，比特流包括至少两个可分级性层；
[0667] -从比特流解码至少一个第一指示，至少一个第一指示提供输出层集合的一个或 多个属性并且关联输出层集合的索引；
[0668] -确定输出层集合用在从解码器输出中；
[0669] -从比特流解码第一层的第一图片；
[0670] -从比特流内的图片级结构解码至少一个第二指示，至少一个第二指示将第一图 片关联到输出层集合；
[0671] -从比特流解码第二层的第二图片；
[0672] -从比特流内的图片级结构解码至少一个第=指示，至少一个第=指示将第二图 片关联到输出层集合；
[0673] -输出第一图片和第二图片，因为它们是与输出层集合相关联的图片。
[0674] 根据第十二示例，提供了一种在非暂态计算机可读介质上实施的计算机程序产 品，包括计算机程序代码，计算机程序代码被配置成当在至少一个处理器上执行时使得装 置或系统：
[0675] -从比特流解码图片，比特流包括至少两个可分级性层；
[0676] -从比特流解码至少一个第一指示，至少一个第一指示提供输出层集合的一个或 多个属性并且关联输出层集合的索引；
[0677] -确定输出层集合用在从解码器输出中；[067引-从比特流解码第一层的第一图片；
[0679] -从比特流内的图片级结构解码至少一个第二指示，至少一个第二指示将第一图 片关联到输出层集合；
[0680] -从比特流解码第二层的第二图片；
[0681] -从比特流内的图片级结构解码至少一个第=指示，至少一个第=指示将第二图 片关联到输出层集合；
[0682] -输出第一图片和第二图片，因为它们是与输出层集合相关联的图片。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种视频编码的方法和装置 | 2020-05-08 | 697 |
| 一种信息中心网络多层次视频媒体系统及其使用方法 | 2020-05-08 | 529 |
| 一种视频编码方法及装置 | 2020-05-11 | 354 |
| 基于感知质量的可缩放视频编码速率适配 | 2020-05-11 | 795 |
| 编码方法、系统和编码器、解码方法、系统和解码器 | 2020-05-12 | 159 |
| 用于视频编码分数像素插值的卷积神经网络的构建方法 | 2020-05-12 | 340 |
| 一种视频数据处理方法及装置 | 2020-05-12 | 405 |
| 一种360度视频帧间快速编码方法 | 2020-05-08 | 379 |
| 一种电子商务数据处理系统及方法 | 2020-05-11 | 709 |
| 处理传输媒体数据和指定参考图像的方法和装置 | 2020-05-11 | 553 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈