具有低延迟的视频编码方法及装置
阅读：341发布：2020-05-11
专利汇可以提供具有低延迟的视频编码方法及装置专利检索，专利查询，专利分析的服务。并且一种 视频编码 系统的操作方法，包括：接收作为串行位流的视频位流；从视频位流提取视频语法；从视频语法中提取低延迟标志、 网络抽象层 (NAL)假想参考解码(HRD)参数存在标志和 视频编码层 (VCL)HRD参数存在标志；基于低延迟标志、NAL HRD参数存在标志、和VCL HRD参数存在标志从视频位流提取HRD语法；基于具有HRD语法的视频语法从视频位流提取时序层；以及基于时序层形成 视频流 ，以用于在设备上显示。，下面是具有低延迟的视频编码方法及装置专利的具体信息内容。
1.一种编码装置，包括：
设定部，将低延迟标志、网络抽象层NAL假想参考解码HRD参数存在标志和视频编码层VCL HRD参数存在标志设定为用于从位流中提取HRD语法的参数；以及
编码部，对图像进行编码，生成具有视频语法的所述位流，在所述视频语法中，所述低延迟标志位于所述HRD语法之前，所述HRD语法的存在通过所述NAL HRD参数存在标志或所述VCL HRD参数存在标志来示出。
2.如权利要求1所述的编码装置，其中所述低延迟标志是low_delay_hrd_flag。
3.如权利要求2所述的编码装置，其中所述位流是串行位流。
4.一种编码方法，包括：
将低延迟标志、网络抽象层NAL假想参考解码HRD参数存在标志和视频编码层VCL HRD参数存在标志设定为用于从位流中提取HRD语法的参数；以及
对图像进行编码，生成具有视频语法的所述位流，在所述视频语法中，所述低延迟标志位于所述HRD语法之前，所述HRD语法的存在通过所述NAL HRD参数存在标志或所述VCL HRD参数存在标志来示出。
5.如权利要求4所述的编码方法，其中所述低延迟标志是low_delay_hrd_flag。
6.如权利要求5所述的编码方法，其中所述位流是串行位流。
具有低延迟的视频编码方法及装置
[0002] 对相关申请的交叉引用
[0003] 本申请包含关于于2013年2月1日提交且标题为“VIDEO CODING SYSTEM WITH TEMPORAL LAYERS AND METHOD OF OPERATION THEREOF”的美国专利申请13/757,624的主题。其全部主题通过引用被结合于此。
[0004] 本申请包含关于同时于2013年2月1日提交且标题为“VIDEO CODING SYSTEM WITH TEMPORAL SCALABILITY AND METHOD OF OPERATION THEREOF”的美国专利申请 13/757,679的主题。其全部主题通过引用被结合于此。
[0005] 本申请要求于2012年7月2日提交的美国临时专利申请 61/667,294、于2012年7月30日提交的美国临时专利申请 61/677,349、以及于2013年2月1日提交的美国非临时专利申请 13/757,685的权益，并且这些申请的全部主题通过引用被结合于此。
技术领域
[0006] 本发明一般而言涉及视频系统，并且更具体而言涉及用于具有低延迟的视频编码的系统。
背景技术
[0007] 高质量视频向智能电话、高清电视、汽车信息系统以及其它具有屏幕的视频设备的部署在近年来大幅增长。支持视频内容的各种各样的信息设备需要多种类型的视频内容，以便向具有不同尺寸、质量和连接能力的设备提供。
[0008] 视频已经从二维单视图视频发展到具有高分辨率三维成像的多视图视频。为了使视频的传送更有效，已经尝试了不同的视频编码和压缩方案，以便从最少量的数据获得最好的画面。运动图像专家组 (MPEG)开发出了允许基于标准化的数据序列和算法的良好视频质量的标准。H.264(MPEG4第10部分)/高级视频编码设计的编码效率比现有的MPEG-2格式提高了两倍。视频的质量依赖于视频中数据的操纵和压缩。视频可以被修改成适应于用来向具有不同分辨率和特征集的显示设备发送视频的不同带宽。但是，分发更大、更高质量的视频、或者更复杂的视频功能需要附加的带宽和改进的视频压缩。
[0009] 因而，仍然存在对能够跨具有不同大小、分辨率和连接性的各种设备交付良好画面质量和特征的视频编码系统的需求。鉴于对智能设备不断增长的范围提供视频的需求不断增加，找出对这些问题的答案日益关键。鉴于日益增加的商业竞争压力，连同日益增长的消费者期望和市场上有意义的产品差异化的机会逐渐减少，找出对这些问题的答案很关键。此外，节约成本、提高效率和性能以及满足竞争压力的需求都对找出对这些问题的答案的关键必要性添加了更大的紧迫性。
[0010] 对这些问题的解决办法长期以来一直在寻找，但是此前的发展还没有教导或建议任何解决办法，因此，对这些问题的解决办法长期以来一直困扰着本领域技术人员。
发明内容
[0011] 本发明提供了视频编码系统的操作方法，该方法包括：接收作为串行位流的视频位流；从视频位流提取视频语法；从视频语法提取低延迟标志、网络抽象层(NAL)假想参考解码(HRD)参数存在标志、和视频编码层(VCL)HRD参数存在标志；基于低延迟标志、 NAL HRD参数存在标志、和VCL HRD参数存在标志从视频位流提取HRD语法；基于具有HRD语法的视频语法从视频位流提取时序层；及基于时序层形成视频流，用于在设备上显示。
[0012] 本发明提供了视频编码系统，包括：接收模块，用于接收作为串行位流的视频位流；获取语法模块，耦合到接收模块，用于从视频位流提取视频语法，从视频语法提取低延迟标志、网络抽象层 (NAL)假想参考解码(HRD)参数存在标志和视频编码层 (VCL)HRD参数存在标志，并且基于低延迟标志、NAL HRD参数存在标志和VCL HRD参数存在标志从视频位流提取HRD语法；解码模块，耦合到获取语法模块，用于基于具有HRD语法的视频语法从视频位流提取时序层；及显示模块，耦合到解码模块，用于基于时序层形成视频流，用于在设备上显示。
附图说明
[0014] 图1是本发明实施例中视频编码系统的框图。
[0015] 图2是视频位流的例子。
[0016] 图3是HRD语法的例子。
[0017] 图4是高效率视频编码(HEVC)视频可用性信息(VUI)语法的例子。
[0018] 图5是HEVC VUI扩展语法的例子。
[0019] 图6是HRD基本语法的例子。
[0020] 图7是HRD子层语法的例子。
[0021] 图8是HRD VUI语法的例子。
[0022] 图9是视频编码系统的功能框图。
[0023] 图10是视频编码系统的控制流。
[0024] 图11是本发明另一种实施例中视频编码系统的操作方法的流程图。
具体实施方式
[0025] 以下实施例足够详细地进行描述，以便使本领域技术人员能够获得并使用本发明。应当理解，基于本公开内容，其它实施例将是显而易见的，并且在不背离本发明范围的情况下可以进行过程或机械上的变化。
[0026] 在以下描述中，给出了许多具体的细节，以提供对本发明的透彻理解。但是，很显然，本发明没有这些具体细节也可以实践。为了避免模糊本发明，一些众所周知的电路、系统配置和过程步骤没有具体地公开。
[0027] 同样，示出系统实施例的附图是半图式的且不是按比例的，并且，特别地，一些维度是为了呈现清晰起见并且在附图中被非常夸大地示出。在公开和描述具有一些共同特征的多个实施例的情况下，为了清晰以及易于对其说明、描述和理解起见，彼此之间类似或相同的特征将一般地用相同的标号进行描述。
[0030] 视频编码器102可以接收并编码视频内容108。视频编码器102 是用于把视频内容108编码成不同形式的单元。视频内容108被定义为对象场景的数字表示。例如，视频内容
108可以是一个或多个数字摄像机的数字输出。
108可以是一个或多个数字摄像机的数字输出。
[0031] 编码被定义为计算地把视频内容108修改成不同的形式。例如，编码可以把视频内容108压缩成视频位流110，以减少发送视频位流 110所需的数据量。
[0032] 在另一个例子中，视频内容108可以通过被压缩、视觉强化、分隔成一个或多个视图、改变分辨率、改变纵横比或其组合来进行编码。在另一个说明性例子中，视频内容108可以根据高效率视频编码 (HEVC)/H.265标准进行编码。
[0033] 视频编码器102可以编码视频内容108，以形成视频位流110。视频位流110定义为表示与视频内容108相关联的信息的位序列。例如，视频位流110可以是表示视频内容108的压缩的位序列。
[0034] 在另一个例子中，视频位流110可以是串行位流122。串行位流 122是表示其中每一位随时间串行发送的视频内容108的位的串。
[0035] 视频编码器102可以以各种方式接收用于场景的视频内容108。例如，表示现实世界中对象的视频内容108可以用摄像机、多个照相机捕获、用计算机生成、作为文件提供，或其组合。
[0036] 视频内容108可以包括各种视频特征。例如，视频内容108可以包括单视图视频、多视图视频、立体视频或其组合。在另一个例子中，视频内容108可以是四个或更多个照相机的多视图视频，用于支持无需3D眼镜的三维(3D)视频观看。
[0037] 视频编码器102可以利用视频语法114编码视频内容108，以生成视频位流110。视频语法114定义为描述用于编码和解码视频内容 108的编码系统的一组信息元素。视频位流110符合视频语法114，诸如高效率视频编码/H.265，并且可以包括HEVC视频位流、超高清视频位流、或其组合。视频位流110可以包括视频语法114。
[0038] 视频位流110可以包括表示视频内容108的图像的信息以及相关联的关于视频内容108的编码的控制信息。例如，视频位流110可以包括视频语法114的实例(occurrence)以及视频内容108的实例。
[0039] 视频编码系统100可以包括用于解码视频位流110的视频解码器 104。视频解码器104定义为用于接收视频位流110并修改视频位流 110以形成视频流112的单元。
[0040] 视频解码器104可以利用视频语法114解码视频位流110以形成视频流112。解码定义为计算地修改视频位流110以形成视频流 112。例如，解码可以解压缩视频位流110，以形成格式化为用于在显示接口120上显示的视频流112。
[0041] 视频流112定义为视频内容108被计算地修改后的版本。例如，视频流112可以包括具有不同分辨率的视频内容108修改后的实例。视频流112可以包括从视频内容108裁剪的解码画面。
[0042] 在另一个例子中，视频流112可以具有与视频内容108不同的纵横比、不同的帧速率、不同的立体视图、不同的视图顺序、或其组合。视频流112可以具有不同的视觉属性，包括不同的颜色参数、颜色平面、对比度、色调或其组合。
[0043] 视频编码系统100可以包括显示处理器118。显示处理器118可以从视频解码器104接收视频流112，用于在显示接口120上显示。显示接口120是能够呈现视频流112的可视表示的单元。
[0044] 例如，显示接口120可以包括智能电话显示器、数字投影仪、 DVD播放器显示器、或其组合。虽然视频编码系统100把视频解码器104、显示处理器118和显示接口120示为单独的单元，但是应当理解，视频解码器104可以包括显示处理器118和显示接口120。
[0045] 视频编码器102可以经通信路径106将视频位流110发送到视频解码器104。通信路径106可以是适于数据传输的各种网络。
[0046] 在说明性例子中，视频编码系统100可以包括编码的画面缓冲区(未示出)。编码的画面缓冲区可以充当包含访问单元的先入先出缓冲区，其中每个访问单元可以包含视频位流110的一帧。
[0047] 在另一个说明性例子中，视频编码系统100可以包括假想参考解码器(未示出)。假想参考解码器可以是用来约束视频位流110的变化性的解码器模型。
[0048] 例如，通信路径106可以包括无线通信、有线通信、光学、超声或其组合。卫星通信、蜂窝通信、蓝牙、红外线数据协会标准 (IrDA)、无线保真(WiFi)和用于全球微波接入互操作性 (WiMAX)是可以包括在通信路径106中的无线通信的例子。以太网、数字用户线路(DSL)、光纤到户(FTTH)和普通旧式电话服务(POTS)是可以包括在通信路径106中的有线通信的例子。
[0049] 视频编码系统100可以采用各种视频编码语法结构。例如，视频编码系统100可以利用高效率视频编码/H.265编码和解码视频信息。视频编码语法在以下文档中进行描述，这些文档的全部内容通过引用被结合：
[0050] B.Bross，W.Han，J Ohm，G.Sullivan，T.Wiegand，“High- Efficiency Video Coding(HEVC)text specification draft 8”， JCTVC-J1003 d7，2012年7月(斯德哥尔摩)。
[0051] B.Bross，W.Han，J.Ohm，G.Sullivan，T.Wiegand，“High Efficiency Video Coding(HEVC)text specification draft 7”JCTVC- 11003 d4，2012年5月(日内瓦)。
[0052] M.Haque，K.Sato，A.Tabatabai，T.Suzuki，“A simple ordering issue for VUI parameters syntaax”，JCTVC-J0272，2012 年7月(斯德哥尔摩)。
[0053] M.Haque，K.Sato，A.Tabatabai，T.Suzuki，“HEVC VUI Parameters with Extension Hooks”，JCTVC-J0270，2012年7月 (斯德哥尔摩)。
[0054] M.Haque，A.Tabatabai，“Extension of HEVC VUI Syntax Structure”，JCTVC-I0263，2012年5月。
[0055] M.Haque，“AHG10：VUI and HRD syntax designs agreed by the BoG on VPS and NUH”，JCTVC-J0548rl，2012年7月。
[0056] 现在参考图2，其中示出了视频位流110的例子。视频位流110 包括图1视频内容108的编码的实例，并且可以利用视频语法114进行解码以形成图1的视频流112，用于在图1的显示接口120上显示。
[0057] 如由语法类型202所指示的，视频位流110可以包括各种视频类型。语法类型202定义为用来编码和解码视频位流110的视频编码类型的指示符。例如，视频内容108可以包括用于高级视频编码204 (AVC)、可缩放视频编码206(SVC)、多视图视频编码208 (MVC)、多视图视频加深度210(MVD)及立体视频212(SSV) 的语法类型202。
[0058] 高级视频编码204与可缩放视频编码206可以用来编码基于单视图的视频以形成视频位流110。基于单视图的视频可以包括从单一照相机产生的视频内容108。
[0059] 多视图视频编码208、多视图视频加深度210、及立体视频212 可以用来编码具有两个或更多个视图的视频内容108。例如，多视图视频可包括来自多个照相机的视频内容108。
[0060] 视频语法114可以包括条目计数216，用于识别与视频内容108 中每一帧相关联的条目的数量。条目计数216是在视频内容108中表示的条目的最大数量。
[0061] 视频语法114可以包括条目标识符214。条目标识符214是用于区分多个编码的视频序列的值。编码的视频序列可以包括具有不同位速率、帧速率、分辨率的视频内容108的实例，或者用于单视图视频、多视图视频或立体视频的可缩放层。
[0062] 视频语法114可以包括迭代标识符218。迭代标识符218是区分视频内容108的各个迭代的值。
[0063] 视频语法114可以包括迭代计数220。迭代计数220是指示视频内容108的迭代的最大数量的值。
[0064] 对于可缩放的视频编码，术语迭代计数可用来指示在可缩放视频编码的情况下绑定到不同可缩放视频层的信息条目的数量。对于多视图视频编码，迭代计数可用来指示绑定到视频内容108的视图数量的操作点的数量。
[0065] 例如，在可缩放视频编码中，视频内容108可以被编码成包括带附加增强层的基础层，以形成视频位流110的多层实例。基础层可具有最低的分辨率、帧速率或质量。
[0066] 增强层可以包括利用用来提高视频质量的附加剩余信息的逐步精炼。可缩放视频层扩展可包括可扩展到覆盖可缩放视频编码的 HEVC新基线标准。
[0067] 视频语法114可以包括操作标识符222。操作标识符222是区分视频内容108的各个操作点的值。操作点是呈现用于多视图视频编码的信息条目，诸如计时信息、网络抽象层(NAL)假想参考解码器 (HRD)参数、视频编码层(VCL)HRD参数、 pic_struct_present_flag元素或其组合。
[0068] 视频语法114可以包括操作计数224。操作计数224是指示视频内容108的操作的最大数量的值。
[0069] 操作点绑定到从各个视图(诸如由不同照相机产生的视图)的编码的视频序列的生成，以用于多视图和3D视频。对于多视图视频编码而言，操作点与具有目标输出视图和依赖于目标输出视图的其它视图的视频位流110的子集相关联。
[0070] 如果其它的视图是利用子位流提取过程得到的，则它们依赖于目标输出视图。多于一个的操作点可以与视频位流110的同一子集相关联。例如，解码操作点指解码对应于该操作点的视频位流的子集并且后续输出作为图1的视频流112的一部分的目标输出视图，用于在设备视频解码器上显示。
[0071] 视频语法114可以包括视图标识符226。视图标识符226是区分视频内容108的各个视图的值。
[0072] 视频语法114可以包括视图计数228。视图计数228是指示视频内容108的视图的最大数量的值。
[0073] 例如，单视图可以是由单个照相机产生的视频。多视图视频可以由位于不同位置和距场景中被观看的对象不同距离的多个照相机产生。
[0074] 视频内容108可以包括各种视频属性。例如，视频内容108可以是高分辨率视频，诸如超高清视频。视频内容108可以具有大于或等于3840×2160像素的像素分辨率，或更高，包括7680×4320、8K x 2K、4K x 2K或其组合的分辨率。虽然视频内容108支持高分辨率视频，但是应当理解，视频内容108也可以支持较低的分辨率，例如高清(HD)视频。视频语法114可以支持视频内容108的分辨率。
[0075] 视频内容108可以支持各种帧速率，包括15帧每秒(fps)、24 fps、25fps、30fps、50fps、60fps和120fps。虽然描述了各个帧速率，但是应当理解，视频内容108可以支持零帧每秒及更高的、固定及可变的帧速率。视频语法114可以支持视频内容108的帧速率。
[0076] 视频位流110可以包括一个或多个时序层230。时序层230定义为按指定的帧速率表示视频流112的视频位流110的多个部分。每个时序层230都可以表示在以帧每秒(fps)表达的不同帧速率下的视频流112。时序层230可以构成层次结构，其中更高层包括较低层。
[0077] 例如，时序层230的第一实例232可以表示视频流112的15fps 实例、时序层230的第二实例234可以表示视频流112的30fps实例、时序层230的第三实例236可以表示视频流112的60fps实例。视频位流110可以具有时序层230的多个实例，如由时序层计数238 指示的。在另一个例子中，对于第一实例232、第二实例234和第三实例236，时序层计数238可以具有值3。
[0078] 时序层230的第一实例232可以表示把视频内容108编码以形成 15fps的视频流112的基础层。时序层230的第二实例234可以表示诸如时序层230第一实例232的基础层与视频内容108在30fps的视频流112之间的差异。
[0079] 第二实例234可以包括表示基础层的帧与用于按30fps显示视频内容108所需的新帧之间的差异的帧。时序层230的第三实例236可以表示时序层230的第二实例234与60fps的视频内容之间的差异。
[0080] 在说明性例子中，用于智能电话的图1的视频解码器102可以从视频位流110中提取30fps的时序层230的第二实例234，这可以包括来自第一实例232和第二实例234的信息。在视频位流110中来自时序层230的第三实例236的信息可以被丢弃，以减少视频位流110 的大小。
[0081] 现在参考图3，其中示出了HRD语法302的例子。HRD语法 302描述与假想参考解码器相关联的参数。
[0082] HRD语法302包括如在图4的HRD基本语法表中描述的元素。如在图4的HRD基本语法表中所描述的，HRD语法302的元素以层次结构进行布置。
[0083] HRD语法302可以包括在图1的视频位流110中并且按时间序列方式交付，其中每个元素以其发送的次序被接收。例如，HRD语法302可以由图1的视频解码器104接收，作为具有HRD语法302 的元素的串行位流，其中HRD语法302的元素以在图4的HRD语法表中所描述的次序交付。
[0084] HRD语法302可以包括HRD语法首部304，诸如 hrd_parameters元素。HRD语法首部304是用于识别HRD语法302 的描述符。
[0085] HRD语法302可以包括编码的画面缓冲区(CPB)计数308，诸如cpb_cnt_minus1元素。CPB计数308可以指示具有受限的位速率和CPB大小值的备选交付调度的数量。
[0086] HRD语法302可以包括位速率标度310，诸如bit_rate_scale元素。位速率标度310规定CPB的最大输入位速率。
[0087] HRD语法302可以包括CPB大小标度312，诸如 cpb_size_scale元素。CPB大小标度312用于确定编码的画面缓冲区的大小。
[0088] HRD语法302可以包括循环结构，以定义用于编码的画面缓冲区的每个实例的一组参数。该循环结构基于调度选择索引314，诸如 SchedSelIdx元素，确定维数。HRD语法302循环结构可以包括用于编码的画面缓冲区的每个实例的位速率值316、CPB大小值318和恒定位速率(CBR)标志320。
[0089] HRD语法302可以包括位速率值316，诸如bit_rate_value_minus1元素。位速率值316可以用来规定用于编码的画面缓冲区的每个实例的最大输入位速率。
[0090] HRD语法302可以包括CPB大小值318，诸如 cpb_size_value_minus1元素。CPB大小值318可以用来确定编码的画面缓冲区的每个实例的大小。
[0091] HRD语法302可以包括CBR标志320，诸如cbr_flag元素。CBR标志320指示用于解码视频位流110以用于编码的画面缓冲区的每个实例的操作模式。如果CBR标志320具有值1，则假想码流调度器(HSS)操作在恒定位速率模式。否则，视频位流110操作在间歇式位速率模式。
[0092] HRD语法302可以包括初始CPB去除延迟长度322，诸如 initial_cpb_removal_delay_length_minus1元素。初始CPB去除延迟长度322指示缓冲周期补充增强信息(SEI)消息的元素 initial_cpb_removal_delay和initial_cpb_removal_delay_offset的位长度。
[0093] HRD语法302可以包括CPB去除延迟长度324，诸如 cpb_removal_delay_length_minus1元素。CPB去除延迟长度324可以规定画面计时SEI消息中元素cpb_removal_delay的位长度。
[0094] HRD语法302可以包括解码的画面缓冲区(DPB)输出延迟长度326，诸如dpb_output_delay_length_minus1元素。DPB输出延迟长度326指示DPB的大小。
[0095] HRD语法302可以包括时间偏移量长度328，诸如 time_offset_length元素。时间偏移量长度328指示time_offset元素的按位的长度。
[0096] 现在参考图4，其中示出了高效率视频编码(HEVC)视频可用性信息(VUI)语法402的例子。HEVC VUI语法402包括关于图1 的视频位流110的信息，以允许用于图1的视频内容108的附加应用可用性特征。
[0097] HEVC VUI语法402描述图3的HEVC VUI语法表中的元素。 HEVC VUI语法402的元素如图3的HEVC VUI语法表中所描述的那样以层次结构布置。
[0098] HEVC VUI语法402包括HEVC VUI语法首部404，诸如 vui_parameters元素。HEVC VUI语法首部404是用于识别HEVC VUI语法402的描述符。HEVC VUI语法402用来编码和解码视频位流110。
[0099] HEVC VUI语法402可以包括纵横比标志406，诸如 aspect_ratio_info_present_flag元素。纵横比标志406可以指示纵横比信息在视频位流110中被编码。纵横比标志406可以具有指示纵横比信息不在视频位流110中的值0和指示纵横比信息包括在视频位流 110中的值1。
[0100] HEVC VUI语法402可以包括纵横比指示符408，诸如 aspect_ratio_idc元素。纵横比指示符408是描述图1的视频内容108 的纵横比的值。例如，纵横比指示符408可以包括用于视频内容108 的预定义纵横比的枚举列表的索引值。在另一个例子中，纵横比指示符408可以包括指示纵横比可以由纵横比宽度410和纵横比高度412 的独立值来描述的值。
[0101] HEVC VUI语法402可以包括纵横比宽度410，诸如sar_width 元素。纵横比宽度410可以描述视频内容108的宽度。纵横比宽度 410可以按比率、像素、行、英寸、厘米或者其组合来描述视频内容的维度。
[0102] HEVC VUI语法402可以包括纵横比高度412，诸如sar_height 元素。纵横比高度412可以描述视频内容108的高度。纵横比高度 412可以按比率、像素、行、英寸、厘米或者其组合来描述视频内容的维度。
[0103] HEVC VUI语法402可以包括过扫描存在标志414，诸如overscan_info_present_flag。过扫描存在标志414可以指示过扫描信息是否包括在视频位流110中。过扫描存在标志414可以具有指示过扫描信息在视频位流中存在的值1或者指示过扫描信息在视频位流 110中不存在的值0。
[0104] 过扫描定义为其中靠近图1视频流112的裁剪的解码画面边界的一些部分在视频流112的显示区域内不可见的显示过程。欠扫描定义为其中视频流112的整个裁剪的解码画面在显示区域内都可见但不覆盖整个显示区域的显示过程。
[0105] HEVC VUI语法402可以包括过扫描合适标志416，诸如overscan_appropriate_flag元素。过扫描合适标志416可以指示在视频位流110中编码的视频内容108是否可以利用过扫描显示。
[0106] 过扫描合适标志416可以具有值1，以指示视频流112的裁剪的解码画面适于利用过扫描进行显示。过扫描合适标志416可以具有值 0，以指示视频流112的裁剪的解码画面包含可视的重要信息并且不应当利用过扫描进行显示。
[0107] HEVC VUI语法402可以包括视频信号存在标志418，诸如 video_signal_type_present_flag元素。视频信号存在标志418可以指示视频信号类型信息包括在视频位流110中。视频信号存在标志418 可以具有值1，以指示附加的视频信号类型信息在视频位流110中存在。视频信号存在标志418可以具有值0，以指示视频位流110中没有视频信号类型信息存在。
[0108] HEVC VUI语法402可以包括视频格式420，诸如video_format 元素。视频格式420可以指示视频的格式。
[0109] HEVC VUI语法402可以包括视频全范围标志422，诸如 video_full_range_flag元素。视频全范围标志422可以指示用于在视频位流110中编码的视频内容108的黑电平以及亮度和色度信号的范围。
[0110] HEVC VUI语法402可以包括颜色描述存在标志424，诸如 colour_description_present_flag元素。颜色描述存在标志424可以指示视频位流110中颜色描述信息的存在。
[0111] 颜色描述存在标志424可以具有值0，以指示没有其它的颜色描述信息包括在视频位流110中。颜色描述存在标志424可以具有值 1，以指示颜色原色426、传输特性428及矩阵系数430包括在视频位流110中。
[0112] HEVC VUI语法402可以包括颜色原色426，诸如 colour_primaries元素。颜色原色426可以指示在视频内容108中使用的配色方案。例如，颜色原色426可以指示源原色的色度坐标。
[0113] HEVC VUI语法402可以包括传输特性428，诸如transfer_characteristics元素。传输特性428可以指示视频内容108 的光电传输特性。例如，传输特性428可以是描述一组预定义的显示特性的枚举值。
[0114] HEVC VUI语法402可以包括矩阵系数430，诸如 matrix_coefficient元素。矩阵系数430可以指示用来从由颜色原色 426指示的红、绿、蓝原色中导出亮度和色度信号的系数。矩阵系数 430可以用来计算地把一组红、蓝和绿颜色坐标变换成亮度和色度等价物。
[0115] HEVC VUI语法402可以包括色度位置信息存在标志432，诸如 chroma_loc_info_present_flag元素。色度位置信息存在标志432可以具有指示色度顶部域样本434和色度底部域样本436在视频位流 110中存在的值1。
[0116] HEVC VUI语法402可以包括色度顶部域样本434，诸如 chroma_sample_loc_type_top_field元素。色度顶部域样本434是枚举值，以规定用于视频位流110中顶部域的色度样本的位置。
[0117] HEVC VUI语法402可以包括色度底部域样本436，诸如 chroma_sample_loc_type_bottom_field元素。色度底部域样本436是枚举值，以规定用于视频位流110中底部域的色度样本的位置。
[0118] HEVC VUI语法402可以包括中性色度标志438，诸如 neutral_chroma_indication_flag元素。中性色度标志438可以指示解码的色度样本是否等于一。例如，如果中性色度标志438具有值1，则所有的解码色度样本被设置为1。如果中性色度标志438具有值 0，则解码的色度样本不限于1。
[0119] HEVC VUI语法402可以包括场(field)序列标志440，诸如 field_seq_flag，可以指示编码的视频序列信息是否包括表示视频的场。场序列标志440可以具有指示视频位流110的编码的视频序列包括场级画面的值1，和指示帧级画面的值0。
[0120] HEVC VUI语法402可以包括计时信息存在标志442，诸如 timing_info_present_flag元素。计时信息存在标志442可以指示计时信息是否包括在视频位流110中。例如，计时信息存在标志442可以具有指示滴答单元(tick unit)444、时间标度446和固定画面速率标志448在视频位流110中存在的值1。
[0121] HEVC VUI语法402可以包括滴答单元444，诸如 num_units_in_tick元素。滴答单元444可以指示时钟在时间标度446 的频率下操作的时间单元的数量。例如，滴答单元444可以具有对应于可在视频位流110中表示的时间的最小间隔。
[0122] HEVC VUI语法402可以包括时间标度446，诸如time_scale元素。时间标度446是在一秒内经过的时间单元的数量。
[0123] HEVC VUI语法402可以包括固定画面速率标志448，诸如 fixed_pic_rate_flag元素。固定画面速率标志448可以指示在视频流 112的输出次序中两个连续画面之间的时序距离是否受约束。固定画面速率标志448具有指示没有应用约束的值0和指示时序距离受约束的值1。
[0124] HEVC VUI语法402可以包括NAL HRD参数存在标志452，诸如nal_hrd_parameters_present_flag元素。NAL HRD参数存在标志 452可以指示NAL HRD参数的存在包括在图3的HRD语法302 中。NAL HRD参数存在标志452可以具有指示HRD参数结构454 在视频位流110中存在的值1和指示HRD参数结构454在视频位流 110中不存在的值0。
[0125] HEVC VUI语法402可以包括HRD参数结构454。HRD参数结构454是图3的HRD语法302的实例。HRD参数结构454在HRD 语法部分中详细描述。
[0126] HEVC VUI语法402可以包括VCL HRD参数存在标志456，诸如vcl_hrd_parameters_present_flag元素，可以指示用于VCL的 HRD信息的存在。VCL HRD参数存在标志456可以具有指示HRD 参数结构454在视频位流110中存在的值1和指示HRD参数结构 454在视频位流110中不存在的值0。
[0127] 如果NAL HRD参数存在标志452或VCL HRD参数存在标志456具有值1，则HEVC VUI语法402可以在视频位流110中包括低延迟标志460和子画面CPB参数存在标志462。如果子画面CPB参数存在标志462具有值1，则HEVC VUI语法402可以在视频位流 110中包括子单元滴答(subunit ticks)464。
[0128] HEVC VUI语法402可以包括低延迟标志460，诸如 low_delay_hrd_flag元素。低延迟标志460可以指示HRD操作模式。
[0129] HEVC VUI语法402可以包括子画面CPB参数存在标志462，诸如sub_pic_cpb_params_present_flag元素。子画面CPB参数存在标志462可以指示子画面CPB参数是否在视频位流110中存在。
[0130] HEVC VUI语法402可以包括子单元滴答464，诸如num_of_units_in_sub_tick元素。子单元滴答464可以指示在去除计时补充增强信息(SEI)消息之前等待的滴答数量。
[0131] HEVC VUI语法402可以包括位流限制标志466，诸如 bitstream_restriction_flag元素。位流限制标志466可以指示编码的视频序列位流限制参数在视频位流110中存在。如果位流限制标志 466具有值1，则HEVC VUI语法402可以包括块固定结构标志 468、运动向量标志470、每画面单位(denomination)最大字节数 472、每最小cu单位最大位数474、最大运动向量水平长度476、及最大运动向量垂直长度478。
[0132] HEVC VUI语法402可以包括块(tile)固定结构标志468，诸如tiles_fixed_structure_flag元素，可以指示在编码的视频序列中每个画面都具有相同数量的块。块固定结构标志468可以具有指示固定块的值1和指示其它情况的值0。
[0133] HEVC VUI语法402可以包括运动向量标志470，诸如 motion_vector_over_pic_boundaries_flag元素，可以指示在画面边界之外没有样本用于预测。如果运动向量标志470具有值1，则画面边界之外的一个或多个样本可用于预测，否则没有样本被用于预测。
[0134] HEVC VUI语法402可以包括每画面单位最大字节数472，诸如max_bytes_per_pic_denom元素，是指示用于与编码的视频序列中任何编码的画面相关联的VCL NAL单元大小的总和的最大字节数的值。如果每画面单位最大字节数472具有值0，则指示没有限制。否则，位流符合以下要求：编码的画面在视频位流110中不应由多于每画面单位最大字节数472的字节表示。
[0135] HEVC VUI语法402可以包括每最小cu单位最大位数474，诸如max_bits_per_min_cu_denom元素，是指示对于编码的视频序列的任何画面中的任何编码块，编码单元数据的编码的位数量的上界的值。如果每最小cu单位最大位数474具有值0，则没有指示限制。否则，位流符合以下要求：编码的画面在位流中不应由多于每最小 cu单位最大位数474的位表示。
[0136] HEVC VUI语法402可以包括最大运动向量水平长度476，诸如 log2_max_mv_length_horizontal元素，指示用于视频位流110中所有画面的解码的水平运动向量分量的最大绝对值。最大运动向量垂直长度478，诸如log2_max_mv_length_vertical元素，指示用于视频位流110中所有画面的解码的垂直运动向量分量的最大绝对值。
[0137] HRD语法302可以表示用于视频位流110的一组规范性需求。 HRD语法302可以用来控制视频位流110的位速率。例如，HRD语法302可以包括用于控制可变或恒定位速率操作、低延迟行为和延迟容忍行为的参数。
[0138] 在另一个例子中，利用诸如图3的位速率标度310、图3的CPB 计数308和图3的CPB大小标度312的参数，HRD语法302被用来控制编码的画面缓冲区的性能、编码的画面缓冲区的数量以及编码的画面缓冲区的大小。利用诸如图3的DPB输出延迟长度326的参数，HRD语法302可以被用于控制解码的画面缓冲区。
[0139] 研究发现，通过对编码的画面缓冲区的单独的实例的处理启用更细粒度的控制，利用HRD语法302提供了提高的性能。通过利用 CPB的不同实例之间的各个差异，利用HRD语法302的单独实例可以提供提高的处理速度。
[0140] 研究发现，利用HRD语法302编码和解码视频内容108可以减小视频位流110的大小并减少显示视频流112所需的视频缓冲的量。减小视频位流110的大小增加了功能性并且提高了视频流112的显示性能。
[0141] 现在参考图5，其中示出了HEVC VUI扩展语法502的例子。 HEVC VUI扩展语法502提供用于图1的视频位流110中时序层的每个实例的信息。HEVC VUI扩展语法502可以是图4的HEVC VUI语法402的实施例。
[0142] HEVC VUI扩展语法502描述图5的HEVC VUI扩展语法表中的元素。如在图5的HEVC VUI扩展语法表中所描述的，HEVC VUI扩展语法502的元素以层次结构进行布置。
[0143] HEVC VUI语法402可以描述图1的视频编码系统100的VUI 参数。例如，HEVC VUI扩展语法502可以是HEVC VUI语法402 的实例。诸如第一或第二的术语仅仅用于识别而不是要指示任何次序、优先级、重要性或级别高低。
[0144] HEVC VUI扩展语法502包括HEVC VUI扩展语法首部504，诸如vui_parameters元素。HEVC VUI扩展语法首部504是用于识别HEVC VUI扩展语法502的描述符。
[0145] HEVC VUI扩展语法502可以包括NAL HRD参数存在标志 452，诸如nal_hrd_parameters_present_flag元素。NAL HRD参数存在标志452可以指示NAL HRD参数信息的存在。
[0146] HEVC VUI扩展语法502可以包括VCL HRD参数存在标志 456，诸如vcl_hrd_parameters_present_flag元素。VCL HRD参数存在标志456可以指示VCL HRD参数信息的存在。
[0147] 如果NAL HRD参数存在标志452或VCL HRD参数存在标志 456具有值1，则HEVC VUI扩展语法502可以包括低延迟标志460 和子画面CPB参数存在标志462。
[0148] NAL HRD参数存在标志452和VCL HRD参数存在标志456可以控制其它与HRD相关的参数的包括。如果NAL HRD参数存在标志452或VCL HRD参数存在标志456具有值1，则HEVC VUI扩展语法502可以包括低延迟标志460和子画面CPB参数存在标志 462。
[0149] HEVC VUI扩展语法502可以包括低延迟标志460，诸如 low_delay_hrd_flag元素。低延迟标志460可以指示HRD操作模式。
[0150] HEVC VUI扩展语法502可以包括子画面CPB参数存在标志 462，诸如sub_pic_cpb_params_present_flag元素。子画面CPB参数存在标志462可以指示子画面CPB参数在图1的视频位流110中是否存在。
[0151] 如果子画面CPB参数存在标志462具有值1，则HEVC VUI扩展语法502可以包括子单元滴答464，诸如 num_of_units_in_sub_tick元素。子单元滴答464可以指示在去除计时补充增强信息(SEI)消息之前等待的滴答数量。
[0152] HEVC VUI扩展语法502可以包括两个有待评估的有条件检查，以确定图3的HRD语法302是否包括在HEVC VUI扩展语法 502中。如果NAL HRD参数存在标志452具有值1，则HEVC VUI 扩展语法502可以包括HRD语法302。
[0153] 如果VCL HRD参数存在标志456具有值1，则HEVC VUI语法402可以包括HRD语法302。如果NAL HRD参数存在标志452 和VCL HRD参数存在标志456都不具有值1，则HRD语法
302不包括在HEVC VUI语法402中。
302不包括在HEVC VUI语法402中。
[0154] 视频位流110可以包括HEVC VUI扩展语法502的实例。视频位流110是串行位流，其中HEVC VUI扩展语法502的每个元素在视频位流110中顺序排序。HEVC VUI扩展语法502的元素可以按在图5的HEVC VUI扩展语法表中定义的次序从视频位流110提取。
[0155] HEVC VUI扩展语法502的低延迟标志460的值可以确定HRD 语法302的图3的CPB计数308的使用。如果低延迟标志460具有值1，则CPB计数308设成0。
[0156] 在视频位流110的串行传输当中，HEVC VUI扩展语法502包括位于HRD语法302之前的低延迟标志460。低延迟标志460在 HRD语法302之前被提取。NAL HRD参数存在标志452和VCL HRD参数存在标志456在HRD语法302之前被提取。HRD语法 302的元素可基于低延迟标志460、NAL HRD参数存在标志452和 VCL HRD参数存在标志456的值来提取。例如，如果低延迟标志 460具有值1，并且或者NAL HRD参数存在标志452或者VCL HRD参数存在标志456具有值1，则HRD语法302的CPB计数 308的值可以明确地设成0，并且视频编码系统100可以操作在低延迟模式，只有单个编码的画面缓冲区。
[0157] 研究发现，利用具有对图2的所有时序层230恒定的HRD参数结构454的HEVC VUI扩展语法502编码和解码图1的视频内容 108提供了减小的复杂度和提高的性能。通过对解码过程的处理启用一致性控制，HRD参数结构454提供简化的性能和减小的复杂度。
[0158] 现在参考图6，其中示出了HRD基本语法602的例子。HRD基本语法602描述与假想参考解码器操作关联的参数。
[0159] HRD基本语法602包括如在图6的HRD语法表中描述的元素。如在图6的HRD语法表中所描述的，HRD基本语法602的元素以层次结构进行布置。
[0160] HRD基本语法602可以包括HRD基本语法首部604，诸如 hrd_parameters元素。HRD基本语法首部604是用于识别HRD基本语法602的描述符。
[0161] HRD基本语法602可以包括计时信息存在标志442，诸如 timing_info_present_flag元素，以指示计时信息是否包括在图1的视频位流110中。计时信息存在标志442可以具有指示计时信息在视频位流110中的值1和指示计时信息不包括在视频位流110中的值0。
[0162] HRD基本语法602可以包括滴答单元444，诸如 num_units_in_tick元素，以指示时钟在时间标度446的频率下操作的时间单元的数量。例如，滴答单元444可以具有对应于可在视频位流110中表示的时间的最小间隔。时间标度446，诸如time_scale元素，是在一秒内经过的时间单元的数量。
[0163] HRD基本语法602可以包括NAL HRD参数存在标志452，诸如nal_hrd_parameters_present_flag元素，以指示NAL HRD参数信息的存在。HRD基本语法602可以包括VCL HRD参数存在标志 456，诸如vcl_hrd_parameters_present_flag元素，以指示用于VCL 的HRD信息的存在。
[0164] 如果NAL HRD参数存在标志452或VCL HRD参数存在标志 456具有值1，则HRD基本语法602可以包括附加的与CPB相关的元素。例如，HRD基本语法602可以包括子画面CPB参数存在标志 462、位速率标度310、CPB大小标度312、初始CPB去除延迟长度 322、CPB去除延迟长度324，以及DPB输出延迟长度326。
[0165] HRD基本语法602可以包括子画面CPB参数存在标志462，诸如sub_pic_cpb_params_present_flag元素，以指示子画面CPB参数是否在视频位流110中存在。如果子画面CPB参数存在标志462具有值1，则HRD基本语法602可以包括滴答分频数(divisor)606，诸如tick_divisor_minus2元素，以规定可以在视频位流110中表示的时间的最小间隔。
[0166] HRD基本语法602可以包括位速率标度310，诸如 bit_rate_scale元素，以指示编码的画面缓冲区(CPB)的最大输入位速率。HRD基本语法602可以包括CPB大小标度312，诸如 cpb_size_scale元素，用于确定CPB的大小。
[0167] HRD基本语法602可以包括初始CPB去除延迟长度322，诸如 initial_cpb_removal_delay_length_minus1元素，以指示缓冲周期 SEI消息的元素的位长度。HRD基本语法602可以包括CPB去除延迟长度324，诸如cpb_removal_delay_length_minus1元素，以指示画面计时SEI消息中元素cpb_removal_delay的位长度。
[0168] HRD基本语法602可以包括DPB输出延迟长度326，诸如dpb_output_delay_length_minus1元素。DPB输出延迟长度326指示解码的画面缓冲区(DPB)的大小。
[0169] HRD基本语法602可以包括用于子层的每个实例的一组参数。 HRD基本语法602可以包括利用诸如[i]的迭代器的循环结构来描述用于子层的每个实例的参数。
[0170] HRD基本语法602可以包括子层计数306，诸如 MaxNumSubLayersMinus1元素，以指示视频位流110中子层的最大数量。HRD基本语法602可以包括固定画面速率标志448，诸如 fixed_pic_rate_flag元素，以指示在视频位流110中任意两个连续画面的HRD输出时间之间的时序距离是否受约束。
[0171] 如果固定画面速率标志448具有值1，则HRD基本语法602可以包括画面持续时间608，诸如pic_duration_in_tc_minus1元素。画面持续时间608可以指示编码的视频序列中以输出次序的任意两个连续画面的HRD输出时间之间的时序距离。
[0172] HRD基本语法602可以包括低延迟标志460，诸如 low_delay_hrd_flag元素。低延迟标志460可以指示HRD操作模式。
[0173] HRD基本语法602可以包括CPB计数308，诸如 cpb_cnt_minus1元素。CPB计数308可以指示视频位流110中备选的CPB规范的数量。
[0174] 如果NAL HRD参数存在标志452具有值1，则HRD基本语法 602可以对子层的每个实例包括HRD子层参数结构610，诸如hrd_parameters_sub_layer元素。HRD子层参数结构610可以描述与每个子层相关的参数。
[0175] 如果VCL HRD参数存在标志456具有值1，则HRD基本语法 602可以对图2的时序层230的每个实例包括HRD子层参数结构 610，诸如hrd_parameters_sub_layer元素。HRD子层参数结构610 可以描述与每个子层相关的参数。
[0176] 在视频位流110的串行传输当中，HRD基本语法602包括位于HRD子层参数结构610之前的低延迟标志460。低延迟标志460在 HRD子层参数结构610之前被提取。NAL HRD参数存在标志452 和VCL HRD参数存在标志456在HRD子层参数结构610之前被提取。
[0177] HRD子层参数结构610的元素可以基于低延迟标志460、NAL HRD参数存在标志452和VCL HRD参数存在标志456的值来提取。例如，如果低延迟标志460具有值1，并且或者NAL HRD参数存在标志452或者VCL HRD参数存在标志456具有值1，则HRD 子层参数结构610的CPB计数308的值可以明确地设成0并且视频编码系统100可以操作在低延迟模式，只有单个编码的画面缓冲区。
[0178] 研究发现，利用HRD基本语法602编码和解码图1的视频内容 108可以减小视频位流110的大小并减少显示图1的视频流112所需的视频缓冲的量。减小视频位流110的大小增加了功能性并且提高了视频流112的显示性能。
[0179] 现在参考图7，其中示出了HRD子层语法702的例子。HRD子层语法702描述与用于假想参考解码器的时序层子层相关联的参数。
[0180] HRD子层语法702包括如在图7的HRD子层语法表中描述的元素。如在图7的HRD子层语法表中所描述的，HRD子层语法702 的元素以层次结构进行布置。
[0181] HRD子层语法702可以包括HRD子层语法首部704，诸如 HRD_parameters_sub_layer元素。HRD子层语法首部704是用于识别HRD子层语法702的描述符。
[0182] HRD子层语法702可以包括循环结构，以定义用于编码的画面缓冲区的每个实例的一组参数。循环结构基于诸如SchedSelIdx元素的调度选择索引314确定维数。
[0183] HRD子层语法702可以包括位速率值316，诸如 bit_rate_value_minus1元素。位速率值316可用来规定用于编码的画面缓冲区的每个实例的最大输入位速率。
[0184] HRD子层语法702可以包括CPB大小值318，诸如cpb_size_value_minus1元素。CPB大小值318可用来确定编码的画面缓冲区的每个实例的大小。
[0185] HRD子层语法702可以包括CBR标志320，诸如cbr_flag元素。CBR标志320指示用于为编码的画面缓冲区的每个实例解码图 1的视频位流110的操作模式。如果CBR标志320具有值1，则假想的流交付调度以恒定的位速率模式操作。否则，视频位流110包括间歇性位速率模式。
[0186] HRD子层语法702可以描述图2的时序层230的属性。时序层 230也可以被指定为图1的视频位流110的子层。
[0187] HRD子层语法702可以表示视频位流110的子层或者时序层 230。HRD子层语法702可用来选择一个子层或一个时序层230，并且允许从视频位流110中去除其它子层的实例。
[0188] 去除子层或时序层230的实例可以减少视频位流110内总的数据量并且使得能够降低位速率或调整图1的视频内容108的大小，以用于更好的传输、改进的存储带宽控制与调整。提供特定于子层或时序层的HRD参数使得能够更好并且更流畅地进行位流解码，以产生图 1的视频流112。
[0189] 研究发现，通过对与图2的时序层230关联的各个子层的处理启用更细粒度的控制，利用HRD子层语法702提供了改进的性能。通过利用不同子层之间的各个差异，利用HRD子层语法702的各个实例可以提供提高的处理速度。
[0190] 现在参考图8，其中示出了HRD VUI语法802的例子。HRD VUI语法802描述与假想参考解码器相关联的参数。
[0191] HRD VUI语法802包括如在图8的HRD VUI语法表中所描述的元素。如在图8的HRD VUI语法表中所描述的，HRD VUI语法 802的元素以层次结构进行布置。
[0192] HRD VUI语法802可以包括HRD VUI语法首部804，诸如 vui_parameters元素。HRD VUI语法首部804是用于识别HRD VUI 语法802的描述符。
[0193] HRD VUI语法802可以包括纵横比标志406，诸如 aspect_ratio_info_present_flag元素，以示出附加的纵横比信息在图 1的视频位流110中被编码。HRD VUI语法802可以包括纵横比指示符408，诸如aspect_ratio_idc元素，以描述图1的视频内容108 的纵横比。
[0194] 纵横比指示符408可以包括指示纵横比可以由纵横比宽度410和纵横比高度412的独立值来描述的值。纵横比宽度410，诸如 sar_width元素，可以描述视频内容108的宽度。纵横比高度412，诸如sar_height元素，可以描述视频内容108的高度。
[0195] HRD VUI语法802可以包括过扫描存在标志414，诸如 overscan_info_present_flag元素，以指示过扫描信息是否包括在视频位流110中。如果过扫描存在标志414具有值1，则HRD VUI语法 802可以包括过扫描合适标志416，诸如overscan_appropriate_flag 元素，以指示在视频位流110中编码的视频内容108是否可以利用过扫描显示。
[0196] HRD VUI语法802可以包括视频信号存在标志418，诸如 video_signal_type_present_flag元素，以指示视频信号类型信息包括在视频位流110中。如果视频信号存在标志418具有值1，则HRD VUI语法802可以包括视频格式420、视频全范围标志422以及颜色描述存在标志424。
[0197] 视频格式420，诸如video_format元素，可以指示视频的格式。视频全范围标志422，诸如video_full_range_flag元素，可以指示用于在视频位流110中编码的视频内容
108的黑电平以及亮度和色度信号的范围。
108的黑电平以及亮度和色度信号的范围。
[0198] 颜色描述存在标志424，诸如colour_description_present_flag元素，可以指示视频位流110中颜色描述信息的存在。颜色描述信息可以包括颜色原色426、传输特性428及矩阵系数430。
[0199] 颜色原色426，诸如colour_primaries元素，可以指示在视频内容108中使用的配色方案。传输特性428可以指示视频内容108的光电传输特性。矩阵系数430，诸如matrix_coefficient元素，可以指示用来从由颜色原色426指示的红、绿、蓝原色中导出亮度和色度信号的系数。
[0200] HRD VUI语法802可以包括色度位置信息存在标志432，诸如 chroma_loc_info_present_flag元素，以指示附加的色度信息是否在视频位流110中存在。如果色度位置信息存在标志432可以具有值 1，则HRD VUI语法802可以包括色度顶部域样本434和色度底部域样本436。
[0201] 色度顶部域样本434，诸如chroma_sample_loc_type_top_field 元素，可以是枚举值，以规定用于视频位流110中顶部域的色度样本的位置。色度底部域样本436，诸如 chroma_sample_loc_type_bottom_field元素，可以是枚举值，以规定用于视频位流110中底部域的色度样本的位置。
[0202] HRD VUI语法802可以包括中性色度标志438，诸如 neutral_chroma_indication_flag元素，可指示解码的色度样本是否等于1。HRD VUI语法802可以包括场序列标志440，诸如 field_seq_flag，以指示编码的视频序列信息是否包括表示视频的场。
[0203] HRD VUI语法802可以包括HRD参数结构454，诸如 hrd_parameters元素。HRD参数结构454可以包括用于每个子层的假想参考解码器参数。
[0204] HRD VUI语法802可以包括位流限制标志466，诸如 bitstream_restriction_flag元素，以指示编码的视频序列位流限制参数在视频位流110中存在。如果位流限制标志466具有值1，则HRD VUI语法802可以包括块固定结构标志468、运动向量标志 470、每画面单位最大字节数472、每最小cu单位最大位数474、最大运动向量水平长度476、及最大运动向量垂直长度478。
[0205] HRD VUI语法802可以包括块固定结构标志468，诸如 tiles_fixed_structure_flag元素，以指示在编码的视频序列中每个画面都具有相同数量的块。HRD VUI语法802可以包括运动向量标志470，诸如motion_vector_over_pic_boundaries_flag元素，以指示在画面边界之外没有样本用于预测。
[0206] HRD VUI语法802可以包括每画面单位最大字节数472，诸如 max_bytes_per_pic_denom元素，以指示用于与编码的视频序列中任何编码的画面相关联的VCL NAL单元大小的总和的最大字节数的值。HRD VUI语法802可以包括每最小cu单位最大位数474，诸如 max_bits_per_min_cu_denom元素，以指示用于编码的视频序列的任何画面中任何编码块的编码单元数据的编码位数的上界。
[0207] HRD VUI语法802可以包括最大运动向量水平长度476，诸如 log2_max_mv_length_horizontal元素，以指示用于视频位流110中所有画面的解码的水平运动向量分量的最大绝对值。HRD VUI语法 802可以包括最大运动向量垂直长度478，诸如 log2_max_mv_length_vertical元素，以指示用于视频位流110中所有画面的解码的垂直运动向量分量的最大绝对值。
[0208] 研究发现，通过对各个子层处理启用更细粒度的控制，在HRD VUI语法802中利用HRD参数结构454提供了改进的性能。通过利用不同子层之间的各个差异，利用HRD参数结构454的单独实例可以提供提高的处理速度。
[0209] 现在参考图9，其中示出了视频编码系统100的功能框图。视频编码系统100可以包括第一设备102、第二设备104和通信路径 106。
[0210] 第一设备102可以经通信路径106与第二设备104进行通信。第一设备102可以在第一设备传输932中经通信路径106将信息发送到第二设备104。第二设备104可以在第二设备传输934中经通信路径 106将信息发送到第一设备102。
[0211] 为了说明起见，视频编码系统100把第一设备102作为客户端设备示出，但是应当理解，视频编码系统100可以让第一设备102作为不同类型的设备。例如，第一设备可以是服务器。在另一个例子中，第一设备102可以是视频编码器102、视频解码器104、或其组合。
[0212] 同样，为了说明起见，视频编码系统100把第二设备104作为服务器示出，但是应当理解，视频编码系统100可以让第二设备104作为不同类型的设备。例如，第二设备104可以是客户端设备。在另一个例子中，第二设备104可以是视频编码器102、视频解码器104、或其组合。
[0213] 为了使本发明的这个实施例中的描述简洁，第一设备102将被描述为客户端设备，诸如视频照相机、智能电话或其组合。本发明不限于对设备类型的这种选择。该选择是本发明的例子。
[0214] 第一设备102可以包括第一控制单元908。第一控制单元908可包括第一控制接口914。第一控制单元908可以执行第一软件912，以提供视频编码系统100的智能。
[0216] 第一控制接口914可用于第一设备102中的第一控制单元908与其它功能单元之间的通信。第一控制接口914也可用于在第一设备 102外部的通信。
[0217] 第一控制接口914可以从其它功能单元或者从外部源接收信息，或者可以发送信息到其它功能单元或者到外部目的地。外部源和外部目的地指第一设备102外部的源和目的地。
[0218] 第一控制接口914可以以不同的方式实现，并且，依赖于哪些功能单元或外部单元正在与第一控制接口914结合，可包括不同的实现。例如，第一控制接口914可以用电路系统、微机电系统 (MEMS)、光学电路系统、无线电路系统、有线电路系统或其组合来实现。
[0219] 第一设备102可以包括第一存储单元904。第一存储单元904可以存储第一软件912。第一存储单元904也可以存储相关的信息，诸如图像、语法信息、视频、地图、配置文件、显示优选项、传感器数据或其任意组合。
[0220] 第一存储单元904可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。例如，第一存储单元904可以是诸如非易失性随机访问存储器(NVRAM)的非易失性储存器、闪存存储器、盘储存器、或者诸如静态随机访问存储器(SRAM)的易失性储存器。
[0221] 第一存储单元904可以包括第一存储接口918。第一存储接口 918可用于第一设备102中的第一存储单元904与其它功能单元之间的通信。第一存储接口918也可用于在第一设备102外部的通信。
[0222] 第一设备102可以包括第一成像单元906。第一成像单元906可以从现实世界中捕获图1的视频内容108。第一成像单元906可以包括数码照相机、摄像机、光学传感器或其任意组合。
[0223] 第一成像单元906可以包括第一成像接口916。第一成像接口 916可用于第一设备102中的第一成像单元906与其它功能单元之间的通信。
[0224] 第一成像接口916可以从其它功能单元或者从外部源接收信息，或者可以发送信息到其它功能单元或者到外部目的地。外部源和外部目的地指第一设备102外部的源和目的地。
[0225] 依赖于哪些功能单元或外部单元正在与第一成像单元906结合，第一成像接口916可包括不同的实现。第一成像接口916可以用类似于第一控制接口914的实现的工艺和技术来实现。
[0226] 第一存储接口918可以从其它功能单元或者从外部源接收信息，或者可以发送信息到其它功能单元或到外部目的地。外部源和外部目的地指第一设备102外部的源和目的地。
[0227] 依赖于哪些功能单元或外部单元正在与第一存储单元904结合，第一存储接口918可包括不同的实现。第一存储接口918可以用类似于第一控制接口914的实现的工艺和技术来实现。
[0228] 第一设备102可以包括第一通信单元910。第一通信单元910可以用于启用到第一设备102和来自第一设备102的外部通信。例如，第一通信单元910可以允许第一设备102与第二设备104、诸如外围设备或桌面计算机的附件、及通信路径106进行通信。
[0229] 第一通信单元910也可充当通信集线器，从而允许第一设备102 充当通信路径106的一部分，并且不限于是通信路径106的终点或终端单元。第一通信单元910可以包括有源和无源组件，诸如微电子器件或天线，用于与通信路径106交互。
[0230] 第一通信单元910可以包括第一通信接口920。第一通信接口 920可用于第一设备102中第一通信单元910与其它功能单元之间的通信。第一通信接口920可以从其它功能单元接收信息，或者可以发送信息到其它功能单元。
[0231] 依赖于哪些功能单元正在与第一通信单元910结合，第一通信接口920可包括不同的实现。第一通信接口920可以用类似于第一控制接口914的实现的工艺和技术来实现。
[0232] 第一设备102可以包括第一用户接口902。第一用户接口902允许用户(未示出)与第一设备102结合和交互。第一用户接口902可包括第一用户输入(未示出)。第一用户输入可以包括触摸屏、手势、运动检测、按钮、滑块、旋钮、虚拟按钮、语音识别控制或其任意组合。
[0233] 第一用户接口902可以包括第一显示接口120。第一显示接口 120可以允许用户与第一用户接口902进行交互。第一显示接口120 可以包括显示器、视频屏幕、扬声器或其任意组合。
[0234] 第一控制单元908可以利用第一用户接口902进行操作，以便在第一显示接口120上显示由视频编码系统100产生的视频信息。第一控制单元908也可以执行第一软件912，用于视频编码系统100的其它功能，包括从第一存储单元904接收视频信息用于在第一显示接口 120上显示。第一控制单元908还可执行第一软件912，用于经第一通信单元910与通信路径106进行交互。
[0235] 为说明起见，第一设备102可被划分成具有第一用户接口902、第一存储单元904、第一控制单元908和第一通信单元910，但是应当理解，第一设备102可以具有不同的划分。例如，第一软件912可进行不同地划分，使得它的一些或全部功能可在第一控制单元908和第一通信单元910中。而且，第一设备102可以包括为简洁起见而在图1中没有示出的其它功能单元。
[0236] 视频编码系统100可以包括第二设备104。第二设备104可被优化成用于在具有第一设备102的多设备实施例中实现本发明。与第一设备102相比，第二设备104可以提供附加的或更高性能的处理能力。
[0237] 第二设备104可以包括第二控制单元948。第二控制单元948可以包括第二控制接口954。第二控制单元948可以执行第二软件 952，以提供视频编码系统100的智能。
[0238] 第二控制单元948可以以多种不同方式实现。例如，第二控制单元948可以是处理器、嵌入式处理器、微处理器、硬件控制逻辑、硬件有限状态机(FSM)、数字信号处理器(DSP)或其组合。
[0239] 第二控制接口954可用于第二设备104中的第二控制单元948与其它功能单元之间的通信。第二控制接口954也可用于在第二设备 104外部的通信。
[0240] 第二控制接口954可以从其它功能单元或者从外部源接收信息，或者可以发送信息到其它功能单元或者到外部目的地。外部源和外部目的地指第二设备104外部的源和目的地。
[0241] 第二控制接口954可以以不同的方式实现，并且，依赖于哪些功能单元或外部单元正在与第二控制接口954结合，可包括不同的实现。例如，第二控制接口954可以用电子电路、微机电系统 (MEMS)、光学电路系统、无线电路系统、有线电路系统或其组合来实现。
[0242] 第二设备104可以包括第二存储单元944。第二存储单元944可以存储第二软件952。第二存储单元944也可以存储相关的信息，诸如图像、语法信息、视频、地图、配置文件、显示优选项、传感器数据或其任意组合。
[0243] 第二存储单元944可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。例如，第二存储单元944可以是诸如非易失性随机访问存储器(NVRAM)的非易失性储存器、闪存存储器、盘储存器、或者诸如静态随机访问存储器(SRAM)的易失性储存器。
[0244] 第二存储单元944可以包括第二存储接口958。第二存储接口 958可用于第二设备104中的第二存储单元944与其它功能单元之间的通信。第二存储接口958也可用于在第二设备104外部的通信。
[0245] 第二存储接口958可以从其它功能单元或者从外部源接收信息，或者可以发送信息到其它功能单元或者到外部目的地。外部源和外部目的地指第二设备104外部的源和目的地。
[0246] 依赖于哪些功能单元或外部单元正在与第二存储单元944结合，第二存储接口958可包括不同的实现。第二存储接口958可以用类似于第二控制接口954的实现的工艺和技术来实现。
[0247] 第二设备104可以包括第二成像单元946。第二成像单元946可从现实世界中捕获视频内容108。第一成像单元906可以包括数码照相机、摄像机、光学传感器或其任意组合。
[0248] 第二成像单元946可以包括第二成像接口956。第二成像接口 956可用于第二设备104中第二成像单元946与其它功能单元之间的通信。
[0249] 第二成像接口956可以从其它功能单元或者从外部源接收信息，或者可以发送信息到其它功能单元或者到外部目的地。外部源和外部目的地指第二设备104外部的源和目的地。
[0250] 依赖于哪些功能单元或外部单元正在与第二成像单元946结合，第二成像接口956可包括不同的实现。第二成像接口956可以用类似于第一控制接口914的实现的工艺和技术来实现。
[0251] 第二设备104可以包括第二通信单元950。第二通信单元950可以启用到第二设备104和来自第二设备104的外部通信。例如，第二通信单元950可以允许第二设备104与第一设备102、诸如外围设备或桌面计算机的附件、及通信路径106进行通信。
[0252] 第二通信单元950也可充当通信集线器，从而允许第二设备104 充当通信路径106的一部分，并且不限于到通信路径106的终点或终端单元。第二通信单元950可以包括有源和无源组件，诸如微电子器件或天线，用于与通信路径106交互。
[0253] 第二通信单元950可以包括第二通信接口960。第二通信接口 960可用于第二设备104中第二通信单元950与其它功能单元之间的通信。第二通信接口960可以从其它功能单元接收信息，或者可以发送信息到其它功能单元。
[0254] 依赖于哪些功能单元正在与第二通信单元950结合，第二通信接口960可包括不同的实现。第二通信接口960可以用类似于第二控制接口954的实现的工艺和技术来实现。
[0255] 第二设备104可以包括第二用户接口942。第二用户接口942允许用户(未示出)与第二设备104结合和交互。第二用户接口942可以包括第二用户输入(未示出)。第二用户输入可以包括触摸屏、手势、运动检测、按钮、滑块、旋钮、虚拟按钮、语音识别控制或其任意组合。
[0256] 第二用户接口942可以包括第二显示接口943。第二显示接口 943可以允许用户与第二用户接口942进行交互。第二显示接口943 可包括显示器、视频屏幕、扬声器或其任意组合。
[0257] 第二控制单元948可以利用第二用户接口942进行操作，以便在第二显示接口943上显示由视频编码系统100产生的信息。第二控制单元948也可以执行第二软件952，用于视频编码系统100的其它功能，包括从第二存储单元944接收显示信息用于在第二显示接口943 上显示。第二控制单元948还可执行第二软件952，用于经第二通信单元950与通信路径
106进行交互。
106进行交互。
[0258] 为说明起见，第二设备104可被划分成具有第二用户接口942、第二存储单元944、第二控制单元948和第二通信单元950，但是应当理解，第二设备104可以具有不同的划分。例如，第二软件952可以进行不同地划分，使得它的一些或全部功能可在第二控制单元948 和第二通信单元950中。而且，第二设备104可以包括为简洁起见而在图1中没有示出的其它功能单元。
[0259] 第一通信单元910可以与通信路径106耦合，以便在第一设备传输932中向第二设备104发送信息。第二设备104可以在第二通信单元950中从通信路径106的第一设备传输932中接收信息。
[0260] 第二通信单元950可以与通信路径106耦合，以便在第二设备传输934中向第一设备102发送视频信息。第一设备102可以在第一通信单元910中从通信路径106的第二设备传输934中接收视频信息。视频编码系统100可以由第一控制单元908、第二控制单元948或其组合来执行。
[0261] 第一设备102中的功能单元可以单独且独立于其它功能单元工作。为说明起见，视频编码系统100通过第一设备102的操作进行描述。应当理解，第一设备102可以操作视频编码系统100的任何模块和功能。例如，第一设备102可描述为操作第一控制单元908。
[0262] 第二设备104中的功能单元可以单独且独立于其它功能单元工作。为说明起见，视频编码系统100可通过第二设备104的操作进行描述。应当理解，第二设备104可以操作视频编码系统100的任何模块和功能。例如，第二设备104可描述为操作第二控制单元948。
[0263] 为说明起见，视频编码系统100通过第一设备102和第二设备 104的操作进行描述。应当理解，第一设备102和第二设备104可以操作视频编码系统100的任何模块和功能。例如，第一设备102被描述为操作第一控制单元908，但是应当理解，第二设备104也可以操作第一控制单元908。
[0264] 现在参考图10，其中示出了图1的视频编码系统100的控制流 1000。控制流1000描述通过接收视频位流110解码图1的视频位流 110、提取图1的视频语法114、解码视频位流110及显示图1的视频流112。
[0265] 视频编码系统100可以包括接收模块1002。接收模块1002可以接收由图1的视频编码器102编码的视频位流110。
[0266] 视频位流110可以以各种方式被接收。例如，视频位流110可以从图1的视频编码器102中作为流化的串行位流、预编码的视频文件 (未示出)、用经过图1的通信路径106的数字消息(未示出)或其组合来接收。
[0267] 在说明性例子中，视频位流110可以按时间顺序方式作为串行位流接收，其中视频语法114的每个元素被顺序地接收。视频位流110 可以包括视频语法114，诸如图4的HEVC VUI语法402、图5的 HEVC VUI扩展语法502、图8的HRD VUI语法802、图3的HRD 语法302、图6的HRD基本语法602、图7的HRD子层语法702或者其组合。
[0268] 例如，接收模块1002可以接收HEVC VUI语法402，其中图4 的HRD参数结构454在图4的低延迟标志460之前被接收。类似地，图4的NAL HRD参数存在标志452可以在HRD参数结构454 之前被接收。如果NAL HRD参数存在标志452具有值0，则图4的 VCL HRD参数存在标志456可以在HRD参数结构454之前被接收。
[0269] 视频位流110可以包括图2的一个或多个时序层230，用于以不同的帧速率表示图1的视频内容108。接收模块1002可以选择性地过滤时序层230，以减小视频位流110的大小。
[0270] 例如，接收模块1002可以接收具有用于三个不同帧速率，诸如 60fps，30fps和15fps，的时序层230的视频位流110。接收模块 1002可以过滤视频位流110，以去除时序层
230的60fps和30fps 实例并且只处理时序层230的15fps实例。
230的60fps和30fps 实例并且只处理时序层230的15fps实例。
[0271] 视频编码系统100可以包括获取语法模块1004。获取语法模块 1004可以识别并提取视频位流110的视频语法114。获取语法模块 1004可以包括获取时序层模块1008和解码时序层模块1010。
[0272] 获取语法模块1004可以以各种方式提取用于视频位流110的视频语法114。例如，获取语法模块1004可以通过在视频位流110中查找指示视频语法114存在的首部来提取视频语法114。在另一个例子中，可以利用解复用器(未示出)从视频位流110的视频图像数据分离视频语法114来从视频位流110中提取视频语法114。
[0273] 在还有另一个例子中，可以通过提取序列参数集原始字节序列负荷(RBSP)语法来从视频位流110中提取视频语法114。序列参数集RBSP是包含封装在网络抽象层单元中的整数个字节的语法结构。 RBSP可以为空或者具有后面跟着RBSP停止位并且跟着零或多个等于0的附加位的包含语法元素的数据位的串形式。
[0274] 当各个元素在视频位流110中按时间次序可用时，视频语法114 可以通过提取所述元素，从串行位流中以时间顺序的方式进行提取。视频编码系统100可以基于之前提取的元素的值选择性地提取和处理后面的元素。
[0275] 例如，获取语法模块1004可以基于之前接收的低延迟标志460 的值处理HRD语法302。在视频位流110的串行传输中，HEVC VUI扩展语法502包括位于HRD语法302前面的低延迟标志460。低延迟标志460在HRD语法302之前被提取。NAL HRD参数存在标志452和VCL HRD参数存在标志456在HRD语法302之前被提取。
[0276] HRD语法302的元素可以基于低延迟标志460、NAL HRD参数存在标志452和VCL HRD参数存在标志456的值来提取。例如，如果低延迟标志460具有值1，并且或者NAL HRD参数存在标志452 或者VCL HRD参数存在标志456具有值1，则HRD语法302的 CPB计数308的值可以被被获取语法模块1004提取并明确地设成0 并且视频编码系统100可以操作在低延迟模式中，只有单个编码的画面缓冲区。
[0277] 在另一个例子中，如果视频位流110在文件中接收，则可以通过检查包含视频位流110的文件的文件扩展名来检测视频语法114。在还有另一个例子中，如果视频位流110经图
1的通信路径106作为数字消息接收，则视频语法114可以作为数字消息结构的一部分提供。
1的通信路径106作为数字消息接收，则视频语法114可以作为数字消息结构的一部分提供。
[0278] 研究发现，通过基于之前提取的低延迟标志460的实例动态地解码视频位流110以处理HRD参数结构454，获取语法模块1004可以提高性能。例如，当应用HRD参数结构454时，接收低延迟标志 460通过改变编码的画面缓冲区中所允许的延迟级别而提高解码性能。
[0279] 获取语法模块1004可以基于图2的语法类型202提取视频语法 114的各个元素。语法类型202可以包括AVC视频、SVC视频、 MVC视频、MVD视频、SSV视频或其组合。
[0280] 获取语法模块1004可以提取具有视频可用性信息的视频语法 114。视频语法114可以包括HEVC VUI语法402、HEVC VUI扩展语法502、HRD VUI语法802或者其组合。
[0281] 获取语法模块1004可以提取具有假想参考解码器信息的视频语法114。视频语法114可以包括HRD语法302、HRD基本语法 602、HRD子层语法702或者其组合。
[0282] 视频语法114可以具有各种配置。例如，HEVC VUI语法402 可以包括用于时序层230的所有实例的HRD语法302的一个实例。在另一个例子中，获取语法模块1004可以对时序层230的每个实例包括HRD语法302的一个实例。
[0283] 在说明性例子中，HRD语法302可以包括CPB计数308、图3 的位速率标度310、图3的CPB大小标度312、图3的初始CPB去除延迟长度322、图3的CPB去除延迟长度324、图3的DPB输出延迟长度326和图3的时间偏移量长度328的单个实例。如由CPB 计数308指示的，HRD语法302可以对每个编码的画面缓冲区包括具有用于图3的位速率值316、图3的CPB大小值318和图3的 CBR标志320当中每一个的实例的循环结构。
[0284] 视频编码系统100可以包括解码模块1006。解码模块1006可以利用视频语法114解码视频位流110，以形成视频流112。解码模块 1006可以包括获取时序层模块1008和解码时序层模块1010。
[0285] 解码模块1006可以利用视频语法114，诸如HEVC VUI语法 402、HEVC VUI扩展语法、HRD VUI语法802或其组合，解码视频位流110。解码模块1006可以利用HRD语法302、HRD基本语法602、HRD子层语法702或其组合来识别和提取时序层230。
[0286] 获取时序层模块1008可以识别时序层230，以便从视频位流110 中提取来形成视频流112。获取时序层模块1008可以以各种方式识别时序层230。
[0287] 例如，获取时序层模块1008可以通过从视频语法114，诸如 HEVC VUI扩展语法，提取图2的时序层计数238来识别时序层 230。时序层计数238指示视频位流110中时序层230的总数。
[0288] 获取时序层模块1008可以利用视频语法114从视频位流110提取时序层230，以描述视频语法114的元素的数据类型和大小。视频语法114可以包括假想参考解码器参数语法，诸如HRD语法302、 HRD基本语法602、HRD子层语法702或其组合。
[0289] 例如，获取时序层模块1008可以提取图4的纵横比标志406，作为视频位流110中无符号的1位值。类似地，图4的纵横比高度 412和图4的纵横比宽度410可以从视频位流110提取，作为如在 HEVC VUI语法402中描述的无符号16位值。
[0290] 获取时序层模块1008可以通过基于视频语法114解析视频位流 110中的数据来提取时序层230。视频语法114可以定义时序层230 的数量和配置。
[0291] 例如，获取时序层模块1008可以使用时序层计数238来确定从视频位流110提取的时序层230的总数。图4的视频格式420可以从视频位流110提取，以确定视频内容108的视频系统的类型。
[0292] 在另一个例子中，CPB计数308可以用来确定为提取时序层230 所使用的编码的画面缓冲区的个数。位速率标度310可以用来确定用于编码的画面缓冲区的最大输入位速率。CPB大小标度312可以用来确定编码的画面缓冲区的大小。
[0293] 在说明性例子中，获取时序层模块1008可以基于HRD语法302 从视频位流110提取时序层230的图2的第一实例232和图2的第二实例234。HRD语法302对视频位流110中的所有时序层230可以是共同的。
[0294] 解码时序层模块1010可以从获取时序层模块1008接收时序层 230并且解码时序层230，以形成视频流112。解码时序层模块1010 可以以各种方式解码时序层230。
[0295] 例如，解码时序层模块1010可以利用HRD基本语法602来解码时序层230，以便从视频位流110提取视频编码层信息。在另一个例子中，解码时序层模块1010可以利用HRD子层语法702来解码时序层230。解码时序层模块1010可以解码时序层230并且选择一个时序层230来形成视频流112。
[0296] 视频编码系统100可以包括显示模块1012。显示模块1012可以从解码模块1006接收视频流112并且在图1的显示接口120上显示视频流112。视频流112可包括时序层230的一个或多个实例。
[0297] 从视频内容108的物理对象的光图像到在图1的显示接口120的像素元件上显示视频流112的物理变换导致对物理世界中显示接口 120的像素元件的物理变化，诸如像素元件电气状态的变化，基于视频编码系统100的操作。当在物理世界中发生变化时，诸如在视频内容108中捕获的对象的运动，移动本身产生附加的信息，诸如对视频内容108的更新，这些信息转换回显示接口120的像素元件中的变化，用于视频编码系统100的继续操作。
[0298] 第一设备102的图9的第一软件912可以包括视频编码系统 100。例如，第一软件912可以包括接收模块1002、获取语法模块 1004、解码模块1006和显示模块1012。
[0299] 图9的第一控制单元908可以执行第一软件912，以便让接收模块1002接收视频位流110。第一控制单元908可以执行第一软件 912，以便让获取语法模块1004从视频位流110中识别和提取视频语法114。第一控制单元908可以执行第一软件912，以便让解码模块 1006形成视频流112。第一控制单元908可以执行第一软件912，以便让显示模块1012显示视频流112。
[0300] 图1的第二设备104的图9的第二软件952可以包括视频编码系统100。例如，第二软件952可以包括接收模块1002、获取语法模块 1004和解码模块1006。
[0301] 图9的第二控制单元948可以执行第二软件952，以便让接收模块1002接收视频位流110。第二控制单元948可以执行第二软件 952，以便让获取语法模块1004从视频位流110中识别和提取视频语法114。第二控制单元948可以执行第二软件952，以便让解码模块 1006形成图1的视频流112。第二控制单元948可以执行第二软件，以便让显示模块1012显示视频流112。
[0302] 视频编码系统100可以在第一软件912和第二软件952之间进行划分。例如，第二软件952可以包括解码模块1006和显示模块 1012。如前面所描述的，第二控制单元948可以执行在第二软件952 上划分的模块。
[0303] 在说明性例子中，视频编码系统100可以包括第一设备102上的视频编码器102和第二设备104上的视频解码器104。视频解码器 104可以包括图1的显示处理器118和显示接口120。
[0304] 第一软件912可以包括接收模块1002和获取语法模块1004。依赖于图9的第一存储单元904的大小，第一软件912可以包括视频编码系统100的附加模块。如前面所描述的，第一控制单元908可以执行在第一软件912上划分的模块。
[0305] 第一控制单元908可以操作图9的第一通信单元910，以便向第二设备104发送视频位流110。第一控制单元908可以操作第一软件 912，以操作图9的第一成像单元906。图9的第二通信单元950可以经通信路径106向第一设备102发送视频流112。
[0306] 视频编码系统100描述了作为例子的模块功能或次序。模块可进行不同的划分。例如，获取语法模块1004和解码模块1006可以合并。每个模块可以单独且独立于其它模块来操作。
[0307] 此外，在一个模块中产生的数据可以被另一个模块使用，而不用彼此间直接耦合。例如，解码模块1006可以从接收模块1002接收视频位流110。
[0308] 模块可以以各种方式来实现。接收模块1002、获取语法模块 1004、解码模块1006和显示模块1012可以用第一控制单元908或第二控制单元948内的硬件加速器(未示出)实现，或者可以用第一控制单元908或第二控制单元948之外的第一设备102或第二设备104 中的硬件加速器(未示出)实现。
[0309] 现在参考图11，其中示出了在本发明的另一实施例中视频编码系统的操作方法1100的流程图。方法1100包括：在块1102接收视频位流，作为串行位流；在块1104从视频位流中提取视频语法；从视频语法提取低延迟标志、网络抽象层(NAL)假想参考解码 (HRD)参数存在标志、和视频编码层(VCL)HRD参数存在标志；基于低延迟标志、NAL HRD参数存在标志和VCL HRD参数存在标志从视频位流提取HRD语法；在块1106基于具有HRD语法的视频语法从视频位流中提取时序层；以及在块1108基于时序层形成视频流，用于在设备上显示。
[0310] 研究发现，本发明因此具有许多方面。本发明有价值地支持并服务于降低成本、简化系统和提高性能的历史趋势。因此，本发明的这些和其它有价值的方面使技术状态前进到至少更高的水平。
[0311] 因此，研究发现，本发明的视频编码系统用于有效地为高清应用编码和解码视频内容，很容易适用于高效且经济地制造的与传统制造工艺和技术完全兼容的视频编码设备。结果产生的过程和配置直接明了、成本有效、不复杂、高通用性、准确、灵敏且有效，并且能够通过改进已知的组件来实现，便于容易、高效且经济地制造、应用和利用。
[0312] 虽然本发明已经结合具体的最佳模式进行了描述，但是应当理解，鉴于前面的描述，许多备选方案、修改和变化将对本领域技术人员显而易见。因此，属于所附权利要求范围之内的所有此类备选方案、修改和变化都要包括在内。至此，在本文中阐述或在附图中示出的所有内容都要在说明性和非限制性的意义上进行解释。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 将子块细分的推导用于来自基础层的预测的可伸缩视频编码 | 2020-05-12 | 834 |
| 用于视频编码的自适应环内滤波 | 2020-05-12 | 197 |
| 一种视频编码的方法和装置 | 2020-05-08 | 697 |
| 图像处理方法、装置、存储介质及电子设备 | 2020-05-08 | 595 |
| 仿射模型的多个假设 | 2020-05-08 | 85 |
| 一种基于动态注意力机制的多事件视频描述方法 | 2020-05-08 | 733 |
| 在native层实现无缝录像的方法、装置及终端设备 | 2020-05-08 | 810 |
| 一种360度视频帧间快速编码方法 | 2020-05-08 | 379 |
| 基于非对称多层LSTM的连续手语视频自动翻译方法 | 2020-05-12 | 178 |
| 处理传输媒体数据和指定参考图像的方法和装置 | 2020-05-11 | 553 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈