[0249] 推导变量scaleFactorX[i][j]和scaleFactorY[i][j]如下:
[0250] curScaledRefLayerPicWidthInSamplesL[i][j]=curPicWidthInSamplesL[i]–curScaledRefLayerLeftOffset[i][j]–curScaledRefLayerRightOffset[i][j][0251] curScaledRefLayerPicHeightInSamplesL[i][j]=curPicHeightInSamplesL[i]–curScaledRefLayerTopOffset[i][j]–curScaledRefLayerBottomOffset[i][j][0252] scaleFactorX[i][j]=((refPicWidthInSamplesL[i][j]<<16)+(curScaledRefLayerPicWidthInSamplesL[i][j]>>1)) /
curScaledRefLayerPicWidthInSamplesL[i][j]
[0253] scaleFactorY[i][j]=((refPicHeightInSamplesL[i][j]<<16)+( c u rS c a l e d R e f L a ye r P i c H e i g h t I n Sa m p l e s L > > 1) ) /curScaledRefLayerPicHeightInSamplesL[i][j]
[0254] 变量(xCol[i][j],yColxCol[i][j])规定了第i层中的亮度采样定位(xP,yP)的第j直接参考层的图片中的共置亮度采样定位,推导变量(xCol[i][j],yColxCol[i][j])如下,:
[0255] xCol[i][j]=Clip3(0,(refPicWidthInSamplesL[i][j]–1),((xP-curScaledRefLayerLeftOffset[i][j])*scaleFactorX[i][j]+(1<<15))>>16))[0256] yCol[i][j]=Clip3(0,(refPicHeightInSamplesL[i][j]–1),((yP-curScaledRefLayerTopOffset[i][j])*scaleFactorY[i][j]+(1<<15))>>16))[0257] 推导变量colCtbAddr[i][j]如下:
[0258] xColCtb[i][j]=xCol[i][j]>>refCtbLog2SizeY[i][j]
[0259] yColCtb[i][j]=yCol[i][j]>>refCtbLog2SizeY[i][j]
[0260] colCtbAddr[i][j]=xColCtb[i][j]+(yColCtb[i][j]*refPicWidthInCtbsY[i][j])
[0261] 当min_spatial_segment_offset_plus1[i][j]大于0时,规定应适用下列条件的位流一致性:
[0262] 如果ctu_based_offset_enabled_flag[i][j]等于0,则仅使用下列中的一种:
[0263] ·在被分配至(referredtoby)第i层的第j直接参考层中的图片的每个PSS中,tiles_enabled_flag等于0并且entropy_coding_sync_enabled_flag等于0,并且适用如下:
[0264] ·使切片区段A成为第i层的图片的任一切片区段并且使ctbAddr成为切片区段A中的最后CTU的光栅扫描地址。使切片区段B成为与切片A属于相同访问单元的切片区段(属于第i层的第j直接参考层)并且包含具有光栅扫描地址colCtbAddr[i][j]的CTU。使切片区段C成为与切片区段B位于同一图片内的切片区段并且按照解码顺序紧随切片区段B之后,并且按照解码顺序,min_spatial_segment_offset_plus1[i]–1切片区段存在于切片区段B与该切片区段之间。当切片区段C存在时,切片区段A的语法元素受约束,以使得切片区段C中的任何采样或语法元素值、或者按照解码顺序紧随C之后的任何切片区段或相同图片可用于切片区段A的任何采样的解码处理时的层间预测。
[0265] ·在被分配至第i层的第j直接参考层中的图片的每个PPS中,tiles_enabled_flag等于1并且entropy_coding_sync_enabled_flag等于0,并且适用如下:
[0266] ·使瓦片A成为第i层的任一图片picA中的任一瓦片并且使ctbAddr成为瓦片A中的最后CTU的光栅扫描地址。使瓦片B成为图片picB中与picA属于相同访问单元并且术语第i层的第j直接参考层的瓦片并且包含具有光栅扫描地址colCtbAddr[i][j]的CTU。使瓦片C成为也位于picB中并且按照解码顺序紧随瓦片B之后的瓦片,并且按照解码顺序,min_spatial_segment_offset_plus1[i]–1瓦片存在于瓦片B与该瓦片之间。当存在切片区段C时,瓦片A的语法元素受到约束,以使得瓦片C中的任何采样或语法元素值、或者按照解码顺序紧随C之后的任一瓦片或相同图片可用于瓦片A内的任何采样的解码处理时的层间预测。
[0267] ·在被分配至第i层的第j直接参考层中的图片的各个PPS中,tiles_enabled_flag等于0并且entropy_coding_sync_enabled_flag等于1,并且适用如下:
[0268] ·使CTU行A成为第i层的任一图片picA中的任一CTU行并且使ctbAddr成为CTU行A中的最后CTU的光栅扫描地址。使CTU行B成为图片picB中与picA属于同一访问单元并且属于第i层的第j直接参考层的CTU行并且包含具有光栅扫描地址colCtbAddr[i][j]的CTU。使CTU行C成为也位于picB中并且按照紧随CTU行B之后的CTU行,并且按照解码顺序,min_spatial_segment_offset_plus1[i]-1CTU行存在于CTU行B与该CTU行之间。当存在CTU行C时,CTU行A的语法元素受约束,以使得CTU行C中的任何采样或语法元素、或者按照解码顺序紧随C之后的相同图片的行可用于CTU行A内的任何采样的解码处理时的层间预测。
[0269] 否则(ctu_based_offset_enabled_flag[i][j]等于1),并且适用如下:
[0270] ·推导变量refCtbAddr[i][j]如下:
[0271] xOffset[i][j]=((xColCtb[i][j]+minHorizontalCtbOffset[i][j])>(refPicWidthInCtbsY[i][j]-1))?(refPicWidthInCtbsY[i][j]-1–xColCtb[i][j]):(minHorizontalCtbOffset[i][j])
[0272] yOffset[i][j]=(min_spatial_segment_offset_plus1[i][j]–1)*refPicWidthInCtbsY[i][j]
[0273] refCtbAddr[i][j]=colCtbAddr[i][j]+xOffset[i][j]+yOffset[i][j][0274] ·使CTUA成为第i层的任一图片picA中的任一CTU,并且使ctbAddr成为CTUA的光栅扫描地址ctbAddr。使CTUB成为该图片中与picA属于同一访问单元并且属于第i层的第j直接参考层的CTU并且具有比refCtbAddr[i][j]更大的光栅扫描地址。当CTUB存在时,CTUA的语法元素受约束,使得CTUB中的任何采样或者语法元素值被用于CTUA内的任何采样的解码处理时的层间预测。
[0275] 即,总结刚刚提出的实施方式,使用标记通过可切换方式可完成层间偏移量的基于CTB的指示,标记在一方面的基于CTB的指示与另一方面的层间偏移量的基于空间区段的指示之间切换,如此,基于CTB的可替代指示可使用无条件发送的语法元素,即,与基于CTB或者基于空间区段的层间偏移量指示无关,即,如果发出关于空间区段式指示的信号,则为指示空间区段的单元中的层间偏移量的语法元素,该语法元素作为基础层图片中的“触发器CTB”的定位的诸如水平分量或者垂直分量等一个分量。根据在基于CTB的层间偏移量指示与基于空间区段的层间偏移量指示之间切换的语法元素,则不再发送进一步的语法元素。具体地,如果发出基于CTB指示的信号,则发送进一步的语法元素。在这种情况下,后面的语法元素指示“触发器CTB”的定位的缺少维度,因此,解码器可使用两种语法元素按照行和列在基础层图片的CTB的规则布置中识别“触发器CTB”,并且一旦将CTB解码,则解码器可开始将增强层图片解码。尽管如此,通过使用第一语法元素的代表性状态中的一种(即,min_spatial_segment_delay)可完整地切换任一层间偏移量的指示。由于CTB之间限定的预定解码顺序,所以在基于CTB的层间偏移量指示情况中,解码器仍可将触发器CTB的位置的水平分量和垂直分量转换成基础层图片的CTB的数目,在开始增强层图片的第一CTB的解码之前,不得不将基础层图片完全解码,以使得解码器可使用图36中的实施方式来控制层间偏移量的基于CTB指示的服从性。
[0276] 在下文中,将更为详细地描述本发明的另外的方面。第四方面涉及下列问题:优选地,从编码器接收位流的所有分区网络实体能够容易区分在多层数据流中传递的各个层。例如,中间网络实体可能对从进一步传输中排除诸如关于超过某一分辨率
阈值的采样分辨率的层等特定信息层感兴趣。下列描述提供了关于HEVC的设想扩展的当前情形的概述。
[0277] HEVC[1]的视频参数集合(VPS)提供访问编码位流的高阶并且包含对处理中间设备或者端设备中的位流比较重要的信息。即将到来的HEVC的可伸缩和多视图扩展将进一步获益于提供指定用于可伸缩位流的语法的VPS扩展。VPS扩展的主要任务之一是提供一种对NAL单元报头中的nuh_reserved_zero_6bits进行解译的统一解决方法。nuh_reserved_zero_6bits旨在被重新加签为layer_id并且用作可伸缩视频编码情景中的普通层标识符。在下表中给出了NAL单元报头中的layer_id语法元素以及在[1]中和如图2所示给出的NAL单元报头。
[0278] 在设计过程[5]中考虑了两种常见解决方法。最后,在VPS型式中发出将NAL单元的报头中的单个标识符的值映射至潜在的多个可伸缩标识符的信号的解决方法。其次,在VPS扩展中发出将NAL的报头中的单个标识符的各个位(或者位块)分配至特定可伸缩的标识符的解决方法。
[0279] 在[4]中报告的当前VPS扩展语法的设计使用映射解决方法,但是,已经包含两种解决方法所必需的所有语法元素,即,两种语法元素指示可伸缩性的类型(cp.scalability_map)和每个可伸缩性维度的层数(cp.dimension_id_len_minus1)。
[0280] 映射解决方法将进一步的语法元素引入至VPS扩展语法,即,则为被编码成u(v)的可伸缩标识符的实际值,可选地,如果编码器选择通过非连续形式稀疏地分配layer_id的值,则为layer_id。
[0281] 在许多非常类似的可伸缩情景中,例如,两个或者三个空间层、两个或者三个视图等,不一定必须使用NAL单元报头中的6位层标识符的所有63个值。对于这些可伸缩的情景,与基于映射的解决方法相比较,将NAL单元报头中的层标识符的各个位分配至具体的可伸缩维度的解决方法具有两种优点。
[0282] ·就可伸缩性维度标识符而言,NAL单元报头中的层标识符值的解译不需要间接法或者查找法。
[0283] ·不需要发送映射解决方法所需的VPS扩展语法元素,而VPS扩展语法元素是用于可伸缩信令的VSP扩展位的重要部分。
[0284] ·中间设备不需要存储用于通过各个视频位流的映射表。
[0285] 根据上面所描述的第四方面的概念,HEVC的高阶语法中可能存在指示是否使用映射解决方法或者分区解决方法的暗示。
[0286] 根据一种实施方式,依据暗示,映射有关语法元素的一部分(cp.vps_nuh_layer_id_present_flag、layer_id_in_nuh[i]以及dimension_id[i][j])被发送或者被漏掉,并且发出关于可伸缩性类型(cp.scalability_mask)和每种可伸缩性的层的量(cp.dimension_id_len_minus1)的语法元素的信号并且根据暗示对语法元素进行解译,该暗示为关于NAL单元报头中的可伸缩标识符的分区或者映射的信息。
[0287] 参考图23提出与本发明的第四方面的概念对应或者采用本发明的第四方面的概念的实施方式。图23示出了网络实体,网络实体可以是如上面已经讨论的任一种的视频解码器,或者可以是在编码器与解码器之间产生的中间网络实体。通常,使用参考符号680表示网络实体。网络实体用于处理诸如上述所述数据流40中的任一种等多层视频数据流682。在网络实体680是视频解码器的情况下,该处理将涉及多层视频数据流628的解码。在中间网络实体的情况下,例如,该处理可涉及视频数据流的转发。
[0288] 在层中将情景编码成多层视频数据流,以使得在各个层中,将该情景编码成通过可伸缩维度扩展的可伸缩性空间的不同操作点,其中,多层视频数据流由第一NAL单元构成,第一NAL单元中的每个均与一个层相关联,并且第二NAL单元散布在第一NAL单元内并且在多层视频数据流中呈现常见信息。换言之,第一NAL单元684可携带视频的图片中的一个或者多个切片,且“图片“对应于多层视频数据流682的任一层。
[0289] 在上述实施方式中,为易于描述,仅讨论了两个层。自然,层的数目可以大于二并且甚至关于层参与之前任一层的信息分类可因层不同而不同。除第一NA两单元684之外,示出了散布在NAL单元684之间的NAL单元686,但是,与第一NAL单元684相比较,通过单独的信道可执行其发送。第二NAL单元通过下面更为详细设定的方式在多层视频数据流中呈现常见信息。
[0290] 为了更为详细地描述一方面的第一NAL单元与另一方面的数据流682的层的设置之间的关联性,参考图24。图24示出了代表全部第一NAL单元684的第一NAL单元684。报头684内包括层指示符字段690。除报头688之外,NAL单元684包括关于上面参考其他图讨论的切片数据的有效
载荷数据692,即,关于使用层间预测而编码的视频内容的数据。图24还示出了层的设置(即,694)。具体地,图24中所示的层的设置694应表示全部可能层,通过NAL单元684中的层指示符字段690可代表并且区分彼此。即,一方面的设置694与层指示符字段
690的可能值之间的相关联函数应被假设成一一映射。在图24中,使用小圆圈示例性地示出了设置694中的各个层,每个小圆圈均具有其上标记的特定编号。尽管这些标记编号建议了设置694的层之间限定的顺序,然而,应注意,下列讨论将揭示并不仅基于层指示符字段690推导设置694中的层的布置或者分类方式。更确切地,鉴于此,网络实体680需要对散布的第二NAL单元686内的类型指示符字段696进行检测。然而,后面将对此进行描述。
[0291] 换言之,直至目前,图24中的设置694的各个元素仅代表NAL单元684中的层指示符字段690的一种可能状态。通过层指示符字段690可以区分设置694中的层,但是,对于没有第二NAL单元686提供的额外信息的网络实体680,这些层之间的语义含义和顺序并不能变得清晰,然而,实际上,设置694的层形成树的
节点,且树之间的分支对应于特定的可伸缩性维度或者轴。例如,一个层是基础层并且对应于树的根。每个分支连接两层,即,树的两个节点,描述了特定层如何贡献于另一层,即,使用层间预测额外提供信息分类,信息分类对应于可伸缩性维度并且可以是例如空间分辨率增加、SNR增加等。例如,出于简化之缘故,图24示出了通过与空间可伸缩性和SNR可伸缩性对应的两个可伸缩性维度700和702扩展的二维可伸缩性空间698。图24中示出了层的示例性树机器通过层698的扩展。图24还示出了数据流682中并不可以呈现设置694的全部可能层。例如,在图24的示例性情况中,实际上,数据流682中仅使用五个层。
[0292] 例如,图22示出了层指示符字段可具有6个位,从而区分设置694的26=64中可能状态或者可能层。通过下面更为详细描述的方式经由第二NAL单元686可以调整自设置694的这些可能值或层至可伸缩性空间698中的操作点的映射。图24中使用参考符号704表示该映射。“操作点“应表示可伸缩空间698内的设置694内的至少实际呈现层的位置。例如,可伸缩空间698的原点可以与基础层或者树根相关联,而沿着可伸缩空间698的轴700和轴702中的任一个的每个分支均可具有固定长度1。因此,指向可伸缩空间698中的操作点的矢量可具有整数值坐标。
[0293] 目前,简要总结所提出的描述,多层视频数据流682提供关于多个层中的视频内容或者情景的信息。层布置在树中,且每个层均经由分支连接至树。从形成树根的基础层开始,紧随的下一层贡献于关于某种信息的视频内容信息的重构型式,可被解译为可伸缩性维度。因此,每个层是树根层或者通过分支的特定路径连接至后者,并且需要属于沿着该路径布置的层的NAL单元684老重构相应层的视频内容。自然,优选地,如果执行映射704,使得相对于树根引导相应分支的末梢端的任何“贡献”层具有层指示符字段690的值,即,比位于相应分支的近端处的层的层指示符字段的值更高。
[0294] 图25更为详细地示出了类型指示符字段696的含义。图25示出了作为固定位长度的字段的层指示符字段690。在任何情况下,字段690的长度与类型指示符字段696的值无关。然而,如果类型指示符字段具有第一状态,则层指示符字段690被视为整体,即,其全部n个位被共同处理,以区分其可能值。优选地,如果类型指示符字段696假设第一状态,则通过网络实体680从层指示符字段690推推导出n位整数。在类型指示符字段696假设第一状态的情况下,网络实体680通过使用第二NAL单元686内传递的映射信息执行m位字段690的可能值到操作点的映射704。如图25所示,例如,映射信息708包括分配层指示符字段690的每个实际使用的可能值的表,矢量指向相应可能值的相关联操作点。即,如果类型指示符字段696假设第一状态,则网络实体680可从第二NAL单元686推推导出映射信息708并且可对每个层指示符字段690执行查找映射信息或者标708,以查找相关联的矢量,以在空间698中定位相应的/相关联的操作点。与映射信息708中的可能值相关联的矢量的维度的数目p可以为默认设置或者可以在诸如第二NAL单元686等数据流内发出信号。之后,示出了可以发出下列信息的信号,以传递关于映射信息708的信息:vps-_max_layers_minus1可确定实际使用的M位字段690的可能值的数目M。num_dimensions_minus1可限定维数。使用语法元素scalability_mask可以发送后面两个变量。然后,经由一个面的配对可能值(即,layer_id_in_nuh)与p维矢量(即,dimension_id[i][j])可以发出表自身的信号。映射704则引导至p维矢量,即,经由映射信息708被映射至相应矢量710中的一个矢量,矢量710指向空间698内与具有层指示符字段690的NAL单元的层相关联的操作点
[0295] 然而,如果类型指示符字段696假设第二状态,则不同程度地执行映射704。具体地,在这种情况下,通过将层指示符字段690分割成一个以上部分执行该映射,即,通过将m位字段690的序列分割成n个连续子序列的位。将由此获得的每个部分用作n维矢量712的坐标x1…xn,反之,坐标x1…xn指向可伸缩空间698内与包括层指示符字段690的NAL单元的层相关联的操作点。例如,通过形成字段690的前(最重要)m1个位之外的第一部分、字段690的随后m2个(次重要)位之外的第二部分等、直至具有m1+…+mn=m的第n部分,将层指示符字段690的m个位分割成n个部分。每个部分的位可直接被视为整数值表示法。
[0296] 在类型指示符字段假设第二状态的情况下,维数n可以是默认设置或者经由数据流发出信号。如果在基于相同的语法元素推推导出n之后,使用本文中所描述的具体实施方式来确定p,如果类型指示符字段696假设第一状态,即,基于scalability_mask。还经由语法元素dimension_id_len_minus1示例性地发出信号:层指示符字段690被细分成的部分的位长度(即,m1,…,mn),但是,再次,通过默认(无显式发送)可实现该细分。
[0297] 应注意,可被解析的诸如scalability_mask等相同语法结构(与类型指示符字段696无关)可指示可伸缩空间的维度的数目和语义含义。然而,例如因为在映射情况(类型指示符字段的第一状态)中可用的可伸缩空间的维度的最大数目比分量解译情况(类型指示符字段的第一状态)中可用的最大数目更高,所以相对于映射情况,如果类型指示符字段
696指示层指示符字段的分量式解译,则该语法元素的允许状态可能受限于语法元素的可使用可能状态的适当子集。编码器仅相应地服从这种限制。
[0298] 关于图23至图25中的实施方式的示例性使用情况如下:
[0299] 大规模多方会议
[0300] 在基于RTP的大规模会话服务情景中,例如,网络会议,在获知相应视频位流的参数集合的
多点控制单元(MCU)中适配多方之间的传输视频。各方提供拇指位流和具有讲话者的增强空间分辨率(例如,720p和4K)的两个位流。MCU就关于向哪一方提供哪些流做出决策。因此,可伸缩性参数的易于解析明显减轻了MCU的负担。与可伸缩性信令的基于映射的解决方法相比较,基于分区的解决方法需要更少的计算和内存资源。
[0301] 传输系统
[0302] 在诸如传RTP或者MPEG2-TS等输系统中,与基于映射的解决方法相比较,可伸缩性相关的编解码器信息到相应元素的映射可获益于诸如分区等较不复杂的位保存机制。传输系统不可能采用映射解决方法形式的可伸缩性信令,而是,更确切地,解决映射间接并且针对各个可伸缩性维度产生专用可伸缩性标识符,进而在诸如分区解决方法中明确发出可伸缩性维度的信号。
[0303] 图26中的实施例提出了一种作为VPS扩展语法中的语法标记的可能实施方式,该实施方式允许基于如[4]中报道的VPS扩展语法在用于HEVC的扩展中的可伸缩性信令的基于映射解决方法与基于分区解决方法之间切换。
[0304] 具有等于1的值的dedicated_scalability_ids_flag指示根据dimension_id_len_minus1[]的值分割NAL单元报头中的layer_id字段的位并且layer_id字段的位属于在scalability_mask中发布信号的相应可伸缩性维度。具有等于1的值的dedicated_scalability_ids_flag指示不发出关于语法元素vps_nuh_layer_id_present_flag、layer_id_in_nuh[i]、以及dimension_id[i][j]的信号。具有等于1的值的dedicated_scalability_ids_flag指示描述对应NAL单元的可伸缩标识符的变量的推导仅使用NAL单元报头(cp.layer_id)中的可伸缩标识符的相应相关联位,例如,如下形式:
[0305] DependencyId=layer_id&&0x07
[0306] QualityId=layer_id&&0x38
[0307] 给定在NAL单元报头中发出关于layer_id的信号,具有等于0的值的dedicated_scalability_ids_flag指示发出关于语法元素vps_nuh_layer_id_present_flag、layer_id_in_nuh[i]、以及dimension_id[i][j]的信号,并且NAL单元报头中的layer_id的位与具体的可伸缩性维度不相关联,而是被映射至VPS扩展中的可伸缩标识符。具有等于0的值的dedicated_scalability_ids_flag指示描述对应NAL单元的可伸缩标识符的变量的推导使用语法元素dimension_id[i][j],例如,如下形式:
[0308] if(layer_id==layer_id_in_nuh[0]){
[0309] DependencyId=dimension_id[0][0]
[0310] QualityId=dimension_id[0][1]
[0311] 当dedicated_scalability_ids_flag等于0时,dimension_id_len_minus1[i]指示dimension_id[i][j]的位的长度。当dedicated_scalability_ids_flag等于1时,dimension_id_len_minus1[i]指示:
[0312] 如由scalability_mask指示的,与第i可伸缩性维度相关联的NAL单元报头中的layer_id的位数。
[0313] 图27中的
流程图进一步示出了本发明的可能实施方式。直接经由掩模位复制(maskedbitcopy)从layer_id的位推导可伸缩标识符或者经由与layer_id的具体值的相关联性在VPS中发出可伸缩标识符的信号。
[0314] 图31中示出了另一语法实施例。此处,通过“splitting_flag”发出类型指示符字段的信号,而层指示符字段被称为nuh_layer_id。根据“splitting_flag”,使用映射概念或者分区概念从nuh_layer_id推导可伸缩空间内的相应NAL单元层的操作点。通过等于1的splitting_flag示例性地发出分区概念的信号。然后,通过位掩模复制可以从NAL单元报头中的nuh_layer_id语法元素推导可伸缩标识符,即,关于可伸缩空间的可伸缩维度的矢量分量。关于图25中的矢量712的第i个分量(第i可伸缩性维度)的相应位掩模被限定如下。具体地,等于1的splitting_flag指示不存在dimension_id[i][j]语法元素(即,不存在任何映射信息708)并且NAL单元报头中的nuh_layer_id值的二进制标识符被分割成一系列NumScalabilityType,即,n个区段,具有根据dimension_id_len_minus1[j]的值的以位表示的长度的x1…n,并且从字段690的NumScalabilityType区段推测dimension_id[LayerIdxInVps[nuh_layer_id]][j]的值,即,矢量712的分量x1…n。通过一系列标记scalability_mask_flag发出关于可伸缩性空间的可伸缩轴的语法含义和数目的信号,从而向此处示例性地固定数目的预定可伸缩类型中的每个指示相应的可伸缩性类型是否属于可伸缩空间698的可伸缩性维度中的任一个。具体地,网络实体680能够根据图31中的for循环从标记scalability_mask_flag的序列中推导可伸缩性空间,即,可伸缩轴NumScalabilityType的语法含义和数目:
[0315] for(i=0,NumScalabilityTypes=0;i<16;i++){
[0316] scalability_mask_flag[i]
[0317] NumScalabilityTypes+=scalability_mask_flag[i]
[0318] }
[0319] 其中,等于1的scalability_mask_flag[i]指示存在第i可伸缩性维度,并且等于0的scalability_mask_flag[i]指示不存在第i可伸缩性维度。此处,i=1可表示多视角(视角可伸缩性),i=2可表示空间/SNR可伸缩性,并且i=0可表示深度映射信息的添加。其他可伸缩性维度类型也可存在,自然,刚刚概括的实施例仅是示出性的。假设nuh_layer_id的长度示例性地为6,则可如下完成分区或者掩模复制:
[0320] 变量dimBitOffset[0]被设置成等于0,并且对于1至NumScalabilityTypes–1(包含)范围内的j,dimBitOffset[j]的推导如下:
[0321]
[0322] dimension_id_len_minus1[NumScalabilityTypes-1]的值被推测等于5-dimBitOffset[NumScalabilityTypes-1]。
[0323] dimBitOffset[NumScalabilityTypes]的值被设置为等于6。
[0324] 规定了位流一致性,即,当NumScalabilityTypes大于0时,dimBitOffset[NumScalabilityTypes-1]应小于6。
[0325] 对于从0至NumScalabilityTypes–1(包含)的j,推测dimension_id[i][j]等于((nuh_layer_id&((1<>dimBitOffset[j])。
[0326] 总之,下列语法元素涉及将各个第一NAL单元与其可伸缩性空间内的操作点相关联:
[0327] 1)nuh_layer_id,即,层指示符字段690
[0328] 2)scalability_mask_flag的序列,即,显示空间698的可伸缩轴700、702的数目和含义的信息,以及由此字段的部分xi的数目n
[0329] 3)每个轴的字段690的各部分xi的dimension_id_len_minus1,即,位长度(只有一个除外,因为可推测剩余的一个包包括字段690的所有其余位706)
[0330] 4)此外,根据图31中的可选实施方式发送vps_max_layers_minus1,该语法元素指示可能 一些中的已使用/实际层的数目以及分区层指示符字段的vps_max_layers_minus1可能值的序列,即,layer_id_in_nuh[i]的序列,从而限定可能的操作点之间的排列顺序。
[0331] 如果splitting_flag等于0,则使用映射概念。因此,使用下列信息发送映射信息708:
[0332] 1)scalability_mask_flag的序列以及由此表708中的M矢量的分量的数目p,即,显示空间698的可伸缩轴700、702的数目和含义的信息
[0333] 2)表708中的矢量dimension_id[i][j]的各个分量xj的dimension_id_len_minus1,即,位长度,即,空间698的轴中的每一个
[0334] 3)可选地,layer_id_in_nuh[i]用作M个矢量dimension_id[i][j]的列表的索引[0335] 4)可选地,尽管图31中未示出,然而,发送vps_max_layers_minus1,从而指示可能的Σi2dimension_id_len_minus1[i]一些中的使用/实际层的数目M
[0336] 因此,如果splitting_flag等于0,则通过没有明确信令的分区固有地推导矢量710,即,没有转而被推测的信令dimension_id[i][j]。
[0337] 因此,根据第四方面,即,位流40的概念“NAL单元层标识符的可切换解译”可包括NAL单元,即,VPSNAL单元,VPSNAL单元包括类型指示符字段300,经由类型指示符字段300,可以在映射概念与位分割概念之间切换,以对“正常”NAL单元中的层指示符字段302进行解译。因此,在两种模式下使用字段302的相同位位置,但是,在模式之间发生位流变化时发送发出位的解译和解译指令信息的信号,即,映射信息或者分割和语义信息。尽管这使类型指示符字段的额外传输成为必要,然而,该概念一起引导更为有效的位流传输作为映射概念的优点,并且可根须需要采用位分割概念,因为诸如根据层数等,两者概念可从不同的程度适用于不同的多层数据。
[0338] 本申请的第五方面关于多标准的多层视频解码器
接口。此处设定的概念描述了传输层解码器以及传输层解码器(类似MPEG传输流或者RTP)与支持不同层中的不同视频编码标准的可伸缩视频解码器之间的接口(例如,基础层中的H.264/AVC和增强层中的HEVC)。
[0339] 可伸缩的视频位流由各层构成:其由一个基础层与一个或者多个增强层构成,一个基础层包含独立的解码
视频信号,并且一个或者多个增强层可仅结合基础层(以及潜在地其他增强层)被解码,并且提供更高的
时间分辨率(时间伸缩性)、空间分辨率(空间伸缩性)、质量(SNR伸缩性)、更高的位深度(位深度伸缩性)、视频信号或者其他相机视图(多视角伸缩性)
[0340] 如H.264/AVCSVC的现有可伸缩视频编码标准限定相同标准中的基础层和增强层。通过可伸缩位流具有与非可伸缩位流相同的基础格式的方式设计基础层与增强层。如果将可伸缩位流输入到非可伸缩解码器中,则仍可以找出包类型并且丢弃未知的包。
[0341] HEVC是允许使用基础层的不同视频编码标准(例如,H.264/AVC)的第一视频编码标准。两种标准的包格式是不同的,因此,基础层解码器不能理解增强层包。另一方面,增强层解码器可理解增强层包格式,但是,不能理解基础层包格式。
[0342] 在音频/视频系统中,使用传输层将若干个
音频流与
视频流合成并且提供如定时和流类型等元数据。
[0343] 在现有的多层传输层解码器中,将基础层和增强层的访问单元多路复用成单一视频数据流(例如,H.264/AVC的Annex B Byte stream)。将该视频流输入至视频解码器中。
[0344] 在所有情况下,如果基础层与增强层使用不同的视频编码标准,则不能将基础层包与增强层包合成单个位流。
[0345] 根据第五方面的实施方式,传输层解码器区分下列情况:
[0346] 1.读取输出的视频解码器仅可将基础层解码
[0347] 2.读取输出的视频解码器可将基础层与增强层解码,并且使用相同的视频编码标准将基础层与增强层编码
[0348] 3.读取输出的视频解码器可将基础层与增强层解码,并且使用不同的视频编码标准将基础层与增强层编码
[0349] 在情况1中,传输层解码器使用下列行为:
[0350] 仅从传输层中提出包含基础层的包并且将包输入至视频编码标准中规定的格式的单标准单层视频解码器中。
[0351] 具体实施方式是传输流解码器通过仅选择具有被分配的流类型“与ITU-T Rec.H.264|ISO/IEC 14496-10的Annex A中定义的一个或者多个配置文件相符的AVC视频流或者AVC视频子位流”的流从MPEG-2传输流中提取H.264/AVC NAL单元并且将H.264/AVC NAL单元输入至H.264/AVC specification的Annex B中定义的字节流格式的H.264/AVC视频解码器中。在传输流解码器中丢弃属于其流类型不等于流类型“与ITU-T Rec.H.264|ISO/IEC 14496-10的Annex A中定义的一个或者多个配置文件相符的AVC视频流或者AVC视频子位流”的流的NAL单元。图28给出了具体实施方式的例证。
[0352] 在情况2中,传输层解码器使用下列行为:
[0353] 从传输层提取来自基础层和增强层的包并且将包输入至视频编码标准中规定的格式的单标准多层视频解码器中。
[0354] 具体实施方式可通过选择具有被分配的流类型“与ITU-T Rec.H.264|ISO/IEC 14496-10的Annex A中定义的一个或者多个配置文件相符的AVC视频流或者AVC视频子位流”的基础
层流并且还选择具有被分配的流类型“ITU-T Rec.H.264|ISO/IEC 14496-10的Annex G中定义的一个或者多个配置文件相符的AVC视频流的SVC视频子位流”的一个或者多个增强层而从MPEG-2传输流中提取H.264/AVC NAL单元。不同层的NAL单元被多路复用成H.264/AVC specification的Annex B中定义的字节流格式并且被输入至H.264/AVC SVC视频解码器中。图29给出了具体实施方式的例证。
[0355] 在情况3中,传输层解码器使用下列行为:
[0356] 从传输层提取来自基础层和增强层的包。通过下列部分中描述的方式之一在多标准多层视频解码器中处理这些包。
[0357] 接口A
[0358] 如果增强层标准包格式允许携带基础层包,则通过增强层格式封装基础层包。这指将报头添加到由增强层标准视频解码器可以理解的各个基础层包中并且允许增强层视频解码器将包识别为不同视频编码标准的基础层。
[0359] 在本发明的具体实施方式中,使用H.264/AVCNAL单元作为HEVC NAL单元的有效载荷,即,在H.264/AVC NAL单元报头的前面添加HEVC NAL单元报头。使用HEVC NAL单元报头中的字段(例如,nal_unit_type)将有效载荷识别为H.264/AVC的NAL单元。位流可被输入至HEVC Annex B字节流格式的视频解码器中。图30给出了具体实施方式的例证。
[0360] 接口B
[0361] 可伸缩位流的各个层使用不同的信道。通过信道选择在解码器中确定视频编码标准。
[0362] 在本发明的具体实施方式中,在两个单独的信道中交换两个层。第一信道仅用于H.264/AVC基础层包(或者AnnexB字节流),而第二信道仅用于HEVC增强层包。
[0363] 接口C
[0364] 指示视频编码标准的类型的元数据字段与从传输流解码器传递至多标准多层视频解码器的各个包相关联。通过相同的方式可发出例如类似定时的其他元数据的信号。
[0365] 在具体实施方式中,通过相关联的元数据字段将各个基础层NAL单元识别为H.264/AVC NAL单元并且通过相关联的元数据字段将各个增强层NAL单元识别为HEVC NAL单元。
[0366] 因此,可将第五方面的概念描述为“多标准多层视频解码器接口”,从而就如何合成不同编解码器的位流的方式提供可能性。
[0367] 因此,根据本申请的第五方面,传输层解码器可被配置成如下面参考图44概括的。通常,使用参考符号770表示图44中所示的传输层解码器。传输层解码器770被配置为使入站多层视频数据流40经过在层中编码的情景,从而通过多标准多层解码器772进行解码且多标准多层解码器772连接传输层解码器770的输出接口。多层视频数据流40由上面已经参考本申请的各个其他方面概括的NAL单元构成,其描述可转移至图44的实施方式。各个NAL单元均与一个层相关联。各层与不同的编解码器(即,不同的标准)相关联。对于各个层,使用相同编解码器将与相应层相关联的NAL单元编码,即,与相应层相关联的一个。
[0368] 对于各个NAL单元,传输层解码器770被配置为识别与其相关联的相同编解码器并且将多层视频数据流40的NAL单元移交至多标准多层解码器,多标准多层解码器使用与不同编解码器相关联的层之间的层间预测,以将多层视频数据流解码。
[0369] 如上所述,各个NAL单元可通过上面参考本申请的第四方面已经概括的特定层指示符字段与多层视频数据流40中的一个层相关联,NAL单元中的一些或者全部可携带内容相关数据,即,一个或者多个切片。通过收集关于特定集合的层的所有NAL单元,解码器772利用由该集合的层授予的信息量将被编码成数据流40的视频内容或者情景解码。关于层相关性、具有一个以上可伸缩性维度的选项等,参考本申请的第四方面的描述。
[0370] 多层多标准解码器772能够处理不同的编解码器/标准。上面已经提出了关于不同标准的实施例,即,H.264、HEVC,但是,也可混合其他标准。不同的编解码器/标准并不受限于混合式编解码器。更确切地,还可使用混合的不同种类的编解码器。多层多标准解码器772所使用的层间预测可涉及不同层中使用的预测参数或者可涉及各个时间对齐层的图片采样。上面已经参考其他方面和实施方式对此进行了描述。
[0371] 传输层解码器770可被配置为对属于编码器的各层的NAL单元执行移交,多层多标准解码器772仅能够处理该移交。即,由传输层解码器770执行的移交可取决于与各个NAL单元相关联的编解码器的传输层解码器770的标识。具体地,传输层解码器770可对各个NAL单元执行如下:
[0372] ·例如,通过检测NAL单元的NAL单元报头中的层指示符字段而识别与当前被检测的NAL单元相关联的层。
[0373] ·一方面,基于数据流40的各层之间的相关联性与传输层解码器770基于数据流40的相应高阶语法的检测推导相同的编解码器/标准的相关联性,传输层解码器40确定当前检测的NAL单元是否满足下列两种标准:NAL单元层属于被转发至解码器772的层的子集,通过可伸缩空间中的当前检测的NAL单元层的操作点确定该子集,以及关于允许将可伸缩空间内的哪些操作点转发至多层多标准解码器772并且不能将可伸缩空间内的哪些操作点转发至多层多标准解码器772的外部指令。此外,传输层解码器770检查当前检测的NAL单元层编解码器是否属于多层多标准解码器772能够处理的编解码器/标准的集合。
[0374] ·如果检查显示通过当前检测的NAL单元满足这两种标准,则传输层解码器770将当前NAL单元转发至解码器772,以用于解码。
[0375] 对于传输层解码器770,存在确定一方面的数据流40中包含的各层之间的上述所述相关联性以及另一方面以上述所述相关联性为基础的编解码器/标准的不同可能性。例如,如上所述,参考“接口B”,可以使用不同的信道传递数据流40(即,一个信道中的一种编解码器/标准的各层的NAL单元)以及根据另一信道的另一编解码器/标准编码的各层的NAL单元。通过这种措施,传输层解码器770能够通过区分各个信道而推导一方面的各层之间的刚刚提及关联性以及另一方面的编解码器/标准。例如,对于数据流40的各个NAL单元,传输层解码器770确定相应NAL单元到达的信道,以识别与相应NAL单元或者相应NAL单元的层相关联的编解码器/标准。
[0376] 此外或者可替代地,传输层解码器770可通过根据相应编解码器/标准的方式将属于不同编解码器/标准的各层的NAL单元转发至多层多标准解码器772,以使得通过一个信道将属于一个编解码器/标准的各层的NAL单元发送至解码器772,并且通过另一信道将不同编解码器/标准的各层的NAL单元转发至多层多标准解码器772。
[0377] 基础传输层可提供“不同的信道”。即,为易于理解,通过区分由图44中未示出的基础传输层提供的不同信道标识符可以实现不同信道之间的区分。
[0378] 将数据流40移交至多层多标准解码器772的另一种可能性在于传输层解码器770使用具有NAL单元类型指示符的预定编解码器的NAL单元报头封装被识别为与层(与不同于预定编解码器的任一编解码器相关联)相关联的的NAL单元,NAL单元类型指示符字段被设置成指示相应层的编解码器的状态。这指如下:例如,预定编解码器可以是数据流40的任一增强层的任一编解码器。例如,基础层编解码器(即,与数据流40的基础层相关联的编解码器)可以不同于预定的编解码器(例如,HEVC)。因此,当使数据流40经过多层多标准解码器722时,传输层解码器770可将数据流40转换成与预定编解码器相符的数据流。鉴于此,传输层解码器770使用预定编解码器的NAL单元报头封装属于不使用预定编解码器被编码的层的每个NAL单元并且将NAL单元报头内的NAL单元类型指示符设置成指示相应实际层的编解码器的状态。例如,基础层NAL单元是使用HEVC和NAL单元报头(具有被设置成指示H.264的状态的NAL单元类型指示符)被相应地封装的基础层的H.264NAL单元。因此,多层多标准772将接收与数据流相符的HEVC。
[0379] 自然,如参考接口C描述的,可替代地,传输层解码器770可以为入站数据流40的每个NAL单元提供指示与相应NAL单元相关联的层与其相关联的编解码器的元数据。因此,将通过由此扩展的方式将数据流的40个NAL单元转发至解码器772。
[0380] 使用刚刚描述的可替代方法,易于通过进一步层扩展被编码成数据流的内容,然而,使用诸如新编码器等另一编码器将进一步进行层编码,并且不需要修改编解码器40的现有部分。多层多标准解码器进而能够处理新编解码器(即,新添加的一个),能够使用利用新编解码器编码的各层处理现有已混合的数据流。
[0381] 因此,上面提出了关于HEVC可伸缩位流的并行/低延迟视频编码概念。
[0382] 高效率视频编码(HEVC)标准[1]最初的特征在于:允许在编码器端和解码器端上并行处理的两种专用并行工具:瓦片和波前并行处理(WPP)。当与特征不是各个图片内的并行处理的HEVC编码视频相比较时,这些工具允许图片内的并行,目标在于提高处理时间,同时,使编码效率损失最小化。
[0383] 在可伸缩[2]的HEVC位流或者多视图[3]HEVC位流中,使用解码的基础层或者基本视图图片来预测增强层或者相关的视图图片。在上述描述中,使用术语“层”还可同时覆盖视图的概念。
[0384] 上述实施方式描述了能够在完成相关联的基础层图片的解码之前而开始增强层图片的解码的可伸缩视频解码器。基于每个层中使用的高阶并行工具完成图片区域解码。基础层解码器和增强层解码器可彼此并行操作并且还与实际层并行。基础层与增强层之间的每个层内的并行量可不同。此外,描述了规定适当设置具体位流的并行解码环境的信令。
[0385] 作为一般性提示,应注意如下:上述实施方式描述了解码器并且相应地根据各个方面设计编码器。应注意,只要涉及这些方面,则其全部可能具有共同点:解码器和编码器支持WPP和/或瓦片并行处理并且相应地描述与其有关的细节,这些细节应被视为同时适用于任何其他方面及其对应的描述,以引导这些其他方面的新实施方式或者补足这些其他方面的实施方式的描述,与关于使用术语“部分”、“空间区段”等(而非关于更为一般性表示的图片的并行处理区段的瓦片/子流)描述的相应方面(相应描述被转移至该相应方面)无关。同样适用于关于设定细分图片的可能方式的编码/预测参数和描述的细节:全部方面可被实现为产生解码器/编码器,解码器/编码器通过确定LCU/CTB的单元内的瓦片和/或子流使用LCU/CTB的细分。因此,通过任一这些方面,LCU/CTB通过使用上面参考各方面及其实施方式的子集而描述的递归式多树细分可被进一步细分成编码块。此外或者可替代地,从参考这些方面描述的切片与子流/瓦片之间的关系,所有方面的实施方式可采用切片概念。
[0386] 尽管在装置的上下文中已经描述了一些方面,然而,令人清晰的是,这些方面还代表对对应方法的描述,其中,块或者设备对应于方法步骤或者方法步骤的特征。类似地,在方法步骤的上下文中描述的各方面还代表了对应块的描述或者对应装置的项或者特征。通过(或者使用)
硬件装置可执行方法步骤中的一些或者全部,例如,
微处理器、可编程计算机、或者
电子电路。在一些实施方式中,通过该装置可执行一个或者多个最为重要的方法步骤中的一些。
[0387] 根据一种特定的实现方式规定,可以在硬件或者在
软件中实现本发明的实施方式。使用数字存储介质可以执行该实现方式,例如,
软盘、DVD、蓝光光盘、CD、ROM、PROM、EPRO、EEPROM或者闪存,数字存储介质具有存储在其上的电可读
控制信号,与可编程
计算机系统协作(或者能够协作),以使得执行相应的方法。因此,数字存储介质可以是计算机可读的。
[0388] 根据本发明的一些实施方式包括具有电可读控制信号的数据载体,数据载体能够与可编程的计算机系统协作,以使得执行此处所描述的方法中的一种。
[0389] 通常,本发明的实施方式可被实现为具有程序代码的
计算机程序产品,当计算机程序产品在计算机上运行时,程序代码可操作为执行方法中的一种。例如,程序代码可被存储在机器可读载体上。
[0390] 其他实施方式包括存储在机器可读载体上的用于执行本文中所描述的方法中的一种的计算机程序。
[0391] 因此,换言之,本发明方法的实施方式是计算机程序,当计算机程序在计算机上运行时,计算机程序具有用于执行本文中所描述的方法中的一种的程序代码。
[0392] 因此,本发明方法的进一步实施方式是数据载体(或者数字存储介质、或者计算机可读介质),数据载体包括其上记录的用于执行本文中所描述的方法中的一种的计算机程序,数据载体、数字存储介质、或者记录介质通常是易失性和/或非易失性的。
[0393] 因此,本发明方法的进一步实施方式是代表用于执行本文中所描述的方法中的一种的计算机程序的数据流或者信号序列。例如,数据流或者信号序列可被配置为经由数据通信连接(例如,经由互联网)被传输。
[0394] 进一步的实施方式包括被配置为或者被适配成执行本文中所描述的方法中的一种的处理装置(例如,计算机)或者可编程逻辑设备。
[0395] 进一步实施方式包括计算机,该计算机具有安装在其上的用于执行本文中所描述的方法中的一种的计算机程序。
[0396] 根据本发明的进一步实施方式包括被配置为将用于执行本文中所描述的方法中的一种的计算机程序(例如,通过电或者光学)传输至接收器的装置或者系统。例如,接收器可以是计算机、移动设备、内存设备等。例如,该装置或者系统可包括用于将计算机程序传输至接收器的文件
服务器。
[0397] 在一些实施方式中,可以使用可编程的逻辑设备(例如,场可编程门阵列)执行本文中所描述的方法的功能中的一些或者全部。在一些实施方式中,场可编程门阵列可与微处理器协作,以执行本文中所描述的方法中的一种。总之,优选地,通过任一硬件装置执行方法。
[0398] 使用硬件装置、或者使用计算机、或者使用硬件装置与计算机的组合可以实现本文中所描述的装置。
[0399] 使用硬件装置、或者使用计算机、或者使用硬件装置与计算机的组合可以执行本文中所描述的方法。
[0400] 上述所述实施方式仅示出了本发明的原理。应当理解的是,本文中所描述的布置的变形和改造以及细节对本领域技术人员显而易见,因此,其旨在仅受悬而未决的
专利权利要求的范围的限制,而不受通过此处的实施方式的描述和说明而提出的具体细节的限制。
[0401] 因此,已论述了以下方面:
[0402] 第一方面涉及一种视频解码器,用于将多层视频数据流40解码成使用从第一层至第二层的层间预测而被编码在层的层级中的情景,所述视频解码器支持在将所述层的图片12,15被细分而成的空间区段80中对所述多层视频数据流并行解码,其中,所述解码器被配置为:
[0403] 检测所述多层视频数据流的长期语法元素结构(606;例如,tile_boundaries_aligned_flag)以
[0404] 解译所述长期语法元素结构,所述长期语法元素结构假设第一可能值集合之外的值(例如,tile_boundaries_aligned_flag=1)作为对在预定时间段608内将所述第二层的图片15细分,使得所述第二层的图片的空间区段之间的边界与所述第一层的图片12的空间区段的每一个边界重叠,并且在比所述预定时间段短的时间间隔604内基于所述多层视频数据流的短期语法元素(602;例如,column_width_minus1[i]和column_width_minus1[i])周期性地确定将所述第一层的图片和所述第二层的图片细分成空间区段的保证;并且[0405] 如果所述长期语法元素结构假设了第二可能值集合之外的值(例如,tile_boundaries_aligned_flag=0),则在比所述预定时间段短的时间间隔内从所述多层视频数据流的所述短期语法元素周期性地确定将所述层的图片细分成空间区段,使得至少对于所述短期语法元素的第一可能值,所述第二层的图片的空间区段之间存在不与所述第一层的空间区段的边界中的任一个重叠的边界,并且至少对于所述短期语法元素的第二可能值,所述第二层的图片的空间区段之间存在与所述第一层的空间区段的每一个边界重叠的边界。
[0406] 第二方面涉及根据第一方面所述的视频解码器,其中,所述视频解码器被配置为:
[0407] 使用帧内图片空间预测对所述层的图片进行解码,并且用于各个空间区段的所述帧内图片空间预测在相应空间区段的边界线处中断;或者
[0408] 通过将所述第一层的图片的空间区段并行解码且支持跨所述第一层的图片的空间区段的边界线的所述帧内图片空间预测并且服从所述第一层的图片的空间区段的解码之间的解码延迟;以及通过将所述第二层的图片的空间区段并行解码且支持跨所述第二层的图片的空间区段的边界线的所述帧内图片空间预测并且服从所述第二层的图片的空间区段的解码之间的解码延迟,来使用所述帧内图片空间预测对所述层的图片进行解码。
[0409] 第三方面涉及根据第一方面或第二方面所述的视频解码器,支持在将所述层的图片细分而成的瓦片中对所述多层视频数据流进行瓦片并行解码,其中,所述解码器被配置为:
[0410] 解译所述长期语法元素,所述长期语法元素假设所述第一可能值集合之外的值作为对在预定时间段内将所述第二层的图片细分,使得所述第二层的图片的瓦片之间的边界与所述第一层的瓦片的每一个边界重叠,并且在比所述预定时间段短的时间间隔内基于所述短期语法元素周期性地确定所述第二层相对于所述第一层的图片的细分的瓦片细化的保证;以及
[0411] 如果所述长期语法元素假设了所述第二可能值集合之外的值,则在比所述预定时间段短的时间间隔内从所述多层视频数据流的所述短期语法元素周期性地确定将所述层的图片细分成瓦片,使得至少对于所述短期语法元素的第一可能值,所述第二层的图片的瓦片之间存在不与所述第一层的瓦片的边界中的任一个重叠的边界,并且至少对于所述短期语法元素的第二可能值,所述第二层的图片的瓦片之间存在与所述第一层的瓦片的每一个边界重叠的边界。
[0412] 第四方面涉及根据第三方面所述的视频解码器,其中,所述视频解码器被配置为:
[0413] 使用所述帧内图片空间预测对所述层的图片进行解码,且用于各个瓦片的所述帧内图片空间预测在相应瓦片的边界线处中断。
[0414] 第五方面涉及根据第一方面或第二方面所述的视频解码器,其中,所述解码器被配置为:
[0415] 解译所述长期语法元素结构,所述长期语法元素结构假设第一可能值集合之外的值作为对在预定时间段内将所述第二层的图片细分,使得所述第一层的图片的各个空间区段精确地由所述第二层的图片的n个空间区段构成的保证,并且n取决于所述长期语法元素结构的值;并且
[0416] 如果将所述长期语法元素设置成第二可能值集合之外的值,则在比所述预定时间段短的时间间隔内基于所述多层视频数据流的所述短期语法元素周期性地确定所述预定时间段内的层间偏移量。
[0417] 第六方面涉及根据第一方面或第二方面所述的视频解码器,其中,所述解码器被配置为根据是否假设了所述第一可能值之外的值的所述长期语法元素结构来决定开始或者不开始尝试对所述多层视频数据流的所述第二层进行解码。
[0418] 第七方面涉及根据第一方面至第六方面中任一项所述的视频解码器,其中,所述视频解码器是混合式视频解码器。
[0419] 第八方面涉及一种视频编码器,用于利用从第一层至第二层的层间预测在层的层级中将场景编码成多层视频数据流,使得所述多层视频数据流能够在将所述层的图片细分而成的空间区段中被并行解码,其中,所述编码器被配置为:
[0420] 将长期语法元素结构606和短期语法元素602插入到所述多层视频数据流中,所述短期语法元素限定在时间间隔内将所述第一层的图片和所述第二层的图片细分成空间区段;并且
[0421] 在将所述长期语法元素结构设定为以下的值之间进行切换:
[0422] 第一可能值集合之外的值,且在比所述时间间隔大的预定时间段608内将所述短期语法元素设置成可能设置的集合之外的适当子集,所述适当子集被选择使得在所述预定时间段内将所述第二层的图片细分,使得所述第二层的图片的空间区段之间的边界与所述第一层的空间区段的每一个边界重叠;或者
[0423] 第二可能值集合之外的值,且在所述预定时间段内将所述短期语法元素设置成所述可能设置的集合中的任一个,所述可能设置的集合包含至少一种设置和至少另一种设置,根据所述至少一种设置,所述第二层的图片的空间区段之间存在不与所述第一层的空间区段的边界中的任一个重叠的边界,并且根据所述至少另一种设置,所述第二层的图片的空间区段之间存在与所述第一层的空间区段的每一个边界重叠的边界。
[0424] 第九方面涉及根据第八方面所述的视频编码器,其中,所述视频编码器被配置为:
[0425] 使用帧内图片空间预测对所述层的图片进行编码,且用于各个空间区段的所述帧内图片空间预测在相应空间区段的边界线处中断;或者
[0426] 通过支持跨所述第一层的图片的空间区段的边界线的所述帧内图片空间预测并且对用于将所述第一层的图片的空间区段的子集单独地进行熵编码的熵上下文概率进行初始化,或者根据该子集之间的顺序在采用处于中间适配状态的所述第一层的图片的空间区段的之前子集的所述熵上下文概率的基础上;以及通过支持跨所述第二层的图片的空间区段的边界线的所述帧内图片空间预测并且对用于将所述第二层的图片的空间区段中的子集单独地进行熵编码的所述熵上下文概率初始化,或者根据该子集之间的顺序在采用处于中间适配状态的所述第二层的图片的空间区段的之前子集的所述熵上下文概率的基础上,使用所述帧内图片空间预测并利用适配所述熵上下文概率的熵编码对所述层的图片进行编码。
[0427] 第十方面涉及根据第八方面或第九方面所述的视频编码器,其中,所述空间区段是瓦片,并且所述编码器被配置为:
[0428] 如果将所述长期语法元素结构设置为:
[0429] 所述第一可能值集合之外的值(tile_boundaries_aligned_flag=1),则在比所述时间间隔大的预定时间段内将所述短期语法元素设置成可能设置的集合之外的适当子集,所述适当子集被选择使得在所述预定时间段内使被细分成瓦片的所述第二层的图片与被细分成瓦片的所述第一层的图片相一致,或者使被细分成瓦片的所述第一层的图片细化;或者
[0430] 第二可能值集合之外的值(tile_boundaries_aligned_flag=0),则在所述预定时间段内将所述短期语法元素设置成所述可能设置的集合中的任一个,使得至少对于所述预定时间段内的一个时间间隔,将所述短期语法元素设置成所述可能设置的集合的第一可能值,根据所述第一可能值,所述第二层的图片的瓦片之间存在不与所述第一层的瓦片的边界中的任一个重叠的边界;并且至少对于所述预定时间段内的另一时间间隔,将所述短期语法元素设置为所述可能设置的集合中的第二可能值,根据所述第二可能值,所述第二层的图片的瓦片之间存在与所述第一层的瓦片的每一个边界重叠的边界。
[0431] 第十一方面涉及根据第十方面所述的视频编码器,其中,所述视频编码器被配置为利用所述帧内图片空间预测对所述层的图片进行编码,且用于各个瓦片的所述帧内图片空间预测在相应瓦片的边界线处中断。
[0432] 第十二方面涉及根据第八方面或第九方面所述的视频编码器,其中,所述编码器被配置为:
[0433] 如果将所述长期语法元素结构设置为:
[0434] 所述第一可能值集合之外的值,则使用比所述时间间隔大的预定时间段将所述短期语法元素设置为所述可能设置的集合之外的适当子集,所述适当子集被选择使得在所述预定时间段内,所述第一层的图片的各个空间区段精确地由所述第二层的图片的n个空间区段构成,且n取决于所述长期语法元素结构的值。
[0435] 第十三方面涉及一种用于将空间可伸缩位流40解码成图片的解码器,所述图片被编码在不同的空间层中,并且对于所述空间层中的至少一个来说所述图片被编码在第一空间区段中,其中,所述解码器被配置为:
[0436] 对第一空间层的图片12进行上采样以获得上采样参考图片,并且使用所述上采样参考图片预测第二空间层的图片15,其中,所述解码器响应于所述空间可伸缩位流中的语法元素(616;例如,independent_tile_upsampling_idc)以根据所述语法元素插入620所述第一空间层的图片,
[0437] 使得依赖于所述第一空间区段的所述上采样参考图片的分区622的任一部分独立于与由所述分区的其他部分中的任一个覆盖的所述第一空间层的图片的部分;或者[0438] 使得所述上采样参考图片的所述分区622的任一部分依赖于由空间上与相应部分相邻的所述分区的另一部分覆盖的所述第一空间层的图片的部分。
[0439] 第十四方面涉及根据第十三方面所述的解码器,其中,所述解码器被配置为并行解码所述不同的空间层。
[0440] 第十五方面涉及根据根据第十三方面或第十四方面所述的解码器,其中,所述解码器响应于所述空间可伸缩位流中的所述语法元素616以根据所述语法元素插入620所述第一空间层的图片,
[0441] 使得由所述第一空间区段中的任一个在空间上覆盖的所述上采样参考图片中的任一部分独立于与由所述第一空间区段中的另一个覆盖的所述第一空间层的图片中的部分;或者
[0442] 使得由所述第一空间区段中的任一个在空间上覆盖的所述上采样参考图片的任一部分依赖于由所述第一空间区段中与相应空间区段相邻的另一空间区段覆盖的所述第一空间区段的图片的部分。
[0443] 第十六方面涉及根据第十三方面至第十五方面中任一项所述的解码器,其中,所述空间可伸缩位流具有在所述第一空间区段中被编码成所述空间可伸缩位流的所述第二空间层的图片。
[0444] 第十七方面涉及根据第十三方面至第十六方面中任一项所述的解码器,其中,所述解码器被配置为使用帧内图片空间预测执行解码,
[0445] 并且用于各个第一空间区段的所述帧内图片空间预测在相应的第一空间区段的边界线处中断;或者
[0446] 并且支持跨所述第一空间区段的边界线的所述帧内图片空间预测,使用熵上下文概率的自适应性将各个第一空间区段熵解码并且将所述第一空间区段的所述熵上下文概率初始化,所述第一空间区段的所述熵上下文概率独立于任一其他的第一空间区段,或者根据所述第一空间区段之中的顺序适配之前的第一空间区段的所述熵上下文概率以适配达到所述之前的第一空间区段的中间位置。
[0447] 第十八方面涉及根据第十三方面或第十四方面所述的解码器,其中,所述空间可伸缩位流具有在所述第一空间区段中被编码成所述空间可伸缩位流的所述第一空间层的图片,其中,所述空间可伸缩位流具有在第二空间区段中被编码成所述空间可伸缩位流的所述第二空间层的图片,其中,所述解码器响应于所述空间可伸缩位流中的所述语法元素606以根据所述语法元素内插所述第一空间层的图片
[0448] (例如,independent_tile_upsampling_idc=2),使得由第二瓦片中的任一个在空间上覆盖的所述上采样参考图片的任一部分独立于由所述第二瓦片中的另一个在空间上覆盖的所述第一空间层的图片中的部分;或者
[0449] (例如,independent_tile_upsampling_idc=1),使得由第一瓦片和所述第二瓦片的空间共置边界线在空间上限定的所述上采样参考图片的任一部分独立于与由所述第一瓦片和所述第二瓦片的空间共置边界线在空间上限定的由所述上采样参考图片的另一部分覆盖的所述第一空间层的图片的部分;或者
[0450] (例如,independent_tile_upsampling_idc=0),使得由所述第二瓦片中的任一个在空间上覆盖的所述上采样参考图片中的任一部分依赖于与由与相应瓦片相邻的另一第二瓦片覆盖的所述第一空间层的图片中的部分。
[0451] 第十九方面涉及第十三方面至第十八方面中任一项所述的解码器,其中,所述解码器被配置为使用回退规则填充在内插所述第一空间层的图片中使用的滤波核的片段,所述滤波核伸出至所述第一空间层的图片的任一部分中、被所述分区的其他分区中的任一个覆盖,根据所述回退规则,独立于所述滤波核伸出至其中的所述第一空间层的所述图片的所述相应部分填充所述片段,以实现独立性。
[0452] 第二十方面涉及根据第十九方面所述的解码器,其中,所述解码器被配置为还在填充伸出所述第一空间层的图片的外边界线的所述滤波核的片段时使用所述回退规则。
[0453] 第二十一方面涉及根据第十三方面至第二十方面中任一项所述的解码器,其中,所述解码器是视频解码器并且所述解码器被配置为以每个图片或者每个图片序列为基础响应于所述空间可伸缩位流中的所述语法元素606。
[0454] 第二十二方面涉及根据第十三方面至第二十一方面中任一项所述的解码器,其中,所述空间可伸缩位流具有在所述第一空间区段中被编码成所述空间可伸缩位流的所述第一空间层的图片,其中,所述空间可伸缩位流具有在第二空间区段中被编码成所述空间可伸缩位流的所述第二空间层的图片,其中,所述分区的边界对应于所述第一空间区段与所述第二空间区段的边界或者所述第二空间区段的边界的空间重叠的逻辑与,其中,所述解码器根据所述语法元素响应于所述空间可伸缩位流中的所述语法元素606以填充在所述第一空间层的图片的内插中使用的滤波核的片段,所述滤波核使用回退规则从一个分区伸出至所述分区的相邻分区中,根据所述回退规则独立于所述滤波核伸出至其中的所述第一空间层的图片的相应部分、或者使用所述滤波核伸出至其中的所述第一空间层的图片的相应部分填充所述片段。
[0455] 第二十三方面涉及根据第十三方面至第二十二方面中任一项所述的解码器,其中,所述解码器被配置为使用依赖于所述语法元素606的层间偏移量将所述第一层和所述第二层并行解码。
[0456] 第二十四方面涉及根据第十三方面或第二十三方面所述的解码器,其中,所述解码器被配置为根据所述语法元素放置所述分区的边界,以对应于所述第一空间区段和所述第二空间区段的边界或者所述第二空间区段的边界的空间重叠的逻辑与。
[0457] 第二十五方面涉及一种编码器,用于在不同空间层中将图片编码成空间可伸缩位流并且对于所述空间层中的至少一个在第一空间区段中对所述图片进行编码,其中,所述编码器被配置为:
[0458] 对第一空间层的图片进行上采样以获得上采样参考图片并且使用所述上采样参考图片预测第二空间层的图片,其中,所述编码器被配置为根据语法元素设置并且将语法元素606插入到所述空间可伸缩位流中并且内插所述第一空间层的图片,
[0459] 使得依赖于所述第一空间区段的所述上采样参考图片的分区的任一部分独立于由所述分区的其他部分中的任一个覆盖的所述第一空间层的图片的部分;或者[0460] 使得所述上采样参考图片的所述分区的任一部分依赖于由在空间上与相应部分相邻的所述分区的另一部分覆盖的所述第一空间层的图片的部分。
[0461] 第二十六方面涉及根据第二十五方面所述的编码器,其中,所述编码器被配置为根据所述语法元素设置并且将所述语法元素插入到所述空间可伸缩位流中并且内插所述第一空间层的图片,
[0462] 使得由所述第一空间区段中的任一个空间覆盖的所述上采样参考图片的任一部分独立于由所述第一空间区段的任意其它部分覆盖的所述第一空间层的图片的部分;或者[0463] 使得由所述第一空间区段中的任一个空间覆盖的所述上采样参考图片的任一部分依赖于由与相应的第一空间区段相邻的所述第一空间区段中的另一空间区段覆盖的所述第一空间层的图片的部分。
[0464] 第二十七方面涉及根据第二十五方面或第二十六方面所述的编码器,其中,所述编码器被配置为将所述第一空间层的图片编码成所述第一空间区段中的所述空间可伸缩位流。
[0465] 第二十八方面涉及根据第二十七方面所述的编码器,其中,所述编码器被配置为使用帧内图片空间预测对所述第一空间层的图片进行编码,且用于各个第一空间区段的所述帧内图片空间预测在相应第一空间区段的边界线处中断。
[0466] 第二十九方面涉及根据第二十七方面或第二十八方面所述的编码器,其中,所述编码器被配置为将所述第二空间层的图片在第二空间区段中编码成所述空间可伸缩位流,其中,所述编码器被配置为根据所述语法元素设置并且将所述语法元素插入到所述空间可伸缩位流中并且内插所述第一空间层的图片,
[0467] 使得由所述第二空间区段中的任一个在空间上覆盖的所述上采样参考图片的任一部分独立于由所述第二空间区段中的另一个在空间上覆盖的所述第一空间层的图片的部分;或者
[0468] 使得由所述第一空间区段和所述第二空间区段的空间共置边界线在空间上限定的所述上采样参考图片的任一部分独立于由所述第一空间区段和所述第二空间区段的空间共置边界线在空间上限定的、由所述上采样参考图片的另一分区覆盖的所述第一空间层的图片的部分;或者
[0469] 使得由所述第二空间区段中的任一个在空间上覆盖的所述上采样参考图片的任一部分依赖于由与相应空间区段相邻的另一第二空间区段覆盖的所述第一空间层的图片的部分。
[0470] 第三十方面涉及根据第二十九方面所述的编码器,其中,所述编码器被配置为使用帧内图片空间预测对所述第二空间层的图片编码,且用于各个第二空间区段的所述帧内图片空间预测在相应第二空间区段的边界线处中断。
[0471] 第三十一方面涉及根据第二十五方面至第三十方面中任一项所述的编码器,其中,所述编码器被配置为在内插所述第一空间层的图片时使用滤波核的填充片段以实现与所述第一空间层的图片中的任一部分的独立性,所述滤波核使用回退规则伸出至所述第一空间层的图片的任一部分中,根据所述回退规则,独立于所述滤波核伸出至其中的所述第一空间层的图片的相应部分填充所述片段。
[0472] 第三十二方面涉及根据第三十一方面所述的编码器,其中,所述编码器被配置为还在填充伸出所述第一空间层的图片的外边界线的所述滤波核的片段时使用所述回退规则。
[0473] 第三十三方面涉及根据第二十五方面至第三十二方面中任一项所述的编码器,其中,所述编码器是视频编码器并且所述编码器被配置为以每个图片或者每个图片序列为基础设置并且将所述语法元素插入到所述空间可伸缩位流中。
[0474] 第三十四方面涉及一种视频解码器,用于将多层视频数据流解码成使用从第一层至第二层的层间预测而被编码在层的层级中的情景,所述视频解码器利用所述第一层的图片的空间区段的遍历相对于所述第二层的图片的空间区段的遍历之间的层间延迟,以时间重叠方式顺次遍历空间区段支持在将所述层的图片分区而成的空间区段中并行解码所述多层视频数据流,所述视频解码器被配置为:
[0475] 检测所述多层视频数据流的长期语法元素结构(例如,min_spatial_segment_delay)使得:
[0476] 如果将所述长期语法元素结构(例如,min_spatial_segment_delay≠0)设置成可能值的第一集合中的值,则使用所述长期语法元素的值预先确定预定时间段内的层间偏移量,并且在比所述预定时间段短的时间间隔内基于所述多层视频数据流的所述短期语法元素602分别周期性地确定所述第一层的图片的空间区段和所述第二层的图片的空间区段的大小和定位以及所述第一层的图片与所述第二层的图片的空间采样分辨率;
[0477] 如果将所述长期语法元素设置成与可能值的所述第一集合不相交的可能值的第二集合(例如,min_spatial_segment_delay=0)中的值,则基于所述多层视频数据流的所述短期语法元素在比所述预定时间段短的时间间隔内周期性地确定所述预定时间段内的层间偏移量。
[0478] 第三十五方面涉及根据第三十四方面所述的视频解码器,其中,所述视频解码器被配置为利用相同图片的紧随的连续子流的遍历之间的帧内图片子流间延迟以及所述第一层的图片的子流的遍历相对于所述第二层的图片的子流的遍历的层间偏移量,通过以时间重叠方式顺次遍历子流的波前并行处理将所述多层视频数据流并行解码成将所述层的图片分区而成的并且由所述层的图片被规则细分而成的块的行构成的子流。
[0479] 第三十六方面涉及根据第三十五方面所述的视频解码器,其中,所述视频解码器被配置为:
[0480] 将所述子流并行解码且支持跨所述子流的边界线的所述帧内图片空间预测。
[0481] 第三十七方面涉及根据第三十四方面所述的视频解码器,其中,所述视频解码器被配置为将所述多层视频数据流解码成将层的图片分区而成的瓦片,且在所述第一层和所述第二层的图片的每一个内以所述瓦片之间的瓦片顺序对所述瓦片进行遍历,并且利用所述第一层的图片的瓦片的遍历相对于所述第二层的图片的瓦片的遍历的层间偏移量将所述第一层的图片的紧随的连续瓦片和所述第二层的图片的的紧随的连续瓦片来对所述层的图片分区而成的连续瓦片并行解码。
[0482] 第三十八方面涉及根据第三十七方面所述的视频解码器,其中,所述视频解码器被配置为:
[0483] 使用帧内图片空间预测将所述第一层的图片和所述第二层的图片解码,且用于各个瓦片的所述帧内图片空间预测在相应瓦片的边界线处中断。
[0484] 第三十九方面涉及根据第三十四方面至第三十八方面中任一项所述的视频解码器,其中,所述视频解码器被配置为在通过使用所述长期语法元素的值作为用于在所述第一层的图片的空间区段的单元中的所述层间偏移量的测量值来确定所述层间偏移量时使用所述长期语法元素的值。
[0485] 第四十方面涉及根据第三十四方面至第三十九方面中任一项所述的视频解码器,其中,所述视频解码器被配置为在通过使用所述长期语法元素的值作为所述第一层的图片的空间区段的数目来确定所述层间偏移量时使用所述长期语法元素的值,通过该值解码所述第二层的图片的第一空间区段相对于开始所述第一层的图片的解码和遍历被延迟。
[0486] 第四十一方面涉及一种视频编码器,用于使用从第一层至第二层的层间预测在层的层级中被编码的情景编码成多层视频数据流,使得能够利用所述第一层的图片的空间区段的遍历相对于所述第二层的图片的空间区段的遍历之间的层间偏移量,通过以时间重叠方式顺次遍历空间区段在将所述层的图片分区而成的空间区段中对所述多层视频数据流并行解码,所述视频编码器被配置为:
[0487] 设置长期语法元素结构(min_spatial_segment_delay)和短期语法元素并且将所述长期语法元素结构和所述短期语法元素插入到所述多层视频数据流中,所述多层视频数据流的所述短期语法元素分别周期性地限定所述第一层的图片的空间区段和所述第二层的图片的空间区段在时间间隔内的大小和定位以及所述第一层的图片和所述第二层的图片的空间采样分辨率;
[0488] 其中,所述编码器被配置为在下列设置之间切换:
[0489] 将所述长期语法元素结构(min_spatial_segment_delay≠0)设置为可能值的第一集合中的值,且该值在比所述时间间隔大的预定时间段内发出所述层间偏移量的信令,且在所述预定时间段内将所述短期语法元素设置成可能设置的集合之外的适当子集,所述适当子集被选择使得在所述预定时间段内利用所述第一层的图片的空间区段的遍历相对于所述第二层的图片的空间区段的遍历之间的、小于或者等于通过所述长期语法元素发出信号的所述层间偏移量的实际层间偏移量,所述第一层的图片的空间区段和所述第二层的图片的空间区段的大小和定位以及所述第一层的图片和所述第二层的图片的空间采样分辨率分别能够通过以时间重叠方式顺次遍历空间区段来支持所述多层视频数据流的解码;
[0490] 将所述长期语法元素设置成与所述可能值的第一集合不相交的可能值的第二集合中的值(min_spatial_segment_delay=0),且在所述预定时间段内将所述短期语法元素设置成可能设置的集合中的任一个,所述可能设置的集合包含至少一种设置和至少另一种设置,根据所述至少一种设置,利用所述第一层的图片的空间区段的遍历相对于所述第二层的图片的空间区段的遍历之间的、小于或者等于通过所述长期语法元素发出信号的所述层间偏移量的实际层间偏移量,所述第一层的图片的空间区段和所述第二层的图片的空间区段的大小和定位以及所述第一层的图片和所述第二层的图片的空间采样分辨率分别禁用通过以时间重叠方式顺次遍历空间区段而将所述多层视频数据流解码,并且根据所述至少另一种设置,利用所述第一层的图片的空间区段的遍历相对于所述第二层的图片的空间区段的遍历之间的、小于或者等于通过所述长期语法元素发出信号的所述层间偏移量的实际层间偏移量,所述第一层的图片的空间区段和所述第二层的图片的空间区段的大小和定位以及所述第一层的图片和所述第二层的图片的空间采样分辨率分别能够通过以时间重叠方式顺次遍历空间区段来将所述多层视频数据流解码。
[0491] 第四十二方面涉及根据第四十一方面所述的视频编码器,其中,所述视频编码器被配置为执行编码,使得所述空间区段是所述层的图片被分区而成的子流,并且所述子流由所述层的图片被规则细分成的块的行构成,通过这种方式,利用相同图片的中间连续子流的遍历之间的帧内图片子流间延迟以及所述第一层的图片的子流的遍历相对于所述第二层的图片的子流的遍历之间的所述层间偏移量,允许通过以时间重叠方式顺次遍历所述子流而使用波前并行处理将所述多层视频数据流并行解码成所述子流。
[0492] 第四十三方面涉及根据第四十二方面所述的视频编码器,其中,所述视频编码器被配置为通过支持跨所述子流的边界线的所述帧内图片空间预测并且将熵上下文概率初始化,所述熵上下文概率用于将所述子流单独地进行熵编码,或者在根据所述子流之间的顺序采用处于中间自适配状态的前一子流的所述熵上下文概率的基础上使用所述帧内图片空间预测并利用适配的熵上下文概率的熵编码对所述子流进行编码。
[0493] 第四十四方面涉及根据第四十一方面所述的视频编码器,其中,所述视频编码器被配置为执行编码,使得所述空间区段是所述层的图片被分区而成的瓦片,通过这种方式允许通过在所述第一层和所述第二层的图片中的每个内以所述瓦片之间的瓦片顺序对所述瓦片进行遍历来将所述多层视频数据流解码成所述瓦片,并且利用所述第一层的图片的瓦片的遍历相对于所述第二层的所述图片的瓦片的遍历的所述层间偏移量将所述第一层的图片的紧随的连续瓦片与所述第二层的图片的紧随的连续瓦片并行解码。
[0494] 第四十五方面涉及根据第四十四方面所述的视频编码器,其中,所述视频编码器被配置为使用帧内图片空间预测将所述第一层的图片与所述第二层的图片编码,且用于各个瓦片的所述帧内图片空间预测在相应瓦片的边界线处中断。
[0495] 第四十六方面涉及根据第四十一方面至第四十五方面中任一项所述的视频编码器,其中,所述视频编码器被配置使得所述长期语法元素的值限定在所述第一层的图片的空间区段的单元中的所述层间偏移量的测量。
[0496] 第四十七方面涉及根据第四十一方面至第四十六方面中任一项所述的视频解码器,其中,所述视频编码器被配置为设置所述长期语法元素的值以发出所述第一层的图片的空间区段的数目的信号,通过该值使所述第二层的所述图片的第一空间区段的解码相对于开始所述第一层的所述图片的解码和遍历被延迟。
[0497] 第四十八方面涉及一种用于将多层视频数据流处理成情景的网络实体,所述情景被编码在层中,使得在各个层中,所述情景被编码在被可伸缩维度横跨的可伸缩空间的不同操作点中,其中,所述多层视频数据流由第一NAL单元和第二NAL单元构成,所述第一NAL单元中的每个与所述层中的一个相关联,并且所述第二NAL单元散布在所述第一NAL单元内并且呈现关于所述多层视频数据流的整体信息,所述网络实体被配置为:
[0498] 检测所述第二NAL单元中的类型指示符字段(609;例如,dedicated_scalability_ids_flag);
[0499] 如果所述类型指示符字段具有第一状态(例如,dedicated_scalability_ids_flag=0),则从所述第二NAL单元读取将第一NAL单元报头中的层指示符字段(例如,layer_id)的可能值映射至所述操作点的映射信息(例如,layer_id_in_nuh[i],dimension_id[i][j])并且通过所述层指示符字段和所述映射信息使所述第一NAL单元与所述第一NAL单元中的所述操作点相关联;
[0500] 如果所述类型指示符字段具有第二状态(dedicated_scalability_ids_flag=1),则通过将所述第一NAL单元中的所述层指示符字段分割成一个以上的部分并且通过使用该部分的值作为所述可伸缩空间内的矢量的坐标来定位所述第一NAL单元的所述操作点使所述第一NAL单元与所述操作点相关联。
[0501] 第四十九方面涉及根据第四十八方面所述的网络实体,其中,所述网络实体被配置为:
[0502] 如果所述类型指示符字段具有所述第二状态(dedicated_scalability_ids_flag=1),则根据所述第二NAL单元中的语法元素(dimension_id_len_minus1)通过将所述第一NAL单元中的所述层指示符字段划分成一个以上的部分,通过使用该部分的值作为所述可伸缩空间内的矢量的坐标来定位所述第一NAL单元的所述操作点,并且根据所述第二NAL单元中的另外的语法元素(scalability_mask)在语义上确定所述可伸缩维度使所述第一NAL单元与所述操作点相关联。
[0503] 第五十方面涉及根据第四十八方面或第四十九方面所述的网络实体,其中,所述网络实体被配置为:
[0504] 如果所述类型指示符字段具有所述第一状态(dedicated_scalability_ids_flag=0),则从所述第二NAL单元中的另外的语法元素(scalability_mask)确定所述可伸缩维度的数目p和语义含义并且通过从所述第二NAL单元读取p维矢量的列表708使所述层指示符字段的可能值与所述操作点相关联。
[0505] 第五十一方面涉及根据第五十方面所述的网络实体,其中,所述网络实体被配置为如果所述类型指示符字段具有所述第二状态,则跳过从所述第二NAL单元读取所述列表。
[0506] 第五十二方面涉及根据第四十九方面或第五十一方面中任一项所述的网络实体,其中,所述网络实体被配置为在不考虑具有所述第一状态或者所述第二状态的所述类型指示符字段的情况下从所述第二NAL单元读取所述另外的语法元素;并且使得在不考虑具有所述第一状态或者所述第二状态的所述类型指示符字段的情况下,所述层指示符字段的大小相同。
[0507] 第五十三方面涉及根据第四十八方面或第五十二方面中任一项所述的网络实体,其中,所述网络实体包括视频解码器。
[0508] 第五十四方面涉及一种用于在层中将情景编码成多层视频数据流的视频编码器,使得在各个层中,所述情景被编码在被可伸缩维度横跨的可伸缩空间的不同操作点中,其中,所述多层视频数据流由第一NAL单元和第二NAL单元构成,所述第一NAL单元中的每个与所述层中的一个相关联,并且所述第二NAL单元散布在所述第一NAL单元内并且呈现关于所述多层视频数据流的整体信息,所述视频编码器被配置为:
[0509] 将类型指示符字段插入到所述第二NAL单元中并且在下列设置之间切换:
[0510] 设置所述类型指示符字段使得所述类型指示符字段具有第一状态,且将第一NAL单元报头中的层指示符字段的可能值映射至所述操作点的映射信息插入到所述第二NAL单元中并且设置所述第一NAL单元中的所述层指示符字段使得通过所述映射信息使所述第一NAL单元的操作点与相应的层指示符字段相关联;
[0511] 设置所述类型指示符字段使得所述类型指示符字段具有第二状态(dedicated_scalability_ids_flag=1),且通过将所述第一NAL单元中的所述层指示符字段分割成一个以上的部分并且设置所述一个以上部分使得该部分的值对应于所述可伸缩空间内的矢量的坐标从而指向与相应的第一NAL单元相关联的操作点,来设置所述第一NAL单元中的所述层指示符字段。
[0512] 第五十五方面涉及根据第五十四方面所述的视频编码器,其中,所述视频编码器被配置为:
[0513] 当设置所述类型指示符字段使得所述类型指示符字段具有所述第二状态时,设置并且将语法元素插入到所述第二NAL单元中,所述语法元素限定将所述第一NAL单元中的所述类型指示符字段划分成所述一个以上部分,并且设置且将另外的语法元素插入到所述第二NAL单元中,所述另外的语法元素在语义上限定所述可伸缩维度。
[0514] 第五十六方面涉一种将多层视频数据流转换成在层中编码的情景,使得在各个层中,所述情景被编码在被可伸缩维度横跨的可伸缩空间的不同操作点中,其中,所述多层视频数据流由第一NAL单元和第二NAL单元构成,所述第一NAL单元中的每个与所述层中的一个相关联,并且所述第二NAL单元散布在所述第一NAL单元内并且呈现关于所述多层视频数据流的整体信息,其中,根据下列条件在所述第二NAL单元中呈现类型指示符字段(696;例如,dedicated_scalability_ids_flag);
[0515] 如果所述类型指示符字段具有第一状态(例如,dedicated_scalability_ids_flag=0),则所述第二NAL单元中的映射信息将第一NAL单元报头中的层指示符字段(例如,layer_id)的可能值映射至所述操作点;
[0516] 如果所述类型指示符字段具有第二状态(dedicated_scalability_ids_flag=1),则将所述第一NAL单元中的所述层指示符字段分割成一个以上的部分,且所述第一NAL单元的所述操作点被该部分的值限定为所述可伸缩空间内的矢量的坐标。
[0517] 第五十七方面涉一种传输层解码器,用于使多层视频数据流变换成在层中被编码的情景以通过多标准多层解码器被解码,其中,所述多层视频数据流由NAL单元构成,所述NAL单元中的每个与所述层中的一个相关联,其中,所述层与不同的编解码器相关联,使得对于每个层使用与相应层相关联的所述编解码器对与相应层相关联的所述NAL单元进行编码,所述传输层解码器被配置为:
[0518] 对于每个NAL单元,识别与NAL单元相关联的相同编解码器,并且将所述多层视频数据流的所述NAL单元移交至所述多标准多层解码器,所述多标准多层解码器使用与不同编解码器相关联的层之间的层间预测对所述多层视频数据流进行解码。
[0519] 第五十八方面涉及根据第五十七方面所述的视频解码器,进一步被配置为:
[0520] 使用具有被设置成指示相应层的所述编解码器的状态的NAL单元类型指示符的预定编解码器的NAL单元报头封装被识别为与不同于所述预定编解码器的任一编解码器相关联的层的NAL单元。
[0521] 第五十九方面涉及根据第五十七方面或第五十八方面所述的视频解码器,进一步被配置为:
[0522] 根据所述NAL单元分别到达的信道执行识别。
[0523] 第六十方面涉及根据第五十七方面或第五十九方面中任一项所述的视频解码器,进一步被配置为执行移交,使得在不同的信道上将与不同的编解码器相关联的所述NAL单元移交至所述多标准多层解码器。
[0524] 第六十一方面涉及根据第五十七方面或第六十方面所述的视频解码器,进一步被配置为:
[0525] 向各个NAL单元提供指示与相应NAL单元相关联的层相关联的所述编解码器的元数据。
[0526] 第六十二方面涉及一种视频解码器,用于将多层视频数据流解码成情景,使用从第一层的部分至第二层的共置部分的层间预测将所述情景编码在层的层级中,其中,将所述第一层的图片细分成第一块的阵列并且将所述第二层的图片细分成第二块的阵列,其中,在所述第一块与所述第二块中分别限定了光栅扫描解码顺序,所述视频解码器被配置为:
[0527] 利用所述第一层的图片的第一块的遍历相对于所述第二层的图片的第二块的空间遍历之间的以所述第一块为单位测量的所述层间偏移量,根据所述多层视频数据流的语法元素结构(例如,ctb_delay_enabled_flag,min_spatial_segment_delay)以时间重叠方式顺次遍历所述第一块和所述第二块来确定用于将所述第一层的图片与所述第二层的图片并行解码的层间偏移量。
[0528] 第六十三方面涉及根据第六十二方面所述的视频解码器,其中,所述语法元素结构是长期语法元素结构,并且所述视频解码器被配置为:
[0529] 在预定时间段内预先执行确定;并且
[0530] 在比所述预定时间段短的时间间隔内基于所述多层视频数据流的短期语法元素分别周期性地确定所述第一层的图片的所述第一块和所述第二层的图片的所述第二块的大小和定位以及所述第一层的图片与所述第二层的图片的空间采样分辨率。
[0531] 第六十四方面涉及根据第六十三方面所述的视频解码器,其中,所述视频解码器利用所述第一层的图片的空间区段的遍历相对于所述第二层的图片的空间区段的遍历的所述层间偏移量,通过以时间重叠方式顺次遍历空间区段来支持在沿着所述光栅扫描解码顺序按顺序布置的空间区段将所述多层视频数据流并行解码成被分区的所述层的图片,所述视频解码器被配置为:
[0532] 检测所述多层视频数据流的所述长期语法元素结构使得:
[0533] 如果将所述长期语法元素结构(例如,ctb_delay_enabled_flag=0,min_spatial_segment_delay≠0)设置成可能值的第一集合中的值,则使用所述长期语法元素结构的值预先确定预定时间段内的所述层间偏移量,从而以所述第一层的图片的空间区段为单位测量所述层间偏移量,并且在比所述预定时间段短的时间间隔内基于所述多层视频数据流的短期语法元素分别周期性地确定所述第一层的图片的空间区段与所述第二层的图片的空间区段的大小和定位以及所述第一层的图片和所述第二层的图片的空间采样分辨率;
[0534] 如果将所述长期语法元素结构设置成与所述可能值的第一集合不相交的可能值的第二集合的值(例如,min_spatial_segment_delay=0),则在比所述预定时间段短的时间间隔内基于所述多层视频数据流的所述短期语法元素周期性地确定所述预定时间段内的所述层间偏移量;以及
[0535] 如果将所述长期语法元素设置成与可能值的所述第一集合和所述第二集合不相交的可能值的第三集合的值(例如,ctb_delay_enabled_flag=1,min_spatial_segment_delay≠0),则执行以所述第一块为单位确定所述层间偏移量并且分别周期性地确定所述第一层的图片的所述第一块和所述第二层的图片的所述第二块的大小和定位以及所述第一层的图片和所述第二层的图片的空间采样分辨率。
[0536] 第六十五方面涉及根据第六十三方面或第六十四方面所述的视频解码器,其中,所述视频解码器利用相同图片的中间连续子流的遍历之间的帧内图片子流间延迟以及所述第一层的图片的子流的遍历相对于所述第二层的图片的子流的遍历之间的层间偏移量,以时间重叠方式顺次遍历子流来使用波前并行处理支持在将所述层的图片分区而成的并且由所述第一块和所述第二块的行构成的子流中对所述多层视频数据流并行解码。
[0537] 第六十六方面涉及根据第六十四方面至第六十五方面中任一项所述的视频解码器,其中,所述长期语法元素结构包括单元标记(例如,示例性地,ctb_delay_enabled_flag)和延迟指示符(例如,示例性地,min_spatial_segment_delay),其中,在检测所述长期语法元素结构时,所述视频解码器被配置为:
[0538] 检测所述延迟指示符以确定是否将所述延迟指示符设置为零;
[0539] 如果将所述延迟指示符设置为零,则确定将所述长期语法元素结构的值设置为所述第二集合中的值;并且
[0540] 如果将所述延迟指示符设置为非零值,则使用所述非零值确定所述长期语法元素结构的值,并且如果所述单元标记为零,则确定将所述长期语法元素结构的值设置成所述第一集合的值,并且如果所述单元标记是一,则确定将所述长期语法元素结构的值设置为所述第三集合中的值。
[0541] 第六十七方面涉及根据第六十五方面至第六十六方面中任一项所述的视频解码器,所述视频解码器被配置为在开始对所述第一层和所述第二层并行解码时依赖于所述层间偏移量。
[0542] 第六十八方面涉及根据第六十二方面至第六十七方面中任一项所述的视频解码器,所述视频解码器被配置为检查所述第一层的数目为s的空间区段或者编码块是否被完全解码,且数目s唯一地取决于所述语法元素结构,并且除了在所述检查显示在所述第一层的空间区段或者编码块之中至少已被完全解码了s个的情况下,在所述第一层的解码期间推迟开始所述第二层的解码。
[0543] 第六十九方面涉及根据第六十二方面至第六十八方面中任一项所述的视频解码器,所述视频解码器被配置为在开始并且完全处理所述第一层和所述第二层的并行解码时依赖于所述层间偏移量。
[0544] 第七十方面涉及根据第六十二方面至第六十九方面中任一项所述的视频解码器,所述视频解码器被配置为检查所述第一层的数目为s个的空间区段或者编码块是否被完全解码,且数目为s唯一地取决于所述语法元素结构以及所述第二层的数目为t-1个的已解码的空间区段或者编码块,并且在除了所述检查显示在所述第一层的空间区段或者编码块之中至少已完全解码s个的情况下,在所述第一层的解码期间推迟开始所述第二层的第t个空间区段或者编码块的解码。
[0545] 第七十一方面涉及一种用于将多层视频数据流40解码成使用从第一层至第二层的层间预测而被编码在层的层级中的情景的方法,视频解码器支持在将所述层的图片12,15被细分而成的空间区段80中对所述多层视频数据流并行解码,其中,所述方法包括:
[0546] 检测所述多层视频数据流的长期语法元素结构(606;例如,tile_boundaries_aligned_flag)以:
[0547] 解译所述长期语法元素结构,所述长期语法元素结构假设第一可能值集合之外的值(例如,tile_boundaries_aligned_flag=1)作为对在预定时间段608内将所述第二层的图片15细分,使得所述第二层的图片的空间区段之间的边界与所述第一层的图片12的空间区段的每一个边界重叠,并且在比所述预定时间段短的时间间隔604内基于所述多层视频数据流的短期语法元素(602;例如,column_width_minus1[i]和column_width_minus1[i])周期性地确定将所述第一层的图片和所述第二层的图片细分成空间区段的保证;并且[0548] 如果所述长期语法元素结构假设了第二可能值集合之外的值(例如,tile_boundaries_aligned_flag=0),则在比所述预定时间段短的时间间隔内从所述多层视频数据流的所述短期语法元素周期性地确定将所述层的图片细分成空间区段,使得至少对于所述短期语法元素的第一可能值,所述第二层的图片的空间区段之间存在不与所述第一层的空间区段的边界中的任一个重叠的边界,并且至少对于所述短期语法元素的第二可能值,所述第二层的图片的空间区段之间存在与所述第一层的空间区段的每一个边界重叠的边界。
[0549] 第七十二方面涉及一种用于利用从第一层至第二层的层间预测在层的层级中将场景编码成多层视频数据流的方法,使得所述多层视频数据流能够在将所述层的图片细分而成的空间区段中被并行解码,其中,所述方法包括:
[0550] 将长期语法元素结构606和短期语法元素602插入到所述多层视频数据流中,所述短期语法元素限定在时间间隔内将所述第一层的图片和所述第二层的图片细分成空间区段;并且
[0551] 在将所述长期语法元素结构设定为以下的值之间进行切换:
[0552] 第一可能值集合之外的值,且在比所述时间间隔大的预定时间段608内将所述短期语法元素设置成可能设置的集合之外的适当子集,所述适当子集被选择使得在所述预定时间段内将所述第二层的图片细分,使得所述第二层的图片的空间区段之间的边界与所述第一层的空间区段的每一个边界重叠;或者
[0553] 第二可能值集合之外的值,且在所述预定时间段内将所述短期语法元素设置成所述可能设置的集合中的任一个,所述可能设置的集合包含至少一种设置和至少另一种设置,根据所述至少一种设置,所述第二层的图片的空间区段之间存在不与所述第一层的空间区段的边界中的任一个重叠的边界,并且根据所述至少另一种设置,所述第二层的图片的空间区段之间存在与所述第一层的空间区段的每一个边界重叠的边界。
[0554] 第七十三方面涉及一种用于将空间可伸缩位流40解码成图片的方法,所述图片被编码在不同的空间层中,并且对于所述空间层中的至少一个,在第一空间区段中对所述图片进行编码,其中,所述方法包括:
[0555] 对第一空间层的图片12进行上采样以获得上采样参考图片,并且使用所述上采样参考图片预测第二空间层的图片15,其中,用于解码的所述方法响应于所述空间可伸缩位流中的语法元素(616;例如,independent_tile_upsampling_idc)以根据所述语法元素内插620所述第一空间层的图片,
[0556] 使得依赖于所述第一空间区段的所述上采样参考图片的分区622的任一部分独立于由所述分区的其他部分中的任一个覆盖的所述第一空间层的图片的部分;或者[0557] 使得所述上采样参考图片的所述分区622的任一部分依赖于由在空间上与相应部分相邻的所述分区的另一部分覆盖的所述第一空间层的图片的部分。
[0558] 第七十四方面涉及一种用于将不同空间层中的图片编码成空间可伸缩位流的方法,并且对于所述空间层中的至少一个,在第一空间区段中对所述图片进行编码,其中,所述方法包括:
[0559] 对第一空间层的图片进行上采样以获得上采样参考图片并且使用所述上采样参考图片预测第二空间层的图片,其中,所述方法包括设置语法元素语法元素并且将所述语法元素606插入到所述空间可伸缩位流中,并且根据所述语法元素内插所述第一空间层的图片,
[0560] 使得依赖于所述第一空间区段的所述上采样参考图片的分区的任一部分独立于由所述分区的其他部分中的任一个覆盖的所述第一空间层的图片的部分;或者[0561] 使得所述上采样参考图片的所述分区的任一部分依赖于由在空间上与相应部分相邻的所述分区中的另一分区覆盖的所述第一空间层的图片的部分。
[0562] 第七十五方面涉及一种用于将多层视频数据流解码成使用从第一层至第二层的层间预测而被编码在层的层级中的情景的方法,视频解码器支持利用所述第一层的图片的空间区段的遍历相对于所述第二层的图片的空间区段的遍历的层间延迟,通过以时间重叠方式顺次遍历空间区段来支持将所述多层视频数据流并行解码成将所述层的图片细分而成的空间区段,所述方法包括:
[0563] 检测所述多层视频数据流的长期语法元素结构(642;例如,min_spatial_segment_delay)使得:
[0564] 如果将所述长期语法元素结构(例如,min_spatial_segment_delay≠0)设置成可能值的第一集合中的值,则使用所述长期语法元素的值预先确定预定时间段内的层间偏移量,并且在比所述预定时间段短的时间间隔内基于所述多层视频数据流的短期语法元素602分别周期性地确定所述第一层的图片的空间区段与所述第二层的图片的空间区段的大小和定位以及所述第一层的图片和所述第二层的图片的空间采样分辨率;
[0565] 如果将所述长期语法元素设置成与所述可能值的第一集合不相交的可能值的第二集合的值(例如,min_spatial_segment_delay=0),则在比所述预定时间段短的时间间隔内基于所述多层视频数据流的所述短期语法元素周期性地确定所述预定时间段内的层间偏移量。
[0566] 第七十六方面涉及一种用于将使用从第一层至第二层的层间预测在层的层级中将情景编码成多层视频数据流的方法,使得能够利用所述第一层的图片的空间区段的遍历相对于所述第二层的图片的空间区段的遍历的层间偏移量,通过以时间重叠方式顺次遍历空间区段在将所述层的图片分区而成的空间区段中解码所述多层视频数据流,所述方法包括:
[0567] 将长期语法元素结构(min_spatial_segment_delay)和短期语法元素插入并且设置到所述多层视频数据流中,所述多层视频数据流的所述短期语法元素在时间间隔内分别基于周期限定所述第一层的图片的空间区段与所述第二层的图片的空间区段的大小和定位以及所述第一层的图片和所述第二层的图片的空间采样分辨率;
[0568] 其中,所述方法包括在下列设置之间切换:
[0569] 将所述长期语法元素结构(min_spatial_segment_delay≠0)设置成可能值的第一集合中的值,且该值在比所述时间间隔大的预定时间段内发出所述层间偏移量的信号,且在所述预定时间段内将所述短期语法元素设置成可能设置的集合之外的适当子集,所述适当子集被选择使得在所述预定时间段内,利用所述第一层的图片的空间区段的遍历相对于所述第二层的图片的空间区段的遍历的、小于或者等于由所述长期语法元素发出信号的所述层间偏移量的实际层间偏移量,所述第一层的图片的空间区段和所述第二层的图片的空间区段的大小和定位以及所述第一层的图片和所述第二层的图片的空间采样分辨率通过所述时间重叠方式顺次遍历所述空间区段而分别启用所述多层视频数据流的解码;
[0570] 将所述长期语法元素设置成与可能值的所述第一集合不相交的可能值的第二集合(min_spatial_segment_delay=0)中的值,且在所述预定时间段内,将所述短期语法元素设置成可能设置的集合中的任一个,可能设置的集合包含至少一种设置和至少另一种设置,根据所述至少一种设置,利用所述第一层的图片的空间区段的遍历相对于所述第二层的图片的空间区段的遍历的、小于或者等于由所述长期语法元素发出信号的所述层间偏移量的实际层间偏移量,所述第一层的图片的空间区段与所述第二层的图片的空间区段的大小和定位以及所述第一层的图片和所述第二层的图片的空间采样分辨率通过以时间重叠方式顺次遍历空间区段而分别禁用所述多层视频数据流的解码,并且根据所述至少另一种设置,利用所述第一层的图片的空间区段的遍历相对于所述第二层的图片的空间区段的遍历的、小于或者等于由所述长期语法元素发出信号的所述层间偏移量的实际层间偏移量,所述第一层的图片的空间区段与所述第二层的图片的空间区段的大小和定位以及所述第一层的图片和所述第二层的图片的空间采样分辨率通过以时间重叠方式顺次遍历空间区段而分别启用所述多层视频数据流的解码。
[0571] 第七十七方面涉及一种用于将多层视频数据流处理成在层中被编码情景的方法,使得在各个层中,在由可伸缩维度跨越的可伸缩空间的不同操作点内编码所述情景,其中,所述多层视频数据流由第一NAL单元和第二NAL单元构成,所述第一NAL单元中的每个与所述层中的一个相关联,并且所述第二NAL单元散布在所述第一NAL单元内并且呈现关于所述多层视频数据流的整体信息,所述方法包括:
[0572] 检测所述第二NAL单元中的类型指示符字段(696;例如,dedicated_scalability_ids_flag);
[0573] 如果所述类型指示符字段具有第一状态(例如,dedicated_scalability_ids_flag=0),则从所述第二NAL单元中读取将第一NAL单元报头中的层指示符字段(例如,layer_id)的可能值映射至所述操作点的映射信息(例如,layer_id_in_nuh[i],dimension_id[i][j])并且通过所述层指示符字段和所述映射信息使所述第一NAL单元与所述第一NAL单元内的所述操作点相关联;
[0574] 如果所述类型指示符字段具有第二状态(dedicated_scalability_ids_flag=1),则通过将所述第一NAL单元中的所述层指示符字段分割成一个以上的部分使所述第一NAL单元与所述操作点相关联,并且通过使用该部分的值作为所述可伸缩空间内的矢量的坐标来定位所述第一NAL单元的所述操作点。
[0575] 第七十八方面涉及一种用于在层中将情景编码成多层视频数据流的方法,使得在各个层中,所述情景被编码在在由可伸缩维度跨越的可伸缩空间的不同操作点中,其中,所述多层视频数据流由第一NAL单元和第二NAL单元构成,所述第一NAL单元中的每个与所述层中的一个相关联,并且所述第二NAL单元散布在所述第一NAL单元内并且呈现关于所述多层视频数据流的整体信息,所述方法包括:
[0576] 将类型指示符字段插入到所述第二NAL单元中并且在以下设置之间进行切换:
[0577] 设置所述类型指示符字段使得所述类型指示符字段具有第一状态,且将第一NAL单元报头中的层指示符字段的可能值映射至所述操作点的映射信息插入到所述第二NAL单元中并且设置所述第一NAL单元中的所述层指示符字段,使得通过所述映射信息使所述第一NAL单元的操作点与相应层的指示符字段相关联;
[0578] 设置所述类型指示符字段使得所述类型指示符字段具有第二状态(dedicated_scalability_ids_flag=1),且通过将所述第一NAL单元中的所述层指示符字段分割成一个以上的部分来设置所述第一NAL单元中的所述层指示符字段,并且设置所述一个以上的部分使得该部分的值对应于所述可伸缩空间内的矢量的坐标,从而指向与相应的第一NAL单元相关联的操作点。
[0579] 第七十九方面涉及一种用于使多层视频数据流转换成被编码在层中的情景的方法,以通过多标准多层解码器进行解码,其中,所述多层视频数据流由NAL单元构成,所述NAL单元中的每个与所述层中的一个相关联,其中,所述层与不同的编解码器相关联使得对于各个层,使用与相应层相关联的编解码器将与相应层相关联的所述NAL单元编码,所述方法包括:
[0580] 对于每个NAL单元,识别与NAL单元相关联的相同编解码器;并且
[0581] 将所述多层视频数据流的所述NAL单元移交至所述多标准多层解码器,所述多标准多层解码器使用与不同编解码器相关联的层之间的层间预测来对所述多层视频数据流进行解码。
[0582] 第八十方面涉及一种用于将多层视频数据流解码成情景的方法,使用从第一层的部分至第二层的共置部分的层间预测在层的层级中编码所述情景,其中,将所述第一层的图片细分成第一块的阵列并且将所述第二层的图片细分成第二块的阵列,其中,由所述第一块和所述第二块分别限定光栅扫描解码顺序,所述方法包括:
[0583] 利用在所述第一块的单元内测量的、第一层的图片的第一块的遍历相对于所述第二层的图片的第二块的空间遍历的所述层间偏移量,根据所述多层视频数据流的语法元素结构(例如,ctb_delay_enabled_flag,min_spatial_segment_delay)通过以时间重叠方式顺次遍历所述第一块和所述第二块来确定用于将所述第一层的图片和所述第二层的图片并行解码的层间偏移量。
[0584] 第八十一方面涉及一种具有程序代码的计算机程序,当在计算机上运行所述计算机程序时,所述程序代码用于执行根据第七十一方面至第八十方面中任一项所述的方法。