可伸缩视频编码方法及其装置专利检索-视频编码层视听技术与设备专利检索查询-专利查询网

可伸缩视频编码方法及其装置

阅读：327发布：2020-11-26

专利汇可以提供可伸缩视频编码方法及其装置专利检索，专利查询，专利分析的服务。并且本发明揭露一种可伸缩视频编码方法及其装置，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中该EL具有比该BL更高的空域分辨率或更好的视频品质。根据本发明实施例，为编码该增强层使用该基础层的信息。用于该增强层的信息包含CU结构、运动信息、运动信息、MVP/合并候选、帧内预测模式、残差四叉树信息、纹理信息、残差信息、上下文自适应熵编码、自适应环路滤波(ALF)、样本自适应偏移(SAO)与去块滤波。，下面是可伸缩视频编码方法及其装置专利的具体信息内容。

权利要求

1.一种用于可伸缩视频编码的上下文自适应熵编码方法，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中该EL具有比该BL更高的空域分辨率或更好的视频品质，该方法包含：
决定该BL的信息；以及
使用该BL的该信息决定用于处理该EL的语法元素的上下文信息。
2.如权利要求1所述的方法，其特征在于，当需要编解码该EL的该语法元素时，执行上述使用该BL的该信息决定用于处理该EL的该语法元素的上下文信息。
3.如权利要求1所述的方法，其特征在于，用于该EL的该语法元素的上下文信息取决于该BL的该信息。
4.如权利要求1所述的方法，其特征在于，用于该EL的该语法元素的二值化取决于该BL的该信息。
5.如权利要求1所述的方法，其特征在于，该语法元素为分裂旗标、跳过旗标、合并旗标、合并指数、色度帧内模式、亮度帧间模式、分割尺寸、预测模式、帧间预测方向、运动矢量差值、运动矢量预测子指数、参考指数、量化参数差值、有值旗标、末位有值位置、大于1系数、减1系数、ALF(自适应环路滤波)控制旗标、ALF旗标、ALF轨迹尺寸、ALF合并旗标、ALF ON/OFF决策、ALF系数、样本自适应偏移(SAO)旗标、SAO类型、SAO偏移、SAO合并旗标、SAO行程、SAO ON/OFF决策、变换细分旗标、残差四叉树CBF(编码区块旗标)或残差四叉树根CBF。
6.如权利要求1所述的方法，其特征在于，利用该BL中上下文模型的概率取得该EL中对应上下文模型的初始概率。
7.如权利要求1所述的方法，其特征在于，利用该BL中上下文模型的MPS(最可能符号)取得该EL中对应上下文模型的初始概率。
8.如权利要求1所述的方法，其特征在于，根据该BL的该信息自适应地改变对应该语法元素的码字。
9.如权利要求1所述的方法，其特征在于，根据该BL的该信息自适应地改变查看码字列表中对应该EL的该语法元素的码字顺序。
10.一种用于可伸缩视频编码的上下文自适应熵编码装置，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中该EL具有比该BL更高的空域分辨率或更好的视频品质，该装置包含：
用于决定该BL的信息的装置；以及
用于使用该BL的该信息决定处理该EL的语法元素的上下文信息的装置。
11.如权利要求10所述的装置，其特征在于，用于该EL的该语法元素的上下文信息取决于该BL的该信息。
12.如权利要求10所述的装置，其特征在于，用于该EL的该语法元素的二值化取决于该BL的该信息。
13.一种用于可伸缩视频编码的ALF(自适应环路滤波)信息编码、SAO(样本自适应偏移)信息编码与DF(去块滤波)信息编码方法，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中该EL具有比该BL更高的空域分辨率或更好的视频品质，该方法包含：
决定该BL的ALF信息、SAO信息或DF信息；以及
使用该BL的该ALF信息、SAO信息或DF信息分别取得该EL的ALF信息、SAO信息或DF信息。
14.如权利要求13所述的方法，其特征在于，当编码器或解码器需要分别取得该EL的该ALF信息、SAO信息或DF信息时，执行上述使用该BL的该ALF信息、SAO信息或DF信息分别取得该EL的该ALF信息、SAO信息或DF信息。
15.如权利要求13所述的方法，其特征在于，使用第一旗标指示是否从该BL的该ALF信息、SAO信息或DF信息分别预测该EL的该ALF信息、SAO信息或DF信息。
16.如权利要求15所述的方法，其特征在于，按比例决定该BL的该ALF信息、SAO信息或DF信息以分别提供按比例决定ALF信息、按比例决定SAO信息或按比例决定DF信息；以及其中如果该第一旗标指示从该BL的该ALF信息、SAO信息或DF信息分别预测该EL的该ALF信息、SAO信息或DF信息，则使用该按比例决定ALF信息、按比例决定SAO信息或按比例决定DF信息分别作为该EL的该ALF信息、SAO信息或DF信息的预测子。
17.如权利要求16所述的方法，其特征在于，使用数值表示该EL的该ALF信息、SAO信息或DF信息的预测子分别与该EL的该ALF信息、SAO信息或DF信息之间的差值。
18.如权利要求13所述的方法，其特征在于，该ALF信息对应滤波自适应模式、滤波系数、滤波轨迹、区域分割、ON/OFF决策、启动旗标或合并结果。
19.如权利要求13所述的方法，其特征在于，该SAO信息对应SAO类型、偏移量、区域分割、ON/OFF决策、启动旗标或合并结果。
20.如权利要求13所述的方法，其特征在于，该DF信息对应阈值、滤波参数、ON/OFF滤波决策、强/弱滤波选择或滤波强度。
21.一种用于可伸缩视频编码的ALF(自适应环路滤波)信息编码、SAO(样本自适应偏移)信息编码与DF(去块滤波)信息编码装置，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中该EL具有比该BL更高的空域分辨率或更好的视频品质，该装置包含：
用于决定该BL的ALF信息、SAO信息或DF信息的装置；以及
用于使用该BL的该ALF信息、SAO信息或DF信息分别取得该EL的ALF信息、SAO信息或DF信息的装置。
22.如权利要求21所述的装置，其特征在于，使用第一旗标指示是否从该BL的该ALF信息、SAO信息或DF信息分别预测该EL的该ALF信息、SAO信息或DF信息。
23.如权利要求21所述的装置，其特征在于，该ALF信息对应滤波自适应模式、滤波系数、滤波轨迹、区域分割、ON/OFF决策、启动旗标或合并结果。
24.如权利要求21所述的装置，其特征在于，该SAO信息对应SAO类型、偏移量、区域分割、ON/OFF决策、启动旗标或合并结果。
25.如权利要求21所述的装置，其特征在于，该DF信息对应阈值、滤波参数、ON/OFF滤波决策、强/弱滤波选择或滤波强度。

说明书全文

可伸缩视频编码方法及其装置

[0001] 交叉引用

[0002] 本发明要求如下优先权：编号为61/495,740，申请日为2011年6月10日，名称为“Scalable Coding of High Efficiency Video Coding”的美国临时专利申请。上述美国临时专利申请在此作为参考。

技术领域

[0003] 本发明有关于视频编码。特别地，本发明有关于使用基础层(base layer)的信息用于增强层(enhancement layer)编码的可伸缩视频编码(scalable video coding)。

背景技术

[0004] 压缩数字视频已经广泛用于各种应用中，例如数字网络上的视频流以及数字信道中的视频传输。通常地，单一视频内容可通过具有不同特征的网络进行传送。例如，实况体育赛事可变为宽带网上的高带宽流格式(high-bandwidth streaming format)用于高级视频服务。在上述应用中，压缩视频经常保持高分辨率与高品质，从而使得视频内容适合于例如HDTV或高分辨率LCD显示器的高画质设备。相同内容也可通过蜂窝数据网络进行传送从而使得在例如智能手机或联网便携式媒体装置的便携设备上可观看上述内容。在上述应用中，因为存在网络带宽问题以及智能手机或便携装置上的典型低分辨率显示，所以经常将视频内容压缩至较低分辨率与较低比特率。因此，对于不同网络环境以及不同应用，对视频分辨率与视频品质的需求是非常不同的。即使对于相同类型的网络，由于不同的网络架构与网络交通状况，用户也会体验到不同的可用带宽。因此，当可用带宽较高时，用户可接收高品质的视频，但是当网络拥塞发生时，用户将接收低品质但还算流畅的视频。在另一情况中，高端媒体播放器可处理高分辨率及高比特率的压缩视频，与此同时由于有限的计算资源，廉价媒体播放器仅能处理低分辨率及低比特率的压缩视频。因此，以可伸缩方式构建压缩视频从而使得可从同一压缩比特流中得到不同时域/空域分辨率(spatial-temporal)及/或品质的视频是合适的解决方法。

[0005] 在当前H.264/AVC视频标准中，存在对H.264/AVC标准的扩展，称为可伸缩视频编码(Scalable Video Coding,SVC)。SVC基于单一比特流提供时域、空域以及品质的可伸缩性。SVC比特流分别包含从低帧率(frame-rate)、低分辨率、低品质到高帧率、高清晰度、高品质的可伸缩视频信息。相应地，SVC适用于多种视频应用，例如视频广播、视频流、视频监控，以适应网络架构、网络交通状况、用户偏好等。

[0006] 在SVC中，提供了三种可伸缩类型，即时域可伸缩性、空域可伸缩性以及品质可伸缩性。SVC使用多层编码结构以实现三维可伸缩性。SVC的主要目标是产生一可伸缩比特流，其中该可伸缩比特流可在无反式编码或重编码的情况下简单快速地适用于与多种传输信道、各种显示能力以及不同计算资源相关联的比特率需求。SVC设计的重要特点是在比特流层(bitstream level)提供上述可伸缩性。换句话说，可通过从可伸缩比特流中提取网络提取层(Network Abstraction Layer,NAL)单元(或网络数据包)简单取得用于推导具有缩减空域及/或时域分辨率的比特流，其中需要上述比特流用于解码预期视频。可另外减小用于品质精化的NAL单元从而减小比特率以及降低相应视频品质。

[0007] 例如，可根据H.264/AVC标准从基于B图像(B-picture)的分层编码结构中取得时域可伸缩性。图1描述具有4层时域层的分层B图像结构与具有8幅图像的图像组(Group of Pictures,GOP)。将图1中的图像0与图像8称为关键图像(key picture)。关键图像的帧间预测(inter prediction)仅使用先前关键图像作为参考。分层预测两幅关键图像之间的其他图像。仅具有关键图像的视频形成可伸缩系统的粗糙时域分辨率。通过增加与可伸缩系统的增强层相关的更多B图像逐步改善低级别(较粗糙)视频从而取得时域可伸缩性。在图1的示例中，在编码两个关键图像后，首先使用关键图像(即图像0与图像8)双向预测图像4。在处理完图像4后，处理图像2与图像6。使用图像0与图像4双向预测图像2，并且使用图像4与图像8双向预测图像6。在编码完图像2与图像6后，如图1所示，使用各自的两个相邻图像双向处理剩余的图像，即图像1、3、5、7。相应地，GOP的处理顺序是0、8、4、2、6、1、3、5、7。根据图1中的分层处理后的图像形成分层的四级图像，其中图像0与图像8属于第一时序，图像4属于第二时序，图像2与图像6属于第三时序并且图像1、
3、5、7属于第四时序。通过解码基础层图像以及增加更高时序图像将能够提供更高水平视频。例如，基础层图像0与8可结合第二时序图像4形成第二层图像。通过将第三时序图像进一步加入第二层视频可形成第三层视频。相似地，通过将第四时序图像加入第三层视频可形成第四层视频。因此，可取得时域可伸缩性。如果初始视频具有每秒30帧的帧率，则基础层视频具有每秒3.75帧的帧率(30/8=3.75)。第二层、第三层与第四层视频对应每秒
7.5帧、每秒15帧、每秒30帧。也可将第一时序图像称为基础层视频或基础层图像。也可将第二时序图像至第四时序图像称为增强层视频或增强层图像。除了启动时域可伸缩性，分层B图像的编码结构也可以增加编解码延迟为代价通过典型的IBBP GOP结构改善编码效率。

[0008] 在SVC中，如图2所示，基于金字塔编码方案支持空域可伸缩性。在具有空域可伸缩性的SVC系统中，首先降采样(down-sample)视频序列以取得不同空域分辨率（层）的较小图像。例如，由空域采样(spatial decimation)220处理具有初始分辨率的图像210以取得降低分辨率的图像211。如图2所示，可由空域采样221进一步处理降低分辨率的图像211以取得进一步降低分辨率的图像212。除了二分空域分辨率(dyadic spatial resolution)，其中每层的空域分辨率减小一半，SVC也支持任意分辨率，其称为扩展空域可伸缩性(Extended Spatial Scalability,ESS)。图2中的SVC系统描述了具有三层的空域可伸缩系统示例，其中层0对应具有最低空域分辨率的图像以及层2对应具有最高分辨率的图像。在不参考其他层情况下编码层0图像，即单层编码。例如，使用运动补偿与帧内预测230编码最低层的图像212。

[0009] 运动补偿与帧内预测230将不但为进一步的熵编码240生成语法元素还生成例如运动信息的编码相关信息。图2实际上描述了提供空域可伸缩性与品质可伸缩性(也称为SNR可伸缩性)的综合SVC系统。上述系统也提供了时域可伸缩性，其并未明确示出。对于每一单层编码，可使用SNR增强层编码250改善残留的编码误差。图2中的SNR增强层可提供多种品质水平(品质可伸缩性)。如非可伸缩编码系统，分别由单层运动补偿与帧内预测编码每个支持分辨率层。也可使用基于一个或多个较低空域层的层间编码(inter-layer coding)来编码每个较高空域层。例如，可使用基于层0视频的层间预测、以宏块为基础的单层编码或其他区块单元来自适应地编码层1视频。相似地，可使用基于重建层1视频的层间预测或单层编码来自适应编码层2视频。如图2所示，运动补偿与帧内预测231、基础层熵编码241与SNR增强层编码251可编码层1的图像211。相似地，运动补偿与帧内预测232、基础层熵编码242与SNR增强层编码252可编码层2的图像210。由于层间编码，所以可提高编码效率。此外，编码空域层1所需的信息可取决于重建层0(层间预测)。层间偏差在学术上称为增强层(enhancement layer)。H.264SVC提供三种类型的层间预测工具：
层间运动预测、层间帧内预测以及层间残差预测(inter-layer residual prediction)。

[0010] 在SVC中，增强层(enhancement layer,EL)可重用(reuse)基础层(base layer,BL)的运动信息以减小层间运动数据冗余。例如，在确定mb_type指示是否直接从BL中取得EL运动信息之前，EL宏块编码可使用例如base_mode_flag的旗标。如果base_mode_flag等于1，则从BL的同位8×8区块的对应数据中取得EL宏块的分割数据以及相关参考指数与运动矢量。在EL中直接使用BL的参考图像指数。可从与BL相关的数据中按比例决定(scale)EL的运动矢量。此外，可使用按比例决定的BL(scaled BL)运动矢量作为EL的附加运动矢量预测子。

[0011] 层间残差预测使用升采样BL残差信息(up-sampled BL residual information)以减少EL残差信息。可使用双线性滤波器以区块顺序升采样BL的同位残差并且可将BL的同位残差用于EL中当前宏块的残差预测。以变换区块(transform block)为基础完成参考层残差的升采样从而确保不在穿过变换区块边界处使用滤波。

[0012] 与层间残差预测类似，层间帧内预测减少EL的多余纹理信息(texture information)。由按区块顺序升采样同位BL重建信号生成EL中的预测子。在层间帧内预测升采样进程中，分别为亮度与色度组分应用4抽头与2抽头FIR滤波器。不同于层间残差预测，总是在子区块边界处执行用于层间帧内预测的滤波。为了简化解码，可将层间帧内预测仅限定于BL的帧内编码宏块。

[0013] 在SVC中，编码多品质EL实现品质可伸缩性，其中多品质EL是由改善系数(refinement coefficient)组成。可容易地截断或提取可伸缩视频比特流以提供具有不同视频品质或比特流尺寸的不同视频比特流。在SVC中，可通过两种策略，粗粒度可伸缩性(coarse grain scalability,CGS)、中粒度可伸缩性(medium grain scalability,MGS)提供品质可伸缩性(也称为SNR可伸缩性)。可将CGS视为空域可伸缩性的特定情况，其中BL与EL的空域分辨率是相同的。然而，EL的品质比BL的品质更好（EL的QP小于BL的QP）。可使用与空域可伸缩编码相同的层间预测机制。然而，不执行相应的升采样或去块操作。此外，在变换域(transform domain)直接执行层间帧内预测与残差预测。对于CGS中的层间预测，通常通过重新量化EL中的残差信号取得纹理信息改善，其中采用比前期CGS层使用的小的量化步长实施重新量化。CGS可提供多个预定品质点(quality point)。

[0014] 在维持合理复杂度的同时提供更精细比特率粒度用于品质可伸缩性，H.264SVC使用MGS。MGS可被看作CGS的扩展，其中可将一个CGS条带中的量化系数分为几个MGS条带。可将CGS中的量化系数基于其在之字形扫描顺序中的扫描位置归类为16种类别。可将16种类别的系数分配至不同条带以提供比CGS更多的品质提取点。

[0015] 在当前的HEVC中，基于不具有任何空域可伸缩性与品质可伸缩性的分层B编码结构仅提供单层编码。为当前HEVC提供空域可伸缩性与品质可伸缩性的能力是令人满意的。此外，通过H.264SVC提供改进SVC以实现更高效率及/或更大灵活性是令人满意的。

发明内容

[0016] 本发明揭露一种为增强层(EL)使用基础层(BL)信息的可伸缩视频编码方法及其装置，其中EL具有比BL更高的分辨率及/或更好的品质。本发明实施例使用各种BL信息改善EL的编码效率。在本发明一实施例中，上述方法与装置使用BL的CU结构信息、模式信息或运动信息以分别取得EL的信息。也可使用CU结构、模式与运动信息的结合以分别取得EL的信息。在本发明另一实施例中，上述方法与装置基于BL的MVP候选或合并候选取得EL的运动矢量预测子(MVP)候选或合并候选。在本发明另一实施例中，上述方法与装置基于BL的帧内预测模式取得EL的帧内预测模式。

[0017] 本发明实施例使用BL的残差四叉树结构信息取得EL的残差四叉树结构。本发明的另一实施例通过重采样BL的纹理取得EL的纹理。本发明另一实施例通过重采样BL的残差取得EL的残差预测子。

[0018] 本发明另一方面指向EL的基于上下文自适应熵编码的编码效率。本发明实施例使用BL的信息决定处理EL语法元素的上下文信息。本发明另一方面指向环内处理的编码效率。本发明实施例使用BL的ALF信息、SAO信息、DF信息分别得到EL的ALF信息、SAO信息、DF信息。附图说明

[0019] 图1描述使用分层B图像的时域可伸缩视频编码示例。

[0020] 图2描述提供空域可伸缩性与品质可伸缩性的具有三个空域层的综合可伸缩视频编码示例。

[0021] 图3描述用于可伸缩视频编码重用的CU结构示例，其中可按比例决定基础层的CU结构并且将其作为增强层的初始CU结构。

[0022] 图4是根据本发明实施例描述的用于可伸缩视频编码的CU结构编码或运动信息编码的示例流程图。

[0023] 图5是根据本发明实施例描述的用于可伸缩视频编码的MVP获取或合并候选获取的示例流程图。

[0024] 图6是根据本发明实施例描述的用于可伸缩视频编码的帧内预测模式获取的示例流程图。

[0025] 图7是根据本发明实施例描述的用于可伸缩视频编码的残差四叉树结构编码的示例流程图。

[0026] 图8是根据本发明实施例描述的用于可伸缩视频编码的纹理预测与重采样的示例流程图。

[0027] 图9是根据本发明实施例描述的用于可伸缩视频编码的残差预测与重采样的示例流程图。

[0028] 图10是根据本发明实施例描述的用于可伸缩视频编码的上下文自适应熵编码的示例流程图。

[0029] 图11是根据本发明实施例描述的用于可伸缩视频编码的ALF信息编码、SAO信息编码、DF信息编码的示例流程图。

具体实施方式

[0030] 在HEVC中，为编码进程引入编码单元(coding unit,CU)结构作为新的区块结构。将图像分割为最大编码单元(largest CU,LCU)并且自适应地将每个LCU分割为CU直到取得叶CU或达到最小CU尺寸为止。必须将CU结构信息转达至解码器侧从而使得在解码器侧可恢复相同的CU结构。为了提高用于可伸缩HEVC的与CU结构相关联的编码效率，本发明实施例允许EL重用BL的CU结构。在EL LCU或CU层，发送一个旗标以指示是否重用来自BL的对应CU的CU结构。如果重用BL CU结构，可按比例决定BL CU结构以匹配EL的分辨率并且EL重用上述按比例决定的BL CU结构。此外，可将按比例决定的CU结构的叶CU进一步分割为子CU。图3描述CU分割重用的示例。分区310对应BL的CU结构。EL的视频分辨率在水平方向与垂直方向上两倍于BL的视频分辨率。将BL的对应CU分区315的CU结构按比例放大至2倍。然后使用按比例决定的CU结构320作为EL LCU的初始CU结构。可进一步将EL中按比例决定CU的叶CU分割为子CU，图3中330指示上述分割结果。
可使用旗标指示是否进一步将叶CU分割为子CU。虽然图3描述重用CU结构的示例，但也可重用其他信息。例如，预测类型、预测尺寸、合并指数、帧间参考方向、参考图像指数、运动矢量、运动矢量预测子指数(MVP index)与帧内模式。当在EL中重用信息/数据之前如果需要可按比例决定信息/数据。

[0031] 在本发明另一实施例中，重用叶CU的模式信息。上述模式信息包含跳过旗标(skip flag)、预测类型、预测尺寸、帧间参考方向、参考图像指数、运动矢量、运动矢量指数、合并旗标、合并指数与帧内模式。EL中叶CU的模式信息可共享BL中对应CU的相同模式信息或按比例决定的模式信息。可使用一个旗标指示EL是否将重用BL中的模式信息。对于一部分或多部分模式信息，可使用一个旗标指示EL是否将重用BL中的所述模式信息。

[0032] 在本发明另一实施例中，重用BL中的对应预测单元(Prediction Unit,PU)或编码单元(CU)的运动信息以取得EL中PU或CU的运动信息。运动信息可包含帧间预测方向、参考图像指数、运动矢量(Motion Vector,MV)、运动矢量预测子(MVP)、MVP指数、合并指数、合并候选与帧内模式。可使用BL的运动信息作为EL中运动信息的预测子或候选。例如，可将BL MV与BL MVP加入至用于EL MVP导出的MVP列表及/或合并列表。上述BL的MV可为BL中对应PU的MV、BL中对应PU的相邻PU的MV、BL中对应PU的合并候选的MV、BL中对应PU的MVP或BL中对应PU的同位MV。

[0033] 在另一示例中，EL的合并候选导出可使用BL的运动信息。例如，可将BL中对应PU的合并候选加入合并候选列表及/或MVP列表。上述BL的运动信息可为BL中对应PU的运动信息、BL中对应PU的相邻PU的关联运动信息、BL中对应PU的合并候选、BL中对应PU的MVP或BL中对应PU的同位PU。在这种情况下，运动信息包含帧间预测方向、参考图像指数与运动矢量。

[0034] 在另一示例中，可为EL重用BL中对应PU或CU的帧内模式。例如，可将BL中对应PU或CU的帧内模式加入至帧内最可能模式列表(intra most probable mode list)。根据本发明实施例使用BL的运动信息来预测EL的帧内模式。可根据BL中帧内预测模式信息自适应地改变EL中最可能模式列表的顺序。相应地，可根据BL中帧内模式信息自适应地改变EL中最可能模式列表的码字的字长(codeword length)。例如，将具有接近已编码BL帧内模式的预测方向的帧内残留模式的码字配置为更短的长度。如另一示例，也可将BL帧内模式的相邻方向模式加入至EL帧内模式编码的帧内最可能模式(Most Probable Mode,MPM)列表中。BL的帧内预测模式信息可为BL中对应PU的帧内预测模式、BL帧内模式的相邻方向模式或BL中对应PU的相邻PU的帧内预测模式。

[0035] 可利用BL运动信息的已选择的MVP指数、合并指数与帧内模式指数自适应地改变EL MVP列表、合并指数列表与帧内最可能模式列表中的索引顺序。例如，在HEVC测试模型版本3.0(HEVC Test Model Version3.0,HM-3.0)，MVP列表的顺序为{左MVP、上MVP、同位MVP}。如果对应BL PU选择上MVP，则EL中上MVP的顺序将提前。相应地，EL中MVP列表将变为{上MVP、左MVP、同位MVP}。此外，BL已编码MV、按比例决定的已编码MV、MVP候选、按比例决定的MVP候选、合并候选与按比例决定的合并候选可替换部分的EL MVP候选及/或合并候选。当EL中PU或CU的MVP候选或合并候选需要编解码时，调用基于BL中对应PU或CU的运动信息以得到EL中PU或CU的运动信息的进程。

[0036] 如前所述，可使用BL的CU结构信息决定EL的CU结构信息。此外，可结合使用BL的CU结构信息、模式信息与运动信息以决定EL的CU结构信息、模式信息与运动信息。也可使用BL的模式信息或运动信息来决定EL的模式信息或运动信息。当EL的CU结构信息、模式信息、运动信息或上述信息结合需要编解码时，可调用基于BL的对应信息得到EL的CU结构信息、模式信息、运动信息或上述信息结合的进程。

[0037] 在HM-3.0中，使用四叉树分割(quadtree partitioning)进一步处理预测残差(prediction residual)并且为残差四叉树分割结果的每个区块选择编码类型。残差四叉树分割信息与编码区块类型(Coding Block Pattern,CBP)信息必须合并入比特流从而使得解码器可恢复残差四叉树信息。根据本发明的实施例为EL重用BL中对应CU的残差四叉树分区与CBP。可按比例决定残差四叉树分区与CBP并且将其用作EL的残差四叉树分区与CBP编码的预测子。在HEVC中，用于区块变换的单元在学术上称为变换单元(Transform Unit,TU)并且可将TU分割为更小的TU。在本发明实施例中，发送用于EL的根TU层(root TU level)或TU层的一个旗标以指示是否应用BL中对应TU的残差四叉树编码(Residual Quadtree Coding,RQT)结构以预测EL中当前TU的RQT结构。如果应用BL中对应TU的RQT结构预测EL中当前TU的RQT结构，则按比例决定BL中对应TU的RQT结构并且将其作为EL中当前TU的初始RQT结构。在用于EL的初始RQT结构的叶TU中，可发送一个分裂旗标(split flag)以指示是否将TU分为子TU。当编码器需要编码EL的RQT结构或解码器需要解码EL的RQT结构时，执行基于BL的RQT结构信息导出EL的RQT结构的进程。

[0038] 在H.264/AVC可伸缩扩展中，可分别采用4抽头与2抽头FIR滤波器用于亮度与色度组分纹理信号的升采样操作。根据本发明的实施例重采样(re-sample)BL纹理作为EL纹理的预测子，其中上述重采样使用改进的升采样方法以替换在H.264/AVC可伸缩扩展中的4抽头与2抽头FIR滤波器。根据本发明的滤波器使用下列滤波器中的一个或者下列滤波器的结合：离散余弦变换内插滤波器(Discrete Cosine Transform Interpolation Filter,DCTIF)、离散正弦变换内插滤波器(Discrete Sine Transform Interpolation Filter,DSTIF)、维纳滤波器(Wiener filter)、非局部均值滤波器(non-local mean filter)、平滑滤波器(smoothing filter)与双边滤波器(bilateral filter)。根据本发明的滤波可跨越TU边界或限定在TU边界内。根据本发明的实施例在层间帧内预测中可跳过填充(padding)与去块进程以缓解计算复杂度与数据依赖问题。也可跳过BL中的样本自适应偏移(Sample Adaptive Offset,SAO)、自适应环路滤波(Adaptive Loop Filter,ALF)、非局部均值滤波及/或平滑滤波。可将上述跳过填充、去块、SAO、ALF、非局部均值滤波与平滑滤波应用于整个LCU、叶CU、PU、TU、预定区域、LCU边界、叶CU边界、PU边界、TU边界或预定区域的边界。在另一实施例中，使用滤波器处理BL纹理以产生已滤波BL纹理，以及上述BL纹理具有与EL纹理相同的分辨率并且使用上述BL纹理作为EL纹理的预测子。在使用BL纹理作为EL纹理的预测子之前，可将维纳滤波、ALF(自适应环路滤波)、非局部均值滤波、平滑滤波或SAO(样本自适应偏移)应用于BL纹理。

[0039] 为了改善图像品质，在重采样BL纹理之前，本发明实施例对BL纹理应用维纳滤波或自适应滤波。可替换地，可在重采样BL纹理之后对BL纹理应用维纳滤波或自适应滤波。此外，在重采样BL纹理之前，本发明实施例将SAO或ALF应用于BL纹理。

[0040] 根据本发明的另一实施例为层间帧内预测应用基于LCU或基于CU维纳滤波及/或自适应偏移。可对BL纹理数据或已升采样的BL纹理数据采用上述滤波。

[0041] 在H.264SVC中，为亮度与色度组分残差信号的升采样操作使用2抽头FIR滤波器。根据本发明的实施例使用改进的升采样方法以替换H.264SVC的2抽头FIR滤波器。上述滤波器可为下列滤波器中的一个或者下列滤波器的结合：离散余弦变换内插滤波器(DCTIF)、离散正弦变换内插滤波器(DSTIF)、维纳滤波器、非局部均值滤波器、平滑滤波器与双边滤波器。当EL具有比BL更高的空域分辨率时，可将上述滤波器应用于重采样BL残差。可将上述所有滤波限定于跨越或不跨越TU边界。此外，如果BL与EL具有相同分辨率或EL具有比BL更高的分辨率，则可在空域或频域执行上述残差预测。当EL具有比BL更高的空域分辨率时，在频域重采样BL的残差以形成EL残差的预测子。当编码器或解码器需要基于BL的已重采样残差取得EL残差的预测子时，可执行通过重采样BL残差取得EL残差的预测子的进程。

[0042] 根据本发明的实施例可为EL中的基于上下文自适应熵编码(context-based adaptive entropy coding)使用BL信息。例如，基于上下文的自适应二进制算术编码(Context-based Adaptive Binary Arithmetic Coding,CABAC)的上下文信息或二值化(binarization)可利用BL的信息。EL可基于BL中的对应信息使用不同的上下文模型、不同的上下文构造方法或不同的上下文集合。例如，EL PU可根据是否在跳过模式中编码BL的对应PU使用不同的上下文模型。在本发明另一实施例中，可重用BL中用于CABAC的部分上下文模型的概率或最可能符号(Most Probable Symbol,MPS)以取得EL中用于CABAC的部分上下文模型的初始概率与MPS。语法元素可为分裂旗标、跳过旗标、合并旗标、合并指数、色度帧内模式、亮度帧内模式、分割尺寸、预测模式、帧间预测方向、运动矢量差值、运动矢量预测子指数、参考指数、量化参数差值(delta quantization parameter)、有值旗标(significant flag)、末位有值位置(last significant position)、大于1系数(coefficient-greater-than-one)、减1系数(coefficient-magnitude-minus-one)、ALF(自适应环路滤波)控制旗标、ALF旗标、ALF轨迹尺寸、ALF合并旗标、ALF ON/OFF(启动/关闭)决策、ALF系数、样本自适应偏移(SAO)旗标、SAO类型、SAO偏移、SAO合并旗标、SAO行程、SAO ON/OFF决策、变换细分旗标、残差四叉树CBF(编码区块旗标)或残差四叉树根CBF。可根据BL信息自适应地改变对应语法元素的码字并且也可根据BL信息自适应地改变查看码字列表(look-up codeword table)中对应EL语法元素的码字顺序。当EL语法元素需要编解码时，执行使用BL信息处理EL语法元素的决定上下文信息进程。

[0043] 本发明实施例使用BL中的某些ALF信息取得EL的ALF信息。ALF信息可包含滤波自适应模式、滤波系数、滤波轨迹、区域分割、ON/OFF决策、启动旗标与合并结果。例如，EL可使用BL中的部分ALF参数作为EL中的ALF参数或ALF参数的预测子。当直接从BL的ALF信息中重用ALF信息时，无需为EL传输相关ALF参数。可使用旗标指示是否从BL的ALF信息中预测EL的ALF信息。如果旗标指示从BL的ALF信息中预测EL的ALF信息，则可按比例决定BL的ALF信息并且使用上述按比例决定的ALF信息作为EL的ALF信息预测子。可使用一数值表示ALF信息预测子与EL的ALF信息之间的差值。当编码器或解码器需要得到EL的ALF信息时，执行使用BL的ALF信息导出EL的ALF信息的进程。

[0044] 本发明实施例使用BL的某些SAO信息得到EL的SAO信息。SAO信息可包含偏移类型、偏移量、区域分割、ON/OFF决策、启动旗标与合并结果。例如，EL可使用BL的部分SAO参数作为EL的SAO参数。当直接从BL的SAO信息中重用SAO信息时，无需为EL传输相关SAO参数。可使用旗标指示是否从BL的SAO信息中预测EL的SAO信息。如果旗标指示从BL的SAO信息中预测EL的SAO信息，则可按比例决定BL的SAO信息并且使用上述按比例决定的SAO信息作为EL的SAO信息预测子。可使用一数值表示SAO信息预测子与EL的SAO信息之间的差值。当编码器或解码器需要得到EL的SAO信息时，执行使用BL的SAO信息导出EL的SAO信息的进程。

[0045] 本发明实施例使用BL的某些去块滤波(DF)信息得到EL的DF信息。DF信息可包含阈值，例如用于决定边界强度(Boundary Strength,BS)的阈值α、β、tc。DF也可包含滤波参数、ON/OFF滤波决策、强/弱滤波选择或滤波强度。当直接从BL的DF信息中重用DF信息时，无需为EL传输相关DF参数。可使用旗标指示是否从BL的DF信息中预测EL的DF信息。如果旗标指示从BL的DF信息中预测EL的DF信息，则可按比例决定BL的DF信息并且使用上述按比例决定的DF信息作为EL的DF信息预测子。可使用一数值表示DF信息预测子与EL的DF信息之间的差值。当编码器或解码器需要得到EL的DF信息时，执行使用BL的DF信息导出EL的DF信息的进程。

[0046] 图4至图11是根据本发明各种实施例描述的可伸缩视频编码的示例流程图。图4是根据本发明实施例描述的用于可伸缩视频编码的CU结构编码或运动信息编码的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤410决定用于BL中CU(编码单元)的CU结构(编码单元结构)、运动信息或CU结构与运动信息的结合。在步骤420分别决定用于EL中对应CU的CU结构、运动矢量预测子(MVP)信息或CU结构与MVP信息的结合，其中上述EL中的CU结构、MVP信息或CU结构与MVP信息的结合以BL中CU的CU结构、运动信息或CU结构与运动信息的结合为基础。图5是根据本发明实施例描述的用于可伸缩视频编码的MVP获取或合并候选获取的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤510决定BL的运动信息。在步骤520基于BL运动信息取得EL中的运动矢量预测子(MVP)候选或合并候选。图6是根据本发明实施例描述的用于可伸缩视频编码的帧内预测模式获取的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤610决定BL的帧内预测模式信息。在步骤620基于BL的帧内预测模式信息取得EL的帧内预测模式。

[0047] 图7是根据本发明实施例描述的用于可伸缩视频编码的残差四叉树结构编码的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤710决定BL的RQT结构(残差四叉树编码结构)信息。在步骤720基于BL的RQT结构信息取得EL的RQT结构。图8是根据本发明实施例描述的用于可伸缩视频编码的纹理预测与重采样的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤810决定BL的纹理信息。在步骤820基于BL纹理信息取得EL纹理的预测子。图9是根据本发明实施例描述的用于可伸缩视频编码的残差预测与重采样的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤910决定BL的残差信息。在步骤920通过重采样BL残差取得EL的残差预测子。

[0048] 图10是根据本发明实施例描述的用于可伸缩视频编码的上下文自适应熵编码的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤1010决定BL信息。在步骤1020使用BL信息决定处理EL语法元素的上下文信息。图11是根据本发明实施例描述的用于可伸缩视频编码的ALF信息编码、SAO信息编码与DF信息编码的示例流程图，其中将视频数据配置于基础层(BL)与增强层(EL)并且其中EL具有比BL更高的空域分辨率或更好的视频品质。在步骤1110决定BL的ALF信息、SAO信息或DF信息。在步骤1120使用BL的ALF信息、SAO信息或DF信息分别取得EL的ALF信息、SAO信息或DF信息。

[0049] 上述根据本发明的可伸缩视频编码实施例可在各种硬件、软件编码或两者组合中进行实施，其中增强层编码使用基础层信息。例如，本发明实施例可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数据信号处理器(Digital Signal Processor,DSP)中执行的执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。

[0050] 在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为说明的所有方面并且无限制。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化皆属于本发明的涵盖范围。

标题	发布/更新时间	阅读量
解码器、解码方法、编码器以及编码方法	2020-05-11	978
基于感知质量的可缩放视频编码速率适配	2020-05-11	795
编码方法、系统和编码器、解码方法、系统和解码器	2020-05-12	159
压缩/解压缩的装置和系统、芯片、电子装置、方法	2020-05-08	169
视频数据解码方法、编码方法以及相关设备	2020-05-08	517
用于视频编码的自适应环内滤波	2020-05-12	197
针对高效率视频编码标准的跳过编码模式提前判决方法	2020-05-12	579
一种基于动态注意力机制的多事件视频描述方法	2020-05-08	733
针对多层视频编码的层间参考图片增强的设备	2020-05-11	799
用于对视频数据进行编码的方法、装置和设备	2020-05-12	62

可伸缩视频编码方法及其装置

可伸缩视频编码方法及其装置

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：