图像预测方法及装置
阅读：439发布：2020-05-08
专利汇可以提供图像预测方法及装置专利检索，专利查询，专利分析的服务。并且本 发明 实施例 提供一种图像预测方法。该方法包括：接收码流，从所述码流中解析当前 块 的预测模式。当所述当前块的预测模式是联合 帧 内预测 模式和帧间预测模式时，根据预设策略选择三 角 形预测单元模式的执行方式；根据所述三角形预测单元模式的执行方式确定所述当前块的运动信息；根据所述运动信息，执行 运动补偿 过程，获得帧间预测 采样 。根据所述当前块的预测模式，获得帧内预测采样；然后将所述帧间预测采样和所述帧内预测采样结合，获得所述当前块的预测图像。本发明实施例可以提高编解码的效率。，下面是图像预测方法及装置专利的具体信息内容。
1.一种图像预测方法，其特征在于，所述方法包括：
接收码流，
从所述码流中解析当前块的预测模式，
当所述当前块的预测模式是联合帧内预测模式和帧间预测模式时，根据预设策略选择三角形预测单元模式的执行方式；
根据所述三角形预测单元模式的执行方式确定所述当前块的运动信息；
根据所述运动信息，执行运动补偿过程，获得帧间预测采样；
根据所述当前块的预测模式，获得帧内预测采样；
将所述帧间预测采样和所述帧内预测采样结合，获得所述当前块的预测图像。
2.根据权利要求1所述的方法，其特征在于，若所述联合帧内预测模式和帧间预测模式中帧内预测模式为DC或PLANAR，则根据所述预设策略选择不执行所述三角形预测单元模式。
3.根据权利要求1所述的方法，其特征在于，若所述联合帧内预测模式和帧间预测模式中帧内预测模式为DC或PLANAR，则根据所述预设策略选择所述三角形预测单元模式仅使用逆对角方向划分。
4.根据权利要求1所述的方法，其特征在于，在使用所述联合帧内预测模式和帧间预测模式时，则根据所述预设策略选择不执行所述三角形预测单元模式。
5.根据权利要求1所述的方法，其特征在于，若所述联合帧内预测模式和帧间预测模式中帧内预测模式为DC或PLANAR，则根据所述预设策略选择不解析三角形预测单元模式标识并且不执行所述三角形预测单元模式。
6.根据权利要求1所述的方法，其特征在于，在使用所述联合帧内预测模式和帧间预测模式时，则根据所述预设策略选择不解析三角形预测单元模式标识并且不执行所述三角形预测单元模式。
7.根据权利要求5或6所述的方法，其特征在于，所述三角形预测单元模式标识为merge_triangle_flag。
8.根据权利要求3所述的方法，所述逆对角方向划分包括由右上角至左下角的划分方式。
9.根据权利要求1-8任一所述的方法，其特征在于，则根据所述三角形预测单元模式的执行方式确定所述当前块的运动信息，根据所述运动信息，执行运动补偿过程包括：
若执行所述三角形预测单元模式，则按照三角形预测单元模式执行所述运动补偿过程；或
若不执行所述三角形预测单元模式，则按照融合merge模式执行所述运动补偿过程。
10.根据权利要求1-9任一所述的方法，其特征在于，联合帧内预测模式和帧间预测模式标识指示所述联合帧内预测模式和帧间预测模式。
11.根据权利要求10所述的方法，其特征在于，所述联合帧内预测模式和帧间预测模式标识为mh_intra_flag。
12.根据权利要求1-11任一所述的方法，其特征在于，根据预设策略确定执行所述三角形预测单元模式时，从所述码流中解析三角形预测单元模式索引(merge_triangle_idx),并根据merge_triangle_idx获得三角形预测单元模式的划分方向(TriangleDir)。
13.根据权利要求12所述的方法，其特征在于，生成单向运动信息候选列表(uni-prediction candidate list)，根据所述三角形预测单元模式索引，从所述单向运动信息候选列表中确定所述当前块的运动信息。
14.根据权利要求1-11任一所述的方法，其特征在于，根据所述预设策略选择不执行所述三角形预测单元模式时，所述方法包括：
生成融合运动信息候选列表，然后根据所述码流中携带的融合索引确定所述当前块的运动信息。
15.根据权利要求1-14任一所述的方法，其特征在于，根据所述当前块的预测模式，获得帧内预测采样包括：
从所述码流中解析帧内编码模式相关语法，并根据所述语法，从帧内候选模式列表(intra candidate list)中选取帧内预测模式。
16.根据权利要求15所述的方法，其特征在于，所述帧内编码模式语法包含最可能模式标识mh_intra_luma_mpm_flag和最可能模式索引mh_intra_luma_mpm_idx。
17.一种图像预测方法，其特征在于，所述方法包括：
接收码流，
从所述码流中解析当前块的三角形预测单元模式，
当所述当前块采用三角形预测单元模式时，根据第一预设策略选择联合帧内预测模式和帧间预测模式的执行方式；
根据三角形预测单元模式获取所述当前块的运动信息，获得帧间预测采样；
根据所述联合帧内预测模式和帧间预测模式的执行方式，以及所述帧间预测采样，获得所述当前块的预测图像。
18.根据权利要求17所述的方法，其特征在于，根据所述联合帧内预测模式和帧间预测模式的执行方式，以及所述帧间预测采样，获得所述当前块的预测图像包括：
若根据所述第一预设策略选择执行所述联合帧内预测模式和帧间预测模式，则根据所述联合帧内预测模式和帧间预测模式获得帧内预测采样，将所述帧间预测采样和所述帧内预测采样结合，获得所述当前块的预测图像；或
若根据所述第一预设策略选择不执行所述联合帧内预测模式和帧间预测模式，则根据所述帧间预测采样，获得所述当前块的预测图像。
19.根据权利要求17所述的方法，其特征在于，在使用所述三角形预测单元模式时，根据所述第一预设策略选择不解析联合帧内预测模式和帧间预测模式标识，且不执行所述联合帧内预测模式和帧间预测模式。
20.根据权利要求17所述的方法，其特征在于，在使用三角形预测单元模式时，若三角形预测单元划分为逆对角方向时，根据第二预设规则解析联合帧内预测模式和帧间预测模式标识；若三角形预测单元划分为对角方向时，不解析联合帧内预测模式和帧间预测模式标识，且不执行所述联合帧内预测模式和帧间预测模式。
21.根据权利要求19或20所述的方法，其特征在于，所述联合帧内预测模式和帧间预测模式标识为mh_intra_flag。
22.根据权利要求17所述的方法，其特征在于，在使用所述三角形预测单元模式方法时，根据所述第一预设策略选择不执行所述联合帧内预测模式和帧间预测模式。
23.根据权利要求17所述的方法，其特征在于，在使用三角形预测单元模式方法时，若三角形预测单元划分为逆对角方向时，执行所述联合帧内预测模式和帧间预测模式；若三角形预测单元划分为对角方向时，则不执行所述联合帧内预测模式和帧间预测模式方法。
24.根据权利要求17所述的方法，其特征在于，在使用三角形预测单元模式方法时，当三角形预测单元划分为对角方向时，在使用联合帧内预测模式和帧间预测模式方法时仅使用水平和竖直预测模式。
25.根据权利要求17-24任一所述的方法，其特征在于，三角形预测单元模式标识指示所述三角形预测单元模式的执行方式。
26.根据权利要求25所述的方法，其特征在于，所述三角形预测单元模式标识为merge_triangle_flag。
27.根据权利要求17-26任一所述的方法，其特征在于，在执行联合帧内预测模式和帧间预测模式的情况下，从所述码流中解析帧内编码模式相关语法，并根据所述语法，从帧内候选模式列表(intra candidate list)中选取帧内预测模式。
28.根据权利要求27所述的方法，其特征在于，所述帧内编码模式相关语法包含最可能模式标识mh_intra_luma_mpm_flag和最可能模式索引mh_intra_luma_mpm_idx。
29.根据权利要求17-28任一所述的方法，其特征在于，从所述码流中解析三角形预测单元模式索引merge_triangle_idx,根据merge_triangle_idx从查找表中获得三角形预测单元模式的划分方向TriangleDir。
30.根据权利要求29所述的方法，其特征在于，生成单向运动信息候选列表(uni-prediction candidate list)，根据所述三角形预测单元模式索引，从所述单向运动信息候选列表中确定所述当前块的运动信息。
31.一种解码视频流的装置，包含处理器和存储器，所述存储器存储指令，所述指令使得所述处理器执行所述1-16任一所述的方法。
32.一种解码视频流的装置，包含处理器和存储器，所述存储器存储指令，所述指令使得所述处理器执行所述17-30任一所述的方法。
33.一种解码设备，包括：相互耦合的非易失性存储器和处理器，所述存储器用于存储程序指令，所述程序指令使得所述处理器执行权利要求1-16任一项所述的方法。
34.一种解码设备，包括：相互耦合的非易失性存储器和处理器，所述存储器用于存储程序指令，所述程序指令使得所述处理器执行权利要求17-30任一项所述的方法。
图像预测方法及装置
技术领域
[0001] 本申请涉及视频编解码领域，更确切地说，涉及一种图像预测方法及装置。
背景技术
[0002] 随着互联网科技的迅猛发展以及人们物质精神文化的日益丰富，在互联网中针对视频的应用需求尤其是针对高清视频的应用需求越来越多，而高清视频的数据量非常大，要想高清视频能在带宽有限的互联网中传输，必须首先解决的问题就是视频编解码问题。视频编解码广泛用于数字视频应用，例如广播数字电视、互联网和移动网络上的视频传播、视频聊天和视频会议等实时会话应用、DVD和蓝光光盘、视频内容采集和编辑系统以及可携式摄像机的安全应用。
[0003] 视频序列的每个图片通常分割成不重叠的块集合，通常在块层级上进行编码。例如，通过空间(图片内)预测和时间(图片间)预测来产生预测块。相应地，预测模式可以包括帧内预测模式(空间预测)和帧间预测模式(时间预测)。其中，帧内预测模式集合可以包括35种不同的帧内预测模式，例如，如DC(或均值)模式和平面模式的非方向性模式；或者如H.265中定义的方向性模式；或者可以包括67种不同的帧内预测模式，例如，如DC(或均值)模式和平面模式的非方向性模式；或者如正在发展中的H.266中定义的方向性模式。帧间预测模式集合取决于可用参考图片和其它帧间预测参数，例如取决于是否使用整个参考图片或只使用参考图片的一部分。
[0005] 本申请(或本公开)实施例提供图像预测的装置和方法。
[0006] 第一方面，本发明实施例涉及一种图像预测方法。该方法包括：接收码流，从所述码流中解析当前块的预测模式。当所述当前块的预测模式是联合帧内预测模式和帧间预测模式时，根据预设策略选择三角形预测单元模式的执行方式；根据所述三角形预测单元模式的执行方式确定所述当前块的运动信息；根据所述运动信息，执行运动补偿过程，获得帧间预测采样。根据所述当前块的预测模式，获得帧内预测采样；然后将所述帧间预测采样和所述帧内预测采样结合，获得所述当前块的预测图像。
[0007] 本发明实施例第一方面的方法，可以提高编解码的效率。
[0008] 第二方面，本发明实施例涉及一种图像预测方法。该方法包括：接收码流，从所述码流中解析当前块的三角形预测单元模式，当所述当前块采用三角形预测单元模式时，根据第一预设策略选择联合帧内预测模式和帧间预测模式的执行方式；根据三角形预测单元模式获取所述当前块的运动信息，获得帧间预测采样。根据所述联合帧内预测模式和帧间预测模式的执行方式，以及所述帧间预测采样，获得所述当前块的预测图像。
[0009] 本发明实施例第二方面的方法，可以提高编解码的效率。
[0011] 第四方面，本发明实施例涉及解码视频流的装置，包含处理器和存储器。所述存储器存储指令，所述指令使得所述处理器执行根据第二方面的方法。
[0012] 第五方面，提出计算机可读存储介质，其上储存有指令，所述指令执行时，使得一个或多个处理器编码视频数据。所述指令使得所述一个或多个处理器执行根据第一方面任何可能实施例的方法。
[0013] 第六方面，本发明实施例涉及包括程序代码的计算机程序，所述程序代码在计算机上运行时执行根据第一方面任何可能实施例的方法。
[0014] 第七方面，提出计算机可读存储介质，其上储存有指令，所述指令执行时，使得一个或多个处理器编码视频数据。所述指令使得所述一个或多个处理器执行根据第二方面任何可能实施例的方法。
[0015] 第八方面，本发明实施例涉及包括程序代码的计算机程序，所述程序代码在计算机上运行时执行根据第二方面任何可能实施例的方法。
附图说明
[0017] 为了更清楚地说明本申请实施例或背景技术中的技术方案，下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
[0020] 图2示出用于实现本发明实施例的视频编码器实例结构的框图；
[0021] 图3示出用于实现本发明实施例的视频解码器实例结构的框图；
[0022] 图4绘示一种编码装置或解码装置实例的框图；
[0023] 图5绘示另一种编码装置或解码装置实例的框图；
[0024] 图6为当前块空域候选和时域候选的一种示例；
[0025] 图7为帧内预测(intra)模式的示意图；
[0026] 图8为三角形预测单元模式示意图；
[0027] 图9为本发明实施例一流程示意图；和
[0028] 图10为本发明实施例二流程示意图。
[0029] 以下如果没有关于相同参考符号的具体注释，相同的参考符号是指相同或至少功能上等效的特征。
具体实施方式
[0030] 视频编码通常是指处理形成视频或视频序列的图片序列。在视频编码领域，术语“图片(picture)”、“帧(frame)”或“图像(image)”可以用作同义词。本申请(或本公开)中使用的视频编码表示视频编码或视频解码。视频编码在源侧执行，通常包括处理(例如，通过压缩)原始视频图片以减少表示该视频图片所需的数据量，从而更高效地存储和/或传输。视频解码在目的地侧执行，通常包括相对于编码器作逆处理，以重构视频图片。实施例涉及的视频图片“编码”应理解为涉及视频序列的“编码”或“解码”。编码部分和解码部分的组合也称为编解码(编码和解码，或者简称为编码)。
[0031] 视频序列的每个图片通常分割成不重叠的块集合，通常在块层级上进行编码。换句话说，编码器侧通常在块(也称为图像块，或视频块)层级处理亦即编码视频，例如，通过空间(图片内)预测和时间(图片间)预测来产生预测块，从当前块(当前处理或待处理的块)减去预测块以获取残差块，在变换域变换残差块并量化残差块，以减少待传输(压缩)的数据量，而解码器侧将相对于编码器的逆处理部分应用于经编码或经压缩块，以重构用于表示的当前块。另外，编码器复制解码器处理循环，使得编码器和解码器生成相同的预测(例如帧内预测和帧间预测)和/或重构，用于处理亦即编码后续块。
[0032] 术语“块”可以为图片或帧的一部分。本申请对关键术语进行如下定义：
[0035] 预测块：为当前块提供预测的块称为预测块。例如，在遍历多个参考块以后，找到了最佳参考块，此最佳参考块将为当前块提供预测，此块称为预测块。
[0037] 预测信号：预测块内的像素值或者采样值或者采样信号，称为预测信号。
[0038] 以下基于图1A、图1B到3描述编码器20、解码器30和编码系统10的实施例。
[0039] 图1A为绘示示例性编码系统10的概念性或示意性框图，例如，可以利用本申请(本公开)技术的视频编码系统10。视频编码系统10的编码器20(例如，视频编码器20)和解码器30(例如，视频解码器30)表示可用于根据本申请中描述的各种实例执行用于帧内预测的设备实例。如图1A中所示，编码系统10包括源设备12，用于向例如解码经编码数据13的目的地设备14提供经编码数据13，例如，经编码图片13。
[0041] 图片源16可以包括或可以为任何类别的图片捕获设备，用于例如捕获现实世界图片，和/或任何类别的图片或评论(对于屏幕内容编码，屏幕上的一些文字也认为是待编码的图片或图像的一部分)生成设备，例如，用于生成计算机动画图片的计算机图形处理器，或用于获取和/或提供现实世界图片、计算机动画图片(例如，屏幕内容、虚拟现实(virtual reality，VR)图片)的任何类别设备，和/或其任何组合(例如，实景(augmented reality，AR)图片)。
[0042] 图片可以视为具有亮度值的采样点的二维阵列或矩阵。阵列中的采样点也可以称为像素(pixel)(像素(picture element)的简称)或像素(pel)。阵列或图片在水平和垂直方向(或轴线)上的采样点数目定义图片的尺寸和/或分辨率。为了表示颜色，通常采用三个颜色分量，即图片可以表示为或包含三个采样阵列。RBG格式或颜色空间中，图片包括对应的红色、绿色及蓝色采样阵列。但是，在视频编码中，每个像素通常以亮度/色度格式或颜色空间表示，例如，YCbCr，包括Y指示的亮度分量(有时也可以用L指示)以及Cb和Cr指示的两个色度分量。亮度(简写为luma)分量Y表示亮度或灰度水平强度(例如，在灰度等级图片中两者相同)，而两个色度(简写为chroma)分量Cb和Cr表示色度或颜色信息分量。相应地，YCbCr格式的图片包括亮度采样值(Y)的亮度采样阵列，和色度值(Cb和Cr)的两个色度采样阵列。RGB格式的图片可以转换或变换为YCbCr格式，反之亦然，该过程也称为色彩变换或转换。如果图片是黑贝的，该图片可以只包括亮度采样阵列。
[0043] 图片源16(例如，视频源16)可以为，例如用于捕获图片的相机，例如图片存储器的存储器，包括或存储先前捕获或产生的图片，和/或获取或接收图片的任何类别的(内部或外部)接口。相机可以为，例如，本地的或集成在源设备中的集成相机，存储器可为本地的或例如集成在源设备中的集成存储器。接口可以为，例如，从外部视频源接收图片的外部接口，外部视频源例如为外部图片捕获设备，比如相机、外部存储器或外部图片生成设备，外部图片生成设备例如为外部计算机图形处理器、计算机或服务器。接口可以为根据任何专有或标准化接口协议的任何类别的接口，例如有线或无线接口、光接口。获取图片数据17的接口可以是与通信接口22相同的接口或是通信接口22的一部分。
[0044] 区别于预处理单元18和预处理单元18执行的处理，图片或图片数据17(例如，视频数据16)也可以称为原始图片或原始图片数据17。
[0045] 预处理单元18用于接收(原始)图片数据17并对图片数据17执行预处理，以获取经预处理的图片19或经预处理的图片数据19。例如，预处理单元18执行的预处理可以包括整修、色彩格式转换(例如，从RGB转换为YCbCr)、调色或去噪。可以理解，预处理单元18可以是可选组件。
[0046] 编码器20(例如，视频编码器20)用于接收经预处理的图片数据19并提供经编码图片数据21(下文将进一步描述细节，例如，基于图2或图4)。在一个实例中，编码器20可以用于执行下述实施例一至七。
[0047] 源设备12的通信接口22可以用于接收经编码图片数据21并传输至其它设备，例如，目的地设备14或任何其它设备，以用于存储或直接重构，或用于在对应地存储经编码数据13和/或传输经编码数据13至其它设备之前处理经编码图片数据21，其它设备例如为目的地设备14或任何其它用于解码或存储的设备。
[0048] 目的地设备14包括解码器30(例如，视频解码器30)，另外亦即可选地，可以包括通信接口或通信单元28、后处理单元32和显示设备34。
[0049] 目的地设备14的通信接口28用于例如，直接从源设备12或任何其它源接收经编码图片数据21或经编码数据13，任何其它源例如为存储设备，存储设备例如为经编码图片数据存储设备。
[0050] 通信接口22和通信接口28可以用于藉由源设备12和目的地设备14之间的直接通信链路或藉由任何类别的网络传输或接收经编码图片数据21或经编码数据13，直接通信链路例如为直接有线或无线连接，任何类别的网络例如为有线或无线网络或其任何组合，或任何类别的私网和公网，或其任何组合。
[0051] 通信接口22可以例如用于将经编码图片数据21封装成合适的格式，例如包，以在通信链路或通信网络上传输。
[0052] 形成通信接口22的对应部分的通信接口28可以例如用于解封装经编码数据13，以获取经编码图片数据21。
[0053] 通信接口22和通信接口28都可以配置为单向通信接口，如图1A中用于经编码图片数据13的从源设备12指向目的地设备14的箭头所指示，或配置为双向通信接口，以及可以用于例如发送和接收消息来建立连接、确认和交换任何其它与通信链路和/或例如经编码图片数据传输的数据传输有关的信息。
[0054] 解码器30用于接收经编码图片数据21并提供经解码图片数据31或经解码图片31(下文将进一步描述细节，例如，基于图3或图5)。在一个实例中，解码器30可以用于执行下述实施例一至七。
[0055] 目的地设备14的后处理器32用于后处理经解码图片数据31(也称为经重构图片数据)，例如，经解码图片131，以获取经后处理图片数据33，例如，经后处理图片33。后处理单元32执行的后处理可以包括，例如，色彩格式转换(例如，从YCbCr转换为RGB)、调色、整修或重采样，或任何其它处理，用于例如准备经解码图片数据31以由显示设备34显示。
[0056] 目的地设备14的显示设备34用于接收经后处理图片数据33以向例如用户或观看者显示图片。显示设备34可以为或可以包括任何类别的用于呈现经重构图片的显示器，例如，集成的或外部的显示器或监视器。例如，显示器可以包括液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light emitting diode，OLED)显示器、等离子显示器、投影仪、微LED显示器、硅基液晶(liquid crystal on silicon，LCoS)、数字光处理器(digital light processor，DLP)或任何类别的其它显示器。
[0057] 虽然图1A将源设备12和目的地设备14绘示为单独的设备，但设备实施例也可以同时包括源设备12和目的地设备14或同时包括两者的功能性，即源设备12或对应的功能性以及目的地设备14或对应的功能性。在此类实施例中，可以使用相同硬件和/或软件，或使用单独的硬件和/或软件，或其任何组合来实施源设备12或对应的功能性以及目的地设备14或对应的功能性。
[0058] 本领域技术人员基于描述明显可知，不同单元的功能性或图1A所示的源设备12和/或目的地设备14的功能性的存在和(准确)划分可能根据实际设备和应用有所不同。
[0059] 编码器20(例如，视频编码器20)和解码器30(例如，视频解码器30)都可以实施为各种合适电路中的任一个，例如，一个或多个微处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)、离散逻辑、硬件或其任何组合。如果部分地以软件实施所述技术，则设备可将软件的指令存储于合适的非暂时性计算机可读存储介质中，且可使用一或多个处理器以硬件执行指令从而执行本公开的技术。前述内容(包含硬件、软件、硬件与软件的组合等)中的任一者可视为一或多个处理器。视频编码器
20和视频解码器30中的每一个可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一个可以集成为对应设备中的组合编码器/解码器(编解码器)的一部分。
20和视频解码器30中的每一个可以包含在一或多个编码器或解码器中，所述编码器或解码器中的任一个可以集成为对应设备中的组合编码器/解码器(编解码器)的一部分。
[0060] 源设备12可称为视频编码设备或视频编码装置。目的地设备14可称为视频解码设备或视频解码装置。源设备12以及目的地设备14可以是视频编码设备或视频编码装置的实例。
[0061] 源设备12和目的地设备14可以包括各种设备中的任一个，包含任何类别的手持或静止设备，例如，笔记本或膝上型计算机、移动电话、智能电话、平板或平板计算机、摄像机、台式计算机、机顶盒、电视、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输设备(例如内容服务服务器或内容分发服务器)、广播接收器设备、广播发射器设备等，并可以不使用或使用任何类别的操作系统。
[0062] 在一些情况下，源设备12和目的地设备14可以经装备以用于无线通信。因此，源设备12和目的地设备14可以为无线通信设备。
[0063] 在一些情况下，图1A中所示视频编码系统10仅为示例，本申请的技术可以适用于不必包含编码和解码设备之间的任何数据通信的视频编码设置(例如，视频编码或视频解码)。在其它实例中，数据可从本地存储器检索、在网络上流式传输等。视频编码设备可以对数据进行编码并且将数据存储到存储器，和/或视频解码设备可以从存储器检索数据并且对数据进行解码。在一些实例中，由并不彼此通信而是仅编码数据到存储器和/或从存储器检索数据且解码数据的设备执行编码和解码。
[0064] 应理解，对于以上参考视频编码器20所描述的实例中的每一个，视频解码器30可以用于执行相反过程。关于信令语法元素，视频解码器30可以用于接收并解析这种语法元素，相应地解码相关视频数据。在一些例子中，视频编码器20可以将语法元素熵编码成经编码视频比特流。在此类实例中，视频解码器30可以解析这种语法元素，并相应地解码相关视频数据。
[0065] 图1B是根据一示例性实施例的包含图2的编码器20和/或图3的解码器30的视频编码系统40的实例的说明图。系统40可以实现本申请的各种技术的组合。在所说明的实施方式中，视频编码系统40可以包含成像设备41、视频编码器20、视频解码器30(和/或藉由处理单元46的逻辑电路47实施的视频编码器)、天线42、一个或多个处理器43、一个或多个存储器44和/或显示设备45。
[0066] 如图所示，成像设备41、天线42、处理单元46、逻辑电路47、视频编码器20、视频解码器30、处理器43、存储器44和/或显示设备45能够互相通信。如所论述，虽然用视频编码器20和视频解码器30绘示视频编码系统40，但在不同实例中，视频编码系统40可以只包含视频编码器20或只包含视频解码器30。
[0067] 在一些实例中，如图所示，视频编码系统40可以包含天线42。例如，天线42可以用于传输或接收视频数据的经编码比特流。另外，在一些实例中，视频编码系统40可以包含显示设备45。显示设备45可以用于呈现视频数据。在一些实例中，如图所示，逻辑电路47可以通过处理单元46实施。处理单元46可以包含专用集成电路(application-specific integrated circuit，ASIC)逻辑、图形处理器、通用处理器等。视频编码系统40也可以包含可选处理器43，该可选处理器43类似地可以包含专用集成电路(application-specific integrated circuit，ASIC)逻辑、图形处理器、通用处理器等。在一些实例中，逻辑电路47可以通过硬件实施，如视频编码专用硬件等，处理器43可以通过通用软件、操作系统等实施。另外，存储器44可以是任何类型的存储器，例如易失性存储器(例如，静态随机存取存储器(Static Random Access Memory，SRAM)、动态随机存储器(Dynamic Random Access Memory，DRAM)等)或非易失性存储器(例如，闪存等)等。在非限制性实例中，存储器44可以由超速缓存内存实施。在一些实例中，逻辑电路47可以访问存储器44(例如用于实施图像缓冲器)。在其它实例中，逻辑电路47和/或处理单元46可以包含存储器(例如，缓存等)用于实施图像缓冲器等。
[0068] 在一些实例中，通过逻辑电路实施的视频编码器20可以包含(例如，通过处理单元46或存储器44实施的)图像缓冲器和(例如，通过处理单元46实施的)图形处理单元。图形处理单元可以通信耦合至图像缓冲器。图形处理单元可以包含通过逻辑电路47实施的视频编码器20，以实施参照图2和/或本文中所描述的任何其它编码器系统或子系统所论述的各种模块。逻辑电路可以用于执行本文所论述的各种操作。
[0069] 视频解码器30可以以类似方式通过逻辑电路47实施，以实施参照图3的解码器30和/或本文中所描述的任何其它解码器系统或子系统所论述的各种模块。在一些实例中，逻辑电路实施的视频解码器30可以包含(通过处理单元2820或存储器44实施的)图像缓冲器和(例如，通过处理单元46实施的)图形处理单元。图形处理单元可以通信耦合至图像缓冲器。图形处理单元可以包含通过逻辑电路47实施的视频解码器30，以实施参照图3和/或本文中所描述的任何其它解码器系统或子系统所论述的各种模块。
[0070] 在一些实例中，视频编码系统40的天线42可以用于接收视频数据的经编码比特流。如所论述，经编码比特流可以包含本文所论述的与编码视频帧相关的数据、指示符、索引值、模式选择数据等，例如与编码分割相关的数据(例如，变换系数或经量化变换系数，(如所论述的)可选指示符，和/或定义编码分割的数据)。视频编码系统40还可包含耦合至天线42并用于解码经编码比特流的视频解码器30。显示设备45用于呈现视频帧。
[0071] 编码器&编码方法
[0072] 图2示出用于实现本申请(公开)技术的视频编码器20的实例的示意性/概念性框图。在图2的实例中，视频编码器20包括残差计算单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、缓冲器216、环路滤波器单元220、经解码图片缓冲器(decoded picture buffer，DPB)230、预测处理单元260和熵编码单元270。预测处理单元260可以包含帧间预测单元244、帧内预测单元254和模式选择单元262。帧间预测单元244可以包含运动估计单元和运动补偿单元(未图示)。图2所示的视频编码器20也可以称为混合型视频编码器或根据混合型视频编解码器的视频编码器。
[0073] 例如，残差计算单元204、变换处理单元206、量化单元208、预测处理单元260和熵编码单元270形成编码器20的前向信号路径，而例如逆量化单元210、逆变换处理单元212、重构单元214、缓冲器216、环路滤波器220、经解码图片缓冲器(decoded picture buffer，DPB)230、预测处理单元260形成编码器的后向信号路径，其中编码器的后向信号路径对应于解码器的信号路径(参见图3中的解码器30)。
[0074] 编码器20通过例如输入202，接收图片201或图片201的块203，例如，形成视频或视频序列的图片序列中的图片。图片块203也可以称为当前图片块或待编码图片块，图片201可以称为当前图片或待编码图片(尤其是在视频编码中将当前图片与其它图片区分开时，其它图片例如同一视频序列亦即也包括当前图片的视频序列中的先前经编码和/或经解码图片)。
[0075] 分割
[0076] 编码器20的实施例可以包括分割单元(图2中未绘示)，用于将图片201分割成多个例如块203的块，通常分割成多个不重叠的块。分割单元可以用于对视频序列中所有图片使用相同的块大小以及定义块大小的对应栅格，或用于在图片或子集或图片群组之间更改块大小，并将每个图片分割成对应的块。
[0077] 在一个实例中，视频编码器20的预测处理单元260可以用于执行上述分割技术的任何组合。
[0078] 如图片201，块203也是或可以视为具有亮度值(采样值)的采样点的二维阵列或矩阵，虽然其尺寸比图片201小。换句话说，块203可以包括，例如，一个采样阵列(例如黑白图片201情况下的亮度阵列)或三个采样阵列(例如，彩色图片情况下的一个亮度阵列和两个色度阵列)或依据所应用的色彩格式的任何其它数目和/或类别的阵列。块203的水平和垂直方向(或轴线)上采样点的数目定义块203的尺寸。
[0079] 如图2所示的编码器20用于逐块编码图片201，例如，对每个块203执行编码和预测。
[0080] 残差计算
[0081] 残差计算单元204用于基于图片块203和预测块265(下文提供预测块265的其它细节)计算残差块205，例如，通过逐样本(逐像素)将图片块203的样本值减去预测块265的样本值，以在样本域中获取残差块205。
[0082] 变换
[0083] 变换处理单元206用于在残差块205的样本值上应用例如离散余弦变换(discrete cosine transform，DCT)或离散正弦变换(discrete sine transform，DST)的变换，以在变换域中获取变换系数207。变换系数207也可以称为变换残差系数，并在变换域中表示残差块205。
[0084] 变换处理单元206可以用于应用DCT/DST的整数近似值，例如为HEVC/H.265指定的变换。与正交DCT变换相比，这种整数近似值通常由某一因子按比例缩放。为了维持经正变换和逆变换处理的残差块的范数，应用额外比例缩放因子作为变换过程的一部分。比例缩放因子通常是基于某些约束条件选择的，例如，比例缩放因子是用于移位运算的2的幂、变换系数的位深度、准确性和实施成本之间的权衡等。例如，在解码器30侧通过例如逆变换处理单元212为逆变换(以及在编码器20侧通过例如逆变换处理单元212为对应逆变换)指定具体比例缩放因子，以及相应地，可以在编码器20侧通过变换处理单元206为正变换指定对应比例缩放因子。
[0085] 量化
[0086] 量化单元208用于例如通过应用标量量化或向量量化来量化变换系数207，以获取经量化变换系数209。经量化变换系数209也可以称为经量化残差系数209。量化过程可以减少与部分或全部变换系数207有关的位深度。例如，可在量化期间将n位变换系数向下舍入到m位变换系数，其中n大于m。可通过调整量化参数(quantization parameter，QP)修改量化程度。例如，对于标量量化，可以应用不同的标度来实现较细或较粗的量化。较小量化步长对应较细量化，而较大量化步长对应较粗量化。可以通过量化参数(quantization parameter，QP)指示合适的量化步长。例如，量化参数可以为合适的量化步长的预定义集合的索引。例如，较小的量化参数可以对应精细量化(较小量化步长)，较大量化参数可以对应粗糙量化(较大量化步长)，反之亦然。量化可以包含除以量化步长以及例如通过逆量化210执行的对应的量化或逆量化，或者可以包含乘以量化步长。根据例如HEVC的一些标准的实施例可以使用量化参数来确定量化步长。一般而言，可以基于量化参数使用包含除法的等式的定点近似来计算量化步长。可以引入额外比例缩放因子来进行量化和反量化，以恢复可能由于在用于量化步长和量化参数的等式的定点近似中使用的标度而修改的残差块的范数。在一个实例实施方式中，可以合并逆变换和反量化的标度。或者，可以使用自定义量化表并在例如比特流中将其从编码器通过信号发送到解码器。量化是有损操作，其中量化步长越大，损耗越大。
[0087] 逆量化单元210用于在经量化系数上应用量化单元208的逆量化，以获取经反量化系数211，例如，基于或使用与量化单元208相同的量化步长，应用量化单元208应用的量化方案的逆量化方案。经反量化系数211也可以称为经反量化残差系数211，对应于变换系数207，虽然由于量化造成的损耗通常与变换系数不相同。
[0088] 逆变换处理单元212用于应用变换处理单元206应用的变换的逆变换，例如，逆离散余弦变换(discrete cosine transform，DCT)或逆离散正弦变换(discrete sine transform，DST)，以在样本域中获取逆变换块213。逆变换块213也可以称为逆变换经反量化块213或逆变换残差块213。
[0089] 重构单元214(例如，求和器214)用于将逆变换块213(即经重构残差块213)添加至预测块265，以在样本域中获取经重构块215，例如，将经重构残差块213的样本值与预测块265的样本值相加。
[0090] 可选地，例如线缓冲器216的缓冲器单元216(或简称“缓冲器”216)用于缓冲或存储经重构块215和对应的样本值，用于例如帧内预测。在其它的实施例中，编码器可以用于使用存储在缓冲器单元216中的未经滤波的经重构块和/或对应的样本值来进行任何类别的估计和/或预测，例如帧内预测。
[0091] 例如，编码器20的实施例可以经配置以使得缓冲器单元216不只用于存储用于帧内预测254的经重构块215，也用于环路滤波器单元220(在图2中未示出)，和/或，例如使得缓冲器单元216和经解码图片缓冲器单元230形成一个缓冲器。其它实施例可以用于将经滤波块221和/或来自经解码图片缓冲器230的块或样本(图2中均未示出)用作帧内预测254的输入或基础。
[0092] 环路滤波器单元220(或简称“环路滤波器”220)用于对经重构块215进行滤波以获取经滤波块221，从而顺利进行像素转变或提高视频质量。环路滤波器单元220旨在表示一个或多个环路滤波器，例如去块滤波器、样本自适应偏移(sample-adaptive offset，SAO)滤波器或其它滤波器，例如双边滤波器、自适应环路滤波器(adaptive loop filter，ALF)，或锐化或平滑滤波器，或协同滤波器。尽管环路滤波器单元220在图2中示出为环内滤波器，但在其它配置中，环路滤波器单元220可实施为环后滤波器。经滤波块221也可以称为经滤波的经重构块221。经解码图片缓冲器230可以在环路滤波器单元220对经重构编码块执行滤波操作之后存储经重构编码块。
[0093] 编码器20(对应地，环路滤波器单元220)的实施例可以用于输出环路滤波器参数(例如，样本自适应偏移信息)，例如，直接输出或由熵编码单元270或任何其它熵编码单元熵编码后输出，例如使得解码器30可以接收并应用相同的环路滤波器参数用于解码。
[0094] 经解码图片缓冲器(decoded picture buffer，DPB)230可以为存储参考图片数据供视频编码器20编码视频数据之用的参考图片存储器。DPB 230可由多种存储器设备中的任一个形成，例如动态随机存储器(dynamic random access memory，DRAM)(包含同步DRAM(synchronous DRAM，SDRAM)、磁阻式RAM(magnetoresistive RAM，MRAM)、电阻式RAM(resistive RAM，RRAM))或其它类型的存储器设备。可以由同一存储器设备或单独的存储器设备提供DPB 230和缓冲器216。在某一实例中，经解码图片缓冲器(decoded picture buffer，DPB)230用于存储经滤波块221。经解码图片缓冲器230可以进一步用于存储同一当前图片或例如先前经重构图片的不同图片的其它先前的经滤波块，例如先前经重构和经滤波块221，以及可以提供完整的先前经重构亦即经解码图片(和对应参考块和样本)和/或部分经重构当前图片(和对应参考块和样本)，例如用于帧间预测。在某一实例中，如果经重构块215无需环内滤波而得以重构，则经解码图片缓冲器(decoded picture buffer，DPB)230用于存储经重构块215。
[0095] 预测处理单元260，也称为块预测处理单元260，用于接收或获取块203(当前图片201的当前块203)和经重构图片数据，例如来自缓冲器216的同一(当前)图片的参考样本和/或来自经解码图片缓冲器230的一个或多个先前经解码图片的参考图片数据231，以及用于处理这类数据进行预测，即提供可以为经帧间预测块245或经帧内预测块255的预测块
265。
265。
[0096] 模式选择单元262可以用于选择预测模式(例如帧内或帧间预测模式)和/或对应的用作预测块265的预测块245或255，以计算残差块205和重构经重构块215。
[0097] 模式选择单元262的实施例可以用于选择预测模式(例如，从预测处理单元260所支持的那些预测模式中选择)，所述预测模式提供最佳匹配或者说最小残差(最小残差意味着传输或存储中更好的压缩)，或提供最小信令开销(最小信令开销意味着传输或存储中更好的压缩)，或同时考虑或平衡以上两者。模式选择单元262可以用于基于码率失真优化(rate distortion optimization，RDO)确定预测模式，即选择提供最小码率失真优化的预测模式，或选择相关码率失真至少满足预测模式选择标准的预测模式。
[0098] 下文将详细解释编码器20的实例(例如，通过预测处理单元260)执行的预测处理和(例如，通过模式选择单元262)执行的模式选择。
[0099] 如上文所述，编码器20用于从(预先确定的)预测模式集合中确定或选择最好或最优的预测模式。预测模式集合可以包括例如帧内预测模式和/或帧间预测模式。
[0100] 帧内预测模式集合可以包括35种不同的帧内预测模式，或者可以包括67种不同的帧内预测模式，或者可以包括正在发展中的H.266中定义的帧内预测模式。
[0101] 帧间预测模式集合取决于可用参考图片(即，例如前述存储在DBP 230中的至少部分经解码图片)和其它帧间预测参数，例如取决于是否使用整个参考图片或只使用参考图片的一部分，例如围绕当前块的区域的搜索窗区域，来搜索最佳匹配参考块，和/或例如取决于是否应用如半像素和/或四分之一像素内插的像素内插。
[0102] 除了以上预测模式，也可以应用跳过模式和/或直接模式。
[0103] 预测处理单元260可以进一步用于将块203分割成较小的块分区或子块，例如，通过迭代使用四叉树(quad-tree，QT)分割、二进制树(binary-tree，BT)分割或三叉树(triple-tree，TT)分割，或其任何组合，以及用于例如为块分区或子块中的每一个执行预测，其中模式选择包括选择分割的块203的树结构和选择应用于块分区或子块中的每一个的预测模式。
[0104] 帧间预测单元244可以包含运动估计(motion estimation，ME)单元(图2中未示出)和运动补偿(motion compensation，MC)单元(图2中未示出)。运动估计单元用于接收或获取图片块203(当前图片201的当前图片块203)和经解码图片231，或至少一个或多个先前经重构块，例如，一个或多个其它/不同先前经解码图片231的经重构块，来进行运动估计。例如，视频序列可以包括当前图片和先前经解码图片31，或换句话说，当前图片和先前经解码图片31可以是形成视频序列的图片序列的一部分，或者形成该图片序列。
[0105] 例如，编码器20可以用于从多个其它图片中的同一或不同图片的多个参考块中选择参考块，并向运动估计单元(图2中未示出)提供参考图片和/或提供参考块的位置(X、Y坐标)与当前块的位置之间的偏移(空间偏移)作为帧间预测参数。该偏移也称为运动向量(motion vector，MV)。
[0106] 运动补偿单元用于获取，例如接收帧间预测参数，并基于或使用帧间预测参数执行帧间预测来获取帧间预测块245。由运动补偿单元(图2中未示出)执行的运动补偿可以包含基于通过运动估计(可能执行对子像素精确度的内插)确定的运动/块向量取出或生成预测块。内插滤波可从已知像素样本产生额外像素样本，从而潜在地增加可用于编码图片块的候选预测块的数目。一旦接收到用于当前图片块的PU的运动向量，运动补偿单元246可以在一个参考图片列表中定位运动向量指向的预测块。运动补偿单元246还可以生成与块和视频条带相关联的语法元素，以供视频解码器30在解码视频条带的图片块时使用。
[0107] 帧间预测是基于运动补偿(motion compensation)的预测技术，主要处理为确定当前块的运动信息，根据运动信息从参考帧中获取参考图像块，产生当前块的预测图像。运动信息包含帧间预测方向、参考帧索引(reference index,ref_idx)、运动矢量(motion vector,MV)等，帧间预测通过帧间预测方向指示当前块使用前向预测、后向预测或双向预测其中的何种预测方向，通过参考帧索引(reference index)指明参考帧(reference frame)，通过运动矢量指示当前块(current block)在参考帧中的参考块(reference block)相对当前帧中当前块的位置偏移。运动矢量指示了参考帧中用于预测当前块的参考图像块相对于当前块的位移矢量，因而一个运动矢量对应一个参考图像块。
[0108] 帧内预测单元254用于获取，例如接收同一图片的图片块203(当前图片块)和一个或多个先前经重构块，例如经重构相邻块，以进行帧内估计。例如，编码器20可以用于从多个帧内预测模式中选择帧内预测模式。
[0109] 编码器20的实施例可以用于基于优化标准选择帧内预测模式，例如基于最小残差(例如，提供最类似于当前图片块203的预测块255的帧内预测模式)或最小码率失真。
[0110] 帧内预测单元254进一步用于基于如所选择的帧内预测模式的帧内预测参数确定帧内预测块255。在任何情况下，在选择用于块的帧内预测模式之后，帧内预测单元254还用于向熵编码单元270提供帧内预测参数，即提供指示所选择的用于块的帧内预测模式的信息。在一个实例中，帧内预测单元254可以用于执行下文描述的帧内预测技术的任意组合。
[0111] 熵编码单元270用于将熵编码算法或方案(例如，可变长度编码(variable length coding，VLC)方案、上下文自适应VLC(context adaptive VLC，CAVLC)方案、算术编码方案、上下文自适应二进制算术编码(context adaptive binary arithmetic coding，CABAC)、基于语法的上下文自适应二进制算术编码(syntax-based context-adaptive binary arithmetic coding，SBAC)、概率区间分割熵(probability interval partitioning entropy，PIPE)编码或其它熵编码方法或技术)应用于经量化残差系数209、帧间预测参数、帧内预测参数和/或环路滤波器参数中的单个或所有上(或不应用)，以获取可以通过输出272以例如经编码比特流21的形式输出的经编码图片数据21。可以将经编码比特流传输到视频解码器30，或将其存档稍后由视频解码器30传输或检索。熵编码单元270还可用于熵编码正被编码的当前视频条带的其它语法元素。
[0112] 视频编码器20的其它结构变型可用于编码视频流。例如，基于非变换的编码器20可以在没有针对某些块或帧的变换处理单元206的情况下直接量化残差信号。在另一实施方式中，编码器20可具有组合成单个单元的量化单元208和逆量化单元210。
[0113] 图3示出示例性视频解码器30，用于实现本申请的技术。视频解码器30用于接收例如由编码器20编码的经编码图片数据(例如，经编码比特流)21，以获取经解码图片231。在解码过程期间，视频解码器30从视频编码器20接收视频数据，例如表示经编码视频条带的图片块的经编码视频比特流及相关联的语法元素。
[0114] 在图3的实例中，解码器30包括熵解码单元304、逆量化单元310、逆变换处理单元312、重构单元314(例如求和器314)、缓冲器316、环路滤波器320、经解码图片缓冲器330以及预测处理单元360。预测处理单元360可以包含帧间预测单元344、帧内预测单元354和模式选择单元362。在一些实例中，视频解码器30可执行大体上与参照图2的视频编码器20描述的编码遍次互逆的解码遍次。
[0115] 熵解码单元304用于对经编码图片数据21执行熵解码，以获取例如经量化系数309和/或经解码的编码参数(图3中未示出)，例如，帧间预测、帧内预测参数、环路滤波器参数和/或其它语法元素中(经解码)的任意一个或全部。熵解码单元304进一步用于将帧间预测参数、帧内预测参数和/或其它语法元素转发至预测处理单元360。视频解码器30可接收视频条带层级和/或视频块层级的语法元素。
[0116] 逆量化单元310功能上可与逆量化单元110相同，逆变换处理单元312功能上可与逆变换处理单元212相同，重构单元314功能上可与重构单元214相同，缓冲器316功能上可与缓冲器216相同，环路滤波器320功能上可与环路滤波器220相同，经解码图片缓冲器330功能上可与经解码图片缓冲器230相同。
[0117] 预测处理单元360可以包括帧间预测单元344和帧内预测单元354，其中帧间预测单元344功能上可以类似于帧间预测单元244，帧内预测单元354功能上可以类似于帧内预测单元254。预测处理单元360通常用于执行块预测和/或从经编码数据21获取预测块365，以及从例如熵解码单元304(显式地或隐式地)接收或获取预测相关参数和/或关于所选择的预测模式的信息。
[0118] 当视频条带经编码为经帧内编码(I)条带时，预测处理单元360的帧内预测单元354用于基于信号表示的帧内预测模式及来自当前帧或图片的先前经解码块的数据来产生用于当前视频条带的图片块的预测块365。当视频帧经编码为经帧间编码(即B或P)条带时，预测处理单元360的帧间预测单元344(例如，运动补偿单元)用于基于运动向量及从熵解码单元304接收的其它语法元素生成用于当前视频条带的视频块的预测块365。对于帧间预测，可从一个参考图片列表内的一个参考图片中产生预测块。视频解码器30可基于存储于DPB 330中的参考图片，使用默认建构技术来建构参考帧列表：列表0和列表1。
[0119] 预测处理单元360用于通过解析运动向量和其它语法元素，确定用于当前视频条带的视频块的预测信息，并使用预测信息产生用于正经解码的当前视频块的预测块。例如，预测处理单元360使用接收到的一些语法元素确定用于编码视频条带的视频块的预测模式(例如，帧内或帧间预测)、帧间预测条带类型(例如，B条带、P条带或GPB条带)、用于条带的参考图片列表中的一个或多个的建构信息、用于条带的每个经帧间编码视频块的运动向量、条带的每个经帧间编码视频块的帧间预测状态以及其它信息，以解码当前视频条带的视频块。
[0120] 逆量化单元310可用于逆量化(即，反量化)在比特流中提供且由熵解码单元304解码的经量化变换系数。逆量化过程可包含使用由视频编码器20针对视频条带中的每一视频块所计算的量化参数来确定应该应用的量化程度并同样确定应该应用的逆量化程度。
[0121] 逆变换处理单元312用于将逆变换(例如，逆DCT、逆整数变换或概念上类似的逆变换过程)应用于变换系数，以便在像素域中产生残差块。
[0122] 重构单元314(例如，求和器314)用于将逆变换块313(即经重构残差块313)添加到预测块365，以在样本域中获取经重构块315，例如通过将经重构残差块313的样本值与预测块365的样本值相加。
[0123] 环路滤波器单元320(在编码循环期间或在编码循环之后)用于对经重构块315进行滤波以获取经滤波块321，从而顺利进行像素转变或提高视频质量。在一个实例中，环路滤波器单元320可以用于执行下文描述的滤波技术的任意组合。环路滤波器单元320旨在表示一个或多个环路滤波器，例如去块滤波器、样本自适应偏移(sample-adaptive offset，SAO)滤波器或其它滤波器，例如双边滤波器、自适应环路滤波器(adaptive loop filter，ALF)，或锐化或平滑滤波器，或协同滤波器。尽管环路滤波器单元320在图3中示出为环内滤波器，但在其它配置中，环路滤波器单元320可实施为环后滤波器。
[0124] 随后将给定帧或图片中的经解码视频块321存储在存储用于后续运动补偿的参考图片的经解码图片缓冲器330中。
[0125] 解码器30用于例如，藉由输出332输出经解码图片31，以向用户呈现或供用户查看。
[0126] 视频解码器30的其它变型可用于对压缩的比特流进行解码。例如，解码器30可以在没有环路滤波器单元320的情况下生成输出视频流。例如，基于非变换的解码器30可以在没有针对某些块或帧的逆变换处理单元312的情况下直接逆量化残差信号。在另一实施方式中，视频解码器30可以具有组合成单个单元的逆量化单元310和逆变换处理单元312。
[0127] 图4是根据本发明实施例的视频译码设备400(例如视频编码设备400或视频解码设备400)的结构示意图。视频译码设备400适于实施本文所描述的实施例。在一个实施例中，视频译码设备400可以是视频解码器(例如图1A的视频解码器30)或视频编码器(例如图1A的视频编码器20)。在另一个实施例中，视频译码设备400可以是上述图1A的视频解码器
30或图1A的视频编码器20中的一个或多个组件。
30或图1A的视频编码器20中的一个或多个组件。
[0128] 视频译码设备400包括：用于接收数据的入口端口410和接收单元(Rx)420，用于处理数据的处理器、逻辑单元或中央处理器(CPU)430，用于传输数据的发射器单元(Tx)440和出口端口450，以及，用于存储数据的存储器460。视频译码设备400还可以包括与入口端口410、接收器单元420、发射器单元440和出口端口450耦合的光电转换组件和电光(EO)组件，用于光信号或电信号的出口或入口。
[0129] 处理器430通过硬件和软件实现。处理器430可以实现为一个或多个CPU芯片、核(例如，多核处理器)、FPGA、ASIC和DSP。处理器430与入口端口410、接收器单元420、发射器单元440、出口端口450和存储器460通信。处理器430包括译码模块470(例如编码模块470或解码模块470)。编码/解码模块470实现上述公开的实施例。例如，编码/解码模块470实现、处理或提供各种编码操作。因此，通过编码/解码模块470为视频译码设备400的功能提供了实质性的改进，并影响了视频译码设备400到不同状态的转换。或者，以存储在存储器460中并由处理器430执行的指令来实现编码/解码模块470。
[0130] 存储器460包括一个或多个磁盘、磁带机和固态硬盘，可以用作溢出数据存储设备，用于在选择性地执行这些程序时存储程序，并存储在程序执行过程中读取的指令和数据。存储器460可以是易失性和/或非易失性的，可以是只读存储器(ROM)、随机存取存储器(RAM)、随机存取存储器(ternary content-addressable memory，TCAM)和/或静态随机存取存储器(SRAM)。
[0131] 图5是根据一示例性实施例的可用作图1A中的源设备12和目的地设备14中的任一个或两个的装置500的简化框图。装置500可以实现本申请的技术，用于实现图像预测的装置500可以采用包含多个计算设备的计算系统的形式，或采用例如移动电话、平板计算机、膝上型计算机、笔记本电脑、台式计算机等单个计算设备的形式。
[0132] 装置500中的处理器502可以为中央处理器。或者，处理器502可以为现有的或今后将研发出的能够操控或处理信息的任何其它类型的设备或多个设备。如图所示，虽然可以使用例如处理器502的单个处理器实践所揭示的实施方式，但是使用一个以上处理器可以实现速度和效率方面的优势。
[0133] 在一实施方式中，装置500中的存储器504可以为只读存储器(Read Only Memory，ROM)设备或随机存取存储器(random access memory，RAM)设备。任何其他合适类型的存储设备都可以用作存储器504。存储器504可以包括代码和由处理器502使用总线512访问的数据506。存储器504可进一步包括操作系统508和应用程序510，应用程序510包含至少一个准许处理器502执行本文所描述的方法的程序。例如，应用程序510可以包括应用1到N，应用1到N进一步包括执行本文所描述的方法的视频编码应用。装置500还可包含采用从存储器514形式的附加存储器，该从存储器514例如可以为与移动计算设备一起使用的存储卡。因为视频通信会话可能含有大量信息，这些信息可以整体或部分存储在从存储器514中，并按需要加载到存储器504用于处理。
[0134] 装置500还可包含一或多个输出设备，例如显示器518。在一个实例中，显示器518可以为将显示器和可操作以感测触摸输入的触敏元件组合的触敏显示器。显示器518可以通过总线512耦合于处理器502。除了显示器518还可以提供其它准许用户对装置500编程或以其它方式使用装置500的输出设备，或提供其它输出设备作为显示器518的替代方案。当输出设备是显示器或包含显示器时，显示器可以以不同方式实现，包含通过液晶显示器(liquid crystal display，LCD)、阴极射线管(cathode-ray tube，CRT)显示器、等离子显示器或发光二极管(light emitting diode，LED)显示器，如有机LED(organic LED，OLED)显示器。
[0135] 装置500还可包含图像感测设备520或与其连通，图像感测设备520例如为相机或为现有的或今后将研发出的可以感测图像的任何其它图像感测设备520，所述图像例如为运行装置500的用户的图像。图像感测设备520可以放置为直接面向运行装置500的用户。在一实例中，可以配置图像感测设备520的位置和光轴以使其视野包含紧邻显示器518的区域且从该区域可见显示器518。
[0136] 装置500还可包含声音感测设备522或与其连通，声音感测设备522例如为麦克风或为现有的或今后将研发出的可以感测装置500附近的声音的任何其它声音感测设备。声音感测设备522可以放置为直接面向运行装置500的用户，并可以用于接收用户在运行装置500时发出的声音，例如语音或其它发声。
[0137] 虽然图5中将装置500的处理器502和存储器504绘示为集成在单个单元中，但是还可以使用其它配置。处理器502的运行可以分布在多个可直接耦合的机器中(每个机器具有一个或多个处理器)，或分布在本地区域或其它网络中。存储器504可以分布在多个机器中，例如基于网络的存储器或多个运行装置500的机器中的存储器。虽然此处只绘示单个总线，但装置500的总线512可以由多个总线形成。进一步地，从存储器514可以直接耦合至装置500的其它组件或可以通过网络访问，并且可包括单个集成单元，例如一个存储卡，或多个单元，例如多个存储卡。因此，可以以多种配置实施装置500。
[0138] 码流中，运动信息占有大量的数据量。为了降低所需数据量，通常采用预测的方式传送运动信息。总体可以分为inter和merge两种模式:
[0139] Inter运动矢量预测值(motion vector predictor，MVP)模式:传送的运动信息包含：帧间预测方向(前向、后向或双向)、参考帧索引、运动矢量预测值索引、运动矢量残差值。对运动信息中的运动矢量信息通常采用传送实际运动矢量与运动矢量预测值(motion vector predictor，MVP)的差值的方式，编码端将MVP与实际运动矢量之间的运动矢量残差值(motion vector difference,MVD)传递到解码端。其中运动矢量预测可能包含多个预测值，一般在编码段和解码段使用相同的方式构建运动矢量预测候选列表(mvp candidate list)，将运动矢量预测值索引(motion vector predictor index,MVP index)传递到解码端。
[0140] Merge模式：在编码段和解码段使用相同的方式构建融合运动信息候选列表(merge candidate list)，将索引传递到解码端。码流中传送融合索引(merge index)。运动信息候选列表(candidate list)中的运动信息通常从其空域相邻块或参考帧中的时域块中获得，其中由当前块相邻的图像块的运动信息得到的候选运动信息称为空间候选(spatial candidate)，由当前块在参考图像中得到的对应位置图像块的运动信息称为时间候选(temporal candidate)。当前块空域候选和时域候选如图6所示。
[0141] 帧内预测(intra)模式中，通常采取方向性预测(directional interpolation)的方式，在码流中传送插值的方向，在解码端利用插值方向信息和空间临近已编码像素得到当前编码块的预测像素。不同的预测模式如附图7所示。
[0142] 三角形预测单元模式(triangular prediction unit mode)
[0143] 三角形预测单元模式(triangular prediction unit mode)方法，是在原有HEVC或VVC VTM中帧间编码的基础上，将编码块沿对角方向划分为两个三角形的编码块，每个三角形编码块使用单独的运动信息。对角划分的方向可以使用对角方向(diagonal)划分以及逆对角方向(inverse diagonal)划分，如图8所示。由当前编码块的左上角至右下角划分的方式为对角划分，而由右上角至左下角的划分方式为逆对角划分。逆对角划分也可以称为反对角划分。三角形预测单元模式方法仅仅使用在运动补偿预测上，在变换和量化流程中是在两个三角形结合在一起组成的整个编码块上进行的。三角形预测单元模式方法可以使用在块大于等于8x8，编码模式为merge或skip的编码块上。
[0144] 对于可以使用三角形预测单元模式方法的编码块，在CU级别传送一个标识merge_triangle_flag来标识是否使用三角形预测单元模式方法。在当前编码块/CU使用三角形预测单元模式方法时，传送一个序号merge_triangle_idx来指示CU划分为两个三角形预测单元的方向、以及两个三角形预测单元的运动信息。比如可以使用查找表的方式封装两个三角形预测单元的方向、以及两个三角形预测单元的运动信息索引，使用merge_triangle_idx从查找表中确定相应信息。然后根据运动信息索引，每个三角形预测单元从单向运动信息候选列表(uni-prediction candidate list)中，得到单向预测信息(uni-prediction candidate)。
[0145] 在加权像素预测过程(Weighted sample prediction process)中，根据划分方向和由划分方向获得的加权方式(weighting set，WS)进行自适应加权过程。
[0146] 联合帧内预测模式和帧间预测模式的编解码
[0147] 在使用融合模式(merge)编码的编码块/CU中，传输一个标识mh_intra_flag用于指示是否使用帧内预测编码。当使用帧内预测编码时，根据帧内编码模式相关语法元素mh_intra_luma_mpm_flag和mh_intra_luma_mpm_idx，从帧内候选模式列表(intracandidate list)中选取的帧内预测模式生成帧内预测块。对于亮度块，帧内候选模式列表从DC、PLANAR、水平horizontal和竖直vertical这四种模式中选取。帧内候选模式列表的大小根据当前编码块的形状选取，可能为3个或4个。当当前编码块/CU的宽度大于两倍的高度，则帧内候选模式列表中不包含水平模式。当当前编码块/CU的高度大于两倍的宽度，则帧内候选模式列表中不包含竖直模式。当使用联合联合帧内预测编码时，根据帧内预测模式索引得到的帧内预测和根据融合索引(merge index)得到的帧间预测通过加权平均结合在一起。对于色度分量，仅使用DM模式。
[0148] 联合帧内预测编码和帧间预测编码的加权方法中，对于不同帧内预测模式使用不同的加权系数。对于帧内预测编码使用DC和plananr或者当前编码块长度或宽度小于等于4时采用相同的加权系数，对于帧内预测编码采用水平和竖直模式时采取可变的加权系数。
[0149] 在联合帧内预测编码和帧间预测编码的多假设编码的方法中，在使用融合模式(merge)编码的编码块/CU中，传输一个标识用于指示是否使用帧内预测编码，或使用当前编码块周围空域临近像素。当使用帧内预测编码时，使用帧内预测模式生成帧内预测块。对于亮度块，帧内候选模式选取PLANAR。使用自适应加权方式联合帧内预测编码和帧间预测编码预测块生成最终预测块。
[0150] 融合三角形预测单元模式方法以及联合帧内预测编码和帧间预测编码的多假设编码方法都涉及到运动补偿流程。本发明实施例提出的方法和装置能够融合三角形预测单元模式方法以及联合帧内预测编码和帧间预测编码的多假设编码方法这两种不同的预测方法，从而能够降低编解码的复杂度，提高编解码的性能和效率。本发明实施例提出的方法，在编码端和解码端中的处理是类似的。以下以实施例一至五为例，进行详细说明。以下以实施例一至五为例，可以由上述图1A到图5的装置或系统执行。
[0151] 实施例一
[0152] 对图像中的至少一个图像块进行解码处理，得到该图像块的重建图像。上述解码处理如图9所示，包括步骤902至步骤914。正在执行解码处理的块称为当前块。
[0153] 本实施例中联合帧内预测模式和帧间预测模式标识为mh_intra_flag；三角形预测单元模式标识为merge_triangle_flag。
[0154] 步骤902，接收码流。
[0155] 步骤904，从所述码流中解析当前块的预测模式。
[0156] 若所述码流包括mh_intra_flag，并且为真，则所述当前块的预测模式是联合帧内预测模式和帧间预测模式,执行步骤906。
[0157] 步骤906，当所述当前块的预测模式是联合帧内预测模式和帧间预测模式时，根据预设策略选择三角形预测单元模式的执行方式。具体包括如下实施方式。
[0158] 实施方式一：在使用联合帧内预测编码和帧间预测编码方法时，不使用三角形预测单元模式方法。
[0159] intrainter_flag()；
[0160] If(intrainter_flag＝＝0)Tri_flag()；
[0161] If(intrainter_flag())intra_mode()不存在或不限定位置
[0162] If(Tri_flag())triangle_idx()不限定位置
[0163] 实施方式二：在使用联合帧内预测编码和帧间预测编码方法时，若帧内编码模式为DC或PLANAR，不使用三角形预测单元模式方法，否则使用三角形预测单元模式方法。
[0164] intrainter_flag()；
[0165] If(intrainter_flag())intra_mode()
[0166] If((intrainter_flag＝＝0)
[0167] ||((intrainter_flag＝＝1)&&(intra_mode！＝DC)&&(intra_mode！＝PLANAR)))[0168] Tri_flag()；
[0169] If(Tri_flag())triangle_idx()
[0170] 实施方式三：在使用联合帧内预测编码和帧间预测编码方法时，若帧内编码模式为DC或PLANAR，三角形预测单元模式方法仅使用反对角方向划分，否则使用对角和反对角三角形预测单元模式方法。
[0171] 步骤908，根据所述三角形预测单元模式的执行方式确定所述当前块的运动信息；
[0172] 步骤910，根据所述运动信息，执行运动补偿过程，获得帧间预测采样。
[0173] 步骤908和910可以合并为根据所述三角形预测单元模式的执行方式来确定运动补偿过程，并获得帧间预测采样。然后有以下不同的方式一和二。
[0174] 方式一：若执行所述三角形预测单元模式，则按照三角形预测单元模式执行所述运动补偿过程。比如可以从所述码流中解析三角形预测单元模式索引(merge_triangle_idx),并根据merge_triangle_idx获得三角形预测单元模式的划分方向(TriangleDir)。具体地，可以生成单向运动信息候选列表(uni-prediction candidate list)，根据所述三角形预测单元模式索引，从所述单向运动信息候选列表中确定所述当前块的运动信息。
[0175] 方式二：若不执行所述三角形预测单元模式，则按照融合merge模式执行所述运动补偿过程。具体的可以生成融合运动信息候选列表，然后根据所述码流中携带的融合索引确定所述当前块的运动信息。
[0176] 步骤912，根据所述当前块的预测模式，获得帧内预测采样。
[0177] 具体地，可以从所述码流中解析帧内预测模式相关语法，并根据所述语法，从帧内候选模式列表(intra candidate list)中选取帧内预测模式。比如所述帧内编码模式语法包含最可能模式标识mh_intra_luma_mpm_flag和最可能模式索引mh_intra_luma_mpm_idx。
[0178] 步骤914，将所述帧间预测采样和所述帧内预测采样结合，获得所述当前块的预测图像。
[0179] 步骤906-910与912没有先后顺序之分。
[0180] 具体可以参照实施例三到五的描述。
[0181] 实施例二
[0182] 对图像中的至少一个图像块进行解码处理，得到该图像块的重建图像。上述解码处理如图10所示，包括步骤1002至步骤1010。正在执行解码处理的块称为当前块。
[0183] 本实施例中联合帧内预测模式和帧间预测模式标识为mh_intra_flag；三角形预测单元模式标识为merge_triangle_flag。
[0184] 步骤1002，接收码流，
[0185] 步骤1004，从所述码流中解析当前块的三角形预测单元模式，
[0186] 若所述码流包括merge_triangle_idx，并且为真，则所述当前块采用三角形预测单元模式,执行步骤1006。
[0187] 步骤1006，当所述当前块采用三角形预测单元模式时，根据第一预设策略选择联合帧内预测模式和帧间预测模式的执行方式。具体包括以下实施方式。
[0188] 实施方式一，在使用三角形预测单元模式方法时，不使用联合帧内预测编码和帧间预测编码方法
[0189] Tri_flag()
[0190] If(tri_flag＝＝0)intrainter_flag()；
[0191] If(intrainter_flag())intra_mode()不存在或不限定位置
[0192] If(Tri_flag())triangle_idx()不限定位置
[0193] 实施方式二，在使用三角形预测单元模式方法时，三角形划分为对角方向时，不使用联合帧内预测编码和帧间预测编码方法；
[0194] Tri_flag()
[0195] If(Tri_flag())triangle_idx()
[0196] TriangleDir＝getTriangleDir(triangle_idx)；
[0197] If((tri_flag＝＝0)
[0198] ||((tri_flag＝＝1)&&(TriangleDir＝＝inverse diagonal)))
[0199] intrainter_flag()；
[0200] If(intrainter_flag())intra_mode()
[0201] 实施方式三，在使用三角形预测单元模式方法时，当三角形划分为对角方向时，在使用联合帧内预测编码和帧间预测编码方法时仅使用水平和竖直预测模式。
[0202] 步骤1008，根据三角形预测单元模式获取所述当前块的运动信息，获得帧间预测采样。
[0203] 比如，可以从所述码流中解析三角形预测单元模式索引merge_triangle_idx,根据merge_triangle_idx从查找表中获得三角形预测单元模式的划分方向TriangleDir。
[0204] 然后生成单向运动信息候选列表(uni-prediction candidate list)，根据所述三角形预测单元模式索引，从所述单向运动信息候选列表中确定所述当前块的运动信息。
[0205] 步骤1010，根据所述联合帧内预测模式和帧间预测模式的执行方式，以及所述帧间预测采样，获得所述当前块的预测图像。
[0206] 具体地，若根据所述第一预设策略选择执行所述联合帧内预测模式和帧间预测模式，则根据所述联合帧内预测模式和帧间预测模式获得帧内预测采样，将所述帧间预测采样和所述帧内预测采样结合，获得所述当前块的预测图像；或
[0207] 若根据所述第一预设策略选择不执行所述联合帧内预测模式和帧间预测模式，则根据所述帧间预测采样，获得所述当前块的预测图像。
[0208] 步骤1006与1008没有先后顺序之分。
[0209] 具体可以参照实施例三到五的描述。
[0210] 实施例三
[0211] 实施例三对图像中的至少一个图像块进行解码处理，得到该图像块的重建图像。上述解码处理包括步骤1101至步骤1106。正在执行解码处理的块称为当前块。
[0212] 步骤1101：解析当前块的帧间预测模式，获取三角形预测单元模式方法标识、联合帧内预测编码和帧间预测编码标识以及模式相关的语法元素；
[0213] 若当前编码块/CU为merge模式，三角形预测单元模式方法标识merge_triangle_flag和联合帧内预测编码和帧间预测编码标识mh_intra_flag的联合解析方法具体包含以下方法之一：
[0214] 方法一：当前编码块/CU满足三角形预测单元模式方法标识merge_triangle_flag的单独的约束条件允许传送merge_triangle_flag时，解析merge_triangle_flag。在merge_triangle_flag标识不执行三角形预测单元模式方法，同时当前编码块/CU满足联合帧内预测编码和帧间预测编码标识mh_intra_flag的单独的约束条件允许传送mh_intra_flag时，解析mh_intra_flag。在不满足约束条件时，不解析mh_intra_flag，mh_intra_flag为0。即在merge_triangle_flag标识执行三角形预测单元模式方法的情况下，不传送mh_intra_flag，并且不执行联合帧内预测编码和帧间预测编码的多假设方法。
[0215] 方法二：当前编码块/CU满足联合帧内预测编码和帧间预测编码标识mh_intra_flag的单独的约束条件允许传送mh_intra_flag时，解析mh_intra_flag。在mh_intra_flag标识不执行联合帧内预测编码和帧间预测编码方法，同时当前编码块/CU满足三角形预测单元模式方法标识merge_triangle_flag的单独的约束条件允许传送merge_triangle_flag时，解析merge_triangle_flag。在不满足约束条件时，不解析merge_triangle_flag，merge_triangle_flag为0。即在mh_intra_flag标识执行联合帧内预测编码和帧间预测编码方法的情况下，不传送merge_triangle_flag，并且不执行三角形预测单元模式方法。
[0216] 在merge_triangle_flag标识执行三角形预测单元模式方法的情况下，从码流中解析三角形预测单元模式索引merge_triangle_idx。根据merge_triangle_idx可以从查找表获取三角形预测单元模式方法的分割信息和运动信息。另外，查找表中的每个元素可以包含三角形预测单元模式方法的分割信息和单向运动信息候选列表索引。
[0217] 在mh_intra_flag标识执行联合帧内预测编码和帧间预测编码方法的情况下，从码流中解析帧内编码模式相关语法。帧内编码模式相关语法，包含最可能模式标识mh_intra_luma_mpm_flag和最可能模式索引mh_intra_luma_mpm_idx，然后根据mh_intra_luma_mpm_flag和mh_intra_luma_mpm_idx提取帧内编码模式。也可以不传送任何索引，直接使用固定模式如PLANAR。
[0218] 需要说明的是，本发明实施例中不指定merge_triangle_idx在码流中的位置，仅需其解析顺序在merge_triangle_flag后面即可。
[0219] 本发明实施例中不指定mh_intra_luma_mpm_flag和mh_intra_luma_mpm_idx在码流中的位置，仅需其解析顺序在mh_intra_flag后面即可。
[0220] 需要说明的是，本发明实施例仅仅针对三角形预测单元模式方法标识merge_triangle_flag和联合帧内预测编码和帧间预测编码标识mh_intra_flag的联合使用方法。对于三角形预测单元模式方法标识merge_triangle_flag，或者联合帧内预测编码和帧间预测编码标识mh_intra_flag的各自单独的解析方法不做约束。如该约束可能为：在编码块/CU的宽度和高度大于等于8并且小于128的情况下才解析联合帧内预测编码和帧间预测编码标识mh_intra_flag，其余情况不解析mh_intra_flag并将mh_intra_flag设置为不执行联合帧内预测编码和帧间预测编码方法；在编码块/CU的宽度加高度大于12时才解析三角形预测单元模式方法标识merge_triangle_flag，其余情况下不解析merge_triangle_flag并将merge_triangle_flag设置为不执行三角形预测单元模式方法。
[0221] 步骤1102：根据三角形预测单元模式方法标识merge_triangle_flag以及根据三角形预测单元模式索引merge_triangle_idx获取到的三角形预测单元模式方法的分割信息和运动信息
[0222] 若当前块为merge/skip模式，并且merge_triangle_flag等于0，生成融合运动信息候选列表。然后根据码流中携带的融合索引确定当前块的运动信息。可采用HEVC或者VTM中的方法进行，也可采用其他生成运动矢量预测候选列表的方法，本发明实施例不作限定。
[0223] 若当前块为merge/skip模式，并且merge_triangle_flag等于1，生成单向运动信息候选列表(uni-prediction candidate list)。根据使用merge_triangle_idx从查找表中确定的三角形预测单元模式方法的分割信息和单向运动信息候选列表索引，从单向运动信息候选列表中确定运动信息。
[0224] 若当前块为Inter MVP模式，则根据码流中传送的帧间预测方向、参考帧索引、运动矢量预测值索引、运动矢量残差值确定当前块运动信息。可采用HEVC或者VTM中的方法进行，也可采用其他生成运动矢量预测候选列表的方法，本发明实施例不作限定。
[0225] 步骤1103：根据运动信息，执行运动补偿过程，得到帧间预测采样(prediction samples)
[0226] 在步骤1103中，根据当前块的运动信息进行运动补偿过程以及加权预测过程，得到帧间预测采样。
[0227] 步骤1104：根据mh_intra_flag，获取帧内预测采样；
[0228] 若mh_intra_flag为1，具体可使用以下方法之一：
[0229] 方法一：根据mh_intra_luma_mpm_flag和mh_intra_luma_mpm_idx获取帧内编码模式，调用帧内预测模块生成帧内预测块。
[0230] 方法二：根据mh_intra_luma_mpm_flag和mh_intra_luma_mpm_idx获取帧内编码模式，调用帧内预测模块生成帧内预测块。帧内预测模块不使用边界滤波和PDPC这两个帧内编码工具。
[0231] 方法三：帧内编码模式设置为planar，调用帧内预测模块生成帧内预测块。
[0232] 方法四：帧内编码模式设置为planar，调用帧内预测模块生成帧内预测块。帧内预测模块不使用边界滤波和PDPC这两个帧内编码工具。
[0233] 步骤1105：将帧间预测和帧内预测采样结合，得到当前块的最终预测块/预测图像；
[0234] 更具体的，解码端：利用自适应加权方法，固定系数加权或者等比例加权的方式[0235] 步骤1106：将最终帧间预测图像与残差图像相加，得到当前块的重建图像；
[0236] 更具体的，解码端：如果当前块存在残差，则将残差信息和预测图像相加，获得当前块的重建图像；如果当前块没有残差，则预测图像为当前块的重建图像。
[0237] 需要说明的是，步骤1102和步骤1103的顺序可互换，本发明实施例不做限定。
[0238] 实施例四
[0239] 实施例四涉及一种帧间编码滤波方法，以及使用该方法对图像块进行解码的处理，与实施例三主要差别在于步骤1201。
[0240] 步骤1201：解析当前块的帧间预测模式，获取三角形预测单元模式方法标识、联合帧内预测编码和帧间预测编码标识以及模式相关的语法元素；
[0241] 三角形预测单元模式方法将编码块沿对角方向划分为两个三角形的编码块，对角划分的方向可以使用对角方向(diagonal)划分以及逆对角方向(inverse diagonal)划分，如图3所示。由当前编码块的左上角至右下角划分的方式为对角划分，而由右上角至左下角的划分方式为反对角划分。
[0242] 若当前编码块/CU为merge模式，三角形预测单元模式方法标识merge_triangle_flag和联合帧内预测编码和帧间预测编码标识mh_intra_flag的联合解析方法主要根据三角形预测单元模式方法的划分信息来约束联合帧内预测编码和帧间预测编码是否执行以及执行的方式。
[0243] 具体包含以下方法之一：
[0244] 方法一：当前编码块/CU满足三角形预测单元模式方法标识merge_triangle_flag的单独的约束条件允许传送merge_triangle_flag时，解析merge_triangle_flag。当merge_triangle_flag为1时，解析merge_triangle_idx，并根据merge_triangle_idx从查找表中获得三角形预测单元模式的划分方向TriangleDir。在TriangleDir标识三角形预测单元采用对角方向(diagonal)划分时，不传送联合帧内预测编码和帧间预测编码标识mh_intra_flag，同时不使用联合帧内预测编码和帧间预测编码方法。在TriangleDir标识三角形预测单元采用逆对角方向(inverse diagonal)划分时，在当前编码块/CU满足联合帧内预测编码和帧间预测编码标识mh_intra_flag的单独的约束条件允许传送mh_intra_flag时，解析mh_intra_flag。在mh_intra_flag标识执行联合帧内预测编码和帧间预测编码方法的情况下，从码流中解析帧内编码模式相关语法。帧内编码模式相关语法可包含最可能模式标识mh_intra_luma_mpm_flag和最可能模式索引mh_intra_luma_mpm_idx，也可以不传送任何索引，直接使用固定模式如PLANAR。需要说明的是，根据mh_intra_luma_mpm_flag和mh_intra_luma_mpm_idx可以提取帧内编码模式。
[0245] 方法二：当前编码块/CU满足三角形预测单元模式方法标识merge_triangle_flag的单独的约束条件允许传送merge_triangle_flag时，解析merge_triangle_flag。当merge_triangle_flag为1时，解析merge_triangle_idx，获得三角形预测单元模式的划分方向TriangleDir。在当前编码块/CU满足联合帧内预测编码和帧间预测编码标识mh_intra_flag的单独的约束条件允许传送mh_intra_flag时，解析mh_intra_flag。在mh_intra_flag为1时，解析帧内编码模式相关索引，并根据帧内编码模式相关索引从帧内候选模式列表(intra candidate list)中选取帧内预测模式。在TriangleDir标识三角形预测单元采用对角方向(diagonal)划分时，帧内候选模式列表(intra candidate list)中仅包含水平和竖直预测模式。在TriangleDir标识三角形预测单元采用逆对角方向(inverse diagonal)划分时，帧内候选模式列表(intra candidate list)的构建不做修改。
[0246] 需要说明的是，根据merge_triangle_idx从查找表可以获取三角形预测单元模式方法的分割信息和运动信息的过程。另外，查找表中的每个元素可以包含三角形预测单元模式方法的分割信息和单向运动信息候选列表索引。
[0247] 需要说明的是，本发明实施例中不指定merge_triangle_idx在码流中的位置，仅需其解析顺序在merge_triangle_flag后面即可。
[0248] 需要说明的是，本发明实施例中不指定帧内编码模式相关索引在码流中的位置，仅需其解析顺序在mh_intra_flag后面即可。
[0249] 需要说明的是，本发明实施例仅仅针对三角形预测单元模式方法标识merge_triangle_flag和联合帧内预测编码和帧间预测编码标识mh_intra_flag的联合使用方法。对于三角形预测单元模式方法标识merge_triangle_flag，或者联合帧内预测编码和帧间预测编码标识mh_intra_flag的各自单独的解析方法不做约束。如该约束可能为：在编码块/CU的宽度和高度大于等于8并且小于128的情况下才解析联合帧内预测编码和帧间预测编码标识mh_intra_flag，其余情况不解析mh_intra_flag并将mh_intra_flag设置为不执行联合帧内预测编码和帧间预测编码方法；在编码块/CU的宽度加高度大于12时才解析三角形预测单元模式方法标识merge_triangle_flag，其余情况下不解析merge_triangle_flag并将merge_triangle_flag设置为不执行三角形预测单元模式方法。
[0250] 其他步骤参照实施例三的描述，不再赘述。
[0251] 实施例五
[0252] 实施例五涉及一种帧间编码滤波方法，以及使用该方法对图像块进行解码的处理，与实施例三主要差别在于步骤1301和1302。
[0253] 步骤1301：解析当前块的帧间预测模式，获取三角形预测单元模式方法标识、联合帧内预测编码和帧间预测编码标识以及模式相关的语法元素；
[0254] 三角形预测单元模式方法将编码块沿对角方向划分为两个三角形的编码块，对角划分的方向可以使用对角方向(diagonal)划分以及逆对角方向(inverse diagonal)划分，如图3所示。由当前编码块的左上角至右下角划分的方式为对角划分，而由右上角至左下角的划分方式为反对角划分。
[0255] 若当前编码块/CU为merge模式，三角形预测单元模式方法标识merge_triangle_flag和联合帧内预测编码和帧间预测编码标识mh_intra_flag的联合解析方法主要根据联合帧内预测编码和帧间预测编码模式来约束三角形预测单元模式方法是否执行以及划分信息。
[0256] 具体包含以下：
[0257] 方法一：在当前编码块/CU满足联合帧内预测编码和帧间预测编码标识mh_intra_flag的单独的约束条件允许传送mh_intra_flag时，解析mh_intra_flag。在mh_intra_flag为1时，解析帧内编码模式相关的语法元素(如mh_intra_luma_mpm_flag和mh_intra_luma_mpm_idx)，并根据mh_intra_luma_mpm_flag和mh_intra_luma_mpm_idx，从帧内候选模式列表(intra candidate list)中选取的帧内预测模式。可以根据预定策略删减的查找表。删减策略为：当帧内预测模式为DC或PLANER时，不解析merge_triangle_flag，并将其设置为不执行三角形预测单元模式方法。当帧内预测模式为水平或竖直时，当前编码块/CU满足三角形预测单元模式方法标识merge_triangle_flag的单独的约束条件允许传送merge_triangle_flag时，解析merge_triangle_flag。在merge_triangle_flag为1时，解析merge_triangle_idx，根据查找表获得三角形预测单元模式的划分方向TriangleDir。
[0258] 方法二：在当前编码块/CU满足联合帧内预测编码和帧间预测编码标识mh_intra_flag的单独的约束条件允许传送mh_intra_flag时，解析mh_intra_flag。在mh_intra_flag为1时，解析帧内编码模式相关的语法元素(如mh_intra_luma_mpm_flag和mh_intra_luma_mpm_idx)，并根据mh_intra_luma_mpm_flag和mh_intra_luma_mpm_idx，从帧内候选模式列表(intra candidate list)中选取的帧内预测模式。当前编码块/CU满足三角形预测单元模式方法标识merge_triangle_flag的单独的约束条件允许传送merge_triangle_flag时，解析merge_triangle_flag。在merge_triangle_flag为1时，解析merge_triangle_idx，根据查找表获得三角形预测单元模式的划分方向TriangleDir。可以采用根据预定策略删减的查找表。删减策略为：当帧内预测模式为DC或PLANER时，查找表中不包含采用对角方向(diagonal)划分的元素。当帧内预测模式为水平或竖直时，查找表可以不做修改。
[0259] 步骤1302：根据三角形预测单元模式方法标识merge_triangle_flag以及根据三角形预测单元模式索引merge_triangle_idx获取到的三角形预测单元模式方法的分割信息和运动信息，取得帧间预测块；
[0260] 步骤2.1：获取运动信息
[0261] 若当前块为merge/skip模式，并且merge_triangle_flag等于0，生成融合运动信息候选列表。然后根据码流中携带的融合索引确定当前块的运动信息。可采用HEVC或者VTM中的方法进行，也可采用其他生成运动矢量预测候选列表的方法，本发明实施例不作限定。
[0262] 若当前块为merge/skip模式，并且merge_triangle_flag等于1，生成单向运动信息候选列表(uni-prediction candidate list)。根据使用merge_triangle_idx从查找表中确定的三角形预测单元模式方法的分割信息和单向运动信息候选列表索引，从单向运动信息候选列表中确定运动信息。
[0263] 查找表采用从以已有方式构建的查找表根据预定策略删减的查找表。删减策略为：当帧内预测模式为DC或PLANER时，查找表中不包含采用对角方向(diagonal)划分的元素。当帧内预测模式为水平或竖直时，查找表构建采用已有方式。
[0264] 其他步骤参照实施例三的描述，不再赘述。
[0265] 本发明实施例一至五可以降低编码复杂度，提高编码效率。
[0266] 应理解，结合所描述方法的揭示内容可以同样适用于用于执行所述方法的对应设备或系统，且反之亦然。例如，如果描述一个或多个具体方法步骤，则对应的设备可以包含如功能单元等一个或多个单元，来执行所描述的一个或多个方法步骤(例如，一个单元执行一个或多个步骤，或多个单元，其中每个都执行多个步骤中的一个或多个)，即使附图中未明确描述或说明这种一个或多个单元。另一方面，例如，如果基于如功能单元等一个或多个单元描述具体装置，则对应的方法可以包含一个步骤来执行一个或多个单元的功能性(例如，一个步骤执行一个或多个单元的功能性，或多个步骤，其中每个执行多个单元中一个或多个单元的功能性)，即使附图中未明确描述或说明这种一个或多个步骤。进一步，应理解的是，除非另外明确提出，本文中所描述的各示例性实施例和/或方面的特征可以相互组合。
[0267] 在一个或一个以上实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果在软件中实施，那么所述功能可作为一或多个指令或代码在计算机可读介质上存储或传输，并且由基于硬件的处理单元执行。计算机可读介质可以包含计算机可读存储介质，其对应于例如数据存储介质或通信介质的有形介质，通信介质例如根据通信协议包含有助于将计算机程序从一处传送到另一处的任何介质。以此方式，计算机可读介质通常可对应于(1)非暂时性的有形计算机可读存储介质，或(2)通信介质，例如，信号或载波。数据存储介质可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明实施例中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包含计算机可读介质。
[0268] 借助于实例而非限制，此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储设备、闪存，或可用以存储呈指令或数据结构形式的所需程序代码且可由计算机存取的任何其它介质。并且，任何连接可适当地称为计算机可读介质。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(digital subscriber line，DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，则同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波等无线技术包含在介质的定义中。但是，应理解，所述计算机可读存储介质及数据存储介质并不包括连接、载波、信号或其它暂时性介质，而是实际上针对于非暂时性有形存储介质。如本文中所使用，磁盘和光盘包含压缩光盘(compact disc，CD)、激光光盘、光学光盘、数字多功能光盘(digital versatile disc，DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含于计算机可读介质的范围内。
[0269] 指令可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(digital signal processor，DSP)、通用微处理器、专用集成电路(application specific integrated circuit，ASIC)、现场可编程逻辑阵列(field programmable logic arrays，FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在用于编码和解码的专用硬件和/或软件模块内提供，或并入在合成编解码器中。并且，所述技术可完全实施于一或多个电路或逻辑元件中。
[0270] 本公开的技术可以在包含无线手持机、集成电路(integrated circuit，IC)或IC集合(例如，芯片组)的多种设备或装置中实施。本公开描述各种组件、模块或单元是为了强调用于执行所揭示的技术的设备的功能方面，但未必需要通过不同硬件单元实现。确切地，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种光场焦点堆栈图像序列编、解码方法、装置及系统 | 2020-05-11 | 725 |
| 解码器、解码和编码视频的方法 | 2020-05-11 | 67 |
| 图像解码设备 | 2020-05-12 | 962 |
| 一种视频帧预测方法、装置及终端设备 | 2020-05-12 | 643 |
| 一种HEVC中P、B帧快速运动估计方法 | 2020-05-11 | 110 |
| 基于仿射运动信息的尺寸限制 | 2020-05-08 | 773 |
| 视频编码和解码中的加权双向预测 | 2020-05-11 | 988 |
| 一种图像预测方法和设备 | 2020-05-12 | 528 |
| 使用双向光流的运动补偿方法和设备 | 2020-05-08 | 635 |
| 不同视频块尺寸的仿射模式计算 | 2020-05-13 | 331 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
运动补偿预测热门专利
-
4 仿射运动信息导出
QQ群二维码
意见反馈
意见反馈