[0002] 本
发明主张在2017年05月18日提出申请的申请号为62/507,838的美国临时
专利申请以及在2017年06月14日提出申请的申请号为62/519,214的美国临时专利申请的优先权。上述列出的申请的内容以引用方式并入本文中。
技术领域
[0003] 本发明涉及利用基于子区
块的编解码工具进行
运动估计/补偿的视频编解码(video coding)。具体而言，本发明涉及约束与基于子区块的编解码工具相关联的运动向量，以减少所需的带宽。
背景技术
[0004] 运动估计/补偿是一种强大的编解码工具，其已被用于各种编解码标准，如MPEG-2、H.264以及新兴的高效视频编解码(HEVC)标准。在
编码器侧导出的运动信息必须被传送到
解码器侧，这可能消耗相当大的带宽。为了提高运动信息的编解码效率，已经开发了预测性地编解码当前运动向量(MV)的运动向量预测(motion vector prediction，MVP)。
[0005] 合并模式和AMVP模式
[0006] 对于每个
帧间PU，使用运动估计来确定一个或两个运动向量(MV)。为了提高HEVC中的运动向量(MV)编解码的编解码效率，HEVC运动向量预测(MVP)预测地编码MV。具体而言，HEVC支持用于MVP编解码的跳过和合并模式。对于跳过和合并模式，基于空间相邻区块(空间候选)或时间同位区块(时间候选)的运动信息，来导出一组候选。当使用“跳过”或“合并”模式对PU进行编解码时，没有运动信息被发信。相反地，仅所选候选的索引被编解码。对于跳过模式，残差
信号(residual signal)被强制为零并且不被编解码。换言之，没有信息用于发信残差信号。每个合并的PU重新使用所选候选的MV、预测方向和参考图像索引。
[0007] 对于HEVC中的合并模式，从相邻区块A0、A1、B0和B1导出多达四个空间MV候选，并且从右下区块TBR或中心区块TCT导出一个时间MV候选，如图1所示。对于时间候选，首先使用TBR。如果TBR无法使用，则使用TCT。需注意的是，如果四个空间MV候选中的任何一个无法使用，则使用区块B2来导出MV候选作为替换。在四个空间MV候选和一个时间MV候选的推导流程之后，应用移除冗余(
修剪)来移除任何冗余MV候选。如果在去除冗余(修剪)之后，可使用MV候选的数量小于5，则导出三种类型的附加候选并且将其添加到候选集(候选列表)。编码器基于速率-失真优化(rate-distortion optimization，RDO)的决定，在跳过或合并模式的候选集内选择一个最终候选，并将索引传送到解码器。
[0008] 由于跳过和合并候选的推导是类似的，因此为了方便起见，下文中提到的“合并”模式可以对应至“合并”模式以及“跳过”模式。
[0009] MVP技术还应用于预测地编解码运动向量，其被称为进阶运动向量预测(AMVP)。当PU在帧间AMVP模式中被编解码时，
运动补偿预测是利用传送的运动向量差(MVD)执行，运动向量差可以与运动向量预测子(MVP)一起用于导出运动向量(MV)。为了在帧间AMVP模式中确定MVP，AMVP架构用于在包括两个空间MVP和一个时间MVP的AMVP候选集中选择运动向量预测子。因此，对于AMVP编解码的区块，用于MVP的AMVP索引及相应的MVD需要被编码和传送。另外，用于
指定与每个列表的参考帧索引相关联的双预测和单预测(即列表0(L0)和/或列表1(L1))中的预测方向的帧间预测方向也应被编码并传送。
[0010] 当以跳过或合并模式编解码PU时，除了所选候选的合并索引之外，不传送运动信息，因为跳过和合并模式利用运动推断方法(即MV＝MVP+MVD，其中MVD为零)，以从所选的合并/跳过候选者获得运动信息。
[0011] 在AMVP中，左MVP是基于来自A0、A1的第一可用MVP来选择，顶部MVP是B0、B1、B2的第一可用MVP，而时间MVP则是来自TBR或TCT的第一可用MVP(首先使用TBR，如果没有TBR，则使用TCT)。如果左MVP不可用且顶部MVP并非缩放的MVP，则如果在B0、B1和B2中存在缩放的MVP，第二顶部MVP可以被导出。在HEVC中，AMVP的MVP的列表大小是2。因此，在两个空间MVP和一个时间MVP的推导流程之后，只有前两个MVP可以包括在MVP列表中。如果在去除冗余之后，可用MVP的数量小于2，则将零向量候选添加到候选列表中。
[0012] 传统的子PU时间运动向量预测(子PU TMVP)
[0013] 为了提高编解码效率，在合并模式中应用子PU时间运动向量预测(子PU TMVP，也称为进阶时间运动向量预测，ATMVP)模式。也就是说，子PU TMVP是用于合并模式的合并候选。如图2所示，与传统的时间候选不同，子PU TMVP模式将当前PU划分为多个子预测单元(子PU)，并找到每个子PU的所有对应的时间同位运动向量。大小为M×N的当前PU具有(M/P)×(N/Q)个子PU，每个子PU的大小为P×Q，其中M可以被P整除，而N可以被Q整除。图2中的范例对应至当前PU 210被划分为16个子预测单元(子PU)的情况(即M/P＝4且N/Q＝4)。子PU 0(211)和子PU 1(212)被标示。子PU TMVP的详细
算法描述如下。子PU TMVP的详细算法描述如下。
[0014] 在步骤1中，对于当前PU 210，针对子PU TMVP模式确定表示为vec_init的“初始运动向量”。举例而言，vec_init可以是当前PU 210的第一可用空间相邻区块的MV。或者，其他相邻区块的MV也可以用作初始运动向量。传统上，vec_init是空间相邻区块中的第一可用候选。举例而言，如果第一可用空间相邻区块具有L0和L1 MV，且LX是用于搜索同位信息的第一列表，则当LX＝L0时vec_init使用L0 MV，或者当LX＝L1时使用L1。LX(L0或L1)的值取决于哪个列表(L0或L1)对同位信息更好。如果L0对于同位信息(如POC(图像顺序计数)距离比L1更近)更好，则LX等于L0，反之亦然。可以在切片级别或图像级别执行LX分配。
[0015] 接着开始“同位图像搜索流程”。“同位图像搜索流程”是为了寻找子PU TMVP模式中的所有子PU的主要同位图像。主要同位图像表示为main_colpic。传统上，它首先搜索由第一可用空间相邻区块选择的参考图像。然后，在B切片中，它从L0(或L1)开始，参考索引0，然后索引1，然后索引2，来搜索的当前图像的所有参考图像，依此类推(递增索引顺序)。如果它完成搜索了L0(或L1)，则它对另一个列表进行搜索。在P切片中，它首先搜索由第一可用空间相邻区块选择的参考图像。然后，它从参考索引0开始然后搜索索引1，然后搜索索引2，搜索列表的当前图像的所有参考图像，依此类推(递增索引顺序)。
[0016] 在搜索期间，对于每个搜索到的图像，执行名为“可用性检查”的流程。“可用性检查”流程检查由vec_init_scaled指向的当前PU的中心
位置周围的同位子PU，其中vec_init_scaled是从vec_init得到的适当MV缩放的MV。可以使用各种方式来确定“中心位置周围”。在第一
实施例中，“中心位置周围”对应至中心
像素。举例而言，如果PU大小是M×N，则中心等于位置(M/2，N/2)。在第二实施例中，“中心位置周围”对应至中心子PU的中心像素。在第三实施例中，取决于当前PU形状，“中心位置周围”可以是第一实施例或第二实施例的混合。“中心位置周围”的详细实施方式不限于这三个实施例。在“可用性检查”中，如果检查结果是帧间模式，则可用性为真；否则(检查结果是帧内模式)，则可用性为假。在“可用性检查”之后，如果可用性为真，则将目前搜索到的图像标记为主要同位图像并且搜索流程结束。如果可用性为真，则“中心位置周围”的MV被使用并被缩放以用于当前区块，来导出“默认MV”。如果可用性为假，则其移至搜索下一个参考图像。
[0017] 在“同位图像搜索流程”期间，当vec_init的参考图像不等于原始参考图像时，需要进行MV缩放。MV缩放流程是使用运动向量的缩放版本。分别基于当前图像与vec_init的参考图像和搜索的参考图像之间的时间距离缩放MV。在MV缩放之后，缩放的MV被表示为vec_init_scaled。
[0018] 在步骤2中，对于每个子PU，进一步在main_colpic中找到同位位置。假设当前子PU是子PU i，则同位位置的计算如下所示：
[0019] collocated location x＝子PU_i_x+vec_init_scaled_i_x(integer part)+shift_x,
[0020] collocated location y＝子PU_i_y+vec_init_scaled_i_y(integer part)+shift_y.
[0021] 在上述公式中，子PU_i_x表示当前图像内的子PU i的
水平左上位置(整数位置)，子PU_i_y表示当前图像内的子PU i的垂直左上位置(整数位置)，vec_init_scaled_i_x表示vec_init_scaled_i的水平部分，它有整数部分和分数部分，我们在计算中只使用整数部分，而vec_init_scaled_i_y表示vec_init_scaled_i的垂直部分，它有整数部分和分数部分，我们在计算中只使用整数部分。shift_x表示位移值。在一个实施例中，shift_x可以是子PU宽度的一半，但不限于所述实施例。shift_y表示位移值。在一个实施例中，shift_y可以是子PU高度的一半，但不限于所述实施例。
[0022] 最后，在步骤3中，找到每个子PU的运动信息时间预测子，其被表示为每个子PU的SubPU_MI_i。SubPU_MI_i是来自同位位置x、同位位置y上的collocated_picture_i_L0和collocated_picture_i_L1的的运动信息(MI)。这里MI被定义为{MV_x，MV_y，参考列表，参考索引，和其他合并模式敏感信息，如区域照明补偿旗标}的集合。此外，在一个实施例中，MV_x和MV_y可以根据同位图像、当前图像和同位MV的参考图像之间的时间距离关系来缩放。(不限于此实施例。)如果MI无法使用于某个子PU，则中心位置周围的子PU的MI将被使用(换言之，使用默认MV)。
[0023] 传统上，候选列表中仅存在一个子PU TMVP候选。
[0024] 空间-时间运动向量预测(STMVP)
[0025] 在JEM-3.0(Chen等人，“联合视频勘探测试模型3的算法描述(Algorithm Description of Joint Exploration Test Model 3)”，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG的联合视频勘探团队(JVET)11，第3次会议中：日内瓦，CH，2016年5月26日至6月
1日，文件：JVET-C1001)，空间-时间运动向量预测(STMVP)也包括在合并模式编码中。在STMVP中，透过使用时间运动向量预测子和空间相邻运动向量，在光栅扫描顺序之后递归地导出Sub-CU的运动向量。图3说明了STMVP的概念。让我们考虑一个8×8CU 310，其包含了四个4×4Sub-CU，A、B、C和D。当前帧中的相邻N×N区块标记为a、b、c和d。Sub-CU A的运动推导透过识别其两个空间相邻开始。第一个相邻是Sub-CU A之上的N×N区块(区块c)。如果区块c不可用或者是帧内编码，则检查Sub-CU A上方的其他N×N区块(从区块c开始从左到右)。
第二相邻是Sub-CU A左侧的区块(区块b)。如果区块b不可用或者是帧内编码，则检查Sub-CU A左侧的其他区块(从区块b开始从上到下)。从每个列表的相邻区块获得的运动信息被缩放到给定列表的第一参考帧。接下来，透过遵循与HEVC中指定的TMVP推导相同的流程，来导出子区块A的时间运动向量预测子(TMVP)。获取位置D处的同位区块的运动信息并相应地缩放。最后，在检索和缩放运动信息之后，对于每个参考列表，分别平均所有可使用运动向量(最多3个)。平均运动向量被指定为当前Sub-CU的运动向量。
[0026] 基于模型的MV推导(PMVD)
[0027] 在VCEG-AZ07(Chen等人，“HMKTA-1.0之进一步改善(Further improvements to HMKTA-1.0)”，ITU-T SG16 Q，2015的
视频编码专家组(VCEG))中，揭露了基于模型的MV推导(PMVD)方法。基于模型的MV推导(PMVD)方法在VCEG-AZ07中也称为
帧速率上转换(Frame Rate Up Conversion，FRUC)。FRUC包括用于双预测区块的双边
配对和用于单预测区块的时间配对。
[0028] 图4标出了FRUC(帧速率上转换)双边配对模式的范例，其中基于两个参考图像导出当前区块410的运动信息。透过在两个不同的参考影像(即Ref0和Ref1)中沿着当前区块的运动轨迹440找到两个区块(420和430)之间的最佳配对，来导出当前区块的运动信息。在连续运动轨迹的假设下，指向两个参考区块的与Ref0相关联的MV0和与Ref1相关联的MV1应当与当前影像和两个参考图像Ref0和Ref1之间的时间距离(即TD0和TD1)成比例(即Cur pic)。
[0029] 图5标出了模板配对FRUC模式的范例。当前图像(即Cur pic)中的当前区块510的相邻区域(520a和520b)被用作模板以与参考图像(即图5中的Ref0)中的对应模板(530a和530b)配对。模板520a/520b与模板530a/530b之间的最佳配对将确定解码器导出的运动向量540。虽然图5示出Ref0，但Ref1也可作为参考图像使用。
[0030] 根据VCEG-AZ07，当merge_flag或skip_flag为真时，FRUC_mrg_flag被发信。如果FRUC_mrg_flag是1，则FRUC_merge_mode被发信以指示是否选择了双边配对合并模式或模板配对合并模式。如果FRUC_mrg_flag为0，则意味着使用常规合并模式并且在这种情况下合并索引被发信。在视频编解码中，为了提高编解码效率，可以使用运动向量预测(MVP)来预测区块的运动向量，其中候选列表被生成。合并候选列表可以用于在合并模式中对区块进行编解码。当合并模式用于对区块进行编解码时，区块的运动信息(如运动向量)可以由合并候选列表中的候选MV之一来表示。因此，代替直接传送区块的运动信息，将合并索引传送到解码器侧。解码器维持相同的合并列表，并使用合并索引来检索由合并索引发信号通知的合并候选。通常，合并候选列表由少量候选组成，且传送合并索引比传送运动信息更有效。当以合并模式对区块进行编解码时，透过发信号通知合并索引而不是明确传送，来将运动信息与相邻区块的运动信息“合并”。但是，仍然传送预测残差。在预测残差为零或非常小的情况下，预测残差被“跳过”(即跳过模式)，并且透过具有合并索引的跳过模式对区块进行编解码，以识别合并列表中的合并MV。
[0031] 虽然术语FRUC指的是用于帧速率上转换的运动向量推导，但是
基础技术旨在用于解码器导出一个或多个合并MV候选而无需明确地传送运动信息。因此，FRUC在本揭露书中也称为解码器导出的运动信息。由于模板配对方法是基于模型(pattern-based)的MV推导技术，因此FRUC的模板配对方法在本揭露书中也称为基于模型的MV推导(PMVD)。
[0032] 在解码器侧MV推导方法中，透过扫描所有参考图像中的所有MV来导出称为时间导出MVP的新时间MVP。为了导出LIST_0时间导出MVP，对于LIST_0参考图像中的每个LIST_0MV，缩放MV以指向当前帧。当前帧中由此缩放的MV指向的4×4区块是目标当前区块。进一步缩放MV以指向参考图像，其中参考图像的refIdx在LIST_0中对于目标当前区块等于0。该进一步缩放的MV被存储在目标当前区块的LIST_0MV区域中。图6A和图6B分别示出了导出LIST_0和LIST_1的时间导出MVP的范例。在图6A和图6B中，每个小方区块对应至4×4区块。
时间导出MVP流程扫描所有参考图像中的所有4×4区块中的所有MV，以生成当前帧的LIST_
0和LIST_1的时间导出MVP。举例而言，在图6A中，区块610、区块612和区块614分别对应至当前图像(Cur.pic)的4×4区块、索引等于0的LIST_0参考图像(即refidx＝0)和索引等于1的LIST_0参考图像(即refidx＝1)。用于索引等于1的LIST_0参考图像中的两个区块的运动向量620和630是已知的。然后，可以分别透过缩放运动向量620和630，来导出时间导出MVP
622和632。接着将缩放的MVP分配给相应的区块。类似地，在图6B中，区块640、区块642和区块644分别对应至当前图像(Cur.pic)的4×4区块、索引等于0的LIST_1参考图像(即refidx＝0)和具有索引等于1的LIST_1参考图像(即refidx＝1)。用于索引等于1的LIST_1参考图像中的两个区块的运动向量650和660是已知的。然后，可以分别透过缩放运动向量650和
660，来导出时间导出MVP 652和662。
[0033] 对于双边配对合并模式和模板配对合并模式，应用两阶段配对。第一阶段是PU层配对，第二阶段是子PU层配对。在PU层配对中，分别选择LIST_0和LIST_1中的多个初始MV。这些MV包括来自合并候选的MV(即如HEVC标准中指定的传统合并候选)和来自时间导出MVP的MV。为两个列表生成两个不同的凝视(staring)MV集。对于一个列表中的每个MV，透过组合此MV和镜像MV来生成MV对，其中镜像MV透过将上述MV缩放到另一个列表而导出。对于每个MV对，透过使用MV对来补偿两个参考区块。计算这两个区块的绝对差值之和(SAD)。选择具有最小SAD的MV对作为最佳MV对。
[0034] 仿射运动补偿预测
[0035] 在HEVC中，仅将平移运动模型应用于运动补偿预测(MCP)。然而在现实世界中，有很多种运动，如放大/缩小、旋转、透视运动和其他不规则运动。仿射模型能够描述二维区块旋转以及二维
变形，以将正方形(或矩形)变换为平行四边形。这个模型可以描述如下：
[0036] x’＝ax+by+e,
[0037] y’＝cx+dy+f.
[0038] 在所述模型中，使用总共六个参数(即a、b、c、d、e和f)。对于感兴趣区域中的每个像素A(x,y)，可以使用区块的运动向量场(motion vector field，MVF)来导出所述像素与其对应的参考像素A'(x',y')之间的运动向量。图7标出了根据仿射模型的运动补偿的范例，其中当前区域710被映射到参考图像中的参考区域720。仿射变换可以将任何三
角形映射到任何三角形。换言之，如图7所示，当前区域的三个角像素(即控制点)与参考区域的三个角像素之间的对应关系可以由与三个控制点相关联的三个运动向量(v0、v1和v2)确定。可以基于三个不同位置的三个已知运动向量导出仿射模型的六个参数。可以根据以下内容确定区块的目标位置(x,y)的运动向量：
[0039]
[0040] 在上面的公式中，(v0x,v0y)是左上角控制点的运动向量v0，(v1x,v1y)是右上角控制点的运动向量v1，而(v2x,v2y)是左下角控制点的运动向量v2。
[0041] 在JEM-3中，应用简化的仿射变换运动补偿预测来提高编解码效率。如图8所示，区块的仿射运动场由与两个控制点相关联的运动向量描述。
[0042] 以下公式描述区块的运动向量场(MVF)：
[0043]
[0044] 在上面的公式中，(v0x,v0y)是左上角控制点的运动向量v0，并且(v1x,v1y)是右上角控制点的运动向量v1。
[0045] 为了进一步简化运动补偿预测，应用基于区块的仿射变换预测。为了导出每个4×4子区块的运动向量，如图8所示，根据上面的公式(1)计算每个子区块的中心样本的运动向量，并且结果舍入为1/16分数
精度。然后，应用运动补偿内插以利用导出的运动向量生成每个子区块的预测。
[0046] 在MCP之后，每个子区块的高精度运动向量被舍入并保存为与正常运动向量相同的精度。
[0047] 在ATMVP、STMVP、仿射模式预测和基于模型的运动向量推导(PMVD)合并模式中，应用子区块运动补偿。CU/PU被分成几个子区块。每个区块可以具有不同的参考图像和不同的MV。如果每个子区块的MV非常不同，则子区块运动补偿需要大量带宽。
[0048] 当执行运动补偿时，必须检索一个或多个参考区块以用于运动补偿。由于在如HEVC的较新编码标准中支持分数像素运动向量，因此也必须检索参考区块周围的附加参考像素。所有区块大小在小数像素位置处插值所需的行数或列数是相同的。因此，对于较小的区块大小，带宽问题更严重。重叠区块运动补偿(Overlapped block motion compensation，OBMC)是一种透过处理从区块边界扩展的附加数据，来减轻区块边界处的编码伪影的技术。混合重叠区域中的运动补偿像素，以降低编码伪影的可见性。同样地，OBMC将导致额外的带宽需求。
[0049] 当使用子区块运动补偿编解码工具时，与子区块相关联的运动向量可以是不同的。由子区块MV指向的子区块的参考像素可以展开。这将进一步增加所需的系统带宽。因此，期望开发减少子区块运动补偿编解码工具所需带宽的方法。
发明内容
[0050] 公开了由视频编码器或视频解码器执行的用于视频编解码的帧间预测的方法和装置。当子区块运动补偿编解码工具被选择用于当前区块时，所述方法根据子区块运动补偿编解码工具生成与包括或包含在当前区块中的多个子区块相关联的子区块MV(运动向量)，将子区块MV约束到一个范围内以形成约束子区块MV，并使用约束子区块MV将运动补偿应用于当前区块、或是如果第一列表中的对应子区块MV在主要MV周围的范围之外，则在第二列表的范围内的MV使用一个子区块将运动补偿应用于当前区块。在一个实施例中，子区块MV受主要MV周围的范围约束。
[0051] 子区块运动补偿编解码工具选自一个组合，所述组合包括进阶时间运动向量预测(ATMVP)、空间-时间运动向量预测(STMVP)、仿射预测、和子区块精细PMVD(基于模型的MV推导)模式。
[0052] 对于ATMVP，主要MV可以对应至默认MV、初始MV、缩放的初始MV、当前区块的子区块MV之一、或一个导出的MV。举例而言，主要MV对应至一个角子区块或一个中心子区块的一个子区块MV、使用当前区块的中心像素或中心区块的一个导出MV、或者使用一个中心位置周围的一个子区块导出MV。
[0053] 对于STMVP，主要MV可以对应至第一导出的子区块MV、相邻区块的MV、时间同位的MV或导出的MV。举例而言，主要MV对应至一个角子区块或一个中心子区块的一个子区块MV，主要MV对应至透过使用当前区块的中心像素或中心区块所导出的导出MV。
[0054] 对于仿射预测，主要MV可以对应至控制点MV之一、当前区块的子区块MV之一或导出MV。举例而言，当前区块的子区块MV中的一个对应至一个角子区块的一个MV或一个中心子区块的一个MV、或是所述导出MV对应至使用当前区块的一个中心像素或中心区块的一个导出MV。
[0055] 对于子区块细化的PMVD模式，主要MV可以对应至一个当前PU(预测单元)、CU(编解码单元)或当前区块的一个初始MV、或者一个当前PU、CU或当前区块的一个细化MV。
[0056] 将子区块MV约束在主要MV周围的范围内，可以包括将主要MV与子区块MV的每个子区块MV之间的差值限制在一个或多个
阈值内。举例而言，子区块MV的每个子区块MV可以被限制在从(主要MV-运动向量阈值)到(主要MV+运动向量阈值)的范围内，其中运动向量阈值对应至一个阈值，且如果一个子区块MV在所述范围之外，子区块MV被剪辑到所述范围。在另一范例中，所述一个或多个阈值中的每一个对应至预定义值、导出值或信号值。所述一个或多个阈值可以在编码器侧的序列参数集、图像参数集或切片标头中用信号通知，或者在解码器侧从序列参数集、图像参数集或切片标头解析。所述一个或多个阈值可以根据当前区块或当前子区块的大小、宽度或高度来确定，或者取决于主要MV、当前区块或当前子区块的帧间预测方向来确定。不同的子区块可以使用不同的阈值。
[0057] 当在视频编码器处为当前区块选择子区块运动补偿编解码工具时，视频编码器可将子区块MV约束在主要MV周围的范围内，以形成受约束子区块MV，并在视频比特流中发信号通知与受约束子区块MV有关的信息。在另一实施例中，在视频编码器处，所有子区块MV被限制在主要MV周围的范围内，并在视频比特流中发信号通知与子区块MV有关的信息。在视频解码器处，视频解码器可导出主要MV，然后在主要MV周围加载所需的参考数据。
[0058] 还公开了由视频编码器或视频解码器执行的用于视频编码的帧间预测的另一方法和装置。当为当前区块选择子区块运动补偿编解码工具时，所述方法导出主要参考区块，根据子区块运动补偿编解码工具生成与包括或包含在当前区块中的多个子区块相关联的子区块MV(运动向量)，并使用主要参考区块内的参考子区块的一个或多个参考像素将运动补偿应用于当前区块，并排除主要参考区块外的参考子区块的任何参考像素，其中，参考子区块由子区块MV指向。在一个实施例中，主要参考区块
覆盖由主要MV指向的参考区块。
附图说明
[0059] 图1示出了用于根据HEVC(高效视频编解码)导出合并候选的空间和时间相邻区块。
[0060] 图2标出了范例性子PU TMVP(时间运动向量预测)模式，其中当前PU被划分为多个子PU，并且导出每个子PU的所有对应的时间同位运动向量。
[0061] 图3示出了STMVP(空间-时间运动向量预测)的概念。
[0062] 图4示出了用于FRUC(帧速率上转换)模式的双边配对的范例。
[0063] 图5示出了用于FRUC(帧速率上转换)模式的模板配对的范例。
[0064] 图6A和图6B分别示意出了导出List_0和List_1的时间导出MVP的范例。
[0065] 图7标出了根据仿射模型的运动补偿的范例，其中当前区域310被映射到参考图像中的参考区域320。
[0066] 图8标出了根据仿射模型的运动补偿的范例，其中区块的仿射运动场由与两个控制点相关联的运动向量描述。
[0067] 图9示出了覆盖由主要MV指向的区块的主要参考区块用于所有子区块的运动补偿的范例，其中，如果所需的参考像素在主要参考区块内，则使用原始参考像素，而如果所需的参考像素在主要参考区块之外，则不使用原始参考像素。
[0068] 图10示出了根据本发明实施例的使用受约束子区块运动向量的视频编解码系统的范例性
流程图。
[0069] 图11示出了根据本发明实施例的使用受约束子区块运动向量的视频编解码系统的另一范例性流程图。
[0070] 图12示出了根据本发明实施例的受约束MV的带宽分析的范例。
具体实施方式
[0071] 以下描述是实现本发明的最佳方案。本描述是为了说明本发明的一般原理，而不应被视为具有限制意义。透过参考所附申请专利范围最佳地确定本发明的范围。
[0072] 为了减少带宽需求，根据本发明对于子区块运动补偿工具应用MV约束，其包括ATMVP(进阶时间运动向量预测)、STMVP(空间-时间运动向量预测)、仿射模式和子区块细化PMVD(基于模型的运动向量推导)模式。如果子区块运动补偿模式应用于当前区块，则当前区块的MV被限制在一个范围内。上述范围可以限制在主要MV周围的范围内。CU/PU中的每个子区块的MV差值受到一个或多个阈值的限制。举例而言，首先导出参考列表中的主要MV。当前区块中的参考列表中的所有MV被限制在主要MV±一个阈值的范围内(即从主要MV-阈值到主要MV+阈值)。如果子区块MV在限制范围之外，则子区块MV被剪辑在限制范围内，或是被主要MV替换。在另一范例中，如果列表中的一个MV在限制范围之外而另一个列表的MV在限制范围内，则仅使用另一个列表的MV。超出限制范围的列表的MV被
修改为无效。在一些实施例中，MV是在限制范围的内部还是外部，可以根据MV指向的参考区块或任何其他MV相关信息来确定，这不应在本发明中受到限制。举例而言，定义了参考区块范围。如果MV或任何其他MV相关信息指向的参考区块被参考区块范围覆盖，则MV被视为在限制范围内。
[0073] 阈值可以是预定义值、导出值或信号值。可以在序列参数集、图像参数集或切片标头中用信号通知阈值。阈值可以是固定值或自适应值。举例而言，阈值可以取决于当前区块的大小、当前区块或当前子区块的宽度/高度、主要MV、当前区块或当前子区块的帧间预测方向、或是以上的组合。在一个范例中，对于小于64的CU区域，阈值可以是2，而对于等于或大于64的CU区域，阈值可以是16。在一个范例中，对于单预测区块，阈值更大或不受限制，而对于双预测区块较小。也可以使用多个阈值。举例而言，一个阈值用于MV的水平分量，另一个阈值用于MV的垂直分量。MV阈值的水平分量可以取决于当前区块的大小或当前区块的宽度和/或高度。MV阈值的垂直分量可以取决于当前区块的大小或当前区块的高度和/或宽度。对于一个方向，阈值对于正方向和负方向可以是不同的。举例而言，当前区块的MV的水平分量被限制在(primary_MVx-thresholdX1,primary_MVx+thresholdX2)的范围内。阈值X1和阈值X2可以取决于当前区块的大小、当前区块或主要MV的宽度和/或高度。
[0074] 对于ATMVP，主要MV可以是默认MV、初始运动向量(vec_init)、缩放的初始MV(vec_init_scaled)、当前区块中的子区块MV之一(如角子区块的MV或中心子区块的MV)、或一个导出MV(如使用当前区块的中心像素或中心区块导出的MV，或者使用中心位置周围的子PU导出的MV)。
[0075] 对于STMVP，主要MV可以是至少一个导出子区块MV中的第一个(如图3
中子区块A的MV，其是根据导出顺序导出的第一个)、相邻区块的MV、时间同位的MV或一个导出的MV。在一个范例中，导出MV可以为透过使用当前区块的中心像素或中心区块导出的MV。
[0076] 对于仿射模式，主要MV可以是控制点MV之一、当前区块中的子区块MV之一(如角子区块的MV或中心子区块的MV)、或是一个导出的MV(如使用当前区块的中心像素或中心区块导出的MV)。
[0077] 在另一实施例中，对于仿射模式，如果控制点的MV在限制范围之外，则控制点的MV首先被限制在限制范围内或由主要MV替换。在剪辑或替换之后，透过使用新控制点MV来导出每个子区块的MV。
[0078] 对于PMVD合并模式，主要MV可以为PU初始MV或CU/PU细化MV。子区块细化MV应被限制在主要MV周围。
[0079] 在一个实施例中，对于不同的子区块，MV阈值可以是不同的。举例而言，子区块1的水平MV在(primary_MVx-thresholdX1,primary_MVx+thresholdX2)的范围内，而子区块2的水平MV在(primary_MVx-thresholdX3,primary_MVx+thresholdX4)的范围内。thresholdX1可以与thresholdX3不同。举例而言，如果子区块1的位置在子区块2的位置的左边，则阈值X1可以小于阈值X3。
[0080] 所提出的方法可以规范地应用、或者可以应用为编码器侧约束。如果它是规范性的，则使用如上所述的规则生成所有子区块的MV。所有MV都将在主要MV周围的限制范围内。对于编码器约束，所编码出来的比特流必须符合所有子区块的MV应遵循上述规则此一致性的要求。子区块的所有MV都应在主要MV周围的限制范围内。如果不是，则不应在编码器侧选择所述模式或所述合并候选。
[0081] 在解码器侧，当在子区块运动补偿模式中对当前区块进行编解码时，首先导出主要MV。解码器可以加载主要MV周围的参考数据。举例而言，可以加载大小为(thresholdX1+blockWidth+interpolationFilterTapLength-1+thresholdX2)*(thresholdX1+blockHeight+interpolationFilterTapLength-1+thresholdX2)的区块。
[0082] 在另一实施例中，子区块MV不限于在主要MV周围。在所述实施例中，参考区块(在本发明中称为主要参考区块)用于所有子区块的运动补偿。在一个实施例中，主要参考区块覆盖由主要MV指向的区块。在子区块运动补偿中，如果所需参考像素在主要参考区块内，则使用原始参考像素。如果所需参考像素不在参考区块内，则使用伪参考像素。伪参考像素可以是参考区块的预定义像素值或填充像素。参考区块的大小和形状可取决于当前CU大小和形状。图9标出了一个范例。对于8×8CU 910，首先导出主要MV 922。由主要MV 922指向的参考图像930的主要参考区块920是用于8×8CU的子区块的运动补偿。如果子区块的所有参考像素都在主要参考区块920内(如区块A，其所有参考像素在主要参考区块920内)，则使用参考区块中的像素。如果子区块的参考像素不在主要参考区块920内(如区块C，其参考像素不在主要参考区块920内)，则使用根据参考区块的填充像素。如果子区块的参考像素的一部分在主要参考区块内而一部分不在(如区块B，其在主要参考区块920内具有部分参考像素并且一部分不在主要参考区块920内)，则使用主要参考区块中的部分像素和填充像素的一部分。在另一实施例中，修改内插
滤波器系数，以排除主要参考区块外部的参考子区块的任何参考像素。
[0083] 图10示出了根据本发明实施例的使用受约束子区块运动向量的视频编解码系统的范例性流程图。流程图中所示的步骤可以实现为在编码器侧的一个或多个处理器(如一个或多个CPU)上可执行的程序代码。流程图中示出的步骤还可以基于如被配置为执行流程图中的步骤的一个或多个
电子设备或处理器的
硬件来实现。根据所述方法，在步骤1010中接收与当前图像中的当前区块相关联的输入数据。在视频编码器侧输入数据可以对应至要编码的像素数据、或者在视频解码器侧输入数据对应至包括当前区块的压缩数据的视频比特流。在步骤1020中检查子区块运动补偿编解码工具是否被选择用于当前区块。如果子区块运动补偿编解码工具被选择用于当前区块(即步骤1020的“是”路径)，则步骤执行1040至1060。否则(即步骤1020的“否”路径)，跳过步骤1040至1060。在步骤1040中，根据子区块运动补偿编解码工具生成与多个子区块相关联的子区块MV(运动向量)，其中当前区块包括或含有多个子区块。在步骤1050中，子区块MV被约束在一个范围内以形成受约束子区块MV。在步骤1060中，使用受约束子区块MV将运动补偿应用于当前区块，或者如果在第一列表相应的子区块MV超出上述范围，则使用第二列表中在范围内的一个子区块MV将运动补偿应用于当前区块。
[0084] 图11示出了根据本发明实施例的使用受约束子区块运动向量的视频编解码系统的另一范例性流程图。根据所述方法，在步骤1110中接收与当前图像中的当前区块相关联的输入数据。在视频编码器侧输入数据可以对应至要编码的像素数据，或者在视频解码器侧输入数据对应至包括当前区块的压缩数据的视频比特流。在步骤1120中，检查子区块运动补偿编解码工具是否被选择用于当前区块。如果子区块运动补偿编解码工具被选择用于当前区块(即步骤1120的“是”路径)，则步骤执行1130至1160。否则(即步骤1120的“否”路径)，跳过步骤1130至1160。在步骤1130中，导出主要参考区块。在步骤1150中，根据子区块运动补偿编解码工具生成与多个子区块相关联的子区块MV(运动向量)，其中当前区块包括或包含多个子区块。在步骤1160中，使用主要参考区块内的参考子区块的一个或多个参考像素将运动补偿应用于当前区块，并且排除主要参考区块外部的参考子区块的任何参考像素，其中参考子区块是由子区块MV指出。
[0085] 以上所示的流程图旨在示出根据本发明的视频编码的范例。在不脱离本发明的精神的情况下，本领域技术人员可以修改每个步骤，重新安排步骤，分割步骤，或组合步骤以实施本发明。在本发明中，已经使用特定语法和语义来说明用于实现本发明的实施例的范例。本领域技术人员可以透过用等同的语法和语义替换语法和语义来实践本发明，而不脱离本发明的精神。
[0086] 图12示出了根据本发明实施例的受约束MV的带宽分析的范例。在此范例中，启用OBMC，以及当前区块是双预测区块。当前区块1210是8×8，其包括或包含四个4×4子区块，用于基于子区块的运动补偿。图12示出了为了执行基于子区块的运动补偿而要存取的所需参考像素1220。举例而言，同位区块的外部的附加像素数据被指示用于左上子区块(在图12中标记为UL)和右下子区块(在图12中标记为LR)。在图12中，LF指的是用于插值滤波器的子区块左侧所需的像素数量，RF指的是用于插值滤波器的子区块右侧所需的像素数量，而OBMC指的是在一个边界上的OBMC所需的像素数量。对于子区块之间的内部区块边界，需要两个额外的参考样本行。对于CU之间的外部区块边界，需要4个像素线，用于CU右边界和底边界。图12中的问号“？”指的是尚未确定用于约束MVD的阈值。如果对于8×8区块，目标带宽被限制为26×26，则根据本发明的实施例，阈值将是3.5，因为已经需要19个像素(即3+8+4+4)且仅剩余3.5个像素(即(26-19)/2)。可以类似地导出其他编解码条件的阈值。
[0087] 可以在编码器和/或解码器中实现任何前述提出的方法。举例而言，任何所提出的方法可以在编码器的子区块划分模块或MV推导模块，和/或解码器的子区块划分模块或MV推导模块中实现。替代地，任何所提出的方法可以实现为耦合到编码器的子区块划分模块或MV推导模块和/或解码器的子区块划分模块或MV推导模块的
电路，以便提供子区块划分模块或MV模块所需的信息。
[0088] 以上描述是为了使得本领域普通技术人员能够在特定应用及其要求的背景下实践本发明。对所描述的实施例的各种修改对于本领域技术人员来说是显而易见的，且本文定义的一般原理可以应用于其他实施例。因此，本发明不限于所示出和描述的特定实施例，而是与符合本文所公开的原理和新颖特征的最宽范围相一致。在以上详细描述中，示出了各种具体细节以便提供对本发明的透彻理解。尽管如此，本领域技术人员将理解本发明可以被实施。
[0089] 如上所述的本发明的实施例可以以各种硬件、
软件代码或两者的组合来实现。举例而言，本发明的实施例可以是集成到视频压缩芯片中的一个或多个电路或集成到视频压缩软件中的程序代码，以执行本文所述的处理。本发明的实施例还可以是在
数字信号处理器(DSP)上执行的程序代码，以执行这里描述的处理。本发明还可以涉及由计算机处理器、数字
信号处理器、
微处理器或现场可程序化
逻辑门阵列(FPGA)执行的许多功能。这些处理器可以被配置为透过执行定义本发明所体现的特定方法的机器可读
软件代码或韧体代码，来执行根据本发明的特定任务。软件代码或韧体代码可以用不同的程序语言和不同的格式或样式开发。还可以针对不同的目标平台编译软件代码。然而，以软件代码的不同代码格式、样式和语言以及配置代码执行根据本发明的任务的其他方式将不脱离本发明的精神和范围。
[0090] 在不脱离本发明的精神或基本特征的情况下，本发明可以以其他特定形式实施。所描述的范例在所有方面都应被视为仅是说明性的而非限制性的。因此，本发明的范围由所附
权利要求表示，而不是前面的描述表示。在权利要求等同范围内的所有变化都包含在其范围内。
