一种基于多用途编码中帧内编码的预测模式快速选择方法
阅读：543发布：2024-01-02
专利汇可以提供一种基于多用途编码中帧内编码的预测模式快速选择方法专利检索，专利查询，专利分析的服务。并且本 发明 实施例 提供了一种基于多用途编码中 帧 内编码的预测模式快速选择方法，该方法无需循环67种方向，可以尽可能地降低编码时间，本发明实施例提供的预测模式快速选择方法步骤简单，计算量小，能够方便地投入实际应用。，下面是一种基于多用途编码中帧内编码的预测模式快速选择方法专利的具体信息内容。
1.一种基于多用途编码中帧内编码的预测模式快速选择方法，其特征在于，步骤包括：
S1：对视频序列编码码流进行统计分析，获取编码数据；
S2：在IBC模式下，搜索与当前PU最相似的参考块，保存最佳BV的矢量值，获取当前PU的最佳BV；
S3：计算参考块的左上角位置坐标；
S4：获取参考块中每个像素点所属的PU；
S5：获取已编码PU的帧内预测模式，把每个像素点所属PU的帧内模式保存到数组中；
S6：从步骤S5的数组中选择使用最多的预测方向；
S7：计算当前PU的预测方向范围；
S8：在步骤S7的范围内进行模式选择，建立模式列表和cost列表。
2.根据权利要求1所述的预测模式快速选择方法，其特征在于，步骤S1所述视频序列包括3个VCC的官方测试序列。
3.根据权利要求2所述的预测模式快速选择方法，其特征在于，所述官方测试序列的分辨率和纹理特征各不相同。
4.根据权利要求1所述的预测模式快速选择方法，其特征在于，步骤S3中，计算参考块的左上角位置坐标的方法为：根据BV的矢量值和当前PU的左上角位置坐标，计算出参考块的位置坐标，将BV值与当前PU的坐标值相加。
5.根据权利要求1所述的预测模式快速选择方法，其特征在于，步骤S4中，所述参考块的大小与当前PU的大小相同。
6.根据权利要求1所述的预测模式快速选择方法，其特征在于，步骤S7中，若步骤S6选择的使用最多的预测方向值在2～64之间，则此方向值减2作为当前PU的预测方向范围的最小值，此方向值加2作为当前PU的预测方向范围的最大值。
7.根据权利要求1所述的预测模式快速选择方法，其特征在于，步骤S7中，若步骤S6选择的使用最多的预测方向值≥64，则此方向值减2作为当前PU的预测方向范围的最小值，此方向值等于预测方向范围的最大值。
8.根据权利要求1所述的预测模式快速选择方法，其特征在于，步骤S7中，若步骤S6选择的使用最多的预测方向值≤2，则此方向值加2作为当前PU的预测方向范围的最大值，此方向值等于预测方向范围的最小值。
一种基于多用途编码中帧内编码的预测模式快速选择方法
技术领域
背景技术
[0002] 随着移动互联网通信技术的快速发展，无线显示、汽车信息娱乐、虚拟桌面界面、远程游戏、在线远程教育和云计算等应用程序已经逐渐渗透到生活中的方方面面。这些应用程序使用不同的图像设备来显示由自然场景、图标、网页、文本等组成的混合屏幕内容图像。然而，与相机拍摄的内容不同，屏幕内容图像包含重复的图案或文字、尖锐的边缘、高度饱和的或者数量有限的颜色、图片中大量的相似块或区域。针对这些混合屏幕内容图像，传统的HEVC编码技术已无法达到较好的压缩性能。图像编码联合协作组(Joint Collaborative Team on Video Coding，简称JCT-VC)在HEVC的基础上，推出了屏幕内容编码(Screen Content Coding，简称SCC)标准扩展。HEVC－SCC中的帧内复制块(Intra Block Copy，简称IBC)编码工具对屏幕内容图像的压缩性能有很大提高。
[0003] 运动图像专家组(Moving Picture Expert Group，简称MPEG)和视频编码专家组(Video Coding Expert Group，简称VCEG)于2015年成立了联合视频探索组(Joint Video Exploration Team，简称JVET)，研究出了新的视频编码标准，并命名为多功能视频编码(Versatile Video Coding，简称VVC)，并发布了相应的编码器测试模型VTM。目前编码器测试模型已经更新到VTM5.0，并且在VVC中加入了IBC编码工具，用于编码屏幕内容图像。
[0004] IBC技术的编码过程为：获取MVP，设置搜索区域，运动估计搜索匹配最佳MV，运动补偿获取预测值。IBC技术有以下几个特点：(1)IBC的预测块是当前编码图像帧的重建块，预测方式和帧间预测类似；(2)IBC是在预测单元(Prediction Unit，简称PU)级进行的，可以将它看作一个帧间PU；(3)帧间模式的设计让IBC和普通的帧间预测模式能更灵活的连接起来，比如，一个帧间编码的(Coding Unit，简称CU)可以有两个PU，一个使用传统的帧间预测，另一个使用IBC；(4)IBC模式是在帧内进行的，只针对I帧做预测。
[0005] IBC和传统帧间预测的区别有：(1)IBC参考的是环路滤波之前的重建像素；(2)当前图像如果被用于参考，它会被标记为长期参考帧，当整张图像编码完后，进行环路滤波，然后加入到解码图像缓冲区(Decoded Picture Buffer，简称DPB)中作为短期参考帧；(3)IBC的预测块不能和当前CU重叠，以防止未重建好的块被用于预测；(4)预测块和当前块应该处于同一slice或tile中；(5)预测块的搜索区域要有严格的限制，如图2中虚线区域部分，以免影响并行处理；(6)IBC的块矢量(Block Vector)必须是整像素精度。
[0006] 然而，虽然目前编码器测试模型已经更新到VTM5.0，并且在VVC中加入了IBC编码工具，但VVC标准编码器中的VTM编码时间过长。
发明内容
[0008] 为实现上述目的，本发明实施例采用以下技术方案：
[0009] 一种基于多用途编码中帧内编码的预测模式快速选择方法，步骤包括：
[0010] S1：对视频序列编码码流进行统计分析，获取编码数据；
[0011] S2：在IBC模式下，搜索与当前PU最相似的参考块，保存最佳BV的矢量值，获取当前PU的最佳BV；
[0013] S4：获取参考块中每个像素点所属的PU；
[0014] S5：获取已编码PU的帧内预测模式，把每个像素点所属PU的帧内模式保存到数组中；
[0015] S6：从步骤S5的数组中选择使用最多的预测方向；
[0016] S7：计算当前PU的预测方向范围；
[0017] S8：在步骤S7的范围内进行模式选择，建立模式列表和cost列表。
[0018] 上述方法的发明构思，是对于I帧，用IBC模式选出的参考块的预测方向来预测当前PU的方向，这样就无需循环67种方向，可以以尽可能地降低编码时间。
[0019] 优选地，步骤S1所述视频序列包括3个VCC的官方测试序列。
[0020] 3个测试序列即可，也可以使用更多的测试序列。
[0021] 进一步优选地，所述官方测试序列的分辨率和纹理特征各不相同。
[0022] 官方测试序列的分辨率和纹理特征可以相同，但为了便于分析测试数据，一般选择分辨率和纹理特征各不相同的测试序列。
[0023] 步骤S1中，为了获取编码数据，基于VVC的官方测试软件VTM5.0对3个不同类型的视频序列编码码流进行统计分析。主要编码参数如表1所示，使用VVC的all-intra配置文件，对3个序列在四个量化参数(qp)下编码10帧。这3个视频序列均来自VVC发布的官方测试序列，具有不同的分辨率、纹理特征。需要说明的是，编码数据的获取条件并不局限于表1，可以根据具体需求场景自行设置。
[0024] 表1 测试条件
[0025]
[0026] 优选地，步骤S3中，计算参考块的左上角位置坐标的方法为：根据BV的矢量值和当前PU的左上角位置坐标，计算出参考块的位置坐标，将BV值与当前PU的坐标值相加。
[0027] 优选地，步骤S4中，所述参考块的大小与当前PU的大小相同。
[0028] 参考块的大小必须与当前PU的大小相同，所以遍历参考块的每个像素点时，用当前PU的宽和高作为循环的最大值。循环每个像素点时，根据参考块左上角的坐标值和当前像素点可以得到当前像素点所属的PU。这个PU是当前帧中已经编码的PU。
[0029] 步骤S5中，已经编码的PU都会保存intra方向，保存的intra方向就是此PU的帧内模式，可以直接获取这个intra方向，并把每个像素点所属PU的帧内模式保存到一个数组中。
[0030] 步骤S6中，从步骤S5的数组中选择使用最多的预测方向，指统计上述数组中的预测方向及数量，将每种预测方向的数量冒泡排序后，选择数量最多的预测方向并保存起来。
[0031] 优选地，步骤S7中，若步骤S6选择的使用最多的预测方向值在2～64之间，则此方向值减2作为当前PU的预测方向范围的最小值，此方向值加2作为当前PU的预测方向范围的最大值。
[0032] 优选地，步骤S7中，若步骤S6选择的使用最多的预测方向值≥64，则此方向值减2作为当前PU的预测方向范围的最小值，此方向值等于预测方向范围的最大值。
[0033] 优选地，步骤S7中，若步骤S6选择的使用最多的预测方向值≤2，则此方向值加2作为当前PU的预测方向范围的最大值，此方向值等于预测方向范围的最小值。
[0034] 本发明实施例的的预测模式快速选择方法是在BV矢量值不为的情况下进行的。当BV矢量值为0时，说明当前PU没有用IBC模式，帧内预测模式的选择还是用原始的过程。
[0035] 与HEVC以及H.264/AVC一样，VVC也采用了基于块的混合编码框架。典型的VVC视频编码流程如图1所示。输入的图像首先被划分为大小相等的正方形图像块，这些图像块被称为树形编码单元(Coding Tree Unit，简称CTU)，CTU是四叉树以及嵌套的多类型树划分结构的根节点。CTU将根据四叉树及嵌套多类型树的划分结构进一步划分为编码单元(Coding Unit，简称CU)，CU是进行预测的基本单位。一个CU首先会根据其帧内帧间属性进行帧内预测或者帧间预测。如果是帧内预测，则主要利用空间相邻的参考像素经过线性插值得到当前CU的像素预测值，如果是帧间预测，则是利用时间相邻(前一帧或前几帧)的参考像素经过位移补偿得到当前CU的像素预测值。然后将CU的预测值与原始值相减得到残差，残差经过变换进一步减少相邻像素点误差的空间相关性并得到相应的残差系数。残差系数经量化后，一方面会结合编码模式以及相关的编码参数等信息进行熵编码，从而得到压缩后的码流。另一方面，量化后的残差系数会经反量化反变换，然后将反量化反变换后的残差和预测值相加得到重建像素，重建图像经滤波后生成参考帧并存储在解码图像缓存器中，用于后面的CU帧内预测或帧间预测时作参考像素。
[0036] 为了适应图像更丰富的纹理，HEVC设定了更多的帧内预测模式，对应不同的预测方向。HEVC有35种帧内亮度预测模式，其中33种是方向预测模式或称角度预测模式，另外两种是直流(DC)和平面(Planar)模式，如图3所示。色度预测模式有5种，模式0是Planar模式，相当于亮度模式0；模式1是是垂直模式，相当于亮度模式1；模式2是水平模式，相当于亮度模式10，模式3是DC模式，相当于亮度模式1；模式4又称为导出模式，采用和对应亮度块相同的模式。
[0037] 为了更好的刻画视频图像中任意的边界方向特征，VVC中的帧内预测模式增加到了67种，其中包括65种角度预测模式、DC模式和平面模式，其中65种角度预测模式中包含了HEVC中的33种模式，DC模式和平面模式与HEVC中的一样，如图4所示。在VTM5.0中，对于亮度分量，有多个LFNST(低频不可分离变换)通道。在第一个LFNST通道下，预测模式的过程为：(1)亮度预测模式的初始化；(2)遍历67种预测模式，跳过VVC中新加的32种角度模式，只对HEVC中存在的35种模式进行SATD的计算，从中选出SATD最小的几个模式和它们的SATD值并存入模式列表和cost列表，并且将模式数目、模式列表和cost列表保存到LFNST通道；(3)遍历上一步选出来的几种模式，这几种模式如果是在2～66之间，则将每种模式与其相邻的两个模式比较SATD，从中选出SATD值最小的一个，更新模式列表和cost列表中的值，但模式数目不变；(4)构建MPM列表并遍历MPM列表中的6种模式，计算这6种模式的SATD，并与上一步中的cost列表中的SATD值比较，选择SATD最小的那个模式，再次更新模式列表和cost列表中的值；(5)用哈达玛变换导出MIP候选模式；(6)将MIP的MPM模式添加到模式列表并更新模式数目和cost列表；(7)从ISP列表中删除非MPM模式；(8)把常规帧内、MIP和ISP模式组合到一起创建完整的模式列表；(9)遍历模式列表中所有的模式，用RDCost检测每个模式，选择RDCost最小的模式作为最佳预测模式。
[0038] 本发明实施例的有益效果
[0039] 1、本发明实施例的基于多用途编码中帧内编码的预测模式快速选择方法，无需循环67种方向，可以尽可能地降低编码时间；
[0041] 图1是典型的VCC视频编码流程图。
[0042] 图2是IBC的搜索区域图。
[0043] 图3为HEVC的35种帧内预测方向。
[0044] 图4为VVC的67种帧内预测方向。
[0045] 图5为实施例1的流程示意图。
具体实施方式
[0046] 本发明实施例通过提供一种基于多用途编码中帧内编码的预测模式快速选择方法，该方法的发明构思，是对于I帧，用IBC模式选出的参考块的预测方向来预测当前PU的方向，这样就无需循环67种方向，可以尽可能地降低编码时间。
[0047] 为了更好的理解上述技术方案，下面将结合具体的实施方式对上述技术方案进行详细地说明。
[0048] 实施例1
[0049] 本例提供了一种基于多用途编码中帧内编码的预测模式快速选择方法，流程如图5所示，步骤包括：
[0050] S1：对视频序列编码码流进行统计分析，获取编码数据；
[0051] S2：在IBC模式下，搜索与当前PU最相似的参考块，保存最佳BV的矢量值，获取当前PU的最佳BV；
[0052] S3：计算参考块的左上角位置坐标；
[0053] S4：获取参考块中每个像素点所属的PU；
[0054] S5：获取已编码PU的帧内预测模式，把每个像素点所属PU的帧内模式保存到数组中；
[0055] S6：从步骤S5的数组中选择使用最多的预测方向；
[0056] S7：计算当前PU的预测方向范围；
[0057] S8：在步骤S7的范围内进行模式选择，建立模式列表和cost列表。
[0058] 上述方法的发明构思，是对于I帧，用IBC模式选出的参考块的预测方向来预测当前PU的方向，这样就无需循环67种方向，可以以尽可能地降低编码时间。
[0059] 其中，步骤S1所述视频序列包括3个VCC的官方测试序列。官方测试序列的分辨率和纹理特征各不相同。
[0060] 步骤S1中，为了获取编码数据，基于VVC的官方测试软件VTM5.0对3个不同类型的视频序列编码码流进行统计分析。主要编码参数如表1所示，使用VVC的all-intra配置文件，对3个序列在四个量化参数(qp)下编码10帧。这3个视频序列均来自VVC发布的官方测试序列，具有不同的分辨率、纹理特征。需要说明的是，编码数据的获取条件并不局限于表1，可以根据具体需求场景自行设置。
[0061] 表1 测试条件
[0062]
[0063] 步骤S3中，计算参考块的左上角位置坐标的方法为：根据BV的矢量值和当前PU的左上角位置坐标，计算出参考块的位置坐标，将BV值与当前PU的坐标值相加。
[0064] 步骤S4中，所述参考块的大小与当前PU的大小相同。参考块的大小必须与当前PU的大小相同，所以遍历参考块的每个像素点时，用当前PU的宽和高作为循环的最大值。循环每个像素点时，根据参考块左上角的坐标值和当前像素点可以得到当前像素点所属的PU。这个PU是当前帧中已经编码的PU。
[0065] 步骤S5中，已经编码的PU都会保存intra方向，保存的intra方向就是此PU的帧内模式，可以直接获取这个intra方向，并把每个像素点所属PU的帧内模式保存到一个数组中。
[0066] 步骤S6中，从步骤S5的数组中选择使用最多的预测方向，指统计上述数组中的预测方向及数量，将每种预测方向的数量冒泡排序后，选择数量最多的预测方向并保存起来。
[0067] 步骤S7中，若步骤S6选择的使用最多的预测方向值在2～64之间，则此方向值减2作为当前PU的预测方向范围的最小值，此方向值加2作为当前PU的预测方向范围的最大值；若步骤S6选择的使用最多的预测方向值≥64，则此方向值减2作为当前PU的预测方向范围的最小值，此方向值等于预测方向范围的最大值；若步骤S6选择的使用最多的预测方向值≤2，则此方向值加2作为当前PU的预测方向范围的最大值，此方向值等于预测方向范围的最小值。
[0068] 本发明实施例的的预测模式快速选择方法是在BV矢量值不为的情况下进行的。当BV矢量值为0时，说明当前PU没有用IBC模式，帧内预测模式的选择还是用原始的过程。
[0069] 检测例
[0070] 采用实施例1的方法，基于VVC官方参考平台VTM5.0实现，并在JVET的通用测试条件下进行实验。在编码器的设置上，使用默认的All-Intra配置中的设置，测试所用视频序列为官方推荐的采样格式为444的视频序列。编码性能主要由BDBR(Bjotegaard Delta Bit rate)和TS两个指标进行评估，并以原始的VTM5.0编码器为基准评估算法的编码性能。其中，BDBR表示在同样的客观质量下两种编码方法的码率差值，由同一段视频在四个QP取值下(22，27，32，37)分别编码并计算码率和PSNR所得到。BDBR能够综合反映视频的码率和质量，它表示在同样的客观质量下，较优的编码方法可以节省的码率百分比。一般为负值，表示相同psnr下，码率减少，性能提高。正值表示码率增加，性能下降。TS则用于衡量快速算法在原编码器的基础上对编码时间的缩减程度，其计算方式如下：
[0071]
[0072] 其中，Tp为将快速算法嵌入VTM5.0后的总编码时间，T0为原编码器VTM5.0的总编码时间。实验结果如表2所示。
[0073] 表2 实验结果
[0074]序列 Y(BDBR) TS
Console_444 1.88％ 12.24％
WordEditing_444 1.09％ 12.72％
WebBrowsing_444 1.36％ 12.35％
平均 1.44％ 12.44％
Console_444 1.88％ 12.24％
WordEditing_444 1.09％ 12.72％
WebBrowsing_444 1.36％ 12.35％
平均 1.44％ 12.44％
[0075] 根据实验结果，从平均意义上看，帧内亮度预测模式快速选择算法使Y分量的BDBR分别平均增加了1.44％，说明其码率并无明显增加，有效地保证了编码器的压缩性能，而编码时间相比原编码器减少了12.44％，降低了编码复杂度。
[0076] 本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越本发明所定义的范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 液晶元件的制造方法 | 2020-05-08 | 457 |
| 图像重构方法和装置 | 2020-05-11 | 182 |
| 光传感器、基于飞行时间的测距系统和电子装置 | 2020-05-08 | 898 |
| 带宽压缩中的后选择预测方法 | 2020-05-08 | 880 |
| 带宽压缩中复杂纹理的双模式选择预测方法 | 2020-05-08 | 372 |
| 一种视频监控测试仪 | 2020-05-08 | 468 |
| 一种用于显示设备的像素电路 | 2020-05-08 | 825 |
| 带宽压缩中的后选择预测方法 | 2020-05-08 | 498 |
| 指纹检测装置和电子设备 | 2020-05-08 | 117 |
| 视频处理方法、装置、设备及存储介质 | 2020-05-08 | 486 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈