一种用于降低复杂性的快速高效的3D-HEVC方法
阅读：705发布：2020-05-08
专利汇可以提供一种用于降低复杂性的快速高效的3D-HEVC方法专利检索，专利查询，专利分析的服务。并且本 发明 提出了一种用于降低复杂性的快速高效的3D-HEVC方法，其步骤为：首先，启动树 块 的决策，导出空间-时间、先前编码视图和纹理深度的对应树块上的预测变量；根据预测变量识别相邻树块与当前树块的运动复杂度，并将当前树块分为静态和复杂运动树块；根据静态或复杂运动树块的运动特性自适应的跳过纹理树块和深度树块的CU深度级别；根据预测变量计算当前树块的率失真代价与相邻树块的率失真代价值，跳过不必要的模式决策，提前终止模式预测。本发明通过执行快速CU深度级别范围确定方法和执行自适应提前终止模式预测方法，能够降低3D-HEVC 编码器 的计算复杂度，在保证率失真代价值性能的前提下，有效地节省了HTM的编码时间。，下面是一种用于降低复杂性的快速高效的3D-HEVC方法专利的具体信息内容。
1.一种用于降低复杂性的快速高效的3D-HEVC方法，其特征在于，其步骤如下：
S1、启动树块的决策，导出空间-时间、先前编码视图和纹理深度的对应树块上的预测变量；
S2、根据步骤S1中的预测变量识别相邻树块与当前树块的运动复杂度，并将当前树块分为静态和复杂运动树块；
S3、根据静态或复杂运动树块的运动特性自适应的跳过纹理树块和深度树块的CU深度级别；
S4、根据步骤S1中的预测变量计算当前树块的率失真代价与相邻树块的率失真代价值，并将相邻树块的率失真代价值的最小值确定模式决策的阈值THr；
S5、判断步骤S4中当前树块的率失真代价值是否小于阈值THr，若是，跳过不必要的模式决策，提前终止模式预测，由完全模式决定最佳模式。
2.根据权利要求1所述的用于降低复杂性的快速高效的3D-HEVC方法，其特征在于，所述步骤S1中的预测变量对应的编码预测器为：
ψ＝{TS,TT,TI,TTD}，
其中，TS为空间预测因子，TT为位于当前纹理树块TC中相同位置的时间预测器，TI为相邻编码视图中的视图间预测器，TTD为对应深度图视图的纹理深度预测器。
3.根据权利要求1所述的用于降低复杂性的快速高效的3D-HEVC方法，其特征在于，根据相邻树块与当前树块的运动复杂度将当前纹理树块和相应树块的覆盖块的运动矢量定义为：MVij＝(MVij,MVyij)，则水平和垂直方向上的运动复杂度定义为：
其中，ψ为运动预测器，MCx为水平的运动复杂度，MCy为垂直的运动复杂度，T为当前树块及其相邻树块的总数，ρij表示权重因子；
运动复杂度参数为：MC＝MCx+MCy；
根据运动复杂度参数MC，当前树块Tc被分为静态和复杂运动树块两种类型：
其中，R为确定具有静态或复杂运动的树块的阈值因子。
4.根据权利要求1所述的用于降低复杂性的快速高效的3D-HEVC方法，其特征在于，所述步骤S4中模式决策的阈值THr为：
THr＝μ·{RD costP1,RD costP2,RD costP3,RD costP4,RD costTpredict}，其中，μ为调整参数，P1、P2、P3、P4均为空间预测因子，RD costP1、RD costP2、RD costP3、RD costP4均为当前树块的相邻树块的率失真代价值，RD cosTpredict为当前树块的相邻预测变量的率失真代价值，且
其中，ψ为运动预测器，i为相邻树块的数量，RD costi为相邻树块的率失真代价值，αi表示树块权重参数，ξi为调整因素，χ、δ、ε和γ均为模式权重因素。
5.根据权利要求1所述的用于降低复杂性的快速高效的3D-HEVC方法，其特征在于，所述步骤S5中的提前终止的准确率为：
ο＝NE/NF，
其中，NE为早期终止的CU深度级别的数量，NF为CU深度级别的数量。
一种用于降低复杂性的快速高效的3D-HEVC方法
技术领域
背景技术
[0002] 3D高效视频编码(3D-HEVC)是最新的HEVC标准开发，旨在提高多视点视频加深度(MVD)格式的压缩性能。它采用了几种额外的编码工具，可以更好地表示相关的纹理和深度数据。为了提高MVD的编码效率，最新的视频标准HEVC开发了3D高效视频编码(3D-HEVC)。
[0003] 为了有效压缩MVD数据，设计了其他工具来利用组件之间的依赖关系。然而，那些额外的编码工具给编码器带来了显著的计算复杂性，实际上还妨碍了应用，3D-HEVC的复杂性成为一个至关重要的问题。因此，它需要进一步降低计算复杂度并且不损失编码性能，从而有助于3D-HEVC更广泛的应用。
[0004] HEVC编码器的快速帧内模式判决方法和CU深度级别大小预测的方法，仅针对纹理视频设计，没有利用深度图属性或新帧内预测模式的特性，因此仍然存在进一步改善3D-HEVC中的模式决策处理的性能的必要性。
[0005] 目前针对3D-HEVC快速编码提出了一些最先进的研究。主要分为两三大类：降低深度编码的复杂性、降低纹理视频编码的复杂性和降低纹理和深度编码的复杂性。关于第一类算法，C.Park提出了一种快速决策方法，根据边缘分类为不同的策略来分配DMM复杂度，它可以自适应地跳过无用的DMM模式。H.Zhang等人提出了一种快速帧内编码，可以提前终止深度图的四叉树分割，可以自适应地检测角点并重新分配分区级别。J.Lei等人提出了一种快速模式决策以减少深度编码处理中的候选模式，其中联合利用视图间和灰度级相似性相关来搜索最佳PU模式；关于第二类算法，Q.Zhang等人提出了一种快速纹理视频模式决策，基于深度信息来实现3D-HEVC计算复杂度降低，该方法利用深度图值相关性来简化纹理视频的编码过程。H.R.Tohidypour等人提出了一种基于在线学习的方法，用来加速纹理编码，另外该算法可以在纹理视频编码中调整预测模式搜索；关于第三类算法，L.Shen等人提出了一种新的模式决策方法，为了加速最耗时的预测过程，它通过使用相邻CU深度水平的相关性和纹理深度的相关性来自适应地调整模式决策过程。L.Shen等人提出了一种有效的CU处理方法，用来节省实时应用的编码时间。
[0006] 上述方法可以有效地加速3D-HEVC编码时间并且与原始编码器保持几乎相同的视频质量。但是，在这些算法中没有充分利用视图间、时空和纹理深度之间的重要信息，并且需要进一步降低编码器的复杂性。
发明内容
[0007] 针对上述背景技术中存在的不足，本发明提出了一种用于降低复杂性的快速高效的3D-HEVC方法，解决了现有3D-HEVC编码方法复杂度高的技术问题。
[0008] 本发明的技术方案是这样实现的：
[0009] 一种用于降低复杂性的快速高效的3D-HEVC方法，其步骤如下：
[0010] S1、启动树块的决策，导出空间-时间、先前编码视图和纹理深度的对应树块上的预测变量；
[0011] S2、根据步骤S1中的预测变量识别相邻树块与当前树块的运动复杂度，并将当前树块分为静态和复杂运动树块；
[0012] S3、根据静态或复杂运动树块的运动特性自适应的跳过纹理树块和深度树块的CU深度级别；
[0013] S4、根据步骤S1中的预测变量计算当前树块的率失真代价与相邻树块的率失真代价值，并将相邻树块的率失真代价值的最小值确定模式决策的阈值THr；
[0014] S5、判断步骤S4中当前树块的率失真代价值是否小于阈值THr，若是，跳过不必要的模式决策，提前终止模式预测，由完全模式决定最佳模式。
[0015] 所述步骤S1中的预测变量对应的编码预测器为：
[0016] ψ＝{TS,TT,TI,TTD}，
[0017] 其中，TS为空间预测因子，TT为位于当前纹理树块TC中相同位置的时间预测器，TI为相邻编码视图中的视图间预测器，TTD为对应深度图视图的纹理深度预测器。
[0019]
[0020]
[0021] 其中，ψ为运动预测器，MCx为水平的运动复杂度，MCy为垂直的运动复杂度，T为当前树块及其相邻树块的总数，ρij表示权重因子；
[0022] 运动复杂度参数为：MC＝MCx+MCy；
[0023] 根据运动复杂度参数MC，当前树块Tc被分为静态和复杂运动树块两种类型：
[0024]
[0025] 其中，R为确定具有静态或复杂运动的树块的阈值因子。
[0026] 所述步骤S4中模式决策的阈值THr为：
[0027] THr＝μ·{RDcostP1,RDcostP2,RDcostP3,RDcostP4,RDcostTpredict}，[0028] 其中，μ为调整参数，P1、P2、P3、P4均为空间预测因子，RDcostP1、RDcostP2、RDcostP3、RDcostP4均为当前树块的相邻树块的率失真代价值，RDcosTpredict为当前树块的相邻预测变量的率失真代价值，且
[0029]
[0030] 其中，ψ为运动预测器，i为相邻树块的数量，RDcosti为相邻树块的率失真代价值，αi表示树块权重参数，ξi为调整因素，χ、δ、ε和γ均为模式权重因素。
[0031] 所述步骤S5中的提前终止的准确率为：
[0032] ο＝NE/NF，
[0033] 其中，NE为早期终止的CU深度级别的数量，NF为CU深度级别的数量。
[0034] 本技术方案能产生的有益效果：本发明联合利用视图间、时空和纹理深度之间的重要编码信息，为3D-HEVC编码器提取模式预测特征，然后优化当前纹理和深度树块的模式预测模式，在保证率失真代价值性能的前提下，有效地节省了HTM的编码时间。附图说明
[0035] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036] 图1为本发明的流程图。
[0037] 图2为本发明的当前树块CU深度级别的预测因子。
[0038] 图3为本发明中深度图编码中的关系曲线。
[0039] 图4为本发明与FCUDR、ESMD、AETMP方法基于“Kendo”视频的总体节省编码时间的对比结果曲线。
[0040] 图5为本发明与FCUDR、ESMD、AETMP方法基于“Poznan_Street”视频的总体节省编码时间的对比结果曲线。
具体实施方式
[0041] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042] 如图1所示，本发明实施例提供了一种用于降低复杂性的快速高效的3D-HEVC方法，首先联合利用视图间、时空和纹理深度的编码信息，为3D-HEVC编码器提取模式预测特征，然后优化当前纹理和深度树块的模式预测模式，由此提出了两种方法：快速CU深度级别范围确定方法和自适应提前终止模式预测方法；具体步骤如下：
[0043] S1、启动树块决策，导出空间-时间、先前编码视图和纹理深度的对应树块上的预测变量；由于3D-HEVC引入附加编码工具，特别用于深度图，它具有与HEVC相同的四叉树结构。使用所有编码模式执行3D-HEVC的模式预测过程以选择具有最小率失真(RD)代价的最佳编码模式。率失真代价值的计算方法为：
[0044] Jmode＝(SSEluma+ωchroma·SSEchroma)+λmode·Rmode (1)，
[0045] 其中，SSEluma为当前树块的亮度分量上的重构树块之间的失真，SSEchroma为当前树块的色度分量上的重构树块之间的失真，ωchroma为加权参数，λmode为拉格朗日乘数，Rmode为总比特率代价。这种“尝试所有然后选择最佳”可以提高编码器的编码效率，但需要很大的复杂性。与HEVC比较，所有添加到3D-HEVC编码器中的完整RD搜索列表中的新模式，但这些技术将导致高复杂性，并且阻碍3D-HEVC的应用。
[0046] 由于当前树块与其时间和空间相邻树块之间的编码信息类似，该特征将用于分析当前树块属性，然后省略一些不必要的预测模式。此外，开发视图间的相关性可以减少3D-HEVC编码器中的MVD数据冗余。在多视图内容中存在视图相似性，这使得这些多视图之间的编码参数相关。
[0047] 当前树块与相邻独立视图中的其对应树块之间的编码信息具有相关性，因此，可以基于相邻独立视图中的对应树块来确定当前树块中的CU深度级别；由于MVD中的纹理和深度图像表示相同的场景，因此编码特征在模式决策过程中可能类似。纹理视频中深度图的当前树块与其共同定位的树块之间的编码具有相关性，纹理视频树块的最佳深度值很可能是深度图树块的最佳深度值。因此，它利用深度和纹理之间的编码信息相似性来节省3D-HEVC的编码时间。
[0048] 利用来自空间-时间、先前编码的视图和纹理深度的编码相关性，将编码预测器ψ定义为：
[0049] ψ＝{TS,TT,TI,TTD} (2)，
[0050] 其中，TS为空间预测因子，TT为位于当前纹理树块TC中相同位置的时间预测器，TI为相邻编码视图中的视图间预测器，TTD为对应深度图视图的纹理深度预测器纹理图深度图的对应树块为当前树块在纹理图深度图中对应的树块。编码过的视图会存储在存储器中，在进行预测时需要参考先前编码过的视图。利用视图间，时空和纹理深度的编码信息来提取3D-HEVC编码器的模式预测特征，也就是编码预测器，根据编码预测器进行下边的优化，即快速CU深度级别范围确定方法和自适应早期终止模式预测方法。在此CU块的决策包括快速深度级别范围的和自适应早期终止模式的决策。基于预测器中的编码信息，可以提取当前树块以跳过不必要的可变大小预测模式。
[0051] S2、根据步骤S1中的预测变量识别相邻树块与当前树块的运动复杂度，并将当前树块分为静态和复杂运动树块。
[0052] 在3D-HEVC中，四叉树结构的CU深度级别还用于压缩纹理和深度数据，CU深度级别对于所有纹理和深度编码具有固定的范围。根据运动预测器的运动信息探索当前树块的ME特征提出了一种新的标准，识别相邻树块之间当前树块的运动复杂度。根据相邻树块与当前树块的运动复杂度将当前纹理树块和相应树块的覆盖块的运动矢量定义为：MVij＝(MVij,MVyij)，则水平和垂直方向上的运动复杂度定义为：
[0053]
[0054]
[0055] 其中，ψ为运动预测器，MCx为水平的运动复杂度，MCy为垂直的运动复杂度，T为当前树块及其相邻树块的总数，ρij表示权重因子，取决于当前树块及其相邻树块与当前CU的相关性。运动复杂度参数为：MC＝MCx+MCy。
[0056] 根据运动复杂度参数MC，当前树块Tc被分为静态和复杂运动树块两种类型：
[0057]
[0058] 其中，R为确定具有静态或复杂运动的树块的阈值因子。
[0059] S3、根据静态或复杂运动树块的运动特性自适应的跳过纹理树块和深度树块的CU深度级别；其中自适应就是在处理和分析过程中，根据处理数据的数据特征自动调整处理方法、处理顺序、处理参数、边界条件或约束条件，使其与所处理数据的统计分布特征、结构特征相适应，以取得最佳的处理效果的过程。阈值因子对于3D-HEVC中的模式决策至关重要，阈值因子可以平衡复杂性降低和编码质量。当前树块是复杂运动区域时，最佳深度级别范围被设置为用于纹理编码和深度编码。基于模拟结果，发现最佳值取决于每个序列内容。实际上，对于静态区域中的树块，非常频繁地出现小的深度值。另一方面，对于具有复杂运动区域的树块很少选择小的深度值，通过利用纹理和深度树块的运动特性自适应地跳过CU深度级别。
[0060] S4、根据步骤S1中的预测变量计算当前树块的率失真代价与相邻树块的率失真代价值，并将相邻树块的率失真代价值的最小值的确定模式决策的阈值THr；实际上，在大多数情况下，由于树块具有大量的背景或同质区域，所以视图间，时空和纹理深度的编码信息在3D-HEVC的模式判定过程中与当前树块紧密相关。根据视图间、时空和纹理深度的编码信息与3D-HEVC的模式决策过程中的当前树块相关性得出，当前树块的RD代价与邻近的树块密切相关。在3D-HEVC中，模式预测过程通过RD优化，从所有候选模式中找到最佳模式，在3D-HEVC中提出早期终止策略，当前树块(纹理视频或深度图)的最小RD代价小于提前终止的阈值时，跳过一些不必要模式决策。
[0061] 所述步骤S4中模式决策的阈值THr为：
[0062] THr＝μ·{RDcostP1,RDcostP2,RDcostP3,RDcostP4,RDcostTpredict} (6)，[0063] 其中，μ为调整参数，P1、P2、P3、P4均为空间预测因子，RDcostP1、RDcostP2、RDcostP3、RDcostP4均为当前树块的相邻树块的率失真代价值，均采用公式(1)计算求得，RDcosTpredict为当前树块的相邻预测变量的率失真代价值，且
[0064]
[0065] 其中，ψ为运动预测器，i为相邻树块的数量，RDcosti为第i个相邻树块的RD代价值，RDcostP1、RDcostP2、RDcostP3、RDcostP4均为RDcosti的一部分；αi表示树块权重参数，ξi为调整因素，χ、δ、ε和γ均为模式权重因素。当相邻的树块可用时，调整因素ξi设置为1；否则，调整因素ξi设置为0。模式权重因素χ、δ、ε和γ分别设定为0.4、0.2、0.2和0.2。其中，调整参数μ节省3D-HEVC编码时间，同时保持了高精度。通过分析调整参数μ＝1.30，μ>1.30以及μ<1.30的情况，得出调整参数μ的值和纹理图树块、深度图树块提前终止的准确性之间的关系，图3示出了μ的值和深度图树块提前终止的准确性之间的关系。根据调整的参数μ来分析每种情况下的提前终止的精度，最终得出结论：对于纹理视频的树块，纹理编码的阈值设置为1.30，深度图编码的阈值设置为1.05。
[0066] S5、判断步骤S4中当前树块的率失真代价值是否小于阈值THr，若是，跳过不必要的模式决策，提前终止模式预测，由完全模式决定最佳模式。
[0067] 所述步骤S5中的提前终止的准确率为：
[0068] ο＝NE/NF (8)，
[0069] 其中，NE为早期终止的CU深度级别的数量，NF为CU深度级别的数量。根据CU深度级别的数量NF，最后得到最佳的编码模式，同时降低了复杂性。
[0070] 为了评估所提出方法的性能，所提出的快速方法在3D-HEVC编码器(HTM 16.1)上实现。在普通测试条件(CTC)使用了JCT-3V推荐的两个分辨率(1024×768和1920×1088)的八个MVD序列。每个测试MVD序列包含三个视图。在这些序列中，“Shark”，“Undo_Dancer”和“GT_Fly”是具有高精度深度图的合成视频序列，“Kendo”，“Balloons”，“Newspaper”，“Poznan_Hall2”和“Poznan_Street”是自然的具有估计深度图的视频序列。本发明与原始编码器相比的编码结果如表1和图4、图5所示，涉及快速CU深度级别范围确定(FCUDR)和自适应早期终止模式预测(AETMP)。FCUDR策略可以跳过不必要的深度级别。AETMP策略RD效率几乎没有损失。该结果表明AETMP可以在不必要的CU大小上有效地提前终止ME和DE。验证结果表明，本发明提出的快速方案可以节省70.2％的3D-HEVC编码器运行时间，RD性能损失可忽略不计。
[0071] 表1 本发明与原始编码器的编码结果
[0072]测试序列 码率增加(％) 视频质量(dB) 节省时间(％)
Kendo 0.63 -0.04 -74.9
Balloons 0.51 -0.04 -70.8
Newspaper 0.96 -0.05 -63.7
Shark 1.12 -0.06 -62.4
Undo_Dancer 1.37 -0.06 -62.2
GT_Fly 0.48 -0.03 -71.1
Poznan_Street 0.42 -0.03 -77.6
Poznan_Hall2 0.21 -0.02 -79.2
Average 0.62 -0.03 -70.2
Kendo 0.63 -0.04 -74.9
Balloons 0.51 -0.04 -70.8
Newspaper 0.96 -0.05 -63.7
Shark 1.12 -0.06 -62.4
Undo_Dancer 1.37 -0.06 -62.2
GT_Fly 0.48 -0.03 -71.1
Poznan_Street 0.42 -0.03 -77.6
Poznan_Hall2 0.21 -0.02 -79.2
Average 0.62 -0.03 -70.2
[0073] 本发明利用视图间、时空和纹理深度的编码信息，为3D-HEVC编码器提取模式预测特征，然后优化当前纹理和深度树块的模式预测模式，以有效地节省HTM的编码时间，同时RD性能的损失可忽略不计。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于矢量电子海图的气象要素叠加显示方法 | 2020-05-08 | 431 |
| 一种基于块编码特性的3D视频错误隐藏方法 | 2020-05-08 | 451 |
| 一种采用领航跟随法的多机器人综合避障方法 | 2020-05-08 | 950 |
| 一种双星编队半实物测试系统与方法 | 2020-05-08 | 465 |
| 细化运动矢量的利用 | 2020-05-08 | 196 |
| 一种湍流区域识别方法 | 2020-05-08 | 581 |
| 使用先前帧残差的运动矢量预测 | 2020-05-11 | 909 |
| 速度矢量测量光纤传感器及测量方法 | 2020-05-08 | 329 |
| 考虑J2项影响的导弹自由段弹道偏差解析预报方法 | 2020-05-08 | 420 |
| 一种基于扭转模态超声导波的复合绝缘子脱粘检测方法 | 2020-05-11 | 529 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈