低延迟视频编码中时域率失真优化方法专利检索-视频编码层视听技术与设备专利检索查询-专利查询网

低延迟视频编码中时域率失真优化方法

阅读：380发布：2020-05-28

专利汇可以提供低延迟视频编码中时域率失真优化方法专利检索，专利查询，专利分析的服务。并且本发明属于视频编码技术领域，尤其涉及低延迟视频编码中基于时域依赖性的率失真优化方法。本发明采用循环的图像组(group of picture，GOP)结构，每4 帧为一个GOP，将所述GOP内的帧分别分配到不同的层，相同层的帧遵循相似的参考帧及QP分配规则。分析低延迟编码中层次结构的时域依赖性，并根据低延迟编码中时域依赖性建立时域传播链，如图2所示，进而进行时域依赖性的率失真优化建模。求取传播因子ωa和全局拉格朗日乘子λg。最后，本发明根据传播因子ωa，仅通过对全局拉格朗日乘子λg的调整实现时域率失真优化。，下面是低延迟视频编码中时域率失真优化方法专利的具体信息内容。

权利要求

1.低延迟视频编码中时域率失真优化方法，其特征在于，包括如下步骤：
S1、根据低延迟视频编码中时域依赖性，建立时域传播链，其中，所述时域传播链具有如下特性：低延迟视频编码中每个GOP中第一帧，即rPOC＝1的帧仅考虑前一帧对其的影响，每个GOP内的其他三帧，即rPOC＝2、3、4的帧仅考虑前一帧及前向最近的key帧对其的影响；
S2、建立当前编码单元Ui的时域率失真优化目标方程
其中，i＝1,2,3,...,N，N表示低延迟视频编码的总帧数，A代表一帧中所有的编码单元，为Uj的期望失真，Uj是编号为j的编码单元，oi表示第i个编码单元的编码参
数，Ri(oi)表示第i个编码单元的码率，Di为当前编码单元的失真，表示第j个
受到当前编码单元Ui影响的后续编码单元的失真，λg为全局拉格朗日乘子，*代表该编码参数为最优编码参数，定义当前编码单元Ui,a为帧fi中第a个编码单元，j＝i+1,...,N，a＝1,
2,3,...,A；
S3、根据S2所述时域率失真优化目标方程，求受到当前编码单元Ui影响的后续编码单元的期望失真具体为：rPOC＝1的帧中的编码单元Ui+4m+1的期望失真为E
(Di+4m+1)，rPOC＝2的帧中的编码单元Ui+4m+2的期望失真为E(Di+4m+2)，rPOC＝3的帧中的编码单元Ui+4m+3的期望失真为E(Di+4m+3)，rPOC＝4的帧中的编码单元Ui+4m+4的期望失真为E(Di+4m+4)，其中， Ki+4m+1为常
数，Pi+4m,i+4m+1代表在帧fi+4m+1中以fi+4m为参考帧的编码单元的比例，
其中，Ki+4m+2为常数，Pi+4m+1,i+4m+2代表在帧fi+4m+2中以fi+4m+1为参考帧的编码单元的比例，Pi+4m,i+4m+2代表在帧fi+4m+2中以fi+4m为参考帧的编码单元的比例，
其中，Ki+4m+3为常数，Pi+4m+2,i+4m+3代表在帧fi+4m+3中以fi+4m+2为参考帧的编码单元的比例，Pi+4m,i+4m+3代表在帧fi+4m+3中以fi+4m为参考帧的编码单元的比例，
Ki+4m+4为常数，Pi+4m+3,i+4m+4代表在帧fi+4m+4中以fi+4m+3为参考帧的编码单元的比例，Pi+4m,i+4m+4代表在帧fi+4m+4中以fi+4m为参考帧的编码单元的比例，m＝0,1,2,...,M表示第m个GOP，共有M+1个GOP，o1上标“1”表示前一帧为参考帧，o2上标“2”表示前向最近key帧为参考帧；
S4、将所述S3中的受到当前编码单元Ui影响的后续编码单元的期望失真
代入S2所述当前编码单元Ui的时域率失真优化目标方程，并删除所有
常数项K*，进行简化，具体简化为：
当前编码单元 U i 属于 k e y 帧且该帧 r P O C ＝ 4 时，则简化为：
当前编码单元Ui所在非key帧的rPOC分别为1、2、3时，则简化为：
S5、求S4中所述目标方程中的当前编码单元Ui及后续编码单元的失真，具体步骤为：
βi+4m,i+4m+1表示编码单元Ui+4m对Ui+4m+1
的影响程度的经验值，βi+4m,i+4m+1＝α·F(θi+4m,i+4m+1)，且 F
(θ)为经验值，为原始编码单元Ui+4m与Ui+4m+1的运动补偿误差，α为常数，
βi+4m+1,i+4m+2表示编码单
元Ui+4m+1对Ui+4m+2的影响程度的经验值，βi+4m+1,i+4m+2＝α·F(θi+4m+1,i+4m+2)，且为原始编码单元Ui+4m+1与Ui+4m+2的运
动补偿误差，
βi+4m,i+4m+2表示编码单元Ui+4m对Ui+4m+2
的影响程度的经验值，βi+4m,i+4m+2＝α·F(θi+4m,i+4m+2)，且
为原始编码单元Ui+4m与Ui+4m+2的运动补偿误差，
βi+4m+2,i+4m+3表示编码
单元Ui+4m+2对Ui+4m+3的影响程度的经验值，βi+4m+2,i+4m+3＝α·F(θi+4m+2,i+4m+3)，且为原始编码单元Ui+4m+2与Ui+4m+3的运
动补偿误差，
βi+4m,i+4m+3表示编码单元Ui+4m对Ui+4m+3
的影响程度的经验值，βi+4m,i+4m+3＝α·F(θi+4m,i+4m+3)，且
为原始编码单元Ui+4m与Ui+4m+3的运动补偿误差，
βi+4m+3,i+4m+4表示编码单
元Ui+4m+3对Ui+4m+4的影响程度的经验值，βi+4m+3,i+4m+4＝α·F(θi+4m+3,i+4m+4)，且为原始编码单元Ui+4m+3与Ui+4m+4的运
动补偿误差，
βi+4m,i+4m+4表示编码单元Ui+4m
对Ui+4m+4的影响程度的经验值，βi+4m,i+4m+4＝α·F(θi+4m,i+4m+4)，且
为原始编码单元Ui+4m与Ui+4m+4的运动补
偿误差，符号Q为量化步长，与量化参数QP的关系是
S6、将S5中所述当前编码单元Ui及后续编码单元的失真代入S4中所述当前编码单元Ui的时域率失真优化目标方程，得到所述ωa为传播因子，具体为：
当前编码单元Ui属于key帧时，
当前编码单元Ui属于非key帧时，
，
其中，β＝α·F(θ)，且
S7、将全局拉格朗日乘子λg和S6所述传播因子ωa代入进行时域
率失真优化，初始化当前帧的λg为λHM，λHM为标准HEVC中设定的当前帧的拉格朗日乘子；
S8、依次对当前帧中A个编码单元，进行步骤S2-S7的所述的率失真优化处理；
S9、对S7所述全局拉格朗日乘子λg进行更新，更新得到其中，
为Ui的时域累积失真；
S10、对S1所述低延迟视频编码中其他帧进行步骤S2-S9的所述率失真优化处理。
2.根据权利要求1所述低延迟视频编码中时域率失真优化方法，其特征在于：S5所述α为0.94±0.3。
3.根据权利要求1所述低延迟视频编码中时域率失真优化方法，其特征在于：S5所述F(θ)的取值范围为(0,1]。

说明书全文

低延迟视频编码中时域率失真优化方法

技术领域

[0001] 本发明属于视频编码技术领域，尤其涉及低延迟视频编码中基于时域依赖性的率失真优化方法。

背景技术

[0002] 为了顺应视频高清化的趋势，新一代视频编码标准HEVC于2013年初制定完成，较前一代标准H.264/AVC性能提升了近1倍。许多新的技术被HEVC接受，其中包括四叉树块分割，更多的帧内模式，合并模式，层次编码结构。其中，层次编码结构是一种配合编码质量调整的参考帧管理方法，以实时编解码为目标，尽可能的降低时延。

[0003] 率失真优化技术致力于在目标码率限制下最小化编码失真，在传统视频编解码框架下通常采用拉格朗日乘子法解上述问题，即min{J}，其中，J＝Di+λRi，其中，Ri表示一个当前编码单元的码率，Di表示当前编码单元的失真。该方法对每一个编码单元进行独立编码优化，将各个单元最优编码结果作为整个视频序列的最优结果，忽视了各编码单元之间的相关性。文献“E.H.Yang and X.Yu,“Rate Distortion Optimization for H.264 Interframe Coding:A General Framework and Algorithms”,IEEE Trans.ImageProcessing,vol.16,no.7,pp.1774-1784,July.2007”考虑各编码单元相关性，采用动态规划方法联合所有编码单元进行全局率失真优化，复杂度高，无法实时实现，但该方法从侧面证明全局率失真优化可以提升编码性能。

[0004] 文献“T.W.Yang,C.Zhu and X.J.Fan,Q.Peng“, Source distortion temporal propagation model for motion compensated video coding optimization,”IEEE International Conference on Multimedia and Expo(ICME 2012),Melbourne,Australia,Jul.2012,pp.85-90.”，考虑非层次编码中时域依赖关系，如H.264/AVC中编码结构，其中单参考帧的使用具有绝对优势，探索全局率失真优化实现方法。具体来说，获得一组视频编码参数，使得在一定的码率限制下最小化整个序列的编码失真，归纳为
其中，oi表示第i个编码单元的编码参数，如
编码模式，运动矢量，参考帧索引，量化参数，量化后的变换系数等，N代表在整个序列中具有时域依赖性的编码单元个数(假设每帧一个)，λg为全局拉格朗日乘子，并简化为*代表该编码模式为假设可以得到最优编码参数。在新
一代标准HEVC中，采用层次编码结构，如在低延迟编码中的编码结构，极大的提升了编码效率，其中多参考帧的使用占绝对优势，使得时域中多个编码单元之间存在依赖关系，因此相对非层次编码结构，层次编码结构的依赖关系更复杂。而且低延迟编码结构仅仅给出了固定的层次编码结构，并没有根据动态变化的时域依赖性进行率失真优化，需要重新探索适用于新一代标准HEVC，在低延迟视频编码中基于时域依赖性的率失真优化方法。

发明内容

[0005] 本发明根据时域依赖性的动态变化特性，提出了一种在低延迟视频编码中时域率失真优化方法。

[0006] 本发明的技术方案为：

[0007] 在HEVC延迟视频编码默认配置中，采用循环的图像组(group of picture，GOP)结构，每4帧为一个GOP，将所述GOP内的帧分别分配到不同的层，相同层的帧遵循相似的参考帧及QP分配规则。分析低延迟编码中层次结构的时域依赖性，并根据低延迟编码中时域依赖性建立时域传播链，如图2所示，进而进行时域依赖性的率失真优化建模。求取传播因子ωa和全局拉格朗日乘子λg。最后，本发明根据传播因子ωa，仅通过对全局拉格朗日乘子λg的调整实现时域率失真优化。

[0008] 为了方便对本发明进行描述，现在对HEVC中低延迟视频编码结构进行介绍：

[0009] HEVC中低延迟视频编码结构为：

[0010] 每4帧为一个GOP，将所述GOP内的帧分别分配到不同的层，相同层的帧遵循一定的参考帧管理规则及QP分配规则，每帧的POC代表该帧在整个编码序列中的绝对播放顺序号，每帧的rPOC代表该帧在所属GOP中的相对播放顺序号，如图1，每个GOP的第一帧的rPOC＝1，具有相同rPOC的帧具有相同的参考帧管理方法及QP分配规则，如表1所示，Ref 1/2/3/4代表第一/二/三/四个参考帧，所述量化参数(quantization parameter，QP)分配规则具体为：分配给第1层中的编码单元最小的QP补偿值，因此拥有最低的QP，随着层数增加QP也增加，第1层的视频帧称作关键帧，即key帧，获得相对较高的视频质量，为在其他层中的视频帧提供更好的参考帧，在整个视频范围内获得更好的编码质量，所述一定的参考帧管理规则为：每帧有四个参考帧，所述四个参考帧分别为前一帧和前向最近的三个key帧(在低延迟视频编码中编码顺序和解码顺序一致,只考虑前向参考,所述前向参考为前向参考帧的图像播放顺序(picture order count,POC)小于当前帧的POC，本发明通过统计实验得到各参考帧被参考比例，如表2所示：rPOC＝1的帧以前一帧为参考帧的比例最大，rPOC＝2、3、4的帧以前一帧及前向最近的key帧为参考帧的参考比例相对最大)。

[0011] 低延迟视频编码中时域率失真优化方法，具体步骤如下：

[0012] S1、根据低延迟视频编码中时域依赖性，建立时域传播链，其中，所述时域传播链具有如下特性：低延迟视频编码中每个GOP中第一帧，即rPOC＝1的帧仅考虑前一帧对其的影响，每个GOP内的其他三帧，即rPOC＝2、3、4的帧仅考虑前一帧及前向最近的key帧对其的影响，如图2所示；

[0013] S2、建立当前编码单元Ui的时域率失真优化目标方程其中，i＝1,2,3,...,N，N表示低延迟视频编码的总帧数，A代表一帧中所有的编码单元，为Uj的期望失真，oi表示第i个编码单元的编码参数，Ri(oi)表示第i个编码
单元的码率，Di为当前编码单元的失真，表示第j个受到当前编码单元Ui影响
的后续编码单元的失真，λg为全局拉格朗日乘子，*代表该编码参数为最优编码参数，定义当前编码单元Ui,a为帧fi中第a个编码单元，j＝i+1,...,N，a＝1,2,3,...,A；

[0014] S3、根据S2所述时域率失真优化目标方程，求受到当前编码单元Ui影响的后续编码单元的期望失真具体为：rPOC＝1的帧中的编码单元Ui+4m+1的期望失真为E(Di+4m+1)，rPOC＝2的帧中的编码单元Ui+4m+2的期望失真为E(Di+4m+2)，rPOC＝3的帧中的编码单元Ui+4m+3的期望失真为E(Di+4m+3)，rPOC＝4的帧中的编码单元Ui+4m+4的期望失真为E(Di+4m+4)，其中， Ki+4m+1为常
数，Pi+4m ,i+4m+1代表在帧fi+4m+1中以fi+4m为参考帧的块的比例，
其中，Ki+4m+2为常数，Pi+4m+1,i+4m+2代表在帧fi+4m+2中以fi+4m+1为参考帧的块的比例，Pi+4m,i+4m+2代表在帧fi+4m+2中以fi+4m为参考帧的块的比例，
其中，Ki+4m+3为常数，Pi+4m+2,i+4m+3代表在帧fi+4m+3中以fi+4m+2为参考帧的块的比例，Pi+4m,i+4m+3代表在帧fi+4m+3中以fi+4m为参考帧的块的比例，
Ki+4m+4为常数，Pi+4m+3,i+4m+4代表在帧fi+4m+4中以fi+4m+3为参考帧的块的比例，Pi+4m,i+4m+4代表在帧fi+4m+4中以fi+4m为参考帧的块的比例，m＝0,1,2,...,M表示第m个GOP，共有M+1个GOP，o1上标“1”表示前一帧为参考帧，o2上标“2”表示前向最近key帧为参考帧；

[0015] S4、将所述S3中的受到当前编码单元Ui影响的后续编码单元的期望失真代入S2所述当前编码单元Ui的时域率失真优化目标方程，并删除所有
常数项K*，进行简化，具体简化为：

[0016] 当前编码单元 U i 属于 k e y 帧 ( r P O C ＝ 4 ) 时，则简化为：

[0017] 当前编码单元Ui所在非key帧的rPOC分别为1、2、3时，则简化为：

[0018] S5、求S4中所述目标方程中的当前编码单元Ui及后续编码单元的失真，具体步骤为：

[0019] βi+4m,i+4m+1表示编码单元Ui+4m对Ui+4m+1的影响程度的经验值，βi+4m,i+4m+1＝α·F(θi+4m,i+4m+1)，且
F(θ)为经验值，为原始编码单元Ui+4m与
Ui+4m+1的运动补偿误差，α为常数，

[0020] βi+4m+1,i+4m+2表示编码单元Ui+4m+1对Ui+4m+2的影响程度的经验值，βi+4m+1,i+4m+2＝α·F(θi+4m+1,i+4m+2)，且为原始编码单元Ui+4m+1与Ui+4m+2的运
动补偿误差，

[0021] βi+4m,i+4m+2表示编码单元Ui+4m对Ui+4m+2的影响程度的经验值，βi+4m,i+4m+2＝α·F(θi+4m,i+4m+2)，且
为原始编码单元Ui+4m与Ui+4m+2的运动补
偿误差，

[0022] βi+4m+2,i+4m+3表示编码单元Ui+4m+2对Ui+4m+3的影响程度的经验值，βi+4m+2,i+4m+3＝α·F(θi+4m+2,i+4m+3)，且为原始编码单元Ui+4m+2与Ui+4m+3的运
动补偿误差，

[0023] βi+4m,i+4m+3表示编码单元Ui+4m对Ui+4m+3的影响程度的经验值，βi+4m,i+4m+3＝α·F(θi+4m,i+4m+3)，且
为原始编码单元Ui+4m与Ui+4m+3的运动补
偿误差，

[0024] βi+4m+3,i+4m+4表示编码单元Ui+4m+3对Ui+4m+4的影响程度的经验值，βi+4m+3,i+4m+4＝α·F(θi+4m+3,i+4m+4)，且为原始编码单元Ui+4m+3与Ui+4m+4的运
动补偿误差，

[0025] βi+4m,i+4m+4表示编码单元Ui+4m对Ui+4m+4的影响程度的经验值，βi+4m,i+4m+4＝α·F(θi+4m,i+4m+4)，且
为原始编码单元Ui+4m与Ui+4m+4的运动补
偿误差；

[0026] S6、将S5中所述当前编码单元Ui及后续编码单元的失真代入S4中所述当前编码单元Ui的时域率失真优化目标方程，得到所述ωa为传播因子，具体为：

[0027] 当前编码单元Ui属于key帧时，

[0028]

[0029] 当前编码单元Ui属于非key帧时，

[0030]

[0031] ，其中，β＝α·F(θ)，且 m＝1,2,3,...,M，M为一个测试序列的GOP总数；

[0032] S7、将全局拉格朗日乘子λg和S6所述传播因子ωa代入进行时域率失真优化，初始化当前帧的λg为λHM，λHM为标准HEVC中设定的当前帧的拉格朗日乘子；

[0033] S8、依次对当前帧中A个编码单元，进行步骤S2-S7的所述的率失真优化处理；

[0034] S9、对S7所述全局拉格朗日乘子λg进行更新，更新得到其中，A代表一帧中所有的编码单元，为Ui的时域累积失真；

[0035] S10、对S1所述低延迟视频编码中其他帧进行步骤S2-S9的所述率失真优化处理。

[0036] 进一步地，S5所述α为0.94±0.3。

[0037] 进一步地，S5所述F(θ)的取值范围为(0,1]。

[0038] 本发明的有益效果是：

[0039] 与高复杂度的全局率失真优化方案不同，本发明提出了一种可操作的、高效的时域率失真优化方案，并在新一代视频编码标准HEVC中低延迟层次结构下实现，在HEVC的低延迟P帧及B帧测试条件下，包括16个测试序列，4种不同分辨率(1080p,720p,WVGA,WQVGA)，分别获得平均增益2.9％、2.8％，其中背景不变序列“FourPeople”获得编码增益为7.2％，本方案适用于背景不变或者运动缓慢的序列，如新闻、视频会议、监控视频等。附图说明

[0040] 图1低延迟层次编码结构。

[0041] 图2低延迟视频编码中时域传播链。

[0042] 图3在时域中具有依赖性的编码块的确定。

[0043] 图4序列FourPeople在Low-delay P下率失真曲线图。

[0044] 图5为本发明的流程图。

具体实施方式

[0045] 下面结合实施例和附图，详细说明本发明的技术方案。

[0046] 实施例采用开发环境为Visual Studio2008,实施例基于HEVC的参考软件HM13.0进行实现。

[0047] 如图5所示：

[0048] S1、分析低延迟编码中层次结构的时域依赖性，并根据低延迟编码中时域依赖性建立时域传播链，即第i个编码单元Ui在key帧fi中，所述Ui的后向受影响编码单元为Ui+1,Ui+2,...，考虑第i个编码单元Ui在非key帧f′i中，所述Ui的后向受影响编码单元为Ui+1,Ui+2,...。

[0049] Ui+1的确定：以Ui为起点，在下一帧fi+1中进行运动估计搜索得到Ui+1。

[0050] Ui+2的确定：以Ui为起点，在下一帧fi+2中进行运动估计搜索得到U″i+2，以Ui+1为起点，在下一帧fi+2中进行运动估计搜索得到U′i+2，U′i+2与U″i+2的中间位置为Ui+2，[0051] 其中，i＝1,2,3,...,N，N代表在整个编码序列中的帧数，Ui为当前编码单元，所述Ui的后向受影响编码单元的确定具体方式如图3所示，其中，所述层次结构具体为：每4帧为一个GOP，将所述GOP内的帧分别分配到不同的层，相同层的帧遵循一定的参考帧管理规则及QP分配规则，每帧的POC代表该帧在整个编码序列中的绝对播放顺序号，每帧的rPOC代表该帧在所属GOP中的相对播放顺序号，如图1所示，每个GOP的第一帧的rPOC＝1，具有相同rPOC的帧具有相同的参考帧管理方法及QP分配规则，如表1所示，Ref 1/2/3/4代表第一/二/三/四个参考帧，所述量化参数(quantization parameter，QP)分配规则具体为：分配给第1层中的编码单元最小的QP补偿值，因此拥有最低的QP，随着层数增加QP也增加，第1层的视频帧称作关键帧，即key帧，获得相对较高的视频质量，为在其他层中的视频帧提供更好的参考帧，在整个视频范围内获得更好的编码质量，所述一定的参考帧管理规则为：每帧有四个参考帧，所述四个参考帧分别为前一帧和前向最近的三个key帧(在低延迟视频编码中编码顺序和解码顺序一致,只考虑前向参考,所述前向参考为前向参考帧的图像播放顺序(picture order count,POC)小于当前帧的POC)。

[0052] 表1低延迟视频编码中参考帧集合及量化参数设置

[0053]

[0054] 通过统计实验可以得到各参考帧被参考比例，如表2所示，rPOC＝1的帧仅考虑前一帧对其的影响，rPOC＝2、3、4的帧仅考虑前一帧及前向最近key帧对其的影响，连接时域传播链，如图2所示。

[0055] 表2参考比例表

[0056]

[0057] S2、建立第i个编码单元Ui在key帧fi中时域率失真优化目标方程其中，i＝1,2,3,...,N，N表示低延迟视频编码的总
帧数，A代表一帧中所有的编码单元，为Uj的期望失真，oi表示第i个编码单
元的编码参数，Ri(oi)表示第i个编码单元的码率，Di为当前编码单元的失真，
表示第j个受到当前编码单元Ui影响的后续编码单元的失真，λg为全局拉格朗日乘子，*代表该编码参数为最优编码参数，定义当前编码单元Ui为帧fi中第a个编码单元，j＝i+1,...,N，a＝1,2,3,...,A，所述编码参数包括编码模式，运动矢量，参考帧索引，量化参数和量化后的变换系数；

[0058] S3、根据S2所述时域率失真优化目标方程，求受到当前编码单元Ui影响的后续编码单元的期望失真

[0059] 具体为：

[0060] rPOC＝1的帧中的编码单元Ui+4m+1的期望失真为E(Di+4m+1)，rPOC＝2的帧中的编码单元Ui+4m+2的期望失真为E(Di+4m+2)，rPOC＝3的帧中的编码单元Ui+4m+3的期望失真为E(Di+4m+3)，rPOC＝4的帧中的编码单元Ui+4m+4的期望失真为E(Di+4m+4)，其中，Ki+4m+1为常数，Pi+4m,i+4m+1代表
在帧fi+4m+1中以fi+4m为参考帧的块的比例，
其中，Ki+4m+2为常数，Pi+4m+1,i+4m+2代表在帧fi+4m+2中以fi+4m+1为参考帧的块的比例，Pi+4m,i+4m+2代表在帧fi+4m+2中以fi+4m为参考帧的块的比例，
其中，Ki+4m+3为常数，Pi+4m+2,i+4m+3代表在帧fi+4m+3中以fi+4m+2为参考帧的块的比例，Pi+4m,i+4m+3代表在帧fi+4m+3中以fi+4m为参考帧的块的比例，
Ki+4m+4为常数，Pi+4m+3,i+4m+4代表在帧fi+4m+4中以fi+4m+3为参考帧的块的比例，Pi+4m,i+4m+4代表在
1
帧fi+4m+4中以fi+4m为参考帧的块的比例，m＝0,1,2,...,M表示第m个GOP，共有M+1个GOP，o上标“1”表示前一帧为参考帧，o2上标“2”表示前向最近key帧为参考帧；

[0061] S4、将所述S3中的受到当前编码单元Ui影响的后续编码单元的期望失真代入S2所述当前编码单元Ui的时域率失真优化目标方程，并删除所有
常数项K*，进行简化，具体简化为：

[0062] 当前编码单元 U i 属于 k e y 帧 ( r P O C ＝ 4 ) 时，则简化为：

[0063] 当前编码单元Ui所在非key帧的rPOC分别为1、2、3时，则简化为：

[0064] S5、求S4中所述目标方程中的当前编码单元Ui及后续编码单元的失真，具体步骤为：

[0065] βi+4m,i+4m+1表示编码单元Ui+4m对Ui+4m+1的影响程度的经验值，βi+4m,i+4m+1＝α·F(θi+4m,i+4m+1)，且
F(θ)为经验值，为原始编码单元Ui+4m与
Ui+4m+1的运动补偿误差，α为常数，

[0066] βi+4m+1,i+4m+2表示编码单元Ui+4m+1对Ui+4m+2的影响程度的经验值，βi+4m+1,i+4m+2＝α·F(θi+4m+1,i+4m+2)，且为原始编码单元Ui+4m+1与Ui+4m+2的运
动补偿误差，

[0067] βi+4m,i+4m+2表示编码单元Ui+4m对Ui+4m+2的影响程度的经验值，βi+4m,i+4m+2＝α·F(θi+4m,i+4m+2)，且
为原始编码单元Ui+4m与Ui+4m+2的运动补
偿误差，

[0068] βi+4m+2,i+4m+3表示编码单元Ui+4m+2对Ui+4m+3的影响程度的经验值，βi+4m+2,i+4m+3＝α·F(θi+4m+2,i+4m+3)，且为原始编码单元Ui+4m+2与Ui+4m+3的运
动补偿误差，

[0069] βi+4m,i+4m+3表示编码单元Ui+4m对Ui+4m+3的影响程度的经验值，βi+4m,i+4m+3＝α·F(θi+4m,i+4m+3)，且
为原始编码单元Ui+4m与Ui+4m+3的运动补
偿误差，

[0070] βi+4m+3,i+4m+4表示编码单元Ui+4m+3对Ui+4m+4的影响程度的经验值，βi+4m+3,i+4m+4＝α·F(θi+4m+3,i+4m+4)，且为原始编码单元Ui+4m+3与Ui+4m+4的运
动补偿误差，

[0071] βi+4m,i+4m+4表示编码单元Ui+4m对Ui+4m+4的影响程度的经验值，βi+4m,i+4m+4＝α·F(θi+4m,i+4m+4)，且
为原始编码单元Ui+4m与Ui+4m+4的运动补
偿误差。

[0072] S6、将S5中所述当前编码单元Ui及后续编码单元的失真代入S4中所述当前编码单元Ui的时域率失真优化目标方程，得到所述ωa为传播因子，具体为：

[0073] 当前编码单元Ui属于key帧时，

[0074]

[0075] 当前编码单元Ui属于非key帧时，

[0076]

[0077] ，其中，β＝α·F(θ)，且 m＝1,2,3,...,M，M为一个测试序列的GOP总数。

[0078] S7、将全局拉格朗日乘子λg和S6所述传播因子ωa代入进行时域率失真优化，初始化当前帧的λg为λHM，λHM为标准HEVC中设定的当前帧的拉格朗日乘子。

[0079] S8、依次对当前帧中A个编码单元，进行步骤S2-S7的所述的率失真优化处理。

[0080] S9、对S7所述全局拉格朗日乘子λg进行更新，更新得到其中，A代表一帧中所有的编码单元，为Ui的时域累积失真。

[0081] S10、对S1所述低延迟视频编码中其他帧进行步骤S2-S9的所述率失真优化处理。

[0082] 例1、

[0083] 如图2所示，将当前原始帧分成不重叠的16x16大小的编码单元，每个编码单元在下一原始帧中进行运动估计，得到最佳匹配单元，差值记作原始帧的运动补偿误差DOMCP。依OMCP次得到每个编码单元的D ，具体的如同理获得整个序列所有帧中各个编
码单元的DOMCP。同时，对key帧中的编码单元，仍需要在下一GOP中的三帧(rPOC为2、3、4)中寻找最佳匹配单元，并获得原始帧的运动补偿误差，如

[0084] 如图3所示，在帧fi中实线框代表当前编码单元Ui，根据上述原始帧域运动估计，得到与其相关性最强的编码单元Ui+1，也即受编码Ui影响最大的块。以Ui+1为起点，使用与其重合最大的块(如虚线块)的运动矢量，在帧fi+2中寻找最匹配的块U′i+2(如实线块)。同时，当前编码单元Ui，可以直接在帧fi+2中寻找最佳匹配块U″i+2(如斜线块)。取块U′i+2和块U″i+2坐标平均值得到全黑块Ui+2。以此类推，可以确定时域中具有依赖关系的后续编码单元。

[0085] 根据S6可知，为了求得传播因子ωa，需要获得参考比例P及β。低延迟编码中层次编码结构的定义如表1所示，具有相同rPOC的帧遵循相同的规律，如每个测试序列以I帧(帧内编码)开始，四帧组成一个GOP，每个GOP中第一帧的rPOC为1，其参考帧集合中有4个参考帧，表1列出了参考帧与该帧的POC之差，以及该帧所使用的QP偏移值，并将该QP偏移值与I帧的QP之和作为该帧的QP。相应的通过大量实验，求得平均参考比例，也即当前帧中编码单元将参考帧集合中某帧选为最佳参考帧的平均比例。如rPOC为1的当前帧中选择第一个参考帧(即前一帧，因为当前帧与第一个参考帧POC差值为-1)的编码单元比例为0.89。

[0086] 如前所述，β＝α·D/DMCP，且D＝DMCP·F(θ)，因此β＝α·F(θ),其中，

[0087] 首先考虑当前编码单元Ui在key帧中，估计Di(oi)。先根据在当前帧的前一帧找到影响编码Ui的单元Ui-1，进而得到Di-1和其中α＝0.94，求得和其中量化步长Q与量化参数QP的关系是通过θi查表F(θ)
得到

[0088] 估计βi,i+1＝α·F(θi,i+1)，其中前一步中已经求出Di(oi)，可根据时域传播链获得。由于
计算量大，单元Ui+1所在帧的rPOC为1，根据表2及所建时域传播链，其期望失真仅与第一项具有较强相关性，因此使用经验值代替E(Di+1)。

[0089] 估计βi+1,i+2＝α·F(θi+1,i+2)，且进而得到其中E(Di+1)使用经验值同理βi,i+2＝
α·F(θi,i+2)，且进而得到
对于编码单元所在帧rPOC为2、3、4时，其期望失真仅与前一帧及最近的key帧具有强相关性，因此E(Di+2)的经验值为

[0090] 同理，可以迭代求取β，最终求得传播因子ωa，求得

[0091] 通过求Ui的最佳编码参数oi。

[0092] HEVC中基本编码单元CU尺寸为64x64，根据本发明求出每个CU的16个16x16块的传播因子ωi，求均值结合所求的λg，对该CU进行编码。

[0093] 实验低延迟P/B测试条件,其中标准测试序列如表3所示，标准测试条件为使用低延迟下推荐测试结构，QP采用27,32,37,42，16个测试序列，四种分别率(1080P，720P，WVGA，WQVGA)，相对比较结果为HEVC的参考软件HM13.0。

[0094] 表3在低延迟测试条件下亮度码率节省

[0095]

[0096] 测试结果如表3所示。从表3中可以看出采用该方法后可获得BD平均码率节省分别为2.9％、2.8％，且对于部分测试序列，可节省BD码率达7.2％。其中测试序列FourPeople在Low-delay P下率失真曲线图如图4所示。由图4可以看出本方法的性能表现优于原始的HEVC参考软件HM13.0的性能。表4给出了本发明测试时间比较，与HM13.0相比编码时间仅平均增长了0.6％。

[0097] 表4低延迟B帧测试条件下本发明测试时间比较(单位为秒)

[0098]

标题	发布/更新时间	阅读量
一种视频编码的方法和装置	2020-05-08	697
基于Sobel算子和线性回归的高清视频编码码率控制方法	2020-05-08	694
处理和传输媒体数据的方法和装置	2020-05-11	992
一种实现分层视频编码的方法、装置及系统	2020-05-11	564
具有低延迟的视频编码方法及装置	2020-05-11	341
视频编码和解码中的仿射模式	2020-05-11	901
一种视频数据处理方法及装置	2020-05-12	405
在native层实现无缝录像的方法、装置及终端设备	2020-05-08	810
BIO中的时间梯度计算的改善	2020-05-08	174
在应用层实现无缝录像的方法、装置及终端设备	2020-05-12	765

低延迟视频编码中时域率失真优化方法

低延迟视频编码中时域率失真优化方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：