首页 / 专利库 / 电脑零配件 / 量子比特 / 可伸缩视频编码快速层间预测选择方法

可伸缩视频编码快速层间预测选择方法

阅读:1012发布:2021-01-25

专利汇可以提供可伸缩视频编码快速层间预测选择方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种可伸缩 视频编码 快速层间预测选择方法,包括:利用宏 块 模式信息来预测宏块级的层间运动相关性和空间运动相关性,利用 运动矢量 和预测矢量之间的距离来预测子块级的层间运动相关性和空间运动相关性,根据宏块级和子块级的运动相关性快速选择层间运动预测;在使用层间残差预测的情况下,采用前述步骤进行层间运动预测的选择,得到运动搜索结果;然后,利用运动搜索结果估计不使用层间残差预测和使用层间残差预测两种情况下的宏块失真和编码比特个数,并得到两种情况下的率失真代价比值;根据所述的率失真代价比值和层间残差预测之间的相关性进行快速选择。本发明在基本不损失图像 质量 的条件下,有效降低了层间预测选择复杂度。,下面是可伸缩视频编码快速层间预测选择方法专利的具体信息内容。

1.一种可伸缩视频编码快速层间预测选择方法,包括以下步骤:
(1)计算BLSKIP模式和Direct模式的率失真代价,分别作为宏级的层间运动相关性和空间运动相关性的度量;
(2)首先进行不使用层间运动预测的运动搜索,获得运动矢量;然后,计算所述的运动矢量和使用层间运动预测条件下的预测矢量之间的距离,为第一距离,并计算所述的运动矢量和不使用层间运动预测条件下的预测矢量之间的距离,为第二距离;最后,计算第一距离与第二距离的差值,以度量子块级的层间运动相关性和空间运动相关性,如果第一距离与第二距离的差值小于限值,则层间运动相关性较强;反之,则空间运动相关性较强;
(3)根据宏块级和子块级的运动相关性结果完成快速选择层间运动预测:若在宏块级和子块级上层间运动相关性均强于空间运动相关性,即BLSKIP模式率的失真代价值小于Direct模式的率失真代价值,并且第一距离与第二距离的差值小于上述门限值,则选择使用层间运动预测,继续进行运动搜索;否则,选择不使用层间运动预测,结束本次运动搜索;
(4)在使用层间残差预测的情况下,采用步骤(1)-(3)的方法进行层间运动预测的选择,得到运动搜索结果;然后,利用运动搜索结果估计不使用层间残差预测和使用层间残差预测两种情况下的宏块失真和编码比特个数,并得到两种情况下的率失真代价估计值;最后得到两种情况下的率失真代价比值,两种情况下的率失真代价估计值的计算方法如下:
其中,是率失真代价估计值, 是宏块失真估计值,是编码比特数估计值,λ是拉格朗日算子,Diff(x,y)是根据运动搜索结果进行运动补偿得到的残差块,σY是残差块亮度分量的标准方差,σU、σV是残差块两个色度分量上的标准方差;
不使用层间残差预测和使用层间残差预测两种情况下的残差块DiffNoILRP和DiffILRP按以下方法计算:
DiffNoILRP=S-PILRP (4)
DiffILRP=S-PILRP-Resbase (5)
其中,S是原始宏块,PILRP是根据运动搜索结果得到的预测参考块,Resbase是经过插值处理的基本层对应块的残差数据;
(5)根据所述的率失真代价比值和层间残差预测之间的相关性进行快速选择;如果率失真代价比值大于第一门限值,选择使用层间残差预测,进行重建计算;如果率失真代价比值小于第二门限值,选择不使用层间残差预测,采用步骤(1)-(3)中的方法重新进行运动搜索,并完成重建计算;反之,重新计算率失真代价,并且对不使用层间残差预测的情况,采用步骤(1)-(3)中的方法重新进行运动搜索,然后根据率失真代价大小进行选择,并完成重建计算,其中第一门限值大于第二门限值。

说明书全文

可伸缩视频编码快速层间预测选择方法

技术领域

[0001] 本发明属于视频编码(压缩)领域,具体涉及一种可伸缩视频编码快速层间预测选择方法。

背景技术

[0002] 随着网络技术和视频编码技术的快速发展,人们对通过网络获取视频信息的需求日益旺盛,如何在异构的网络环境下同时对各种终端用户提供个性化服务是网络化视频应用面临的新挑战。可伸缩视频编码(ScalableVideo Coding,SVC)作为解决这一难题的有工具受到了广泛关注,是视频编码领域的研究热点。可伸缩视频编码提供了具有率、分辨率质量可伸缩的视频流,视频服务器端或接收端可以根据网络带宽、终端设备的屏幕大小、处理能力等因素,灵活提取视频流。
[0003] 可伸缩视频编码标准(Scalable Video Coding,SVC)作为H.264标准的可伸缩扩展,其支持的模式包括:Intra4×4、Intra16×16、IntraBL、Inter16×16、Inter16×8、Inter8×16、Inter8×8、Inter8×4、Inter4×8、Inter4×4、SKIP、Direct、BLSKIP等。其中,IntraBL和BLSKIP是SVC中新出现的模式,其余模式均是H.264标准中已有的。
[0004] SVC由一个基本层(Base Layer)和多个增强层(Enhancement Layer)组成,基本层提供了最基本的视频质量,增强层从时间/空间分辨率或者质量上对基本层进行改善。为了降低基本层和增强层之间的信息冗余,SVC采用了层间预测编码技术,利用基本层宏(Macroblock)的残差数据、运动信息和重建数据对增强层宏块的对应信息进行预测。层间预测编码技术包括层间残差预测(Inter-Layer Residual Prediction,ILRP)、层间运动预测(Inter-Layer Motion Prediction,ILMP)和层间Intra预测(Inter-Layer IntraPrediction,ILIP)三种。
[0005] 层间预测编码技术在提高编码效率的同时,也极大加剧了计算复杂度。在编码算法中,模式选择(Mode Decision)和运动搜索(Motion Search)是最消耗计算资源的部分。层间残差预测使模式选择的复杂度加倍,而层间运动预测也增加了运动搜索的复杂度。目前,针对SVC的低复杂度实现,大多侧重于减少参与计算的模式(Mode)个数,忽视了层间预测编码本身的复杂度。

发明内容

[0006] 本发明提供了一种可伸缩视频编码快速层间预测选择方法,在基本不损失图像质量的条件下,有效降低了层间预测选择复杂度。
[0007] 一种可伸缩视频编码快速层间预测选择方法,包括以下步骤:
[0008] (1)利用宏块模式信息来预测宏块级的层间运动相关性和空间运动相关性:计算BLSKIP模式和Direct模式的率失真代价,分别作为宏块级的层间运动相关性和空间运动相关性的度量;
[0009] (2)利用运动矢量和预测矢量之间的距离来预测子块级的层间运动相关性和空间运动相关性:
[0010] 首先进行不使用层间运动预测的运动搜索,获得运动矢量;然后,计算所述的运动矢量和使用层间运动预测条件下的预测矢量之间的距离,为第一距离,并计算所述的运动矢量和不使用层间运动预测条件下的预测矢量之间的距离,为第二距离;最后,计算第一距离与第二距离的差值,以度量子块级的层间运动相关性和空间运动相关性;
[0011] (3)根据宏块级和子块级的运动相关性快速选择层间运动预测:
[0012] 若在宏块级和子块级上层间运动相关性均强于空间运动相关性,则选择使用层间运动预测,继续进行运动搜索;否则,选择不使用层间运动预测,结束本次运动搜索;
[0013] (4)在使用层间残差预测的情况下,采用步骤(1)-(3)的方法进行层间运动预测的选择,得到运动搜索结果;然后,利用运动搜索结果估计不使用层间残差预测和使用层间残差预测两种情况下的宏块失真和编码比特个数,并得到两种情况下的率失真代价估计值;最后得到两种情况下的率失真代价比值;
[0014] (5)根据所述的率失真代价比值和层间残差预测之间的相关性进行快速选择。
[0015] 本发明的可伸缩视频编码快速层间预测选择方法,利用宏块的运动信息和模式信息来快速选择层间运动预测,利用估计的率失真代价来快速选择层间残差预测,在基本不损失图像质量的条件下,有效降低了层间预测选择复杂度,提高了层间预测选择速度。本发明的可伸缩视频编码快速层间预测选择方法还可以与已有的SVC低复杂度实现(如快速模式选择方法)灵活结合,进一步加快编码速度。附图说明
[0016] 图1为本发明的可伸缩视频编码快速层间预测选择方法的流程图

具体实施方式

[0017] 下面结合实施例和附图来详细说明本发明,但本发明并不仅限于此。
[0018] 如图1所示,一种可伸缩视频编码快速层间预测选择方法,包括以下步骤:
[0019] (1)宏块级运动相关性预测
[0020] 利用宏块模式信息来预测宏块级的层间运动相关性和空间运动相关性:计算BLSKIP模式和Direct模式的率失真代价JBLSKIP和JDirect,分别作为宏块级的层间运动相关性和空间运动相关性的度量。
[0021] 层间运动预测选择影响了编码块预测矢量(Predict Motion Vector,PMV)的计算方式:不使用层间运动预测情况下,预测矢量由空间上相邻块的运动矢量(Motion Vector,MV)取中值得到(记作pmvBL);使用层间运动预测情况下,预测矢量由基本层上对应位置块的MV缩放得到(记作pmvEL)。所以,层间运动预测选择可以看作是子块在空间运动相关性和层间运动相关性之间的选择,如果空间运动相关性较强,则选择不使用ILMP;如果层间运动相关性较强,则选择使用ILMP。
[0022] 在宏块编码模式中,Direct模式和BLSKIP模式不需要运动搜索过程,其运动矢量信息根据空间相邻宏块或者基本层对应宏块的运动矢量信息换算得到。根据运动矢量的计算方式,Direct模式和BLSKIP模式分别用来度量宏块级的空间运动相关性和层间运动相关性:其率失真代价越小,对应的运动相关性也就越强。考虑到Direct模式和BLSKIP模式是使用频率较高的两种模式,优先计算这两种模式不会增加算法复杂度。
[0023] (2)子块级运动相关性预测
[0024] 由Golomb熵编码方式可知,运动矢量编码所消耗的比特数与运动矢量和预测矢量之间的距离有关:该距离越小,编码比特数越少,对应的率失真代价也小;该距离越大,编码比特数越多,对应的率失真代价也大。在层间运动预测选择中,率失真代价越小,选择的可能性越高,其对应的运动相关性也就越强。
[0025] 该步骤利用运动矢量和预测矢量之间的距离来预测子块级的层间运动相关性和空间运动相关性,具体过程为:
[0026] 首先进行不使用层间运动预测的运动搜索,获得运动矢量mvNoILMP;然后,计算所述的运动矢量和使用层间运动预测条件下的预测矢量之间的距离,为第一距离,并计算所述的运动矢量和不使用层间运动预测条件下的预测矢量之间的距离,为第二距离;最后,计算第一距离与第二距离的差值(ΔMVDe),如下式(1)所示:
[0027] ΔMVDe=MVD(mvNoILMP,pmvBL)-MVD(mvNoILMP,pmvEL) (1)其中,mvNoILMP是不使用层间运动预测条件下得到的运动矢量,pmvBL、pmvEL分别是使用和不使用层间运动预测条件下的预测矢量,MVD()用来计算矢量距离,计算方法为:
[0028] MVD(v1,v2)=|v1x-v2x|+|v1y-v2y| (2)
[0029] 其中,v1、v2为矢量,v1x、v2x、v1y、v2y分别代表其x、y分量。
[0030] 根据第一距离与第二距离的差值(ΔMVDe)可以度量子块级的层间运动相关性和空间运动相关性:如果ΔMVDe<T,表明层间运动相关性较强;反之,表明空间运动相关性较强。其中,T是限值。
[0031] (3)层间运动预测快速选择
[0032] 根据宏块级和子块级的运动相关性结果完成快速选择层间运动预测:
[0033] 若满足式(3),即在宏块级和子块级上层间运动相关性均强于空间运动相关性,则选择使用层间运动预测,继续进行运动搜索;否则,选择不使用层间运动预测,结束本次运动搜索。
[0034] JBLSKIP<JDirect & & ΔMVDe<T (3)
[0035] 其中,J是率失真代价值。
[0036] (4)层间残差预测率失真代价估计
[0037] 在使用层间残差预测的情况下,采用步骤(1)-(3)中的方法,进行层间运动预测选择,得到运动搜索结果;
[0038] 然后,利用运动搜索结果根据式(4)-(6),对不使用层间残差预测和使用层间残差预测两种情况下的宏块失真和编码比特个数进行估计,并得到两种情况下的率失真代价估计值:
[0039]
[0040]
[0041]
[0042] 其中,是率失真代价估计值,是宏块失真估计值,是编码比特数估计值,λ是拉格朗日算子,Diff(x,y)是根据运动搜索结果进行运动补偿得到的残差块,σY是残差块亮度分量的标准方差,σU、σV是残差块两个色度分量上的标准方差。为了节省计算量,残差块按以下方法计算:
[0043] DiffNoILRP=S-PILRP (7)
[0044] DiffILRP=S-PILRP-Resbase (8)
[0045] 其中,DiffNoILRP为不使用层间残差预测的残差块,DiffILRP为使用层间残差预测的残差块,S是原始宏块,PILRP是根据运动搜索结果得到的预测参考块,Resbase是经过插值处理的基本层对应块的残差数据。
[0046] 最后,计算不使用层间残差预测和使用层间残差预测两种情况下的率失真代价比值(η)为:
[0047]
[0048] 其中, 为不使用层间残差预测下的率失真代价估计值, 为使用层间残差预测下的率失真代价估计值。
[0049] (5)层间残差预测快速选择
[0050] 根据所述的率失真代价比值和层间残差预测之间的相关性进行快速选择:
[0051] 如果满足η>Tup,选择使用层间残差预测,进行重建计算;如果满足η<Tlow,选择不使用层间残差预测,采用步骤(1)-(3)中的方法重新进行运动搜索,并完成重建计算;反之,重新计算率失真代价,并且对不使用层间残差预测的情况,采用步骤(1)-(3)中的方法重新进行运动搜索,然后根据率失真代价大小进行选择,并完成重建计算。其中,Tup、Tlow为门限值,满足Tup>Tlow。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈