首页 / 专利库 / 视听技术与设备 / 视频编码层 / 非均匀多层次六边形格点整象素运动搜索方法

非均匀多层次六边形格点整象素运动搜索方法

阅读:467发布:2022-01-02

专利汇可以提供非均匀多层次六边形格点整象素运动搜索方法专利检索,专利查询,专利分析的服务。并且本 发明 属于 信号 处理中的 视频编码 领域,涉及非均匀多层次六边形格点整象素运动搜索方法。包括四级搜索及在搜索中的提前终止搜索控制:四级搜索为:第一级预测起始搜索点:第二级非对称十字形搜索:第三级非均匀多层次六边形格点搜索:第四级局部六边形搜索:所说的提前终止搜索控制以SADthrh=SADpred(1+β)为判决条件控制搜索提前终止;根据重建图像 质量 要求,设定多个调整因子βi,从而得到多个提前终止 阈值 SADthrh_i,进而进行不同的后续搜索。本发明在保持已有技术的编码率失真特性的同时极大的降低了软 硬件 中整象素 运动估计 的运算复杂度。且不限于H.264国际标准,同时具有一定的可扩展性,可以实现运算复杂度与预测 精度 之间的均衡调节。,下面是非均匀多层次六边形格点整象素运动搜索方法专利的具体信息内容。

1、一种非均匀多层次六边形格点整象素运动搜索方法,其特征在于,包括四级 搜索及在搜索中的提前终止搜索控制:
第一级预测起始搜索点:选取代价函数值最小的预测点作为下一级非对称十字形 搜索的起始搜索点;
第二级非对称十字形搜索:以上一级预测起始搜索点的结果起始搜索点为基准, 在搜索窗内采用非对称十字形搜索;设平搜索范围为搜索窗的宽度2W,垂直搜索 范围小于或等于2W的非对称十字形搜索模板。经过非对称十字形搜索之后获得的最 佳匹配点将作为下一级搜索的搜索基准点;
在本级搜索过程中如果满足提前终止条件,则计算本级中所有已搜索过点的代价 函数值,与起始点相比较,取最小者为本级的最佳匹配点,然后转向提前终止搜索控 制的处理;
第三级非均匀多层次六边形格点搜索:以第二级的最佳匹配点作为本级的起始搜 索点,在起始点周围±2矩形搜索窗内进行全搜索,在搜索窗±W内搜索非均匀多层次 六边形格点模板上的点,将本级已搜索过的点与起始点相比,代价函数值最小者为本 级的最佳匹配点,同时作为下一级搜索的起点;
在本级搜索过程中如果满足提前终止条件,则计算本级中所有已搜索过点的代价 函数值,与起始点相比较,取最小者为本级的最佳匹配点,然后转向提前终止搜索控 制的处理;
第四级局部六边形搜索:以第三级的最佳匹配点作为本级的起始搜索点,搜索六 边型模板上的点,在本级的搜索终止条件控制下,得到本级中的最佳匹配点,相对应 的运动矢量即为最终运动矢量;
所说的提前终止搜索控制以SADthrh=SADpred(1+β)为判决条件控制搜索提前终 止;
根据重建图像质量要求,设定多个调整因子βi,从而得到多个提前终止阈值 SADthrh_i,进而进行不同的后续搜索。
2、如权利要求1所述的非均匀多层次六边形格点整象素运动搜索方法,其特征 在于,所说的第一级预测起始搜索点,从空间域的中值运动矢量、空间域的上层搜索 模式运动矢量、时间域的前对应位置运动矢量和时间域的邻近参考帧运动运动矢量 的预测指向的搜索位置进行搜索,然后选取代价函数值最小为本级的最佳匹配点,同 时作为下一级非对称十字形搜索的起始搜索点。
3、如权利要求2所述的非均匀多层次六边形格点整象素运动搜索方法,其特征 在于,所说的空间域的中值运动矢量预测为:
        MVpred_MP=Median(MVA,MVB,MVC)
其中,MVpred_MP是当前的空间域的中值运动矢量预测;A为当前块的左边相邻 块,B为当前块的上方相邻块,C为当前块的右上方的相邻块;MVA,MVB,MVC 分别是A,B C块对应的运动矢量;Median表示中值运算:
当块C位于图象外部时,其运动矢量用当前块的左上方相邻块的运动矢量来代 替;
所说的空间域的上层搜索模式运动矢量预测为:
将不同块模式排序,为块模式1,块模式2,块模式3,…,各块模式的关系为: 块模式1为2或3的上层搜索块模式,块模式2为其所包含的块模式4的上层搜索块 模式,块模式4为其所包含的块模式5或6的上层搜索块模式,5为其所包含的块模 式7的上层搜索块模式;每个块模式有相对应的运动矢量;用上层搜索模式的运动矢 量MVUpLayer作为当前块的预测运动矢量MVpred_ULP:即MVpred_ULP=MVUpLayer;
所说的时间域的前帧对应位置运动矢量预测为:
取当前帧的前一帧中与当前帧当前块相同坐标位置的块的运动矢量MVCo作为当 前块的预测运动矢量MVpred_CP,即
MVpred_CP=MVCo
所说的时间域的邻近参考帧运动运动矢量预测为:
设当前帧的时间为t,与时间t-1,t-2,…相对应的参考帧为:帧t-1,帧 t-2,…;则当在参考帧t′中搜索时,用当前块在帧t′+1中的运动矢量MVNR来估测 出当前块在帧t′的运动矢量MVpred_NRP:即 MV pred _ NRP = MV NR × t - t t - t + 1
对上述得到的四个预测的运动矢量MVpred_MP,MVpred_ULP,MVpred_CP,MVpred_NRP 指向的搜索位置进行搜索,然后选取代价函数值最小的搜索点作为本级的最终预测起 始搜索点,同时也是下一级非对称十字形搜索的起始搜索点。
4、如权利要求1所述的非均匀多层次六边形格点整象素运动搜索方法,其特征 在于,所说的第三级非均匀多层次六边形格点搜索,具体包括:
(a)将上一级非对称十字形搜索的最佳匹配点作为本级搜索的起始点,在起始点 周围,在矩形±2搜索窗内进行全搜索得到每个搜索点的代价函数值;
(b)以上一级最佳匹配点为基准,在搜索窗±W内,搜索多层次六边形格点模板 上的点得到每个点的代价函数值;
(c)取上述(a),(b)中的搜索点以及起始点中代价函数值最小者为本级的最佳匹 配点,作为下一级搜索的起点;
(a)与(b)步骤的搜索过程中,可以以不同搜索顺序,例如从里层到外层,每层按 顺时针方向;
在搜索过程中如果满足提前终止条件,则计算本级中所有已搜索过点的代价函数 值,与起始点相比较,取最小者为本级的最佳匹配点,然后转向提前终止搜索控制的 处理。
5、如权利要求1或4所述的非均匀多层次六边形格点整象素运动搜索方法,其 特征在于,所说的第三级非均匀多层次六边形格点搜索,所说的多层次六边形格点模 板定义为:
首先定义一个基本的16点六边形模板,也是多层次六边形格点模板的第一层,此 模板上的各点的坐标集合Ω16-HP为:
          Ω16-HP={(x,y)|(±4,±2),(±4,±1),(±4,0),(±2,±3),(0,±4)}
由基本的16点六边形模板向外进行扩展就可以获得多层次六边形格点模板,多 层次六边形格点模板上的点的坐标集合Ω为: Ω = { ( x , y ) | x = x * k , y = y * k , ( x , y ) Ω 16 - HP , k = 1,2 , . . . , W 4 } , 如果搜索
      窗为±W。
6、如权利要求1所述的非均匀多层次六边形格点整象素运动搜索方法,其特征 在于,所说的第四级局部六边形搜索,具体包括:
(a)以上一级最佳匹配点为为起点,搜索六边形模板上的6个点;得到六个搜索 点的代价函数值;比较六边形上搜索点与上一级最佳匹配点的代价函数值的大小,取 代价函数值最小者为本步骤最佳匹配点,作为下一步搜索的起点;如果上一级的最佳 匹配点代价函数值为最小,则转到步骤(c);如果最佳匹配点在六边形上,则转到步骤 (b);
(b)以前一步搜索所得的最佳匹配点作为起始点,搜索六边形模板上的6个点; 得到六个搜索点的代价函数值;比较六边形上搜索点与上一步最佳匹配点的代价函数 值的大小,取代价函数值最小者为本步骤最佳匹配点;如果上一级的最佳匹配点代价 函数值为最小,则转到步骤(c);如果最佳匹配点在六边形上,则转到步骤(b);
(c)以前一步搜索所得的最佳匹配点作为起始点,本级的搜索过程和终止条件描 述如下:搜索该起点周围钻石形模板上的四点,比较该四点与本步骤起始点的代价函 数值的大小,取代价函数值最小者为本步骤最佳匹配点;如果该四个点的代价函数值 皆大于本步骤的起始点的代价函数值,则搜索终止;此时的最佳匹配点就是最终运动 矢量的解;如果最佳匹配点不位于中心点,则以此最佳匹配点为中心,重复步骤 (c),直到最佳匹配点位于中心或者到达搜索窗边缘截止。
7、如权利要求1所述的非均匀多层次六边形格点整象素运动搜索方法,其特征 在于,所说的提前终止搜索控制,具体包括终止条件的设置和提前终止后的处理:
所说的提前终止条件为:以SADthrh=SADpred(1+β):
其中SADpred为预测的代价函数值;
β为调解因子,代表编码后重建图象的质量,针对不同的重建图象质量要求,β 取两个值β1和β2,分别对应于两个阈值;
                SADthrh_1=SADpred(1+β1)
SADthrh_2=SADpred(1+β2)
所说的的调节因子为 β < Q step M [ 0,0 ] * 4 * ( B size SAD pred ) 2 - NSD
其中Qstep是量化步长,Bsize是图象块的大小,M[0,0]是矩阵M的第(0,0)元素; NSD为归一化的SAD差值(Normative SAD Difference),即归一化的代价函数差值, 定义为:
NSD=(SADpred-SADbest)/SADpred
SADbest搜索到的最小代价函数值;所说的NSD由试验得到,根据NSD的分布统 计特性,根据不同预测模式下NSD的单边分布概率P(NSD<α)的概率分布特性, β 1 < Q step M [ 0,0 ] * 4 * ( B size SAD pred ) 2 - α 1 β 2 < Q step M [ 0,0 ] * 4 * ( B size SAD pred ) 2 - α 2
设定α1和α2由P(NSD<α)两个阈值P(NSD<α1)=0.8和P(NSD<α2)=0.9得 到,
所说的矩阵M的元素M[u,v]=[ARAT]u,u[ARAT]v,v
其中下标u,u或v,v表示矩阵ARAT的第u,u或v,v元素,u=0,...,N,v=0,...,N,N 为图象块的宽度或高度;
A为余弦变换F=Af的变换矩阵,f为变换的输入矩阵即残差矩阵,F为变换的输 出矩阵即变换系数矩阵;R为残差矩阵元素的相关系数矩阵;残差矩阵为当前块与参 考块的差值矩阵;
当余弦变换为4×4变换时: R = 1 ρ ρ 2 ρ 3 ρ 1 ρ ρ 2 ρ 2 ρ 1 ρ ρ 3 ρ 2 ρ 1
其中ρ是残差矩阵元素的相关系数,取ρ=0.6,M矩阵则为: M = 5.607424 2.125210 1.060864 0.678503 2.125210 0.805453 0.402067 0.257152 1.060864 0.402067 0.200704 0.128365 0.678503 0.257152 0.128365 0.082099 ;
所说的提前终止后的处理包括以下步骤:
(a)如果当前搜索到的SAD值小于SADthrh_1时,搜索将终止,并转到局部六边形 搜索进行运动矢量局部细化搜索;
(b)如果当前搜索到的SAD值小于SADthrh_2时,转到局部六边形搜索的第三步 (a)直接进行钻石形搜索。
8、如权利要求1所述的非均匀多层次六边形格点整象素运动搜索方法,其特征 在于,所说的预测的代价函数值包括四种预测:中值预测,上层预测,前帧对应位置 预测,和相邻参考帧预测;
所说的中值预测在空间域进行;与E为当前块,A为其左相邻块,B为其上边相 邻块和C为其右上方相邻块,与A,B,C块对应的运动矢量分别为MVA,MVB, MVC,并且搜索所得的最小代价函数SAD值分别为SADA,SADB,和SADC,中值预 测代价函数为:SADpred_MD=min(SADVx_median,SADVy_media),
SADVx_median=fSAD(Vx_median)
Vx_median=Median(MVA(x),MVB(x),MVC(x))
SADVy_median=fSAD(Vy_median)
Vy_median=Median(MVA(y),MVB(y),MVC(y))
所说的上层预测在空间域进行;每个图象块将对应块模式,每个块有相对应的运 动矢量;将块模式排序,块模式1,块模式2,块模式3,…,:块模式1为2或3的 上层搜索块模式,块模式2为其所包含的块模式4的上层搜索块模式,块模式4为其 所包含的块模式5或6的上层搜索块模式,5为其所包含的块模式7的上层搜索块模 式;利用空间域上层搜索模式的搜索所得的最小代价函数值SADUpLayer的1/2作为当前 块模式下的代价函数预测SADpred_UP如:
SADpred_UP=SADUpLayer/2
所说的前帧对应位置块的预测在时间域进行。设当前帧t在参考帧t′进行搜索, 用前一帧t-1中与当前块对应坐标相同的块在帧t′-1中搜索得到的最小代价函数SADCo 作为当前搜索块在帧t′中进行搜索的SAD的预测值SADpred_CP:
  SADpred_CP=SADCo
所说的邻近参考帧的预测在时间域进行;在多参考帧的运动搜索时,从距离当前 帧最近的参考帧开始,逐渐向距离比较远的参考帧进行搜索。在参考帧t′进行搜索时 可以利用当前块在参考帧t′+1内搜索得到的最小代价函数SADNR作为当前块在t′搜索 的预测值SADpred_NRP。取邻近参考帧搜索所得的最小代价函数作为在当前参考帧搜索过 程中的SAD的预测值:
SADpred_NRP=SADNR
所说的预测的代价函数值SADpred的选取原则为:
(a)当前帧t的某块在参考帧t′(t′<t-1)中进行运动搜索时,利用此块在参考 帧t′+1中搜索所SAD值SADpred_NRP作为预测值,即:
SADpred=SADpred_NRP
(b)当前帧t的某块在参考帧t-1中进行运动搜索时,如果此块的块模式为 16×16,即为块模式1,用中值预测所得的SAD作为预测值,即:
SADpred=SADpred_MP
(c)当前帧t的某块在参考帧t-1中进行运动搜索时,如果此块的块模式不为 16×16,即为块模式2~块模式7,用上层预测的SAD作为预测值,即:
SADpred=SADpred_UP
(d)在利用MVpred_CP作为预测矢量进行搜索时,在进行这一点的搜索之后,可 以利用SADpred_CP作为预测SAD判断是否终止搜索跳转到矢量细化搜索部分,即:
SADpred=SADpred_CP

说明书全文

技术领域

发明属于信号处理中的视频编码领域,特别针对最新的视频编码标准H.264提出 了新的快速整象素运动搜索方法,在保证视频编码效率的前提下大幅度节省了软硬件实 现中整象素运动搜索的运算量。

背景技术

传统的视频编码标准如ITU制定的H.261,H.263,H.263+,H.264标准以及ISO 的MPEG组织制定的MPEG-1,MPEG-2,MPEG-4等都是建立在混合编码,即Hybrid Coding框架之上的。所谓混合编码框架是一种混合时间空间视频压缩方案,先用间 预测编码消除时间域的相关性,然后对残差进行变换编码,消除空间相关性,然后进行 熵编码去除统计上的冗余度
上述视频编码标准都具有帧内编码帧,即I帧,和帧间编码帧,即P帧或者B帧。
帧内编码帧和帧间编码帧采用了不同的编码方法。帧内编码帧的编码过程如下:对 原始图象数据进行二维变换(采用离散余弦变换或整型变换);然后在变换域中对变换系 数进行量化;最后进行熵编码,即Hunffman编码或者算术编码等。帧间编码的编码过程 如下:采用运动估计得到运动矢量,然后采用基于运动补偿的帧间预测,接着对帧间预 测得到的残差进行二维变换,再对变换域系数进行量化,最后进行熵编码。
运动估计通过运动矢量搜索(简称为运动搜索)得到运动矢量的最佳估计。运动搜索 可包括整象素运动矢量搜索(简称为整象素搜索)和亚象素运动矢量搜索。整象素搜索的 最佳方法是全搜索方法,全搜索的运算量大硬件实现复杂度大。整象素的快速搜索方法 可以将搜索过程加速,在一定的重建图象质量的要求下,可以将全搜索方法加速几倍或 者更高。典型的整象素快速搜索方法如三步法,钻石形搜索法,六边形搜索法等。
一般整象素搜索方法的处理过程是,对于图象序列当前帧中给定的图象数据块(连 续像素点组成的矩形块),在图象序列其它重建图象帧(称为参考帧)中按一定最佳匹配 准则搜索最佳匹配块。上述搜索是在搜索窗内进行,该搜索窗定义在参考帧中,范围从 相对于当前帧中的当前块的中心位置,左移+Wx,右移-Wx,上移Wy,下移Wy所覆盖的所 有象素,Wx和Wy构成矩形搜索窗(2Wx+1)*(2Wy+1)。如果Wx,=Wy=W,也叫做搜索窗 ±W。上述的最佳匹配的准则有多种定义,由公式(1)定义的代价函数SAD被广泛采 用,值最小。最佳匹配块的中心在此定义为最佳匹配点。 SAD ( P ) = i = 0 j = 0 N - 1 M - 1 | f ( i , j , t ) - f ( i - x , j - y , t - 1 ) |          公式(1)
(1)式中NxM是当前块(当前帧中待处理的图象块)的大小,也是参考帧中搜索块 (参考帧中的图象数据块)的大小;f(i,j,t)是t时刻的图象帧在(i,j)坐标位置处的象 素的亮度值;(x,y)表示当前块位置指向参考帧中象素点P位置的运动矢量的两个分 量;当搜索窗是±32时,如果P点布满整个搜索窗,则需要计算代价函数(1)4225次, 这样的运算叫做全搜索。如果只选择搜索窗内某些P点计算这些点的代价函数,则叫做 快速搜索。计算某点的代价函数,也叫做搜索某点。
H.264采取了多参考帧,即公式(1)中的t-1为t-m,m=1,...5;多预测块模式,即当 N和M取多个值时NxM的块有多种块模式,在H.264中有7种块模式;以及高精度运动 矢量的技术来提高预测精度,即x和y不但可以是整数,而且可以取为分数;提高了运 动估计的精确度而使得编码效率增加。当然上述的多参考帧,多模式和高精度运动矢量 等技术大大增加了本来十分复杂的运算量。
以往的快速搜索方法多针对缓慢运动的图象序列。例如被MPEG-4国际标准接纳的 钻石形搜索法,该方法由S.Zhu and K.-K.Ma以“A New Diamond Search Algorithm for Fast Block Matching Motion Estimation”为名发表在in Proc.Int.Conf Inform.,Commun., Signal Process.,pp.292-296,Singapore,Sept.9-12,1997。该方法的不足之处是,在运动激 烈时图象质量的损伤大,不能应用于高质量图象编码。钻石形搜索方法基于钻石形模 板。模板的定义是从搜索起始点出发,搜索该点相邻上下左右的四个象素点(由于四个 象素点所构成的形如钻石状,故得名),如图1(b)所示。
由Ce Zhu,Xiao Lin,and Lap-Pui Chau三人以“Hexagon-Based Search Patten for Fast Block Motion Estimation”为题名发表在IEEE Trans.on CSVT,pp.349-355,Vol.12,No.5, May,2002的六边形搜索法,可以使得搜索点相对于钻石形搜索法更少,从而使运动搜 索进一步加速。该方法的不足之处和上述所提的钻石形搜索法一样,在用于有剧烈运动 的图象序列时,重建图象有大的失真。该六边形搜索法的搜索过程,具体包括:
(1)以预测起始点为中心,搜索六边形模板的6个点,得到6个代价函数值。在这 6个代价函数值与起始点的代价函数值中,代价函数值最小者为最佳匹配点。如果最佳 匹配点处于六边形的中心,则转到第三步,否则到第二步;
(2)以前一步搜索得的最佳匹配点为起始点,搜索六边形模板的6个点(此时已经 搜索过的点并不再进行搜索),得到6个代价函数值。在这6个代价函数值与起始点的 代价函数值中,代价函数值最小者为最佳匹配点。如果最佳匹配点位于六边形的中心, 则转到第三步,否则重复这一步;
(3)以前一步搜索得的最佳匹配点为起始点,搜索钻石形模板的4个点得到4个代 价函数值,取该4个代价函数值与起始点的代价函数值最小者为最佳匹配点,最佳匹配 点对应的运动矢量即为最终运动矢量。
上述所说的六边形模板如图(a)所示:图中,设搜索起始点为中心点(i,j),i为平坐 标,j为垂直坐标;六边形模板的6个点分别是(i+2,j),(i-2,j),(i+1,j+2),(i+1,j-2),(i- 1,j+2),(i-1,j-2)。
为了获得好的图象质量,通常要增大运动矢量的搜索窗。本申请发明人针对大运动 量的图象,曾发明非均匀分布多格点运动搜索方法:即HMGS(Danian Gong,Yun He,“Fast motion estimation algorithm using unequal-distributed multi-grid search strategy”, Proceeding of PCS2001,pp.362-365,Seoul,April,2001)。该方法包括三级搜索,如图2 所示,图中以搜索窗±7为例,其处理过程为:
(1)第一级:以起始点为基准,搜索过基准点的水平线上间隔为2的点,以这些点 的代价函数值和起始点的代价函数值最小者为最佳匹配点,如图2中空心圆所示;
(2)第二级:非均匀的多格点矩形搜索,包含如下步骤:
(a)取第一级搜索所得的最佳匹配点为起始点,在搜索起始点周围±2的矩形搜索 窗内进行全搜索,得到各点的代价函数值;如图2的中心部分棱形所示的区域;
(b)取第一步搜索所得的最佳匹配点为基准,搜索多层次矩形格点模板上的点,得 到各点的代价函数值,如图2中空心矩型所示的区域;
(c)比较(a)与(b)步骤各点和起始点的代价函数值,取最小者为本级的最佳匹 配点。
(3)第三级:扩展的三步法搜索:以第二级的最佳匹配点为基准,搜索其周围相邻 8点,如图2中网格填充圆所示;取这8点和起始点的代价函数值的最小者为最佳匹配 点;最佳匹配点所对应的运动矢量即为搜索的最终结果。
上述所说的多层次矩形格点模板定义为:设搜索起始点为中心点(i,j),i为水平坐 标,j为垂直坐标;多层次矩形格点模板的点分别为下述两个集合的并集: U
搜索窗为±W。
由于网格形状基于矩形,搜索点的数量还可以进一步降低。

发明内容

本发明的目的是为克服已有技术的不足之处,提出一种非均匀多层次六边形格点整 象素运动搜索方法,在保持已有技术的编码率失真特性的同时极大的降低了软硬件中整 象素运动估计的运算复杂度。且本方法并不限于H.264国际标准,可以推广至其他国际 标准和非国际标准视频编码的应用。同时本发明的方法具有一定的可扩展性,可以实现 运算复杂度与预测精度之间的均衡调节。
本发明提出的一种一种非均匀多层次六边形格点整象素运动搜索方法,其特征在 于,包括四级搜索及在搜索中的提前终止搜索控制:
第一级预测起始搜索点:选取代价函数值最小的预测点作为下一级非对称十字形搜 索的起始搜索点;
第二级非对称十字形搜索:以上一级预测起始搜索点的结果起始搜索点为基准,在 搜索窗内采用非对称十字形搜索;设水平搜索范围为搜索窗的宽度2W,垂直搜索范围 小于或等于2W的非对称十字形搜索模板。经过非对称十字形搜索之后获得的最佳匹配 点将作为下一级搜索的搜索基准点;
搜索可以设定不同顺序,比如先水平后垂直,先中间后两边的次序;
在搜索过程中如果满足提前终止条件,则计算本级中所有已搜索过点的代价函数 值,与起始点相比较,取最小者为本级的最佳匹配点,然后转向提前终止搜索控制的处 理。
第三级非均匀多层次六边形格点搜索:以第二级的最佳匹配点作为本级的起始搜索 点,在起始点周围±2矩形搜索窗内进行全搜索,在搜索窗±W内搜索非均匀多层次六边 形格点模板上的点,将本级已搜索过的点与起始点相比,代价函数值最小者为本级的最 佳匹配点,同时作为下一级搜索的起点;
可以以不同搜索顺序,例如从里层到外层,每层按顺时针方向;
在搜索过程中如果满足提前终止条件,则计算本级中所有已搜索过点的代价函数 值,与起始点相比较,取最小者为本级的最佳匹配点,然后转向提前终止搜索控制的处 理。
第四级局部六边形搜索:以第三级的最佳匹配点作为本级的起始搜索点,搜索六边 型模板上的点,在本级的搜索终止条件控制下,得到本级中的最佳匹配点,相对应的运 动矢量即为最终运动矢量;
所说的提前终止搜索控制:以
SADthrh=SADpred(1+β)
为判决控制搜索提前终止条件;
根据重建图像质量要求,设定多个调整因子βi,从而得到多个提前终止阈值 SADthrh_i,进而进行不同的后续搜索。
本发明的工作原理与效果如下:
本发明将六边形搜索方法扩展到多层次六边形网格,用于本组的非均匀分布多网格 运动搜索方法之中,按照矩形多网格的思路,构造多个六边形网格。既大大减低了搜索 点数量,有满足了大运动图象的解码图象质量。
另外,本发明还提供了由使用者自行决定解码图象质量,运算量的提前终止搜索控 制新技术,这可以使得某些应用,比如采用低档次的硬件,针对缓慢运动进一步降低运 算量。
附图说明
图1为已有六边形搜索法和钻石形搜索法中的模板示意图;其中a)为六边形模 板,b)为钻石形模板。
图2为已有的非均匀分布多格点运动搜索方法的示意图。
图3为本发明的空间域中值预测中当前块与相邻块的位置关系示意图。
图4为七种块模式。
图5为本发明非均匀多层次六边形格点整象素运动搜索方法总体搜索过程示意图。
图6为本发明的非均匀多层次六边形格点模板中基本的16点六边形模板。

具体实施方式

本发明提出的非均匀多层次六边形格点整象素运动搜索方法结合附图及实施例详细 说明如下:
本发明提出的整象素运动估计方法中的非均匀多层次六边形格点整象素运动搜索方 法,包括四级搜索:预测起始搜索点;非对称十字形搜索;非均匀多层次六边形格点搜 索;和局部六边形搜索;以及在各级搜索中的提前终止搜索控制。下面分别介绍:
第一级预测起始搜索点,包括以下步骤:
a)空间域的中值运动矢量预测(MP-Median Prediction):
空间域的中值运动矢量预测是常用的预测方法,由公式(2)定义:
MVpred_MP=Median(MVA,MVB,MVC)              (2)
其中,MVpred_MP是当前块的空间域的中值运动矢量预测;如图3所示,A为当前块 E的左边相邻块,B为当前块E的上方相邻块,C为当前块E的右上方的相邻块; MVA,MVB,MVC分别是A,B C块对应的运动矢量;Median表示中值运算:
当块C位于图象外部时,其运动矢量用当前块的左上方相邻块D的运动矢量来代 替;
b)空间域的上层搜索模式运动矢量预测(UP-UpLayer Prediction):
将不同搜索模式排序,为块模式1,块模式2,块模式3,…,各块模式的关系为: 块模式1为2或3的上层搜索块模式,块模式2为其所包含的块模式4的上层搜索块模 式,块模式4为其所包含的块模式5或6的上层搜索块模式,5为其所包含的块模式7 的上层搜索块模式;每个块模式有相对应的运动矢量;用上层搜索模式的运动矢量 MVUpLayer作为当前块的预测运动矢量MVpred_ULP,即:
           MVpred_ULP=MVUpLayer                      公式(3)例如H.264 中有七种块模式,对应于不同的块尺寸:16×16,8×16,16×8,8×8,8×4,4×8,4×4 等,如图4所示,对应于公式(1)式中N与M分别取不同值,分别定义为块模式1到块 模式7,大块排序在先;
c)时间域的前帧对应块运动矢量预测(CP-Corresponding-block Prediction):
由于运动矢量在时间域的相关性,可以利用前一帧的与当前块相同坐标位置的块的 运动矢量MVCo来作为当前块的预测运动矢量:
                 MVpred_CP=MVCo                      公式(4)
d)时间域的邻近参考帧运动运动矢量预测(NRP-Neighboring Reference-frame Prediction):
设当前帧的时间为t,与时间t-1,t-2,…相对应的参考帧为:帧t-1,帧 t-2,…;则当在参考帧t′中搜索时,用当前块在帧t′+1中的运动矢量MVNR来估测出 当前块在帧t′的运动矢量MVpred_NRP:即 MV pred _ NRP = MV NR × t - t t - t + 1        公式(5)
H.264在运动估计中采用了多参考帧来提高预测精度,由于视频序列的连续性,当 前块在不同的参考帧中的运动矢量也是有一定的相关性的;
最终预测起始搜索点:
对上述得到的四个预测的运动矢量MVpred_MR,MVpred_ULP,MVpred_NRP,MVpred_NRP指 向的搜索位置进行搜索,然后选取代价函数值最小的搜索点作为本级的最终预测起始搜 索点,同时也是下一级非对称十字形搜索的起始搜索点。
第二级非对称十字形搜索:
由于地球引的作用,自然界的物体在水平方向的运动多会比在垂直方向的运动程 度更大一些,因此通常的视频序列都具有水平运动较剧烈而垂直运动较小的特点。
基于这一思想,本发明在上一级比较准确的预测起始搜索点的基础之上,采用非对 称十字形搜索可以比较近似得到一个相对准确的运动矢量,作为更为精确的下一级搜索 的起始搜索点。如图5中空心正三所代表的非对称十字形搜索模板所示,非对称十字 形模板的水平搜索宽度是4W+1,而垂直高度是2W+1,在本发明的方法的实施例中每 个搜索点之间的间距被设为2。而且显然在某些特殊的情况下例如在垂直方向有比较剧 烈的运动时可以将垂直方向的搜索范围扩展到2W。经过非对称十字形搜索之后获得的 最佳匹配点将作为下一级搜索的搜索中心和搜索的起始位置。
搜索可以设定不同顺序,比如先水平后垂直,先中间后两边的次序;
在搜索过程中如果满足提前终止条件,则计算本级中所有已搜索过点的代价函数 值,与起始点相比较,取最小者为本级的最佳匹配点,然后转向提前终止搜索控制的处 理。
第三级非均匀多层次六边形格点搜索:
非均匀多层次六边形格点搜索点,如图5中空心圆所代表的矩形搜索模板-和和空 心矩形所代表的非均匀多层次六边形格点模板所示,本实施例的非均匀多层次六边形格 点搜索方法包括以下步骤:
(a)将上一级非对称十字形搜索的最佳匹配点作为本级搜索的起始点,在起始点周 围,在矩形±2搜索窗内进行全搜索(也称为矩形搜索模板)得到每个搜索点的代价函 数值;
(b)以上一级最佳匹配点为基准,在搜索窗±W内,搜索多层次六边形格点模板上 的点得到每个点的代价函数值;    
(c)取上述(a),(b)步骤中的搜索点以及起始点中代价函数值最小者为本级的最佳 匹配点,作为下一级搜索的起点。
(a)与(b)步骤的搜索过程中,可以以不同搜索顺序,例如从里层到外层,每层按顺 时针方向;
在搜索过程中如果满足提前终止条件,则计算本级中所有已搜索过点的代价函数 值,与起始点相比较,取最小者为本级的最佳匹配点,然后转向提前终止搜索控制的处 理。
本实施例的多层次六边形格点模板定义为:
首先定义了一个基本的16点六边形模板,也是多层次六边形格点模板的第一层,由 图6中空心矩形表示,此模板上的各点的坐标集合Ω16-HP为:
Ω16-HP={(x,y)|(±4,±2),(±4,±1),(±4,0),(±2,±3),(0,±4)}
由基本的16点六边形模板向外进行扩展就可以获得多层次六边形格点模板,由图 5中空心矩形表示,多层次六边形格点模板上的点的坐标集合Ω为: Ω = { ( x , y ) | x = x * k , y = y * k , ( x , y ) Ω 16 - HP , k = 1,2 , . . . , W 4 } , 如果搜索窗为±W。
模板的定义在水平方向的搜索密度明显高于在垂直方向的搜索密度,这也是由于水 平方向运动和垂直方向运动剧烈程度不同,垂直方向的运动剧烈程度较小,采用这一搜 索模板可以在垂直方向上减少许多不必要的搜索点。
在上一级非对称十字形搜索的基础之上,非均匀多层次六边形格点搜索主要是通过 扩展的格点搜索来应对具有视频序列中有较大或者不规则运动的情况;
搜索的格点呈非均匀分布:在中心分布密集,在远离中心点的地方分布稀疏,这与 实际运动场的情况相吻合,因此虽然在远离中心点的地方搜索精度较低,但是并没有导 致性能明显下降;
第四级局部六边形搜索:
经过上一级搜索之后,此时的最佳匹配点已经非常接近全局的最佳匹配点了,但是 由于搜索格点分布比较稀疏,尤其是当上级最佳匹配点的位置距离位于网格分布的外围 时,搜索的精度相对也会比较小些。因此,可以采用基于中心的搜索方法进行进一步的 运动矢量的校正工作。而当上级搜索的最佳匹配点落在网格区域的中心位置时,因为这 一位置的周围的点大部分已经被搜索过,而每个点的搜索状态已经被存储,运动矢量的 校正需要的运算量并不会太大。
本发明比传统的六边形搜索方法有更好的性能,包含了两种搜索模式,适合于采用 提前终止搜索控制时不同阈值下的对应不同处理。
本实施例局部六边形搜索分为以下几个步骤:
(a)以上一级最佳匹配点为起点,搜索六边形模板上的6个点;得到六个搜索点的 代价函数值。比较六边形上搜索点与上一级最佳匹配点的代价函数值的大小,取代价函 数值最小者为本步骤最佳匹配点,作为下一步搜索的起点;如果上一级的最佳匹配点代 价函数值为最小,则转到步骤(c);如果最佳匹配点在六边形上,则转到步骤(b);
(b)以前一步搜索所得的最佳匹配点作为起始点,搜索六边形模板上的6个点;得 到六个搜索点的代价函数值。比较六边形上搜索点与上一步最佳匹配点的代价函数值的 大小,取代价函数值最小者为本步骤最佳匹配点;如果上一级的最佳匹配点代价函数值 为最小,则转到步骤(c);如果最佳匹配点在六边形上,则转到步骤(b);
(c)以前一步搜索所得的最佳匹配点作为起始点,本级的搜索过程和终止条件描述 如下:搜索该起点周围钻石形模板上的四点,比较该四点与本步骤起始点的代价函数值 的大小,取代价函数值最小者为本步骤最佳匹配点;如果该四个点的代价函数值皆大于 本步骤的起始点的代价函数值,则搜索终止;此时的最佳匹配点就是最终运动矢量的 解;如果最佳匹配点不位于中心点,则以此最佳匹配点为中心,重复步骤(c),直到 最佳匹配点位于中心或者到达搜索窗边缘截止。
局部六边形搜索也支持了提前终止搜索控制后的处理。
提前终止搜索控制:
本发明在上述四级搜索中采取了提前终止搜索控制的方法,其基本原理如下:
利用了代价函数SAD在空间域和时间域的相关性来预测当前块在搜索过程中的 SAD值,并在此基础上适当的选择阈值以提前终止搜索过程,避免多余的搜索。采用 提前终止技术的目标是:a)越早提前终止越好,这样可以节省不必要的运算,b)同时 还必须保证不会错过最优的运动矢量,视频的重建质量不会因为减少运算量而下降很 多。但这两点往往是相互矛盾的。
提前终止阈值:
本发明以下式作为判决控制搜索提前终止条件:
          SADthrh=SADpred(1+β)
其中SADpred为预测所估计的SAD值,即预测的代价函数值;
β为调解因子,代表编码后重建图象的质量,当取β为多个值时,可以针对不同的 重建图象质量要求,例如本实施例取两个β值,β1和β2时,两个提前终止的值阈 SADthrh_1与SADthrh_2为:
                SADthrh_1=SADpred(1+β1)
                SADthrh_2=SADpred(1+β2)
调节因子:
本发明的调节因子为 β < Q step M [ 0,0 ] * 4 * ( B size SAD pred ) 2 - NSD
其中Qstep是量化步长,Bsize是图象块的大小,M[0,0]是矩阵M的第(0,0)元素; NSD为归一化的SAD差值(Normative SAD Difference),即归一化的代价函数差值,其 理论式为:
          NSD=(SADpred-SADbest)/SADpred
SADbest是可能搜索的到的全局最优运动矢量所对应的代价函数值,即搜索到的最 小代价函数值。本发明中的NSD由试验得到,根据NSD的分布统计特性,根据不同预 测模式下NSD的单边分布概率P(NSD<α)的概率分布特性,设定P(NSD<α)两个阈值 P(NSD<α1)=0.8和P(NSD<α2)=0.9,由所得α1和α2得到β1和β2分别为: β 1 < Q step M [ 0,0 ] * 4 * ( B size SAD pred ) 2 - α 1 和: β 2 < Q step M [ 0,0 ] * 4 * ( B size SAD pred ) 2 - α 2
Qstep越大,β也越大,此时可以适当的提高判决的阈值,使运动搜索更早的截止。 这表明当量化参数比较大的时候,量化噪声会比较大,频域的高频分量多数为零,因此 重建图象的细节会变得更为模糊,相应的运动搜索窗内误差匹配曲面变得更为平滑,矢 量之间的模糊度也会增加,因此也可以适当提高β以使搜索尽量提前终止。
越大,β就越小,此时应当适当的降低判决的阈值,牺牲搜索速度来保证 重建图象质量。SADpred是根据SAD在时空域的相关性预测而得的,因此根据图象数据 在时空域的相关性可以认为SADpred也是基本上反映了当前块与参考帧之间的残差的大 小。显然当 越大时,图象的细节会越多,相应的运动搜索窗内的误差匹配曲面 会比较复杂和有突变存在,因此为了避免过早的落入局部最小点,应当减小β,适当 降低判决阈值SADthrh。
α反应了根据实验结果得出的NSD的分布统计特性,由此可以相应的调节β因子使 搜索速度和最终的重建质量之间达到平衡。
上述矩阵M的元素M[u,v]=[ARAT]u,u[ARAT]v,v
其中下标u,u或v,v表示矩阵ARAT的第u,u或v,v元素,u=0,...,N,v=0,...,N,N为 图象块的宽度或高度。
A为余弦变换F=Af的变换矩阵,f为变换的输入矩阵即残差矩阵,F为变换的输出 矩阵即变换系数矩阵;R为残差矩阵元素的相关系数矩阵;残差矩阵为当前块与参考块 的差值矩阵;
当本实施例余弦变换为4×4变换时: R = 1 ρ ρ 2 ρ 3 ρ 1 ρ ρ 2 ρ 2 ρ 1 ρ ρ 3 ρ 2 ρ 1
其中ρ是残差矩阵元素的相关系数,ρ值可以根据经验取值,例如
提前终止后的处理:
(a)如果当前搜索到的SAD值小于SADthrh_1时,搜索将终止,并转到局部六边形搜 索进行运动矢量局部细化搜索;
(b)如果当前搜索到的SAD值小于SADthrh_2时,转到局部六边形搜索的第三步 (a)直接进行钻石形搜索。
预测的代价函数值
所说的预测的代价函数值SADpred可以由多种方法得到,例如在本实施例中采用四 种预测,中值预测,上层预测,前帧对应位置预测,和相邻参考帧预测。
(a)中值预测(MP):
此处的中值预测在空间域进行。与E为当前块,A为其左相邻块,B为其上边相邻 块和C为其右上方相邻块,与A,B,C块对应的运动矢量分别为MVA,MVB,MVC,并 且搜索所得的最小代价函数SAD值分别为SADA,SADB,和SADC,中值预测代价函数 为:
SADpred_MD=min(SADVx_median,SADVy_media),
SADVx_median=fSAD(Vx_median)
Vx_median=Median(MVA(x),MVB(x),MVC(x))
SADVy_median=fSAD(Vy_median)
Vy_median=Median(MVA(y),MVB(y),MVC(y))
其中fSADO函数的定义如下:
(b)上层预测(UP):
上层预测在空间域进行。每个图象块将对应一种块模式,每个块有相对应的运动矢 量;将块模式排序,块模式1,块模式2,块模式3,…,块模式1为2或3的上层搜 索块模式,块模式2为其所包含的块模式4的上层搜索块模式,块模式4为其所包含的 块模式5或6的上层搜索块模式,5为其所包含的块模式7的上层搜索块模式;这样利 用空间域上层搜索模式的搜索所得的最小代价函数值SADUpLayer的1/2作为当前块模式下 的代价函数预测SADpred_UP,如:
SADpred_UP=SADUpLayer/2
例如H.264中有七种块模式,对应于不同的块尺寸:16×16,8×16,16×8,8×8, 8×4,4×8,4×4等,如图4所示,对应于公式(1)式中N与M分别取不同值,分别定义 为块模式1到块模式7,大块排序在先。
(c)前帧对应位置块的预测(CP):
前帧对应位置块的预测在时间域进行。设当前帧t在参考帧t′进行搜索,用前一帧 t-1中与当前块对应坐标相同的块在帧t′-1中搜索得到的最小代价函数SADCo作为当前 搜索块在帧t′中进行搜索的SAD的预测值SADpred_CP:
       SADpred_CP=SADCo
(d)邻近参考帧的预测(NRP):
邻近参考帧的预测在时间域进行。在多参考帧的运动搜索时,从距离当前帧最近的 参考帧开始,逐渐向距离比较远的参考帧进行搜索。在参考帧t′进行搜索时可以利用当 前块在参考帧t′+1内搜索得到的最小代价函数SADNR作为当前块在t′搜索的预测值 SADpred_NRP。取邻近参考帧搜索所得的最小代价函数作为在当前参考帧搜索过程中的SAD 的预测值:
SADpred_NRP=SADNR
预测的代价函数值的选取:
预测的代价函数值SADpred的选取原则为:
对上述四种预测,即中值预测(MP),上层预测(UP),前帧对应位置预测(CP),和相 邻参考帧预测(NRP),及其对应的预测的代价函数值SADpred_MP,SADpred_UP, SADpred_CP和SADpred_NRP,将根据不同的参考帧和不同的块模式,采用不同的预测所得 的SAD值,选取基本原则如下:
(a)当前帧t的某块在参考帧t′(t′<t-1)中进行运动搜索时,利用此块在参考帧 t′+1中搜索所SAD值SADpred_NRP作为预测值,即:
SADpred=SADpred_NRP
(b)当前帧t的某块在参考帧t-1中进行运动搜索时,如果此块的块模式为16×16, 即为块模式1,用中值预测所得的SAD作为预测值,即:
SADpred=SADpred_MP
(c)当前帧t的某块在参考帧t-1中进行运动搜索时,如果此块的块模式不为 16×16,即为块模式2~块模式7,用上层预测的SAD作为预测值,即:
SADpred=SADpred_UP
(d)在利用MVpred_CP作为预测矢量进行搜索时,在进行这一点的搜索之后,可以利 用SADpred_CP作为预测SAD判断是否终止搜索跳转到矢量细化搜索部分,即:
SADpred=SADpred_CP
本发明方法在H.264的测试平台JM5.0c基础上进行了实验,选择了具有代表性的分 辨率从QCIF(176×144)到HD(1280×720),运动剧烈程度从缓慢到剧烈的各种序列进行了 测试,本发明方法的实验结果表明:在各种参数配置(如多参考帧,多预测块模式等)的 情况下,相对于H.264原来的采用的快速全搜索算法平均的运算量下降在90%以上,最 高可超过95%,质量的下降平均在0.04dB左右,最大不会超过0.07dB。所以本发明的 方法可以在保持搜索精度和编码效率的前提下极大的降低搜索速度,节省编码的时间。 而且本方法通过调节因子β可以实现速度与最终解码质量之间的均衡,例如分别取α1 和α2为满足P(NSD<α1)=0.6和P(NSD<α2)=0.7的参数时,对应的判断阈值会提高, 搜索速度会有所提高,但是重建图像质量会相应的有所下降。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈