首页 / 专利库 / 视听技术与设备 / 运动估计 / 一种具有类框架小波结构的小波域运动估计方法

一种具有类框架小波结构的小波域运动估计方法

阅读:5发布:2021-08-06

专利汇可以提供一种具有类框架小波结构的小波域运动估计方法专利检索,专利查询,专利分析的服务。并且本 发明 提出了适用于 视频编码 领域的一种具有类 框架 小波结构的小波域 运动估计 方法,这种方法采用:双通道高通滤波方法(2-Channel High-Pass Filtering,TCHPF)和子带自适应中心搜索点预测方法(Subband-Adapted Central Searching Point Prediction,SACSPP)。其中TCHPF方法建立了一种具有类似于框架小波的变换结构,含有一个低通 滤波器 和两个分析高通滤波通道,采用双通道高频滤波消除下 采样 的影响,有效地降低了高频 信号 上的位移可变性,提高了小波域运动估计的 精度 。而SACSPP方法将充分挖掘系数间的相关性,在分析小波不同子带系数的特点的 基础 上,针对低频子带和高频子带采用不同的搜索点预测方法,从而减少计算量,实现快速运动估计。,下面是一种具有类框架小波结构的小波域运动估计方法专利的具体信息内容。

1.一种具有类框架小波结构的小波域运动估计方法,其特征是:具有类框架小波结构,含 有一个低通滤波器和两个分析高通滤波通道,在两个分析高通滤波通道中,第二个高通滤波 器的系数是第一个高通滤波器通过下采用所丢弃的系数,从而通过增加冗余信息消除离散小 波变换的位移可变性,提高小波域运动估计的精度,采用子带自适应中心搜索点预测方法, 针对不同频率、不同子带的小波系数采用不同的搜索点预测方法,从而减少计算量,实现快 速运动估计。
2.根据权利要求1所述的具有类框架小波结构的小波域运动估计方法,其特征还在于:使用 两个具有一定互补关系的分析高通滤波器,其中一个分析高通滤波器采用2倍下采样处理后, 其丢弃的系数是另一通道的分析高通滤波器的系数,因此减少了离散小波信号存在的混叠效 应,消除了离散小波变换所存在的位移可变性,提高小波域运动估计的精度。
3.根据权利要求1所述的具有类框架小波结构的小波域运动估计方案,其特征还在于:子带 自适应中心搜索点预测算法对低频子带利用前一相同空间位置子带和同一帧中相邻子带 块运动矢量加权后的平均值预测当前子带块的搜索中心,对高频子带则分成两类,一类是较 精细级高频子带,另一类是最粗糙级高频子带,前一类利用低频子带中相应空间位置子带块 和邻居子带块的运动矢量的加权平均值预测当前子带块初始运动矢量,后一类利用低频子带 相同空间位置子带块、上一级相应位置子带块、邻居子带块的运动矢量进行预测。

说明书全文

技术领域

发明提出适用于视频编码领域的一种具有类框架小波结构的小波域运动估计方法,这 种方法采用两个新的方法:双通道高通滤波方法(2-Channel High-Pass Filtering,简称TCHPF) 和子带自适应中心搜索点预测方法(Subband-Adapted Central Searching Point Prediction,简称 SACSPP)。本算法不仅提高了小波域运动估计的精度,而且有效的降低了计算复杂度。

背景技术

自从1989年S.G.Mallat将小波变换用于多分辨率图像描述以来,小波变换(Discrete Wavelet Transform简称DWT)就以其所具有的多分辨率分析特性和对人类视觉系统的适应性 受到越来越广泛的重视,已经成为一种重要的图像、视频编码方法,取得了很好的效果。
在视频序列编码过程中,通常采用运动估计(ME)降低时间相关性。然而在小波视频编码 器中,小波分解过程存在下采样(Down-Sampling)和像素滤波处理,使得小波系数存在位移可 变性(Shift-Variance),这种特性严重影响了ME精度,降低了编码器性能。因此,小波视频编 码中高效运动估计算法的研究是一项具有挑战性的研究课题。
近年来,研究者提出了多种小波域运动估计方法。1992年Y.Zhang等提出了小波域多分 辨率运动估计方法(Multi-Resolution Motion Estimation,简称MRME)(Motion-compensated wavelet transform coding for color video compression.IEEE Trans.Circuit and System on Video Technology,Sept.1992,3(3):285-296)。但是这种方法没有消除DWT的位移可变性,使得运 动估计精度较低,影响了编码效率。
2000年H.Park等提出了低频子带平移(Low-Band-Shift,简称LBS)方法(Wavelet-based moving-picture coding using shift-invariant motion estimation in wavelet domain.Signal Processing:Image Communication,Apr.2001,16(7):669-679)。LBS方法消除了下采样的影响, 避免了位移可变性,因而提高了运动估计和补偿的精度。然而由于LBS方法需要大量的小波 分解、运动矢量搜索及系数平移,导致计算量过高,所需存储单元过多。例如3级变换时, LBS要10存储单元,而MRME仅需要1帧,限制了LBS方法的实时应用。
此外运动估计过程中,通常使用全搜索方法(Full-Search,简称FS)搜索最佳匹配,FS 方法可以得到特定失真准则下的最优解,但是计算量大。为此研究者提出了多种快速搜索方 法,预测搜索方法(Prediction Searching,简称PS)和三步搜索方法(Three-Step-Searching,简称 3SS)(Tabatabai A J,Jasinschi R S,Naveen T.Motion estimation methods for video compression-a review,J.Franklin Inst.,Nov.1998,335(8):1411-1441)就是两种有效的方法。然而,在小波 域运动估计中,不同频率、方向、变换级的小波信号具有不同的特点,如果使用相同的预测 方法,会影响预测的精确性。

发明内容

为了满足视频编码中对运动估计精度和计算复杂度的要求,本发明提出了一种具有类框 架小波结构的小波域运动估计方法,这种方法采用两个新的方法:双通道高通滤波方法 (TCHPF)和子带自适应中心搜索点预测方法(SACSPP)。其中TCHPF方法建立了一种具有类 似于框架小波的变换结构,含有一个低通滤波器和两个分析高通滤波通道,采用双通道高频 滤波消除下采样的影响,有效地降低了高频信号上的位移可变性,提高了小波域运动估计的 精度。而SACSPP方法将充分挖掘系数间的相关性,在分析不同频率、不同子带小波系数的 特点的基础上,针对低频子带和高频子带,采用不同的搜索点预测方法,从而减少计算量, 实现快速运动估计。
有益效果
以一维信号为例证明本算法的有效性。设信号x1[n]和一个像素平移信号x2[n]=x1[n-1],使 用DWT对x1[n]进行分解,而使用TCHPF方法对x2[n]进行分解,分别得到图1所示高频信号。 对比相应的高频信号,和以及和具有较强的相似性,说明TCHPF可以降低位移 可变性对高频系数的影响。
采用TCHPF和SACSPP方法,同MRME和LBS方法进行实验比较。实验中小波变换采 用双正交(9,7)小波基,2级小波变换。子带块的尺寸将随小波变换级作相应的改变。实验中 设第j级子带块尺寸为(16/2j)×(16/2j)。为了直接比较各种运动估计算法的性能,将原始序 列作为参考帧,进行运动估计,将预测帧的峰值信噪比(PSNR)和计算量作为性能衡量参数。
实验1,比较了TCHPF,MRME和LBS三种方法得到的预测帧的PSNR。实验结果:TCHPF 方法部分消除了位移可变性,因此预测帧PSNR介于其他两种方法之间,比MRME方法平均 高1.22dB,但比LBS方法低0.46dB。
实验2,比较了SACSPP,PS和3SS方法快速搜索的性能。应用快速搜索方法后,相应 的预测帧峰值信噪比比用FS方法时下降了0.08dB—0.8dB,对于大部分测试序列,SACSPP 方法得到的预测帧质量比PS方法和3SS方法得到的预测帧质量高0.1dB—0.5dB。说明 SACSPP方法比其他快速运动估计方法更有效。
通过理论计算,可以比较不同方法的计算量。一般小波域运动估计的计算量主要集中在 两大部分:小波变换和搜索。以两级小波变换为例,TCHPF方法所需小波变换过程的计算量 仅为LBS方法的31.45%。搜索匹配过程中,SACSPP方法的计算量仅为FS方法计算量的 9.3%左右。综合考虑小波变换和搜索两个过程,本发明所提出方法的计算量比LBS方法减少 了93.45%。
图2是“Football”序列前50帧编码结果。图3是“Football”视频序列第20帧采用 不同运动估计算法得到的预测帧。可以看到,新算法保持了较好的主观质量。
附图说明
下面结合附图对本发明专利进一步说明
图1原始信号和一像素平移信号小波分解后高频信号比较。
图中(a)x1[n]第一级高频信号(b)x1[n]第二级高频信号(c)x2[n]第一级高频 信号(d)x2[n]第二级高频信号
图2“Football”序列前50帧编码结果。
图3具有类框架结构的TCHPF方法框图
图中x[n]表示一维输入信号,H0表示低通滤波器,H1,0和H1,1表示所设计的两个高通滤 波器,↓2表示2倍下采样,和表示x信号第j级低频系数、n方式下第j级高频信 号。
图4具有类框架小波结构的小波域运动估计方法框图。
图中1.参考帧,2.当前帧,3.基于TCHPF方法的变换,4.离散小波变换,5.参考帧 低频子带,6.当前帧低频子带,7.块运动估计,8.参考帧高频子带,9.当前帧高频子带, 10.块运动估计,11.低频块运动矢量预测相应位置高频块运动矢量。
图5图像两级小波分解。
图中(a)当前帧使用DWT分解;(b)参考帧使用TCHPF方法分解。
图中‘L’表示低通滤波器、‘H’表示DWT中的高通滤波器、‘H0’和‘H1’表示TCHPF方法 中的两个高通滤波器,每一个方框内的标注表示该子带是由相应的滤波器滤波得到的,如LL 表示由低通滤波器得到的低频子带,H0H0表示平、竖直方向由H0滤波器滤波得到的子带。
图6低频子带子带块中心搜索点预测。
图中灰色块表示参考块,白色块表示当前估计块,0-3表示4个与当前块有运动关系的参 考块。
图7位于不同高频子带的子带块运动矢量预测模式。
图中灰度块表示与当前块运动相关性较高的邻居块,白色块表示当前块,LH、HL、HH 分别表示竖直、水平和倾斜方向的子带。
图8高频子带子带块中心搜索点预测。
图中(a)CHS预测方式;(b)FHS预测方式。其中灰色块表示参考块,白色块表示当前块。 (a)图中0-3表示与当前块运动相关性高的参考块,(b)图中0-4表示与当前块运动相关性高的 参考块。

具体实施方式

1.TCHPF方法
TCHPF采用一种类似于框架小波的结构,包含两个具有一定关系的高通滤波器,它们形 成一种互补关系,其中一个通道所得到的高频系数正是另一个通道由于下采样过程所丢弃的 系数。因此TCHPF方法消除了下采样过程对高频系数的影响,从而减少了高频信号的位移可 变性。使得利用TCHF方法的运动估计可以在小波域内更精确地进行。
具有类框架结构的TCHPF方法框图如图3所示,每一级变换将包括双通道高通滤波过程。 H0表示分析低通滤波器(Analysis Low-Pass Filter),H1,0和H1,1表示两组分析高通滤波器 (Analysis High-Pass Filter)。H1,1应满足
H1,1(ω)=e-iω·H1,0(ω)                  (1)
经过TCHPF处理,每一级得到三个小波信号,低频信号高频信号和可 以发现,正是H1,0滤波通道由于下采样所丢弃的系数。因此经过双通道高通滤波,TCHF 方法消除了下采样对高频信号的影响。从而降低了高频信号部分的位移可变性。实际应用中, H0和H1,0可以由相应的DWT分析滤波器构成(H0为分析低通滤波器,H1,0为分析高通滤波 器),而H1,1相当于H1,0的平移。
如图4所示,利用TCHF方法的小波域运动估计和补偿方法按以下步骤进行:
1)使用DWT(4)对当前帧(2)进行分解,使用TCHPF(3)对参考帧(1)进行分解, 分别得到图5所示的小波子带;
2)称运动估计的块为子带块,对低频、高频子带进行块运动估计,子带块的尺寸按小波 变换级而相应的调整。利用块运动估计(7)直接对低频子带(5、6)进行运动估计;
3)对高频子带(8、9)进行运动估计(10)时,当前帧内每一个高频子带对应多个参考 子带,如LH对应LH0和LH1,HL对应HL0和HL1,HH对应H0H0、H0H1、H1H0、H1H1。
使用平均绝对误差函数(MAD)作为运动估计中的代价函数,则对于高频子带进行运动估 计时的代价函数可以表示如下
MAD ( x , y ) ( dx , dy , i ) = 1 MN Σ m = 0 M - 1 Σ n = 0 N - 1 | I c ( x + m , y + n ) - I r ( i ) ( x + m - dx , y + n - dy ) | - - - ( 2 )
其中(x,y)表示子带块在子带中的位置;M×N表示子带块大小;Ic和Ir(i)表示当前高 频子带和第i个参考高频子带。通过计算每一个参考子带中每一个搜索位置的MAD,比较得 到最小值,相应的(dx,dy,i)作为当前高频子带块的运动信息,其中dx、dy表示水平和竖直 方向位移,i表示运动矢量来自于哪一个参考子带。
高频块运动估计时,可以使用低频块运动矢量进行预测;
4)利用运动矢量和相应的参考子带预测当前帧小波系数,然后得到残差系数,并对这些 系数进行量化、编码;
5)运动补偿时,使用TCHPF方法对参考帧进行分解,得到低频和高频子带,利用运动 矢量预测当前帧小波系数,加上残差系数后进行小波反变换,得到重构图像,并将这一重构 图像作为下一帧的参考帧。
2.SACSPP方法
利用全搜索算法可以得到特定失真准则下的最优解,但是要消耗编码器大部分运算时间。 现有的快速运动估计算法一般都是针对空域运动估计提出的,然而,不同频率、方向、变换 级的小波系数具有各自的特点。传统的空域快速运动估计算法并不满足不同小波子带的特点, 直接使用不能达到很好的效果。提出一种适应于小波域运动估计的子带自适应中心搜索点预 测算法(SACSPP),针对低频子带和高频子带采用不同的搜索点预测方式。
1)低频子带中心搜索点预测
对于低频子带块,存在空间—时间相关性,利用前一帧相同空间位置子带块和同一帧中 相邻子带块运动矢量加权后的平均值预测当前子带块的搜索中心(即初始运动矢量)。图6 是搜索中心预测示意图。按图中参考子带块标号0至3的顺序,相应的加权系数为0.15,0.3, 0.3,0.25。
2)高频子带中心搜索点预测
由于受位移可变性的影响,相邻帧高频子带的运动相关性很低。因此不能利用相邻帧相 同空间位置的高频子带块的运动矢量预测当前子带块运动矢量。
高频子带可以分成两类,一类是较精细级高频子带(Finer High-Frequency Subband:FHS), 另一类是最粗糙级高频子带(Coarsest High-Frequency Subband:CHS)。对于J级小波变换, 则1~J-1级高频子带属于FHS。第J级小波变换高频子带属于CHS。由于子带块的方向性特 点,具有较高运动相关性的邻居子带块位置也不相同,如图7所示。
对于CHS子带块,由于不存在更粗糙级高频子带,仅利用低频子带中相应空间位置子带 块和邻居子带块的运动矢量的加权平均值预测当前子带块初始运动矢量。如图8(a)所示,按 图中标号0-3顺序,相应的加权系数分别为1/3,1/6,1/3,1/6。
对于FHS子带块,当前子带块运动矢量的初始值利用低频子带相同空间位置子带块(对 于J级小波变换,如果当前子带块处于第j级,相应低频子带块运动矢量的2J-j倍作为预测值)、 上一级相应位置子带块(相应运动矢量的2倍作为预测值)、邻居子带块的运动矢量进行预测。 如图8(b)所示,按图中标号0-4顺序,相应的加权系数分别为1/3,1/6,1/6,1/6,1/6。
结合TCHPF方法和SCASPP方法可以构建高效的小波域运动估计方法。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈