首页 / 专利库 / 视听技术与设备 / 运动估计 / 基于粒子滤波的多帧参考运动估计方法

基于粒子滤波的多参考运动估计方法

阅读:592发布:2021-03-01

专利汇可以提供基于粒子滤波的多参考运动估计方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于粒子滤波的多 帧 参考 运动估计 方法,属于视频压缩编码技术领域。该方法包括如下步骤:先采用全搜索的方法对待编码 块 在相邻参考帧内进行搜索,从中选取编码代价最小的若干个点构成初始粒子集;更新初始粒子集得到下一参考帧粒子集;在下一参考帧中计算粒子集中各粒子权值,并估计得到最优粒子;利用各粒子权值重 采样 ,并对重采样得到的各个粒子进行更新,得到下一参考帧粒子集;循环粒子的权值计算、估计、更新的过程直至达到最大参考帧,以搜索得到的编码代价最小粒子所对应的块对待编码块编码;遍历整帧图像,完成整帧图像编码。本发明采用粒子滤波方法进行多帧参考运动估计,在保证编码 质量 的同时大幅减少了运动估计的时间。,下面是基于粒子滤波的多参考运动估计方法专利的具体信息内容。

1.一种基于粒子滤波的多参考运动估计方法,其特征在于包括以下步骤:
(1)在图像序列中,以待编码帧之前最接近的z个已编码帧为参考帧,其中,
1≤z≤16;首先以待编码帧的前一个参考帧为当前参考帧,并在所述当前参考帧中采用全搜索的方法对待编码帧的其中一个待编码进行运动搜索,得到该当前参考帧的搜索窗内所有点的编码代价,并从中选取编码代价最小的K个点构成粒子集,其中,10≤K≤100;再选取编码代价最小的点作为当前最佳粒子,将所述待编码块的起始点到所述当前最佳粒子所对应点的运动矢量记录为待编码块的前向运动矢量;
(2)对步骤步骤(1)得到的粒子集中的各个粒子和当前最佳粒子进行更新;
(3)判断当前参考帧是否为第z个参考帧:若是,则进入步骤(7);否则以该当前参考帧的前一个参考帧作为当前参考帧进入步骤(4);
(4)在当前参考帧中,以当前最佳粒子对应的点为搜索窗的中心,对所述粒子集中各个粒子对应的点进行搜索,分别得到各个粒子对应的点的编码代价,利用所得到的编码代价计算得到所述粒子集中各个粒子的权值;同时以最小编码代价所对应的点作为当前最佳粒子;
(5)利用步骤(4)得到的粒子集中各个粒子的权值进行估计,得到最佳估计点,并计算该最佳估计点的编码代价;判断该最佳估计点的编码代价是否小于步骤(4)所述的最小编码代价:若小于,则以该最佳估计点的编码代价作为最小编码代价,并以所述最佳估计点作为当前最佳粒子并执行步骤(6),否则直接执行步骤(6);
(6)对所述粒子集中的每个粒子进行重采样,分别对应得到一个重采样粒子,对所述各个重采样粒子和当前最佳粒子进行更新并返回执行步骤(3);
(7)对以当前最佳粒子所对应的点为起始点的块与所述待编码块的残差和运动矢量进行编码,完成所述待编码块的编码;
(8)遍历步骤(1)所述待编码帧,判断是否还存在待编码块;若存在,则返回步骤(1)对下一个待编码块进行编码;若不存在,则结束。
2.根据权利要求1所述的基于粒子滤波的多帧参考运动估计方法,其特征在于,步骤(2)所述所述更新的方法如下:
首先利用式(1)和式(2)计算得到状态转移点;
(1)
(2)
式(1)和式(2)中,Px、Py分别表示状态转移点的横坐标和纵坐标;Pbest_x、Pbest_y 分别表示当前最佳粒子所对应点的横坐标和纵坐标;M、N 分别代表所述待编码块在平和竖直方向上的像素个数;%表示取余操作;
然后,在当前参考帧中查找以所述状态转移点为起始点的块的前向运动矢量;再将步骤(1)得到的粒子集中的各个粒子和当前最佳粒子所对应点的坐标分别加上该前向运动矢量相应得到新的坐标点,完成所有粒子的更新。
3.根据权利要求1所述的基于粒子滤波的多帧参考运动估计方法,其特征在于,步骤(6)所述更新的方法如下:
首先利用式(1)和式(2)计算得到状态转移点;
(1)
(2)
式(1)和式(2)中,Px、Py分别表示状态转移点的横坐标和纵坐标;Pbest_x、Pbest_y 分别表示当前最佳粒子所对应点的横坐标和纵坐标;M、N 分别代表所述待编码块在水平和竖直方向上的像素个数;%表示取余操作;
然后,在当前参考帧中查找以所述状态转移点为起始点的块的前向运动矢量;再将步骤(6)所述各个重采样粒子和当前最佳粒子所对应点的坐标分别加上该前向运动矢量相应得到新的坐标点,完成所有粒子的更新。
4.根据权利要求1所述的基于粒子滤波的多帧参考运动估计方法,其特征在于,步骤(4)中,利用式(3)计算所述“粒子集中各个粒子的权值”:
(3)
式(3)中,Wa表示所述粒子集中第a 个粒子的权值;SADa表示所述粒子集中第a个粒子的SAD值;SADp表示所述粒子集中第p个粒子的SAD 值;p 表示粒子在所述粒子集中的编号;K表示所述粒子集中粒子的数目。
5.根据权利要求1所述的基于粒子滤波的多帧参考运动估计方法,其特征在于,在步骤(6)中,所述“对所述粒子集中的每个粒子进行重采样”的方法如下:
先利用式(4)计算得到所述粒子集中各个粒子的判定参数;
(4)
式(4)中,Jp表示所述粒子集中第p个粒子的判定参数;K 表示所述粒子集中粒子的数目;Wp表示所述粒子集中第p 个粒子的权值;
然后,判断Jp是否大于0:若大于,则将所述粒子集中的第p个粒子替换为当前最佳粒子所对应的点;否则保持所述粒子集中的第p个粒子不变。

说明书全文

基于粒子滤波的多参考运动估计方法

技术领域

[0001] 本发明属于视频压缩编码技术领域,涉及一种基于粒子滤波的多帧参考运动估计方法。

背景技术

[0002] 运动估计是视频压缩编码技术的重要环节,其作用在于有效地去除图像序列的时间冗余。在视频压缩编码过程中,运动估计占据了50%-70%的运算量,因此提高运动估计的效率对于加快视频编码速度有着重要的意义。
[0003] 多参考帧的运动估计方法是H.264标准引入的一项新的技术,通过选择多个参考帧进行运动搜索,有效的避免了物体周期性运动、镜头抖动等问题,使搜索到的匹配与待编码块更加接近,很大程度上减少了编码所需的码量,增加了编码效率。但是这种多帧参考的运动估计方法却是以牺牲计算量为代价换取编码效率的提升,由于多帧参考需要的计算时间较长,在很多需要实时编码的系统中都无法实现。
[0004] 为了实现实时编码,很多多帧参考的快速算法被提出,主要包括以下两种方式:1、利用不同参考帧之间运动矢量的相关性和连续性,使用已存储的运动矢量合成需要的运动矢量,通过已有的条件得出在不同参考帧的运动矢量,避免了对每个参考帧都进行重复的搜索工作,降低了运算复杂度;2、利用不同参考帧对待编码帧的作用的不同,通过待编码块周围块的参考帧,使用某种判定条件,从所有的参考帧中选择若干个与待编码帧相关的参考帧进行运动搜索,降低了运算的复杂度。
[0005] 上述传统的多帧参考运动估计方法虽然在某种程度上提高了搜索的速度,但是这些方法都存在着搜索精度不够高的缺陷
[0006] 粒子滤波是一种采用粒子集对状态空间进行模拟的方法,其核心思想基于蒙特卡罗方法,通过状态空间中的随机样本对概率密度函数进行模拟,以样本均值代替积分运算,从而获得状态最小方差分布。粒子滤波非常适合于应用于非线性、非高斯系统中,已被应用于各种领域,如经济数据的预测、目标跟踪、视频监控等。粒子滤波具有很高的鲁棒性,并具有很好的寻优能,十分适用于多帧参考运动估计。

发明内容

[0007] 本发明的目的,就是针对传统的多帧参考运动估计方法在搜索精度方面的不足,提供一种基于粒子滤波的多帧参考运动估计方法,该方法在保持较低的计算复杂度的同时,提高了运动搜索的精度。
[0008] 为实现上述目的,本发明所采取的技术方案是:本发明基于粒子滤波的多帧参考运动估计方法包括以下步骤:
[0009] (1)在图像序列中,以待编码帧之前最接近的z个已编码帧为参考帧,其中,1≤z≤16;首先以待编码帧的前一个参考帧为当前参考帧,并在所述当前参考帧中采用全搜索的方法对待编码帧的其中一个待编码块进行运动搜索,得到该当前参考帧的搜索窗内所有点的编码代价,并从中选取编码代价最小的K个点构成粒子集,其中,10≤K≤100;再选取编码代价最小的点作为当前最佳粒子,将所述待编码块的起始点到所述当前最佳粒子所对应点的运动矢量记录为待编码块的前向运动矢量;
[0010] (2)对步骤(1)得到的粒子集中的各个粒子和当前最佳粒子进行更新;
[0011] (3)判断当前参考帧是否为第z个参考帧:若是,则进入步骤(7);否则以该当前参考帧的前一个参考帧作为当前参考帧进入步骤(4);
[0012] (4)在当前参考帧中,以当前最佳粒子对应的点为搜索窗的中心,对所述粒子集中各个粒子对应的点进行搜索,分别得到各个粒子对应的点的编码代价,利用所得到的编码代价计算得到所述粒子集中各个粒子的权值;同时以最小编码代价所对应的点作为当前最佳粒子;
[0013] (5)利用步骤(4)得到的粒子集中各个粒子的权值进行估计,得到最佳估计点,并计算该最佳估计点的编码代价;判断该最佳估计点的编码代价是否小于步骤(4)所述的最小编码代价:若小于,则以该最佳估计点的编码代价作为最小编码代价,并以所述最佳估计点作为当前最佳粒子并执行步骤(6),否则直接执行步骤(6);
[0014] (6)对所述粒子集中的每个粒子进行重采样,分别对应得到一个重采样粒子,对所述各个重采样粒子和当前最佳粒子进行更新并返回执行步骤(3);
[0015] (7)对以当前最佳粒子所对应的点为起始点的块与所述待编码块的残差和运动矢量进行编码,完成所述待编码块的编码;
[0016] (8)遍历步骤(1)所述待编码帧,判断是否还存在待编码块;若存在,则返回步骤(1)对下一个待编码块进行编码;若不存在,则结束。
[0017] 进一步地,本发明步骤(2)所述更新的方法如下:
[0018] 首先利用式(1)和式(2)计算得到状态转移点;
[0019]
[0020]
[0021] 式(1)和式(2)中,Px、Py分别表示状态转移点的横坐标和纵坐标;Pbest_x、Pbest_y分别表示当前最佳粒子所对应点的横坐标和纵坐标;M、N分别代表所述待编码块在平和竖直方向上的像素个数;%表示取余操作;
[0022] 然后,在当前参考帧中查找以所述状态转移点为起始点的块的前向运动矢量;再将步骤(1)得到的粒子集中的各个粒子和当前最佳粒子所对应点的坐标分别加上该前向运动矢量相应得到新的坐标点,完成所有粒子的更新。
[0023] 进一步地,本发明步骤(6)所述更新的方法如下:
[0024] 首先利用式(1)和式(2)计算得到状态转移点;
[0025]
[0026]
[0027] 式(1)和式(2)中,Px、Py分别表示状态转移点的横坐标和纵坐标;Pbest_x、Pbest_y分别表示当前最佳粒子所对应点的横坐标和纵坐标;M、N分别代表所述待编码块在水平和竖直方向上的像素个数;%表示取余操作;
[0028] 然后,在当前参考帧中查找以所述状态转移点为起始点的块的前向运动矢量;再将步骤(6)所述各个重采样粒子和当前最佳粒子所对应点的坐标分别加上该前向运动矢量相应得到新的坐标点,完成所有粒子的更新。
[0029] 进一步地,本发明步骤(4)中,利用式(3)计算所述“粒子集中各个粒子的权值”:
[0030]
[0031] 式(3)中,Wa表示所述粒子集中第a个粒子的权值;SADa表示所述粒子集中第a个粒子的SAD值;SADp表示所述粒子集中第p个粒子的SAD值;p表示粒子在所述粒子集中的编号;K表示所述粒子集中粒子的数目。
[0032] 进一步地,本发明在步骤(6)中,所述“对所述粒子集中的每个粒子进行重采样”的方法如下:
[0033] 先利用式(4)计算得到所述粒子集中各个粒子的判定参数;
[0034]
[0035] 式(4)中,Jp表示所述粒子集中第p个粒子的判定参数;K表示所述粒子集中粒子的数目;Wp表示所述粒子集中第p个粒子的权值;
[0036] 然后,判断Jp是否大于0:若大于,则将所述粒子集中的第p个粒子替换为当前最佳粒子所对应的点;否则保持所述粒子集中的第p个粒子不变。
[0037] 与现有技术相比,本发明的有益效果:
[0038] 本发明采用粒子滤波的方法进行多帧参考运动估计,有效的利用了粒子滤波处理非线性、非高斯系统的优良特性,增加了对待编码块搜索的精度,使得搜索得到的块与待编码块更加接近,减少了编码所需的码量,同时也保持了较快的搜索速度。附图说明
[0039] 图1为基于粒子滤波的多帧参考运动估计方法流程图
[0040] 图2为确定状态转移点示意图;
[0041] 图3为粒子的更新示意图;
[0042] 图4为估计最优点示意图。

具体实施方式

[0043] 如图1所示,以下举例说明本发明基于粒子滤波的多帧参考运动估计方法,其步骤如下:
[0044] (1)在图像序列中,以待编码帧之前最接近的z个已编码帧为参考帧,其中,1≤z≤16。
[0045] 本实施例中,以第f帧待编码帧为例,z取值为10。以第f-1帧为当前参考帧,并在第f-1帧中采用全搜索的方法对第f帧的其中一个待编码块(以第g块为例)进行运动搜索,得到在第f-1帧的搜索窗内所有点的编码代价,其中的最小编码代价为Cmin;从中选取编码代价最小的K个点构成粒子集,其中,10≤K≤100。本实施例中K取值为10。选取Cmin对应的点作为当前最佳粒子(Pbest),将第g块的起始点到Pbest所对应点的运动矢量记录为第g块的前向运动矢量(MV_pre)。
[0046] 本实施例中,步骤(1)对第f-1帧的搜索窗内各点的编码代价的计算方法如下:
[0047] 先利用式(5)计算以需要计算编码代价的点为起始点的块与第g块的SAD值,以该SAD值作为需要计算编码代价的点的编码代价;
[0048]
[0049] 式(5)中,x、y分别代表水平和竖直方向的变量;m、n分别代表需要计算编码代价的点的横坐标和纵坐标;i、j分别代表第g块的起始点的横坐标和纵坐标;M、N分别代表第g块在水平和竖直方向上的像素个数;ft()表示在参考帧中以需要计算编码代价的点为起始点的块中各像素的灰度值;f()表示第g块中各像素的灰度值。
[0050] (2)对步骤(1)得到的粒子集中的各个粒子和Pbest进行更新;
[0051] 本实施例中,步骤(2)所述更新的方法如下:
[0052] 首先利用式(1)和式(2)计算得到状态转移点(P);
[0053]
[0054]
[0055] 式(1)和式(2)中,Px、Py分别表示点P的横坐标和纵坐标;Pbest_x、Pbest_y分别表示Pbest所对应点的横坐标和纵坐标;M、N分别代表第g块在水平和竖直方向上的像素个数;%表示取余操作;
[0056] 图2显示了点P的计算方法,Pbest的横坐标和纵坐标分别对M、N取余得到的坐标位置有四种情况:图2(a)表示Pbest_x%M和Pbest_y%N分别小于M/2和N/2;图2(b)表示Pbest_x%M大于M/2且Pbest_y%N小于N/2;图2(c)表示Pbest_x%M小于M/2且Pbest_y%N大于N/2;图2(d)表示Pbest_x%M和Pbest_y%N分别大于M/2和N/2;四种情况下的状态转移点分别见图2中的点P。
[0057] 在当前参考帧中查找以点P为起始点的块的前向运动矢量MV_pre;再将步骤(1)得到的粒子集中的各个粒子和Pbest所对应点的坐标(Porg表示其中的一个坐标点)分别加上MV_pre相应得到新的坐标点(Pnew表示其中的一个更新坐标点),完成所有粒子的更新(如图3所示)。
[0058] 本发明中对粒子的更新除了本实施例所使用的优选方法外,还可以使用现有技术的任意更新方法,例如在粒子的坐标上加随机数等。与现有技术的其他更新方法相比,本实施例利用了已存储的运动矢量对粒子集中的粒子进行更新,使得粒子的更新更具有针对性,也增加了产生高质量粒子的可能性,从而使运动搜索得到的块与待编码块具有更强的相似性,进而进一步提高编码的效率。
[0059] (3)判断当前参考帧是否为第z个参考帧:若是,则进入步骤(7);否则以该当前参考帧的前一个参考帧作为当前参考帧进入步骤(4)。
[0060] (4)在当前参考帧中,以Pbest对应的点为搜索窗的中心,对所述粒子集中各个粒子对应的点进行搜索,分别得到各个粒子对应的点的编码代价,利用所得到的编码代价计算得到所述粒子集中各个粒子的权值;同时以最小编码代价(Cmin)所对应的点作为Pbest;
[0061] 在本实施例中,利用式(3)计算所述“粒子集中各个粒子的权值”:
[0062]
[0063] 式(3)中,Wa表示所述粒子集中第a个粒子的权值;SADa表示所述粒子集中第a个粒子的SAD值;SADp表示所述粒子集中第p个粒子的SAD值;p表示粒子在所述粒子集中的编号;K表示所述粒子集中粒子的数目。
[0064] 本发明对粒子权值的计算除了使用本实施例的优选方法以外,也可采用现有技术的方法,例如取编码代价的倒数等;与现有的粒子权值的计算方法相比,本实施例采用的权值计算方法更加真实的反映了各粒子作用的大小,从而有利于产生质量较高的估计点,进而进一步提高搜索的精度,减少编码所需的码量。
[0065] (5)利用步骤(4)得到的粒子集中各个粒子的权值进行估计,得到最佳估计点Pesti,并计算Pesti的编码代价Cesti;判断Cesti是否小于Cmin:若小于,则以Cesti作为Cmin,以Pesti作为Pbest并执行步骤(6),否则直接执行步骤(6);
[0066] 步骤(5)所述“通过步骤(4)得到的粒子集中各个粒子的权值进行估计”的方法优选如下:
[0067] 如图4所示,Pesti由粒子集中所有粒子(P1、P2…P10)通过坐标与权值计算求得,利用式(6)和式(7)计算分别得到Pesti的横坐标和纵坐标;
[0068]
[0069]
[0070] 式(6)和式(7)中,Pesti_x、Pesti_y分别表示Pesti的横坐标和纵坐标;p表示粒子在所述粒子集中的编号;Xp、Yp分别表示所述粒子集中第p个粒子所对应点的横坐标和纵坐标;Wp表示所述粒子集中第p个粒子的权值;K表示所述粒子集中粒子的数目。
[0071] (6)对所述粒子集中的每个粒子进行重采样,分别对应得到一个重采样粒子,对所述各个重采样粒子和当前最佳粒子进行更新并返回执行步骤(3);
[0072] 本实施例中,步骤(6)所述重采样的方法优选如下:
[0073] 先利用式(4)计算得到所述粒子集中各个粒子的判定参数;
[0074]
[0075] 式(4)中,Jp表示所述粒子集中第p个粒子的判定参数;K表示所述粒子集中粒子的数目;Wp表示所述粒子集中第p个粒子的权值;
[0076] 然后,判断Jp是否大于0:若大于,则将所述粒子集中的第p个粒子替换为Pbest所对应的点;否则保持所述粒子集中的第p个粒子不变。
[0077] 本发明中对粒子的重采样除了使用本实施例的优选方法以外,还可使用现有技术的任意重采样方法,例如重要性重采样、残差重采样等。与现有的重采样方法相比,采用本实施例的重采样方法实现简单,且兼顾了粒子的质量和多样性,能进一步提高搜索的精度。
[0078] (7)对以Pbest所对应的点为起始点的块与第g块的残差和运动矢量进行编码,完成第g块的编码;
[0079] (8)遍历第f帧,判断是否还存在待编码块;若存在,则返回步骤(1)对下一个待编码块进行编码;若不存在,则结束。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈