首页 / 专利库 / 视听技术与设备 / 视频编码层 / 快速运动估计方法

快速运动估计方法

阅读:516发布:2021-08-01

专利汇可以提供快速运动估计方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及 视频编码 的技术领域。本发明所要解决的技术问题是,提供一种基于下层预测 运动矢量 与多模式搜索的快速 运动估计 方法;本发明提供的快速运动估计方法以最小分割模式为最下层模式,以最大分割模式为最上层模式,采用至下而上的顺序的预测搜索中心;搜索中心确定后搜索最佳匹配点,并存储最佳运动矢量;本发明的有益效果是,在保证视频编码图像 质量 的 基础 上,降低 编码器 复杂度,适用于高清视频图像编码。,下面是快速运动估计方法专利的具体信息内容。

1.快速运动估计方法,其特征在于,以最小分割模式为最下层模式,以最大分割模式为最上层模式,采用至下而上的顺序进行预测: a对最下层模式预测运动矢量,确定最下层模式块最佳预测运动矢量; b根据最佳预测运动矢量确定搜索中心; c搜索中心确定后采用第一搜索模式搜索最佳匹配点,并存储最佳运动矢量,进入上一层模式; d当前层模式使用下一层模式的运动矢量来预测当前层搜索中心; e搜索中心确定后采用第二搜索模式搜索最佳匹配点,并存储最佳运动矢量;判断当前层是否为最上层,如否,进入上一层模式,回到步骤d,如是,搜索完毕。
2.如权利要求l所述快速运动估计方法,其特征在于,步骤a所述对 最下层模式块预测运动矢量采用的预测方包括:中值预测运动矢量,零运动矢量、左边块运 动矢量,上边块运动矢量、右上块运动矢量、左上块运动矢量、最近参考对应块的运动矢 量或当前块在前一参考帧的运动矢量,其中最近参考帧对应块的运动矢量与当前块在前一参 考帧的运动矢量不同时存在,前者是用于最邻近参考帧,后者是除最邻近参考帧外的所有参 考帧;步骤a所述最佳预测运动矢量为所有预测运动矢量中SAD值最小的预测运动矢量。
3.如权利要求l所述快速运动估计方法,其特征在于,所述步骤d中下一层模式有2种分割模式时,选择该层中子块运动矢量距离较小的分割模式作为对应的当前层的下一层预测模式。
4.如权利要求l所述快速运动估计方法,其特征在于,步骤d具体为:在中值预测运动矢量与下一层模式的最佳运动矢量之中选取SAD值最小的预测运动矢量为当前层模式的最佳预测运动矢量;再根据最佳预测运动矢量确定当前层的搜索中心。
5.如权利要求4所述快速运动估计方法,其特征在于,当前模式的下一层模式的两个子块的运动矢量距离如小于或等于设定值D,则所述下一层模式的预测运动矢量为两个子块的运动矢量平均值;否则,所述下一层模式的预测运动矢量为两个子块的运 动矢量。
6.如权利要求4所述快速运动估计方法,其特征在于,如当前层模式 内所有子块的运动矢量距离小于预先设定的阈值T,则跳过对相邻上一层模式的运动估计。
7.如权利要求l所述快速运动估计方法,其特征在于,所述第一搜索 模式为交叉正方形-菱形模式;所述交叉正方形-菱形模式具体为:(1) 计算搜索中心和以该点为中心的步长为2的正方形、大菱形的各点的SAD值;(2) 如最小SAD值的点在所述正方形边界内,则以该点为中心采用小菱形进行搜索, 进入步骤(3);如最小SAD值的点在所述正方形边界上,则以该点为中心采用大菱形进行搜索,确定大 菱形范围内SAD值最小的点是否为大菱形的中心,如是,则以该点为中心采用小菱形进行搜 索,进入步骤(3);如否,则该点为中心继续采用采用大菱形进行搜索,直至大菱形范围 内SAD值最小的点落入大菱形的中心,再采用小菱形进行搜索,进入步骤(3);(3) 选择如最小SAD值的点为最佳匹配点。
8.如权利要求l所述快速运动估计方法,其特征在于,所述第二搜索 模式为十字形模式;所述十字形模式具体为:(1) 计算搜索中心和以该点为中心的步长为2的十字形各点的SAD值;(2) 如最小SAD值的点未落在所述十字形的顶点上,则以该点为中心采用小正方形进 行搜索,进入步骤(3);如否,则以该点为中心继续采十字形进行搜索,直至最小SAD值的点未落在所述十字形 的顶点上,再采用小正方形进行搜索,进入步骤(3);(3) 选择如最小SAD值的点为最佳匹配点。
9.如权利要求l所述快速运动估计方法,其特征在于,所述最下层模 式为4x4模式,最上层模式为16xl6模式,其中,自下而上的预测模式顺序为:4x4, 4x8或 8x4, 8x8, 16x8或8xl6, 16x16。

说明书全文

快速运动估计方法

技术领域

发明涉及视频编码的技术领域。 背景技术
运动估计是视频编码系统中最重要的部分之一,对视频的压縮效率和视频的质量有着重 要的影响。目前很多视频编码标准都采用了多参考与多种分割模式的帧间编码方法,使得 运动估计的复杂度急剧的上升,占据了80%左右编码时间(全搜索算法),因此改进运动估计 的性能非常重要。典型的快速运动估计算法三步法(TSS)、六边形搜索(HEXS)、钻石法(DS) 等这些算法搜索范围小、运动平缓的时候效果比较好,但于对于一些运动复杂的视频序列, 很容易在搜索的初期就落了局部最优的陷阱。目前[JVT-F017r 1 ]提案的一种搜索算法 U腿exagonS (Unsymmetrical-cross Multi-Hexagon-grid Search)可以很好的解决落入局咅[5 最优的陷阱,编码效率很高,但是运动估计的复杂度仍然很高。公开号为CN1492687,发明 名称为"多种快模式的快速整像素运动估计方法"于2004年4月28日公开了一种快速运动估 计方法,使用了以较小分割模式(下层模式)的运动矢量来确定较大模式(上层模式)的搜 索范围。该方法相对于对各种分割模式单独搜索降低了计算量。但是对于运动复杂视频序列 ,较小分割模式运动后的距离较大,部分块的运动比较分散,从而使得搜索范围扩大,增 加了搜索的复杂度。
综上,运动估计仍是视频编码器瓶颈。据统计发现,视频图像有两个重要的特征:运 动矢量分布满足的中心偏置原则与运动补偿对应的失真度满足单峰分布。对于复杂的视频序 列不一定能完全满足上面两个特征,但是如果运动搜索中心选得非常好,上面两个特征几乎 可以完全满足。因此,运动搜索中心的选择至关重要。
另一方面,运动搜索的效率与搜索中心有很大的关系,搜索中心离最佳匹配点越近,那 么搜索到最佳匹配点所需要搜索的时间就越短。 一般地,把中值预测运动矢量作为运动搜索 中心,对一些运动复杂的视频序列,中值预测运动矢量不能很好的接近最佳匹配点,使得搜 索步骤过多或搜索点落入局部最优点。

发明内容

本发明所要解决的技术问题是,提供一种基于下层预测运动矢量与多模式搜索的快速运 动估计方法。本发明为解决上述技术问题所采用的技术方案是,快速运动估计方法,其特征在于,以 最小分割模式为最下层模式,以最大分割模式为最上层模式,采用至下而上的顺序的进行预
a对最下层模式块预测运动矢量,确定最下层模式块最佳预测运动矢量; b根据最佳预测运动矢量确定搜索中心;
c搜索中心确定后采用第一搜索模式搜索最佳匹配点,并存储最佳运动矢量,进入上一 层模式;
d当前层模式使用下一层模式的运动矢量来预测其搜索中心;
e搜索中心确定后采用第二搜索模式搜索最佳匹配点,并存储最佳运动矢量;判断当前 层是否为最上层,如否,进入上一层模式,回到步骤d,如是,搜索完毕。
上层模式(较大分割模式)使用下层模式(较小分割模式)的运动矢量来预测其搜索中心, 从而不会因为各个下层模式块的运动的分散而增加搜索的复杂度,很好的解决了现有技术中 所提到的因为小模式块的运动分散而使得搜索范围过大增加搜索的复杂度。
步骤a所述对最下层模式块预测运动矢量采用多种预测方式,具体包括:中值预测运动 矢量,零运动矢量、左边块运动矢量,上边块运动矢量、右上块运动矢量、左上块运动矢量 、最近参考帧对应块的运动矢量或当前块在前一参考帧的运动矢量,其中最近参考帧对应块 的运动矢量与当前块在前一参考帧的运动矢量不同时存在,前者是用于最邻近参考帧,后者 是除最邻近参考帧外的所有参考帧。
步骤a所述最佳预测运动矢量为所有预测运动矢量中SAD值最小的预测运动矢量。
由于当前层模式使的运动矢量与该模式所包含的块的运动矢量相关性很强的而且依赖于 下一层模式的运动矢量,那么最下层模式使了多种预测方法尽可能确保其最佳预测运动矢量 为全局最优。
当所述步骤d中下一层模式有2种分割模式时,选择该层中子块运动矢量距离较小的分割 模式作为对应的当前层的下层预测模式。
步骤d当前层模式使用下一层模式的运动矢量来预测其搜索中心的具体为:在中值预测 运动矢量与下一层模式的最佳运动矢量之中选取SAD值最小的预测运动矢量为当前层模式的 最佳预测运动矢量;再根据最佳预测运动矢量确定当前层的搜索中心。
为了进一步提高运动估计的速度,步骤d中当前层并不局限于对直接相邻的上一层模式 进行预测,也可以是跨层预测:如当前层内所有子块的运动矢量距离小于预先设定的阈值, 则认为子块的运动一致性很强,可跳过相邻上一层的运动估计。
所述第一搜索模式为交叉正方形-菱形模式;所述交叉正方形-菱形模式具体为:
(1) 计算搜索中心和以该点为中心的步长为2的正方形、大菱形的各点的SAD值;
(2) 如最小SAD值的点在所述正方形边界内,则以该点为中心采用小菱形进行搜索,进 入步骤(3);
如最小SAD值的点在所述正方形边界上,则以该点为中心采用大菱形进行搜索,确定大 菱形范围内SAD值最小的点是否为大菱形的中心,如是,则以该点为中心采用小菱形进行搜 索,进入步骤(3);如否,则该点为中心继续采用采用大菱形进行搜索,直至大菱形范围 内SAD值最小的点落入大菱形的中心,再采用小菱形进行搜索,进入步骤(3);
(3) 选择如最小SAD值的点为最佳匹配点。 所述第二搜索模式为十字形模式;所述十字形模式具体为:
(1)计算搜索中心和以该点为中心的步长为2的十字形各点的SAD值; (2 )如最小SAD值的点未落在所述十字形的顶点上,则以该点为中心采用小正方形进行 搜索,进入步骤(3);
如否,则以该点为中心继续采十字形进行搜索,直至最小SAD值的点未落在所述十字形 的顶点上,再采用小正方形进行搜索,进入步骤(3); (3)选择如最小SAD值的点为最佳匹配点。 针对H. 264标准的快速运动估计方法,所述最下层模式为4x4模式,最上层模式为16x16 模式,其中,自下而上的预测模式顺序为:4x4—4x8或8x4—8x8—16x8或8xl6 —16x16。
本发明的有益效果是,在保证视频编码图像质量的基础上,降低编码器复杂度,适用于 高清视频图像编码。 附图说明
图l为实施例运动估计顺序图; 图2为实施例中4x4模式的运动搜索图; 图3为实施例中4x4以上模式的运动搜索图。 具体实施方式
本发明适用于高清视频图像编码。很多视频编码标准采用的都是基于匹配块的运动估计 方法, 一个块的运动与其相邻块的运动有关,但与其内部子块的运动情况更为密切。所以使 用内部子块的运动矢量来预测当前块的运动更为准确。基于块匹配运动估计是目前最通用的 视频压縮编码算法,广泛应用于各种视频编码标准中,比如MPEG1、 MPEG2、 MPEG4以及 IUT-T的H26X系列中,尤其在最新的H.264视频压縮编码标准中,得到了充分的体现。H. 264标准将当前视频帧分割成多种互不重叠的矩形块,分别为16xl6、 16x8、 8x16、 8x8、 4x8、 8x4、 4x4像素的矩形块,本发明以H.264标准为例,结合说明书附图对本发明对进一步详细 的描述。
实施例
本实施例采用先搜索小分割模式,再搜索大分割模式,并且使用多模式进行搜索。上层 模式(大分割模式)使用下层模式(小分割模式)的运动矢量来预测其搜索中心。如图1所示, 本实施例运动估计顺序以最小分割模式为最下层模式,自下而上进行:4x4—4x8或8x4— 8x8—16x8或8xl6 —16x16。
其中,对最下层模式4x4模式的运动矢量预测尤为重要,最下层模式预测运动矢量的精 确选择对运动估计性能有着重要影响的预测矢量,可以明显改善搜索中心。为了准确预测本 实施例采用了多种运动矢量预测方法,选择运动补偿对应的失真度最小的预测运动矢量作为 最佳预测运动矢量。
1、 4x4模式运动估计:
步骤l. 1预测运动矢量,如果相邻块无效或为帧内预测模式,则没有对应的预测运动矢 量,最邻近的参考帧使用参考帧对应块的运动矢量作为预测运动矢量之一;对于不是最邻近 的参考帧,则使用当前块在前一参考帧对应的运动矢量作为预测运动矢量之一;
预测矢量主要是根据序列的相关性来选择,包括空间和时间的相关性以及搜索范围内的 一些特殊位置。总共有以下几个预测运动矢量:中值预测运动矢量,零运动矢量、左边块运 动矢量,上边块运动矢量、右上块运动矢量、左上块运动矢量、最近参考帧对应块的运动矢 量或当前块在前一参考帧的运动矢量(后面两个预测运动矢量不同时存在,前者是用于最邻 近参考帧,后者是除最邻近参考帧外的所有参考帧)。
步骤l. 2根据前面的预测运动矢量,基于最小SAD(绝对误差和)准则来选择最佳预测运 动矢量,合并整像素部分相同的运动矢量,得到新的一个预测运动矢量集,计算各个预测运 动矢量对应匹配块的SAD值,以SAD值最小的预测运动矢量作为最佳预测运动矢量,选择最佳 预测运动矢量作为搜索中心。
步骤l. 3搜索中心确定后采用第一搜索模式搜索最佳匹配点,根据运动矢量的中心偏置 原理,绝大部分运动矢量分布在搜索中心的[-2, +2]的范围内,因此第一搜索模式采用交叉 正方形-菱形模式:
(1)使用交叉正方形-菱形模式在该范围内搜索,如图2a所示,共13个搜索点,在运动 矢量的主要分布范围内寻找最佳运动矢量:计算搜索中心(0点)和以该点为中心至其各边
7
距离为2个步长的正方形以及该点为中心至其顶点距离为2个步长的大菱形的各点(al、 a2、 a3、 a4、 a5、 a6、 a7、 a8、 bl、 b2、 b3、 b4)的SAD值;
(2)如最小SAD值的点在所述正方形边界内(bl、 b2、 b3、 b4中的一点),则以该点为中 心采用小菱形进行更精细的搜索,如图2d所示,以0点为中心采用小菱形(其顶点与搜索中 心距离为l个步长的菱形)搜索,搜索点为0点及小菱形的4个顶点(图2d所示的4个矩形点) ;如图2e所示,以b4点为中心采用小菱形搜索;搜索点为b4点及小菱形的4个顶点(图2e所 示的4个矩形点);在小菱形范围内的搜索点中选择SAD值最小的点为最佳匹配点;
如最小SAD值的点在所述正方形边界上(al、 a2、 a3、 a4、 a5、 a6、 a7、 a8中的一点) ,最佳的匹配点可能离搜索中心较远,则以该点为中心采用大菱形进行搜索以加快搜索的速 度;如图2b所示,以a8点为中心采用大菱形搜索,搜索点为a8点及大菱形超出正方形范围的 3个点(图2b所示的3个矩形点);如图2c所示,以al点为中心采用大菱形搜索,搜索点为 al点及大菱形超出正方形范围的5个点(图2b所示的5个矩形点);确定大菱形范围内的搜索 点中SAD值最小的点是否落入大菱形的中心,如是,以该点为中心采用小菱形进行搜索,再 在小菱形范围内选择SAD值最小的点为最佳匹配点;如否,继续以该点为中心采用大菱形搜 索,直至SAD值最小的点落入大菱形的中心,再以该点为中心采用小菱形进行搜索;
步骤1.4、存储在当前参考帧上的最佳运动矢量。
2、 4x4以上模式的运动估计:
在实施过程中,采用从小分割模式到大分割模式的顺序进行运动估计,下层模式在每一 个参考帧中的最佳匹配点的运动矢量(最佳运动矢量)都需要存储,为它们的上层模式提供 预测运动矢量。4x4以上模式以下层模式作为基础,只需保留中值预测运动矢量与下一层模 式子块运动矢量,预测运动矢量的个数可以减少很多。
步骤2. 1、下层模式的选择,如果当前模式有多种下层模式,选择运动矢量距离最小的 一种模式作为当前模式的参考模式:4x4没有下层模式;4x8和8x4的下层预测模式为4x4; 16x8和8xl6的下层预测模式为8x8; 16xl6与8x8的下层模式都有两个16x8、 8xl6与8x4、 4x8 ,选择依据如下:如果两个4x8块的运动矢量距离小于两个8x4块的运动矢量距离,则选择 4x8作为对应的8x8块的下层预测模式,反之选择8x4;如果两个8xl6块的运动矢量距离小于 两个16x8块的运动矢量距离,则选择8xl6作为对应的16xl6块的下层预测模式,反之选择 16x8。
运动矢量距离的定义:(1)式中lMVl-MV2l为任意两个运动矢量距离的计算式,(2)式中 的MVO为m个运动矢量的平均运动矢量,(3)式中的Dmv为m个运动矢量之间的距离。formula see original document page 9当m等于2时,(2)、 (3)式与(1)式等效,即两个运动矢量之间的距离。
当然,上层模式的运动估计并不局限于对直接相邻的上一层模式进行预测,也可以是跨 层的预测。在4x4模式运动估计完之后,直接检测一个8x8模式内的所有4x4块的运动矢量距 离,如果运动矢量距离小于预先设定的阈值T,则这四个4x4块的运动的一致性很强,跳过 4x8和8x4模式的运动估计。同样,按上述原则也可以跳过16x8和8xl6模式的运估计。
步骤2.2、预测运动矢量,4x4以上的模式有两种预测运动矢量:中值预测运运矢量和下 一层预测动矢量。中值预测运动矢量是必须选择的。当前模式的下一层模式的两个子块,运 动矢量距离小于等于D(D取16,以l/4像素为单位)时,取它们的运动矢量平均值作为预测运 动矢量,否则,两个子块的运动矢量都作为预测运动矢量:
由下一层预测模式的推导可以确定任意模式的两个下一层模式子块,两个子块的运动矢 量分别为MV1、 MV2,它们的平均运动矢量为MVO (MV0由(2)式计算得到)。当满足式(4)时 ,当前的候选预测运动矢量为中值预测运动矢量、MV1和MV2。
Dmv;^i) (0为16,并且以l/4像素为单位) (4)
否则,运动矢量为中值预测运动矢量和MVO。
步骤2.3、合并整像素部分相同的运动矢量,得到一个新的预测运动矢量集,计算各个 预测运动矢量对应匹配块的SAD值,选择最小SAD值对应的预测运动矢量作为搜索中心;
步骤2.4搜索中心确定后采用第二搜索模式搜索最佳匹配点:下层预测运动矢量具有相 对位置的不变性,即一个子块若位于另一子块的上方,那么运动后仍在上方,所以上层模式 的运动趋势与子块的运动相似。如果两个子块的运动矢量距离较小,则它们的运动的一致性 较强,那么上层模式块的运动就位于两者之间。如果两子块的运动矢量距离较大,则它们运 动的一致性较弱,它们的上层模式块的运动,不再是位于两者之间,而是靠近其中一个子块
根据以上的分析,使用十字形模式进行搜索较好,所述十字形模式具体为: (1)如图3a所示,计算搜索中心(0点)和以该点为中心的步长为2的十字形各点(cl 、c2、 c3、 c4、 dl、 d2、 d3、 d4)的SAD值;
(1)
(2)
(3)
(2 )如最小SAD值的点没落在所述十字形的4个顶点上,则以该点为中心采用小正方形 (其各边距搜索中心为l个步长的正方形)进行搜索;以图3c所例,以d4点为中心采用十字 形搜索,搜索点为d4点及小正方形超出十字形范围的4个点(图3c中的4个矩形点);以图 3d为例,以O点为中心采用十字形搜索,搜索点为0点及小正方形超出十字形范围的4个点( 图3d中的4个矩形点);选择SAD值最小的点为最佳匹配点;
如最小SAD值的点落在所述十字形的顶点上,则以该点为中心继续采十字形进行搜索, 以图3b为例,以c4点为中心采用十字形搜索,搜索点为c4及十字形超出原十字形范围的6个 点(图3b中的6个矩形点),直至搜索范围内SAD值最小的点不在十字形顶点上,再采用小正 方形模式进行精确搜索,以小正方形范围内SAD值最小的点为最佳匹配点。
步骤2.5、存储在当前参考帧上的最佳运动矢量,直至最上层模式搜索完毕。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈