首页 / 专利库 / 视听技术与设备 / 块匹配运动估计 / 运动估计方法与相关装置

运动估计方法与相关装置

阅读:1035发布:2020-10-26

专利汇可以提供运动估计方法与相关装置专利检索,专利查询,专利分析的服务。并且本 发明 提供一种 运动估计 方法与相关装置,其中上述运动估计方法用于决定目标运动向量,包含:计算多个区 块 匹配差值,其是与多个候选运动向量相关;根据区 块匹配 差值与多个相邻图像区块的运动决定多个候选区块匹配差值,其中相邻图像区块与目标图像区块相关;以及选择对应于候选区块匹配差值中最小区块匹配差值的向量作为目标运动向量。利用本发明能够找出真实的目标运动向量,减少运动的不连续性。,下面是运动估计方法与相关装置专利的具体信息内容。

1.一种运动估计方法,用于决定目标运动向量,包含:
计算多个区匹配差值,上述多个区块匹配差值与多个候选运动 向量相关;
根据上述多个区块匹配差值与多个相邻图像区块的运动决定多个 候选区块匹配差值,其中上述多个相邻图像区块与目标图像区块相关; 以及
选择上述多个候选区块匹配差值中对应于最小区块匹配差值的向 量作为上述目标运动向量。
2.如权利要求1所述的运动估计方法,其特征在于,上述决定 上述多个候选区块匹配差值的步骤包含:
当有运动的相邻图像区块的总数等于或大于阈值时,将多个补偿 值与上述多个区块匹配差值合并以分别产生上述多个候选区块匹配差 值;以及
当上述总数小于上述阈值时,直接用上述多个区块匹配差值作为 上述多个候选区块匹配差值。
3.如权利要求2所述的运动估计方法,其特征在于,将上述多 个补偿值与上述多个区块匹配差值合并以产生上述多个候选区块匹配 差值的步骤包含:
根据与上述多个相邻图像区块相关的多个运动向量计算参考运动 向量;
将上述参考运动向量分别与上述多个候选运动向量比较以获取上 述多个补偿值;以及
将上述多个补偿值分别与上述多个区块匹配差值合并以计算上述 多个候选区块匹配差值。
4.如权利要求3所述的运动估计方法,其特征在于,上述参考 运动向量为与上述多个相邻图像区块相关的上述多个运动向量的一个 中位数结果。
5.如权利要求1所述的运动估计方法,其特征在于,决定上述 多个候选区块匹配差值的步骤包含:
根据与上述多个相邻图像区块相关的多个运动向量计算参考运动 向量;
将上述参考运动向量分别与上述多个候选运动向量比较以获取多 个补偿值;以及
将上述多个补偿值分别与上述多个区块匹配差值合并以计算上述 多个候选区块匹配差值。
6.如权利要求5所述的运动估计方法,其特征在于,上述参考 运动向量为与上述多个相邻图像区块相关的上述多个运动向量的中位 数结果。
7.一种运动估计装置,用于决定目标运动向量,包含:
计算单元,用于计算多个区块匹配差值,上述多个区块匹配差值 与多个候选运动向量相关;
决定单元,耦接至上述计算单元,用于根据上述多个区块匹配差 值以及与目标图像区块相关的多个图像区块的运动决定多个候选区块 匹配差值;以及
选择单元,耦接至上述决定单元,用于选择上述多个候选区块匹 配差值中对应于最小区块匹配差值的向量作为上述目标运动向量。
8.如权利要求7所述的运动估计装置,其特征在于,当有运动 的相邻图像区块的总数等于或大于阈值时,上述决定单元将多个补偿 值与上述多个区块匹配差值合并以分别产生上述多个候选区块匹配差 值;当上述总数小于上述阈值时,上述决定单元直接用上述多个区块 匹配差值作为上述多个候选区块匹配差值。
9.如权利要求8所述的运动估计装置,其特征在于,上述决定 单元根据与上述多个相邻图像区块相关的多个运动向量计算参考运动 向量,并将上述参考运动向量分别与上述多个候选运动向量比较以获 取上述多个补偿值;并且上述决定单元将上述多个补偿值分别与上述 多个区块匹配差值合并以计算上述多个候选区块匹配差值。
10.如权利要求9所述的运动估计装置,其特征在于,上述参考 运动向量是与上述多个相邻图像区块相关的上述多个运动向量的中位 数结果。
11.如权利要求7所述的运动估计装置,其特征在于,上述决定 单元根据与上述多个相邻图像区块相关的多个运动向量计算参考运动 向量,并将上述参考运动向量分别与上述多个候选运动向量比较以获 取多个补偿值;并且上述决定单元将上述多个补偿值分别与上述多个 区块匹配差值合并以计算上述多个候选区块匹配差值。
12.如权利要求11所述的运动估计装置,其特征在于,上述参考 运动向量是与上述多个相邻图像区块相关的上述多个运动向量的中位 数结果。

说明书全文

技术领域

发明是有关于视频处理方案,尤其是关于一种用于决定目标运 动向量的运动估计方法与相关装置

背景技术

一般来说,现有运动估计器(motion estimator)产生运动向量 (Motion Vector,MV)以用于编码或追踪(tracking)等等。通常采用区 匹配运动估计(block-matching motion estimation)来寻找最匹配区块 (best-matched block)。现有估计区块的运动向量的做法是计算当前图 像区块(current image block)与先前图像区块(previous image block)之 间的最小差值,其中先前图像区块具有与当前图像区块一样的图像。 现有的做法,例如最匹配区块法,仅能胜任视频编码应用,因为视频 编码通常仅需要获知最小余值(smallest residue),最小余值是通过计算 先前区块与当前区块以及一些其它既定的准则(criteria)来获得。出于 简洁的目的,详细操作此处不再赘述。可是,在另一些应用中,例如 追踪或速率转换(frame rate conversion)操作,相较于寻找最匹配区 块来说,更重要的是找出真正的运动(true motion)。
举例来说,若图像区域中的图像区块没有明显的纹理特征(texture feature),这些图像区块通过运动估计计算得到的运动向量有可能彼此 之间非常不同。假设有两个相邻的图像区块B1与B2,并且两个都对 应于同一对像。帧速率转换操作采用了现有的运动估计之后,由图像 区块B1的运动向量V1所参考的图像区块B1与B1’之间的绝对差值 (absolute difference)的余值(residual value)可能是一个最小值,而由图 像区块B2的运动向量V2所参考的图像区块B2与B2’之间的绝对差 值的余值可能也是一个最小值。然而,运动向量V1可能与运动向量 V2并不相同,举例来说,运动向量V1是向量(0,0),运动向量V2是 向量(2,0)。更糟糕的是,多于两个相邻的图像区块的运动向量大致上 互不相同。不同的图像区块计算出来的运动向量说明在一定程度上, 图像区块的真实向量是不同的,由于图像区块对应同一对像,所以很 难根据这些运动向量来决定如何产生需要的内插后(interpolated)的 帧。同样,不同的运动向量在执行帧速率转换时会造成一些内插错误。

发明内容

为了克服现有技术中帧速率转换时产生的内插错误的问题,本发 明提供一种运动估计方法及相关装置。
本发明提供一种运动估计方法,用于决定目标运动向量,包含: 计算多个区块匹配差值,多个区块匹配差值与多个候选运动向量相关; 根据区块匹配差值与多个相邻图像区块的运动决定多个候选区块匹配 差值,其中相邻图像区块与目标图像区块相关;以及选择候选区块匹 配差值中对应于最小区块匹配差值的向量作为目标运动向量。
本发明另提供一种运动估计装置,用于决定目标运动向量,包含: 计算单元,用于计算多个区块匹配差值,多个区块匹配差值与多个候 选运动向量相关;决定单元,耦接至计算单元,用于根据区块匹配差 值以及与目标图像区块相关的多个图像区块的向量决定多个候选区块 匹配差值;以及选择单元,耦接至决定单元,用于选择候选区块匹配 差值中对应于最小区块匹配差值的向量作为目标运动向量。
本发明利用从多个候选匹配差值中找出最小匹配差值来确定真实 的目标运动向量,减少运动的不连续性。
附图说明
图1是根据本发明的第一实施方式与第二实施方式的运动估计装 置的示意图。

具体实施方式

说明书权利要求书当中使用了某些词汇来称呼特定的元件。 本领域的技术人员应可理解,硬件制造商可能会用不同的名词来称呼 同一个元件。本说明书及权利要求书并不以名称的差异来作为区分元 件的方式,而是以元件在功能上的差异来作为区分的准则。在通篇说 明书及权利要求书当中所提及的“包含”是开放式的用语,故应解释 成“包含但不限定于”。此外,“耦接”一词在此是包含任何直接及 间接的电气连接手段。因此,若文中描述第一装置耦接于第二装置, 则代表第一装置可直接电气连接于第二装置,或通过其它装置或连接 手段间接地电气连接到第二装置。
请参考图1,图1是根据本发明的第一实施方式与第二实施方式 的运动估计装置100的示意图。如图1所示,运动估计装置100包含 数据流控制器(data flow controller)101,先前帧数据缓冲器(previous frame data buffer)102,当前帧数据缓冲器(current frame data buffer)103,计算单元105(calculating unit),决定单元(decision unit)110,选择单元(selecting unit)115,以及运动向量储存装置(motion vector storage device)117。运动估计装置100估计对应于图像区块的物 体的真实运动从而决定目标运动向量(target motion vector)。数据流控 制器101控制先前帧数据缓冲器102与当前帧数据缓冲器103来分别 输出先前帧数据与当前帧数据。从先前帧数据缓冲器102输出的先前 帧数据是全帧数据(full frame data)或部分帧数据(partial frame data), 以及从当前帧数据缓冲器103输出的当前帧数据是全帧数据或是部分 帧数据。为了根据先前帧数据与当前帧数据决定每一目标图像区块的 目标运动向量,计算单元105计算与目标图像区块的多个候选运动向 量相关的多个区块匹配差值(block matching differences)。接着,决定 单元110根据区块匹配差值与多个相邻图像区块的运动来决定多个候 选区块匹配差值(candidate block matching differences),其中相邻图像 区块与目标图像区块有关。最后,选择单元115从这些候选区块差值 中选出最小区块匹配差值所对应的向量以作为目标运动向量,并传送 目标运动向量至运动向量储存装置117。实施方式中每一区块匹配差 值都是两个区块之间的绝对像素差值的和(Sum of Absolute Difference,SAD),但这并非是本发明的限制。
具体地,在第一实施方式中,当这些被确定具有运动的相邻区块 的总数等于或大于一个阈值时,决定单元110将计算单元105产生的 一个或多个区块匹配差值与一个或多个补偿值(penalty value)合并 (combine)以分别产生候选区块匹配差值。否则,当总数比阈值小时, 决定单元110直接利用区块匹配差值作为候选区块匹配差值。也就是 说,若对应大多数相邻图像区块的物体被估计为运动物体,将一个或 多个补偿值与对应一个或多个特定候选运动向量的区块匹配差值合 并,以防止选择单元115选择不需要(undesired)的目标运动向量。根 据这些相邻图像区块的运动向量来执行这些相邻图像区块的运动估计 操作,其中这些运动向量从运动向量储存装置发出。当然,仅将一个 补偿值与对应于一个特定运动向量的区块匹配差值合并也有助于决定 较佳的目标运动向量。
举例来说,当大多数相邻图像区块都被决定为具有运动时,与零 向量(zero vector)(0,0)相关的补偿值(即零补偿项,zero penalty term)用 来避免选择零向量作为目标向量。零补偿项使区块匹配差值增大,并 且增大后的区块匹配差值(即候选区块匹配差值)很有可能不是最小区 块匹配差值。因此,零向量(0,0)不被选为目标运动向量。结果,动态 地将零补偿项与区块匹配差值合并使用可降低运动的不连续性 (discontinuity),其中区块差值与零向量相关。除此之外,也可避免单 一补偿项(singular penalty term)带来的错误运动向量。需要注意的是, 除了零补偿项,第一实施方式也可采用其它类型的补偿项以降低运动 不连续性。更进一步,在实际操作中,合并零补偿项与上述区块匹配 差值的操作可替换为合并一个大零补偿值(great zero penalty value)与 上述区块匹配差值以及合并其它小补偿值与其它区块匹配差值。这些 改变也在本发明的范围中。
在第二实施方式中,与动态应用一个或多个补偿项不同,运动估 计装置100首先根据与相邻图像区块相关的多个运动向量来分析相邻 图像区块的运动特征(motion characteristic)。具体地,决定单元110根 据与相邻图像区块相关的运动向量计算参考运动向量,其中在第二实 施方式中参考运动向量为上述运动向量的中位数结果(median result)。 需要注意的是,中位数结果并非是本发明的限制;其它计算结果,例 如上述运动向量的平均值,也能应用在第二实施方式中。决定单元110 接着将参考运动向量与多个候选运动向量比较以获取多个补偿值,并 将多个补偿值分别与多个区块匹配差值合并以计算候选区块匹配差 值。
特别地,决定单元110计算出参考运动向量与每一运动向量间的 向量差值的多个绝对值,并将绝对值作为补偿值。接着,决定单元110 将补偿值分别加到多个区块匹配差值上,以获取候选区块匹配差值。 最后,选择单元115选择一个向量作为目标运动向量,其中上述向量 对应于候选区块匹配差值中的最小区块匹配差值。对于帧速率转换或 追踪(tracking)来说,当候选运动向量与相邻图像区块运动向量的差值 变大时,将一个更高的补偿值加至与本实施方式候选运动向量相关的 区块差值,这是因为如果目标图像区块的最终决定目标运动向量与相 邻图像区块的最终决定目标运动向量相差很大时会有矛盾产生。因此, 比相邻图像区块的运动向量具有更大差值的候选运动向量不会被选择 为目标运动向量,即使候选运动向量对应原始最小区块匹配差值 (minimum block matching difference)(也就是说,这并不是最小候选区 块匹配差值)。对于帧速率转换或追踪来说,目标与相邻图像区块的最 终决定目标运动向量会变得更平滑,也意味着目标与相邻图像区块的 实际运动会变得更接近。因此,不会带来内插误差。
另外,第一实施方式与第二实施方式能合并在一起构成另一实施 方式。也就是说,当有运动的相邻图像区块的总数等于或大于阈值时, 决定单元110计算参考运动向量,并比较参考运动向量与相邻图像区 块的运动向量以产生候选区块匹配差值。当上述总数比阈值小时,决 定单元直接将区块匹配差值作为候选区块匹配差值。这也符合本发明 的精神。更进一步,可以选择性地让选择单元115将每一决定的目标 运动向量发送给运动向量储存装置117;相邻图像区块的运动向量也 能由外部装置获得。
本发明虽用较佳实施方式说明如上,然而其并非用来限定本发明 的范围,任何本领域中技术人员,在不脱离本发明的精神和范围内, 做的任何更动与改变,都在本发明的保护范围内,具体以权利要求界 定的范围为准。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈