首页 / 专利库 / 视听技术与设备 / 帧间位移误差 / 利用分级的运动估算确定运动矢量的方法

利用分级的运动估算确定运动矢量的方法

阅读:364发布:2020-12-04

专利汇可以提供利用分级的运动估算确定运动矢量的方法专利检索,专利查询,专利分析的服务。并且利用多层分级运动估算确定 运动矢量 的方法,包括(a)对处理 块 的每个分级搜索块对应其级别的搜索区域进行运动估算,以提供对应于该搜索块的运动矢量和最小误差函数;(b)将最小误差函数与一预定的 阈值 比较;(c)在分级的搜索块中,确定最低最上误差函数的搜索块;和(d)如果一个或多个搜索块的最小误差函数小于阈值,就把对应于最高级别搜索块的运动矢量作为处理块的运动矢量,反之,则把步骤(c)中确定的搜索块对应的运动矢量作为处理块的运动矢量。,下面是利用分级的运动估算确定运动矢量的方法专利的具体信息内容。

1、一种通过对当前和前一帧进行多层分级运动 估算,确定当前帧中每一个处理运动矢量的方法, 其中,当前帧被分成多个大小相同的处理块,每个处理 块有M级搜索块,M是大于1的整数,每一级搜索块的 尺寸比低一级的搜索块大,而前一帧则被划分成多个与 分级的搜索块相应的搜索区域,每个搜索区域有多个候 选块,每个候选块的大小和与其对应的分级搜索块的大 小相同,该方法包含如下步骤:
(a)对一个处理块的每一个分级的搜索块相对其 级别对应的搜索区域进行一个运动估算,从而提供相应 的分级搜索块的运动矢量和最小误差函数,每一个运动 矢量代表一个分级搜索块和相应级别中产生最小误差函 数的候选块之间的象素的位移;
(b)将最小误差函数与一个预定的阈值相比较;
(c)在多个分级的搜索块中,确定具有最低的最 小误差函数的搜索块;
(d)如果一个或多个搜索块的最小误差函数,小 于预定的阈值,就把与所述一个或多个搜索块中的最高 级别的搜索块相对应的运动矢量,作为处理块的运动矢 量;如果最小误差函数中没有一个小于预定的阈值,则 把所述步骤(c)中确定的搜索块相应的运动矢量,作 为处理块的运动矢量。

说明书全文

发明涉及一种确定运动矢量的方法,具体地说, 是利用分级的运动估算趋近,确定两个相继视频的运 动矢量的一种改进的方法。

在各种电气/电子应用,例如高清晰度电视和视频 电话系统中,一个图象信号可能要用数字化的形式传输。 当图象信号以数字化形式表示时,必然会出现大量的数 字数据。由于一个常规传输信道的可用频率带宽是有限 的,为了在这样的信道上传输图象信号,不可避免地要 对传输数据的数量进行压缩和减少。在各种的视频压缩 技术中,运动补偿的帧间编码技术被公认为几种较为有 效的压缩技术之一,它主要是利用两个相邻视频帧之间 的视频信号冗余度,对信号进行压缩。

在运动补偿帧间编码方案中,当前帧的数据是以前 一帧的数据为依据而确定的,其基础就是当前帧和前一 帧之间的运动估算。这一运动估算可以用一个二维运动 矢量来描述,这个二维运动矢量代表象素在前一帧和当 前帧间的位移。在先技术中采用的一种运动矢量估算方 案是匹配算法(参见例如J.R.Jain等人的“ Displacement Measurement and Its Applicationin I nterframe Image Coding(帧 间图象编码的位移测算及其应用)”,IEEE Tr ansactions on Communicat ions COM-29,No.12(1981年1 2月))。

根据块匹配算法,一个当前帧被分为许多大小相同 的搜索块,一个搜索块的大小的典型范围在8×8到3 2×32个象素之间。为了确定在当前帧中的一个搜索 块的运动矢量,要在前一帧中划出范围较大的搜索区域, 并将搜索区域划分为多个与当前帧中的搜索块大小相同 的候选块,然后再对当前帧中的搜索块和前一帧中的每 一个候选块进行两者之间的相似性估算。误差函数例如 平均绝对误差或均方误差,被用来进行当前帧中的搜索 块和搜索区域中的每一个候选块之间的相似性测量。运 动矢量,从定义上讲,是代表搜索块与最佳匹配块之间 的位移,所谓最佳匹配块,就是与搜索块之间“误差” 或差异最小的候选块。

但是,在这一块匹配运动估算趋近中,使用的是一 定大小的搜索块,如果搜索块比较大,同一个运动矢量 会被分配给搜索块中的所有象素,而这些象素并不是按 相同方式运动的,这样就降低了整幅图象的质量

为此,本发明的主要目的,是提供一种改进的方法, 通过运动矢量的分级估算趋近可以精确地检测两个相继 视频帧之间的运动矢量。

根据本发明,提供了一种确定当前帧中每一个处理 块的运动矢量的方法,它是通过对当前帧和前一帧采取 多层分级估算的办法实现的,其中,当前帧按照相同的 大小被分成多个处理块,每个处理块有M级搜索块,M 是大于1的整数,每一级搜索块的尺寸比较之低一级的 搜索块大;而前一帧则被划分成多个与分级的搜索块相 应的搜索区域,每个搜索区域有多个候选块,每个候选 块的大小则与相应的分级搜索块的大小相同。这一方法 包含如下步骤:

(a)对一个处理块的每一个分级的搜索块和与其 级别对应的搜索区域进行运动估计,从而提供相应的分 级的搜索块的运动矢量和最小误差函数。每一个运动矢 量代表一个分级搜索块和相应级别的产生最小误差函数 的候选块之间的象素的位移;

(b)将最小误差函数与一个预定的阈值相比较;

(c)在多个分级的搜索块中,确定具有最低的最 小误差函数的搜索块;

(d)如果一个或多个搜索块的最小误差函数小于 预定的阈值,就把与所述一个或多个搜索块中的最高级 别的搜索块相应的运动矢量,作为处理块的运动矢量; 如果最小误差函数中没有一个小于预定的阈值,则把所 述步骤(c)中确定的搜索块相应的运动矢量,作为处 理块的运动矢量。

本发明的上述和其他目的和特征,通过下述对带有 图示的优选实施例的描述,将变得显而易见。其中:

图1是该具有创造性的装置的方框图,涉及确定视 频信号的当前帧和前一帧之间的运动矢量。

图2描述图1所示的误差产生器中的详细方框图;

图3示出示例性的分级的搜索块。

参考图1,所表示的是该具有创造性的装置的方框 图,即采用一种多层分级的运动估算趋近,确定当前帧 中的许多处理块的每一块的运动矢量。每一个处理块的 大小为P×Q,例如2×2个象素,在当前帧中每一个 处理块都有多个分级的搜索块。

当前帧数据作为输入数字视频信号,被送进帧存储 器50和块形成部分100,以便生成分级的搜索块。 块形成部分100,为每一个处理块生成多级搜索块, 其中,处理块位于每一个搜索块的中央。某一级搜索块 比低一级的搜索块在平和垂直方向上大2N个象素, 其中N是大于0的整数,例如1;而且最低一级的搜索 块等于或大于处理块。

如图1所示,块形成部分100包含M个(比如4 个)块格式器,例如图中的110到170。在块格式 器110,130,150,170中,为每一个处理 块生成多级的搜索块,而这些搜索块的大小在水平和垂 直方向上以2N个象素的级差,即2N至2N(M-1) 的级差变化,其中M是大于1的整数。更明确地说,比 如第一个块格式器110生成最高一级的搜索块,其大 小为H×V个象素;第二个块格式器130生成低一级 的搜索块,大小为(H-2N)×(V-2N),比如 (H-2)×(V-2)个象素;第三个块格式器15 0生成更低一级、大小为(H-4N)×(V-4N) 个象素的搜索块,比如(H-4)×(V-4)个象素; 而最后一个块格式器170生成最低一级的搜索块,其 大小为(H-2N(M-1))×(V-2N(M-1) ),比如(H-2(M-1))×(V-2(M-1)) 个象素。

在图3中,以图形举例说明块格式器110至17 0生成的本发明优选实施例中使用的多级搜索块。为便 于说明,假定当前帧中的象素的各个搜索块的H和V数 目相等,都等于16。

如图3所示,图象块格式器110生成一个大小为 H×V的搜索块10,即16×16个象素,其中,搜 索块10以处理块5为参考而建立,处理块5位于搜索 块10的中心。同样地,块格式器130建立一个缩小 了的搜索块12,其大小为(H-2)×(V-2), 即14×14个象素;块格式器150建立大小为(H -4)×(V-4)的进一步缩小了的搜索块14,即 有12×12个象素;而最后一个块格式器170生成 一个最小的搜索块16,其大小为(H-8)×(V- 8),即8×8个象素,是最低一级的搜索块。上述缩 小了的搜索块都以处理块5作为参考,处理块5分别处 于缩小了的搜索块12,14和16的中心。

再参看图1,由块格式器110至170生成的各 级搜索块被送至运动估算单元200,该单元包含多个 误差函数产生器210至270。从存储器50来的 前一帧数据也被加到运动估算单元200。包含在运动 估算单元200中的误差函数产生器210至270中 的每一个,对来自帧存储器50的前一帧数据和当前帧 的数据进行处理,计算并估算得出一个运动矢量,该运 动矢量代表当前帧搜索块和前一帧候选块之间产生最小 误差函数时的位移。

误差函数产生器210,230,250和270 基本上由相同的元件制成,每一个元件具有相同的功能。 因此,各个误差函数产生器210,230,250, 270的工作原理基本上也是相同的。所以,参照图2 代表性地详细描述误差函数产生器210,其中,示出 了误差函数产生器210的详细方框图。

如图2所示,从图1上的帧存储器50来的前一帧 数据,被送至搜索区域形成部分211。该搜索区形成 部分211以相等的大小确定前一帧的搜索区域,每一 个搜索区域的大小一般比搜索块要大。

当搜索区域形成部分211确定了搜索区域之后, 搜索区域的数据被送到多个块形成部分,例如212至 214。在每个块形成部分中,由上述搜索区域产生一 个候选块,候选块的大小是H×V,即16×16个像 素。候选块自当前帧的搜索块的位置的相对位移,作为 候选块的位移矢量输出,例如612至614。在上述 确定的搜索区域中,将会形成所有可能的大小为H×V 个象素的候选块,并得到与每一个候选块相应的各位移 矢量。

每一个候选块的象素数据从每一个候选块形成部分 212至214输出,并被送至每一个块匹配部分21 5至217。大小为H×V个象素的搜索块的数据也由 块格式器110提供,如图1所示,送至块匹配部分2 15至217。在每一个块匹配部分中,计算误差函数, 例如对应于搜索块的象素和候选块之间绝对值误差的平 均值的平均绝对误差函数,这种计算是在块格式器11 0的搜索块和各候选块形成部分212至214的候选 块之间进行的。对搜索块的象素和每一个候选块进行对 应比较,例如光强或亮度的比较,产生所述各候选块的 误差函数。这种误差函数表示搜索块和所述各个候选块 之间的相似性。

从块匹配器部分215至217输出的所有误差函 数,都被送至最小值检测器218,最小值检测器21 8对这些误差函数进行比较,并选取具有最小值的误差 函数。

最小值检测器218的输出信号送到选择器219, 该信号指示对应最小误差函数的块。从块形成部分21 2至214获取的位移矢量612至614也送到选择 器219。然后,选择器219对候选块的位移矢量进 行选择,把对应最小误差函数位移矢量作为所述大小为 H×V个象素的搜索块的运动矢量。所确定的运动矢量 作为第一级运动矢量MV1,输出到运动矢量选择器4 00和选择器332,如图1所示。而由最小值检器器 218选取的最小误差函数作为第一级误差函数E1, 输出到小值检测器312和比较器322,如图1所示。

类似的,如图1所示每一个误差函数产生器230 至270,使用一误差函数,例如平均绝对值误差函数, 对相应的搜块和包含在前一帧相应搜索区域中的每一个 候选块进行比较。因此,误差函数产生器230至27 0为每一级的每个搜索块产生误差函数。就每一级而言 的这些误差函数经过处理,得到每一级的每个搜索块的 最小误差函数;并且选择与最小误差函数相应的位移矢 量作为该搜索块的运动矢量。由误差函数产生器230 至270输出的各最小误差函数,分别作为第二级、第 三级和最后一级误差函数E2至E4,送到小值检测器 312至316;而每一级的每个搜索块的运动矢量, 则分别作为第二级、第三级和最后一级运动矢量MV2 至MV4送到选择器332至336。

小值检测器312在两个输入,即第一级和第二级 误差函数E1和E2之间,选取较小的误差函数输出到 比较器324和下一个小值检测器314,并产生一控 制信号送到选择器332,该控制信号指明与较小的误 差函数相对应的分级的运动矢量。下一小值检测器31 4在它的两个输入,即来自小值检测器312的输出和 第三级误差函数E3之间,选取较小的误差函数,送到 比较器326和下一级小值检测器,并产生一个控制信 号送到选择器334,指明与所输出的较小的误差函数 相应的分级运动矢量。同样,最后的小值检测器316 在它两个输入之间,即来自前一级小值检测器的输出和 最后一级误差函数之间,选取较小的误差函数,送到比 较器328,并产生一个控制信号送到选择器336, 指明与所产生的较小的误差函数相应的分级运动矢量。

每一个比较器322至328,对它的两个输入, 即预定阈值和加到该级的等级误差函数进行比较,产生 一个逻辑高电平或逻辑低电平选择信号S1至S4,送 到运动矢量选择器400。即,当预定阈值比相应等级 误差函数大时,每个比较器产生一个逻辑高电平选择信 号,否则,产生一逻辑低电平选择信号,送到运动矢量 选择器400。

比较器322对预定阈值与第一级误差函数E1进 行比较,当预定阈值大于E1时,比较器产生一逻辑高 电平选择信号,反之,产生一个逻辑低电平选择信号, 送到运动矢量选择器400。类似地,比较器324至 328中的每一个,对预定阈值和每一相应小值检测器 312至316的输出进行比较,当预定阈值大于所述 各个相应的小值检测器的输出信号时,就各自产生一逻 辑高电平选择信号,反之,则各自产生一逻辑低电平选 择信号,送到运动矢量选择器400。

根据本发明,如果S1为逻辑高电平,则选择信号 S2至S4就变为逻辑高电平。如果S1为逻辑低电平, S2为逻辑高电平,则S3至S4变为逻辑高电平。换 句话说,如果与某一级对应的选择信号为逻辑高电平, 则对应于较低一级的选择信号即为逻辑高电平。

每一个选择器332至336,根据各自对应的小 值检测器312至316提供的控制信号,在其两个输 入的分级运动矢量中选择一个。这就是说,选择器33 2根据来自小值检测器312的控制信号,在它的两个 输入,即第一级和第二级运动矢量MV1和MV2当中 选取一个;并将所选取的运动矢量送到选择器334和 运动矢量选择器400。选择器334,根据来自小值 检测器314的控制信号,在其两个输入,即选择器3 32的输出和第三级运动矢量MV3中选取一个;并将 选取的运动矢量送到运动矢量选择器400和下一级选 择器。同样,最后一级选择器336,根据来自最后一 级小值检测器316的控制信号,在其两个输入,即前 一级选择器的输出和最后一级运动矢量MV4当中选取 一个;并将选取的那个运动矢量送到运动矢量选择器4 00。

运动矢量选择器400,以选择信号S1至S4为 其输入,用于从送入其中的上述运动矢量中选取一个, 作为处理块的运动矢量。

如果S1是逻辑高电平,则运动矢量选择器400 选取MV1作为处理块的运动矢量,而不管其他的选择 信号。如果S1是逻辑低电平,而S2是逻辑高电平, 则运动矢量选择器400选取来自选择器332的运动 矢量,作为处理块的运动矢量。如此进行,运动矢量选 择器400,把送入的逻辑高电平的选择信号中,级别 最高的那个选择信号所对应的运动矢量,选作为处理块 的运动矢量。如果所有的选择信号S1至S4都是逻辑 低电平,则运动矢量选择器400选取由最后一级选择 器336提供的运动矢量,作为处理块的运动矢量。由 最后一级选择器336选取的运动矢量所对应的分级的 误差函数值最低。

虽然本发明参照具体的实施例进行了说明,对于熟 悉本领域的人员而言,显然可以做出各种变化和改进, 而不违背本发明由所附的权利要求所限定的精神和范围。

高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈