首页 / 专利库 / 视听技术与设备 / 帧间位移误差 / 用于检测运动矢量到半象素精度的装置和方法

用于检测运动矢量到半象素精度的装置和方法

阅读:194发布:2020-12-02

专利汇可以提供用于检测运动矢量到半象素精度的装置和方法专利检索,专利查询,专利分析的服务。并且通过寻找相应于在一个检索区域中多个最佳匹配 块 的多个全象素 分辨率 运动矢量 ,使视频 信号 的一个当前 帧 和它的前一帧之间的运动矢量最好测定到一个半象素 精度 ;和通过选择从包含在半象素分辨率检索区域的所有可能的半象素分辨率块来得到半象素分辨率运动矢量,每一个半象素分辨率检索区域相应于全象素运动矢量之一。,下面是用于检测运动矢量到半象素精度的装置和方法专利的具体信息内容。

1.一种用于测定视频信号的当前和它的前一帧之间运动矢量 到半象素精度的方法,其中该当前帧被分成相同大小的多个检索 ,该前一帧是由包括相应的多个检索区域构成的,每个检索区域 具多个与有上述相同大小的候选块;该方法的特征在于包括下列步 骤:
(a)测定在当前帧中每个检索块的一预定数目的全象素分辨率运 动矢量的,其中上述预定数目大于1,但是小于一检索区域中候选 块的数目;和
(b)根据在步骤(a)中已测定的全象素分辨率运动矢量测定半象 素分辨率运动矢量; 其中,所述步骤(a)包括下列步骤:
(a1)计算误差函数,每个上述误差函数表示在当前帧中检索块 和每个全象素分辨率候选块之间的差,它具有包括在前一帧的相应 的检索区域中的整数值的位移;和
(a2)选择在预定数目中得到最小的误差函数的所述预定数目的 全象素分辨率运动矢量。
2.根据权利要求1的方法,其特征在于上述步骤(b)包括下列 步骤:
(b1)在相应于上述的全象素分辨率运动矢量之一的半象素分辨 率检索区域中取得半象素分辨率候选块;
(b2)计算和比较误差函数,上述每个误差函数表示在当前帧中 检索块和每个半象素分辨率候选块之间的差,由此选一个产生最小 误差函数的半象素分辨率;和
(b3)对于下一个全象素分辨率运动矢量重复步骤(b1)和(b2), 直到相应于该块的最后全象素分辨率运动矢量的最后半象素分辨率 检索区域中所有的半象素分辨率候选块都被处理为止,由此确定该 块的半象素分辨率运动矢量。
3.根据权利要求1的方法,其特征在于上述步骤(a2)进一步包 括下列步骤:
(a21)预置一个第一组变量SEi′S,它存贮误差函数的预定数 目,其中i是一个从1至该预定数目的正整数;
(a22)读出相应于前一帧的检索区域中一个候选块误差函数E和 位移D;
(a23)把上述E与存贮在上述SEi′S中的值相比较;
(a24)按升序重新排列存贮在上述SEi′S中的值和E,并且删除 最大的一个;
(a25)为了下一个候选块的处理,把存贮的剩余值存贮在上述 SEi′S中和把E存贮在上述SEi′S中;
(a26)把位移存贮在一个第2组变量SDi′S中,每个上述位移相 应于已存贮在SEi′S中的值之一,其中i是从1到预定值排列的正 整数;
(a27)重复步骤(a22)至(a26),直到在检索区域中所有选块都被 处理为止。
4.一种用于测定在视频信号的一个当前帧和它的前一帧之间运 动矢量到半象素精度的设备,其中该当前帧被分成相同大小的多个 检索块,该前一帧由包括相应的多个检索区域构成,每个检索区域 具有多个上述相同大小的候选块,其特征在于该设备包括:
一个全象素分辨率运动矢量检测器,用于测定一个在当前帧中 每个检索块的全象素分辨率运动矢量的预定数目,其中上述预定数 目大于1,但是小于在检索区域中的候选块数目;和
一个半象素分辨率运动矢量检测器,用于根据在该全象素分辨 率运动矢量检测器已测定的全象素分辨率运动矢量测定一个半象素 分辨率运动矢量; 其中,该全象素分辨率运动矢量检测器包括:
用于计算误差函数的装置,每个上述误差函数表示在当前帧中 检索块和每个全象素分辨率候选块之间的差,它具有包括在前一帧 的相应的检索区域中的整数值的位移;和
用于选择在预定数中得到最小的误差函数的检索块的所述预定 数目的全象素分辨率运动矢量的装置。
5.根据权利要求4的设备,其特征在于所述半象素分辨率运动 矢量检测器包括:
用于取得相应于上述全象素分辨率运动矢量之一的在半象素分 辨率检索区域中半象素分辨率候选块的装置;和
用于计算和比较上述误差函数的装置,由此选择一产生一个最 小的误差函数的半象素分辨率块。

说明书全文

发明涉及一种用于对视频信号进行编码的方法与装置,更具 体地说,涉及一种估算运动矢量到半象素精度的装置和方法。

众所周知,数字视频信号的传输比模拟信号的传输能够得到更 高质量的视频图象,当包括图象“”的序列的一个图象信号以一 种数字格式出现时,特别在高清晰度电视系统的情况下,就产生了 用于传输的基本数据量。但是,为于传输整个的基本数据量,普通 传输信道的有效频率带宽受到限制,那就必须压缩或者缩减传输数 据的容量。在各种视频压缩技术中,与统计编码技术一起的时间与 空间相结合的压缩技术,所谓混合编码技术是最有效的。

大部分混合编码技术使用一种运动补偿的DPCM(differential pulse code modulation)(差分编码调制)、两维DCT(discrete cosine transform)(离散余弦变换)、DCT系数的量化、和VLC(variable length coding)(可变宽度编码)。运动补偿的DPCM是一个在当前的帧和 它的前一帧之间测定目标运动的方法,和根据目标的运动流量产生 表示在当前的帧和它的前一帧之间差别的差分信号来预测当前的 帧。这种方法已被公开,例如,在Staffan Ericsson撰写的“用于混 合预测/变换编码的固定的和自适应的预测器”,IEEE Transactions on Communications,第33卷第12期(1985年12月)及Ninomiya 和Dhtsuka撰写的“电视图象的运动补偿帧间编码方案”IEEE Transactions on Cominunications,第30卷第1期(1982年1月)中 已有描述。

两维DCT,它减少和消除了图象数据中的空间冗余码,将一 数字图象数据,例如,一块8×8象素换成一组变换系数数据,这种 技术在Chen和Pratt撰写的“景象自适应编码器”中已公开,IEEE Transactions on Communications,第32卷第五期(1984年3月),通 过采用量化器、折线扫描和VLC处理变换系数数据,被传输的数据 量可能被有效地压缩。

尤其是,在运动补偿DPCM中,根据当前帧和前一帧之间运动 的估算,从相应于前一帧数据中预测当前的帧数据。这种估算运动 可通过在前一帧和当前帧之间象素的位移表示的两维运动矢量来描 述。

用于估算视频序列中目标位移的几种方法已被提出。通常,它 们可以被分为两种类型:象素递归算法;和块匹配算法(参见例如 J.R.Jain等人“IEEE Transactions on Communications第29卷第12期 (1981年12月))。本发明主要涉及块匹配算法。

根据块匹配算法,一个当前帧被分成多个检索块,检索块的大 小典型地在8×8至32×32象素范围之内,为了确定在当前帧中一 检索块的运动矢量,在当前帧的检索块和包含在前一帧内通常较大 检索区域中的多个同样大小的候选块的每一个之间执行相似计算。 误差函数,如平均绝对误差或均方误差被用于执行在当前的检索块 和在检索区域中的每个候选块之间的相似测量。并且,根据定义, 运动矢量表示在检索块和得出最小误差函数的候选块之间的位移。

在运动补偿编码方法中,编码性能很大程度上取决于运动矢量 的精度。在目前有效的方案中,例如,ISO/IEC MPEG标准中, 运动矢量可检测到半象素精度(参见MPEG视频模拟模式三,国际 标准化组织,图象和音频信息的编码表示,1990年ISO IEC/JTC1 /SC2/WG8 MPEG90/041)。

在通常的半象素分辨率运动估算器中,运动估算分两步执行, 首先,由当前帧中每个检索块得出整数值的全象素分辨率运动矢量, 然后,全象素分辨率运动矢量精选到半象素精度,由此确定一块的 最后半象素分辨率运动矢量。该半象素分辨率运动矢量可以有非整 数值,并指向在若干全象素位置之间的一个位置。用于在半象素分 辨率,即半象素分辨率候选块中的估算和补偿的候选块是空间的前 一帧的内插块,并且也包含在相应的检索区域内,该检索区域被称 为半一象素分辨率检索区域(例如,参见Lucas等人的已公开的欧 洲专利,专利号为0560577A2)。用于半象素分辨运动矢量的检索通 常遵循全象素分辨率运动矢量估算,以致使半象素分辨率运动矢量 围绕由全象素分辨运动矢量表示的一个位置检索。

在得出最小误差函数的半象素分辨率候选块不包括在由该块的 全象素分辨率运动矢量产生的半象素分辨率检索区域的情况下,由 于其它半象素分辨率位移会得出较小的误差函数,所以尽管从半象 素分辨率检索区域得出的最后的半象素分辨率运动矢量将不是最佳 的。

因此,本发明的主要目的是提供一种用于决定一块的精确的半 象素分辨率运动矢量的方法,它不限于被该块的全象素分辨率运动 矢量所规定的半象素分辨率检索区域从而改善了总的压缩效果。

根据本发明,提供一种用于确定视频信号的在当前帧和它的前 一帧之间运动矢量到半象素精度的精度,其中当前帧被分成多个大 小相等的检索块,且前一帧由包含相应的多个检索区域构成,上述 检索区域的每一个具有多个上述大小相同的候选块,该方法包括下 列步骤:

i)计算误差函数,每个上述误差函数表示在当前帧的检索块和 每个全象素分辨率侯选块之间的差,即每一个都具有包含在前一帧 的相应检索区域中的整数值的位移;

ii)选择预定数目的全象素分辨率运动矢量,用于得出该预定数 目的最小误差函数的检索块,其中上述预定数目一般大于1,但是 小于在相应于检索块的检索区域中候选块的数目;

iii)获得在由全象素分辨率运动矢量之一规定的半象素分辨率 检索区域中的半象素分辨率候选块;

iv)计算和比较误差函数,每个上述误差函数表示在当前帧中 的检索块和每个半象素分辨率候选块之间的差,从而选择得出最小 误差函数的半象素分辨率块;和

v)对于下一个全象素分辨率运动矢量,重复步骤iii)和iv),直 到在相应于该块的最后全象素分辨率运动矢量的最后半象素分辨检 索区域中的所有半象素分辨率候选块都被处理为止,从而得出该块 的最后半象素分辨率运动矢量。

本发明上述的和其他的目的和优点从下面对结合附图的优选实 施例的描述中将变得更明显。其中:

图1是采用本发明的运动估算器的先有技术的视频编码器的方 框图

图2表示本发明的运动估算器的方框图;

图3示意他说明图2中所示的全象素分辨率运动矢量检测器;

图4表示解释在图3的运动矢量比较器中执行程序的流程图; 和

图5描绘了图2的半象素分辨率运动矢量检测器的方框图。

参照图1,它表示采用本发明的运动估算器110的视频编码器的 方框图。当前帧数据101被送到减法器102和运动估算器110,实 际上根据逐块从输入存贮器(未示出)读出当前帧数据,其中每个 帧按用于逐块地处理它们的象素数据的顺序块存贮。典型地,该地 大小在8×8至32×32象素范围之内。

在减法器102.从当前帧数据的检索块中减去一块来自运动补 偿预测器122的预测帧数据103,而且,所得的数据,即差分象素 数据被传送到变换编码器105,其中差分象素数据块被编码成一组 变换系数(例如通过使用离散余弦变换),该变换系数在量化器106 量化。其后,量化的变换系数经两个信号路径传输:一个通路通向 熵编码器107,其中量化的变换系数和运动矢量119是通过例如扫 描宽度和可变宽度编码一起组合编码的,而另一个通路通向一个反 量化器113,然后到逆变换编码器114,其中量化的变换系数分别由 反量化和逆变换变换成再现差分象素数据。该再现差分象素数据和 从运动补偿预测器122预测的数据在加法器115组合,以提供写入 存储器121的再现当前帧数据。

通过使用块匹配算法,在本发明的运动估算器110处理当前帧 数据101和来自帧存贮器121的再现前一帧数据118来确定运动矢 量,运动估算器110将参照图2至图5在后面进行描述。运动矢量 119加到运动补偿预测器122,其中预测数据,即相应于运动矢量119 的候选块数据按逐块从帧存贮器121中检索出,并提供给减法器102 和加法器115,用于进一步处理。运动矢量119也送到熵编码器107。

在本发明的运动估算器110中,运动矢量用后面描述的不同分 辨率大小分两个步骤确定。

图2说明图1所示的本发明的运动估算器110的方框图。当前 帧数据101和再现前一帧数据118被加到全象素分辨率运动矢量检 测器160和半象素分辨率运动矢量检测器170。该全象素分辨率运 动矢量检测器160确定相应于在一个检索区域中的多个最佳匹配块 的多个全象素分辨率运动矢量。这些全象素分辨率运动矢量被传送 到半象素分辨率运动矢量检测器170,其中半象素分辨率运动矢量 是通过选择从包含在多个半象素分辨率检索区域的所有半象素分辨 率候选块中得到最小误差函数的半象素分辨率来确定的,每个半象 素分辨率检索区域相应于全象素运动矢量中的一个。

参照图3,它示出了图2所示的全象素分辨率运动矢量检测器160 的方框图。当前帧数据110和前一帧数据118输入到块选择器220, 在该块选择器220中,在相应于当前帧的检测块的检索区域中的一 组全象素分辨率候选块都是从前一帧中选择的。这些在线222上被 选的候选块和在线224上的检索块都被输入到块比较器230。该块 比较器230计算误差函数,每个误差函数表示在当前帧中的检索块 和包含在前一帧的检索区域中具有整数值的位移的每个候选块之间 的差。这些在线236上的误差函数和来自块选择器220在线233上 的相应的位移都输入到运动矢量比较器240。该运动矢量比较器240 比较误差函数,并选择根据图4描述的方法产生多个最小误差函数 的多个位移。

图4表示选择预定数目,例如在运动矢量比较器240中N个全 象素分辨率运动矢量的一种方法。SEi′S和SDi′S是两组变量,以 分别贮存N个所选误差函数和相应位移。其中i是从1到N的正整 数值,在步骤S1,SEi′S是预置为大于最大误差函数值的值。i的 初始值为1。因此,在步骤S2中,第一候选块的位移D1和误差函 数E1都从图3所示的块选择器220和块比较器230中读出。然后, 在步骤S3中,E1与所有的SEi值比较。在步骤S4中,如果SEi值 之一大于E1,则最大的SEi值被删除,剩余的SEi值和E1被重新排 列。例如按与较小误差函数值有关的i的较小值升序,并返回存贮 在SEi′S中,用于下一个选择块的处理。如果所有的SEi值都小于 E1,则SEi′S保持相同。在步骤S4中,根据重新排列的SEi′S, 位移也被贮存在SDi′S。实际上,所有的SEi值都预置为相同值, 并大于E1。在多数SEi′S具有相同的最大值和其值大于E1的情况 下。任何SEi′S中的值是不连续的,并且用E1代替。对于下一个 候选块,即在检索区域的第二个候选块重复步骤S2到S4。具体地 是,在步骤S2中,读出第二候选块的误差函数E2和位移D2。然后, 在步骤S3中,E2与所有SEi值比较。在步骤S4中,如果SEi值之 一大于E2,则最大的SEi值被删除,并且剩余的SEi值和E2重新排 列并返回存贮在SEi′S中,用于下一个候选块的处理。在步骤S4 中,根据重新排列SEi′S,位移也被存贮在SDi′S中。对于剩余的 候选块,重复步骤S2至S4,直到在检索区域的所有候选块都被处 理为止。在所有候选块都被处埋后,即i等于检索区域中候选块的 数目,保留在SDi′S中的位移是按相对于检索块的全象素分辨率运 动矢量确定的。

图5是图2所示的半象素运动矢量检测器170的方框图。内插 帧数据,即在半象素位置中前一帧数据在帧内插器410被算出。块 选择器420接收内插帧数据和当前帧数据101以及来自图3所示的 运动矢量比较器240的全象素分辨率运动矢量245。在块选择器420 中,相应于全象素分辨率运动矢量之一的半象素分辨检索区域中的 半象素分辨率选择块从内插帧中被选出。在每个检索块的处理结束 时,在块选择器420上还产生检索终了信号。在线422上半象素分辨 率候选块之一和在线423上当前帧的检索块被传送到块比较器430, 从而计算该两个块之间的误差函数。在线421上两个块之间的相应 半象素分辨率位移送到存器460。误差函数A被传送到比较器440 和锁存器450。在每个检索块处理开始时,在比较器440中B预置 到其某个大的值,以便用如后面所解释的误差函数代替。比较器440 把误差函数A与存贮值B进行比较。如果A<B,则比较器输出一个 脉冲到锁存器450,锁存或贮存代替B的误差函数A,从而用新的 误差函数代替先前存贮值。在这种情况下,半象素分辨率块的位移 也由锁存器460锁存。如果A≥B,则B值保持不变,与在锁存器460 中位移保持一致。在块选择器420输出与全象素分辨率运动矢量有 关的所有半象素分辨率侯选块之后,对于由下一个全象素分辨率运 动矢量表示的下一个检索区域,重复计算和比较误差函数的过程。 在相应于全象素分辨率运动矢量的每一个所有半象素分辨率检索区 域已处理后,相应于每个全象素分辨率运动矢量的所有检索区域中 得到最小误差函数的半象素分辨率位移保留在锁存器460中,同时 在块选择器420产生检查终了信号,锁存在锁存器460的位移进入 锁存器470,其中在输出导线上的值表示与当前帧的检索块有关的 最后半象素分辨率运动矢量。根据这个方法,半象素分辨率运动估 算是对于相应于每个全象素分辨率运动矢量的多个检索区域执行 的,提供了更为精确的半象素分辨率运动矢量。

虽然已经根据半象素分辨率运动矢量对本发明进行了描述,但 是,运动矢量(利用各种子象素分辨率计算的)例如1/4象素分辨 率可用于编码运动图象,并且能够用在这里出现的同样的方法计算 所述的运动矢量。

因此,当根据具体实施例描述本发明时,本领域的普通技术人 员将会理解:所做的各种变化和改型,都没有脱离在下面的权利要 求中所定义的本发明的精神和范围。

高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈