首页 / 专利库 / 视听技术与设备 / 帧间位移误差 / 用于图象信号编码系统的运动矢量估算方法和设备

用于图象信号编码系统的运动矢量估算方法和设备

阅读:171发布:2020-11-29

专利汇可以提供用于图象信号编码系统的运动矢量估算方法和设备专利检索,专利查询,专利分析的服务。并且估算特征点 运动矢量 的设备。运动矢量探测器对各特征点确定一组初始运动矢量。位移发生器向选出的特征点的初始运动矢量提供N个位移量以产生N个待选运动矢量。预测器给出当前 帧 中的各准特征点并利用N个待选运动矢量从所选特征点产生N个选出的准特征点。权重因子发生器根据当前六边形中各象素和各主准特征点的 位置 数据产生一权重因子。运动矢量选择器从待选运动矢量中选出一使利用当前和前一帧六边形间的权重因子得到的误差值最小的运动矢量。,下面是用于图象信号编码系统的运动矢量估算方法和设备专利的具体信息内容。

1、一种用于图象信号编码系统的方法,用来对各 个特征点估算一组运动矢量,每个特征点都是位在一个 分布于前一上的六边形栅格的节点上的一个象素点, 该方法包括以下步骤:
(a)依次地把各个特征点设定为主特征点,其中 的主特征点被它的六个相邻特征点所包围,由此定义出 一个前一帧六边形,该前一帧六边形具有一组六个三 形,每个三角形都由连接主特征点和它的两个相邻特征 点所形成;
(b)探测各特征点在当前帧和前一帧之间的第一 组初始运动矢量;
(c)存储第一组初始运动矢量;
(d)利用第一组初始运动矢量在当前帧中确定对 应于每个前一帧六边形的当前六边形;
(e)依次地在预定的N个位移量中的每一个位移 量上加上相应于每个主特征点的初始运动矢量,由此产 生一组N个待选运动矢量;
(f)对含在每个当前六边形内的每个六三角形组 中的每个象素,从前一帧中推导出一个预测的象素,并 产生上述每一组中的每个象素的位置数据;
(g)通过从上述每个象素的象素值中减去预测的 象素值,对含在上述每个六三角形组内的上述每个象素 产生一个差分象素值;
(h)根据上述每一组中的每个象素的位置数据和 对应于N个待选运动矢量中的每一个运动矢量的当前六 边形中的特征点的位置数据,有选择性地设定一个预定 的权重因子;
(i)将差分象素值与它的相应的权重因子相乘, 由此产生加权的差分象素值;
(j)通过对相应于上述每个当前六边形内的上述 每个六三角形组的加权差分象素值取平均,对上述每个 当前六边形中的上述N个六三角形组推导出N个误差值;
(k)比较上述N个误差值,以选出一个最小误差 值;
(l)从每一组的N个待选运动矢量中选出一个对 应于所选最小误差值的运动矢量;
(m)用所选出的运动矢量更新所存储的关于主特 征点的初始运动矢量;以及
(n)重复上述步骤(d)至(m),直到所有的 初始运动矢量都被更新。
2、根据权利要求1的方法,其中关于确定当前六 边形的上述步骤(d)包含以下步骤:
根据各特征点以及它们的运动矢量在当前帧中确定 各准特征点,其中当前六边形由连接对应于定义前一帧 六边形的各特征点的各准特征点所形成。
3、根据权利要求2的方法,其中关于推导预测的 象素值的上述步骤(f)包含以下步骤:
根据形成上述每个三角形的各准特征点和它们的对 应特征点之间的位置关系,对上述每个象素确定在前一 帧中的预测的位置;以及
根据预测的位置对上述每个象素给出预测的象素值。
4、一种用于图象信号编码系统的设备,用来对各 个特征点估算一组运动矢量,每个特征点都是位在分布 于前一帧中的一个六边形栅格的节点上的一个象素点, 该设备包括:
用来依次地把各个特征点设定为主特征点的装置, 其中的主特征点被它的六个相邻特征点所包围,由此定 义出一个前一帧六边形,该前一帧六边形具有一组六个 三角形区域,每个三角形都由连接主特征点和它的两个 相邻特征点所形成;
用来探测各特征点在当前帧和前一帧之间的第一组 初始运动矢量的装置;
用来存储第一组初始运动矢量的装置;
用来利用第一组初始运动矢量在当前帧中确定对应 于每个前一帧六边形的当前六边形的装置;
用来依次地在预定的N个位移量中的每一个位移量 上加上对应于每个主特征点的初始运动矢量的装置,由 此对每一个初始运动矢量产生一组N个待选运动矢量;
用来对含在每个当前六边形内的每个六三角形组中 的每个象素从前一帧推导出一个预测的象素值,并产生 上述每一组中每个象素的位置数据的装置;
用来通过从上述每个象素的象素值中减去预测的象 素值,对含在上述每一个六三角形组中的上述每个象素 产生一个差分象素值的装置;
用来根据上述每一组中的每个象素的位置数据和对 应于N个待选运动矢量中的每一个运动矢量的当前帧中 的特征点的位置数据,有选择性地设定一个预定的权重 因子的装置;
用来将差分象素值与它的相应的权重因子相乘的装 置,由此产生加权的差分象素值;
用来通过对相应于上述每个当前六边形中的上述每 个六三角形组的加权的差分象素值取平均,对上述每个 当前六边形中的上述N个六三角形组计算N个误差值的 装置;
用来比较上述N个误差值以选出一个最小误差值, 并从每一组的N个待选运动矢量中选出一个对应于所选 最小误差值的运动矢量的装置;
用来用所选出的运动矢量更新存储在存储装置内的 关于主特征点的初始运动矢量的装置;以及
用来当所有的初始运动矢量都已被更新时提取各更 新的运动矢量作为运动矢量组的装置。
5、根据权利要求4的设备,其中上述用来确定当 前六边形的装置包括:
用来根据各特征点以及它们的运动矢量在当前帧中 确定各准特征点的装置,其中当前六边形由连接对应于 定义前一帧六边形的各特征点的各准特征点所形成。
6、根据权利要求5的设备,其中用来推导预测的 象素值的装置包括:
用来根据形成上述每个三角形的各准特征点和它们 的各对应特征点之间的位置关系对上述每个象素确定在 前一帧中的预测的位置的装置;以及
用来根据预测的位置对上述每个象素给出预测的象 素值的装置。

说明书全文

技术领域

发明涉及一种用于图象信号编码系统的改进的运动矢量估算 方法和设备,较具体地说,涉及一种能够利用基于改进的特征点的运 动估算技术对所选的特征点正确地估算运动矢量的方法和设备。

背景技术

众所周知,发送数字图象信号能够比发送模拟信号给出质量高得 多的视频图象。当一个含有一系列图象“”的图象信号以数字形式 表示时,为了发送,需要产生大量的数据,在高清晰度电视系统中尤 其是如此。然而,由于一般发送通道中可得到的频带宽度是有限的, 为了通过该有限的通道带宽发送大量的数字数据,不可避免地需要压 缩或减少发送数据的数据量。在各种视频压缩技术中,已知所谓的混 合编码技术是最为有效的,该技术结合了时间和空间压缩技术和统计 编码技术。
大多数混合编码技术利用了运动补偿的DPCM(差分脉冲编码 调制),二维DCT(离散余弦变换),DCT系数量化,以及VLC (变长度编码)。运动补偿的DPCM是一种确定一个物体在当前帧 和其前一帧之间的运动的处理,并根据该物体的运动来预测当前帧, 以产生代表当前帧和预测当前帧之间的差别的差分信号。这个方法已 在例如下述文献中说明:Staffan Ericsson,“用于混合预测/变换 编码的固定的和自适应的预测器(Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding)”,IEEE Transactions on Communications,COM-33,No.12(1985年12月);以及Ninomiya 和Ohtsuka,“一种用于电视图象的运动补偿帧间编码方案(Amotion- Compensated Interframe Coding Scheme for Television Pictures)″,IEEE Transactions on Communications,COM-30, No.1(1982年1月)。
特别地,在运动补偿的DPCM中,当前帧数据是基于对当前帧 和前面帧之间的运动估算,从相应的前一帧数据中预测到的。这种估 算的运动可以用代表前一帧和当前帧之间的象素位移的一些二维运动 矢量来描述。已经提出了许多方法来估算一个物体上的各象素的位 移。一种运动估算技术包含了利用一些特征点的逐个象素的运动估 算,其中每个特征点被定义为能够代表其邻近象素的象素点。在利用 特征点的运动估算技术中,首先从包含在前一帧的所有象素中选出一 些特征点。然后利用匹配算法确定所选各特征点的运动矢量,其中 每一个运动矢量都代表前一帧中的一个特征点和当前帧中的相应匹配 点(也即最相似象素)之间的空间位移。特别地,每个特征点的匹配点 都是在当前帧中的一个搜索区内经过搜索得到的,其中的搜索区被定 义为在一个预定区域内的一个区域,它包含了相应特征点的位置。然 而,在逐个象素的运动估算中,如果在一个图象块内所有的象素并不 以同样的形式运动时,就不容易估算例如一个特征点的真实的运动。
另一种用来估算特征点的运动矢量的运动估算技术已在下述待批 共有的中国专利申请CN95105516.X中公开,该申请的标题为“用于 确定所选象素的真实运动矢量的方法和设备”。
在所公开的用于确定含在前一帧内的特征点的真实运动矢量的方 法和设备中,首先确定各特征点的一组初始运动矢量。接着,给一个 选定的特征点的初始运动矢量提供N个预定的位移量,由此对该所选 特征点产生一个有N个待选运动矢量的子组。该所选特征点被它的例 如四个相邻特征点所包围,形成了一个具有一组四个三形的前一帧 菱形。然后,通过利用相邻特征点的初始运动矢量,从相邻特征点给 出当前帧中的准特征点;并且还利用N个待选运动矢量从所选特征点 产生出一组N个被选准特征点。四个准特征点构成一个当前菱形,它 具有由N个被选准特征点所确定的N个四三角形组。最后,从待选运 动矢量子组内的N个待选运动矢量中选出一个真实运动矢量,其中, 该真实运动矢量是对应于当前菱形中一个四三角形组的待选运动矢量 子组中的一个待选运动矢量,它产生当前菱形和前一帧菱形之间的最 小的误差值。
然而,由于以往技术的设备在推导最小误差值时没有考虑到组 内所选准特征点的位置和当前菱形内每个象素的位置之间的距离,所 以对相应于所选准特征点的特征点,并不总是能够给出真实的运动矢 量。

发明内容

因此,本发明的一个主要目的是,提供一种用于图象信号编码系 统的改进的方法和设备,用来通过利用基于改进的特征点的运动估算 技术,正确地估算各特征点的运动矢量,由此改进系统的性能。
根据本发明的一个方面,提供了一种用于图象信号编码系统的方 法,用来对各特征点估算一组运动矢量,每个特征点都用位在分布于 前一帧中的一个六边形栅格的节点上的象素位置来定义,该方法包括 以下步骤:
(a)依次地把各个特征点设定为主特征点,其中的主特征点被 它的六个相邻特征点所包围,由此定义出一个前一帧六边形,该前一 帧六边形具有一组六个三角形区域,每个三角形都由连接主特征点和 它的两个相邻特征点所形成;
(b)探测各特征点在当前帧和前一帧之间的第一组初始运动矢 量;
(c)存储第一组初始运动矢量;
(d)利用第一组初始运动矢量在当前帧中确定对应于每个前一 帧六边形的当前六边形;
(e)依次地在预定的N个位移量中的每一个位移量加上相应于 每个主特征点的初始运动矢量,由此产生一组N个待选运动矢量;
(f)对含在每个当前六边形内的每个六三角形组中的每个象 素,从前一帧中推导出一个预测象素,并产生上述每一组中的每个象 素的位置数据;
(g)通过从上述每个象素的象素值中减去预测的象素值,对含 在上述每个六三角形组内的上述每个象素产生一个差分象素值;
(h)根据上述每组内的每个象素的位置数据和对应于N个待选 运动矢量中的每个运动矢量的象素的位置数据,有选择性地设定一个 预定的权重因子;
(i)将差分象素值与它的相应的权重因子相乘,由此推导出加 权的差分象素值;
(j)通过对相应于上述每个当前六边形内的上述每个六三角形 组的加权差分象素值取平均,计算上述N个六三角形组的N个误差 值;
(k)比较上述N个误差值,以选出一个最小误差值;
(l)从每一组的N个待选运动矢量中选出一个对应于所选最小 误差值的运动矢量;
(m)用所选出的运动矢量更新所存储的关于主特征点的初始运 动矢量;以及
(n)重复上述步骤(d)至(m),直到所有的初始运动矢量 都被更新。
根据本发明的另一个方面,提供了一种用于图象信号编码系统的 设备,用来对各特征点估算一组运动矢量,每个特征点都用位在分布 于前一帧中的一个六角形栅格的节点上的象素位置来定义,该设备包 括:
用来依次地把各个特征点设定为主特征点的装置,其中的主特征 点被它的六个相邻特征点所包围,由此定义出一个前一帧六边形,该 前一帧六边形具有一组六个三角形区域,每个三角形都由连接主特征 点和它的两个相邻特征点所形成;
用来探测各特征点在当前帧和前一帧之间的第一组初始运动矢量 的装置;
用来存储第一组初始运动矢量的装置;
用来利用第一组初始运动矢量在当前帧中确定对应于每个前一帧 六边形的当前六边形的装置;
用来依次地在预定的N个位移量中的每一个位移量上加上对应于 每个主特征点的初始运动矢量的装置,由此产生一组N个待选运动矢 量;
用来对于含在每个当前帧六边形内的每个六三角形组中的每个象 素,从前一帧推导出一个预测象素,并产生上述每一组中的每个象素 的位置数据的装置;
用来通过从上述每个象素的象素值中减去预测象素的值,对含在 上述每个六三角形组内的上述每个象素产生一个差分象素值的装置;
用来根据上述每组内的每个象素的位置数据和对应于N个待选运 动矢量中的每一个运动矢量的象素的位置数据有选择性地设定一个预 定的权重因子的装置;
用来将差分象素值与它的相应的权重因子相乘的装置,由此推导 出加权的差分象素值;
用来通过对相应于上述每个当前六边形内的上述每个六三角形组 的加权差分象素值取平均,计算关于上述N个六三角形组的N个误差 值的装置;
用来比较上述N个误差值,以选出一个最小误差值,并从每一组 的N个待选运动矢量中选出一个对应于所选最小误差值的运动矢量的 装置;
用于用所选出的运动矢量更新存储在存储装置中的关于主特征点 的初始运动矢量的装置;以及
用于当所有的初始运动矢量都已被更新之后,提取更新后的各 运动矢量,作为运动矢量组的装置。
附图简述
本发明的上述目的以及其他目的和特点将通过下面结合附图对优 选实施例的说明而变得清楚,在附图中:
图1是利用本发明的新颖运动估算装置的图象信号编码系统的方 框图
图2给出图1所示运动估算装置的详细方框图;
图3示出关于定义特征点的一个示范性帧;
图4示出根据本发明的一个优选实施例的用来选择特征点的分布 在前一帧上的一个六边形栅格;以及
图5A和5B分别示出前一帧中和当前帧中六边形的形成。

优选实施例的详细描述

参见图1,那里示出了利用本发明的新颖运动估算装置200的一 个图象信号编码系统的方框图。输入数字图象信号作为当前帧信号存 储在第一存储器100中。
在运动估算装置200中,对通过线路L10从第一帧存储器100 提取的当前帧信号和通过线路L12来自第二帧存储器124的重建的 前一帧信号进行处理,以产生关于各特征点的估算的第一组运动矢量 和特征点位置数据。关于运动估算装置200的细节将参考图2予以说 明。来自运动估算装置200的第一组运动矢量通过线路L20被施加 给当前帧运动矢量探测器126和熵编码器107,而特征点的位置数据 则通过线路L25输送给当前帧运动矢量探测器126。
在当前帧运动矢量探测器126中,利用通过线路L20和L25由 运动估算装置200提供的第一组运动矢量和位置数据,确定出关于线 路L10上的当前帧中所有象素的第二组运动矢量。为了确定第二组 运动矢量,首先确定出各个准特征点,其中的准特征点代表着把前一 帧的特征点按第一组运动矢量移动后所得到的当前帧中的象素。在确 定了准特征点之后,按照下述方法确定非准特征点的运动矢量,非准 特征点是指当前帧中余下的象素点。
首先,用连接各准特征点的线段来确定多个不重叠的多边形,例 如六边形。然后,根据形成上述每个多边形的各准特征点和它们所对 应的各特征点之间的位置关系,确定当前帧每个多边形所含的每个象 素在前一帧中的预测位置。其后,根据预测位置从前一帧得到关于上 述每个象素的预测的象素值;然后根据一个象素的位置和它的预测位 置之间的位移确定出关于上述当前帧中每个象素的运动矢量。这样确 定的第二组运动矢量被提供给运动补偿器130,以在逐个象素的基础 上产生预测的当前帧。
运动补偿器130利用第二组运动矢量中的每个运动矢量,从通过 线路L12自第二帧存储器124读出的前一帧中提取准备含在预测的 当前帧内的每个象素的象素值,由此通过线路L30向减法器102和 加法器115提供预测的当前帧信号。
在减法器102中,从线路L11上的当前帧信号中减去线路L30 上的预测的当前帧信号;所得到的数据,也即代表当前帧信号和预测 的当前帧信号之间的差分象素值的帧差分信号,被输送给图象信号编 码器105,在那里,利用例如离散余弦变换(DCT)和已知的量化 方法把帧差分信号编码成一组量化的变换系数。
其后,量化的变换系数被传送给熵编码器107和图象信号解码器 113。在熵编码器107中,利用例如扫描长度和可变长度相结合的编 码技术对来自图象信号编码器105的量化的变换系数和线路L20上 的第一组运动矢量一起进行编码,以从熵编码器发送出去。同时,图 象信号解码器113利用逆量化和逆DCT把来自图象信号编码器105 的量化的变换系数转换回到重建的帧差分信号。
在加法器115中,来自图象信号解码器113的重建的帧差分信号 和线路L30上的预测的当前帧信号被相加而结合起来,由此向第二 帧存储器124提供准备作为前一帧信号写入的重建的帧信号。重建帧 差分信号的必要性在于,使编码器可以监视接收机中解码器的行为, 以防止编码器中重建的当前帧信号偏离于接收机中解码器的信号。
除了本发明有创造性的运动估算装置200之外,上面给出的图象 信号编码系统的详细说明已经在下述共有专利申请中公开;欧洲申请 95106854.3号和中国专利申请CN95105464.3,标题为“用来对视 频信号编码和解码的方法和设备”,这里引用它作为参考。
另一个适用于确定非准特征点的运动矢量的图象信号编码设备的 例子已在下述共有专利申请中公开:中国专利申请CN95101356.4, 标题为“利用逐个象素的运动预测对视频信号编码的方法和设备”, 这里也引用它作为参考。在该图象信号编码设备中,关于非准特征点 的每个象素位置的运动矢量是这样确定的:对位在一个圆形边界内的 各准特点的运动矢量取平均,这个圆的半径是通过把该象素位置与离 它最近的准特征点之间的距离加上一个预定的扩展半径来确定的,这 样就能使该圆包含准备用来计算运动矢量的其他准特征点。
现在参见图2,那里示出了图1中本发明的运动估算装置200的 详细方框图。如图2所示,线路L12上的前一帧信号被传送给特征 点选择器210、特征点运动矢量探测器220和当前六边形信号预测器 260。位在线路L10上的当前帧信号被输入给第三帧存储器270以便 存储在其中。
在特征点选择器210中,在含于前一帧内的各象素中选择出一些 特征点。特征点是那些能够代表前一帧中的各物体的运动的位置。
参见图3,那里示出了一个10×7象素的示范性帧。如果环绕着 帧的中心存在有一个运动物体,并且该运动物体的运动相继地由一组 象素,例如“511”至“519”,来代表,则这些象素就被选择为该帧 的一些特征点。
在本发明的一个优选实施例中,特征点是利用采用了各种类型的 栅格(例如如图4所示的六边形栅格)的栅格技术来确定的。如图4 所示,特征点位在该栅格的各个节点上。
回到图2,来自特征点选择器210的所选特征点的位置数据通过 线路L25被提供给图1中的当前帧运动矢量探测器126,这些数据还 输送给特征点运动矢量探测器220和六边形位置数据选择器240,以 存储在那里。
在特征点运动矢量探测器220中,根据来自特征点选择器210的 位置数据和从第三帧存储器270提取的当前帧信号,探测关于各所选 特征点的第一组初始运动矢量。第一组中的每个初始运动矢量都代表 前一帧中一个特征点和当前帧中与它最相似的象素之间的空间位移。 有许多处理算法可以用来在逐个象素的基础上探测运动矢量。在本发 明的一个优选实施例中,使用了块匹配算法。该算法是这样进行的: 当从特征点选择器210接收到一个特征点的位置数据时,通过线路L 12从图1中的第二帧存储器124提取前一帧中的一个以主特征点为 中心的有M×M(例如5×5)个象素的特征点块,其中M为一个正 整数。然后根据从一个误差函数,例如MAE(平均绝对误差)或M SE(均方误差)导出的相似性的计算,确定该特征点块的一个运动 矢量,上述误差函数表示特征点块和多个同样大小的待选块中每个待 选块之间的差别,这些待选块是含在从第三帧存储器270中提取的当 前帧中的一个通常较大的搜索区域(例如10×10个象素)内的,上 述运动矢量代表特征点块和能够产生最小误差函数的那个待选块之间 的位移。
然后,这样确定的运动矢量被设定为特征点的初始运动矢量。对 所有的特征点都探测了初始运动矢量之后,这些运动矢量作为第一组 初始运动矢量被传送给运动矢量存储器230以存储在那里。
同时,六边形位置数据选择器240依次地把存储在其内的各个特 征点指定为主特征点。如图5A所示,主特征点,例如517,被它的 六个目前没有被选为主特征点的相邻特征点511、512、513、514、515、 516所包围,由此形成了一个前一帧六边形,例如500,主特征点517 位在该六边形的中心,结果得到了一组六个三角形区域521、522、 523、524、525和526。每个主特征点,例如517,以及它的六个形 成前一帧六边形500的相邻特征点,例如511、512、513、514、515、 516的位置数据被传送到运动矢量存储器230。从六边形位置数据选 择器240把位置数据传送给运动矢量存储器230的操作是由来自控制 器300的第一控制信号CS1来控制的。
监视初始运动矢量在运动矢量存储器230中的存储状态的控制器 300通过向六边形位置数据选择器240和运动矢量位移发生装置250 提供第一和第二控制信号CS1和CS2来控制它们的操作。
同时,在对来自六边形位置数据选择器240的主特征点位置数据 作出响应时,存储在运动矢量存储器230中的相应的初始运动矢量被 依次地按预定的次数提供给运动矢量位移发生装置250;在对其六个 相邻点的位置数据作出响应时,相应的运动矢量被读出并被传送给当 前六边形信号预测器260。
运动矢量位移发生装置250包含运动矢量位移发生器252和加法 器254,用来对每个主特征点的初始运动矢量发生一组N个待选运动 矢量,其中N是一个正整数。较具体地说,在对来自控制器300的第 二控制信号CS2作出响应时,预先存储在运动矢量位移发生器252 中的N个预定位移量被依次地读出并提供给加法器254。在本发明的 一个优选实施例中,该位移量最好设定在相对于每个初始运动矢量的 平方向和垂直方向上的从(0,0)到(±2,±2)象素的范围内。 于是,在此情形下,上述的N等于25。这样,N个位移量依次地和 每个主特征点的初始运动矢量在加法器254中相加,由此对每个初始 运动矢量产生了一组N个待选运动矢量。然后,这组N个待选运动矢 量被提供给当前六边形信号预测器260和运动矢量选择装置290。
在当前六边形信号预测器260中,从位在线路L12上的前一帧 信号中推导出含在当前六边形内的所有象素的预测的象素值。为了推 导预测的象素值,首先从运动矢量存储器230读出形成前一帧六边形 500的六个顶点的初始运动矢量,并确定出准特征点,例如图5B所 示的511′、512′、513′、514′、515′和516′,这些点代表着把六个 特征点,也即前一帧六边形500的六个顶点511、512、513、514、515 和516,分别移动它们相应的初始运动矢量而得到的当前帧中的六个 象素。确定了准特征点之后,通过连接这六个准特征点511′、512′、 513′、514′、515′和516′就确定了一个当前六边形,如图5B中所 示的500′。
然后,确定一组N个主准特征点,它们代表着利用关于前一帧六 边形500中的主特征点的一组N个待选运动矢量在当前帧中产生的N 个象素。确定了各个准特征点和N个主准特征点之后,通过把上述N 个主准特征点中的每个主准特征点与它的两个相邻准特征点相连接, 对每个主准特征点确定一组六个三角形。在图5B中,示范性地示出 了通过连接六个准特征点511′、512′、513′、514′、515′和516′, 来产生一个当前六边形,例如500′的处理。该当前六边形500′有 一个主准特征点517′,由此形成一个对应于例如前一帧六边形500 的六三角形组,如图5B中以虚线表示的521′、522′、523′、524′、 525′和526′。尽管在图中没有特别地示出,但对熟悉本技术领域的 人们来说应该明白,由于从前一帧六边形500中的主特征点会推导出 N个待选运动矢量,所以每个当前六边形都将含有N个六三角形组。
其后,利用已知的仿射变换技术,对N个主准特征点中的每个点 进行每个当前六边形中的所有象素的预测。在本技术领域内周知,运 动物体的任何旋转、平移和缩放的组合都能够用仿射变换来表示。
如图5B所示,假定已确定当前六边形500′中的三个象素,即 两个顶点511′、512′和主准特征点之一517′为分别对应于前一帧 六边形500中的特征点511、512和517的准特征点,则当前六边形 500′的三角形521′中的各象素以如下定义的仿射变换与前一帧六 边形500的三角形521中的各象素相关联: x y = a b c d · x y + e f 其中(x,y)和(x′,y′)分别表示当前六边形中的一个象素和 前一帧六边形中的一个预测的象素位置的x和y坐标;a、b、c、 d、c和f是仿射变换系数。
这六个仿射变换系数是通过求解六个线性方程得到的,而这些线 性方程是从三组相关的特征点和准特征点,即511-511′、512-512′ 和517-517′得到的。一旦得知仿射变换系数后,便可以利用仿射 变换方程把三角形512′中的各个剩下的象素映射到三角形521中的 各个位置上。当前六边形500′中每个三角形内的各个象素就以这种 方法从前一帧六边形500预测出来。位在两个相邻三角形边界上的象 素可以从这两个三角形中的任何一个预测。当前六边形中象素的预测 处理重复地进行,直到所有N个六三角形组都处理完毕。原始主准特 征点及其形成当前六边形的六个相邻准特征点的位置数据以及其内所 含所有象素的位置数据都被提供给当前六边形信号发生器280,该发 生器的作用是产生当前六边形信号。N个主准特征点中的每个主准特 征点的位置数据和每个含在当前六边形内的象素的位置数据被提供给 运动矢量选择装置290。接着,对应于每个六三角形组的每个预测的 象素值被提供给运动矢量选择装置290。
当前六边形信号发生器280根据当前六边形中各象素的来自当前 六边形信号预测器260的位置数据,依次地从第三帧存储器270提取 当前六边形中的相应象素值,由此向运动矢量选择装置290提供每一 个象素值。运动矢量选择装置290包含一个减法器292,一个权重因 子发生器294、一个乘法器296、一个误差值计算器297、一个比较 器298、以及一运动矢量选择器299。
然后,减法器292通过从由当前六边形信号发生器280提供的象 素值中减去由当前六边形信号预测器260提供的相应的预测的象素 值,推导出当前六边形的每个六三角形组的各个差分象素值。接着, 在减法器292中导得的差分象素值被依次地提供给乘法器296。
同时,本发明的权重因子发生器294在对来自当前六边形信号预 测器260的当前六边形中每个象素的位置数据和N个主准特征点中每 个点的位置数据作出响应时,从预选存储在其内的多个权得因子中有 选择性地产生任一个权重因子。根据本发明,权重因子最好根据这样 一个原则来设定,即如果当前六边形内的一个象素的位置愈是接近于 N个主特征点中的一个点,则应该对它设定愈大的权重因子。这是因 为,在推导对应于主准特征点的那个特征点的准确的运动矢量时,较 为靠近主准特征点的那些象素比较为远离的那些象素更为重要。在本 发明的一个优选实施例中,权重因子在0.4到1的范围内确定。例 如,可以象表一所示那样来确定权重因子(表中假定范围区间的大小 为1.9,权重因子范围从0.4到1)。
从表一中可以看出,当一个主准特征点位置和当前六边形中的一 个象素的位置之间的距离在0到1.9之间时,对应的权重因子被选 为1;以及,当它们间的距离在4到5.9的范围内时,则权重因子 被选为0.6,等等。其后,来自减法器292的差分象素值和来自权 重因子发生器294的相应的权重因子被同时提供给乘法器296。
乘法器296把来自减法器292的差分象素值与来自权重因子发生 器294的相应权重因子相乘由此向误差值计算器297提供加权的差分 象素值。在误差值计算器297中,通过对各加权的差分象素值取平均 计算出关于当前六边形中相应的每个六三角形组的一个误差值,由此 对每个预测的当前六边形产生一组N个误差值。然后,每一组的N个 误差值被提供给比较器298。
比较器298对上述每一组中的N个误差值进行比较,由此从上 述每一组中选出一个最小误差值。通过这个比较处理,比较器298对 每一个当前六边形产生一个表明具有所选最小误差值的运动矢量的选 择信号,然后把该选择信号提供给运动矢量选择器299。运动矢量选 择器299在对来自比较器298的选择信号作出响应时,从存储在其内 的一组N个待选运动矢量中选择出对应于所选最小误差值的那个运动 矢量,作为每个所选特征点的运动矢量。然后,选出的关于每个特征 点的运动矢量通过线路L20被提供给图1中的当前帧运动矢量探测 器126;它同时也被提供给运动矢量存储器230,以便用该选出的运 动矢量更新存储在其内的主特征点运动矢量。应该看到,主特征点的 更新的运动矢量可以在推导其相邻特征点的运动矢量时被用作参考运 动矢量。
尽管本发明是通过具体的优选实施例来说明的,但对于熟悉本 技术领域的人们来说,显然可以在不偏离由下述权利要求所确定的本 发明的精神和范畴的情形下做出各种变化和修改
          表一 权重因子作为到主准特征点的距离的函数 主准特征点位置和当前六边 形中每个象素的位置之间的 距离范围 权重因子   0-1.9     1   2-3.9   0.8   4-5.9   0.6   6-   0.4
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈