本发明涉及一种用于编码视频信号的方法和装置， 更具体地，涉及一种用于确定所选象素的当前帧和前一 帧之间的真运动矢量的方法和装置。

众所周知，与模拟信号的传送相比，数字化信号的 传送能够传送更高质量的视频图象。当包含一个图象帧 序列的图象信号被以数字形式表示时，大量的数据被生 成以被传送，在高清晰度电视系统中尤其如此。然而， 在传统传送信道中的可用频率带宽是有限的，为了通过 该有限的信道带宽传送如此大量的数字数据，不可避免 地要压缩或减少传送数据量。在各种视频压缩技术中， 以一种统计编码技术将时间和空间压缩技术结合在一起 的所谓混合编码技术被认为是最有效的。

大部分混合编码技术使用了运动补偿DPCM(差. 分脉码调制)、二维DCT(离散余弦变换)、DCT 系数的量化以及VLC(可变长度编码)。运动补偿D PCM是确定在一当前帧和其前一帧之间一物象的运动 以及根据该物象的运动流预测该当前帧以产生一个代表 该当前帧和其预测之间的差的差分信号。例如，该方法 在Staffan Ericsson的“用于混合预 测的/变换编码的固定及自适应预测器”(IEEE Tran- sactions on Communications，COM-33，No.12，1985年 12月)以及Ninomiya和Ohtsuka的“用于电视画面的运动 补偿帧间编码方案”(IEEE Transactions on Communications，COM-30，No.1，1982年1月)这两篇 文章中有所描述。

具体地，在运动补偿DPCM中，根据当前帧和前 一帧之间的运动的一个估算，从前一帧数据中预测当前 帧。该估算的运动可以以表示该前一帧和当前帧之间象 素的位移的二维运动矢量来表述。

已有许多种方法估算一物象的象素的位移。一种运 动估算技术包括利用特征点的逐象素运动估算，其中各 特征点被定义为一个能表示其相邻象素的象素的位置。 在该利用特征点的运动估算技术中，首先从包含于前一 帧中的所有象素中选择多个特征点。接着，利用一块匹 配算法确定所选特征点的运动矢量，其中，各运动矢量 表示在前一帧中的一个特征点和当前帧中的一相应匹配 点(即最相似的象素)之间的空间位移。具体地，在当 前帧的一搜索区内搜索各特征点的匹配点，其中该搜索 区定义为具有预定面积且包含相应特征点的一个区域。 然而，在该逐象素的运动估算中，如果在该块中的所有 象素不以同一方式运动，则不易估算例如一特征点的真 实运动。

因此，本发明的首要目的即在于提供一种改进的用 于确定所选象素的真运动矢量的装置。

根据本发明的一个方面，提供了一种用于确定所选 象素即特征点在当前和前一帧之间的真运动矢量的方法， 各特征点定义为位于画在前一帧上的一矩形格栅的结点 上的象素的位置，该方法包括以下步骤：(a)顺序指 定各特征点作为主特征点，其中该主特征点由其相邻的 四个特征点包围，这些特征点目前不被指定为主特征点， 由此限定一个前一菱形，该前一菱形具有一组四个三角 形，各三角形由连接该主特征点和与其相邻的两个特征 点而形成；(b)对这些特征点检测当前帧和前一帧之 间的第一组初始运动矢量；(c)为相应主特征点对各 初始运动矢量提供预定N个的位移以生成N个候选运动 矢量的一个子组；(d)通过利用该第一组运动矢量确 定对应于前一帧上的各前一菱形的当前帧上的当前菱形； (e)根据该N个候选运动矢量生成各当前菱形中的N 组四三角形；(f)为包含在当前菱形内的各组四三角 形中的各象素，从前一帧中导出一预测的象素以为其提 供一预测的象素值；(g)通过从所述各象素的象素值 中减去该预测的象素值为包含在各四三角形中的所述各 象素生成一差分象素值；(h)通过平均对应于各当前 菱形中的所述N组三角形的差分象素值为该N组三角形 计算N个误差值；(i)比较所述的N个误差值以选择 一具有最小误差的误差值；以及(j)从各N个候选运 动矢量的子组中选择对应于所选最小误差值的一个运动 矢量作为真运动矢量。

根据本发明的另一方面，提供了一种为特征点确定 在当前帧和前一帧之间的真运动矢量的装置，各特征点 定义为位于画在前一帧上的一矩形格栅的结点上的象素 的位置，该装置包括：用于顺序指定各特征点作为主特 征点的装置，其中该主特征点被其相邻的四个特征点( 它们此时未被指定为主特征点)包围而定义了一个前一 菱形，该前一菱形具有一组四个三角形区域，各三角形 由连接该主特征点及其两个相邻特征点而形成；用于为 各特征点检测在当前帧及前一帧之间的一第一组初始运 动矢量的装置；用于为相应主特征点对各初始运动矢量 提供预定的N个位移以由此生成N个候选运动矢量的一 个子组的装置；用于通过利用该第一组运动矢量在当前 帧上限定对应于前一帧中的前一菱形的当前菱形的装置， 用于根据该N个候选运动矢量生成各当前菱形中的N组 四三角形的装置；用于从前一帧为包含在当前菱形中的 各组四三角形中的各象素得出一预测的象素以为其提供 一预测的象素值的装置；用于通过从所述各象素的象素 值中减去该预测的象素值而为包含在各组四三角形中的 所述各象素生成一个差分象素值的装置；用于通过平均 对应于所述N组三角形的差分象素值为所述N组三角形 计算N个误差值的装置；用于比较所述N个误差值以选 择一具有最小误差的误差值的装置；以及用于从各N个 候选运动矢量的子组中选择对应于所选最小误差值的运 动矢量作为真运动矢量的装置。

本发明的上述及其它的目的和特征将从以下结合附 图给出的对优选实施例的说明中看出，附图中：

图1是使用了本发明的运动估算装置的一个视频编 码器的框图；

图2表示本发明的运动估算装置的详细框图；

图3表示用来限定特征点的一个示例性的帧；

图4显示了根据本发明一优选实施例的画于前一帧 上用于选择特征点的矩形格栅；以及

图5和图6分别显示了前一帧及当前帧中的菱形帧 的形成。

参看图1，其中显示了使用了本发明的运动估算单 元200的一个视频信号编码系统的框图。一个输入数 字视频信号被送入第一帧存储器100中以存储在其中。

在运动估算单元200，线L10上的从第一帧存 储单元100取出的一当前帧信号和线12上的来自第 二帧存储器124的一重构的当前帧信号被处理，以为 所选的象素，即前一帧中的多个特征点确定一第一组真 运动矢量。后面将参考图2说明运动估算单元200的 细结。来自运动估算单元200的运动矢量被通过线L 20送至一当前帧运动矢量检测单元140和一熵编码 器107，且用于特征点的位置数据通过线L25被送 至当前帧运动矢量检测单元140。

在当前帧运动矢量检测单元140，通过利用来自 运动估算单元200的该第一组真运动矢量及位置数据， 用于当前帧中的全部象素的一第二组运动矢量被确定。 为了确定该第二组运动矢量，首先确定准特征点，其中 准特征点表示当前帧中的那些从前一帧的特征点移动该 第一组运动矢量而来的象素。在确定了准特征点后，用 于非特征点，即当前帧中的剩余象素点的运动矢量被如 下确定。

首先，多个不重叠的多边形，例如三角形被由连接 准特征点的线段所定义。然后，根据构成所述各多边形 的准特征点和它们相应特征点之间的位置关系确定包含 在当前帧的各多边形中的各象素在前一帧中的预测位置。 之后，根据该预测的位置从前一帧中为所述各象素得出 一预测的象素值；接着从当前帧中的所述各象素和其预 测之间的位移确定用于该象素的运动矢量。该确定的第 二组运动矢量被提供给运动补偿单元130以逐象素地 预测该当前帧。

该运动补偿单元130通过利用包含在该第二组运 动矢量中的各运动矢量从第二帧存储器124中取出欲 被包含在预测的当前帧中的各象素的值，由此经由线L 30将该预测的当前帧信号提供至减法器102和加法 器115。

在减法器102，线L30上的该预测的当前帧信 号被从线L11上的当前帧信号上减去，且生成的数据， 即表示当前帧和该预测的当前帧之间差分象素值的一个 帧差信号被送至一图象信号编码器105，在那里，例 如通过利用离散余弦变换(DCT)及任何已知的量化 方法，一帧差信号被编码为一组量化的变换系数。

之后，该量化的变换系数被传送至熵编码器107 以及图象解码器113。在熵编码器107，来自图象 信号编码器105的该量化的变换系数以及经由线L2 0提供的该第一组运动矢量利用例如扫描宽度及可变长 编码技术的组合被一起编码以供发射。同时，图象信号 解码器113通过利用逆量化及逆DCT将来自图象信 号编码器105的量化的变换系数转变回一重构的帧差 信号。

来自图象信号解码器的该重构的帧差信号和来自运 动补偿单元130的该预测的当前帧信号在加法器11 5被组合，由此提供一个欲被作为前一帧写入第二帧存 储器124的重构的当前帧信号。

除了创造性的运动估算单元200之外，上述的视 频信号编码系统的详细说明公开于亦为本申请人拥有的 名为“用于编码/解码视频信号的方法及装置”的中国 专利申请及其相应的美国专利申请中，这些申请在此引 作参考。

另一种适于确定非准特征点的运动矢量的视频信号 编码装置的例子公开于亦为本申请人拥有的名为“用于 利用逐象素运动预测编码视频信号的方法及装置”的中 国专利申请95101985.6号(1995年2月 13日提交)和其相应的美国专利申请08/367, 520号中，这些申请在此亦引作参考。

在该视频信号编码装置中，用于非准特征点的一个 象素位置的一个运动矢量是通过平均位于一个具有一个 由从该象素位置到最近的准特征点的距离的和限定的半 径和一个用于在计算该运动矢量中包括其它特征点的预 定的扩展半径的环形边界内的准特征点而确定的。

参看图2，那里示出了示于图1的本发明的运动估 算单元200的详细框图。

如图2所示，线L12上的来自第二帧存储器12 4的前一帧信号被输入到一特征点选择单元210、一 特征点运动矢量检测单元212及一运动预测单元23 0中。线L10上的当前帧信号被提供给一第三帧存储 器205。

在特征点选择单元210，从包含在前一帧中的象 素中选择多个特征点。各特征点定义为该帧中一个能表 示一物象运动的象素的位置。参看图3，其显示了一个 示例性的10×7象素帧。如果一个运动物象存在于该 帧的中心附近且该运动物象由一组象素“A”至“I” 顺序地表示，这些象素即被选作该帧的特征点。

在本发明的优选实施例中，特征点是通过使用示于 图4的一矩形格栅的格栅技术确定的。如其中所示，特 征点位于该格栅的结点上。

再参看图2，来自特征点选择单元210的所选特 征点位置数据通过图1中的线L25提供至当前帧运动 矢量检测单元140并且也被输入至特征点运动矢量检 测单元212和菱形发生器216以存储之。

该菱形发生器216顺序地指定各特征点作为一主 特征点。如图5所示，一主特征点，例如“E”，被其 相邻的四个特征点A、B、C、D(这些特征点此时未 被选作主特征点)包围以由此形成前一菱形，例如52， 该主特征点E在该菱形中央且具有一组四个三角形区域 ABE、BCE、CDE及DAE。各主特征点(例如 E)的信息被经由线L52馈送至运动矢量位移发生器 218，而该主特征点及形成该前一菱形的其相邻特征 点(例如A、B、C、D)被经由线L54发送至运动 预测单元230。在特征点运动矢量检测单元21 2，用于特征点的第一组初始运动矢量根据存储于第三 帧存储器205的当前帧信号和来自特征点选择单元2 10的特征点的位置数据被检测。该第一组初始运动矢 量的每一个表示前一帧中一特征点和当前帧中一最相似 象素之间的空间位移。有多种可用于逐象素地检测运动 矢量的处理算法。在本发明的优选实施例中，利用了一 种块匹配算法，即，当从特征点选择单元210接收到 一特征点的位置数据时，一个具有特征点于其中心的前 一帧的例如5×5象素的特征点块被经由线L12从示 于图1的第二帧存储器124中取出。然后，在该特征 点块与包含在从图1的第一帧存储器100中取出的当 前帧的一个较大(例如10×10象素)搜索区中的多 个等大小候选块之间利用一误差函数(例如MAE(平 均绝对误差)或MSE(均方误差)的相似性计算之后， 用于该特征点块的一初始运动矢量被确定，其中，该运 动矢量是该特征点块和一个产生最小误差的候选块之间 的位移。该确定的运动矢量被设定为该特征点的运动矢 量。

在对所有特征点检测了该初始运动矢量之后，该第 一组初始运动矢量被提供给一运动矢量存储单元214 以存储之。存储于运动矢量存储单元214的初始运动 矢量被顺序地提供给运动矢量位移发生器218和运动 预测单元230。

该运动矢量位移发生器218向对应于由特征点存 储寄存器216指定的各主特征点的初始运动矢量给出 预定的N个位移，以由此由一个初始运动矢量产生一个 N个候选运动矢量的子组。根据本发明，该位移最好设 为相对于各初始运动矢量在水平和垂直方向从(0，0) 至(±2，±2)象素。相应地，所述N在此例中等于 25。该N候选运动矢量的子组被提供至选择电路24 2和运动预测单元230。

运动预测单元230生成一个对应于各前一菱形的 当前菱形以从前一帧为包含在该当前菱形的象素求出预 测值。为了生成该当前菱形，用于形成前一菱形的四个 顶点的运动矢量被从运动矢量存储单元214取出，且 表示从前一菱形上的四个特征点(即四个顶点)A、B、 C、D移动它们相应运动矢量而得来的当前帧中的象素 的准特征点例如A’、B’、C’、D’被确定。在确 定了该准特征点之后，该当前菱形(例如示于图6的6 2)通过连接该四个准特征点A’、B’、C’及D’ 而被限定。此时，关于当前菱形的生成的信息被送至一当 前菱形发生单元206。

接着，确定N个主准特征点的子组，该N个主准特征点的 子组表示由前一菱形中的用于主特征点的N个候选运动 矢量的子组在当前菱形中生成的象素，在确定了该准特 征点和N个主准特征点之后，通过连接所述各N个主准特 征点及其相邻的两个准特征点为N个主准特征点的每个 限定一组四三角形。在图6中，示例性地显示了通过连 接四个准特征点A’、B’、C’及D’生成一当前菱 形(例如6 2)的处理。该当前菱形具有一主准特征点 E’以由此形成一组四个三角形A’B’E’、B’C’ E’、C’D’E’及D’A’E’，该当前菱形例如 对应于示于图5中的前一菱形52。虽然未具体示出， 但各当前菱形由于从前一菱形中的特征点E得出的N个 候选运动矢量而将具有N组四三角形。

之后，通过利用一仿射变换技术对N个主准特征点 中的每个进行当前菱形内象素的预测。如本领域人员公 知的，一运动物象的转动、平移及比例变化的任意序列 都可由仿射变换表示。

如图5和图6所示，假设当前帧的三个象素，即两 个顶点A’、B’及一个主特征点E’被确定为对应于 前一菱形中的各特征点A、B、E的准特征点，在当前 菱形的一个三角形A’B’、E’中的象素通过如下定 义的位射变换与前一菱形中一个三角形ABE中的象素 对应起来： $\left[\begin{array}{c}{x}^{\prime }\\ y^{\prime }\end{array}\right]=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]·\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}e\\ f\end{array}\right]$

其中(x，y)表示当前菱形内的一象素的x和y 坐标，(x’，y’)表示前一菱形上的一预测的象素 位置的坐标，而a、b、c、d、e及f表示仿射变换 系数。

该六个仿射变换系数是通过解从三组相关特征点及 准特征点(即A-A’，B-B’及E-E’)得到的 六个线性方程而计算出的。一但该仿射系数已知，则三 角形A’B’C’E’中的剩余象素可利用该仿射变换 方程映射到三角形ABE的一个位置上。以此方式，包 括在当前菱形62中的各三角形中的象素可根据前一菱 形预测。在两个相接三角形边界上的象素可从两个三角 形中的任一个中预测出来。对应于各组四三角形，各预 测的象素的值被从第二帧存储器124中取出并送至一 减法器232。该预测当前菱形中的象素的处理对所有 N组四三角形重复。

同时，当前菱形发生器206根据由运动预测单元 230提供的当前菱形信息向减法器232提供用于各 来自第三帧存储器205的当前菱形的象素值。

减法器232然后通过从用于各当前菱形的象素值 中减去由运动预测单元230提供的预测象素值为当前 菱形的各组四三角形计算差分象素值。

误差值计算器234通过平均对应于当前菱形的各 组四三角形的差分象素值为当前菱形的各组四三角形计 算一误差值，以为每个预测的当前菱形产生一组N个误 差值。各组N个误差值然后被提供给比较器240。

比较器240比较各组中的N个误差值以从各组中 选择一个具有最小误差的误差值。根据该比较，比较器 240为各当前菱形生成一个指示最小误差值的选择信 号，该信号然后被送到选择器242。该选择器242 根据来自比较器240的选择信号，从来自运动矢量位 移发生器218的各子组N个候选运动矢量中选择一个 对应于所选误差值的运动矢量作为各指定特征点的真运 动矢量。用于各特征点的各真运动矢量然后被提供至图 1的线L10上的当前帧运动矢量检测单元122上。

虽然已对本发明结合具体实施例进行了说明，但对 本领域人员来说，不脱离由所附权利要求限定的发明范 围，很容易做出各种变化及修改。