首页 / 专利库 / 广播 / 帧内预测 / 具有改进的运动向量选择的运动向量估算

具有改进的运动向量选择的运动向量估算

阅读:259发布:2023-12-20

专利汇可以提供具有改进的运动向量选择的运动向量估算专利检索,专利查询,专利分析的服务。并且本 发明 提供了一种运动估算的改进方法。为此,两次评估运动向量估算的预测 质量 ,即通过单独地相对于两个在前场来比较预测质量,并且将两个所计算的误差值组合为单个误差值,以从多个候选向量选择最佳的运动向量估算。以这种方式,通过消除不可靠估算,仅仅通过引用单个候选向量不能检测到它们,来改善图像对象的实际运动的确定。,下面是具有改进的运动向量选择的运动向量估算专利的具体信息内容。

1.一种用于确定在视频图像序列中的当前图像的的运动向量的方法, 每个视频图像被划分为多个块,所述方法包括步骤:
提供对于当前块的运动向量的不同估算(C1-C7);
根据当前块和由运动向量估算(C1-C7)引用的在前图像的块来对于每个 运动向量估算(C1-C7)计算误差值(SAD场);
根据当前块和按照运动向量估算(C1-C7)引用的另一个在前图像(n-2) 中的块来对于至少一个运动向量估算(C1-C7)计算另一个误差值(SAD);
将根据单个运动向量估算(C1-C7)而计算的误差值(SAD场,SAD帧) 组合为用于所述选择步骤的单个误差值;
接收用于当前图像块的胶片模式指示;
如果所述胶片模式指示指示当前块在胶片模式中,则输出另一个所计算 的误差值(SAD帧)作为所述单个误差值;和
将那个运动向量估算(C1-C7)选择作为具有最小误差值的当前块的运动 向量。
2.按照权利要求1的方法,其中,通过计算平均值来组合所述误差值 (SAD场,SAD帧)。
3.按照权利要求1或2的方法,其中,所述误差值(SAD场,SAD帧) 被累加和除以所累加的误差值(SAD场,SAD帧)的数量。
4.按照权利要求1-3中的任一权利要求的方法,其中,在累加前加权所 述误差值(SAD场,SAD帧)。
5.按照权利要求4的方法,其中,不同的加权系数被分配到所述误差值 (SAD场,SAD帧)。
6.按照权利要求4或5的方法,其中,被分配到所述第一在前图像(n-1) 的所述误差值(SAD场)的加权系数大于被分配到所述另一个在前图像(n-2) 的误差值(SAD帧)的加权系数。
7.按照权利要求4-6中的任一权利要求的方法,其中,被分配到所述第 一在前图像(n-1)的所述误差值(SAD场)的加权系数是大约3/4,和分配到 所述另一个在前图像(n-2)的误差值(SAD帧)的加权系数是大约1/4。
8.按照权利要求1-7中的任一权利要求的方法,其中,所述运动向量估 算(C1-C7)是基于下述预测方案的至少一个:
指向当前块的块位置的运动向量估算(C1);
与对于在当前图像中的相邻块已经确定的运动向量对应的运动向量估算 (C2,C3);
与对于在当前图像(n)中的相邻块已经确定的运动向量对应的运动向量 估算(C4,C5),其中,通过加上更新向量(u)已经改变了向量长度;和
与对于在在前图像(n-1,n-2)的块已经确定的运动向量对应的运动向量 估算(C6,C7)。
9.按照权利要求1-8中的任一权利要求的方法,其中,根据在当前块和 由运动向量估算(C1-C7)引用的块之间的像素差的累加来计算所述误差值。
10.按照权利要求1-9中的任一权利要求的方法,其中,所述视频序列 是隔行扫描的视频序列。
11.按照权利要求1-10中的任一权利要求的方法,其中,所述另一个在 前图像(n-2)是在所述在前图像(n-1)之前的所述视频序列的图像。
12.按照权利要求8的方法,其中,按照与所述另一个在前图像(n-2) 的时间距离来调整运动向量估算(C1-C7)的长度。
13.按照权利要求1-12中的任一权利要求的方法,其中,对于所有预测 序列计算单个运动向量估算(C1-C7)的多个误差值。
14.按照权利要求1-13中的任一权利要求的方法,其中,所述视频序列 是隔行扫描的视频序列,由所述运动向量估算(C1-C7)引用的所述图像是紧 接在所述当前场(n)之前的场(n-1),和所述另一个在前图像是紧接在所述 被引用的图像之前的场(n-2)。
15.按照权利要求1-14中的任一权利要求的方法,还包括步骤:通过引 用另一个在前图像来计算单个运动向量估算(C1-C7)的至少第三个误差值。
16.一种编码视频图像的序列的方法,包括按照权利要求1-15中的任一 权利要求的运动估算方法。
17.一种用于内插视频图像序列的方法,包括使用按照权利要求1-15中 的任一权利要求的运动估算方法的运动补偿
18.一种运动估算器,用于确定在视频图像序列中的当前图像的块的运 动向量,每个视频图像被划分为多个块,所述运动估算器包括:
候选向量产生器(140),用于提供当前块的运动向量的不同估算(C1-C7);
第一误差计算器(130),用于根据当前块和由运动向量估算(C1-C7)引 用的在前图像(n-1)的块来对于每个运动向量估算(C1-C7)计算误差值(SAD场);
第二误差计算器(160),用于根据当前块和按照运动向量估算(C1-C7) 引用的另一个在前图像(n-2)中的块来对于至少一个运动向量估算(C1-C7) 计算另一个误差值(SAD帧);
组合器(150),用于将根据单个运动向量估算(C1-C7)而计算的误差值 (SAD场,SAD帧)组合为单个误差值;
所述组合器(150)接收用于当前图像块的胶片模式指示,并且如果所述 胶片模式指示指示当前块在胶片模式中,则输出另一个所计算的误差值(SAD帧 )来作为所述单个误差值;和
选择器,用于将那个运动向量估算(C1-C7)选择作为具有最小误差值的 当前块的运动向量。
19.按照权利要求18的运动估算器,其中,所述组合器(150)根据所 述误差值(SAD场,SAD帧)来计算平均值。
20.按照权利要求18或19的运动估算器,其中,所述组合器(150)累 加所述误差值(SAD场,SAD帧),并且将累加和除以所累加误差值(SAD场, SAD帧)的数量。
21.按照权利要求18-20中的任一权利要求的运动估算器,其中,所述 组合器(150)加权所述误差值(SAD场,SAD帧)。
22.按照权利要求21的运动估算器,其中,所述组合器(150)将不同 的加权系数分配到所述误差值(SAD场,SAD帧)。
23.按照权利要求21或22的运动估算器,其中,所述组合器(150)向 所述第一在前图像(n-1)的所述误差值(SAD场)分配一个加权系数,这个 加权系数大于被分配到所述另一个在前图像(n-2)的误差值(SAD帧)的加 权系数。
24.按照权利要求21-23中的任一权利要求的运动估算器,其中,被分 配到所述第一在前图像(n-1)的所述误差值(SAD场)的加权系数是大约3/4, 和分配到所述另一个在前图像(n-2)的误差值的加权系数是大约1/4。
25.按照权利要求18-24中的任一权利要求的运动估算器,其中,所述 候选向量产生器(140)基于下述预测方案的至少一个来产生所述运动向量估 算(C1-C7):
指向当前块的块位置的运动向量估算(C1);
与对于在当前图像中的相邻块已经确定的运动向量对应的运动向量估算 (C2,C3);
与对于在当前图像(n)中的相邻块已经确定的运动向量对应的运动向量 估算(C4,C5),其中,通过加上更新向量(u)已经改变了向量长度;和
与对于在在前图像(n-1。n-2)中的块已经确定的运动向量对应的运动向 量估算(C6,C7)。
26.按照权利要求18-25中的任一权利要求的运动估算器,其中,所述 误差值计算器(130,160)根据在当前块和由运动向量估算(C1-C7)引用的 块之间的像素差的累加来计算所述误差值。
27.按照权利要求18-26中的任一权利要求的运动估算器,其中,所述 视频序列是隔行扫描的视频序列。
28.按照权利要求18-27中的任一权利要求的运动估算器,其中,所述 另一个在前图像(n-2)是在所述在前图像(n-1)之前的所述视频序列的图像。
29.按照权利要求18-28中的任一权利要求的运动估算器,其中,所述 第二误差计算器(160)按照与所述另一个在前图像(n-2)的时间距离来调 整运动向量估算(C1-C7)的长度。
30.按照权利要求18-29中的任一权利要求的运动估算器,其中,所述 视频序列是隔行扫描的视频序列,由所述运动向量估算(C1-C7)引用的所述 图像是紧接在所述当前场(n)之前的场(n-1),和所述另一个在前图像是紧 接在所述被引用的图像之前的场(n-2)。
31.按照权利要求18-30中的任一权利要求的运动估算器,其中,所述 第二误差计算器(160)计算所有预测向量的单个运动向量估算(C1-C7)的 多个误差值。
32.按照权利要求18-31中的任一权利要求的运动估算器,还包括第三 误差计算器,用于通过引用另一个在前图像来计算单个运动向量估算(C1-C7) 的至少第三误差值。
33.一种编码视频图像的序列的编码器,包括按照权利要求18-32中的 任一权利要求的运动估算器。
34.一种用于内插视频图像序列的内插器,包括使用按照权利要求18-32 中的任一权利要求的运动估算器的运动补偿。

说明书全文

技术领域

发明涉及一种改进的运动估算。具体地说,本发明涉及用于估算在视 频序列中的图像和对应运动估算器之间的运动向量的方法。

背景技术

在不断增加的数量的应用中、特别是在现代电视接收机的数字信号处理 中使用运动估算。具体地说,现代电视接收机进行速率变化,特别是以上 变换或运动补偿上变换的形式,以提高所再现的图像的画面质量。例如,对 于具有50Hz到诸如60Hz、66.67Hz、75Hz、100Hz等的较高频率的场或 帧频的视频序列,执行运动补偿上变换。50Hz输入信号频率主要适用于基于 PAL或SECAM标准的电视信号广播,基于NTSC的视频信号具有60Hz的 输入频率。60Hz输入视频信号可以被上变换为诸如72Hz、80Hz、90Hz、 120Hz等的较高频率。
在上变换期间,产生中间图像,它们反映当不由50Hz或60Hz输入视 频序列表示时的在多个位置的视频内容。为此,需要考虑运动对象的运动以 便适当地反映在由对象的运动引起的随后图像之间的改变。基于块来计算对 象的运动,并且根据在前一个和随后图像之间新产生图像时的相对位置来进 行运动补偿。
对于运动向量确定,每个图像被划分为多个块。每个块进行运动估算, 以便检测对象自在前图像的移位。最好是通过使用多个预定的候选向量来避 免用于检测在预定搜索范围内的在前图像中的最佳匹配块的耗时的全搜索算 法。所述候选向量组包括多个预定的最可能的运动向量。
基于对于每个候选向量计算的误差值从候选向量选择运动向量。这个误 差函数估算在按照相应的候选向量而选择的在前图像中的当前块和候选块之 间的一致程度。具有最小误差函数的最佳匹配向量被选择作为当前块的运动 向量。作为对于在当前和前一个块之间的相似程度的量度,可以使用绝对差 的和(SAD)。
所述预定的候选向量组可以包括作为已经对于当前图像的相邻块被确定 的候选向量的运动向量、已经对于在类似位置的在前图像中的块被确定的运 动向量等。
Gerard de Haan等1998年2月在视频技术的电路和系统IEEE会刊第8 卷第一期中的文章“使用来自参数运动模型的候选向量的有效真实运动估算 器”(“An Efficient True-Motion Estimator Using Candidate Vectors from a Parametric Motion Model”from Gerard de Haan et al.in IEEE Transactions on Circuits and Systems for Video Technology,vol.8,no.1,February 1998)中描述 了作为候选向量的全局运动向量的计算。所述全局运动向量反映了图像的所 有块的公共运动。
EP-A-0 578 290描述了基于当前图像的相邻块的运动向量的另一种候选 向量。通过增加具有随机幅度的更新向量来修改这些向量的长度和方向。可 以通过向相应的SAD增加预定的惩罚(penalty)值来控制作为当前块的运动 向量的这些类型的向量的选择。按照所增加的惩罚,可以相应地降低被选择 作为当前块的运动向量的可能性。
除了图像内插之外,还在视频图像的编码期间使用运动估算,以便使用 暂时冗余度。为此,已经开发了多个视频编码标准。广泛使用的是被表示为 H.26x或MPEG-x的编码标准。
在高端电视接收机中使用的上变换算法受到当处理稀平行或周期结构 时引起的估算误差的影响。
由于按照隔行扫描电视标准PAL、SECAM或NTSC而发送的视频信号 的隔行扫描传输限制而引起在水平行的运动向量估算误差。在由在逐行扫描 图形中的两个相邻行的像素表示的稀水平行的情况下,这个行被划分为在逐 行扫描视频信号中的多个单独行,以便这两个行之一是第一场的部分,第二 行是下一个场的部分。一种运动估算算法将因此检测当随后场的行看起来重 复地从一个场向上运动和从下一个场向下运动时的随后的上升和下降方向的 运动向量。
另一个问题是由在输入序列中的周期结构引起的。在确定当前块的运动 向量后,运动估算算法将以提供相等的估算误差,即SAD值的多个不同的运 动估算返回。由于相等的估算质量,所述估算算法可以选择这些运动估算的 任何一种。但是不在用于确定这个块的正确运动的位置。
例如,假定具有6像素宽度的周期结构的图案以每个场7个像素的速度 移动。正确的运动估算将返回表示7像素移位的一个运动向量。但是,表示 1像素、-5像素、-12像素或13像素的移位的运动向量也产生相同的低误差 值。如果当前块完全位于具有周期图案的运动图像对象内则发生这样的问题。
如果不能确定精确地反映运动对象的正确运动的运动向量,则在运动补 偿图像中、特别是在水平行或周期结构上,强的人为因素变得很显著。

发明内容

本发明旨在改善运动补偿和提供一种用于确定运动向量的改进方法和一 种改进的运动估算器。
这是通过独立权利要求的特征来实现的。
按照本发明的第一方面,提供一种用于确定在视频图像序列中的当前图 像的块的运动向量的方法。每个视频图像被划分为多个块。为了确定运动向 量,所述方法提供对于当前块的运动向量的不同估算。根据当前块和由运动 向量估算引用的在前图像的块来对于每个运动向量估算计算误差值。根据当 前块和按照运动向量估算引用的另一个在前图像中的块来对于至少一个运动 向量估算计算另一个误差值。如果对于当前图像块接收到胶片模式指示,则 采用两个所计算的单独误差值的仅仅一个来选择运动向量。否则,将根据单 个运动向量估算而计算的误差值组合为用于选择步骤的单个误差值。将那个 运动向量估算选择作为具有最小误差值的当前块的运动向量。
按照本发明的另一个方面,提供了一种运动估算器,用于确定在视频图 像序列中的当前图像的块的运动向量。每个视频图像被划分为多个块。所述 运动估算器包括候选向量产生器、第一和第二误差计算器、组合器件和选择 器。候选向量产生器提供当前块的运动向量的不同估算。第一误差计算器根 据当前块和由运动向量估算引用的在前图像的块来对于每个运动向量估算计 算误差值。第二误差计算器根据当前块和按照运动向量估算引用的另一个在 前图像中的块来对于至少一个运动向量估算计算另一个误差值。如果对于当 前图像块接收到胶片模式指示,则选择器件根据两个所计算的单独误差值的 仅仅一个来选择运动向量。否则,组合器根据单个运动向量估算而计算的误 差值组合为单个误差值。选择器将那个运动向量估算选择作为具有最小误差 值的当前块的运动向量。
本发明的特殊手段是避免从多个候选向量错误地选择运动向量。一般, 运动向量的选择是基于所述所计算的最小误差值。本发明不仅仅使用通过引 用在前图像而计算的单个误差值。通过引用另一个在前图像来计算另一个误 差值,其中,运动向量长度相应地被调整。源于相同运动向量估算的两个所 计算的误差值被组合和与其他候选向量的误差值相比较。以这种方式,可以 通过提高所计算的误差值来有效地“惩罚”不正确地反映图像对象的实际运动 的运动向量。根据估算质量,对于相同运动向量估算计算的第二误差值引入 了错误运动向量的较高误差值,以便这些向量不可能被选择作为当前块的运 动向量。
这是当通过引用不包括稀行的图像部分而计算错误的运动估算的另外计 算的误差值的时候对于水平行被实现的,以便提高误差值。
当在引用不匹配周期图案的运动的另一个图像时,通过使用附加的误差 值作为所有错误运动向量来精确地检测周期图案的真实运动,所有错误运动 向量是惩罚从仅仅引用用于误差值计算的单个图像产生的。因此,本发明使 得能够以简单的方式来检测图像对象的真实运动。
如果在源于相同原始图像的至少两个连续场检测到胶片模式。因此,在 时间上较靠近当前场的在前场具有与当前场或与其他在前场相同的运动相 位。因此,基于在时间上靠近当前场的在前场的误差值将使得组合的单个误 差值失真。为了避免单个误差值的这种失真,仅仅使用在时间上相对于当前 图像更远的在前场来用于计算误差值。
最好是,一个被计算的平均值作为基于对于单个运动向量估算计算的误 差值的单个误差值。以这种方式,当选择当前块的适当运动向量时考虑相对 于两个在前图像的预测质量。
按照一个优选实施例,通过在计算平均值之前向误差值分配不同的加权 系数来计算两个误差值。以这种方式,可以调整第二误差值对于运动向量选 择的影响。
最好是,不同的加权系数被应用到两个所计算的误差值。通过向已经根 据在时间上靠近当前图像的在前图像而计算的误差值分配较大的加权系数, 可以更适当地考虑不同的图像类型。可以使用具有短时间距离的图像数据来 更准确地估算仅仅包括不规则结构的图像的运动。另一方面,可以使用两个 单独的误差值来确定周期结构的正确运动向量。使用不同大小的所述加权系 数,可以提供单个误差值,它同时反映对于包括不规则结构或周期结构的图 像的需要。
按照一个特定的优选实施例,被分配到基于在时间上靠近当前图像的在 前图像的误差值的加权系数是大约3/4,和分配到另一个误差值的加权系数是 大约1/4。这些特定的加权系数使得能够提供用于同时反映不同图像类型的需 要的最佳单个误差值。
最好是,以下的至少一个被用作用于选择当前块的运动向量的候选向量: 指向当前块的块位置的零运动向量、已经对于当前图像中的相邻块确定的运 动向量、已经对于在当前图像中的相邻块确定的运动向量,其中通过加上更 新向量来改变向量长度,和已经对于在前图像的块确定的运动向量。根据不 同的估算方案,可以高效率和精确地确定当前块的运动向量。
最好是,所述视频序列是隔行扫描的视频序列,用于计算误差值而引用 的图像是位于紧接当前场之前的两个场。
按照另一个优选实施例,对于所有运动向量估算方案计算多个误差值。
按照另一个实施例,通过引用另一个在前图像来计算单个运动向量估算 的至少第三误差值。以这种方式,可以以改进的精度来验证当前块的运动估 算的适用性。
本发明的优选实施例是从属权利要求的主题。
附图说明
通过下面对优选实施例的说明,本发明的其他实施例和优点将变得更明 显,其中:
图1示出了为了运动估算目的将一个视频图像划分为多个均匀大小的 块,
图2示出了空间预测序列的示例,
图3示出了空间和时间预测向量的示例,
图4示出了场速率变换器的示例配置,
图5示出了在隔行扫描视频序列中的稀水平行的表示的示例,
图6示出了通过引用单个在前场的不同候选序列而预测周期结构的示 例,
图7示出了通过不同的候选序列来预测周期结构,其中通过引用两个不 同的在前场来估算预测质量,
图8示出了按照本发明的运动估算器的示例配置,
图9示出了使用运动估算的混合视频编码器的示例配置。

具体实施方式

本发明涉及数字信号处理,特别是在现代电视接收机中的信号处理。现 代电视接收机使用上变换算法以提高所再现的画面质量。为此,要从两个后 续图像产生中间图像。为了产生中间图像,需要考虑移动对象的运动,以便 将对象位置适当地适配到由内插图像反映的时间点。
在块基础上进行运动估算。为此,每个所接收的图像被划分为多个块, 如例如图1所示。通过确定在在前图像中的最佳匹配块,每个当前块单独地 进行运动估算。
为了避免在预定搜索区域内的耗时的全搜索,仅仅向运动估算器提供有 限的一组候选序列。从这些候选向量,运动估算器从具有最小数量的偏移的 在前图像的相应块选择可以预测当前块的向量。
图1示出了将每个视频图像划分为多个块B(x,y)。每个块具有宽度X和 高度Y,其中,X和Y分别表示在行和列方向中的像素的数量。可以通过使 用下面的公式来计算每行或每列的块的数量:
xmax=每行像素/X
ymax=每列像素/Y
对于这些块的每一个,从多个不同的候选向量计算运动向量。传统上, 所述候选向量组包括例如下列运动向量:
C1=(0;0)
C 2 = v [ ( x - 1 ; y ) , n ]
C 3 = v [ ( x ; y - 1 ) , n ]
C 4 = v [ ( x - 1 ; y ) , n ] + u
C 5 = v [ ( x ; y - 1 ) , n ] + u
C 6 = v [ ( x + 2 ; y ) , n - 1 ]
C 7 = v [ ( x ; y + 2 ) , n - 1 ]
其中,n表示当前场,n-1表示在前场, 表示更新向量。
可以从上述方程看出,候选向量可以包括零运动向量(C1)用于空间预 测的相邻块的运动向量(C2,C3)和/或用于时间预测的在前图像的运动向量 (C6,C7)。
可以通过使用被累积为空间预测向量C2、C3的更新向量来改进空间预 测。为了考虑与所选择的候选向量相比较对象运动的较小变化,将更新向量 应用到运动向量以建立新的候选向量C4、C5。虽然在上述的候选向量列表中, 更新向量 仅仅被应用到候选向量C2和C3,但是它也可以以相同方式被应用 到任何其他的候选向量,诸如候选向量C6、C7。
虽然上述列表的时间预测向量C6和C7定义了具有两个块偏移的候选向 量的使用,但是也可以使用取代两个,诸如零、1、3等的任何其他偏移。
虽然已经就当前和在前图像描述了时间预测向量,但是术语“图像”可以 涉及隔行扫描视频序列的场或逐行扫描视频序列的帧。相应地,所产生的中 间图像可以是依赖于视频序列类型的场或帧。
而且,上述的候选向量列表既不是完全也不要求包括所有上述的候选向 量。可以使用任何其他的候选向量组来进行当前块的最佳匹配运动向量的确 定。
对于每个候选向量,计算和评估预测误差以便确定最佳匹配运动向量。 作为预测误差的量度,可以确定绝对差的和(SAD)。那个候选向量被选择和 被考虑来表示具有最小SAD的块的最佳运动。
当相对于其他候选向量更推崇运动向量候选C1-C7的某些时,可以向用 于单独候选的所确定的SAD加上可编程的“惩罚”。以这种方式,特定候选的 选择可以优先。最好是,所述惩罚值与运动向量候选C4、C5的更新向量 的 长度成比例。
除了候选向量的上述列表之外,还可以考虑全局运动向量。全局运动向 量表示适用于视频图像的所有块的运动。这样的运动向量适用于摄象机扫视。
图2示出了空间预测向量的一个示例。在当前图像n中的水平和垂直方 向中的相邻块的已经确定的运动向量可以有益地被用作空间预测向量,以便 计算当前块B(x,y)的运动向量。图2示出了当前块B(x,y)和来自当前场n 的两个可能的空间预测运动向量。
另外,图3示出了来自在前场n-1的可能时间预测向量B′(x+2,y)和B′(x, y+2)。虽然在图2和3中将特定的块图解为时间和空间运动向量预测,但是 本领域的技术人员知道可以使用来自当前块的位置的任何其他偏移。
图4示出了场速率变换器的配置。来自当前场n和在前场n-1的图像数 据被应用到运动估算器ME和运动补偿内插器MCI。运动估算器ME计算被 应用到运动补偿内插器MCI的当前图像的运动向量场。运动补偿内插器MCI 由此产生要被显示在显示器上的新图像数据。
图5示出了在隔行扫描水平图像的序列中由逐行扫描图像表示中的两个 相邻行表示的一个稀行的分布。所述稀行具有两个相邻行的高度,并且不在 随后的帧之间移动。如果帧被划分为顶场和底场,则单个行被划分为由顶场 和底场交替显示的两行。这是由与帧相比较场的垂直分辨率降低而引起的。 虽然PAL帧具有576行的分辨率,但是每个场仅仅包括288行。因此,480 行的一个NTSC帧是由两个240行的场组成的。
由于在连续场中行的不稳定的垂直位置,引用在前场的运动估算总是检 测相应的运动向量。
图6示出了以7像素/场的速度移动的6像素宽度的周期结构。当确定用 于这样的周期结构的运动的一个运动向量时,选择器可以等同地选择与所述 周期结构一致的预测之一。例如,移动7个像素或1个像素的图案将导致相 同低的误差值。
只要通过对于在前场评估时间预测而计算误差值,则在正确的运动向量 和相差周期结构的周期(即在图6的示例中的6个像素)的其他候选之间的 误差值中没有差别。但是,在确定不适当地反映有关另一个在前图像,例如 有关场n-2,的对象运动的运动向量候选的另一个误差值中,可以检测错误的 运动。为此,本发明建议不仅当计算误差值时考虑所述在前图像,而且考虑 另外的在前图像。图7示出了所得结果的不同运动估算。
图8示出了按照本发明的运动估算器的示例配置。当前输入场n被存储 在输入场存储器110中,并且被延迟装置121、123两次延迟一个场的周期, 被存储在另外的场存储器113、116中。由SAD计算器130、160并行地使用 相同候选向量来计算两个误差值。因此,第一误差计算器130根据场n和场 n-1的图像数据来计算第一误差值SAD场。第二误差计算器160根据场n和场 n-2的图像数据来计算第二误差值SAD帧。两个误差值被提供到加权单元150, 以便计算单个误差值SAD加权,它用于从由候选向量产生器140提供的多个候 选向量C1-C7确定当前的运动向量。
加权单元150向所计算的误差值SAD场和SAD帧分配加权系数。可以通 过向两个误差值分配大约0.5的相同加权系数来计算来自两个单独的误差值 SAD场和SAD帧的平均单个误差值。
但是,按照另一个实施例,不同的加权系数被应用到两个所计算的误差 值。较大的加权系数被分配到根据在时间上靠近当前图像的在前图像计算的 误差值SAD场。因此,可以更合适地考虑不同的图像类型。在可以使用基于 具有短时间距离的图像数据的误差值来更准确地确定包括不规则结构的图像 的运动的同时,使用两个单独的误差值来正确地确定周期结构的运动向量。 如测试所示,可以通过向SAD场分配加权系数0.75和向SAD帧分配加权系数 0.25来获得同时反映不同图像类型的需要的最佳单个误差值。
误差值组合器150还接收块模式或场模式信号,它在加权处理期间被考 虑来指示被分配到所计算的误差值SAD场和SAD帧的加权系数。所述块模式 信号可以指示所引用的图像数据的特定运动相位。以这种方式,当组合两个 误差值时可以考虑特定的运动相位结构。例如,块模式信号可以指示是否所 引用的图像数据涉及相同或不同的运动相位并相应地分配加权系数。
按照输入视频序列的所检测的胶片模式或视频模式,控制加权处理,以 便在加权处理期间由误差值组合器150适当地考虑在胶片模式期间的当前运 动相位的重复。如果检测到胶片模式,则仅仅SAM帧被使用,并且被传送到 误差值组合器150的输出来作为SAD加权。这样做是因为场n-1具有与场n相 同的运动相位,或场n-1具有与场n-2相同的运动相位,因此SAD场值将使得 所得结果的SAD失真。
本领域的技术人员知道可以在场或块基础上使用源模式信息。两种变异 导致视频模式和胶片模式源素材的良好估算结果。但是,在混合模式中,基 于块的模式检测将提供更好的估算结果。
对于所有的候选向量,对于每个候选向量C1-C7计算两次误差值,最好 是绝对差的和(SAD)。当计算在场n和场n-2之间的第二误差值时,运动向 量的长度随之适配,即与用于场n-1的运动向量相比较所述运动向量的长度 被加倍。
选择器(在图8中未示出)选择具有最低误差值SAD加权的运动向量估算。
与上述的估算手段相比较可以以不同的方式来计算候选向量C1-C7。上述 的编号和估算方案仅仅表示其优选的示例。
而且,可以通过加上所谓的“惩罚值”来进一步修改用于将单独的误差值 组合为单个误差值SAD加权的加权函数。例如,可以通过向与更新向量u成比 例的误差值加上一个值来惩罚上述的运动向量估算C4和C5。
而且,本发明可以不仅可以使用上变换算法,而且可以使用电视接收机 输入信号和视频压缩所使用的运动估算的标准变换。
虽然前面已经主要在中间图像的内插方面,特别是用于在现代电视接收 机中的场或帧速率变换方面描述了本发明,但是本发明的改进的运动估算也 可以以对应的方式被应用到视频数据压缩
视频数据的压缩一般使用多个主阶段(见图9)。每个单独图像被划分为 像素的块以便使得每个图像在块级上进行数据压缩。这样的块划分可以对应 于图1所示的划分。通过将每个块进行转换以便将每个块的像素从空间域向 频率域转换来降低在图像内的空间冗余。所得结果的转换系数被量化,并且 对量化的转换系数进行熵编码
而且,利用在随后图像的块之间的时间关联性,以便仅仅发送在后续图 像之间的差。这是通过使用运动估算/补偿技术来实现的。通过所谓的混合编 码技术来进行时间关联性的利用,所述技术将时间和空间压缩技术与统计编 码相组合。
参见图9,图9示出了混合视频编码器的一个示例。一般由标号1表示 的视频编码器包括减法器10,用于确定在当前视频图像和基于运动补偿的先 前编码图像的当前图像的预测信号之间的差。转换和量化单元20将来自空间 域的预测误差转换到频域中,并且量化所获得的转换系数。熵编码单元90对 所量化的转换系数熵编码。
编码器1使用差分脉码调制(DPCM),它仅仅发送在输入视频序列的随 后图像之间的差。这些差被由接收要编码的视频图像和要从其减去的预测信 号的减法器10确定。
所述预测信号基于在编码器处的先前编码图像的解码结果。这是通过被 并入到视频编码器的解码单元来实现的。解码单元以相反的方式来执行编码 步骤。逆量化和逆转换单元30解量化所量化的系数,并且将逆转换应用于解 量化系数。加法器35累加解码的差和预测信号。
预测信号由在当前和先前场或帧之间的运动估算产生。通过用于接收当 前输入信号和本地解码图像的运动估算器70来进行运动估算。最好是,按照 本发明来进行运动估算。根据运动估算的结果,由运动补偿器60进行运动补 偿。
总之,本发明提供了一种用于运动估算的改进方法。为此,两次评估运 动向量估算的预测质量,即通过单独地相对于两个在前场来比较预测质量, 并且将两个所计算的误差值组合为单个误差值,以从多个候选向量选择最佳 的运动向量估算。以这种方式,通过消除不可靠估算,仅仅通过引用单个候 选向量不能检测到它们来改善图像对象的实际运动的确定。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈