本发明总体上涉及视频信号转换，更具体地涉及对用于高清晰度 显示的电影素材的运动补偿的场速率上转换。

随着按照先进电视系统委员会(ATSC)数字电视(DTV)标准的广 播的到来，特别是高清晰电视(HDTV)的到来，出现了在高清晰度电 视接收机上显示影片素材的需要。高清晰度电视所用的场速率(即每 秒钟内全场图象数或帧数)通常至少是50-60Hz并且可高达100- 120Hz。但是，由于历史上的机械-电学的原因，在创制影片素材中所 用的电影摄影机传统上是以每秒24帧的拍摄速率操作的。尽管新型的 电影摄影机已经作了改进，但现有的许多影片是以从前标准的拍摄速 率摄制的。而且，以24Hz拍摄的影片在转换到高清晰度的分辨率时提 供了与高清晰度的摄象机可相比拟的质量，因而消除了制片公司不再 使用传统摄影机而去购买高分辨率的摄影机的任何积极性。

将影片素材转换成更高的显示场速率通常是由简单的场重复实现 的，它利用已知的3∶2下拉或2∶2下拉技术。但是，这样的由简单的 场重复的场速率上变换会导致每个动作或运动状态(即帧)被多次显 示，使得运动物体在重复的运动状态中出现在与它们预期的空间-时间 位置稍微偏离的地方。对于慢速物体的动作这会导致运动的模糊，而 对快速物体的动作则导致运动的跳变。

为了改善上转换的影片素材的运动图象，必须增加运动的状态 (phase)的数量。在将影片素材上转换到标准清晰度(SD)的电视中 已为此总体目标开发了经运动补偿的上转换技术。例如，见G.de Haan 等人的《用于经运动补偿的去隔行扫描、减少噪声、和画面速率转换 的IC》，消费者电子学国际会议(ICEE)，1999，212-213页，和O.A.Ojo 和G.de Huan的《牢固的运动补偿视频上转换》，IEEE Tr.On Consumer Electronics，vol.43，No.4，1045-1056页，(1997年11月)。

除了更高的帧速率外，高清晰度电视还使用了比影片或标准清晰 度电视的素材大4到6倍的图象尺寸。因此，对于高清晰度电视，运 动估算的存储器大小和存储器带宽要求由于更高的象素分辨率而要比 标准清晰度素材的相应要求高出4到6倍。这些要求向消费者的解决 方案提出了可行性的问题。

因此，在本技术领域中具有这样的需要，即提供一种改进的影片 到视频的运动补偿技术以用于将影片素材上转换到高清晰度电视。

为了解决上面讨论的已有技术的缺点，本发明的第一个主要目的 是提供一个用于视频接收机中的视频转换器系统，其包括：

-欠采样单元，它将接收到的高清晰度大小的场欠采样成标准清 晰度大小的场；

-标准清晰度运动估算器，它产生运动矢量以便用于所述标准清晰 度大小的场的运动补偿的场速率上转换；

-定标单元，它为所述运动矢量定标以便用于高清晰度场速率上转 换；以及

-场速率转换器，它利用所述定标的运动矢量来进行所述高清晰度 大小的场的运动补偿的场速率上转换。

本发明的另一目的是提供一种视频接收机，它包括：输入端，用 于接收视频信号；和视频转换器系统，用于将高清晰度素材经过运动 补偿的场速率上转换成为高清晰度视频；所述视频转换器系统包括： 欠采样单元，它将接收到的高清晰度大小的场欠采样成标准清晰度大 小的场；标准清晰度运动估算器，它产生运动矢量以便用于所述标准 清晰度大小的场的运动补偿的场速率上转换；定标单元，它对所述运 动矢量进行定标以便用于高清晰度场速率上转换；以及场速率转换 器，它利用所述定标后的运动矢量来进行所述高清晰度大小的场的运 动补偿的场速率上转换。

本发明还提供一种将高清晰度素材经运动补偿的场速率上转换成 高清晰度视频的方法。其中高清晰度的视频信号被预滤波和欠采样成 标准的清晰度的画面尺寸。然后把用于场速率上转换的标准清晰度运 动估算器用来估算标准清晰度画面的运动矢量。所得的运动矢量被进 行定标以及为了获得运动的平滑性而进行后处理，以便用于高清晰度 画面的场速率运动补偿的上变换。

相关的存储器大小和带宽要求以及总成本，使得在保持画面质量 的同时，将影片素材经过运动补偿的场速率上转换成为高清晰度视频 的消费电子学的实施在商业上是可行的。

上面所述较为广泛地概括了本发明的特点和技术优点，这使得熟 悉本技术的人们可以更好地理解下面的对本发明的详细说明。本发明 的另外的特点和优点将在此后说明，它们形成了本发明的权利要求的 主题。熟悉本技术的人们将会理解，他们可以方便地利用所公开的概 念和特定的实施例作为基础来修改或设计其他的结构以便实现本发明 的同样目标。熟悉本技术的人们同样会认识到，这样的等价的构造并 不背离本发明在最广泛形式上的精神和范围。

在下面进行本发明的详细说明之前，对在整个专利文件中所使用 的某些单词或词组提出它们的定义可能是有益的：术语“包含”和“包 括”以及它们的衍生词指的是没有限制的包含，术语“或”是内含的， 指的是和/或，词组“相关联”和“与其相关的”以及它们的衍生词可 以指包括、被包括在内、与之相连、包含、被包含在内、连接到或与 之连接、耦合到和与之耦合、与之相联系、与之相合作、相交错、并 置、邻近于、结合到或与之相结合、具有、具有什么性质、或其类似 意义，术语“控制器”指的是任何设备、系统或其一部分，它控制至 少一种操作而不论这样一个设备是用硬件、固件、软件或它们中的至 少两个的某种组合所实现的。应该注意，与任何特定的控制器相关联 的功能可以是集中的或分散的而不论是本地的还是远程的。某些单词 和词组的定义在整个本专利文件中将会提供，对本技术有一般了解的 人们将理解这样的定义适用于即使不是绝大多数也是许多使用这些已 经定义过的单词和词组的已有的以及将来的例子中。

通过结合附图来阅读下面的说明，可以达到对本发明以及它的优 点的更完整的理解，在这些图中同样的数字指相同的对象，其中：

图1表明按照本发明的一种实施例的视频系统，它使用了改进的 影片素材运动补偿并经上转换以用于高清晰度电视显示；

图2表明更加详细的按照本发明一种实施例的影片-高清晰视频转 换器系统；以及

图3图示了按照本发明一种实施例的用于影片-高清晰视频转换器 系统的使用邻近相关性的运动补偿；和

图4是按照本发明的一种实施例的从影片到高清晰视频转换过程 的高级别流程图。

下面(从图1到图4)所讨论的以及用来说明在本专利文件中的本 发明的原理的各种实施例仅仅是作为解释之用的并且不应以任何方式 理解为对本发明范围的限制。熟悉本技术的人们将理解，本发明的原 理可以用任何合适地设计的器件来实施。

图1表明按照本发明的一种实施例的视频系统，它使用了改进的 影片素材运动补偿并经上转换以用于高清晰度电视显示。系统100包 括视频接收机101，它在示范的实施例中是一台接收地面的、卫星的或 电缆广播的高清晰度数字电视(HDTV)接收机。不过，接收机101也 可以替换地是一台中间的收发器或者任何别的用来接收或收发视频信 号的设备，例如，重新发送视频信息以便由高清晰度电视接收的收发 器。在任何一种实施例中，接收机101包括如下面要更详细说明的运 动补偿机理。

接收机101包括用于接收视频信号的输入端102，并且可任选地包 括用于将视频信号发送到另一设备的输出端103。在示范实施例中，接 收机包括一个高清晰度电视显示器104，在其上显示按照本发明的改进 的运动补偿技术所生成的或以别的方法产生的图象。

熟悉本技术的人们会观察到图1并没有清楚地显示示范实施例的 高清晰度电视接收机内部的所有部件。只有高清晰度电视机中那些公 知的结构和操作以及对本发明是独特的和/或为了理解本发明所必需 的那些部件才在这里显示和说明。

图2更详细地表明按照本发明的一个实施例的影片-高清晰度视频 转换器系统。视频转换器系统200是在视频接收机101之内实施的， 并包括输入端102a和102b，它们用于分别接收标准清晰度和高清晰 度视频信号。从输入端102b接收的高清晰度视频信号，虽然具有高清 晰度显示所要求的增加了的图象分辨率，但仍然需要对场速率进行上 转换以用于高清晰度显示。视频转换器系统200还分别包括标准清晰 度和高清淅度输出103a和103b。

在本发明中，运动补偿处理是在缩小了的图象上实现的而不是在 全尺寸的高清晰图象上实施运动估算的。这减少了复杂性和对存储器 的要求，同时增大了运动的范围，这可能适合于利用标准清晰度分辨 率信号所使用的现有运动估算器。

在视频转换器系统200中的复用器201允许从输入端102a-102b 根据可利用性和输出的需要来选择标准清晰度或高清晰度的视频信 号。视频接收机101的另一部分(未示出)可实现空间分辨率的上转 换以产生高分辨率的场。当选择高清晰度视频信号时，各个帧首先经 下转换或次采样以转换成标准清晰度的分辨率，这是由预滤波器和欠 采样单元202实施的。

由欠采样单元202所实施的欠采样可使用一个欠采样因子，它随 不同的高清晰度尺寸序列而变化(例如，对于1440×1080大小画面的 垂直和水平方向的欠采样因子都是2，或对于1920×1080大小画面的 垂直和水平方向的欠采样因子都是3或者在水平方向是3而垂直方向 是2)。预滤波在欠采样单元202中是在欠采样之前实施的，以防止 起混淆作用的人为因素(aliasing artifacts)。这样，可以根据下 式来实施在两个方向都用因子2或3来对预滤波的内容进行欠采样：

If(H_size＞1440 and H_size＜＝2160)or(V_size＞1152

and V_size＜＝1728)downsample factor＝3

else if(H_size＞720)or(V_size＞576)downsample faotor＝2

else downsample factor＝1

{不需要欠采样，标准分辨率画面}

这里H_size是每行象素数而V_size是每帧行数。大于2160×1728 的画面需要欠采样因子为4或更大，不在本示范实施例中实现。

然后利用一种现有的标准清晰度运动估算器203例如Philips Semiconductor IC SAA 4992(它还为标准清晰度视频信号提供运动 补偿过的去隔行扫描、噪声抑制、以及画面速率转换)来产生对欠采 样的标准清晰度尺寸的帧的运动矢量，最好是以运动矢量覆盖方式， 这里的运动矢量是作为色度数据覆盖在画面上的以便不要附加功能而 可被提取。运动补偿的去隔行扫描、噪声抑制、以及画面速率转换也 可以由运动估算器203来实现。

然后，由运动估算器203所产生的标准清晰度运动矢量由下式定 标成高清晰度速度：

mvxHD[(downsample factor)xi，(downsample factor)xj]

＝(downsample factor)x mvx(I，j)

mvyHD[(downsample factor)xi，(downsample fator)xj]

＝(downsample factor)x mvy(I，j).

可以看出，运动矢量的速度(大小)和位置都被加以定标，这使得在 标准清晰度画面中使用于2×2象素块的运动矢量将能应用到(下采样 因子×2)×(下采样因子×2)象素的块上。这样，如果欠采样因子是2， 则2×2象素的块所用的标准清晰度运动矢量当被应用到高清晰度象素 时，就被定标成标准清晰度画面尺寸的4倍，从而使同样的运动矢量 与4×4象素块相关。

定标导致运动矢量的准确度的损失。例如，由SAA4992集成电路 运动估算器产生的运动矢量是精确到0.25个象素。在用因子2定标 后，运动矢量公称的精度为0.5个象素，然而在预滤波和欠采样期间 的平滑会使真正的精度变得不那么精确。因此，定标后的运动矢量并 不非常可靠，尤其是在边缘。

因此，定标后的运动矢量要由定标单元204进行后处理。为了使 定标的运动矢量适合于高清晰度的分辨率，需要进行后处理。例如上 面所说明的大的量化因子(用于4×4的块的2×2块的运动矢量)会引 起烦人的人为产物，尤其是在画面中的物体边缘。因此，为了运动的 平滑性需要进行后处理，以便在块内将各象素的标准清晰度总体速度 细化成局部速度。

在对定标的标准清晰度运度矢量细化之后，在场速率转换器或上 转换单元205内实施高清晰度运动补偿。上转换的一个普遍的方法是 取平均值，其中，给定一帧、一场、以及相关联的运动矢量，来自帧 和场的运动补偿的象素被取平均值。如果运动矢量是精确的，即对于 帧和对于场的运动补偿的象素值是相同的，那么这个方法是简单而有 效的。不然的话，对于帧和对于场的运动补偿的象素值之间的差异会 在进行平均时引起画面的模糊。

在例如大的运动区域的情况下取平均是有用的，因为如果不能实 现良好的运动补偿，由于对错误的补偿取平均值，取平均值将掩盖在 画面之内的错误的运动矢量并且同时会使画面模糊。由于对象区域是 快速移动的，眼睛不能观察到任何情况下的微小细节。但是，这种模 糊在慢速移动的区域将成为不能接受的。因此，在下列情况使用取平 均值：如果来自帧的运动补偿的象素接近于来自场的运动补偿的象 素，在这种情况下可以假定运动矢量是精确的；或者如果运动矢量在 给定区域内有高的速度，这时在连续的帧中有快速移动的特定区域。

图3图示了按照本发明的一个实施例的用于影片-高清晰视频转换 器系统的使用邻近相关性的运动补偿。为了在不需要另外的运动估算 的情况下避免画面的模糊，将邻近相关性应用到运动补偿中。根据标 准清晰度画面而产生的合适地定标的运动矢量(即，在时间T的(前 一个)高分辨率帧A、在时间T+1的(后一个)高分辨率帧B、以及运 动补偿过的场中的因果区域(象素A1-A5和相应的象素B1-B5))都 是可以得到的，从而可以实施当产生在时间T+1/2处的中间插入的运 动补偿的高清晰度场C中的运动补偿。

如前面所指出的，定标的运动矢量在全局上是准确的，但不能准 确到0.5个象素或更小，相反，定标的运动矢量只能准确到一个或两 个象素，这意味着当运动补偿是用取均值来实现时，边缘将会模糊。 不过，通过利用(a)帧A运动补偿象素和(b)场B运动补偿象素这 两者中的仅仅一种而不是把这两者都取均值，则可以避免模糊。

考虑场C中的象素C4，以及为该象素寻找合适的值的问题。帧A 中的象素A4是对应于运动补偿的象素C4的象素，而象素B4是对应于 象素C4的场B中运动补偿的象素。如果象素A4和B4取平均值：

$C4=\frac{A4+B4}{2}$

如果A4和B4差别很大，则意味着不是运动矢量不准确就是在该 象素上有一个区域被运动所覆盖或未被覆盖，这时应避免取平均值而 只有两个象素A4和B4中的一个(而不是同时两个)应该被用来作运 动补偿，这就是说，C4＝A4或C4＝B4。对A4或B4的选择是在象素C4 的邻近象素和A4和B4象素相应的邻近象素之间的相关性的基础上作 出的。如果象素C4的有因果关系的相邻象素和A4象素的相对应的邻 近象素区域匹配，则象素A4的值被选作象素C4的值；如果不匹配， 则象素B4的相邻象素和象素C4的相邻象素是可以相比较的，如果在 一定范围内匹配，则象素B4的值被选作象素C4的值：

if(A_correlation＜threshold)C4＝A4

else if(B_correlation＜threshold)C4＝B4

where A_correlation＝|(A1-C1)|+|A2-C2)|+|(A3-C3)|+|A5-C5)|，

and B_correlation＝|(B1-C1)|+|B2-C2)|+|(B3-C3)|+|B5-C5)|.

使用来自场C的已经作了运动补偿的相邻象素有助于验证这一情 况，即来自正确的帧/场的象素值已被利用。许多由于取平均值而引起 的模糊被消除，从而给出一个鲜明的经过运动补偿的图象。在区域被 覆盖或未被覆盖的情况下，这个运动补偿的方法允许在两个可用的象 素值中选择更好的一个，从而改善了覆盖或未覆盖的区域。

图4是按照本发明的一个实施例的从影片到高清晰视频转换过程 的高级别流程图。该过程400从接收到要作场速率上转换的视频信号 (401步)开始。如果收到的视频信号是属于高清晰度的空间分辨率或 其尺寸大小的，则接收到的场首先要经过预滤波和欠采样到标准清晰 度的空间分辨率(402步)。

然后实施按照已知技术的对欠采样的标准分辨率视频场的运动估 算(403步)，然后将所得的运动矢量经过定标和后处理以用于高清晰 度视频场的场速率上转换(404步)。其后再利用经过定标和后处理的 运动矢量对高清晰度视频场的场速率进行带有运动补偿的上转换(405 步)。这一过程重复进行直到视频信号消失或因其它原因终止为止。

本发明对为高清晰度显示而上转换的电影素材的运动画面提供了 高性价比的改进。在对欠采样的标准清晰度场上估算的用于高清晰度 场的场速率上转换的运动矢量的细分，可以提供更好的画面质量，尤 其是保持了更多的鲜明度，这比传统方法所得到的更好。

重要的是要指出，虽然本发明是在一个完整功能的视频接收机的 环境下说明的，但熟悉本技术的人们将理解，本发明的至少部分机理 是可以用含有各种形式的指令的机器可用的介质的形式来传播的，同 时本发明对于在实际进行传播时所使用的不论何种具体的信号载体都 同样适用。机器可用的介质的例子包括：非易失性硬编码类型的介质， 例如只读存储器(ROM)或可擦除电可编程只读存储器(EEPROM)，可 记录类型的介质，例如软盘、硬盘驱动器、光盘只读存储器(CD-ROM) 或数字多用盘(DVD)，以及传输型的介质，例如数字或模拟通信链路。

虽然本发明已作了详细说明，熟悉本技术的人们将会懂得，在不 违背最广义形式上的本发明的精神和范围的情况下，可以对在这里公 开的发明实现各种改变、替代、变化、提高、微小差异、分级、缩减 形式、变形、修正、改进以及拆散。