目前，典型的视频信号处理设备处理隔行扫描的图像信号。
在隔行扫描的图像的水平边沿部分中通常发生闪烁。作为解决这个问题的一个手段，已知一种对隔行扫描的行进行插值以生成并输出逐行扫描的(progressive-scan)图像信号的技术。
另外，已知这样一种技术：当转换成逐行扫描时，估计图像的运动量并根据该运动估计的结果组合前一场的信号和当前场的信号以生成插值信号。根据这种技术，插值信号的状况根据运动估计的结果的准确性而改变。
例如，如果对静止区域的当前场的图像信号进行插值，那么窄横向条纹消失，从而造成闪烁。相反，如果对运动区域的前一场的图像信号进行插值，那么发生运动模糊(motion blur)，从而造成组合噪声(combing noise)。
在日本特开2006-41619号公报中公开了一种用于提高运动估计结果的准确性的技术。根据这个文献，从位于进行插值的像素的上方和下方的上一行和下一行中选择一个像素。使用所计算的这些像素的结果与前一场中与该进行插值的像素位于相同位置的像素之间的差作为场间差值，进行运动估计。
然而，如图2所示，当计算来自上一行和下一行的像素时，存在以下问题。即，与实际帧的相同区域的那些像素相比，位于诸如在水平边沿的高频区域的垂直行的像素会模糊。更具体地，因为使用在该运算结果与前一场中进行插值的像素位于相同位置的像素之间的差值来进行运动估计，所以甚至可能确定静止区域的运动量，因此发生行闪烁。

考虑到上述问题构思了本发明，本发明的目的在于提供一种能够通过以较高的准确性来估计视频图像的运动量以生成良好的插值图像的技术。
为了解决上述问题，例如，根据本发明的运动估计设备包括以下配置。更具体地，一种运动估计设备，当从隔行扫描视频信号生成非隔行扫描视频信号时，其估计当前场中位于两个相邻行之间的进行运动估计的目标像素的运动量，该设备包括：
判断部件，用于计算所述当前场中位于将所述进行运动估计的目标像素夹在中间的两个行上的两个像素的值之间的差值，并将所计算的差值的绝对值与预定的阈值进行比较以判断在所述两个像素之间是否存在水平边沿；
第一计算部件，用于计算所述两个像素的值的平均值作为第一临时插值像素值；
第二计算部件，用于将前一场中位于与所述进行运动估计的目标像素相同位置的像素的值和所述当前场中的所述两个像素的值中的每一个之间的差值进行比较，并将所述两个像素中具有较小差的像素的值确定为第二临时插值像素值；
选择部件，用于当判断部件判断为所计算的差值的绝对值不大于预定的阈值时，选择所述第一临时插值像素值作为临时插值像素值，当判断部件判断为所计算的差值的绝对值大于预定的阈值时，选择所述第二临时插值像素值作为临时插值像素值；以及
运动量计算部件，用于基于所述选择部件所选择的所述临时插值像素值、前一场中位于与所述进行运动估计的目标像素相同位置的所述像素的值以及所述两个像素的差值来计算所述进行运动估计的目标像素的运动量；其中，所述运动量计算部件包括：
第一运算部件，用于运算由所述选择部件所选择的所述临时插值像素值与前一场中位于与所述进行运动估计的目标像素相同位置的所述像素的值之差的绝对值e；以及
第二运算部件，用于计算e/(e+f)，并输出所得到的值作为所述进行运动估计的目标像素的运动量，其中f表示所述两个像素的差值。
根据本发明的另一方面，提供了一种运动估计设备的控制方法，当从隔行扫描视频信号生成非隔行扫描视频信号时，该运动估计设备估计当前场中位于两个相邻行之间的进行运动估计的目标像素的运动量，该控制方法包括步骤：
判断步骤，用于计算当前场中位于将所述进行运动估计的目标像素夹在中间的所述两个行上的两个像素的值之间的差值，并将所计算的差值的绝对值与预定阈值进行比较以判断在所述两个像素之间是否存在水平边沿；
第一计算步骤，用于计算所述两个像素的值的平均值作为第一临时插值像素值；
第二计算步骤，用于将前一场中位于与所述进行运动估计的目标像素相同位置的像素的值与当前场中的所述两个像素的值中的每一个之间的差值进行比较，并将所述两个像素中具有较小差的所述像素的值确定为第二临时插值像素值；
选择步骤，用于当在判断步骤中判断为所计算的差值的绝对值不大于预定的阈值时，选择所述第一临时插值像素值作为临时插值像素值，当在判断步骤中判断为所计算的差值的绝对值大于预定的阈值时，选择所述第二临时插值像素值作为临时插值像素值；以及
运动量计算步骤，用于基于所述选择步骤所选择的所述临时插值像素值、前一场中位于与所述进行运动估计的所述目标像素相同位置的所述像素的值以及所述两个像素的差值来计算所述进行运动估计的目标像素的运动量；其中，所述运动量计算步骤包括步骤：
第一运算步骤，用于运算所述选择步骤所选择的所述临时插值的像素值与前一场中位于与所述进行运动估计的目标像素相同位置的所述像素的值之差的绝对值e；以及
第二运算步骤，用于计算e/(e+f)，并输出所得到的值作为所述进行运动估计的目标像素的运动量，其中f表示所述两个像素的差值。
根据本发明，当从隔行扫描的视频信号生成非隔行扫描的视频信号时，可能实现对当前场中两个相邻行之间的进行运动估计的目标像素的运动量的高度精确的估计。此外，通过使用这个估计结果，可以生成良好的非隔行扫描的视频信号。
通过下面参考附图对典型实施例的说明，本发明的其它特征将变得明显。

图1是示出根据第一实施例的运动估计设备的配置的框图。
图2是用于说明场间运动量的常规估计的原理的图。
图3是用于说明根据第一实施例的运动估计的原理的图。
图4是示出根据第二实施例的逐行扫描设备的配置的框图。
图5是示出根据第一实施例进行插值的像素与要参考的像素之间的相对位置关系的图。
图6是用于说明根据第一实施例由场间运动估计单元进行的处理的细节的流程图。
图7是示出第三实施例的信息处理设备的配置的框图。
图8是示出在根据第三实施例的处理期间存储器的存储状态的图。
图9是示出根据第三实施例的图像插值处理的过程的流程图。
图10是示出图9的运动估计步骤的处理的流程图。

以下将参考附图详细说明本发明的实施例。
第一实施例
图1是示出根据第一实施例的运动估计设备的示例的框图。为了简便起见，说明了要被处理的目标是视频信号的亮度信号的示例，但应理解本发明并不限于此。
图1所示的运动估计设备包括输入端1、行存储器(linememory)2、场存储器(field memory)3、场间运动估计单元(inter-field motion-estimating unit)4、场内运动估计单元(intra-field motion-estimating unit)5和运动量计算单元(motion amount calculation unit)6。
输入端1输入隔行扫描的视频信号。行存储器2具有存储由输入端1输入的隔行扫描的信号的一个行的容量。场存储器3具有存储由输入端1输入的隔行扫描的信号的一个场的容量。场间运动估计单元4估计当前场与前一场之间的运动量。场内运动估计单元5估计当前场内的运动量。运动量计算单元6基于场间运动估计单元4所估计的场间运动量和场内运动估计单元5所估计的场内运动量来计算最终的运动量，然后输出该运动量。
如上所述配置的这种设备的整个处理如下。
将由输入端1输入的隔行扫描的视频信号(在这个实施例中，为了简便起见，使用无颜色分量的亮度信号)提供到行存储器2、场存储器3、场间运动估计单元4和场内运动估计单元5。行存储器2将所输入的信号延迟相当于一行的时间量，并将延迟后的信号输出到场间运动估计单元4和场内运动估计单元5。类似地，场存储器3将输入的信号延迟相当于一场的时间量，并将延迟后的信号输出到场间运动估计单元4。场间运动估计单元4使用场间信息来估计运动量，并将结果输出到运动量计算单元6。场内运动估计单元5使用场内信息来估计运动量，并将结果输出到运动量计算单元6。运动量计算单元6基于这两个输入信号的比来确定运动量，并输出该运动量。
将更加详细地来说明如上所述配置的运动估计设备的运动估计处理的操作。
将由输入端1输入的场图像存储在行存储器2中。行存储器2被配置为存储一行的数据的FIFO存储器，因此从行存储器2输出的数据被延迟了一行。还将输入的场图像存储在场存储器3中。场存储器3具有一场的存储容量，因此从场存储器3输出的场图像被延迟了相当于一场的时间量。
为了简便起见，本实施例假设场图像是当前场，而延迟了相当于一场的时间量的图像是前一场。此外还假设输入的信号属于位于进行运动估计的目标像素所在的行的紧邻下方的行，并且被延迟了相当于一行的时间量的信号属于位于进行运动估计的目标像素所在的行的紧邻上方的行。
场间运动估计单元4接收位于进行运动估计的目标像素的上方和下方的行的图像信号的输入以及当前场图像与前一场图像的信号的输入，估计场间运动量，然后输出该结果。
场内运动估计单元5接收位于进行运动估计的目标像素所在的行的上方和下方的上下行的图像信号的输入，估计场内运动量，然后输出该结果。运动量计算单元6接收场内运动量和场间运动量的输入，计算场内运动量和场间运动量的比以确定运动量，然后输出该结果。
接着，将更详细地说明这个实施例的场间运动估计单元4。
如图1所示，场间运动估计单元4包括水平边沿量估计单元(horizontal edge amount estimating unit)401、场内临时插值单元(intra-field temporary interpolation unit)402、场间临时插值单元(inter-field temporary interpolation unit)403、混合器(mixer)404和场间差值估计单元(inter-field difference valueestimating unit)405。
水平边沿量估计单元401计算水平边沿量并将结果输出到混合器404。场内临时插值单元402基于场内信息临时计算进行运动估计的目标像素的像素值并将结果输出到混合器404。场间临时插值单元403基于场间信息临时计算进行运动估计的目标像素的像素值并将结果输出到混合器404。混合器404根据水平边沿量混合场内临时插值与场间临时插值，并将混合信号的结果输出到场间差值估计单元405。场间差值估计单元405计算场间差值并将结果输出到运动量计算单元6。以下给出各处理单元的更详细的说明。
水平边沿量估计单元401计算位于进行运动估计的目标行的上方和下方的上下行的输入像素之间的差的绝对值并将所得差的绝对值输出到混合器404作为水平边沿量。
场内临时插值单元402接收位于进行运动估计的目标像素的上方和下方的上下行的像素的输入，计算其平均值以获得临时插值，并输出该结果。
场间临时插值单元403接收位于进行运动估计的目标像素上方和下方的上下行的像素值的输入以及在前一场中的目标像素的像素值的输入。然后，场间临时插值单元403计算位于进行运动估计的目标像素的上方的上一行的像素与前一场中与进行运动估计的目标像素位于相同位置的像素之间的差的绝对值。此外，场间临时插值单元403还计算位于进行运动估计的目标像素的下方的下一行的像素与前一场中与进行运动估计的目标像素位于相同位置的像素之间的差的绝对值。然后，场间临时插值单元403基于所计算的差的绝对值之间的相互关系输出上一行或下一行的像素作为临时插值。
混合器404基于来自水平边沿量估计单元401的输出将场内临时插值单元402与场间临时插值单元403的输出中的一个输出到场间差值估计单元405作为临时插值。
场间差值估计单元405计算来自混合器404的输出与前一场中进行运动估计的目标像素之间的差的绝对值作为场间差值，然后将该结果输出到运动量计算单元6。
将详细说明由如上所述配置的场间运动估计单元4所进行的场间运动估计处理的操作。图3是示出场间运动估计单元4所使用的像素状态的图。由Xa表示当前场中位于进行运动估计的目标像素(星形标志)的紧邻上方的行上的像素(来自行存储器2的输出)。由Xb表示位于进行运动估计的目标像素的紧邻下方的水平行上的像素。由Xc表示前一场中与进行运动估计的目标像素位于位置相同位置的像素。
在图1中，输入端1输入隔行扫描的输入信号的视频信号。水平边沿量估计单元401计算包含在直接从输入端1输出的视频信号中的像素Xb与包含在从行存储器2输出的一个行之前的视频信号中的像素Xa之差的绝对值|Xa-Xb|(|v|表示v的绝对值)，并将该结果输出到混合器404。
场内临时插值单元402计算像素Xa与Xb的平均值“(Xa+Xb)/2”，并将该结果输出到混合器404。
场间临时插值单元403计算像素Xa与被场存储器3延迟了相当于一场的时间量的像素Xc之间的差的绝对值|Xa-Xc|，以及像素Xb与像素Xc之间的差的绝对值|Xb-Xc|，并对|Xa-Xc|与|Xb-Xc|进行比较。如果|Xa-Xc|＞|Xb-Xc|，则场间临时插值单元403输出与前一场具有较小差异的像素Xb作为场间临时插值。如果|Xa-Xc|≤|Xb-Xc|，则场间临时插值单元403输出与前一场具有较小差异的像素Xa作为场间临时插值。
混合器404基于来自水平边沿量估计单元401的输出将场内临时插值单元402或场间临时插值单元403的输出输出到场间差值估计单元405。为了更具体地说明，如图5所示，基于当前场中位于进行插值的像素Xi的上方和下方的像素Xa和Xb和前一场中与像素Xi位于相同位置的像素Xc，混合器404确定进行插值的像素Xi的临时插值。然后，混合器404将所确定的临时插值输出到场间差值估计单元405。在下文给出详细说明。应当注意，在下文的说明中，“h_edge_th”是进行判断水平边沿存在与否的预定阈值。
(1)如果来自水平边沿量估计单元401的输出|Xa-Xb|不大于阈值“h_edge_th”，则混合器404计算来自场内临时插值单元402的输出(Xa+Xb)/2，即，位于进行插值的像素的上方和下方的像素的像素值的平均值。然后，混合器404输出所计算的平均值作为进行插值的像素Xi的临时插值。
(2)如果来自水平边沿量估计单元401的输出|Xa-Xb|超过阈值“h_edge_th”，则混合器404输出来自场间临时插值单元403的输出(Xa或Xb)作为进行插值的像素Xi的临时插值。
场间差值估计单元405计算来自混合器404的临时插值像素值与前一场中与进行插值的像素Xi位于相同位置的像素Xc的值之间的差的绝对值，并将结果输出到运动量计算单元6。
尽管在上文讨论了根据第一实施例的场间运动估计单元4的结构和操作，但为了更加清楚地说明，将参考图6的流程图给出更详细的说明。
首先，在步骤S1中，计算像素Xa与Xb之差的绝对值以获得水平边沿量。通过水平边沿量估计单元401进行步骤S1的处理。
然后，在步骤S2中，运算像素Xa与Xb的平均值(Xa+Xb)/2以获得场内临时插值。通过场内临时插值单元402进行步骤S2的处理。
在步骤S3中，将绝对差值|Xa-Xb|与阈值“h_edge_th”进行比较。如果|Xa-Xb|≤h_edge_th或换言之，如果判断为当前场中位于进行插值的像素的上方和下方且将进行插值的像素夹在中间的两个像素之间的差异不大于阈值“h_edge_th”，则处理前进到步骤S4。在步骤S4中，计算平均值(Xa+Xb)/2作为进行插值的像素Xi的临时像素值Xp。
此外，如果在步骤S3判断为|Xa-Xb|＞h_edge_th，则在步骤S5中，计算像素Xa与Xc的值之差的绝对值|Xa-Xc|和像素Xb与Xc的值之间的差的绝对值|Xb-Xc|。然后，在步骤S6中，比较这两个绝对差值。换言之，步骤S6为判断像素Xa与Xb中的哪个像素更接近在前一场中位于与进行插值的像素Xi的相同位置的像素Xc的值。
如果判断为|Xa-Xc|＞|Xb-Xc|，则表示像素Xb的值更接近像素Xc的值，因此，在步骤S7中，确定像素Xb的值为进行插值的像素Xi的临时像素值Xp。如果判断为|Xa-Xc|≤|Xb-Xc|，则表示像素Xa的值更接近像素Xc的值，因此，在步骤S8中，确定Xa的值为进行插值的像素Xi的临时像素值Xp。
上述步骤S3～S8由场间临时插值单元403和混合器404一起进行。
当在如上所述的步骤S4、S7和S8中的任何一个步骤中确定出进行插值的像素Xi的临时像素值Xp之后，处理前进到步骤S9。步骤S9的处理通过场间差值估计单元405进行，其中计算在进行插值的像素Xi的临时像素值Xp与在前一场中位于与进行插值的像素Xi的相同位置的像素Xc的值之间的差的绝对值，然后输出到运动量计算单元6。
随后，将说明场内运动估计单元5和运动量计算单元6。
场内运动估计单元5计算在当前场中位于进行插值的像素Xi的上方与下方并且将进行插值的像素Xi夹在中间的两个像素Xa与Xb之差的绝对值|Xa-Xb|，并将该绝对差值输出到运动量计算单元6作为场内运动量。这个场内运动估计单元5与水平边沿量估计单元401相同，因此，还可能向运动量计算单元6提供水平边沿量估计单元401的输出，而不是场内运动估计单元5的输出。
运动量计算单元6使用等式m＝e/(e+f)进行计算以获得最终运动量m。在这个等式中，e表示从场间差值估计单元405所输出的场间差值，f表示从场内运动估计单元5所输出的场内运动量。
如上所述，根据这个实施例，当确定进行运动估计的目标像素的临时插值(这是计算场间差异以获得运动量的前期准备)时，判断进行运动估计的目标像素是否位于水平边沿。如果进行运动估计的目标像素不位于水平边沿，换言之，如果|Xa-Xb|不大于阈值，则像素Xa与Xb的平均值被确定为临时插值。相反，如果进行运动估计的目标像素位于水平边沿，则基于在前一场中位于与进行运动估计的目标像素相同位置的像素的信息和位于进行运动估计的目标像素的上方和下方的上一行和下一行的信息，从位于进行运动估计的目标像素的上方和下方的上方像素和下方像素的值中选择临时插值。随后，确定这样获得的进行运动估计的目标像素值与在前一场中位于与进行运动估计的目标像素相同位置的像素值之间的差。接着，确定场内运动量f。最后，获得e与“e+f”的比作为每个像素的运动信息。因此，可能以较高的准确性估计每个像素的运动量。因此，通过使用这个结果，可能在编码运动图像时进行模式判定并从图像准确地提取运动目标。
为了简便起见，在使用视频信号的亮度信号的情形下说明第一实施例，但视频信号可以是诸如RGB信号的原始信号。替代地，可以使用色度信号(chrominance signal)。
运动估计设备，即，根据这个实施例的设备，接收隔行扫描的信号的输入并处理进行插值的像素，因此当扫描当前场中存在的这些行时，该运动估计设备并不进行运动估计。
此外，前文说明了单独设置的行存储器与场存储器的示例，但场存储器的一部分可以被用作行存储器。
此外，前文说明了使用1:2隔行扫描图像的情形，但本发明并不限于此。显而易见，通过调整场临时插值单元和场间差值估计单元，本发明适用于具有上述比例外的比例的隔行扫描的图像。
第二实施例
接着，将说明第二实施例。在这个实施例中示出了将上述第一实施例的配置应用于逐行扫描转换设备的例子。
图4是示出根据第二实施例的设备的配置的图。图4和图1的配置之间的区别在于：在图4中添加了像素插值单元7，且在图4中使用附图标记9来表示图1的场间运动估计单元4。因此，水平边沿量估计单元901、场内临时插值单元902、场间临时插值单元903、混合器904以及场间差值估计单元905分别与图1的部件401～405等同，因而将省略对它们的说明。
像素插值单元7基于来自运动量计算单元6的输出混合前一场中位于与进行插值的像素Xi相同位置的像素Xc与从场内临时插值单元902发送的进行插值的像素的临时像素值，其中，前一场被场存储器3延迟了一场。然后，像素插值单元7输出该混合结果作为最终插值像素值。输出目的地是显示装置(非隔行扫描的显示装置)，其未在图中示出。
在这个处理中，像素插值单元7进行以下计算来确定最终插值像素值Xg：
Xg＝m×Xd+(1-m)×Xc
在这里，Xd表示来自场内临时插值单元902的进行插值的像素的临时像素值，而m表示在第一实施例中获得的来自运动量计算单元6的输出。注意，m是不小于0且不大于1的值。
如上所述，根据第二实施例，使用以高准确性计算的运动量来连续计算插值，从而可能降低运动区域中的运动模糊并降低静止区域中的行闪烁。
第三实施例
上述第一实施例和第二实施例可以通过诸如个人计算机的通用信息处理设备和计算机程序来实现，该计算机程序使该信息处理设备执行第一实施例和第二实施例。以下将作为第三实施例说明这个例子。
图7是示出根据第三实施例的信息处理设备的配置的框图。
在图7中，附图标记301表示进行整个设备的控制和各种处理的中央处理单元(以下称之为“CPU”)。附图标记302表示由存储BIOS和引导程序的ROM和用作CPU 301的工作区的RAM构成的存储器。附图标记303表示由键盘、诸如鼠标的定位装置和各种开关构成的指令输入单元。附图标记304表示外部存储装置(例如，硬盘驱动器)，它提供控制这个实施例的这个设备所必需的操作系统(OS)、根据第三实施例的计算机程序和运算所必需的存储区域。附图标记305表示访问存储运动图像数据的便携式存储介质(例如，DVD-ROM和CD-ROM盘)的存储装置。附图标记306表示逐场捕获运动图像的照相机。附图标记307表示显示逐场图像(progressive images)的监视器。附图标记309表示由LAN、公共线路、无线线路、进行广播无线电波的装置等构成的通信线路。附图标记308表示通过通信电路309发射和接收编码的数据的通信接口。
将说明使用该配置所进行的图像插值处理。
在进行处理之前，当通过指令输入单元303使该设备通电时，CPU 301根据存储器302的引导程序(它被存储于ROM中)将OS(操作系统)从外部存储装置304载入到存储器302(RAM)中。然后，根据来自用户的指令，将应用程序从外部存储装置304载入到存储器302中。因此，这个实施例的设备用作图像处理设备。图8示出当这个应用程序被载入到存储器302中时存储器的存储状态。
存储器302存储OS和视频处理软件，OS进行控制整个设备并操作各种软件，而视频处理软件通过计算运动量进行对图像的插值处理。存储器302还存储图像输入软件和图像显示软件，该图像输入软件通过控制照相机306逐场输入(捕获)运动图像作为数字数据，而图像显示软件在监视器307上显示图像。此外，存储器302具有存储图像数据的图像区域以及存储各种运算参数等的工作区域。
图9是示出由CPU 301执行的应用程序所进行的图像插值处理的流程图。
在步骤S11中，初始化各单元。在步骤S12中，判断是否结束程序。该终止是基于用户是否通过指令输入单元303输入结束的指令来判断的。
在步骤S13中，逐场输入图像。在步骤S14中，估计运动量。在步骤S15中，进行对像素的插值处理，然后处理返回到步骤S12。
接着，将在图10的流程图中示出S14的运动估计的处理。
在步骤S100，估计场间运动量。已参考图6说明了这种估计的细节。在步骤S101中，估计场内运动量。然后，在步骤S102中，混合场间运动量和场内运动量以获得最终运动量。在这个步骤之后，处理返回到图9的步骤S15。
如上所述，根据第三实施例，使用以高准确性计算的运动量连续计算插值，从而可以通过软件方式来实现运动区域中运动模糊的降低和静止区域中行闪烁的降低。
通常，计算机程序被存储在诸如CD-ROM的计算机可读存储介质中，并且可以通过将CD-ROM插入到计算机的阅读器(CD-ROM驱动器)而进行且然后将计算机程序复制或安装到系统内。因此，显而易见，这种计算机可读存储介质落入本发明的保护范围内。
如上所述，根据这个实施例，通过对在与实际帧相同状态的进行运动估计的目标像素进行临时插值，并基于该结果与在前一场中位于与进行插值的像素的相同位置的像素之间的差值来估计运动量。因此，当图像显然静止时可以改进对位于水平边沿上的像素的运动量的估计的准确性且可减少在插值的图像中的行闪烁。
尽管已经参考典型实施例说明了本发明，但应当理解本发明并不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释以涵盖所有这类修改、等同结构以及功能。