技术领域
[0001] 本
发明总体涉及用于视觉信号外插或内插的系统和方法。更具体地，本发明使用统计学相似性估计用于改进的视觉信号外插或内插。
背景技术
[0002] 诸如图像、视频和图形的视觉信号的外插和内插已经被广泛地用于各种情境中，所述情境包括但不局限于
视频编码、代码转换、错误隐藏、预处理和交互
渲染。
[0003] 例 如，Aaron 等 的 Toward Practical Wyner-Ziv Coding of Video，Proc.IEEEINT.CONF ON IMAGE PROCESSING，第869到872页，巴塞罗那，西班牙，9月(2003)、Pur等的PRISM：ANewRobust Video Coding Architecture based onDistributed Compression Principle，ALLERTON CONFERENCE ONCOMMUNICATION，CONTROL AND COMPUTING，(2002)、以及Yaman等的A Low-Complexity Video Encoder with Decoder Motion Estimation，Proc.ICASSP，蒙特利尔，加拿大，(2004)描述了在视频编码应用中外插和内插的技术。2000年5月2日授权给Golin的美国
专利No.6058143“Motion VectorExtrapolation for Transcoding Video Sequences”已经描述了在转换代码应用中外插和内插的技术。另外，Peng等的Block-Based Temporal ErrorConcealment for Video Packet Using Motion Vector Extrapolation，InternationalConf on Communications，Circuits，Systems and West Sino Expo，10-14页，6月29日到7月1日，(2002)和2001年9月4日授权给Ozcelik的美国专利No.6285715“Methods and Apparatus for Error Concealment While Decoding aCoded Video Bit Stream”描述了用于视频解码或后期处理(post-processing)应用的错误隐藏中的外插和内插的技术。在视频编码、转换代码、错误隐藏、视频解码和后期处理应用中使用的视觉信号外插和内插方法典型地基于运动信息，且因此分别被称为基于运动的外插和内插方法。
[0004] 不基于运动的外插/内插方法——其典型地用在其他应用中——包括用于
虚拟现实渲染(rendering)的基于模型的视图外插方法、用于预压缩的特征外插方法和视频衰减场景预测方法。例如，在2002年4月23日授权给Acres的美国专利No.6375567“Model-Based View Extrapolation for InteractiveVirtual Reality Systems”描述了基于模型的视图外插方法。在1999年9月7日发布给Chen的美国专利No.5949919“Precompression ExtrapolationMethod”描述了特征外插方法。Koto等的Adaptive Bi-Predictive Video CodingTemporal Extrapolation，ICIP(2003)描述了视频衰减场景预测。
[0005] 基于运动的外插/内插方法的一个例子是Wyner-Ziv视频编码技术。典型的Wyner-Ziv视频编码系统包括视频
编码器和视频
解码器。该视频编码器是低复杂度和低功率编码器，因此改为由解码器来执行诸如
运动估计的大计算量的
信号处理任务。为了实现高效率，Wyner-Ziv解码器需要采用仅解码器知道的源和侧面信息之间的相关性，以便解码接收到的
视频信号并重构该视频。源信息是要在编码器处被编码且被传输到解码器用于解码的视频信号(例如画面)，且侧面信息本质上是要被解码的画面的估计。由于Wyner-Ziv系统的性能很大程度上取决于侧面信息的可靠性，因此由解码器使用用于生成侧面信息的机制在Wyner-Ziv视频编码系统中扮演至关重要的
角色。典型地，解码器首先在先前重构的画面上进行运动估计，以生成一组运动向量，然后使用该运动向量由外插或内插来生成当前解码的画面的估计。该估计作为侧面信息被解码器使用来解码和重构当前画面。
[0006] 图1是图示公知的基于运动的时间外插处理的图。具体地，为了外插当前画面N，首先对至少两个先前重构的画面、即画面N-2和N-1进行运动估计，以生成针对画面N-1中的每个
像素或像素
块的一组运动向量，运动向量指示画面N-1和画面N-2之间的像素或像素块的运动(即，“相反的(reverse)”运动)。然后，根据在底层运动模型或假设上建立的预定功能来操纵运动向量。例如，如果假设恒定线性位移(displacement)运动模型，则反转运动向量，且与运动向量相关的像素或像素块从画面N-1中的其
位置被外插(即，映射)到在当前画面N的估计中由反转后的运动向量所定义的位置，如图1所示。注意，还可以对于画面N-2中的每个像素或像素块来构造运动向量，以指示画面N-2到画面N-1之间的运动。在这种情况下，然后该运动向量应该被平移(shift)，与该运动向量有关的像素或像素块应该从在画面N-1中的其位置被外插或映射到由在当前画面N的估计中的缩放(scale)的运动向量所定义的位置。因此，在映射了画面N-1(或画面N-2)中的所有像素或像素块之后，如上所述的基于运动的时间外插处理创建当前画面N的估计。
[0007] 图2进一步图示了公知的基于运动的时间内插处理。首先对至少两个先前重构的画面、即画面N-1和N+1进行运动估计，以获得在画面N-1中的每个像素或像素块的一组运动向量，其指示从画面N-1到画面N+1的像素或像素块的运动。然后，基于恒定线性位移运动模型的底层假设缩小运动向量(例如通过因子2)，且与该运动向量有关的像素或像素块从画面N-1和/或N+1中的其位置被内插到在当前画面N的估计中的由缩放的运动向量所定义的位置，如图2所示。注意，还可以对于在画面N+1中的每个像素或像素块重构运动向量，以指示在画面N+1和画面N-1之间的运动。在这种情况下，也应该缩小运动向量(例如通过因子2)，且与运动向量有关的像素或像素块应该从在画面N-1和/或画面N+1中的其位置被内插到在当前画面N的估计中的由缩放的运动向量所定义的位置。在映射了画面N+1中的所有像素或像素块之后，如上所述的基于运动的时间内插处理也创建了当前画面N的估计。
[0008] 图3是描述用于实现公知的基于运动的外插和内插的处理步骤的
流程图。具体地，首先对从先前重构的画面获得的画面信号进行运动估计，以生成一组运动向量。然后根据底层运动模型或假设，来操纵该运动向量通过内插或外插生成要解码的画面的估计，外插或内插依赖于要被解码的画面和先前重构的画面之间的时间关系。
[0009] 上述传统的基于运动的外插和内插方法具有许多严重的缺点，包括：
[0010] 1.物体在画面间遵循恒定运动模型(通常地，线性位移模型)的底层假设对真实的视觉信号经常不成立；以及
[0011] 2.外插或内插可能不能得到在先前重构的(多个)画面和估计画面之间的一一映射。在被外插或内插的画面(即，估计)中的某些像素位置可能得不到来自先前重构的(多个)画面的任何映射，即留下空洞，而在被外插或内插的(多个)画面中的其他像素位置可能具有来自先前重构的(多个)画面的多个映射，即留下重叠的点。
[0012] 因此期望提供用于视觉信号外插和内插的改进的系统和方法，而没有传统的基于运动的外插和内插方法的缺点。
发明内容
[0013] 本发明涉及一种用于视觉信号外插或内插的基于计算机的方法，包括：
[0014] 提供至少第一和第二参考画面；
[0015] 在所述第一和第二参考画面上进行运动估计，以生成指示所述第一和第二参考画面的至少一个相对于另一个的运动的运动向量；以及
[0016] 使用所述运动向量通过外插或内插来从该第一或第二参考画面生成估计画面；以及
[0017] 细化所述估计画面，
[0018] 其中在运动估计中或在细化所述估计画面中、或在两者的组合中，使用统计相似性估计。
[0019] 在本发明中使用的参考画面是可以用于经由外插或内插来构造估计画面的、先前重构的画面。
[0020] 当在运动估计中使用统计相似性估计时，在所述第一参考画面上的像素块的统计特征被计算并与所述第二参考画面上的一个或多个像素块的统计特征相比较。在所述第二参考画面上的最佳匹配像素块至少部分地基于其与在所述第一参考画面上的像素块的统计相似性来确定，且对于在所述第一参考画面上的像素块来生成运动向量，指示其相对于在所述第二参考画面上的最佳匹配像素块的运动。
[0021] 当在细化所述估计画面中使用统计相似性估计时，其可以用于填充在所述估计画面上的空像素位置或解决对所述估计画面上的相同像素位置的多个映射。
[0022] 优选地，但并非必须，采取下列步骤来填充在所述估计画面上的空像素位置：
[0023] 计算围绕所述估计画面上的空像素位置的相邻块的统计特征；
[0024] 标识从其生成所述估计画面的参考画面上的搜索区域；
[0025] 在所述搜索区域内搜索最佳匹配块，其中所述最佳匹配块围绕所述参考画面上的具体像素，且具有与围绕所述估计画面上的所述空像素位置的相邻块的最高统计相似性；以及
[0026] 利用由所述参考画面上的所述最佳匹配块围绕的具体像素来填充所述空像素位置。
[0027] 在多个映射的情况下，即存在从其生成估计画面的参考画面上的多个像素，所有像素外插或内插到估计画面上的具体像素位置，以下步骤是可选但并非必须的，用于选择对于在估计画面上的具体像素位置的最佳匹配像素：
[0028] 计算围绕所述估计画面上的具体像素位置的相邻块的统计特征；
[0029] 计算每个都围绕所述参考画面上的该多个像素之一的多个像素块的统计特征；
[0030] 标识围绕所述参考画面上的多个像素的多个块中的最佳匹配块，其中所述最佳匹配块具有与围绕所述估计画面上的具体像素位置的相邻块的最高统计相似性；以及[0031] 选择由在所述参考画面上的最佳匹配块所围绕的像素，作为在所述估计画面上的具体像素位置的最佳匹配像素。
[0032] 可以在本发明中使用的统计特征包括但不局限于：块
采样平均、块采样方差和相邻参数等等。
[0033] 在本发明的优选但并非必须的
实施例中，通过根据下式计算统计相似性指标来确定两个像素块之间的统计相似性：
[0034]
[0035] 其中P是一个像素块，Q是另一个像素块，SSI(P，Q)是指示块P和Q之间的统计相似性的统计相似性指标，μ(P)是块P的块采样平均，μ(Q)是块Q的块采样平均，Var(P)是块P的块采样方差，Var(Q)是块Q的块采样方差，Cov(P，Q)是块P和Q之间的协方差，且α和β是加权因子。
[0036] 可以使用上述统计相似性指标用于运动估计，用于填充估计画面上的空像素，和/或用于解决多个映射问题。
[0037] 本发明的另一方面涉及一种用于视觉信号外插或内插的基于计算机的系统，包括：
[0038] 用于获得和存储至少第一和第二参考画面的装置；
[0039] 用于在所述第一和第二参考画面上进行运动估计，以生成指示所述第一和第二参考画面的至少一个相对于另一个的运动的运动向量的装置；
[0040] 用于使用所述运动向量通过从所述第一或所述第二参考画面的外插或内插来生成估计画面的装置；以及
[0041] 用于细化所述估计画面的装置，
[0042] 其中在运动估计中或在细化所述估计画面中、或在两者的组合中，使用统计相似性估计。
[0043] 从所附公开和
附图将完全更清楚本发明的其他方面、特征和优点。
附图说明
[0044] 现在将通过参考附图，仅用示例的方式来描述本发明，在附图中：
[0045] 图1是图示传统的基于运动的时间外插方法的图；
[0046] 图2是图示传统的基于运动的时间内插方法的图；
[0047] 图3是描述在传统的基于运动的外插和内插方法中使用的处理步骤的流程图；
[0048] 图4是描述根据本发明的一个实施例、通过使用统计相似性估计的改进的视觉信号外插或内插的系统和方法的流程图；
[0049] 图5是图示根据本发明的一个实施例、在运动估计中使用统计相似性度量来生成用于通过外插或内插来构建估计画面的运动向量的示范处理步骤的流程图；
[0050] 图6是图示根据本发明的一个实施例、用于计算两个像素块P和Q的统计相似性指标的示范处理步骤的流程图；
[0051] 图7是图示根据本发明的一个实施例、用于通过使用统计相似性估计来填充在估计画面上的空像素位置的方法的图；以及
[0052] 图8是图示根据本发明的一个实施例、用于通过使用统计相似性估计来解决(resolve)在估计画面上的像素位置的多个映射。
具体实施方式
[0053] 本发明提供用于通过使用统计相似性估计的外插和内插的改进的方法和系统。
[0054] 具体地，首先对从先前重构的画面、即参考画面获得的画面信号进行运动估计，以生成一组运动向量，该组运动向量然后被用于通过从参考画面之一外插或内插来生成估计画面，同时使用统计相似性估计来用于进行运动估计或用于细化估计画面，或用于进行两者的组合，如图4所示。更具体地，通过比较两个或更多像素块的统计特征——包括但不限于块采样平均、块采样方差、诸如围绕该块的近邻的同质性(homogeneity)的相邻参数、和在两个或更多像素块之间的协方差——来进行统计相似性估计。
[0055] 图5图示根据本发明的一个实施例、在运动估计中使用统计相似性估计来生成用于通过外插或内插来构建估计画面的运动向量的示范处理步骤的流程图。
[0056] 首先，由解码器获得并存储此后被称为参考画面的至少两个先前解码和重构的画面。这两个参考画面被称为N-1和N-2，用于基于外插的估计(或N-1和N+1，用于基于内插的估计)。
[0057] 对于参考画面N-1中的每个像素块，进行搜索处理以找到在另一参考画面N-2(或N+1)中的其最佳匹配。为了找到参考画面N-1中的具体块Bi在参考画面N-2(或N+1)中*的最佳匹配块B，搜索处理从参考画面N-2(或N+1)挑选相同尺寸的像素块Bp，并计算统计相似性指标SSI——其指示在Bi和Bp之间的统计相似性——以及可选地计算预测误差E，其是在Bi和Bp之间的像素值中的差。统计相似性指标SSI和预测误差E可以被组合以*
确定在参考画面N-1(或N+1)中的最佳匹配块B，如图5所示。替换地，可以仅基于统计相*
似性指标SSI来选择在参考画面N-2(或N+1)中的最佳匹配块B。
[0058] 一旦确定了在参考画面N+2(或N+1)中的最佳匹配块B*，可以对于在参考画面N-1* *中的块Bi生成一组运动向量，其指示块Bi相对于B 的运动。可以从与块Bi和B 相关联*
的各种参数生成运动向量。优选地，但并非必须，通过采用块Bi和B 的空间差(即
水平和垂直坐标)来生成它们。然后操纵(例如反转、缩放、平移或变更)运动向量，用于外插或内插该块Bi的估计所在的要被解码和重构的画面(此后被称为估计画面N)中的位置。从*
块Bi和B 的像素值——例如通过对这些块的像素值进行平均或其它操纵这些像素值——来导出估计块的像素值。
[0059] 对于在参考画面N-1中的每个像素块来重复上述处理步骤，以便在参考画面N-1中的每个像素块的估计被映射，由此形成完整的估计画面N。
[0060] 图6进一步描述的用于确定在两个像素块P和Q之间的统计相似性的示范处理步骤。首先，获得与块P和Q直接相关的信息，包括但不局限于：像素值、
亮度、
对比度、结构等等。优选地，但并非必须，还获得与块P和Q所在处的近邻有关的信息(即相邻信息)。
[0061] 然后基于这些与块P和Q直接相关的信息和可选的相邻信息来计算块P和Q的各种统计特征，然后将它们进行比较以确定在块P和Q之间的统计相似性。例如，可以使用诸如块采样平均、块采样方差、相邻参数以及块P和Q之间的协方差之类的统计特征来确定统计相似性。还可以使用其他公知的统计特征。
[0062] 更具体地，假设块P和Q都有的特征是块尺寸n×m，块P中的像素值可以被称为Pij，且块Q中的像素值可以被称为Qij，其中i＝1、2......、n，且j＝1、2......、m。P的块采样平均被定义为
[0063] 且Q的块采样平均被定义为
[0064] P的块采样方差被定义为
[0065] 且Q的块采样方差被定义为
[0066] 块P和Q的协方差被估计为
[0067]
[0068] 另外，还可以使用块P和Q的相邻参数，诸如围绕块P和Q的相邻的同质性，来确定块P和Q之间的统计相似性。可以基于例如块P或Q的运动向量和围绕块P或Q的一个或多个已有相邻块的运动向量之间的差，来确定相邻同质性。
[0069] 块P和Q的统计特征提供关于这两个块有多相似的很好的指示。优选地，基于块P和Q的统计特征来计算统计相似性指标，以提供块P和Q之间的统计相似性的定量度量，如图6所示。可以以各种方式加权和组合统计特征，用于计算统计相似性指标。
[0070] 在优选但并非必须的本发明的实施例中，可以通过使用下列公式来对块P和Q计算统计相似性指标SSI：
[0071]
[0072] 其中，如上所述，μ(P)是块P的块采样平均，μ(Q)是块Q的块采样平均，Var(P)是块P的块采样方差，Var(Q)是块Q的块采样方差，Cov(P，Q)是块P和Q之间的协方差，且α和β是加权因子。统计相似性指标的值越小，两个块越相似。
[0073] 更具体地，当确定多个像素块的统计相似性以生成多个统计相似性指标时，归一化这些指标，以便每个指标值落在0和1之间。
[0074] 如上所述，由于外插和内插不生成对于估计画面的一一映射，在估计位置之中可能存在得不到任何映射的像素位置，即留下空洞。另一方面，在估计位置中还可能存在得到多个映射的像素位置，即留下重叠点(spot)。空洞或重叠点的存在负面影响估计画面的
质量。
[0075] 因此，本发明通过使用统计相似性估计来细化估计画面，即填充空像素位置和/或解决多个映射，而提供对于这些问题的解决方案。
[0076] 图7示出了如何使用统计相似性估计来填充估计画面N上的空像素位置。
[0077] 首先，计算围绕估计画面N上的空像素位置的相邻像素块的统计特征。可以使用在相邻块中的像素的运动向量来确定参考画面N-1上的初始点，从参考画面N-1上的初始点，通过外插或内插来生成估计画面。然后标识围绕初始点的适当的搜索窗。在该搜索窗中，进行搜索处理来找到最匹配估计画面N上的相邻块的块。最佳匹配块的特征在于，对于估计画面N上的相邻块的最高统计相似性和可选的最低像素值差。然后使用如图7所示的在参考画面N-1上的该最佳匹配块所围绕的具体像素，来填充估计画面N中的空像素位置。
[0078] 另外，图8示出在参考画面N-1上的多个像素都映射到(即，通过外插或内插)估计画面N上的相同像素位置的情况下，可以如何使用统计相似性估计来选择对于估计画面N上的具体像素位置的最佳匹配像素。
[0079] 首先，计算围绕估计画面N上的具体像素位置的相邻像素块的统计特征。接下来，计算每个都围绕参考画面N-1上的多个像素之一的多个像素块的统计特征。在参考画面N-1上的这多个块之中，标识最匹配估计画面N上的相邻块的一个块。如上所述，最佳匹配块的特征在于对于估计画面N上的相邻块的最高统计相似性和可选的最低像素值差。然后选择参考画面N-1上的该最佳匹配块所围绕的具体像素，作为对于在估计画面N中的具体像素位置的最佳匹配像素。
[0080] 通过基于计算机的视觉信号分析器可以容易地进行如上所述的各种计算步骤，该基于计算机的视觉信号分析器可以包括被布置并构造以收集和处理视觉信号数据的通用计算机、专用计算机、
中央处理器单元(CPU)、
微处理器、或集成
电路。根据本发明，这种视觉信号分析器优选地包括视觉信号外插或内插协议，用于计算地进行上述视觉信号外插或内插方法，以生成并细化估计画面。可以以任何适当的形式、诸如在通用计算机、专用计算机或中央处理器单元(CPU)中可操作的
软件来实现视觉信号外插或内插协议。替换地，该协议可以在被实现为
固件的微
电子计算模块的电路中
硬件配线(hard-wire)，或该协议作为在因特
网站点上的可操作小程序用于阶段分析可在线获得。
[0081] 虽然在此已经参考所示实施例和特征公开了本发明，但要理解，上述实施例和特征不意图局限本发明，且本领域技术人员将容易地得到其他变化、
修改和替换实施例。因此，在所附
权利要求的精神和范围内，由于包括这种变化、修改和替换实施例，因此广泛地构造本发明。
