在视频编码中，使用利用帧之间冗余的帧间运动补偿。例如，JP-A 7-288719(KOKAI)公开一种通过在基准帧和编码帧之间时域滤波来 去除基准图像的编码失真的技术。配置在图3中显示。当例如编码帧 P3时，在帧P3作为基准图像存储在帧存储器中之前，使用用作帧P3 的基准帧的画面I0以具有运动补偿的时间方向低通滤波器滤波帧P3， 以减小编码失真。如果失真减小的基准帧这样用于编码帧B1，B2， P6，B4和B5的每个，则编码效率提高。
但是，当看作滤波器时，该编码失真去除系统仅是2抽头平均滤波 器。由该系统将编码失真最多仅减小至一半。鉴于国际标准MPEG-4 AVC/H.264提供5抽头空间滤波器以去除块噪声，上面的系统与 MPEG-4 AVC/H.264的系统相比较是薄弱的。

本发明的一个方面提供一种编码装置，包括：运动补偿器，以运动 补偿基准图像从而产生输入图像的预测图像；减法器，以产生输入图像 和预测图像之间的差分信号；编码器，以编码该差分信号从而产生编码 信息；局部解码器，以局部解码该编码信息从而产生局部解码的差分图 像；滤波器，以执行局部解码的差分图像和预测图像之间时间方向的滤 波处理；反向运动补偿器，相对于运动补偿器的运动补偿在反方向上运 动补偿由滤波处理提供的图像从而产生反向预测图像；以及更新单元， 配置以由反向预测图像更新基准图像。
附图说明
图1显示根据第一实施方案的编码装置的框图。
图2是用于说明图1的编码装置操作的流程图。
图3是视频编码中预测结构的图。
图4显示当编码图3中所示的预测结构时的时间图。
图5是用于说明反向运动补偿的图。
图6是显示根据编码序列的基准帧变化的图。
图7是与图1的编码装置相对应的解码装置的框图。
图8是用于说明图7的解码装置操作的流程图。
图9是根据第二实施方案的编码装置的框图。
图10是与图9的编码装置相对应的解码装置的框图。
图11是根据第三实施方案的解码装置的框图。

现在将参考附加附图详细描述与实施方案相关的图像编码装置。
图1中所示的视频编码装置包括运动补偿器1，运动估计器2，反 向运动补偿器3，加权平均滤波器4，帧存储器5，减法器6，加法器 7，转换器8，反变换设备9，量化器10，反量化器11和熵编码器12。
运动补偿器1连接到运动检测器2和帧存储器5，并且配置以从运 动检测器2的运动矢量和帧存储器5的基准图像中产生预测图像。运动 检测器2配置以接收输入图像(原始图像)和帧存储器5的基准图像并 且从这些图像中检测运动矢量。
反向运动补偿器3连接到运动检测器2和帧存储器5，并且使用运 动检测器2的运动矢量和从加法器7输入到帧存储器5的局部解码图像 由相对于运动检测器2的运动矢量的反向运动矢量执行运动补偿，从而 产生预测信号。换句话说，如果运动补偿器1执行从I画面到P画面的 运动补偿预测，则反向运动补偿器3执行从P画面到I画面的运动补偿 预测以产生反向预测信号。
加权平均滤波器4连接到反向运动补偿器3和帧存储器5，并且在 反向运动补偿器3的反向预测信号和帧存储器5的基准图像上执行加权 平均滤波。
减法器6计算输入图像与运动补偿器1的预测图像之间的差，从而 产生误差信号。变换器8配置以将误差信号变换成变换系数，并且包括 例如离散余弦变换。变换器8的输出连接到量化器10。量化器10配置 以量化变换系数，并且量化器10的输出连接到反量化器11和熵编码器 12。
反量化器11反量化该量化的变换系数以重建量化变换系数。反量 化器11的输出连接到反变换器9。反变换器9反变换该变换系数以再现 具有量化误差的原始误差信号并且将它输出到加法器7。加法器7将运 动补偿器1的预测图像和误差信号相加以产生局部解码图像并且将它存 储到帧存储器5中。
熵编码器12以符号为单位编码量化器10的量化变换系数和运动检 测器2的运动矢量以产生输出位流。
现在将结合图2的流程图描述图像编码装置的操作。假设图3中所 示的预测结构被编码为输入图像或输入序列。因为基准帧必须在帧被引 用之前编码，所以编码图3中所示预测结构的次序是图4下部显示的次 序。
首先，当第一帧I0作为输入图像输入时(步骤S11)，确定基准帧 是否存在于帧存储器5中(步骤S12)。因为没有用于预测的基准帧存 在于帧存储器5中，所以通过变换器8、量化器10和熵编码器12帧内 编码帧I0(步骤S13)，并且与帧I0相对应的位流从编码器12输出。 而且，通过反量化器11和反变换器9局部解码量化器10的输出结果， 由此局部解码图像I0′产生(步骤S14)。将局部解码图像I0′存储在帧存 储器5中(步骤S15)。变换器8和反变换器9中的变换通常使用由 DCT代表的正交变换或近似正交变换。量化器10以给定量化步长 Qstep量化变换系数F，并且类似地，反量化器11以给定量化步长 Qstep反量化该量化系数。最简单地，量化和反量化通过使用下面的等 式计算来执行：
QF＝Round(F/Qstep)                  (1)
其中QF表示量化的变换系数，并且Round(x)表示执行某种舍入的运算 符。假设帧I0(x，y)上坐标上的像素值是p0(x，y)，并且由量化增加的编码 失真是N(σI 2)(其中σI 2表示量化失真的方差)，作为局部解码图像保存 在帧存储器5中的坐标(x，y)上的像素值p′0(x，y)由下面的等式(2)模 拟：
${p^{\prime }}_0(x,y)=p_0(x,y)+N\left({\sigma }_I^2\right)---\left(2\right)$
随后，当帧P3输入时，执行帧间编码(帧间编码)。换句话说，使 用运动检测器2通过块匹配(步骤S16)来检测运动矢量 MV＝(xmv，ymv)。帧存储器5的帧I0′上的像素p′0(x+xmv，y+ymv)使用运动 补偿器1获得(步骤S17)。与帧P3上的坐标上的像素p3(x，y)相对应并 且位于帧存储器5的帧I0′上的像素P′0(x+xmv，y+ymv)由运动补偿器1使 用运动矢量(xmv，ymv)计算。减法器6计算帧P3上的像素和与其相对应的 帧I0′上的像素之间的差p3(x，y)-p′0(x+xmv，y+ymv)(步骤S18)。该差像 帧I0一样通过变换器8、量化器10和熵编码器12作为位流输出(步骤 S19，S20，S21)。这时，通过将量化的变换差通过反量化器11和反变 换器9使用加法器7加到预测图像来反量化所量化的变换差(步骤 S14)。局部解码图像P3′存储在帧存储器5中。帧(局部解码图像)P3′ 上的坐标(x，y)上的像素p3′(x，y)由下面的等式(3)模拟：
${p^{\prime }}_3(x,y)=p_3(x,y)+N\left({\sigma }_P^2\right)---\left(3\right)$
其中σp 2表示量化失真的方差。
反向运动补偿器3使用运动检测器2检测的运动矢量在反方向上 (如图5的虚线箭头所示)运动补偿帧P3′以产生反向预测图像(步骤 S22)。换句话说，帧P3′上的坐标(x，y)上的像素p′3(x，y)移动至该坐标的 像素P3′(x-xmv，y-ymv)的像素位置。因为与像素p′3(x，y)相对应的帧I0′上 的像素是像素p′0(x-xmv，y-ymv)。这两个像素使用加权平均滤波器4滤 波。结果，与新的像素p′0(x-xmv，y-ymv)相对应的像素p″0(x-xmv，y-ymv)产 生。滤波后的像素p″0(x-xmv，y-ymv)如下面的等式(4)所示使用加权因 子w定义。
p″0(x-xmv，y-ymv)＝(1-w)·p′0(x-xmv，y-ymv)+w·p′3(x，y)   (4)
其中w是加权因子，并且使用与运动矢量MV相关的加权因子wmv、分 别用于编码帧I0和P3的量化步长Qi和Qp相关的加权因子wq、以及 与运动矢量引起的预测误差d相关联的加权因子we，由下面的等式 (5)定义。
w＝min(wvm(MV)，wq(Qi，Qp)we(d))              (5)
在解释每个加权因子之前，将说明减少加到由等式(4)表示的像 素p″0(x-xmv，y-ymv)的量化失真的方法的概念。为了简便起见，假设加到 p0(x-xmv，y-ymv)的量化失真N(σI 2)和加到p3(x，y)的量化失真N(σP 2)彼此独 立，并且两个量化失真的离差相等。此外，在增加量化失真也就是编码 之前，假设帧I0和P3的像素值p0(x-xmv，y-ymv)和p3(x，y)相等。在加权 因子w＝1/2的情况下，帧I0″相对于帧I0的量化失真的方差σ′I 2根据方 差的性质由下面的等式(6)表示。
${\sigma }_I^{\prime 2}=1/4{\sigma }_I^2+1/4{\sigma }_P^2$
$=1/2{\sigma }_I^2$ (6)
换句话说，固有量化失真的方差减少至一半。如此描述，为了使量 化失真的方差减小，必须提供参数，例如帧I0′和P0′的固有量化失真的 失真之间的差、像素P′0(x-xmv，y-ymv)和p′3(x，y)的量化失真的独立性、以 及量化失真增加之前像素之间的差。相反地，加权因子w基于这些参数 唯一地控制。现在将说明设置等式(5)中所示每个加权因子的方法。
wmv(MV)是关于两帧之间独立性的加权因子。如果运动矢量是0， 也就是不存在运动并且两个帧相同位置处的像素完全相等，像素p′3(x，y) 的量化误差对应于像素P′0(x，y)的量化误差的再量化。换句话说，两个 量化误差不独立。当运动矢量具有一定大小时，提供一定独立性，因为 变换器8中的变换相位在像素之间不同。因此，wmv(MV)由下面的等式 (7)唯一地定义。

其中TMV表示给定阈值。当基准帧通过帧内编码(帧内编码)编码而没 有运动补偿时，wmv(MV)总是假设为0.5。
wq(Qi，Qp)是与像素p0(x-xmv，y-ymv)和p3(x，y)的量化失真的离差相关 的加权因子。当帧I0和P3分别编码时，认为上述量化失真的失真σI 2 和σp 2与量化步长Qi和Qp的平方成比例。换句话说，下面的等式(8) 成立。
${\sigma }_P^2=\frac{Q_p^2}{Q_i^2}{\sigma }_I^2---\left(8\right)$
因此，由滤波器使用加权因子wq滤波的误差的方差σI ′2由下面的等 式(9)定义。
${\sigma }_I^{\prime 2}={(1-w_q)}^2{\sigma }_I^2+\frac{w^2{Q}_p^2}{Q_i^2}{\sigma }_I^2---\left(9\right)$
因此，使得方差σI ′2达到最小的加权因子wq由下面的等式(10) 计算。
$w_q(Q_i,Q_p)=\frac{Q_p^2}{Q_i^2+Q_p^2}---\left(10\right)$
we(d)是关于运动矢量可靠性的加权因子。如果运动矢量完全指向两 个帧之间的相应像素，则该加权因子是1。该情况是理想的。相反地， 如果运动矢量指向完全不同的像素，则该加权因子是0。该情况也是理 想的。另一方面，因为将引用的像素p′3(x，y)和p′0(x-xmv，y-ymv)带有量化 误差地重叠，如果加权因子由像素之间的差确定，可能执行错误的加 权。通常，因为运动矢量相对于具有包含坐标(x，y)的常数区的区域 定义，所以加权因子由等式(12)基于区域中的平均预测误差d，也就 是下面的等式(11)控制。
$d=\frac{1}{\left|\phi \right|}\left(\underset{x_{\mathrm{ki}},y_k\in \phi }{\Sigma }(p_0(x_k-x_{\mathrm{mv}},y_k-y_{\mathrm{mv}})-p_3(x_k,y_k){)}^2\right)---\left(11\right)$
$w_e\left(d\right)={(1+\exp \left(\frac{d-t}{s}\right))}^{-1}\times (1+\exp \left(\frac{t}{s}\right))---\left(12\right)$
其中t和s假设为给定的常数。根据三种加权因子使用加权平均滤 波器4对像素施加滤波处理，使得局部解码图像I0′相对于帧I0的误差 的方差达到最小。结果，最小误差的帧作为基准图像产生(步骤 S24)。该基准图像覆盖帧存储器5中的帧I0′。在通常使用的视频编码 系统中，运动矢量具有小于或等于一个像素的精度。如果帧I0′和P3′上 的像素不能以1∶1对应，则帧I0′的像素必须使用反向运动补偿器3从帧 P3′的多个相应像素中通过插值唯一地获得。这可以通过使用以运动补 偿器1常规且广泛执行的方法来实现。
随后，帧B1输入，但是这次的处理除以下要点以外类似于帧P3 的处理。
(1)因为局部解码图像I0′的误差方差理想地是下面式(13)的倍 数，等式(10)基于以上考虑而应用。换句话说，在等式(10)中使用 通过将式(13)乘以Qi 2而获得的值代替Qi 2。
${\left(\frac{Q_p^2}{Q_i^2+Q_p^2}\right)}^2+{\left(\frac{Q_i^2}{Q_i^2+Q_p^2}\right)}^2\frac{Q_p^2}{Q_i^2}---\left(13\right)$
(2)关于作为帧P3的局部解码图像的帧P3′，同样，量化失真的 方差通过与上述方法类似的方法最小化。
如上所述，滤波器4配置以能够根据预测图像和局部解码图像之间 的差改变滤波器强度，或者根据包括经过滤波处理的像素的整个运动补 偿对象块差值的平方和，控制滤波器强度。此外，滤波器根据预测图像 的量化步长与解码图像的量化步长的比值改变滤波器强度。如果在运动 补偿器中使用的运动矢量的大小不大于给定阈值并且它以相同模式编 码，则滤波器4在时间方向上不执行滤波处理。
基准图像的量化失真通过每当帧编码时重复上面的处理来减小，并 且在预测误差中混合的应变分量，也就是编码时减法器6的输出减小。 说明该连续操作的时间图在图6中显示。当作为基准帧保存在帧存储器 5中的帧I0′与下面的帧P3和B1一起编码时，量化失真通过上述滤波 而减小。类似地，当帧P3′与下面的帧B1，B2，P6和B4一起编码时， 量化失真逐渐地减小。换句话说，因为包括在基准帧中的额外噪声分量 使用熵编码器12编码的比率降低，所以与JP-A 7-288719(KOKAI) 中所示的一般编码器相比较，编码效率提高。
参考图7说明与图1的编码装置相对应的解码装置。该实施方案的 解码装置包括运动补偿器101，反向运动补偿器103，加权平均滤波器 104，帧存储器105，加法器107，反变换器109，反量化器111和熵解 码器113。除熵解码器113之外的结构元件与上述编码装置的结构元件 执行相同的操作。
首先，如图8中所示，与帧I0相对应的位流作为输入位流输入到 熵解码器113(步骤S111)。确定位流是否是帧内编码图像(步骤 S112)。如果确定是，则熵解码器113帧内解码该位流(步骤S113)。换 句话说，熵解码器113将通过分析并量化该位流而获得的变换系数发送 到反量化器111。变换系数由反量化器111反量化然后由反变换器109 反变换，由此作为帧I0的解码图像的帧I0′产生。帧I0′保存在帧存储器 105中(步骤S114)。该帧I0′变成与上述编码装置的帧I0′相同的帧。
当输入与帧P3相对应的位流时，熵解码器113解码量化的变换系 数和运动矢量(步骤S115)。量化的变换系数使用反量化器111反量化 并且使用反变换器109反变换，由此运动补偿的剩余信号产生(步骤 S116)。帧P3的预测图像基于解码运动矢量从预先使用运动补偿器101 解码的局部解码图像I0′中产生(步骤S117，S118)。作为帧P3的解码 图像的帧P3′通过使用加法器107将预测图像和剩余信号相加而产生并 且被保存在帧存储器105中(步骤S119)。
同时，与编码装置相同的操作，也就是反向运动补偿(步骤 S120)和滤波(步骤S121)使用反向运动补偿器103和加权平均滤波 器104执行。结果，量化失真的方差达到最小的新帧I0的解码图像I0″ 产生并被保存在帧存储器105中(步骤S114)。当对与帧B1相对应的 位流重复这种操作时，编码误差达到最小的帧I0″完成并作为解码图像 输出。先前解码的帧B1′和B2′在帧I0″之后顺序输出。
与JP-A 7-288719(KOKAI)中所示的一般解码装置相比较，从其 中去除更多编码噪声的解码图像可以通过重复上面的连续操作产生，导 致能够提供高分辨率解码图像。
将参考图9描述第二实施方案的编码装置。在该实施方案的编码装 置中，第一实施方案的反向运动补偿器和加权平均滤波器颠倒排列。换 句话说，第一实施方案的加权平均滤波器4以滤波器系数计算器15、乘 法器14和减法器18代替。更具体地说，该第二实施方案的编码装置包 括运动补偿器1，运动检测器2，反向运动补偿器3，帧存储器5，减法 器6，加法器7，变换器8，反变换器9，量化器10，反量化器11，熵 编码器12，乘法器14，滤波器系数计算器15和减法器18。因为运动补 偿器1，运动检测器2，反向运动补偿器3，帧存储器5，减法器6，加 法器7，变换器8，反变换器9，量化器10，反量化器11和熵编码器12 具有与第一实施方案相同的功能，所以任何进一步的说明为了简便起见 而省略。
在第二实施方案中，反变换器9的输出连接到乘法器14和滤波器 系数计算器15以及加法器7。然后，滤波器系数计算器15的输出连接 到乘法器14。乘法器14的输出连接到减法器18，减法器18连接运动 补偿器1。减法器18的输出连接到反向运动补偿器3，反向运动补偿器 3连接运动检测器2。
根据上面的编码装置，因为等式(3)中帧P3上的像素通过运动补 偿从帧10′获得，所以等式(3)可以修改为下面的等式(14)。
${p^{\prime }}_3(x,y)={p^{\prime }}_0(x+x_{\mathrm{mv}},y+y_{\mathrm{mv}})+r_3(x,y)+N\left({\sigma }_P^2\right)$
$={p^{\prime }}_0(x+x_{\mathrm{mv}},y+y_{\mathrm{mv}})+{r^{\prime }}_3(x,y)$ (14)
其中r3(x，y)表示运动补偿的剩余信号，并且r′3(x，y)通过将量化失真 加到r3(x，y)而获得，也就是，它是反变换器9的输出。如果这代入等式 (4)，则等式(15)成立。
p″0(x-xmv，y-ymv)＝w·p′0(x-xmv，y-ymv)+(1-w)·(p′0(x+xmv，y+ymv)+r′3(x，y))
                  ＝p′0(x-xmv，y-ymv)-w·r′3(x，y)
                                                                     (15)
因此，由等式(5)定义的加权因子w可以与反变换器9的输出相 乘。因此，滤波器系数计算器15计算由等式(5)定义的加权因子，并 且计算的加权因子使用乘法器14乘以r′3(x，y)。使用减法器18从帧I0′ 的预测信号p′0(x-xmv，y-ymv)中减去该结果。因为与由等式(4)指示的加 权平均滤波处理等价的处理已经由该连续操作完成，所以量化失真达到 最小的帧I0″可以通过使用反向运动补偿器3将滤波后的像素数据重新 放回帧I0′的坐标来提供。
与图9的第二实施方案的编码装置相对应的解码装置将参考图10 描述。该解码装置包括运动补偿器101，反向运动补偿器103，帧存储 器105，加法器107，反变换器109，反量化器111，熵解码器113，乘 法器114，滤波器系数计算器115和减法器118。该解码装置执行与图7 的编码装置类似的操作。
首先，与帧I0相对应的位流作为输入位流输入到熵解码器113。熵 解码器113分析位流，并且将量化的变换因子发送到反量化器111。量 化的变换因子通过反量化器111和反变换器109以产生作为帧I0的解 码图像的帧I0′。帧I0′保存在帧存储器105中。该帧I0′与上述编码装置 的帧I0′完全相同。
当与帧P3相对应的位流输入时，熵解码器113解码量化的变换系 数和运动矢量。量化的变换系数通过反量化器111和反变换器109以产 生运动补偿剩余信号。帧P3的预测图像基于解码的运动矢量从预先使 用运动补偿器101解码的局部解码图像I0′中产生。作为帧P3的解码图 像的帧P3′通过使用加法器107将预测图像和剩余信号相加而产生并且 被保存在帧存储器105中。
同时，与编码装置相同的操作使用反向运动补偿器103、乘法器 114和减法器118执行以产生量化失真的方差达到最小的新帧I0的解码 图像I0″。解码图像保存在帧存储器105中(步骤S114)。当这种操作 重复直到与帧B1相对应的位流时，编码误差达到最小的帧I0″完成并 作为解码图像输出。先前解码的帧B1′和B2′在帧I0″之后顺序输出。
根据第三实施方案的解码装置将参考图11描述。本实施方案不提 供与编码装置组合的解码装置，而是提供现有解码装置的后置滤波器。 运动补偿器101，帧存储器105，加法器107，反变换器109，反量化器 111，熵解码器113，乘法器114和滤波器系数计算器115在配置方面与 图10的解码装置相同。在基于该实施方案的解码装置中，反向运动补 偿器103使用由熵解码器113解码的运动矢量使得来自乘法器114的加 权像素数据经历反向运动补偿，并且将结果输入减法器118。减法器 118计算反向运动补偿器103与输出帧存储器116的输出之间的差并且 将结果存储在输出帧存储器116中。
根据上面的解码装置，首先解码与帧I0相对应的位流。该位流使 用反量化器111反量化并且使用反变换器109反变换以产生解码图像， 也就是帧I0′。帧I0′存储在帧存储器105和输出帧存储器116中。
与帧P3相对应的位流输入，并且帧I0′的运动补偿预测图像使用加 法器117加到从反变换器109输出的剩余信号上以产生解码图像P3′。 产生的图像像帧I0′一样写入帧存储器105和输出帧存储器116中。此 时，滤波器系数由滤波器系数计算器115根据第二实施方案中说明的方 法使用从反变换器109输出的剩余信号计算。使用乘法器114将剩余信 号乘以滤波器系数。这样产生的加权剩余信号通过反向运动补偿器103 在帧I0′的坐标系上平移，并且从输出帧存储器116中读出的帧I0′中减 去加权剩余信号以产生量化失真的方差达到最小的帧I0″。当滤波后的 图像，也就是帧I0″覆盖帧I0′时，以噪声减小的图像代替它。
当上面的处理重复时，因编码引起的噪声达到最小，无论何时存储 在输出帧存储器116中的帧被引用。结果，画面质量提高。因为基准帧 被引用的次数如图3中所示是有限的，所以在它变得不再被引用的时间 点将其作为解码图像输出到外部。因为存储在帧存储器105中的基准帧 被存储而根本没有处理，所以与一般编码技术的解码器一样可以维持兼 容性。
在图3中所示视频编码中的预测结构的实例中，例如，帧“P3”被帧 “B1”，“B2”，“B4”，“B5”和“P6”的每个引用。换句话说，与帧P3上 的像素相对应的点共计在最多5个帧上存在，从而最多能进行6抽头滤 波。因此，基准帧的量化失真逐渐减小，使得提高画面质量。同时，引 用它的帧的预测精度提高，使得编码效率提高。
根据上面讨论的本发明的实施方案，加权平均滤波处理在基准帧和 引用它的帧之间执行，无论何时基准帧被引用。结果，因编码引起的量 化失真达到最小。因此，在编码侧，与常规技术相比较编码效率提高， 而在解码侧，因为去除了编码噪声而可以提供高质量的图像。
另外的优点和修改将容易由本领域技术人员想到。因此，本发明在 其更广泛的方面并不局限于这里显示并描述的具体细节和代表实施方 案。因此，可以不背离由权利要求及其等价物所定义的一般发明概念的 本质或范围而做各种修改。