技术领域
[0001] 本
发明一般涉及视频处理领域，涉及视频运动补偿装置，并且具体地涉及用于支持运动补偿以预测视频中的
帧的
视频编码器和视频
解码器。本发明还涉及编码方法，用于使用运动补偿对
视频流进行编码；和解码方法，用于使用运动补偿对视频流进行解码。最后，本发明涉及一种
计算机程序，该计算机程序具有用于执行这种方法的程序代码。
背景技术
[0002] 在视频处理领域中，特别是在混合视频编码和压缩领域，已知使用了帧间和
帧内预测以及变换编码。这些混合视频编码技术用于诸如H.261、H.263、MPEG-1、2和4、H.264/AVC或H.265/HEVC的已知视频压缩标准中。
[0003] 图1示出了根据
现有技术的视频
编码器。视频编码器100包括用于接收视频流的帧或图像的输入
块的输入端和用于生成编码视频比特流的输出端。视频编码器100用于对视频流进行预测、变换、量化和
熵编码。变换、量化和熵编码分别由变换单元101、量化单元102和熵编码单元103执行，以生成编码视频比特流作为输出。
[0004] 视频流对应于多个帧，其中每个帧被分成可由预测单元108进行帧内或帧间编码的一定大小的块。例如视频流的第一帧的块由预测单元108进行帧内编码。仅使用同一帧内的信息进行帧内编码，使得其可以独立解码，并且可以在比特流中提供用于随机
访问的入口点。视频流的其他多个帧的多个块由预测单元108进行帧间编码：来自称作重建参考帧的编码帧的信息用于减少时间冗余，从而通过重建的参考帧中相同大小的块预测出帧间编码块。预测单元108用于选择是对帧的块进行帧内编码还是进行帧间编码。
[0005] 为了执行帧间预测，编码参考帧由逆量化单元104和逆变换单元105处理，然后添加到预测块，并由环路滤波单元106处理，以获得重建的参考帧，然后将其存储在帧
缓冲器107中用于时间帧间预测。
[0006] 预测单元108包含待帧间编码的或待帧内编码的当前帧或图像以及来自帧缓冲器107的一个或多个参考帧或图像用作输入。由预测单元108应用
运动估计和运动补偿。运动估计用于基于某个损失函数得到
运动矢量和参考帧。然后运动补偿根据参考帧的参考块到当前帧的变换来描述当前帧的当前块。预测单元108针对当前块输出预测块，其中所述预测块将待编码的当前块与其预测块之间的差值最小化，即最小化残余块。例如，残余块的最小化基于速率失真优化过程。
[0007] 然后，由变换单元101对当前块与其预测(即，残余块)之间的差值进行变换。由量化单元102和熵编码单元103对变换系数进行量化和熵编码。如此生成的编码视频比特流包括帧内编码块和帧间编码块。
[0008] 这种混合视频编码包括结合预测误差的变换编码的
运动补偿预测。对于每个块，估计的运动矢量也作为编码视频比特流中的信令数据传输。当前的标准H.264/AVC和H.265/HEVC基于针对运动矢量的1/4
像素位移
分辨率。为了估计和补偿分数像素位移，参考块必须在分像素
位置上插入。使用插值滤波器在分像素位置上获得这样的插入帧。
[0009] 插入块的
质量很大程度上取决于所使用的插值滤波器的属性。短抽头滤波器例如双
线性滤波器可以抑制高频并且使插入帧变得模糊。其他滤波器如长抽头滤波器可以保持高
频率，但在尖锐边缘附近产生一些环状效应伪影。另一个问题是运动补偿利用先前编码和重建的帧作为参考帧：参考帧可能包含由变换系数量化引起的伪影，这称为吉布斯效应。由于这些伪影，边缘以及边缘周围的区域也可能失真。
[0010] 重建的参考块和帧也可能包含由视频编码器自身产生的非期望的假边缘。这些伪影可能是由单独独立处理每个块引起的。在这方面，环路滤波单元106应用解块滤波旨在减轻这些块伪影，但是环路滤波单元106仅能够移除一部分这些伪影。其他边缘伪影可能与由平滑梯度区域的粗量化引起的梯度聚束有关。因此，参考块和帧可能包含不需要的边缘。
[0011] 运动预测的质量取决于几个因素。重建的参考块的质量，参考块中的伪影和非期望的噪声强烈影响运动预测的质量。此外，插值滤波器定义插入边缘的质量，即其在插入块中的环状效应的模糊以及呈现。预测块的内容也影响运动预测的质量，因为大部分伪影出现在边缘附近。
[0012] 从现有技术中已获知几种技术以改进运动补偿预测。例如，已经提出了能比先前的H.264/AVC标准提供更好的插入质量的视频编码标准H.265/HEVC，其应用到了更复杂的固定线性插值滤波器中。而且，可以在环路滤波单元106中执行自适应环路滤波(adaptive loop filtering，简称ALF)。这种滤波引入了线性自适应滤波器(通常是维纳(Wiener)一类的)，以最小化重建块和原始块之间的差值。然而，这种环内滤波技术不能去除由运动插值滤波器引起的伪影，因为在进行运动插值之前将环内滤波器应用到了参考块。
[0013] 自适应插值滤波器(adaptive interpolation filter，简称AIF)是一种已知的技术，试图通过最小化插入块和原始块之间的差值来为每个分数运动位置找到最佳维纳(Wiener)插值滤波器。然后，找到的滤波器系数需要传递给解码器。这种自适应滤波器是线性的并且是矩阵或系数矢量的形式。此外，每个分数运动矢量位置都有各自的最佳滤波器。自适应滤波器的形式以及需要为分像素位置传送多个滤波器导致自适应插值滤波技术的信令开销显著。
发明内容
[0014] 认识到上述提及的缺点和问题，本发明旨在改进现有技术。特别地，本发明的目的是提供一种视频编码器、编码方法、视频解码器和解码方法，用于对后续帧的视频流进行改进编码和解码。
[0015] 特别地，本发明旨在提高预测编码的质量。特别地，本发明旨在去除由运动补偿引起的伪影，具体是通过在分像素位置上的插入参考块而引起的伪影，同时通过减少参考帧的量化伪影来提高预测质量。本发明的另一个目的是将编码视频比特流的信令开销保持在低
水平。
[0016] 本发明上述提及的目标通过所附独立
权利要求提供的方案实现。本发明有利的实现方式在各自的
从属权利要求中进一步定义。
[0017] 本发明第一方面提供一种视频编码器，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流。所述视频编码器包括帧缓冲器，用于存储所述视频流的至少一个参考帧。所述视频编码器包括预测单元，用于根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置。所述预测单元用于通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：模糊插值滤波器、抽头滤波器和抽头滤波器及其后的锐化滤波器。
[0018] 因而，预测单元的运动插值方案包括所提及的三种插值滤波器类型：模糊插值滤波器、抽头滤波器和抽头滤波器及其后的锐化滤波器。然后，预测单元可以根据视频内容来选择滤波器类型。针对不同类型的内容，在编码过程中这三种滤波器类型可供选择。
[0019] 根据第一方面所述的视频编码器的一个实现形式中，所述模糊插值滤波器和所述锐化滤波器中至少一个是由至少一个自适应参数控制的自适应滤波器。
[0020] 因而，参考块可以通过能用于视频的具体内容的插值滤波器来插入。自适应能够考虑视频内容的本地特征，并且由于插值滤波器的参数化表示仅使用一个用于自适应和传输的系数，所以可以限制所需的信令开销。
[0021] 根据第一方面所述的视频编码器的一个实现形式中，锐化滤波器是一个非线性滤波器。
[0022] 因而，优选使用这种非线性锐化滤波器来增强运动预测。基于线性锐化或
去模糊滤波器的传统边缘增强技术(如非锐化掩模技术)可增加主观质量，但不能抑制由运动插值滤波引起的环状效应伪影。而且，这种线性锐化甚至可能增加环状效应并降低客观性能特征。另一方面，所提出的非线性锐化滤波器可以更好地消除环状效应，因此是有益的。而且，锐化滤波器例如自适应锐化滤波器使用非线性设计，可以有益地减少自适应参数的数量，从而减少信令开销。
[0023] 根据第一方面所述的视频编码器的一个实现形式中，锐化滤波器由单个自适应参数控制。
[0024] 由于针对锐化滤波器仅使用单个自适应参数，因而可以进一步限制所需的信令开销。特别地，可以减少用于预测编码的块的大小，而不会同时增加信令开销。
[0025] 根据第一方面所述的视频编码器的一个实现形式中，自适应锐化滤波器包括边缘图计算单元，用于生成源块的边缘图，所述源块是所述参考块或所述预测块。锐化滤波器包括模糊滤波器，用于模糊所述源块的所述边缘图。锐化滤波器包括
高通滤波器，用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源块每个位置的导数矢量。锐化滤波器包括缩放单元，用于通过使用锐化强度系数缩放所述导数矢量生成位移矢量。锐化滤波器包括扭曲单元，用于基于所述位移矢量扭曲所述预测块。
[0026] 因而，锐化滤波器的这种结构定义了非线性锐化滤波器，有益地，其可以更好地消除环状效应伪影。
[0027] 根据第一方面所述的视频编码器的一个实现形式中，所述锐化滤波器的所述自适应参数包括所述锐化强度系数。
[0028] 因而，使用锐化强度系数作为自适应参数意味着只需要一个自适应参数，这进一步降低了信令开销。
[0029] 根据第一方面所述的视频编码器的一个实现形式中，所述预测单元用于选择能使残余块最小化的锐化强度系数，所述残余块为所述当前块与所述预测块的差值，所述预测块可由自适应锐化滤波器或基于成本标准(如速率失真优化)输出。
[0030] 根据第一方面所述的视频编码器的一个实现形式中，模糊插值滤波器是一种
低通滤波器，由于其设计特性，不能产生环状效应。
[0031] 根据第一方面所述的视频编码器的一个实现形式中，模糊插值滤波器含有单个自适应参数。由于针对模糊插值滤波器仅使用单个自适应参数，因而可以进一步限制所需的信令开销。
[0032] 根据第一方面所述的视频编码器的一个实现形式中，所述模糊插值滤波器的所述自适应参数包括模糊系数。
[0033] 因而，使用模糊系数作为自适应参数意味着只需要一个自适应参数，这进一步降低了信令开销。
[0034] 根据第一方面所述的视频编码器的一个实现形式中，所述模糊插值滤波器是高斯滤波器或双线性滤波器，并且如果所述模糊插值滤波器是高斯滤波器，则所述模糊系数是高斯分布的标准偏差。
[0035] 因而，可以通过应用模糊插入来抑制例如由于在重建的参考帧中进行块化和梯度聚束而引起的非期望边缘。而且，在重建的参考帧中可以抑制非期望的高频噪声。
[0036] 根据第一方面所述的视频编码器的一个实现形式中，所述模糊插值滤波器包括：计算单元，用于基于所述标准偏差计算高斯滤波器系数；以及滤波单元，用于使用计算出的高斯滤波器系数生成预测块作为模糊插值滤波器的输出。
[0037] 根据第一方面所述的视频编码器的一个实现形式中，所述视频编码器包括：单元，用于存储基于不同标准偏差预先计算出的高斯滤波器系数集合；以及滤波单元，用于使用预先计算出的高斯滤波器系数集合中的一个生成预测块作为模糊插值滤波器的输出。
[0038] 因而，这种预先计算可以起到在优化过程中节省计算资源的作用。
[0039] 根据第一方面所述的视频编码器的一个实现形式中，所述预测单元用于选择能使残余块最小化的模糊系数，所述残余块为所述当前块与所述预测块的差值，所述预测块可由所述模糊插值滤波器或基于成本标准(如速率失真优化)输出。
[0040] 因而，通过在优化过程中选择模糊系数可以进一步改善运动补偿。
[0041] 根据第一方面所述的视频编码器的一个实现形式中，抽头滤波器是具有尖锐阶跃响应的固定长抽头滤波器。
[0042] 根据第一方面所述的视频编码器的一个实现形式中，所述整像素位置及所述多个分像素位置中的每一个与所述至少三个或三组插值滤波器中的一个或一组相关联，和/或所述锐化滤波器和/或所述模糊插值滤波器的自适应参数的给定值相关联(如果存在)。
[0043] 因而，由于像素位置与三个插值滤波器中的一个相关联并且可能具有自己的自适应参数，并使用分数运动矢量位置作为针对插值滤波器类型和自适应参数的信令点，所以可以减少信令开销。
[0044] 根据第一方面所述的视频编码器的一个实现形式中，所述视频编码器包括编码单元，用于生成编码视频比特流，并且
指定插值滤波器类型和所述自适应参数的所述给定值和所述相关联的整像素位置或分像素位置用作所述编码视频比特流中的信令信息。
[0045] 因而，可以减少必须传输到解码器的信令信息的量，并且可以减少信令开销。
[0046] 根据第一方面所述的视频编码器的一个实现形式中，从所述三个或三组插值滤波器中选择所述插值滤波器取决于所述整像素位置或所述分像素位置，从而使得给定的整像素位置或分像素位置指示选择给定插值滤波器和自适应参数(如果存在)。
[0047] 因而，可以在不引入额外信令开销的情况下对本地特征进行自适应。
[0048] 根据第一方面所述的视频编码器的一个实现形式中，所述视频编码器含有至少一个插值滤波器模式，所述至少一个插值滤波器模式针对每个整像素位置和分像素位置定义所述关联的插值滤波器的类型和/或自适应参数的值(如果存在)。
[0049] 因而，插值滤波器模式可以容易地定义每个插值滤波器类型以及(如果适用)自适应参数值而不引入额外的信令开销。
[0050] 因而，解码器能够根据像素位置来选择在插值滤波器模式中定义的插值滤波器。
[0051] 根据第一方面所述的视频编码器的一个实现形式中，所述视频编码器含有多个插值滤波器模式，其中，所述预测单元用于从所述多个插值滤波器模式中选择一个。
[0052] 因而，例如可以预先计算并准备多个插值滤波器模式，使得在编码视频流期间，仅需要选择插值滤波器模式中的一个。
[0053] 根据第一方面所述的视频编码器的一个实现形式中，所述视频编码器包括编码单元，用于生成所述编码视频比特流，并在所述编码视频比特流中添加一个或多个所述插值滤波器模式作为信令信息。
[0054] 根据第一方面所述的视频编码器的一个实现形式中，假使提供了多个插值滤波器模式，编码单元用于在所述编码视频比特流中添加待选择插值滤波器模式的选择信息作为信令信息。
[0055] 因而，这个选择信息或索引信息可以指示解码器所应选择的插值滤波器模式。假使解码器已经获知多个插值滤波器模式，因而这个选择信息进一步减少了信令开销。
[0056] 根据第一方面所述的视频编码器的一个实现形式中，所述编码单元用于将针对每个预测块以及帧的任意或常规区域的所述待选择插值滤波器模式的信令信息添加到帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层。
[0057] 因而，可以将插值滤波器信息设置为期望的粒度，从而可以优化信令。
[0058] 本发明第二方面提供一种编码方法，用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流。该方法包括存储所述视频流的至少一个参考帧。该方法包括预测步骤：根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置。所述预测步骤还包括以下操作：通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：模糊插值滤波器、抽头滤波器和抽头滤波器及其后的锐化滤波器。
[0059] 根据本发明第二方面的方法的其它特征或实现方式可以用于执行根据本发明第一方面及其不同的实现形式的视频编码器的功能。
[0060] 本发明第三方面提供一种视频解码器，用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码。所述视频解码器包括帧缓冲器，用于存储从所述编码视频比特流得到的至少一个参考帧。所述视频解码器包括预测单元，用于根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置。所述预测单元用于通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：模糊插值滤波器、抽头滤波器和抽头滤波器及其后的锐化滤波器。
[0061] 因而，通过第一方面的视频编码器所获得的优点也能通过第三方面的视频解码器获得。
[0062] 根据第三方面所述的视频解码器的一个实现形式中，所述模糊插值滤波器和所述锐化滤波器中至少一个是由至少一个自适应参数控制的自适应滤波器。
[0063] 因而，参考块可以通过能用于视频的具体内容的插值滤波器来插入。自适应能够考虑视频内容的本地特征，并且由于插值滤波器的参数化表示仅使用一个用于自适应和传输的系数，所以可以限制所需的信令开销。
[0064] 根据第三方面所述的视频解码器的一个实现形式中，从所述三个或三组插值滤波器中选择所述插值滤波器取决于所述整像素位置或所述分像素位置，从而使得给定的整像素位置或分像素位置指示选择给定插值滤波器和/或自适应参数的值(如果存在)。
[0065] 因而，使用分数运动矢量位置作为针对插值滤波器类型和自适应参数的信令点不会产生额外的信令开销。
[0066] 根据第三方面所述的视频解码器的一个实现形式中，所述预测单元用于根据插值滤波器模式从所述三个或三组插值滤波器中选择一个。所述插值滤波器模式针对运动矢量的整像素位置及其关联的分像素位置定义关联的插值滤波器类型和/或自适应参数的值(如果存在)。
[0067] 因而，插值滤波器模式可以容易地定义每个插值滤波器类型以及(如果适用)自适应参数值，从而可以进一步减小信令开销。
[0068] 根据第三方面所述的视频解码器的一个实现形式中，所述视频解码器包括解码单元，用于从所述编码视频比特流获得所述插值滤波器模式以用作信令信息。
[0069] 根据第三方面所述的视频解码器的一个实现形式中，所述视频解码器包括解码单元，用于从编码视频比特流中获取多个插值滤波器模式以及待选择插值滤波器模式的选择信息用作信令信息。所述预测单元用于根据所获得的选择信息从获得的插值滤波器模式中选择一个，并且根据选择的插值滤波器模式从所述三个或三组插值滤波器中选择一个。
[0070] 因而，这个选择信息或索引信息可以指示解码器所应选择的插值滤波器模式。一旦解码器获知多个插值滤波器模式，只需要通过编码视频比特流传输该选择信息，从而可以进一步减少信令开销。
[0071] 根据第三方面所述的视频解码器的一个实现形式中，所述预测单元用于在所述视频解码器接收所述编码视频比特流之前预先存储多个插值滤波器模式。所述视频解码器包括解码单元，用于从所述编码视频比特流获得所述预存储的待选择插值滤波器模式的选择信息用作信令信息。所述预测单元用于根据所获得的选择信息从预存储的插值滤波器模式中选择一个，并且根据选择的插值滤波器模式从所述三个或三组插值滤波器中选择一个。
[0072] 因而，解码器已经获知多个插值滤波器模式，并且只需要通过编码视频比特流来传输该选择信息。接着，可以进一步减少信令开销。
[0073] 根据第三方面所述的视频解码器的一个实现形式中，所述解码单元用于在帧层、GOP(图像组)层、PPS(图像参数集合)层或SPS(序列参数集合)层上获取针对每个预测块以及帧的任意或常规区域的所述待选择插值滤波器模式的信令信息。
[0074] 因而，可以将插值滤波器信息设置为期望的粒度，从而可以优化信令。
[0075] 根据本发明第一方面的视频编码器的其他特征或实施方式，特别是至少三个插值滤波器及其结构，也适用于根据本发明第三方面的视频解码器。
[0076] 本发明第四方面提供一种解码方法，用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码。该方法包括存储从所述编码视频比特流获得的至少一个参考帧。该方法包括预测步骤：根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置。所述预测步骤还包括以下操作：通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：模糊插值滤波器、抽头滤波器和抽头滤波器及其后的锐化滤波器。
[0077] 根据本发明第四方面的方法的其它特征或实现方式可以用于执行根据本发明第三方面及其不同的实现形式的视频解码器的功能。
[0078] 本发明的第五方面提供了一种具有程序代码的计算机程序，所述程序代码用于当计算机程序在计算设备上运行时执行这种编码和/或解码方法。
[0079] 本发明提出了一种运动补偿，其包含应用改进的运动插值滤波方案，该方案包括进行可以根据本地图像特征自适应调整的模糊的、常规的和锐化的插入。运动插值方案包括三种不同的滤波器类型：模糊、固定和锐化滤波器，这些可供在编码过程中选择。模糊和锐化滤波器可以更好地适应编码图像的本地特征。为了将插值滤波器类型和自适应参数发
信号通知解码器，建议使用分数运动矢量位置。
[0080] 利用所提出的插值滤波方案，可以通过应用三种滤波器类型来对编码图像的本地特征进行自适应。由于自适应滤波器的参数化表示只有一个用于自适应的系数，所以可以实现减少信令开销。这减少了信令开销并允许自适应编码图像的较小区域。由于使用分数运动矢量位置作为针对插值滤波器类型和自适应参数的信令点，所以可以进一步降低信令开销。由于减少了信令开销，可以对编码图像的小区域的本地特征进行自适应。可以减少由运动插值滤波器引起的环状效应伪影和边缘模糊，同时保持插入边缘的质量。还可以减少由于参考图像中的变换系数的量化而引起的环状效应伪影和边缘模糊。也可以减少
运动模糊造成的边缘模糊。所提出的方案可以通过应用模糊插入来抑制例如由于在重建的参考图像进行块化和梯度聚束而引起的非期望边缘，并且通过应用模糊插入来抑制重建的参考图像中非期望高频噪声。该提出的方案也提高了重建图像中边缘的主观质量，增加了模糊平滑梯度区域的主观质量。所提出的插值滤波起到了环路或环内参考滤波所发挥的作用，并且同时减少由传统运动插值滤波器自适应于图像内容引起的伪影。
[0081] 需要注意的是，本
申请所描述的所有设备、元件、单元和方式均可在
软件或
硬件元件或它们的任意组合中实现。由本申请描述的各种实体执行的所有步骤以及所描述的由各种实体执行的功能旨在表示各个的实体适用于或用于执行相应的步骤和功能。即使在具体
实施例的以下描述中，完全由外部实体形成的具体功能或步骤未在执行该具体步骤或功能的该实体的具体细节元件的描述中反映，技术人员应清楚可以在各个软件或硬件元件或它们的任意组合中实现这些方法和功能。
附图说明
[0082] 结合所附附图，下面具体实施例的描述将阐述上述本发明的各方面及其实现形式，其中：
[0083] 图1示出了根据现有技术的视频编码器；
[0084] 图2示出了根据本发明实施例的一种视频编码器；
[0085] 图3示出了根据本发明实施例的一种视频编码器的插值滤波器；
[0086] 图4示出了根据本发明实施例的一种视频解码器；
[0087] 图5示出了根据本发明实施例的一种视频编码方法；
[0088] 图6示出了根据本发明实施例的一种视频解码方法；
[0089] 图7示出了根据本发明的模糊插值滤波器的一个实施例；
[0090] 图8示出了根据本发明的锐化滤波器的一个实施例；
[0091] 图9示出了根据本发明实施例的模糊插值滤波器的插值滤波器模式；
[0092] 图10示出了根据本发明实施例的锐化滤波器的插值滤波器模式；
[0093] 图11示出了根据本发明实施例的插值滤波器混合模式；
[0094] 图12示出了根据本发明的不同插值滤波器模式的一个实施例。
具体实施方式
[0095] 图2示出了根据本发明实施例的一种视频编码器，特别是一种用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流的视频编码器200。进一步地，图3示出了根据本发明实施例的一种视频编码器的插值滤波器。
[0096] 视频编码器200尤其包括帧缓冲器207和预测单元。
[0097] 帧缓冲器207用于存储所述视频流的至少一个参考帧或图像。预测单元210用于根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块。所述分数像素分辨率定义整像素位置和多个分像素位置。
[0098] 进一步地，所述预测单元210用于通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：
[0099] 模糊插值滤波器302；
[0100] 抽头滤波器303；以及
[0101] 抽头滤波器303及其后的锐化滤波器311。
[0102] 图3所示的锐化滤波器311在图2中由208表示。图3中的模糊插值滤波器302和抽头滤波器303在图2中由插值滤波器(一个或多个)块209表示。
[0103] 所述参考帧可以不同于视频流的当前帧。特别地，在本发明的上下文中，当前帧是当前编码的视频流的帧，而参考帧是已经被编码然后重建的视频流的帧。下面所提及的“帧”都可以被“图像”替代。
[0104] 可以使用帧间编码技术对当前帧进行编码，即，由与当前帧不同的至少一个参考帧来预测当前帧。参考帧可以是先前帧，即在后续帧的视频流内位于当前帧之前的帧。或者，如果使用前向预测，则参考帧可以是未来帧，即位于当前帧之后的帧。假使有多个参考帧，至少一个可以是所述先前帧，并且其中至少一个可以是所述未来帧。参考帧可以是帧内编码的，即可以不使用任何其它帧并且不依赖于其他帧进行编码，使得可以对其进行独立解码并且其可以用作随机视频访问的入口点。
[0105] 特别地，预测单元210用于通过生成运动矢量并估计参考帧的参考块与当前帧的当前块之间的运动进行运动估计。所述运动估计在编码期间执行，从而基于某个损失函数例如速率失真优化来找到指向参考帧中的最佳参考块的运动矢量。除了运动估计之外，预测单元210还用于通过基于运动矢量和参考块生成针对当前块的预测块来进行运动补偿。
[0106] 特别地，运动预测包括运动估计和运动补偿。运动矢量是通过运动估计单元生成的。参考块和当前块优选地是参考帧和当前帧的各自的区域或子区域。这样的块可以具有规则的形状例如矩形或不规则形状。或者，所述块的大小可以与帧的大小相同。当前块和参考块都具有相同的大小。块的大小可以通过作为边信息或信令数据传输给解码器的块模式信息来定义。块可以对应于编码单元，该编码单元是预定义大小的视频序列的基本编码结构，其包含帧的一部分，例如，64x64像素。
[0107] 根据参考块，生成针对当前块的预测块。特别地，可以根据多个参考块生成针对当前帧多个当前块的多个预测块。这些参考块可以是单个参考帧的一部分，或者可以从不同的参考帧中选择。可以针对当前帧生成几个预测块，并且可以合并针对当前帧生成的预测块来获得当前帧的预测帧。
[0108] 图2中的视频编码器200包括类似于图1中的视频编码器100中的另外的单元，特别地用于支持混合视频编码。例如，视频编码器200包含类似单元，所述类似单元为变换单元201，量化单元202及熵编码器或熵编码单元203，本领域已知，分别用于通过变换到频域产生变换系数，将系数量化并且对量化系数(例如与信令数据一起)进行熵编码。变换单元201的输入是残余块，该残余块定义为当前帧的当前块与预测单元210输出的预测块之间的差值，所述当前帧的当前块在图2中称为视频块。熵编码单元203用于生成编码视频比特流作为输出。
[0109] 视频编码器200包含另外的类似单元，该类似单元为逆量化单元204，逆变换单元205及环路滤波单元206。量化单元202生成的量化变换系数由逆量化单元204和逆变换单元
205分别进行逆量化和逆变换，以获得与馈送到变换单元201的残余块相对应的重建的残余块。然后将重建的残余块添加到先前用于生成残余块的预测块中，以获得对应当前块的重建的当前块，该重建的当前块在图2中称为重建的视频块。该重建的当前块可以由环路滤波单元206处理以消除按块处理和量化所引入的伪影。然后，可以通过重建的当前块重建包括至少一个当前块或有益地包括多个当前块的当前帧。该重建的当前帧可以存储在帧缓冲器
207中，在对视频流的另一个帧进行帧间预测时用作参考帧。
[0110] 本发明提出的运动插值方案置于预测单元210中，用于运动估计和运动补偿，以获得分数和整像素位置中的帧块。如图3所示，所述插值方案基于以下三个或三组插值滤波器类型：
[0111] 模糊插值滤波器302，有益地不产生环状效应，例如高斯或双线性滤波器；
[0112] 抽头滤波器303，例如具有尖锐阶跃响应的传统长抽头滤波器，所述尖锐阶跃响应通常可以产生环状效应，例如基于H.265/HEVC的离散余弦变换插值滤波器(discrete cosine transform-based interpolation filter，简称DCT-IF)；
[0113] 抽头滤波器303及其后锐化滤波器311的组合，例如具有尖锐阶跃响应的所述传统长抽头滤波器和减少环状效应并增加边缘锐度的非线性锐化滤波器的组合。
[0114] 所述预测单元210和所述预测单元300用于通过至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入存储在所述帧缓冲器207和所述帧缓冲器307中的所述参考块。在运动估计时，可以选择这三种插值类型中的一种。例如，由判定单元305基于产生最小预测误差或基于最小成本(速率或失真)标准来选择。
[0115] 图4示出了根据本发明实施例的一种视频解码器，特别是一种用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码的视频解码器400。
[0116] 视频解码器400特别地包括帧缓冲器407和预测单元410。帧缓冲器407用于存储从编码视频比特流获得的至少一个参考帧。预测单元410用于根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块，所述分数像素分辨率定义整像素位置和多个分像素位置。所述预测单元410用于通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：
[0117] 模糊插值滤波器302；
[0118] 抽头滤波器303；以及
[0119] 抽头滤波器303及其后的锐化滤波器311。
[0120] 所述解码器400用于解码由视频编码器300生成的编码视频比特流，并且解码器400和编码器300都产生相同的预测。图3所示的锐化滤波器311在图4中由411表示。图3中的模糊插值滤波器302和抽头滤波器303在图2中由插值滤波器(一个或多个)块409表示。
[0121] 特别地，视频解码器400可以包括也存在于视频编码器200中的另外的单元，例如逆量化单元404、逆变换单元405和环路滤波单元406，它们分别对应于视频编码器200的逆量化单元204、逆变换单元205和环路滤波单元206。熵解码单元403用于解码接收到的编码视频比特流并相应地获得量化的残余变换系数以及信令信息(如果存在)。将量化的残余变换系数馈送到逆量化单元404和逆变换单元405以生成残余块。将残余块和预测块相加，并且将相加得到的块馈送到环路滤波单元406以获得解码的视频。解码的视频的帧可以存储在帧缓冲器407中，并且用作参考帧用于帧间预测。
[0122] 视频编码器200和视频解码器400包含相似的插值滤波器，所述相似的插值滤波器为模糊插值滤波器302，抽头滤波器303以及抽头滤波器303和锐化滤波器311的组合。有益地，模糊插值滤波器302和锐化滤波器311中至少一个是由至少一个自适应参数控制的自适应滤波器。
[0123] 为了保证能在编码器侧和解码器侧得到相同的预测，所述整像素位置及所述多个分像素位置中的每一个与所述至少三个或三组插值滤波器302、303和303+311中的一个或一组相关联，和/或所述锐化滤波器311和/或所述模糊插值滤波器302的自适应参数的给定值相关联(如果存在)。
[0124] 对于编码器200和解码器400，从所述三个或三组插值滤波器中选择所述插值滤波器取决于所述整像素位置或所述分像素位置，从而使得给定的整像素位置或分像素位置指示选择给定插值滤波器和自适应参数(如果存在)。
[0125] 在视频编码器200侧，从三个或三组插值滤波器中选择插值滤波器取决于所述整像素位置或所述分像素位置，所述整像素位置或所述分像素位置由在运动估计期间获得的运动矢量定义。编码器200的编码单元203用于生成编码视频比特流，并且指定插值滤波器类型、所述自适应参数的所述给定值(如果存在)以及相关联的整像素位置或分像素位置用作所述编码视频比特流中的信令信息。此外，编码单元203指定所述运动矢量用作所述编码视频比特流中的信令信息。
[0126] 视频解码器400用于从编码视频比特流获得该信令信息。解码器400接收插值滤波器类型和相关联的像素位置，并且特别地针对每个像素位置接收相关联的插值滤波器类型。如果存在，解码器400也针对每个像素位置接收所述自适应参数的所述给定值。此外，视频解码器400用于获得编码器200在运动估计期间确定的运动矢量用作编码视频比特流中的信令信息。因此，使用所述获得的运动矢量，解码器400能够推断出像素位置和相关联的插值滤波器类型以及相关联的自适应参数的值(如果存在)。因此，可以在编码器和解码器侧实施相同的预测，同时减少信令开销。
[0127] 图5示出了根据本发明实施例的一种视频编码方法，特别是一种用于根据运动补偿将后续帧的视频流预测编码成编码视频比特流的方法。
[0128] 该方法包括步骤501：存储所述视频流的至少一个参考帧。
[0129] 该方法还包括预测步骤502：根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块。所述分数像素分辨率定义整像素位置和多个分像素位置。此外，所述预测步骤包括以下操作：通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：
[0130] 模糊插值滤波器；
[0131] 抽头滤波器；以及
[0132] 抽头滤波器及其后的锐化滤波器。
[0133] 图6示出了根据本发明实施例的一种视频解码方法，特别是一种用于对通过根据运动补偿预测编码后续帧的视频流得到的编码视频比特流进行解码的方法。
[0134] 该方法包括步骤601：存储从编码视频比特流获得的至少一个参考帧。
[0135] 该方法还包括预测步骤602：根据具有分数像素分辨率的运动矢量，由参考帧的参考块生成当前帧的当前块的预测块。所述分数像素分辨率定义整像素位置和多个分像素位置。所述预测步骤还包括以下操作：通过以下至少三个或三组插值滤波器中的一个或一组根据所述分数像素分辨率插入所述参考块，所述至少三个或三组插值滤波器包括：
[0136] 模糊插值滤波器；
[0137] 抽头滤波器；以及
[0138] 抽头滤波器及其后的锐化滤波器。
[0139] 视频编码器200或视频解码器400进一步描述的方面和特征也适用于所述编码方法和所述解码方法。
[0140] 图7示出了根据本发明的模糊插值滤波器的一个实施例，特别是视频编码器200的模糊插值滤波器302的实施例。
[0141] 在图7的实施例中，模糊插值滤波器302实现为参数形式的高斯滤波器。模糊量可以仅通过高斯滤波器的一个自适应参数σ来控制。这个单一的自适应参数具有这样的优点，即可以容易地优化滤波器，并且可以减少用于传递自适应模糊参数的信令开销。
[0142] 模糊插值滤波器302接收运动矢量作为输入。运动矢量在运动估计期间由编码器200确定。基于运动矢量，单元701用于获得所述运动矢量的像素位置的分数部分。
[0143] 另外的单元702用于用给定的参数σ来计算高斯滤波器系数并且获得分数移位。单元703用于使用参考块和单元702计算的插值滤波器系数作为输入获得运动预测块。然后，模糊插值滤波器302用于通过预测误差或成本标准来计算预测效率。预测误差对应于残余块，并且通过计算原始块与预测块之间的差值得到。
[0144] 为了优化预测效率，单元702用于计算针对参数σ的另一值的系数，使得单元703可以获得相应的预测块并且模糊插值滤波器302可以计算相应的预测效率。在针对参数σ的不同值
迭代执行这些步骤之后，模糊插值滤波器302选择提供最佳预测效率的参数σ。
[0145] 或者，可以使用参数σ不同的值预先计算高斯滤波器系数，并针对不同的分像素位置进行存储。这样可以在优化过程中节省一些计算资源。
[0146] 视频解码器400包括与图7所示的编码器200的模糊插值滤波器302类似的模糊插值滤波器。视频解码器400的模糊插值滤波器类似地包括单元701、702和703，并类似地接收运动矢量作为输入。该运动矢量由视频解码器400从编码视频比特流中获得用作信令信息。解码器400导出参数σ的值，该参数σ将用于根据插值滤波器模式由运动矢量的分数部分生成滤波器系数。
[0147] 视频编码器200的模糊插值滤波器和视频解码器400的模糊插值滤波器之间的差异优选地在于预测效率的计算以及通过针对参数σ的不同值迭代计算预测效率来优化预测效率。
[0148] 图8示出了根据本发明的自适应锐化滤波器的一个实施例，特别是视频编码器200的自适应锐化滤波器311的实施例。
[0149] 锐化滤波器311优选地为非线性滤波器。优选地使用非线性锐化滤波器而不是线性滤波器，来去除由运动插值滤波器和参考块或帧的量化造成的伪影。选择非线性滤波器可以减少锐化滤波器311的自适应参数的数量。特别地，非线性滤波器可以仅利用一个自适应参数，从而减小编码视频比特流的信令开销。尽管本发明也包含使用一个以上自适应参数来控制锐化滤波器311的情况，但是锐化滤波器仅利用一个自适应参数是特别有益的实施例。
[0150] 特别地，锐化滤波器311包括边缘图计算单元801和802、模糊滤波器804、高通滤波器805、缩放单元806和扭曲单元807。
[0151] 边缘图计算单元801和802用于生成源块的边缘图，所述源块是所述参考块或所述预测块。模糊滤波器804用于模糊所述源块的所述边缘图。高通滤波器805用于通过对所述模糊的边缘图进行高通滤波，生成针对所述源块每个位置的导数矢量(d2x，d2y)。缩放单元806用于通过使用锐化强度系数k缩放所述导数矢量(d2x，d2y)生成位移矢量(wx，wy)。扭曲单元807用于基于所述位移矢量(wx，wy)扭曲所述预测块。
[0152] 因而，控制锐化滤波器800的自适应参数是锐化强度系数k。图8所示的本发明的实施例针对锐化滤波器800仅有一个自适应参数。
[0153] 边缘图计算单元801和802可以包括：梯度矢量单元801，用于针对源块的每个位置生成梯度矢量(dx，dy)；以及梯度矢量长度单元802，用于计算各个位置的梯度矢量(dx，dy)的长度，从而生成源块的边缘图。因而，该结构允许生成边缘图，边缘图可以由模糊滤波器、高通滤波器和缩放单元进一步处理以生成扭曲位移矢量。
[0154] 可以结合下面的等式应用相应的Prewitt滤波器通过对dx和dy分别取一阶导数来得到梯度矢量，即分别对图8中的称作运动预测块的源块的水平方向和垂直方向取一阶导数。
[0155]
[0156]
[0157] 边缘图可以通过梯度矢量长度单元802结合以下等式计算梯度矢量长度来获得：
[0158]
[0159] 有益地，锐化滤波器311包括裁剪单元803，用于裁剪源块的边缘图，所述裁剪单元803位于边缘图计算单元801和802与模糊滤波器804之间。因此，根据
阈值裁剪边缘图是有益的，因为这避免处理扭曲矢量的极高值和极低值。
[0160] 对裁剪的边缘图进行模糊的步骤可以由模糊滤波器804执行，该模糊滤波器804采用如下定义的高斯滤波器形式：
[0161]
[0162] 高通滤波器用于分别针对d2x和d2y得到二阶导数，例如根据以下等式得到二阶导数：
[0163] d2x＝[1 0 -1]
[0164]
[0165] 根据以下等式使用系数k缩放二阶导数矢量(d2x，d2y)来获得位移矢量(wx，wy)，其中，系数k可以视为锐化强度。
[0166] wx＝k*d2x
[0167] wy＝k*d2y
[0168] 扭曲单元807包括插值滤波器例如双线性插值滤波器以获得分像素位置处的
采样值。扭曲单元807使用由缩放单元806生成的位移矢量。因此，改善了视频编码器的整体质量，同时在期望的分像素位置上插入参考帧或块。
[0169] 减法单元808用于得到扭曲单元807生成的锐化的预测块与当前块之间的差值，所述当前块对应待编码块。实际上，减法单元808产生残余块。锐化滤波器311用于例如通过最小化残余块或通过基于例如速率失真的成本标准来找到最佳锐化强度k。
[0170] 视频解码器400包含类似于图8所示的视频编码器200的自适应锐化滤波器311的自适应锐化滤波器。视频编码器200的自适应锐化滤波器与视频解码器400的自适应锐化滤波器之间的差异优选地在于减法单元808和残余块的最小化。
[0171] 在视频解码器400中，自适应参数例如系数k不通过减法单元808和残余块的最小化来设置。而是，在视频解码器400中优选地根据插值滤波器模式依据运动矢量的分数部分设置自适应参数。
[0172] 锐化滤波器400进行基于根据源块计算的位移矢量的扭曲，该源块在图8中称为运动预测块。根据图8中未示出的实施例，源块是存储在帧缓冲器207中的参考帧的参考块，以从参考块导出位移矢量(wx，wy)。因而，参考块用作源块以获得位移矢量，位移矢量也称为锐化位移矢量或扭曲位移矢量。然后使用获得的位移矢量将扭曲应用于预测块。该实施例的优点在于节省了编码器侧的计算资源。
[0173] 根据图8所示的可选实施例，源块是由预测单元210生成的预测块，以从预测块导出位移矢量(wx，wy)。
[0174] 因而，选择预测块作为源块可以计算合适的位移矢量，以用于扭曲所述预测块。而且，然后，锐化滤波器仅需要针对预测块的一次输入，不需要针对参考块的二次输入。
[0175] 结合图8所示的实施例，锐化滤波器可以仅由一个系数例如锐化强度k控制。这使得自适应过程比传统的线性自适应维纳(Wiener)滤波器更容易并且需要更少的信令比特用于传输。使用非线性锐化滤波器而不是已知的线性滤波器能更好地去除由运动插值滤波器和参考图像的量化引起的伪影。
[0176] 图9示出了根据本发明实施例的模糊插值滤波器的插值滤波器模式。针对每个整像素位置和分像素位置，图9所示的插值滤波器模式将相关的插值滤波器定义为模糊插值滤波器302。此外，针对每个像素位置，图9中的模式定义自适应参数的值，例如，模糊系数σ的值。
[0177] 运动矢量的分数空间包括几个像素位置。在诸如H.264/AVC和H.265/HEVC的现代视频编解码器中，运动矢量在X维度和Y维度上通常都具有1/4像素分辨率。图9示出了这种1/4像素分辨率的本发明的实施例。这种分辨率意味着一共4x4＝16个可能的位置。这些可能的位置包括一个用方形“a”标识的整像素位置，以及15个分像素位置b、c、d、e、f、g、h、i、j、k、l、m、n、o和p。分像素位置包括用圆形c、i和k标识的3个1/2像素位置以及标识为对应三
角形的12个1/4像素位置。模式针对每个位置定义了模糊系数σ的值σ1……σ16。
[0178] 编码器200可将图9中的插值滤波器模式作为信令信息添加到编码视频比特流，并且可由解码器400相应地从所述编码视频比特流获得。根据图9中的插值滤波器模式执行插入是指不使用具有尖锐阶跃响应的传统固定滤波器，而是将模糊插值滤波器应用于插入。与分像素位置相关联的模糊系数σi用作自适应模糊插值滤波器的自适应系数。
[0179] 系数σ1可以是恒定的，并且可以通过离线训练来预定义或者基于之前的编码实验进行选择。在模式的不同分像素位置可以有相同的模糊系数σi。在序列层、GOP层、帧层或区域层，系数σi也可以是可变的和自适应的。这时，需要额外的信令。
[0180] 图10示出了根据本发明实施例的锐化滤波器的插值滤波器模式。
[0181] 图10中的插值滤波器模式类似于图9中的模式，并且针对每个整像素位置和分像素位置将相关联的插值滤波器定义为锐化滤波器311。进一步地，不是定义模糊插值滤波器的模糊系数σ，图10中的所述插值滤波器模式针对每个像素位置定义自适应参数的值，例如，锐化强度系数k的值。
[0182] 与图9类似，系数ki可以是恒定的，并且可以通过离线训练来预定义或者基于之前的编码实验进行选择。在不同分像素位置可以有相同的锐化系数ki。在序列层、GOP层、帧层或区域层，系数ki也可以是可变的和自适应的。这时，需要额外的信令。
[0183] 图11示出了根据本发明另一实施例的插值滤波器模式。
[0184] 图11所示的模式实际上是一个混合插值滤波器模式，其包含所有三种插值滤波器类型。一些分像素位置b、e、f、g、h、j和n具有相关联的模糊参数σ，这意味着对于这些位置，模糊插值滤波器302将应用相应的滤波器参数σ1……σ7。
[0185] 一些其他像素位置l、o和p具有相关联的锐化强度参数k，这意味着在利用抽头滤波器303进行插入后，即利用传统的固定滤波器抽头，自适应锐化滤波器311将应用相应的参数值k1、k2和k3。
[0186] 一些其他的像素位置a、c、d、i、k和m没有相关联的参数，即插值滤波器模式不将任何参数值与这些位置相关联。解码器400对于这些位置使用抽头滤波器303，即传统的线性插值滤波器。
[0187] 通过在一个插值滤波器模式中混合所有插值类型，编码器现在可以自适应地根据图像内容选择针对每个特定情况的最合适插入。
[0188] 在图9、10和11所示的实施例中，运动矢量的分像素位置因此可以在插值滤波器类型中针对模糊插值滤波器302和锐化滤波器311对所定义的插值滤波器类型的自适应参数进行定义。编码器和解码器都应了解插值滤波器模式。其可以是预定义的或者是自适应的并且作为边信息传递，即作为编码视频比特流的信令信息。
[0189] 图12示出了根据本发明的不同插值滤波器模式的一个实施例。
[0190] 对于帧的一些区域，可能不需要使用模糊插值滤波器302或锐化滤波器311。这时，最好对所有分数点使用抽头滤波器303。在帧的其他区域中，应用模糊插值滤波器302或锐化滤波器311可能是最佳的。
[0191] 为了涵盖这些不同情形，建议为帧的一些本地区域定义几个不同的插值滤波器模式，基于成本标准诸如速率失真优化选择最佳插值滤波器模式，并且向解码器400发信号通知哪个插值滤波器模式应当用于给定区域中的运动插入。
[0192] 相应地，图12示出了包括几个区域的帧，同时，例如，使用两种不同的插值滤波器模式。标识为“插入模式0”的第一模式定义了抽头滤波器303(即传统的固定插值滤波器)将用于每个像素位置，而标识为“插入模式1”的第二模式是如图11所示的混合插值滤波器模式。
[0193] 在图12所示的实施例中，编码器200为两个区域选择第一模式，并为帧的其余四个区域选择第二模式。在编码过程中，可以为每个特定区域例如每个最大编码单元(largest coding unit，简称LCU)选择最佳的插值滤波器模式，并且可以以一个比特大小的信号通知解码器，所述比特确定第一或第二插值滤波器模式。
[0194] 已经结合作为实例的不同实施例以及实施方案描述了本发明。但本领域技术人员通过实践所请发明，研究附图、本公开以及独立权项，能够理解并获得其它变体。在权利要求以及描述中，术语“包括”不排除其他元件或步骤，且“一个”并不排除复数可能。单个元件或其它单元可满足权利要求书中所叙述的若干实体或项目的功能。在仅凭某些措施被记载在相互不同的从属权利要求书中这个单纯的事实并不意味着这些措施的组合不能在有利的实现方式中使用。
