使用用于视频编码的高级运动模型的参考处理
阅读：390发布：2023-03-21
专利汇可以提供使用用于视频编码的高级运动模型的参考处理专利检索，专利查询，专利分析的服务。并且描述了对参考图片的处理。参考处理单元使得能够用信令表示诸如运动模型参数、插值 滤波器 参数、强度补偿参数和去噪滤波器参数等参数。还讨论了用于估计各种参数的方法。处理在将参考图片用于后续图片的预测之前改善了参考图片的 质量 ，由此改善了预测。，下面是使用用于视频编码的高级运动模型的参考处理专利的具体信息内容。
1.一种用于对参考图片进行处理的方法，包括：
i)基于重构参考图片和处理后的参考图片估计值，对要被编码的原始图片执行运动估计；
ii)进一步处理经运动估计后的图片，以获得进一步处理后的参考图片估计值；以及对所述运动估计和所述进一步处理进行迭代，以提供处理后的参考图片。
2.根据权利要求1所述的方法，其中，所述进一步处理包括：用于获得运动模型参数的进一步运动估计以及估计插值滤波器参数、强度补偿参数和去噪滤波器参数中的至少一个；以及对所述重构参考图片应用所述运动模型参数及所述插值滤波器参数、强度补偿参数和去噪滤波器参数中的至少一个。
3.一种迭代法，用于在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动参数，所述方法包括：
i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计；
ii)执行进一步运动估计，以提供运动模型参数；以及
iii)根据所述运动模型参数来执行扭曲，以获得扭曲图片；以及
对i)-iii)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片。
4.根据权利要求3所述的方法，在迭代之前还包括：
iv)对所述扭曲图片进行滤波，以获得处理后的参考图片，其中，所述迭代还对iv)进行迭代，由此对i)-iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述处理后的参考图片。
5.一种迭代法，用于在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动参数，所述方法包括：
i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计；
ii)执行进一步运动估计，以提供运动模型参数；
iii)对所述运动模型参数进行处理，以提供插值滤波器参数和强度补偿参数中的至少一个；
iv)根据所述运动模型参数以及所述插值滤波器参数和强度补偿参数中的至少一个来执行扭曲，以获得扭曲图片；以及
对i)-iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片。
6.根据权利要求5所述的方法，在迭代之前还包括：
v)对所述扭曲图片进行滤波，以获得处理后的参考图片，其中，所述迭代还对iv)和v)进行迭代，由此对i)-v)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述处理后的参考图片。
7.一种解码方法，所述解码方法用于当在单层或多层视频编码系统中执行参考图片处理时，在解码器处对参考图片缓冲器的重构参考图片或者所述重构参考图片的区域进行解码，所述解码器被适配为对从编码器获取的参数信息进行接收和解析，所述方法包括：
i)对输入图片执行扭曲，以获得第一处理图片；以及
ii)对所述第一处理后图片应用强度补偿，以获得第二处理图片。
8.根据权利要求7所述的方法，还包括：
iii)对所述第二处理图片进行滤波，以获取处理后的参考图片。
9.根据权利要求1-6中的任一项所述的方法，其中，所述重构参考图片包括未经过处理的所述参考图片缓冲器中的原始参考图片。
10.根据权利要求1-6中的任一项所述的方法，其中，所述重构参考图片包括先前处理过的参考图片。
11.根据权利要求1-6中的任一项所述的方法，其中，所述先前处理过的参考图片已经通过应用可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个而被处理。
12.根据权利要求11所述的方法，其中，根据先前的要被编码的原始图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
13.根据权利要求11所述的方法，其中，根据先前的要被编码的原始图片和所述先前处理过的参考图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
14.根据权利要求1-6或者权利要求11中的任一项所述的方法，其中，将所述处理后的参考图片用作迭代中的后续运动估计的参考。
15.根据权利要求1-6或者权利要求11-12中的任一项所述的方法，其中，所述运动估计包括下列中的至少一个：
基于块的运动估计；
频率相关运动估计；或者
相位相关运动估计；
像素水平运动估计；或者
梯度下降估计。
16.一种系统，包括：
用于进行、执行或者控制根据权利要求1-15中的任一项所述的处理方法的一个或更多个步骤的部件。
17.一种计算机可读存储介质产品，所述计算机可读存储介质产品包括存储在其中的指令，所述计算机可读存储介质产品当在至少一个处理器上执行时，使得、设计、控制或者配置所述处理器进行、执行或者控制处理方法，所述处理方法进行、执行或者控制根据权利要求1-15中的任一项所述的处理方法的一个或更多个步骤。
18.一种视频编码器，包括：
至少一个处理器；以及
计算机可读存储介质，所述计算机可读存储介质包括存储在其中的指令，所述计算机可读存储介质当在所述至少一个处理器上执行时，使得、设计、控制或者配置所述处理器：
进行、执行或者控制处理方法，所述处理方法进行、执行或者控制根据权利要求1-6或者权利要求11-15中的任一项所述的处理方法的一个或更多个步骤；以及选择性地输出根据所述处理方法步骤编码的视频信号。
19.一种视频解码器，包括：
至少一个处理器；以及
计算机可读存储介质，计算机可读存储介质包括存储在其中的指令，所述计算机可读存储介质当在所述至少一个处理器上执行时，使得、设计、控制或者配置所述处理器：
对通过根据权利要求18所述的视频编码器输出的所述视频信号进行解码；或者进行、执行或者控制处理方法，所述处理方法进行、执行或者控制根据权利要求1-15中的任一项所述的处理方法的一个或更多个步骤。
20.一种视频或者计算装置，包括：
至少一个处理器；以及
计算机可读存储介质，所述计算机可读存储介质包括存储在其中的指令，所述计算机可读存储介质当在所述至少一个处理器上执行时，使得、设计、控制或者配置所述处理器：
对从根据权利要求16所述的视频编码器输出的所述视频信号进行编码；
对通过根据权利要求18或权利要求19中的一个或更多个所述的视频编码器输出的所述视频信号进行解码；或者
进行、执行或者控制处理方法，所述处理方法进行、执行或者控制根据权利要求1-15中的任一项所述的处理方法的一个或更多个步骤。
21.一种视频或者计算装置，包括下列中的至少一个：
根据权利要求18或者权利要求19中的一个或更多个所述的视频编码器；
根据权利要求19所述的视频解码器；或
根据权利要求20所述的视频或者计算装置。
22.根据权利要求21所述的视频装置，其中，所述装置被配置、被设计或者被控制为执行根据权利要求1-15中的任一项所述的处理方法的一个或更多个步骤。
使用用于视频编码的高级运动模型的参考处理
[0001] 相关申请的交叉引用
技术领域
[0003] 本公开主要涉及图像处理和视频处理。更具体地，其涉及使用用于视频编码的高级运动模型的参考处理。
背景技术
[0004] 在基于运动补偿预测的视频编码方案中，视频编码方案使用的参考图片的质量可能显著地影响编码效率。也就是说，质量越高的参考图片（其也与源图片越相关）通常产生改善的编码优势。编码优势包括诸如提高的编码效率、降低的复杂度和更容易并行化的因
素。
素。
[0005] 图1示出了传统视频编码系统的实现。在诸如图1所示的传统视频编码系统等传统视频编码系统中，从参考图片缓冲器(100)中检索参考图片，而通常不对参考图片应用
任何附加处理。参考图片通常还用于后续图片的预测。
任何附加处理。参考图片通常还用于后续图片的预测。
[0006] 任何附加处理的缺失出现在许多编码脚本中。这些编码脚本包括用于静态视频序列或者用于以恒定的直线运动移动的序列的编码。然而，可以通过在使用参考图片用于后
续图片的预测之前对参考图片进行预处理，来实现改善的编码优势。使用了预处理的一种
脚本是立体或者多点视频编码应用，其中，在预测其它视图/层时利用特定视图/层，并且
可以以彼此不同的角度捕获其它视图/层。
续图片的预测之前对参考图片进行预处理，来实现改善的编码优势。使用了预处理的一种
脚本是立体或者多点视频编码应用，其中，在预测其它视图/层时利用特定视图/层，并且
可以以彼此不同的角度捕获其它视图/层。
[0007] 下面的情况通过引用包含于此：2010年4月20日提交的国际专利申请第PCT/US2010/031762号(2010年10月28日公布的国际公布第WO/2010/123909号)；2010年6
月30日提交的国际专利申请第PCT/US2010/040545号(2011年1月13日公布的国际公布
第WO/2011/005624号)；2011年1月5日提交的国际专利申请第PCT/US2011/020163号
(尚未公布)。
附图说明
月30日提交的国际专利申请第PCT/US2010/040545号(2011年1月13日公布的国际公布
第WO/2011/005624号)；2011年1月5日提交的国际专利申请第PCT/US2011/020163号
(尚未公布)。
附图说明
[0009] 图1示出了传统视频编码系统的实现。
[0010] 图2示出了利用参考处理单元的视频编码系统的实现。
[0011] 图3示出了利用参考处理单元的立体视频编码系统的实现。
[0012] 图4示出了被分割为不重叠区域的参考图片。
[0013] 图5示出了被分割为重叠区域的参考图片。
[0014] 图6示出了编码器侧的运动模型估计处理的示例性实施例。
[0015] 图7示出了快速运动模型选择处理的示例性实施例。
[0016] 图8示出了插值滤波器选择和强度补偿估计处理的示例性实施例。
[0018] 图10示出了像素对称的第二示例。
[0019] 图11示出了用信令表示显式插值滤波器的处理的实施例。
具体实施方式
[0021] 本公开的实施例涉及图像处理和视频处理。
[0022] 根据本公开的第一实施例，提供一种用于对参考图片进行处理的方法，包括：i)基于重构参考图片和处理后的参考图片估计值，对要被编码的原始图片执行运动估计；ii)进一步处理经运动估计后的图片，以获得进一步处理后的参考图片估计值；以及对所述运
动估计和所述进一步处理进行迭代，以提供处理后的参考图片。
动估计和所述进一步处理进行迭代，以提供处理后的参考图片。
[0023] 根据本公开的第二实施例，提供一种用于当在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域
的运动模型参数，所述方法包括：i)基于要被编码的原始图片以及所述参考图片缓冲器的
所述重构参考图片或者所述重构参考图片的区域，执行运动估计；ii)执行进一步运动估
计，以提供运动模型参数；iii)根据所述运动模型参数执行扭曲，以获得扭曲图片；以及对i)-iii)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片。
的运动模型参数，所述方法包括：i)基于要被编码的原始图片以及所述参考图片缓冲器的
所述重构参考图片或者所述重构参考图片的区域，执行运动估计；ii)执行进一步运动估
计，以提供运动模型参数；iii)根据所述运动模型参数执行扭曲，以获得扭曲图片；以及对i)-iii)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片。
[0024] 根据本公开的第三实施例，提供一种迭代法，用于当在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的
区域的运动模型参数，所述方法包括：i)基于要被编码的原始图片以及所述参考图片缓冲
器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计；ii)执行进一步运
动估计，以提供运动模型参数；iii)对所述运动模型参数进行处理，以提供插值滤波器参
数和强度补偿参数中的至少一个；iv)根据所述运动模型参数以及所述插值滤波器参数和
强度补偿参数中的至少一个来执行扭曲，以获得扭曲图片；以及对i)-iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所
述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片。
区域的运动模型参数，所述方法包括：i)基于要被编码的原始图片以及所述参考图片缓冲
器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计；ii)执行进一步运
动估计，以提供运动模型参数；iii)对所述运动模型参数进行处理，以提供插值滤波器参
数和强度补偿参数中的至少一个；iv)根据所述运动模型参数以及所述插值滤波器参数和
强度补偿参数中的至少一个来执行扭曲，以获得扭曲图片；以及对i)-iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所
述重构参考图片或者所述重构参考图片的区域以及所述扭曲图片。
[0025] 根据本公开的第四实施例，提供一种解码方法，所述解码方法用于当在单层或多层视频编码系统中执行参考图片处理时，在解码器处对参考图片缓冲器的重构参考图片或
者所述重构参考图片的区域进行解码，所述解码器被适配为对从编码器获取的参数信息进
行接收和解析，所述方法包括：i)对输入图片执行扭曲，以获得第一处理图片；以及ii)对所述第一处理后图片应用强度补偿，以获得第二处理图片。
者所述重构参考图片的区域进行解码，所述解码器被适配为对从编码器获取的参数信息进
行接收和解析，所述方法包括：i)对输入图片执行扭曲，以获得第一处理图片；以及ii)对所述第一处理后图片应用强度补偿，以获得第二处理图片。
[0026] A.参考图片处理
[0027] 图2示出了利用下文中称为RPU的参考处理单元(200)的视频编码系统的实现。RPU(200)允许诸如滤波器参数、运动补偿参数和其它建模参数的处理参数的信令。可以对
已经在参考图片缓冲器(205)中可使用的参考图片应用该信令，以生成新的参考图片。这
些新的参考图片通常与需要处理的后续图片更相关。如果期望，可以以区域水平、而不是
全局水平来操作信令，这使得能够进行更细致的控制并且在编码优势方面获得进一步的改
善。
已经在参考图片缓冲器(205)中可使用的参考图片应用该信令，以生成新的参考图片。这
些新的参考图片通常与需要处理的后续图片更相关。如果期望，可以以区域水平、而不是
全局水平来操作信令，这使得能够进行更细致的控制并且在编码优势方面获得进一步的改
善。
[0028] 引入参考处理单元(200)的使用的两个示例性参考文献是2009年4月20日提交的标题为“Directed Interpolation and Post-Processing”的美国临时申请第
61/170,995号，以及2009年7月4日提交的标题为“Encoding andDecoding Architectures for Format Compatible3D Video Delivery”的美国临时申请第61/223,027号。这两个参
考文献的全部内容通过引用包含于此。
61/170,995号，以及2009年7月4日提交的标题为“Encoding andDecoding Architectures for Format Compatible3D Video Delivery”的美国临时申请第61/223,027号。这两个参
考文献的全部内容通过引用包含于此。
[0029] 通过在视频编码系统中利用RPU(200)，已经实现了支持立体和多点视频编码的应用。通过选择高级运动模型和滤波机制，以在使用每个参考图片以预测后续增强层图片之
前应用到来自前一层图片的每个参考图片来实现这些应用。
前应用到来自前一层图片的每个参考图片来实现这些应用。
[0030] 在帧兼容3D传递方法和2D兼容3D传递方法两者中，应用涉及针对每个参考图片选择适当的高级运动模型(包括但不限于：平移、缩放、旋转、仿射和立体透视变换)和滤波机制(包括但不限于：双线性、双三次、米切尔-奈特拉瓦利(Mitchell-Netravali)、兰克
泽斯(Lanczos)和用户指定的插值滤波器)的技术。这些3D传递方法与当前由MPEG-4AVC/
H.264的多视点视频编码(MVC)扩展支持的方法类似。与其中对后续增强层的预测考虑未
经过处理的、来自前一层的参考图片的MVC不同，RPU(200)使得能够在将来自前一层的参
考图片用于后续增强层的预测之前将它们进行改进。改进通常改善编码优势。
泽斯(Lanczos)和用户指定的插值滤波器)的技术。这些3D传递方法与当前由MPEG-4AVC/
H.264的多视点视频编码(MVC)扩展支持的方法类似。与其中对后续增强层的预测考虑未
经过处理的、来自前一层的参考图片的MVC不同，RPU(200)使得能够在将来自前一层的参
考图片用于后续增强层的预测之前将它们进行改进。改进通常改善编码优势。
[0031] 本公开的几个实施例集中于2D兼容多层3D编码方法。也可以在帧兼容3D编码方法中以及在诸如通用可扩展2D编码等其它应用中使用所呈现的编码方法。另外，可以在
与智能和自适应插值滤波、强度补偿方法以及去块/去噪滤波器的组合中，使用所呈现的
编码方法。
与智能和自适应插值滤波、强度补偿方法以及去块/去噪滤波器的组合中，使用所呈现的
编码方法。
[0032] 继续参考示出了利用RPU(200)的视频编码系统的图2，在将参考图片存储在参考图片缓冲器(205)中或者从参考图片缓冲器(205)中检索到参考图片之后，对来自参考图
片缓冲器(205)的参考图片进行处理。与不对参考图片进行处理的情况相比，通过对参考
图片进行处理，参考图片可以提供对后续视频图片更准确的预测。这些处理方法通常包括
通过使用运动模型的运动补偿方法。稍后将在本公开中描述运动模型的具体类别。
片缓冲器(205)的参考图片进行处理。与不对参考图片进行处理的情况相比，通过对参考
图片进行处理，参考图片可以提供对后续视频图片更准确的预测。这些处理方法通常包括
通过使用运动模型的运动补偿方法。稍后将在本公开中描述运动模型的具体类别。
[0033] 对参考图片进行处理的一种示例性方式是对参考图片应用特定全局或局部化运动模型。在与运动补偿方法的组合中，通过线性或者非线性滤波器进行的处理也可以用于
分数位置插值、去噪、伪影(artifact)减少(例如去块)和图像增强。
分数位置插值、去噪、伪影(artifact)减少(例如去块)和图像增强。
[0034] 图3示出了参考图片处理技术在多视点或者多层视频编码系统中的使用。参考图3，该系统包括基本视点(300)和第二视点(305)。另外，该系统包括视点间RPU(310)。基
本视点(300)和第二视点(305)具有对应的基本视点参考图片缓冲器(315)和第二视点参
考图片缓冲器(325)。基本视点参考图片缓冲器(315)与基本视点RPU(320)连接，第二视
点参考图片缓冲器(325)与第二视点RPU(330)连接。视点间RPU(310)与两个图片缓冲器
(315、325)连接。虽然图3示出了两个视点或者两层视频编码系统，但是也可以考虑具有用于每个视点或者层的附加RPU的附加视点或者层以及附加视点间或者层间RPU。
本视点(300)和第二视点(305)具有对应的基本视点参考图片缓冲器(315)和第二视点参
考图片缓冲器(325)。基本视点参考图片缓冲器(315)与基本视点RPU(320)连接，第二视
点参考图片缓冲器(325)与第二视点RPU(330)连接。视点间RPU(310)与两个图片缓冲器
(315、325)连接。虽然图3示出了两个视点或者两层视频编码系统，但是也可以考虑具有用于每个视点或者层的附加RPU的附加视点或者层以及附加视点间或者层间RPU。
[0035] 继续参考图3，由相应的RPU(320、330)对基本和第二视点(300、305)内的参考图片进行处理。另外，在从基本视点(300)向第二视点(305)发送参考图片之前，视点间
RPU(310)对从基本视点参考图片缓冲器(315)接收到的参考图片进行处理。由视点间
RPU(310)进行的处理通常出现在将所有参考图片存储在每个视点专用的参考图片缓冲器
(315、325)中之后，或者针对后续图片的预测考虑特定参考图片时(例如在敏锐的RPU处理
中)。例如，可以根据指定运动模型使用于基本视点(300)的参考图片扭曲，以生成可以在
基本视点(300)、第二视点(305)或者两个视点(300、305)中用于后续图片的预测的新的参
考图片。
RPU(310)对从基本视点参考图片缓冲器(315)接收到的参考图片进行处理。由视点间
RPU(310)进行的处理通常出现在将所有参考图片存储在每个视点专用的参考图片缓冲器
(315、325)中之后，或者针对后续图片的预测考虑特定参考图片时(例如在敏锐的RPU处理
中)。例如，可以根据指定运动模型使用于基本视点(300)的参考图片扭曲，以生成可以在
基本视点(300)、第二视点(305)或者两个视点(300、305)中用于后续图片的预测的新的参
考图片。
[0036] 使用每个缓冲器(315、325)中的原始参考图片，来生成用于相同视点(300、305)或者用于另一视点(300、305)的附加参考图片。在给出诸如运动模型、插值滤波器和强度
补偿参数等新的处理参数（它们可能特定用于要处理的后续图片）的情况下，可以对原始参考图片或者新生成的参考图片再次进行处理。例如，对于视点间参考处理(310)，运动模型信息可以表示视点(300、305)之间的差异，诸如用来捕获每个视点(300、305)的不同的照
相机位置和角度。运动模型信息不仅可以包括运动扭曲信息，还可以包括例如指示使用哪
个插值滤波器以生成子像素位置的附加信息以及强度补偿信息。处理模型可以包含诸如高
斯和/或可分离线性滤波器等去噪滤波器、诸如中值或者分阶滤波器等非线性滤波器等。
还可以使用可以跨区域指定的去块方法。
补偿参数等新的处理参数（它们可能特定用于要处理的后续图片）的情况下，可以对原始参考图片或者新生成的参考图片再次进行处理。例如，对于视点间参考处理(310)，运动模型信息可以表示视点(300、305)之间的差异，诸如用来捕获每个视点(300、305)的不同的照
相机位置和角度。运动模型信息不仅可以包括运动扭曲信息，还可以包括例如指示使用哪
个插值滤波器以生成子像素位置的附加信息以及强度补偿信息。处理模型可以包含诸如高
斯和/或可分离线性滤波器等去噪滤波器、诸如中值或者分阶滤波器等非线性滤波器等。
还可以使用可以跨区域指定的去块方法。
[0037] 在通常的情况下，由视频编码系统处理的视点/层的数量可以远多于图3所示的两个视点/层的视频编码系统。通常，可以对特定视点/层的参考图片进行处理，以生成另
一视点/层的另外的参考图片。另外，可以对特定视点/层的参考图片进行处理，以生成用
于特定视点/层本身的增强参考图片。
一视点/层的另外的参考图片。另外，可以对特定视点/层的参考图片进行处理，以生成用
于特定视点/层本身的增强参考图片。
[0038] 在参数估计处理方面，可以基于使用适当的扭曲参数的运动模型，在编码器侧估计或者选择运动模型信息。扭曲参数可以取决于单个指定标准或者其它标准中的诸如的视
觉质量、算法复杂度、位率等指定标准的组合。可选地，可以基于使用适当的插值滤波器参数、强度补偿参数或者去块/去噪参数的运动模型，在编码器侧估计或者选择运动模型信
息。另外，可以基于迄今为止未列出的其它参数中的所使用的扭曲参数、插值滤波器参数、强度补偿参数和去块参数的适当的组合，在编码器侧估计或者选择运动模型信息。通过除
了使用高级运动模型之外还将线性和非线性滤波进行组合(级联或者组合)，可以获得附
加好处。
觉质量、算法复杂度、位率等指定标准的组合。可选地，可以基于使用适当的插值滤波器参数、强度补偿参数或者去块/去噪参数的运动模型，在编码器侧估计或者选择运动模型信
息。另外，可以基于迄今为止未列出的其它参数中的所使用的扭曲参数、插值滤波器参数、强度补偿参数和去块参数的适当的组合，在编码器侧估计或者选择运动模型信息。通过除
了使用高级运动模型之外还将线性和非线性滤波进行组合(级联或者组合)，可以获得附
加好处。
[0039] 图12示出了解码器侧的参考处理单元的示例性实施例。可以将包括但不限于扭曲参数、插值滤波器参数、强度补偿参数和去块/去噪参数的所有运动模型信息封装在参
考处理单元的有效载荷中，并且发送到解码器(1200)。换句话说，RPU的有效载荷包含直
接用于对参考图片进行处理的运动模型信息。与有效载荷相反，RPU还可以包含附加头信
息，附加头信息可以对有效载荷以及需要如何对有效载荷进行处理或使用以对信号进行重
构和显示进行描述。
考处理单元的有效载荷中，并且发送到解码器(1200)。换句话说，RPU的有效载荷包含直
接用于对参考图片进行处理的运动模型信息。与有效载荷相反，RPU还可以包含附加头信
息，附加头信息可以对有效载荷以及需要如何对有效载荷进行处理或使用以对信号进行重
构和显示进行描述。
[0040] RPU的解码器包括解析单元(1205)，解析单元(1205)对RPU的有效载荷进行解析，并且使用从有效载荷中提取的信息来恢复与由RPU的编码器(在图12中未示出)使用
的处理参数一致或者几乎一致的处理参数。具体地，图12所示的实施例从有效载荷中获得
关于由编码器使用的运动模型参数(1210)、插值滤波器参数(1210)、强度补偿参数(1215)
和去噪滤波器参数(1220)的信息。
的处理参数一致或者几乎一致的处理参数。具体地，图12所示的实施例从有效载荷中获得
关于由编码器使用的运动模型参数(1210)、插值滤波器参数(1210)、强度补偿参数(1215)
和去噪滤波器参数(1220)的信息。
[0041] 在对重构参考图片(1225)进行处理时，利用这些参数(1210、1215、1220)。重构参考图片(1225)可以是原始参考图片或者先前RPU处理过的参考图片。原始参考图片是指从参考图片缓冲器(例如图2所示的参考图片缓冲器(205))直接取得的未经过任何处理
的参考图片。相反，由于可以级联多个RPU，因此先前RPU处理过的参考图片是来自参考图
片缓冲器的经过一个RPU或者多个RPU处理的参考图片。因此，所考虑的当前RPU编码器
/解码器可以将原始参考图片或者来自前一层或者前一编码/解码步骤的先前RPU处理过
的参考图片取作输入参考图片。
的参考图片。相反，由于可以级联多个RPU，因此先前RPU处理过的参考图片是来自参考图
片缓冲器的经过一个RPU或者多个RPU处理的参考图片。因此，所考虑的当前RPU编码器
/解码器可以将原始参考图片或者来自前一层或者前一编码/解码步骤的先前RPU处理过
的参考图片取作输入参考图片。
[0042] 再次参考图12，原始参考图片或者先前RPU处理过的参考图片用作对于所考虑的当前RPU解码器的输入参考图片（被称为重构参考图片(1225)）。作为一系列步骤示出了
对重构参考图片(1225)的处理，该一系列步骤包括利用从编码器获得的参数(1210、1215、
1220)执行的图片扭曲(1230)、强度补偿(1235)和噪声去除(1240)。处理的结果是处理后
的参考图片(1245)。在考虑中的当前RPU解码器的处理后的参考图片(1245)可以用作到
后续RPU解码器的输入参考图片和/或用作用来进行后续图片的预测的图片。由于解码器
恢复了与编码器使用的处理模型类似的处理模型，因此处理后的参考图片(1245)经过了
与在编码器处进行的处理类似的处理。
对重构参考图片(1225)的处理，该一系列步骤包括利用从编码器获得的参数(1210、1215、
1220)执行的图片扭曲(1230)、强度补偿(1235)和噪声去除(1240)。处理的结果是处理后
的参考图片(1245)。在考虑中的当前RPU解码器的处理后的参考图片(1245)可以用作到
后续RPU解码器的输入参考图片和/或用作用来进行后续图片的预测的图片。由于解码器
恢复了与编码器使用的处理模型类似的处理模型，因此处理后的参考图片(1245)经过了
与在编码器处进行的处理类似的处理。
[0043] 为了进一步提高编码效率，可以将不同的参考图片处理有效载荷信息发送到重构参考图片(1225)的不同区域。换句话说，可以将重构参考图片(1225)分割为多个区域，每
个区域可以具有其自己的最佳处理参数。这可以允许要应用于每个具体区域的更准确的运
动模型参数和滤波参数。
个区域可以具有其自己的最佳处理参数。这可以允许要应用于每个具体区域的更准确的运
动模型参数和滤波参数。
[0044] 图4示出了根据每个区域内的运动的同质性将参考图片分割为许多区域的第一示例。另外，这许多区域是不重叠的。类似地，图5示出了根据运动的同质性将参考图片分割为许多区域的第二示例。然而，图5中的这许多区域是重叠的。在图4和5两者中，可以
使用单独的参数集合来描述每个区块。
使用单独的参数集合来描述每个区块。
[0045] 在一个参考图片中存在具有不同运动参数的多个运动区域或者在一个参考图片中存在不同的模糊和焦点特性的情况下，基于区域的RPU信令将可能产生更高的编码效
率。区域可以是矩形的，如图4和5所示，但是区域也可以具有任何任意形状。区域可以如
在图4中是不重叠的，或者如在图5中是重叠的。
率。区域可以是矩形的，如图4和5所示，但是区域也可以具有任何任意形状。区域可以如
在图4中是不重叠的，或者如在图5中是重叠的。
[0046] 另外，区域可以包含单个或多个处理参数。例如，特定区域可以不仅仅由单个运动模型来表示。例如，可以对同一区域以信令通知缩放运动模型和仿射运动模型两者以及诸如强度补偿参数等其它参数。注意，区域的重叠部分通常具有对其应用的多个运动模型。通过使用每个运动模型估计的运动矢量的平均或者加权平均，将获得基于本参考图片的区域
对后续图片上的区域的预测。作为示例而非限制，基于特定区域和其邻接区域的运动矢量
之间的相似和不同，可以以信令告知或者可以确定具体平均方法。
对后续图片上的区域的预测。作为示例而非限制，基于特定区域和其邻接区域的运动矢量
之间的相似和不同，可以以信令告知或者可以确定具体平均方法。
[0047] 可以跨区域应用去块方法，这可以包括基于像素的方法和/或其它频域(例如超完备去噪)方法。对跨区域应用多少滤波进行量化的去块强度，可以基于在相邻区块中使
用的运动模型或者预测方法的不同以及相邻区块之间的运动模型参数的不同。
用的运动模型或者预测方法的不同以及相邻区块之间的运动模型参数的不同。
[0048] 在两个区域使用相同预测方法以及相同或类似运动模型的特定情况下，不进行去块滤波。如果通过应用不同运动模型获得的所有运动矢量的绝对差低于某一预定定义的阈
值或者阈值的集合，则认为运动模型类似。另一方面，如果使用不同的运动模型，或者运动矢量之间的差很明显(差大于阈值或者阈值的集合)，则应用强去块。参考图片中的一些区
域可能需要较多滤波，而其它区域需要较少滤波。对任意特定区域应用的滤波的量，取决于特定区域的运动模型和预测方法、以及该特定区域的运动模型和预测方法与该特定区域的
邻接区块的运动模型和预测方法之间的关系。另外，对区域应用的滤波的量可能受特定区
域内的纹理特性的影响。
值或者阈值的集合，则认为运动模型类似。另一方面，如果使用不同的运动模型，或者运动矢量之间的差很明显(差大于阈值或者阈值的集合)，则应用强去块。参考图片中的一些区
域可能需要较多滤波，而其它区域需要较少滤波。对任意特定区域应用的滤波的量，取决于特定区域的运动模型和预测方法、以及该特定区域的运动模型和预测方法与该特定区域的
邻接区块的运动模型和预测方法之间的关系。另外，对区域应用的滤波的量可能受特定区
域内的纹理特性的影响。
[0049] 虽然基于区域的RPU可能需要较高的比特开销，但是编码器可以应用基于率失真的决策，来找到最佳区域分割以及用于每个区域的最佳运动模型和预测方法。
[0050] 作为示例，视频编码系统可以检查使用用于对具有单个区块的参考图片进行处理的RPU的性能，而不检查使用用于对具有M×N个区块的参考图片进行处理的RPU的性能。
可以在进行编码之前进行关于区域分割、运动模型和预测方法的最佳组合的决定。例如，可以仅通过将生成的参考图片的参数与要编码的源图片的参数进行比较来进行决定。还可以
通过考虑RPU中的全部、部分或者仿真编码来进行决定。例如，使用较低分辨率的图片表示来进行仿真编码。例如，可以基于编码方面的性能来选中选择要以信令通知的方法。可以
使用诸如给定了特定拉格朗日乘子的组合率失真性能的特定标准来评价性能。
可以在进行编码之前进行关于区域分割、运动模型和预测方法的最佳组合的决定。例如，可以仅通过将生成的参考图片的参数与要编码的源图片的参数进行比较来进行决定。还可以
通过考虑RPU中的全部、部分或者仿真编码来进行决定。例如，使用较低分辨率的图片表示来进行仿真编码。例如，可以基于编码方面的性能来选中选择要以信令通知的方法。可以
使用诸如给定了特定拉格朗日乘子的组合率失真性能的特定标准来评价性能。
[0051] B.运动模型
[0052] 在视频编码系统的实施例中，由于不同的运动模型提供多种可选实现，因此考虑几种不同的运动模型，每种实现需要不同的复杂度和运动范围。考虑的运动模型包括其它
模型中的平移、缩放、仿射、立体透视、各向同性和多项式模型。如早前所讨论的，这些运动模型的组合也是可以的。
模型中的平移、缩放、仿射、立体透视、各向同性和多项式模型。如早前所讨论的，这些运动模型的组合也是可以的。
[0053] 这些运动模型通常可以准确地描述可能存在于3D真实世界场景中的复杂运动。然而，虽然诸如立体透视运动模型的运动模型可以准确地描述3D运动，但是这些运动模型
的估计可能在计算上十分复杂。另外，与这些运动模型相对应的估计处理可能对噪声敏感。
在估计处理对噪声敏感的这些情况下，预滤波或者更鲁棒的估计器可以改善模型估计处
理。可以对参考图片、原始图片或者参考或原始图片的运动矢量进行预滤波。鲁棒估计器
的示例是利用Levenberg-Marquadet方法的估计器。此外，需要在解码器处应用的针对这
些运动模型的运动补偿处理本身可能很复杂。
的估计可能在计算上十分复杂。另外，与这些运动模型相对应的估计处理可能对噪声敏感。
在估计处理对噪声敏感的这些情况下，预滤波或者更鲁棒的估计器可以改善模型估计处
理。可以对参考图片、原始图片或者参考或原始图片的运动矢量进行预滤波。鲁棒估计器
的示例是利用Levenberg-Marquadet方法的估计器。此外，需要在解码器处应用的针对这
些运动模型的运动补偿处理本身可能很复杂。
[0054] 另一方面，诸如平移模型等较简单的运动模型趋于更容易进行估计，并且对噪声更鲁棒。因此，在本实施例的视频编码系统中具有考虑针对参考图片处理具有不同复杂度
和性能特性的多个不同的运动模型的灵活性，这允许在设计编码器并且控制需要与编码器
一起工作的解码器的复杂度时更简单地考虑不同的复杂度和性能折衷。如早前所讨论的，
也可以使用诸如平移和缩放模型的组合等不同运动模型的组合来改善性能。
和性能特性的多个不同的运动模型的灵活性，这允许在设计编码器并且控制需要与编码器
一起工作的解码器的复杂度时更简单地考虑不同的复杂度和性能折衷。如早前所讨论的，
也可以使用诸如平移和缩放模型的组合等不同运动模型的组合来改善性能。
[0055] 针对参考图片的每个区域的运动模型的选择，取决于诸如失真要求、比特率预期和运动模型复杂度的多种条件。另外，更复杂的模型可以取决于诸如率失真(RD)成本和率
失真复杂度(RDC)成本的条件。例如，可以使用拉格朗日最优化方法在方程式(1)中来计
算运动模型的RD成本：
失真复杂度(RDC)成本的条件。例如，可以使用拉格朗日最优化方法在方程式(1)中来计
算运动模型的RD成本：
[0056] RD(m) ＝ D(Warp(m，R)，O)+λ*(R(motion_model)+R(filier)+R(intensit y_comp)) (1)
[0057] 在上面的方程式(1)中看到的函数Warp(m,I)是用于运动补偿的扭曲函数。Warp(m,I)函数取决于诸如在表1中列出的那些运动模型等所应用的运动模型。具体地，
Warp(m,I)是作为运动模型的m和作为输入图像的I的函数。在上面的方程式(1)中还看
到的函数R(t)给出针对处理工具t对边信息进行编码的速率。函数D(x,O)是诸如方差和
(SSE)等失真度量函数。具体地，D(x,O)是作为处理后的信号的x和作为原始信号的O的
函数。
Warp(m,I)是作为运动模型的m和作为输入图像的I的函数。在上面的方程式(1)中还看
到的函数R(t)给出针对处理工具t对边信息进行编码的速率。函数D(x,O)是诸如方差和
(SSE)等失真度量函数。具体地，D(x,O)是作为处理后的信号的x和作为原始信号的O的
函数。
[0058] 更高级的方法例如不仅可以考虑扭曲图片和原始图片之间的失真，还可以考虑视频编码系统内部的使用扭曲图片的最终编码效率。如果考虑失真和最终编码在计算上太复
杂，则可以使用不同的估计。例如，可以仅使用基于块的运动估计。可选地，这些估计可以任选地考虑用于估计处理的编解码器内的诸如时间基准的任意可用基准的作用。还可以通
过考虑二次采样版本的扭曲图片和原始图片来进行估计。还可以通过使用例如基于层级的
运动估计方法，使用不同的分辨率图像来进行估计。如下给出基于层级的运动估计的示例。
可以从最低分辨率的扭曲参考图片和原始源图片，得出对各种RPU参数(运动模型参数、插
值滤波器参数等)的估计。可以从较高分辨率的扭曲参考图片和原始源图片，得出对各种
RPU参数的进一步估计。该进一步估计以及任意后续估计进一步改进了各种RPU参数的值。
杂，则可以使用不同的估计。例如，可以仅使用基于块的运动估计。可选地，这些估计可以任选地考虑用于估计处理的编解码器内的诸如时间基准的任意可用基准的作用。还可以通
过考虑二次采样版本的扭曲图片和原始图片来进行估计。还可以通过使用例如基于层级的
运动估计方法，使用不同的分辨率图像来进行估计。如下给出基于层级的运动估计的示例。
可以从最低分辨率的扭曲参考图片和原始源图片，得出对各种RPU参数(运动模型参数、插
值滤波器参数等)的估计。可以从较高分辨率的扭曲参考图片和原始源图片，得出对各种
RPU参数的进一步估计。该进一步估计以及任意后续估计进一步改进了各种RPU参数的值。
[0059] 这同样适用于速率考虑，其中，代替仅考虑对各种RPU参数(运动模型参数、插值滤波器参数等)进行编码所需的速率，还考虑对整个图片进行编码所需的速率。在考虑对
RPU参数进行编码所需的速率和对整个图片进行编码所需的速率两者的情况下，可以选择
不同的拉格朗日参数以在RPU信令参数（其相对于针对图片的编码用信令表示的实际位）之间使用。简化可以包括诸如可以潜在地用来对图片进行编码的运动和参考索引等局部参数
的考虑。特别地，不对整个图片进行编码；而仅进行局部化运动估计。
RPU参数进行编码所需的速率和对整个图片进行编码所需的速率两者的情况下，可以选择
不同的拉格朗日参数以在RPU信令参数（其相对于针对图片的编码用信令表示的实际位）之间使用。简化可以包括诸如可以潜在地用来对图片进行编码的运动和参考索引等局部参数
的考虑。特别地，不对整个图片进行编码；而仅进行局部化运动估计。
[0060] 下面示出的表1列出了各种运动模型。
[0061] 表1.运动模型
[0062]
[0063] 表1的最后一列是指定义每个运动模型的变换方程式。特别地，如下给出针对每个模型的方程式。
[0064]
[0065]
[0066]
[0067]
[0068]
[0069]
[0070] 从方程式(2)到方程式(7)定义了变换方程式。在这些方程式中，(ux,uy)是源位置，而 是由特定运动模型(如由 形式的各种参数定义)变换后的源位置(ux,uy)
的相应位置。下面在表2中示出了参数。表2提供对每个运动模型提供哪种类型的运动/
变形的了解。
的相应位置。下面在表2中示出了参数。表2提供对每个运动模型提供哪种类型的运动/
变形的了解。
[0071] 表2.运动模型参数的含义
[0072]
[0073] 从表2可以看出，平移模型仅提供平移范围，缩放模型包括平移模型的平移参数和缩放参数，各向同性模型采用跨两个维度的相等的缩放和旋转等。多项式模型是表1和2
所示的运动模型中最复杂的模型。然而，与在这些表中呈现的其它模型相比，该模型可以提供更全面的运动/变形范围。使用多假设方法，这些模型的组合也是可以的，其中，可以用信令表示每个区域的多个运动模型，可以对每个运动模型单独进行基于扭曲的运动补偿，
然后可以对多个假设进行平均或者加权平均，以生成针对后续图片的预测的最终假设。
所示的运动模型中最复杂的模型。然而，与在这些表中呈现的其它模型相比，该模型可以提供更全面的运动/变形范围。使用多假设方法，这些模型的组合也是可以的，其中，可以用信令表示每个区域的多个运动模型，可以对每个运动模型单独进行基于扭曲的运动补偿，
然后可以对多个假设进行平均或者加权平均，以生成针对后续图片的预测的最终假设。
[0074] B.1运动模型估计和编码
[0075] 存在几种运动模型估计方法。一些常用方法包括像素水平运动估计、基于频率/相位相关的运动估计和运动场估计(motion field estimation)(例如光流场(optical
flow field))。像素水平运动估计可能在计算上很复杂，并且容易受噪声和诸如发光条件
等其它图像特性影响。另一方面，频率/相位相关方法和光流方法可以针对大多数应用提
供足够的结果。
flow field))。像素水平运动估计可能在计算上很复杂，并且容易受噪声和诸如发光条件
等其它图像特性影响。另一方面，频率/相位相关方法和光流方法可以针对大多数应用提
供足够的结果。
[0076] 例如，可以彼此结合地利用相位相关方法和光流方法。相位相关方法通过对参考和源图片的变形，使得能够得到平移参数以及对旋转和缩放参数的估计。可以针对相位相
关方法尚未估计的其余参数利用光流方法；换句话说，光流方法实质上是较简单的模型。光流方法可以在考虑或者不考虑强度参数的情况下利用基于块的运动估计方法。
关方法尚未估计的其余参数利用光流方法；换句话说，光流方法实质上是较简单的模型。光流方法可以在考虑或者不考虑强度参数的情况下利用基于块的运动估计方法。
[0077] 可以使用基于块的运动估计方法和频率/相位相关方法来估计光流信息。例如，代替使用实际光流信息来表示图片的运动场，可以使用基于块的运动估计方法来得出不同
块区块的运动，其中，块区块可以具有任意大小M×N。大小例如可以是8×8、2×2、4×2或
者甚至1×1。另外，区块不一定是矩形的，它们可以具有任何形状。
块区块的运动，其中，块区块可以具有任意大小M×N。大小例如可以是8×8、2×2、4×2或
者甚至1×1。另外，区块不一定是矩形的，它们可以具有任何形状。
[0078] 通常，运动矢量可以具有任何精度。作为示例、而非限制，运动矢量可以具有整数、半个像素(pel)、四分之一pel或者浮点精度。给定运动矢量的信息，则可以使
用梯度下降法来估计运动模型参数。梯度下降法可以使用诸如Newton Raphson和
Levenberg-Marquadet迭代法的拟合法(参见参考文献[6])或者最小二乘估计器。
用梯度下降法来估计运动模型参数。梯度下降法可以使用诸如Newton Raphson和
Levenberg-Marquadet迭代法的拟合法(参见参考文献[6])或者最小二乘估计器。
[0079] 图6示出了编码器侧的参考图片单元的运动模型参数估计处理(600)。实质上，运动模型参数估计处理是迭代估计处理。参考图6所示的运动模型参数估计处理(600)的实
施例，估计处理(600)利用需要进行编码的原始源图片(605)、重构参考图片(610)和处理
后的参考图片(615)。
施例，估计处理(600)利用需要进行编码的原始源图片(605)、重构参考图片(610)和处理
后的参考图片(615)。
[0080] 与图12中的RPU解码器类似，图6中的RPU编码器的重构参考图片(610)是原始参考图片或者先前RPU处理过的参考图片。原始参考图片是指任何RPU处理之前的参考图
片。由于可以级联多个RPU编码器，因此先前RPU处理过的参考图片是由一个RPU或者多
个RPU处理过的参考图片。因此，在考虑中的当前RPU编码器可以将原始参考图片或者来
自前一层或者前一编码步骤的先前RPU处理过的参考图片，取作输入参考图片。当前RPU
编码器的处理后的参考图片(615)可以用作对后续RPU编码器和/或到RPU解码器的输入
参考图片。
片。由于可以级联多个RPU编码器，因此先前RPU处理过的参考图片是由一个RPU或者多
个RPU处理过的参考图片。因此，在考虑中的当前RPU编码器可以将原始参考图片或者来
自前一层或者前一编码步骤的先前RPU处理过的参考图片，取作输入参考图片。当前RPU
编码器的处理后的参考图片(615)可以用作对后续RPU编码器和/或到RPU解码器的输入
参考图片。
[0081] 使用三个图片(605、610、615)中的每一个，来获得用于实现基于块的运动参数估计(620)、运动模型参数估计(625)、插值滤波器参数估计(630)、强度补偿参数估计(630)和去噪滤波器参数估计(640)的信息。当将处理后的参考图片(615)通过反馈环(645)反
馈到估计处理(600)中时，出现估计处理(600)的迭代方面。对重构参考图片(610)进行扭
曲(635)。图片扭曲(635)根据来自块620和625的估计的运动参数以及来自块630的估计
的插值滤波器参数和强度补偿参数，进行图片变形。在图片扭曲(635)之后，通过将扭曲的参考图片与原始源图片(605)进行比较，来实现去噪滤波器参数估计(640)。反馈环(645)
通过估计处理(620、625、630、640)和图片扭曲(635)发送回处理后的参考图片(615)，以获得由块620、625、630和640估计的每个参数的更改进的值。
馈到估计处理(600)中时，出现估计处理(600)的迭代方面。对重构参考图片(610)进行扭
曲(635)。图片扭曲(635)根据来自块620和625的估计的运动参数以及来自块630的估计
的插值滤波器参数和强度补偿参数，进行图片变形。在图片扭曲(635)之后，通过将扭曲的参考图片与原始源图片(605)进行比较，来实现去噪滤波器参数估计(640)。反馈环(645)
通过估计处理(620、625、630、640)和图片扭曲(635)发送回处理后的参考图片(615)，以获得由块620、625、630和640估计的每个参数的更改进的值。
[0082] 注意，不对原始源图片(605)本身进行处理。仅在编码器中使用原始源图片(605)，来得出生成处理后的参考图片(615)所需的参数。根据图6，参数是基于块的运动参数、运动模型参数、插值滤波器参数、强度补偿参数和去噪滤波器参数。具体地，使用这些参数来生成处理后的参考图片(615)，从而它们与原始源图片(605)紧密匹配。虽然参考图6
示出的参数估计进行了前面的讨论，但是前面的讨论通常应用于RPU中的参数估计。
示出的参数估计进行了前面的讨论，但是前面的讨论通常应用于RPU中的参数估计。
[0083] 与在图12中示出了实施例的RPU的解码器侧相关，如图6所示的原始源图片(605)对于解码器不可用。然而，如前面所讨论的，图6所示的参数估计提供以RPU有效载
荷的形式发送到解码器的参数的值。解码器对关于参数(图12中的1210、1215、1220)的
信息的有效载荷进行解析(1205)。使用这些估计的参数(1210、1215、1220)对解码器侧的
重构参考图片(1225)进行处理，以获得处理后的参考图片(1245)。
荷的形式发送到解码器的参数的值。解码器对关于参数(图12中的1210、1215、1220)的
信息的有效载荷进行解析(1205)。使用这些估计的参数(1210、1215、1220)对解码器侧的
重构参考图片(1225)进行处理，以获得处理后的参考图片(1245)。
[0084] 虽然在图6中未示出，但是该处理还可以考虑来自先前经过处理和编码的图片或者甚至同一图片内的先前经过处理的区域的运动参数，假设在后一情况下，在区域水平发
生信令处理。可以使用先前经过处理和编码的图片的运动模型来将运动估计处理初始化，
但是还可以使用运动模型，通过将运动估计值应用于当前参考图片，来生成新的“假设”参考。然后，可以使用新的假设参考来进行后续运动估计。可以将最终运动模型与原始假设
运动模型组合，以创建用于后续图片的预测的最终运动模型。
生信令处理。可以使用先前经过处理和编码的图片的运动模型来将运动估计处理初始化，
但是还可以使用运动模型，通过将运动估计值应用于当前参考图片，来生成新的“假设”参考。然后，可以使用新的假设参考来进行后续运动估计。可以将最终运动模型与原始假设
运动模型组合，以创建用于后续图片的预测的最终运动模型。
[0085] 在编码器侧的运动模型估计处理(600)的不同实施例中，生成了多个最终假设，从中可以选择一个最终假设。给出关于原始假设或者可能使用不同的运动估计处理已经生
成的另一假设的一些标准，可以进行最终假设的选择。不同的运动估计处理例如可能需要
在不使用任何预测器或者使用不同的预测器的情况下直接进行运动估计。选择最符合给定
标准的假设作为最终假设。在不同的系统中，可以选择、以信令表示并使用多个假设。
成的另一假设的一些标准，可以进行最终假设的选择。不同的运动估计处理例如可能需要
在不使用任何预测器或者使用不同的预测器的情况下直接进行运动估计。选择最符合给定
标准的假设作为最终假设。在不同的系统中，可以选择、以信令表示并使用多个假设。
[0086] 继续参考图6，考虑使用单个运动模型用于整个原始源图片(605)时的情况。在计算单个运动模型的运动模型参数之后，对重构参考图片(610)应用图片扭曲(635)，以获得
将作为用于后续运动模型估计的参考图片使用的处理后的参考图片(615)。
将作为用于后续运动模型估计的参考图片使用的处理后的参考图片(615)。
[0087] 考虑重构参考图片(610)具有具备不同运动模型和/或参数的多个区域时的可选情况。可以在考虑重构参考图片(610)的运动模型和参数中的每一个之后，生成处理后的
参考图片(1245)。为了避免邻接区域之间断开，还可以考虑重叠。区域可以重叠，并且可以使用多个运动模型和运动模型参数预测处理后的参考图片(1245)的一些像素。
参考图片(1245)。为了避免邻接区域之间断开，还可以考虑重叠。区域可以重叠，并且可以使用多个运动模型和运动模型参数预测处理后的参考图片(1245)的一些像素。
[0088] 如早前所讨论的，区域的重叠部分可能具有不同的运动模型和/或应用于它们的运动模型参数。例如，参考图5，考虑在第一区域(500)的底部和第二区域(505)的顶部之
间存在重叠(510)部分。还考虑对第一和第二区域(500、505)应用不同的运动模型。根据
第一区域(500)的运动模型参数获得重叠部分(510)的预测像素的第一集合。根据第二区
域(505)的运动模型参数获得重叠部分(510)的预测像素的第二集合。可以通过对预测像
素的第一集合和预测像素的第二集合取平均或者加权平均，来生成重叠部分(510)的处理
后的参考图片(615)的预测像素。
间存在重叠(510)部分。还考虑对第一和第二区域(500、505)应用不同的运动模型。根据
第一区域(500)的运动模型参数获得重叠部分(510)的预测像素的第一集合。根据第二区
域(505)的运动模型参数获得重叠部分(510)的预测像素的第二集合。可以通过对预测像
素的第一集合和预测像素的第二集合取平均或者加权平均，来生成重叠部分(510)的处理
后的参考图片(615)的预测像素。
[0089] 将如根据对重叠区域的预测的平均或者加权平均获得的结果像素，称为最终像素。等同地，这些最终像素用作将在预测后续图片时利用的信息。给定每个像素与每个区
块的中心的距离，可以以信令通知或者自动选择在加权平均中应用的权重。作为可选项，如早前所讨论的，还可以跨区域边界应用去块，以避免断开。
块的中心的距离，可以以信令通知或者自动选择在加权平均中应用的权重。作为可选项，如早前所讨论的，还可以跨区域边界应用去块，以避免断开。
[0090] 即使针对大的运动场，也可以估计准确的运动模型参数。扭曲处理(635)针对不同的运动模型而不同，原始图片(605)中的不同区域可能具有不同的运动模型和/或运动
模型参数。因此，在图片内的区域之间以及在编码器侧和解码器侧之间，存在不同的编码效率。同时，效率可能显著地受到在应用运动模型参数时使用的插值滤波器的精度影响。
模型参数。因此，在图片内的区域之间以及在编码器侧和解码器侧之间，存在不同的编码效率。同时，效率可能显著地受到在应用运动模型参数时使用的插值滤波器的精度影响。
[0091] 提高编码效率的一种方式是使用简单插值滤波器，例如利用双线性或者像素复制方法的插值滤波器。然而，也可以使用较复杂的插值滤波器来提高编码效率。理想地，如
图6所示，除了仅以信令表示运动模型，还以信令表示要用于每个区块的不同的插值方法
(630)。可以指定在重构参考图片(610)中的各个区块中使用的每个插值滤波器具有不同
的性能行为。通常在选择用于信令和编码的适当运动模型之前，进行对每个插值滤波器的
性能的评价。
图6所示，除了仅以信令表示运动模型，还以信令表示要用于每个区块的不同的插值方法
(630)。可以指定在重构参考图片(610)中的各个区块中使用的每个插值滤波器具有不同
的性能行为。通常在选择用于信令和编码的适当运动模型之前，进行对每个插值滤波器的
性能的评价。
[0092] 可以通过考虑一些客观或者甚至主观标准来进行运动模型的选择。客观标准可以基于率失真和计算复杂度考虑。例如，选择的运动模型可以是使定义的成本最小化的运动
模型。更特别地，试图最小化的定义的成本可以是如在方程式(1)中定义的RD成本。
模型。更特别地，试图最小化的定义的成本可以是如在方程式(1)中定义的RD成本。
[0093] 在利用拉格朗日最优化计算RD成本的特定实施例中，可以执行强力选择方法。强力选择方法将包括对所有运动模型的评价和比较。对运动模型的评价可以潜在地包括考虑
运动模型支持的所有插值方法。在本示例中，所选择的运动模型将具有最小RD成本。
运动模型支持的所有插值方法。在本示例中，所选择的运动模型将具有最小RD成本。
[0094] 然而，强力选择方法可能太慢。为了加速运动模型选择处理，可以使用诸如修剪评价方法等快速选择方法。具体地，针对修剪评价方法，可以将支持的视频编码系统的组划分为子组。认为支持的组包括在表1中列出的6个运动模型。在特定实施例中，如在表1的第二列中给出的，定义了5个组。通常基于运动模型的复杂度来确定组。对于表1，通过模
型参数的数量来对组进行分组。因此，由于缩放运动模型和各向同性运动模型各自具有4
个模型参数，因此它们形成一个子组。表1中的其它运动模型中的每个是其自己的子组。
型参数的数量来对组进行分组。因此，由于缩放运动模型和各向同性运动模型各自具有4
个模型参数，因此它们形成一个子组。表1中的其它运动模型中的每个是其自己的子组。
[0095] 图7示出了示例性快速运动模型选择算法(700)。该选择算法(700)选择具有最小RD成本的运动模型。对RD成本的评价从组0开始(705)。将Min_Cost参数设置为视
频系统可以支持的最大值。例如，如果系统仅支持8位整数，则最大值是255。在第二步骤
(710)中，对组0的RD成本进行评价。在第三步骤(715)中，将组0的RD成本与Min_Cost
参数进行比较。如果组0的RD成本低于Min_Cost参数，则第四步骤(720)进行检查来看
是否存在任意更多组进行评价。如果存在更多组，则第五步骤(725)将下一组、在这种情况下为组1进行评价。重复进行第二至第五步骤(710、715、720、725)，直到对所有组进行了评价，或者每当第三步骤(715)确定当前RD成本不小于Min_Cost参数时为止。针对于每个组
的评价，对属于该组的每个运动模型进行评价。对于图7所示的运动模型选择算法(700)，
将选择具有最小RD成本的运动和/或处理模型。
频系统可以支持的最大值。例如，如果系统仅支持8位整数，则最大值是255。在第二步骤
(710)中，对组0的RD成本进行评价。在第三步骤(715)中，将组0的RD成本与Min_Cost
参数进行比较。如果组0的RD成本低于Min_Cost参数，则第四步骤(720)进行检查来看
是否存在任意更多组进行评价。如果存在更多组，则第五步骤(725)将下一组、在这种情况下为组1进行评价。重复进行第二至第五步骤(710、715、720、725)，直到对所有组进行了评价，或者每当第三步骤(715)确定当前RD成本不小于Min_Cost参数时为止。针对于每个组
的评价，对属于该组的每个运动模型进行评价。对于图7所示的运动模型选择算法(700)，
将选择具有最小RD成本的运动和/或处理模型。
[0096] 图7示出了基于最小RD成本的快速运动模型选择算法。如早前所讨论的，诸如率失真复杂度成本和运动模型参数信令的比特开销等其它编码标准也可以用来选择运动和/
或处理模型。
或处理模型。
[0097] 快速运动模型选择算法(700)的附加实施例可以考虑先前的参考图片和邻接空间和/或时间区域。另外，考虑到已经针对任意特定区域考虑了使用哪个运动模型，因此也可以甚至进一步加速选择处理(700)。
[0098] 作为示例，考虑到邻接区域选择了模型0，并且针对该模型邻接区域具有与当前区域类似的运动参数。在这种情况下，模型0可能是对于当前区域适当的模型。因此，可以立即选择模型0。可选地，可以将评价限制于考虑类似运动模型的那些其它运动模型。例如，如果缩放模型(表1中组索引为1)是最可能用于邻接区域的运动模型，则将各向同性模型(表1中组索引也为1)视为类似运动模型。
[0099] 另外，可以对跨邻接区域的基于块的运动参数进行比较。这些比较用来确定区域之间的相似程度，这产生可以用来甚至进一步加速选择处理(700)的信息。
[0100] 在附加实施例中，如果不同区域中的所有运动模型具有相同或非常类似的运动模型参数，则可以立即进行最终运动模型的确定，而不进行任何进一步改进。也可以考虑诸如阈值方法等其它方法。阈值方法例如可以考虑特定运动模型的预测失真和邻接区域之间的
预测失真。当运动模型参数的差小时，可以确定多个邻接区域之间相似。阈值方法通常计
算各个运动模型参数之间的绝对差的和(SAD)或者方差的和。
预测失真。当运动模型参数的差小时，可以确定多个邻接区域之间相似。阈值方法通常计
算各个运动模型参数之间的绝对差的和(SAD)或者方差的和。
[0101] 通常，运动模型参数可以取任何精度，包括浮点精度。然而，为了便于编码，应当执行将得到的运动模型参数转换到整数精度。特别地，如下由方程式(8)给出了任意特定运动模型参数从浮点精度到整数精度的示例性转换：
[0102] Pint＝Floor(Pfloor*s+r) (8)
[0103] 其中，Pint是取整数精度的运动模型参数，Pfloor是取浮点精度的运动模型参数，s是解码器已知的缩放因数，r是舍入移位。Floor(x)运算选择小于或等于x的最大整数。缩放因数s的值可以针对不同的运动模型参数而不同。
[0104] 如下面在表3中列出的，可以将运动模型参数分类为三个组：
[0105] 表3.运动模型参数类别
[0106]
[0107] 通常，阶数越高的参数需要越高的精度进行准确的表示。另外，精度越高产生越大的缩放因数s的值。
[0108] 假设许多区块可以具有类似的运动模型，则可以利用某些预测方法来提供附加压缩好处。例如，如果多个区域使用相同的运动模型，则在这些区块外部，可以以更高的电平用信令表示单个运动模型，从而可以使用该单个运动模型的区块内的信令，而不必需要在
RPU内多次用信令表示相同的单个模型。
RPU内多次用信令表示相同的单个模型。
[0109] 同样可以针对多个运动模型的情况，考虑预测处理。特别地，在表4中列出了考虑多个运动模型的预测器得出方法。对于该方法，预测可以使用来自全局运动模型参数的单个集合的信息，或者在不使用预测信息的情况下用信令表示所有运动参数。
[0110] 表4.存在全局运动模型的情况下的全局运动模型预测
[0111]预测器索引 预测器
0 无
1 默认运动(零运动)
0 无
1 默认运动(零运动)
[0112] 另一方面，通过利用一些或所有邻接区块，可以考虑更简单的预测方法。预测方法例如可以使用诸如在MPEG-4AVC中使用的中值方法等中值方法，来得到用于预测的运动模型参数。可选地，预测方法可以仅考虑利用相同运动模型的邻接区块。如果将不同的模型
组合，则通常在考虑使用其运动矢量用于预测之前，执行从不同的运动模型到当前考虑的
运动模型的转换。
组合，则通常在考虑使用其运动矢量用于预测之前，执行从不同的运动模型到当前考虑的
运动模型的转换。
[0113] 在可选实施例中，可以使用使得能够用信令表示预测机位置的更全面的方法，来代替暗示或者根据邻接区块得到预测器位置。下面在表5和表6中示出该方法。
[0114] 表5.存在全局运动模型的情况下的区块的运动模型预测
[0115]预测器索引 预测器
0 无
1 全局运动
2 左部区块
3 上部区块
4 左上部区块
5 右上部区块
其它 Partition_Idx=Current_Partition_Idx-(predictor_index-5)
0 无
1 全局运动
2 左部区块
3 上部区块
4 左上部区块
5 右上部区块
其它 Partition_Idx=Current_Partition_Idx-(predictor_index-5)
[0116] 表6.不存在全局运动模型的情况下的区块的运动模型预测
[0117]预测器索引 预测器
0 无
1 左部区块
2 上部区块
3 左上部区块
4 右上部区块
其它 Partition_Idx=Current_Partition_Idx-(predictor_index-4)
0 无
1 左部区块
2 上部区块
3 左上部区块
4 右上部区块
其它 Partition_Idx=Current_Partition_Idx-(predictor_index-4)
[0118] 表5假设存在单个全局运动模型。然而，可以将区块的运动模型预测扩展为支持在用信令表示区块之前的用信令表示的多个全局运动模型。
[0119] 可选地，表6考虑没有任何全局运动模型参数的情况下的区块的运动模型预测。还可以使用暗示和明确指定的方法的组合。用于任意特定区块的暗示方法例如可以基于根
据来自邻接区块的信息的预测处理。例如，如果特定区块的邻接区块全部使用反射运动模
型，并且全部具有相同的参数，则特定区块也使用相同的运动模型和相同的参数的可能性
高。因此，在该简化的示例中，该特定区块将非常可能使用仿射运动模型和与邻接区域的参数相同的参数。
据来自邻接区块的信息的预测处理。例如，如果特定区块的邻接区块全部使用反射运动模
型，并且全部具有相同的参数，则特定区块也使用相同的运动模型和相同的参数的可能性
高。因此，在该简化的示例中，该特定区块将非常可能使用仿射运动模型和与邻接区域的参数相同的参数。
[0120] 此外，预测结果可能暗示在不用信令表示任何附加改进信息的情况下正确地预测了整个运动矢量。这例如在满足运动估计处理的成本标准时出现。即使在这种情况下，也
可以任选地用信令表示附加改进信息。可以将该改进信息添加到与如下面所示出的在方程
式(9)中定义的处理类似的预测的运动模型上。注意，预测也可以显著影响每个RPU区域
的解码并行化，可能在设计使用这些技术的系统时需要考虑预测。
可以任选地用信令表示附加改进信息。可以将该改进信息添加到与如下面所示出的在方程
式(9)中定义的处理类似的预测的运动模型上。注意，预测也可以显著影响每个RPU区域
的解码并行化，可能在设计使用这些技术的系统时需要考虑预测。
[0121]
[0122] 其中，矢量 是解码的运动模型参数，矢量 是预测的运动模型参数， 矢量是编码残差。所有参数通常具有固定点精度。Scale_Down和Scale_Up函数是在转换中使用
的缩放函数。
的缩放函数。
[0123] 如方程式(8)所示，考虑缩放因数s。讨论缩放因数的三种可能的信令方法。对于整个编码处理，该缩放因数可能是暗示并且固定的；换句话说，可以针对所有区块用信令表示缩放因数。可以基于来自邻接区块的信息来用信令表示(或者不用信令表示)缩放因
数。作为第一示例，如果确定缩放因数对于所有区块相同，则仅需要用信令表示一次缩放因数。可选地，可以用信令表示特定区块的缩放因数和邻接区块的缩放因数之间的差。还可
以依据针对每个区域指定的标志来用信令表示缩放因数。例如，如果标志被设置为1，则用信令表示缩放因数。否则，不用信令表示缩放因数，并且解码器使用默认值。
数。作为第一示例，如果确定缩放因数对于所有区块相同，则仅需要用信令表示一次缩放因数。可选地，可以用信令表示特定区块的缩放因数和邻接区块的缩放因数之间的差。还可
以依据针对每个区域指定的标志来用信令表示缩放因数。例如，如果标志被设置为1，则用信令表示缩放因数。否则，不用信令表示缩放因数，并且解码器使用默认值。
[0124] C.插值滤波
[0125] 在运动扭曲之后，可以使用各种插值滤波，来获得分数位置的像素值。可以作为运动模型参数的信令的一部分，来指示用来获得分数位置（fractional position）处的像素值的插值滤波方法。作为示例而非限制，可以使用下面示出的表7中指定的6种插值滤波器中的任意一个，来获得分数位置的像素值。
[0126] 表7.插值滤波器
[0127]索引 滤波器 滤波器标签的数量
0 双线性 2
1 Lanczos_2 4
2 双三次 4
3 Mitchell-Netravali 4
4 Lanczos_3 6
5 显式滤波器 4或者6
0 双线性 2
1 Lanczos_2 4
2 双三次 4
3 Mitchell-Netravali 4
4 Lanczos_3 6
5 显式滤波器 4或者6
[0128] 在显式滤波器(表7中的滤波器索引为5)的情况下，可能需要将滤波器系数作为位流的一部分发送到解码器。与运动模型参数的信令类似，也可以预测滤波器系数。例如，可以通过信令处理或者通过先前编码的区块，与先前编码的区块和当前区块的运动模型是
类似的还是不同无关地，实现对滤波器系数的预测。
类似的还是不同无关地，实现对滤波器系数的预测。
[0129] 表7中的所有其它滤波器(滤波器索引0-4)是固定滤波器，也称为隐式滤波器。对于固定滤波器，滤波器系数是预先确定的，因此仅需要向解码器用信令通知滤波器索引。
然后，解码器将能够例如通过使用查找表来确定系数。在固定滤波器中，如果不进行系数量化，则固定滤波器系数可能具有浮点精度。使用浮点精度需要对应地使用浮点精度处理。
然后，解码器将能够例如通过使用查找表来确定系数。在固定滤波器中，如果不进行系数量化，则固定滤波器系数可能具有浮点精度。使用浮点精度需要对应地使用浮点精度处理。
[0130] 可选地，在插值滤波器的另一实施例中，可以将滤波器系数量化为具有固定点精度。固定点精度通常降低实现复杂度。另外，固定点精度消除了漂移的可能。漂移是通过使用不同的平台(例如不同的操作系统)获得不同结果的效果。漂移可能是由于使用了不同
精度的浮置数表示(例如具有不同尾数和指数大小的数)以及在不同平台上进行的运算。
精度的浮置数表示(例如具有不同尾数和指数大小的数)以及在不同平台上进行的运算。
[0131] 在又一实施例中，可以将滤波器系数量化，从而可以使用16位运算。例如，可以如下如表8至表11所示，针对每个滤波器(滤波器索引1-4)将滤波器系数量化。注意，不需要事先对双线性滤波器系数(滤波器索引为0)进行量化，因为可以以敏锐的固定点精度容
易地计算双线性滤波器系数。如表8至表11所示的滤波器允许针对8位输入视频信号使
用16位运算。量化的滤波器系数仅可以进行直到1/32像素精度的插值。然而，当由插值
滤波器进行的运动扭曲处理使用高于1/32的像素精度时，可以使用第二级双线性滤波器
或者任何其它滤波器来获得更高像素精度的值。
易地计算双线性滤波器系数。如表8至表11所示的滤波器允许针对8位输入视频信号使
用16位运算。量化的滤波器系数仅可以进行直到1/32像素精度的插值。然而，当由插值
滤波器进行的运动扭曲处理使用高于1/32的像素精度时，可以使用第二级双线性滤波器
或者任何其它滤波器来获得更高像素精度的值。
[0132] 表8.用于具有1/32像素精度的Lanczos_2滤波器(滤波器索引1)的插值滤波器系数
[0133]
[0134] 表9.用于具有1/32像素精度的双三次滤波器(滤波器索引2)的插值滤波器系数
[0135]
[0136] 表10.用于具有1/32像素精度的Mitchell-Netravali滤波器(滤波器索引3)的插值滤波器系数
[0137]位置索引 Coeff_0 Coeff_1 Coeff_2 Coeff_3
0 4 56 4 0
1 3 56 5 0
2 2 56 6 0
3 1 56 7 0
4 0 55 9 0
5 0 54 10 0
6 -1 53 13 -1
7 -1 52 14 -1
8 -2 50 17 -1
9 -2 48 19 -1
10 -2 47 20 -1
11 -2 45 23 -2
12 -2 43 25 -2
13 -2 41 27 -2
14 -2 38 30 -2
15 -2 36 32 -2
16 -2 34 34 -2
17 -2 32 36 -2
18 -2 30 38 -2
19 -2 27 41 -2
20 -2 25 43 -2
21 -2 23 45 -2
22 -1 20 47 -2
23 -1 19 48 -2
24 -1 17 50 -2
25 -1 14 52 -1
26 -1 13 53 -1
27 0 10 54 0
28 0 9 55 0
29 0 7 56 1
30 0 6 56 2
31 0 5 56 3
0 4 56 4 0
1 3 56 5 0
2 2 56 6 0
3 1 56 7 0
4 0 55 9 0
5 0 54 10 0
6 -1 53 13 -1
7 -1 52 14 -1
8 -2 50 17 -1
9 -2 48 19 -1
10 -2 47 20 -1
11 -2 45 23 -2
12 -2 43 25 -2
13 -2 41 27 -2
14 -2 38 30 -2
15 -2 36 32 -2
16 -2 34 34 -2
17 -2 32 36 -2
18 -2 30 38 -2
19 -2 27 41 -2
20 -2 25 43 -2
21 -2 23 45 -2
22 -1 20 47 -2
23 -1 19 48 -2
24 -1 17 50 -2
25 -1 14 52 -1
26 -1 13 53 -1
27 0 10 54 0
28 0 9 55 0
29 0 7 56 1
30 0 6 56 2
31 0 5 56 3
[0138] 表11.用于具有1/32像素精度的Lanczos_3滤波器(滤波器索引4)的插值滤波器系数
[0139]位置索引 Coeff_0 Coeff_1 Coeff_2 Coeff_3 Coeff_4 Coeff_5
0 0 0 64 0 0 0
1 0 -2 64 2 0 0
2 1 -3 63 4 -1 0
3 1 -4 63 5 -1 0
4 1 -5 62 8 -2 0
5 2 -6 61 10 -3 0
6 2 -7 60 12 -3 0
7 2 -8 59 15 -4 0
8 2 -9 57 17 -4 1
9 2 -9 55 20 -5 1
10 2 -9 53 23 -6 1
11 2 -9 51 25 -6 1
12 2 -9 49 28 -7 1
13 2 -9 46 31 -7 1
14 2 -9 44 34 -8 1
15 2 -9 42 36 -8 1
16 2 -9 39 39 -9 2
17 1 -8 36 42 -9 2
18 1 -8 34 44 -9 2
19 1 -7 31 46 -9 2
20 1 -7 28 49 -9 2
21 1 -6 25 51 -9 2
22 1 -6 23 53 -9 2
23 1 -5 20 55 -9 2
24 1 -6 17 57 -9 2
25 0 -4 15 59 -8 2
26 0 -3 12 60 -7 2
27 0 -3 10 61 -6 2
28 0 -2 8 62 -5 1
29 0 -1 5 63 -4 1
30 0 -1 4 63 -3 1
31 0 0 2 64 -2 0
0 0 0 64 0 0 0
1 0 -2 64 2 0 0
2 1 -3 63 4 -1 0
3 1 -4 63 5 -1 0
4 1 -5 62 8 -2 0
5 2 -6 61 10 -3 0
6 2 -7 60 12 -3 0
7 2 -8 59 15 -4 0
8 2 -9 57 17 -4 1
9 2 -9 55 20 -5 1
10 2 -9 53 23 -6 1
11 2 -9 51 25 -6 1
12 2 -9 49 28 -7 1
13 2 -9 46 31 -7 1
14 2 -9 44 34 -8 1
15 2 -9 42 36 -8 1
16 2 -9 39 39 -9 2
17 1 -8 36 42 -9 2
18 1 -8 34 44 -9 2
19 1 -7 31 46 -9 2
20 1 -7 28 49 -9 2
21 1 -6 25 51 -9 2
22 1 -6 23 53 -9 2
23 1 -5 20 55 -9 2
24 1 -6 17 57 -9 2
25 0 -4 15 59 -8 2
26 0 -3 12 60 -7 2
27 0 -3 10 61 -6 2
28 0 -2 8 62 -5 1
29 0 -1 5 63 -4 1
30 0 -1 4 63 -3 1
31 0 0 2 64 -2 0
[0140] 注意，插值滤波器可以考虑非线性插值机制。可以通过诸如基于小波或者扁带的插值、基于运动补偿时间滤波(MCTF)的插值等技术，来实现非线性插值。
[0141] 可以针对色度(chroma)样本和亮度(luma)样本使用不同的插值滤波器和/或插值机制。亮度样本包含关于图片的亮度的信息；换句话说，亮度样本处置图片的无色信息。
相反，色度样本包含图片的颜色信息。
相反，色度样本包含图片的颜色信息。
[0142] 通常基于特定标准或者多个标准来选择插值滤波器。如早前所讨论的，这些标准可以包括对失真、率失真、失真复杂度、联合率失真复杂度等的要求。
[0143] 图8示出了示例性联合插值滤波器选择和强度补偿估计处理(800)。该示例性选择处理(800)估计强度信息，并且从滤波器池中选择具有最低RD成本的插值滤波器。第一
步骤(805)包括从滤波器池中选中当前插值滤波器。第二步骤(810)包括用第一步骤(805)
的插值滤波器扭曲参考图片。第三步骤(815)包括用于在计算RD成本时使用的强度补偿
估计。第四步骤(820)包括计算RD成本。第五步骤(825)包括将当前滤波器的RD成本与
迄今评价的所有插值滤波器的最小RD成本进行比较。如果当前滤波器具有比当前最小RD
成本更低的RD成本，则将最小RD成本设置为当前滤波器的RD成本。第六步骤(830)包括
判断是否对来自滤波器池的所有插值滤波器进行了评价。如果没有，则对下一个插值滤波
器重复进行第二步骤(810)至第六步骤(830)。一旦对所有插值滤波器进行了评价，则选择
具有最低RD成本的插值滤波器。
步骤(805)包括从滤波器池中选中当前插值滤波器。第二步骤(810)包括用第一步骤(805)
的插值滤波器扭曲参考图片。第三步骤(815)包括用于在计算RD成本时使用的强度补偿
估计。第四步骤(820)包括计算RD成本。第五步骤(825)包括将当前滤波器的RD成本与
迄今评价的所有插值滤波器的最小RD成本进行比较。如果当前滤波器具有比当前最小RD
成本更低的RD成本，则将最小RD成本设置为当前滤波器的RD成本。第六步骤(830)包括
判断是否对来自滤波器池的所有插值滤波器进行了评价。如果没有，则对下一个插值滤波
器重复进行第二步骤(810)至第六步骤(830)。一旦对所有插值滤波器进行了评价，则选择
具有最低RD成本的插值滤波器。
[0144] 与图7所示的快速运动模型选择算法(700)的情况相同，图8所示的插值滤波器选择算法(800)也利用RD成本作为其标准。仅作为示例来使用利用RD成本的标准，本领
域普通技术人员知道同样可以使用其它预先定义的编码标准。这些标准包括率失真复杂度
成本，并且还可以使用用于运动模型参数信令的比特开销来选择运动模型。
域普通技术人员知道同样可以使用其它预先定义的编码标准。这些标准包括率失真复杂度
成本，并且还可以使用用于运动模型参数信令的比特开销来选择运动模型。
[0145] 对于如在表7中分类的具有滤波器索引0-4的滤波器，滤波器系数是预先定义的，因此仅需要用信令向解码器通知滤波器索引。对于显式滤波器(滤波器索引为5)，需要估
计滤波器系数。例如，可以使用最小二乘估计器，基于运动模型参数估计显式滤波器的滤波器系数。然后，用信令向解码器通知这些滤波器系数。也可以使用其它方法来加速滤波器
选择处理。例如，如刚才所讨论的图8，在同一处理内进行插值滤波器选择和强度补偿估计。
可选地，可以在分离的处理中进行插值滤波器选择和强度补偿估计。另外，还可以实现图8的选择处理和运动模型参数估计处理之间的迭代。
计滤波器系数。例如，可以使用最小二乘估计器，基于运动模型参数估计显式滤波器的滤波器系数。然后，用信令向解码器通知这些滤波器系数。也可以使用其它方法来加速滤波器
选择处理。例如，如刚才所讨论的图8，在同一处理内进行插值滤波器选择和强度补偿估计。
可选地，可以在分离的处理中进行插值滤波器选择和强度补偿估计。另外，还可以实现图8的选择处理和运动模型参数估计处理之间的迭代。
[0146] 考虑固定滤波器信令的实施例。具体地，考虑进行高达第一像素精度水平的插值的第一固定滤波器和进行用于比第一像素精度水平高的其余像素精度水平的插值的第二
固定滤波器。可以针对高达第一像素精度水平的所有像素精度水平信令对应于第一固定滤
波器的第一像素索引。可以针对高于第一像素精度水平的其余像素精度水平用信令表示对
应于第二固定滤波器的第二像素索引。
固定滤波器。可以针对高达第一像素精度水平的所有像素精度水平信令对应于第一固定滤
波器的第一像素索引。可以针对高于第一像素精度水平的其余像素精度水平用信令表示对
应于第二固定滤波器的第二像素索引。
[0147] 一些方法可以考虑邻接区块(邻接空间区块或者邻接时间区块)。作为示例，编码器可以测试全局水平的特定插值滤波器以及区域水平的多个插值滤波器。然后，编码器可
以基于诸如率失真成本或者率失真复杂度成本的预先定义的标准，选择是否利用全局或者
区域水平的插值滤波。另外，一些方法可以包括早终止，其中，特定方法例如可以包括考虑“复杂度”开支。复杂度开支可以由编码器定义，其中，编码器可以简化或者结束变得过于复杂的最优化处理。编码器还可以在进行最优化处理时考虑解码复杂度。
以基于诸如率失真成本或者率失真复杂度成本的预先定义的标准，选择是否利用全局或者
区域水平的插值滤波。另外，一些方法可以包括早终止，其中，特定方法例如可以包括考虑“复杂度”开支。复杂度开支可以由编码器定义，其中，编码器可以简化或者结束变得过于复杂的最优化处理。编码器还可以在进行最优化处理时考虑解码复杂度。
[0148] 另外，显式滤波器由于滤波器系数信令的附加开销，可以或者不能产生更好的性能。通常，编码器基于诸如在图8中给定的选择处理的选择处理，生成关于是否使用显式或者固定滤波器的决定。
[0149] C.1显式滤波器信令
[0150] 当使用显式插值滤波器(表1中的滤波器索引为5)时，滤波器系数信令可能招致高比特开销。由于该原因，通常使用某些类型的像素对称和系数对称，来减少需要用信令表示的唯一的滤波器系数的数量。
[0151] 使用像素和系数对称进行处置来减少唯一滤波器系数的数量的示例性参考文献，是2010年1月14日提交的标题为“Buffered Adaptive Filters”的美国临时申请第
61/295,034号。该参考文献的全部内容通过引用，包含于此。
61/295,034号。该参考文献的全部内容通过引用，包含于此。
[0152] 图9示出了像素对称的第一示例。特别地，图9利用1/4像素精度，因此示出了标记为像素“A”至“O”的15个分数像素位置以及标记为“INT”的全像素位置。在图9中，假设共享相同的阴影图案的分数像素位置也共享相同集合的滤波器参数；然而，它们的插值
滤波器是彼此的转置和/或翻转(flipped)版本。因此，使用如图9所示的像素对称，仅需
要用信令表示用于15个像素位置中的5个的插值滤波器。特别地，分数像素“A”、“C”、“D”和“L”共享第一集合的滤波器系数，“B”和“H”共享第二集合的滤波器系数，“E”、“G”、“M”和“O”共享第三集合的滤波器系数，“J”具有第四集合的滤波器系数。因此，通过使用像素对称，滤波器系数的数量减少，因此用于滤波器系数信令的比特开销减少。
滤波器是彼此的转置和/或翻转(flipped)版本。因此，使用如图9所示的像素对称，仅需
要用信令表示用于15个像素位置中的5个的插值滤波器。特别地，分数像素“A”、“C”、“D”和“L”共享第一集合的滤波器系数，“B”和“H”共享第二集合的滤波器系数，“E”、“G”、“M”和“O”共享第三集合的滤波器系数，“J”具有第四集合的滤波器系数。因此，通过使用像素对称，滤波器系数的数量减少，因此用于滤波器系数信令的比特开销减少。
[0153] 图10示出了像素对称的第二示例。仅用信令表示分数位置“A”和“B”的水平插值滤波器以及分数位置“D”和“H”的垂直插值滤波器。分数位置“C”和“L”分别共享与分数位置“A”和“D”相同的集合的滤波器。首先，使用水平插值滤波器对2D像素位置(即“E”、“F”、“G”、“I”、“J”、“K”、“M”、“N”和“O”、)中的每个进行插值，然后使用垂直插值滤波器进行滤波(或者相反)。为了进一步减少用于滤波器系数信令的比特开销，可以强制水平插值滤波器和垂直插值滤波器共享相同集合的滤波器系数，从而“A”、“C”、“D”和“L”共享一个集合的滤波器系数，“B”和“H”共享另一个集合的滤波器系数。
[0154] 更具体地，考虑分数位置“A”、“C”和“D”的像素对称。通过利用像素对称，分数位置“A”和“C”可以共享相同集合的滤波器系数，但是它们的滤波器是彼此的转置版本(旋转180°)。分数位置“A”和“D”也共享相同的系数，但是水平地应用“A”的滤波器，而垂直地应用“D”的滤波器，因此“D”的滤波器相对于“A”的滤波器呈现90°。虽然插值滤波器本身在分数位置“A”、“C”和“D”中的任意一个之间不相同，但是因为可以使用这些分数位置中的任意一个的插值滤波器来得到另外两个的插值滤波器，因此用信令表示这些分数位置中的任意一个的滤波器系数就足够了。因此，使用像素对称获得了比特开销节省。还
可以利用先前列出的其它对称来实现比特开销节省。
可以利用先前列出的其它对称来实现比特开销节省。
[0155] 图9和图10仅仅是像素对称的两个示例。也可以使用其它类型的像素对称，来减少滤波器系数信令开销。编码器可以选择最佳像素对称，并且作为RPU有效载荷的一部分
用信令向解码器通知像素对称。除了参考图片的像素对称之外，还可以实施诸如系数对称
的其它对称，来进一步减少滤波器信令开销。例如，像素位置“B”和“H”的插值滤波器可以是对称滤波器。
用信令向解码器通知像素对称。除了参考图片的像素对称之外，还可以实施诸如系数对称
的其它对称，来进一步减少滤波器信令开销。例如，像素位置“B”和“H”的插值滤波器可以是对称滤波器。
[0156] 在由插值滤波器进行的运动扭曲处理期间，通常使用较高的分数像素精度。分数像素精度越高，则产生质量越好的扭曲参考图片。然而，分数像素精度越高，也导致需要信令的滤波器的数量越大，从而产生高比特开销。即使当强制某一类型的像素对称时，随着像素精度增加，实质上比特开销可能仍然增加。
[0157] 考虑使用图9中的像素对称的第一示例，如先前所讨论的，其中，使用1/4像素精m
度，并且需要用信令表示5个插值滤波器。代替考虑使用1/2 像素精度来代替1/4像素精
m-2 m-1
度。需要用信令表示的插值滤波器的数量将是(2 +1)(2 +1)-1，这意味着如果使用1/32
像素精度(m=5)，则需要用信令表示152个滤波器。
度，并且需要用信令表示5个插值滤波器。代替考虑使用1/2 像素精度来代替1/4像素精
m-2 m-1
度。需要用信令表示的插值滤波器的数量将是(2 +1)(2 +1)-1，这意味着如果使用1/32
像素精度(m=5)，则需要用信令表示152个滤波器。
[0158] 考虑使用图10中的像素对称的第二示例，如先前所讨论的，其中，使用1/4像素精m度，并且需要用信令表示4个插值滤波器。代替考虑使用1/2 像素精度。如果允许水平和
m
垂直插值滤波器不同，则需要用信令表示的插值滤波器的数量将是2，而如果强迫水平和
m-1
垂直插值滤波器相同，则需要用信令表示的插值滤波器的数量将是2 。为了解决需要用信
n
令表示太多滤波器的问题，可以用信令表示显式滤波器仅到某一精度1/2，n≤m，其中，m
n
是编码器基于诸如率失真成本的标准选择的参数。对于高于1/2 的任意精度，可以使用固
定插值滤波器(表7中索引为0至4的滤波器)。
m
垂直插值滤波器不同，则需要用信令表示的插值滤波器的数量将是2，而如果强迫水平和
m-1
垂直插值滤波器相同，则需要用信令表示的插值滤波器的数量将是2 。为了解决需要用信
n
令表示太多滤波器的问题，可以用信令表示显式滤波器仅到某一精度1/2，n≤m，其中，m
n
是编码器基于诸如率失真成本的标准选择的参数。对于高于1/2 的任意精度，可以使用固
定插值滤波器(表7中索引为0至4的滤波器)。
[0159] 例如，图11描述了显式滤波器信令(1100)的实施例。图11中的处理从通常为1/2像素精度的最低插值精度开始(1105)。在针对当前精度用信令表示了所有显式滤波器
(1100)之后，处理判断是否用信令表示了所有精度(1115)。如果块1115的决定为“是”，
则不需要用信令表示其它插值滤波器。否则，如果1115的决定为“否”，则用信令表示在图
11中作为“stop_flag”示出的一位标志(1120)，以指示接着是否进一步信令显式滤波器。
如果“stop_flag”的值是1(1125)，则不用信令表示更多显式滤波器。否则，如果“stop_flag”的值是0(1125)，则递增当前像素精度(1130)，并且进一步继续用信令表示显式插值滤波器(重复块1110、1115、1120和1125)。
(1100)之后，处理判断是否用信令表示了所有精度(1115)。如果块1115的决定为“是”，
则不需要用信令表示其它插值滤波器。否则，如果1115的决定为“否”，则用信令表示在图
11中作为“stop_flag”示出的一位标志(1120)，以指示接着是否进一步信令显式滤波器。
如果“stop_flag”的值是1(1125)，则不用信令表示更多显式滤波器。否则，如果“stop_flag”的值是0(1125)，则递增当前像素精度(1130)，并且进一步继续用信令表示显式插值滤波器(重复块1110、1115、1120和1125)。
[0160] 在用信令表示了所有显式滤波器之后，处理判断是否用信令表示了所有精度水平的显式滤波器(1135)。如果块1135的决定为“是”，则不需要进行进一步信令表示。否则，如果块1135的决定为“否”，则处理将针对所有其余精度水平用信令表示一个固定滤波器
索引(1140)；从该滤波器索引可以推断所有这些其余精度水平的相应插值滤波器。最后，
可以应用使用的类型的像素对称(先前已信令，在图11中未示出)，从而在所有精度水平针
对所有像素位置获得插值滤波器(1145)。
索引(1140)；从该滤波器索引可以推断所有这些其余精度水平的相应插值滤波器。最后，
可以应用使用的类型的像素对称(先前已信令，在图11中未示出)，从而在所有精度水平针
对所有像素位置获得插值滤波器(1145)。
[0161] D.强度补偿
[0162] 虽然在表1中呈现的运动模型可以使用参考图片提供关于存在于区域内的运动的准确信息，但是运动模型通常不提供关于可能存在于场景内的强度改变、特别是亮度和
对比度改变的太多信息。因此，将运动模型参数和附加强度补偿模型组合，可以在多视点、可缩放或者2D编解码系统中提供编码效率的进一步提高。强度补偿需要在信令强度补偿
参数之前得出强度补偿参数的集合。可以通过诸如直方图匹配、最小二乘估计、DC减法和
比率考虑的多种方法，得到强度补偿参数。可以根据亮度和色度分量得出不同的强度补偿
参数。可选地，强度补偿参数的得出可以基于一个分量，而其它可以通过简单的投射方法来得出。例如，可以仅基于亮度分量来得出一些强度补偿参数。可以使用来自根据亮度分量
得出的参数的信息，来估计其余强度补偿参数、即通过根据色度分量获得的强度补偿参数。
对比度改变的太多信息。因此，将运动模型参数和附加强度补偿模型组合，可以在多视点、可缩放或者2D编解码系统中提供编码效率的进一步提高。强度补偿需要在信令强度补偿
参数之前得出强度补偿参数的集合。可以通过诸如直方图匹配、最小二乘估计、DC减法和
比率考虑的多种方法，得到强度补偿参数。可以根据亮度和色度分量得出不同的强度补偿
参数。可选地，强度补偿参数的得出可以基于一个分量，而其它可以通过简单的投射方法来得出。例如，可以仅基于亮度分量来得出一些强度补偿参数。可以使用来自根据亮度分量
得出的参数的信息，来估计其余强度补偿参数、即通过根据色度分量获得的强度补偿参数。
[0163] 可以使用包括诸如在高动态范围应用中使用的非线性方法的非线性方法的多种方法，来表示对参考图片应用的强度补偿。在特定实施例中，为了简单，强度补偿可以使用如下面的方程式(10)所示的线性格式：
[0164] I′＝w*I+o (10)
[0165] 其中，I′是进行像素补偿之后的最终像素，I是进行像素补偿之前的原始像素，w是指示强度补偿的权重的参数，o是强度补偿的移位。
[0166] 通常在编码中使用之前，将参数w和o量化。根据需要的像素值的精度可能还需要限制最终像素I′。通常以整数形式或者固定点形式表示强度参数，以简化编码处理和计算处理。因此，可以将缩放因数w和o从浮点精度转换为整数精度或者固定点精度。先前
在方程式(8)中定义了这些转换。
在方程式(8)中定义了这些转换。
[0167] 强度补偿参数估计可以基于不进行任何运动考虑的原始图片以及运动调整/补偿图片。在基于运动调整/补偿的情况下，可以改善强度补偿参数估计。
[0168] 另外，可以利用迭代法用于强度补偿参数估计。如下给出示例性迭代法。在得出初步运动模型参数之后，可以根据初步运动模型参数得出初始强度补偿参数。给定这些初
始强度补偿参数，则可以改进初步运动模型参数。换句话说，通过利用强度参数，可以重新估计所有运动模型参数，由此产生第二集合的运动模型参数。使用第二运动模型参数，之后可以进行强度补偿参数的第二次改进。可以重复进行该迭代处理，直到观察到运动模型参
数和强度参数的可忽略的改变为止。可选地，可以重复进行该迭代处理，直到强度补偿的性能对于特定应用足够为止。作为另一可选项，可以将该迭代处理重复进行预先定义的迭代
次数。
始强度补偿参数，则可以改进初步运动模型参数。换句话说，通过利用强度参数，可以重新估计所有运动模型参数，由此产生第二集合的运动模型参数。使用第二运动模型参数，之后可以进行强度补偿参数的第二次改进。可以重复进行该迭代处理，直到观察到运动模型参
数和强度参数的可忽略的改变为止。可选地，可以重复进行该迭代处理，直到强度补偿的性能对于特定应用足够为止。作为另一可选项，可以将该迭代处理重复进行预先定义的迭代
次数。
[0169] 还可以考虑检测淡入淡出(fade)和交叉淡入淡出(cross-fade)，来加速该迭代处理。例如，可以使用简化方法，使得如果在参考图片中没有检测到淡入淡出和交叉淡入淡出，则完全跳过强度参数的检测。另一方面，如果检测到了淡入淡出和交叉淡入淡出，则编码器可以附加进行照度参数的估计，并且在估计对于编码处理有益的情况下，向解码器信
令照度参数。
令照度参数。
[0170] 如早前所提及的，强度参数可能在RPU内是任选的。强度参数的信令表示可以基于用来用信令表示每个区域的标志。可选地，强度参数的信令表示也可以基于任意或者所
有邻接区块是否也用信令表示强度参数。换句话说，可以在基于邻接区域的预测处理中利
用邻接区块。基于邻接区域的预测处理例如可以使用多数投票，其中，将使用邻接区块中的强度参数来判断是否针对特定区域用信令表示这些相同的强度参数。也就是说，如果所有
或者大多数邻接区块使用相同的强度参数，则预测使用那些相同的强度参数。对强度参数
的编码还可以基于邻接参数的强度参数的值。与早前讨论的运动预测模型的情况类似，编
码还可以考虑全局预测方法。如早前所提及的，还可以针对移位o和权重w或者针对不同
的颜色分量，用信令表示不同的标志。
有邻接区块是否也用信令表示强度参数。换句话说，可以在基于邻接区域的预测处理中利
用邻接区块。基于邻接区域的预测处理例如可以使用多数投票，其中，将使用邻接区块中的强度参数来判断是否针对特定区域用信令表示这些相同的强度参数。也就是说，如果所有
或者大多数邻接区块使用相同的强度参数，则预测使用那些相同的强度参数。对强度参数
的编码还可以基于邻接参数的强度参数的值。与早前讨论的运动预测模型的情况类似，编
码还可以考虑全局预测方法。如早前所提及的，还可以针对移位o和权重w或者针对不同
的颜色分量，用信令表示不同的标志。
[0171] 在位流中不用信令表示的强度参数的情况下，使用默认集合的强度参数。为了在编码器和解码器两者处生成新的参考图片，可以根据下面示出的方程式(11)进行强度补
偿：
偿：
[0172] I′＝Floor(((wint*I)*so+oint*sw+r)/(sw*so)) (11)
[0173] 其中，r是舍入移位，wint和oint是如从位流中解码的具有整数精度的强度参数(特别地分别是权重和移位参数)，sw和so分别是用于权重和移位参数的缩放因数。除了方程式(11)对照度参数应用缩放因数sw和so之外，方程式(11)等同于方程式(10)。
[0174] E.去噪滤波器
[0175] 作为参考处理的示例性实施例的最后的步骤，可以对运动补偿图像应用去噪滤波器、通常也称为伪影减少滤波器，以进一步改善处理后的参考图片的质量。可以使用去噪滤波器，来进一步减少在编码和/或扭曲处理期间引入的噪声和伪影以及已经存在于原始源
中的噪声和伪影。通过进一步减少噪声和伪影，去噪滤波器进一步改善参考图片的质量，由此改善参考图片的作为预测信号的功能。
中的噪声和伪影。通过进一步减少噪声和伪影，去噪滤波器进一步改善参考图片的质量，由此改善参考图片的作为预测信号的功能。
[0176] 在许多实施例中，可以在编码器侧使用最小二乘估计器或者任意其它最优化处理来获得去噪滤波器。可以在RPU内使用适当句法，用信令向解码器通知获得的去噪滤波器。
[0177] 如早前所提及的，图12描绘了解码器侧的框图。特别地，图12示出了解码器侧的RPU内部的各种部件。当在RPU内部使用去噪滤波器时，编码器可以使去噪滤波器与RPU中
的诸如运动模型和相应的运动模型参数、插值滤波器、强度补偿等其它部件一起联合最优
化。换句话说，编码器可以在图8所示的选择环内部考虑去噪滤波器最优化。
的诸如运动模型和相应的运动模型参数、插值滤波器、强度补偿等其它部件一起联合最优
化。换句话说，编码器可以在图8所示的选择环内部考虑去噪滤波器最优化。
[0178] 可以以硬件、软件、固件或者其组合实现在本公开中描述的方法和系统。可以一起(例如在诸如集成逻辑器件的逻辑器件中)或者单独(例如作为单独连接的逻辑器件)实现作为块、模块或者部件描述的特征。本公开的方法的软件部分可以包括计算机可读介质，计算机可读介质包括指令，当执行时，指令至少部分执行上述方法。计算机可读介质例如可以包括随机存取存储器(RAM)和/或只读存储器(ROM)。可以由处理器(例如数字信号处
理器(DSP)、专用集成电路(ASIC)或者场可编程逻辑阵列(FPGA))执行指令。
理器(DSP)、专用集成电路(ASIC)或者场可编程逻辑阵列(FPGA))执行指令。
[0179] 因此，本发明的实施例可以涉及下面描述的一个或更多个示例实施例。
[0180] 相应地，可以以这里描述的形式中的任意一个来实施本发明，包括、但不限于下面的描述本发明的一些部分的结构、特征和功能的枚举示例实施例(EEE)：
[0181] EEE1.一种用于对参考图片进行处理的方法，包括：
[0182] i)基于重构参考图片和处理后的参考图片估计值，对要被编码的原始图片执行运动估计；
[0183] ii)进一步处理经运动估计后图片，以获得进一步处理后的参考图片估计值；以及
[0184] 对所述运动估计和所述进一步处理进行迭代，以提供处理后的参考图片。
[0185] EEE2.根据枚举示例实施例1所述的方法，其中，所述进一步处理包括：用于获得运动模型参数的进一步运动估计以及估计插值滤波器参数、强度补偿参数和去噪滤波器参
数中的至少一个；以及对所述重构参考图片应用所述运动模型参数及所述插值滤波器参
数、强度补偿参数和去噪滤波器参数中的至少一个。
数中的至少一个；以及对所述重构参考图片应用所述运动模型参数及所述插值滤波器参
数、强度补偿参数和去噪滤波器参数中的至少一个。
[0186] EEE3.一种迭代法，用于在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动参数，所述方法包括：
[0187] i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计；
[0188] ii)执行进一步运动估计，以提供运动模型参数；以及
[0189] iii)根据所述运动模型参数来执行扭曲，以获得扭曲图片；以及
[0190] 对i)-iii)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所
述扭曲图片。
述扭曲图片。
[0191] EEE4.一种迭代法，用于在单层或者多层视频编码系统中执行参考图片处理时，估计参考图片缓冲器的重构参考图片或者所述重构参考图片的区域的运动参数，所述方法包括：
[0192] i)基于要被编码的原始图片以及所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域，执行运动估计；
[0193] ii)执行进一步运动估计，以提供运动模型参数；
[0194] iii)对所述运动模型参数进行处理，以提供插值滤波器参数和强度补偿参数中的至少一个；
[0195] iv)根据所述运动模型参数以及所述插值滤波器参数和强度补偿参数中的至少一个来执行扭曲，以获得扭曲图片；以及
[0196] 对i)-iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述
扭曲图片。
扭曲图片。
[0197] EEE5.根据枚举示例实施例3所述的方法，在迭代之前还包括：
[0198] iv)对所述扭曲图片进行滤波，以获得处理后的参考图片，
[0199] 其中，所述迭代还对iv)进行迭代，由此对i)-iv)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参考图片或者所述重构参考图片的区域以及所述处理后的参考图片。
[0200] EEE6.根据枚举示例实施例4所述的方法，在迭代之前还包括：
[0201] v)对所述扭曲图片进行滤波，以获得处理后的参考图片，
[0202] 其中，所述迭代还对iv)和v)进行迭代，由此对i)-v)进行迭代，其中，后续迭代中的i)中的运动估计基于所述要被编码的原始图片、所述参考图片缓冲器的所述重构参
考图片或者所述重构参考图片的区域以及所述处理后的参考图片。
考图片或者所述重构参考图片的区域以及所述处理后的参考图片。
[0203] EEE7.根据包含性的枚举示例实施例1-6中的任一项所述的方法，其中，所述重构参考图片是未经过处理的所述参考图片缓冲器中的原始参考图片。
[0204] EEE8.根据包含性的枚举示例实施例1-6中的任一项所述的方法，其中，所述重构参考图片是先前处理过的参考图片。
[0205] EEE9.根据包含性的枚举示例实施例1-6中的任一项所述的方法，其中，先前处理过的参考图片已经通过应用可选运动模型参数、可选插值滤波器参数、可选强度补偿参数
和可选去噪滤波器参数中的至少一个而被处理。
和可选去噪滤波器参数中的至少一个而被处理。
[0206] EEE10.根据枚举示例实施例9所述的方法，其中，根据先前的要被编码的原始图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
[0207] EEE11.根据枚举示例实施例9所述的方法，其中，根据先前的要被编码的原始图片和所述先前处理过的参考图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
[0208] EEE12.根据包含性的枚举示例实施例1-2或5-11中的任一项所述的方法，其中，将所述处理后的参考图片用作迭代中的后续运动估计的参考。
[0209] EEE13.根据包含性的枚举示例实施例1-12中的任一项所述的方法，其中，所述运动估计包括基于块的运动估计。
[0210] EEE14.根据包含性的枚举示例实施例1-12中的任一项所述的方法，其中，所述运动估计包括频率相关方法或者相位相关方法。
[0211] EEE15.根据包含性的枚举示例实施例1-12中的任一项所述的方法，其中，所述运动估计包括像素水平运动估计方法。
[0212] EEE16.根据包含性的枚举示例实施例2-15中的任一项所述的方法，其中，所述进一步运动估计是梯度下降估计法。
[0213] EEE17.根据枚举示例实施例16所述的方法，其中，所述梯度下降估计法利用从由Newton Raphson迭代法、Levenberg-Marquadet迭代法和最小二乘估计器构成的组中选择
的拟合法。
的拟合法。
[0214] EEE18.根据包含性的枚举示例实施例2-17中的任一项所述的方法，其中，所述进一步运动估计利用单个运动模型。
[0215] EEE19.根据包含性的枚举示例实施例2-17中的任一项所述的方法，其中，所述进一步运动估计利用多个运动模型。
[0216] EEE20.根据包含性的枚举示例实施例18或19所述的方法，其中，从由平移、缩放、旋转、各向同性、仿射、立体透视和多项式运动模型构成的组中，选择所述单个运动模型或者所述多个运动模型。
[0217] EEE21.根据包含性的枚举示例实施例2-20中的任一项所述的方法，其中，所述运动模型参数来自先前经过编码或者处理的图片。
[0218] EEE22.根据包含性的枚举示例实施例2-20中的任一项所述的方法，其中，所述运动模型参数来自相同图片的先前经过处理的区域。
[0219] EEE23.根据包含性的枚举示例实施例2-22中的任一项所述的方法，其中，将所述重构参考图片划分为多个重叠区域。
[0220] EEE24.根据包含性的枚举示例实施例2-22中的任一项所述的方法，其中，将所述重构参考图片划分为多个不重叠区域。
[0221] EEE25.根据枚举示例实施例16-24中的任一项所述的方法，其中，通过插值滤波器选择和强度补偿估计对所述运动模型参数的处理，还基于所述要被编码的原始图片和所
述重构参考图片。
述重构参考图片。
[0222] EEE26.根据包含性的枚举示例实施例5-25中的任一项所述的方法，其中，所述滤波包括去噪滤波。
[0223] EEE27.根据包含性的枚举示例实施例5-26中的任一项所述的方法，其中，基于所述重构参考图片执行所述扭曲。
[0224] EEE28.根据包含性的枚举示例实施例3或4所述的方法，其中，基于所述扭曲图片选择所述运动模型参数。
[0225] EEE29.根据包含性的枚举示例实施例5或6所述的方法，其中，基于所述处理后的参考图片选择所述运动模型参数。
[0226] EEE30.根据包含性的枚举示例实施例2-26中的任一项所述的方法，其中，基于失真成本、率失真成本、失真复杂度或者率失真复杂度，选择所述运动模型参数。
[0227] EEE31.根据包含性的枚举示例实施例3-22中的任一项所述的方法，其中，通过对叠加或者不叠加区域的分析，来进行图片的区域的运动模型参数估计。
[0228] EEE32.根据枚举示例实施例31所述的方法，其中，所述分析包括进行平均。
[0229] EEE33.根据枚举示例实施例31所述的方法，其中，所述分析包括进行加权平均。
[0230] EEE34.根据枚举示例实施例31所述的方法，其中，所述分析包括：对所述叠加或者不叠加区域中的任意一个应用多个运动模型，并且基于所述多个运动模型中的每个运动
模型的贡献获得平均值。
模型的贡献获得平均值。
[0231] EEE35.根据枚举示例实施例31所述的方法，其中，所述分析包括：对所述叠加或者不叠加区域中的任意一个应用多个运动模型，并且基于所述多个运动模型中的每个运动
模型的贡献获得加权平均值。
模型的贡献获得加权平均值。
[0232] EEE36.根据枚举示例实施例35所述的方法，其中，用信令向所述解码器通知所述加权平均的权重。
[0233] EEE37.根据枚举示例实施例31所述的方法，其中，所述分析包括跨区域边界执行去块。
[0234] EEE38.根据枚举示例实施例37所述的方法，其中，在执行去块时使用基于像素的方法。
[0235] EEE39.根据枚举示例实施例37所述的方法，其中，在执行去块时使用频域方法。
[0236] EEE40.根据枚举示例实施例25所述的方法，其中，基于扭曲和率失真考虑，执行插值滤波器选择。
[0237] EEE41.根据枚举示例实施例25所述的方法，其中，用信令向所述解码器通知插值滤波器选择。
[0238] EEE42.根据包含性的枚举示例实施例5或6所述的方法，其中，从所述运动模型参数获得插值滤波器参数，并且该插值滤波器参数进一步依赖于来自多个独立插值滤波器的
滤波器参数的插值滤波器参数。
滤波器参数的插值滤波器参数。
[0239] EEE43.根据枚举示例实施例42所述的方法，其中，所述多个独立插值滤波器属于多个像素精度水平。
[0240] EEE44.根据枚举示例实施例43所述的方法，其中，所述多个独立插值滤波器包括多个固定滤波器，其中，由固定滤波器索引标识每个固定滤波器。
[0241] EEE45.根据枚举示例实施例43所述的方法，其中，所述多个独立插值滤波器包括至少一个固定滤波器和至少一个显式滤波器。
[0242] EEE46.根据枚举示例实施例44所述的方法，其中，通过使用与所述多个固定滤波器中的每个固定滤波器相对应的所述固定滤波器索引，用信令向所述多个固定滤波器表示
与所述多个固定滤波器相对应的所有精度水平。
与所述多个固定滤波器相对应的所有精度水平。
[0243] EEE47.根据枚举示例实施例44所述的方法，其中，
[0244] 所述多个固定滤波器包括第一固定滤波器和第二固定滤波器，
[0245] 由第一固定滤波器索引标识所述第一固定滤波器，并且由第二固定滤波器索引标识所述第二固定滤波器，以及
[0246] 所述固定滤波器执行直到第一像素精度水平的插值，所述第二固定滤波器执行用于高于所述第一像素精度水平的其余像素精度水平的插值。
[0247] EEE48.根据枚举示例实施例47所述的方法，其中，通过使用所述第一固定滤波器索引，用信令向所述第一固定滤波器表示与所述第一固定滤波器相对应的所有像素精度水
平，并且使用所述第二固定滤波器索引，用信令向所述第二固定滤波器表示与所述第二固
定滤波器相对应的所有像素精度水平。
平，并且使用所述第二固定滤波器索引，用信令向所述第二固定滤波器表示与所述第二固
定滤波器相对应的所有像素精度水平。
[0248] EEE49.根据枚举示例实施例43所述的方法，其中，所述独立插值滤波器被适配为通过16位运算使用。
[0249] EEE50.根据包含性的枚举示例实施例44或45所述的方法，其中，所述独立插值滤波器被适配为通过16位运算使用。
[0250] EEE51.根据枚举示例实施例45所述的方法，其中，用信令向所述至少一个显式滤波器通知与所述至少一个显式滤波器相对应的所有像素精度水平。
[0251] EEE52.根据枚举示例实施例50所述的方法，其中，使用与所述至少一个固定滤波器相对应的所述固定滤波器索引，用信令向所述至少一个固定滤波器通知与所述至少一个
固定滤波器相对应的所有像素精度水平。
固定滤波器相对应的所有像素精度水平。
[0252] EEE53.根据枚举示例实施例50所述的方法，其中，用信令向所述至少一个显式滤波器通知与所述至少一个显式滤波器相对应的所有像素精度水平。
[0253] EEE54.根据枚举示例实施例43所述的方法，其中，根据使用的插值滤波器的类型，推断每个像素精度水平和要在所述精度水平使用的其相应的插值滤波器之间的关系。
[0254] EEE55.根据枚举示例实施例43所述的方法，其中，在位流中用信令向所述解码器通知每个像素精度水平和要在所述精度水平使用的其相应的插值滤波器之间的关系。
[0255] EEE56.根据包含性的枚举示例实施例42或43所述的方法，其中，从由双线性、Lanczos、双三次、Mitchell-Netravali、基于小波、基于扁带、基于运动补偿时间滤波和显式插值滤波器构成的组中选择独立插值滤波器。
[0256] EEE57.根据包含性的枚举示例实施例2或26所述的方法，其中，使用最小二乘估计器获得用于执行去噪滤波的去噪滤波器。
[0257] EEE58.根据包含性的枚举示例实施例2或26所述的方法，其中，与所述运动模型参数、所述插值滤波器参数和所述强度补偿参数中的至少一个的估计处理联合获得用于执
行去噪滤波的去噪滤波器。
行去噪滤波的去噪滤波器。
[0258] EEE59.根据包含性的枚举示例实施例2或26所述的方法，其中，在完成所述运动模型参数、所述插值滤波器参数和所述强度补偿参数的估计处理之后，获得用于执行去噪
滤波的去噪滤波器。
滤波的去噪滤波器。
[0259] EEE60.根据包含性的枚举示例实施例2、26、58或59中的任一项所述的方法，其中，从由高斯滤波器、中值滤波器和分阶滤波器构成的组中选择用于执行去噪滤波的去噪
滤波器。
滤波器。
[0260] EEE61.一种解码方法，所述解码方法用于当在单层或多层视频编码系统中执行参考图片处理时，在解码器处对参考图片缓冲器的重构参考图片或者所述重构参考图片的区
域进行解码，所述解码器被适配为对从编码器获取的参数信息进行接收和解析，所述方法
包括：
域进行解码，所述解码器被适配为对从编码器获取的参数信息进行接收和解析，所述方法
包括：
[0261] i)对输入图片执行扭曲，以获得第一处理图片；以及
[0262] ii)对所述第一处理后图片应用强度补偿，以获得第二处理图片。
[0263] EEE62.根据枚举示例实施例61所述的方法，还包括：
[0264] iii)对所述第二处理图片进行滤波，以获取处理后的参考图片。
[0265] EEE63.根据包含性的枚举示例实施例61或62所述的方法，其中，基于所述重构参考图片执行扭曲。
[0266] EEE64.根据包含性的枚举示例实施例61-63中的任一项所述的方法，其中，基于运动模型参数和插值滤波器参数执行扭曲。
[0267] EEE65.根据包含性的枚举示例实施例61-64中的任一项所述的方法，其中，基于强度补偿参数执行强度补偿。
[0268] EEE66.根据包含性的枚举示例实施例61-64中的任一项所述的方法，其中，基于去噪滤波器参数执行去噪滤波。
[0269] EEE67.根据包含性的枚举示例实施例61-64中的任一项所述的方法，其中，基于去块滤波器参数执行去块滤波。
[0270] EEE68.根据包含性的枚举示例实施例61或62所述的方法，其中，所述重构参考图片是未经过处理的所述参考图片缓冲器中的原始参考图片。
[0271] EEE69.根据包含性的枚举示例实施例61或62所述的方法，其中，所述重构参考图片是先前处理过的参考图片。
[0272] EEE70.根据包含性的枚举示例实施例61或62所述的方法，其中，所述先前处理过的参考图片已经通过应用可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和
可选去噪滤波器参数中的至少一个而被处理。
可选去噪滤波器参数中的至少一个而被处理。
[0273] EEE71.根据枚举示例实施例70所述的方法，其中，根据先前的要被编码的原始图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
[0274] EEE72.根据枚举示例实施例70所述的方法，其中，根据先前的要被编码的原始图片和所述先前处理过的参考图片，估计所述可选运动模型参数、可选插值滤波器参数、可选强度补偿参数和可选去噪滤波器参数中的至少一个。
[0275] 在本说明书中提及的所有专利和公布可以指示本公开所涉及的本领域技术人员的技术水平。像通过引用单独包含每个参考文献的全部内容一样的程度，通过引用包含在
本公开中引用的所有参考文献。
本公开中引用的所有参考文献。
[0276] 应当理解，本公开不限于特定方法或者系统，特定方法或者系统当然可以变化。还应当理解，这里使用的术语仅用于描述特定实施例的目的，而不旨在进行限制。如在本说明书和所附权利要求中所使用的，除非内容另外清楚地指出，否则单数形式“一”、“一个”和“该”包括复数指代。除非另外定义，否则这里使用的所有科技术语具有与本公开所涉及的本领域普通技术任意通常所理解的相同的含义。
[0277] 提供上面叙述的示例，以向本领域普通技术任意给出对如何作出并使用本公开的参考处理方法的实施例的完全公开和描述，而不旨在限制发明人视为其公开的内容的范
围。视频领域技术人员可以使用上述本公开的实施方式的变形，这些变形旨在所附权利要
求的范围内。
围。视频领域技术人员可以使用上述本公开的实施方式的变形，这些变形旨在所附权利要
求的范围内。
[0278] 描述了本公开的多个实施例。尽管如此，应当理解，可以进行各种变形，而不脱离本公开的精神和范围。相应地，其它实施例在所附权利要求的范围内。
[0279] 参考文献列表
[0280] [1]Advanced video coding for generic audiovisual services,http://www.itu.int/rec/recommendation.asp?type=folders&lang=e&parent=T-REC-H.264,Marc
h2010.
h2010.
[0281] [2]SMPTE421M,“VC-1Compressed Video Bitstream Format andDecodingProcess,”April2006.
[0282] [3]G.J.Sullivan and T.Wiegand,“Rate-distortion optimization forvideocompression,”IEEE Signal Processing Magazine,vol.15,issue6,November1998.
[0283] [4]Y. He,B.Feng,S.Yang,Y.Zhong,“Fast Global Motion EstimationforGlobal Motion Compensation Coding,”2001IEEE InternationalSymposium on
Circuits and Systems(ISCAS'2001),May2001,Page(s):233-236vol.2.
Circuits and Systems(ISCAS'2001),May2001,Page(s):233-236vol.2.
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 视频图像处理方法和装置 | 2020-10-13 | 2 |
| 视频编码方法及系统 | 2023-06-11 | 1 |
| 视频发送、接收方法及装置、传输方法及系统 | 2021-06-14 | 0 |
| 视频编码装置、视频编码方法、视频再现装置、视频再现方法 | 2022-10-14 | 2 |
| 一种双镜头光学倍数拓展的变焦摄像机及其工作方法 | 2020-10-07 | 2 |
| Video coding / decoding with re-oriented transforms and sub-block transform sizes | 2021-03-31 | 2 |
| Using Depth Information to Assist Motion Compensation-Based Video Coding | 2022-09-23 | 1 |
| Motion estimation methods for residual prediction | 2021-01-26 | 0 |
| DISPLAY STREAM COMPRESSION | 2022-01-05 | 2 |
| 랜덤 엑세스를 위한 멀티 레이어 비디오 부호화 방법 및 그 장치, 랜덤 엑세스를 위한 멀티 레이어 비디오 복호화 방법 및 그 장치 | 2022-02-12 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
视频编码热门专利
QQ群二维码
意见反馈
意见反馈