影像编码方法、装置、影像解码方法、装置及它们的程序专利检索-运动补偿预测视听技术与设备专利检索查询-专利查询网

影像编码方法、装置、影像解码方法、装置及它们的程序

阅读：711发布：2020-10-27

专利汇可以提供影像编码方法、装置、影像解码方法、装置及它们的程序专利检索，专利查询，专利分析的服务。并且降低自适应插值滤波器的滤波器系数的产生编码量。使用运动补偿的影像编码装置具备：运动检测部，进行运动搜索以取得运动向量；插值滤波器系数导出部，使用所述运动向量来算出用于小数精度像素的插值的插值滤波器系数；插值部，使用所述插值滤波器系数及所述运动向量，来进行所述小数精度像素的所述插值以实施编码；参数选择部，从用于所述插值滤波器系数的熵编码的参数之中的指定的多个参数之中选择插值滤波器系数的产生编码量为最小的参数；编码处理部，对所述选择的参数及算出的所述插值滤波器系数进行编码并输出经编码的参数及经编码的插值滤波器系数。，下面是影像编码方法、装置、影像解码方法、装置及它们的程序专利的具体信息内容。

权利要求

1. 一种影像编码方法，使用运动补偿，其中具有：
进行运动搜索以取得运动向量的步骤；
使用所述运动向量来算出用于小数精度像素的插值的插值滤波器系数；
使用所述插值滤波器系数及所述运动向量，来进行所述小数精度像素的所述插值以实施编码的步骤；
从用于所述插值滤波器系数的熵编码的参数之中的指定的多个参数之中选择插值滤波器系数的产生编码量为最小的参数的步骤；以及
对所述选择的参数及算出的所述插值滤波器系数进行编码并输出经编码的参数及经编码的插值滤波器系数的步骤。
2. 如权利要求1所述的影像编码方法，其中，在选择所述参数的步骤中，使用成为选择对象的多个参数的范围与插值滤波器系数的位置相应地受到限制的参数，作为所述指定的多个参数。
3. 一种影像编码装置，使用运动补偿，具备：
运动检测部，进行运动搜索以取得运动向量；
插值滤波器系数导出部，使用所述运动向量来算出用于小数精度像素的插值的插值滤波器系数；
插值部，使用所述插值滤波器系数及所述运动向量，来进行所述小数精度像素的所述插值以实施编码；
参数选择部，从用于所述插值滤波器系数的熵编码的参数之中的指定的多个参数之中选择插值滤波器系数的产生编码量为最小的参数；以及
编码处理部，对所述选择的参数及算出的所述插值滤波器系数进行编码并输出经编码的参数及经编码的插值滤波器系数。
4. 如权利要求3所述的影像编码装置，其中，所述参数选择部使用成为选择对象的多个参数的范围与插值滤波器系数的位置相应地受到限制的参数，作为所述指定的多个参数。
5. 一种影像解码方法，输入利用权利要求1所述的影像编码方法编码的编码流，使用运动补偿进行解码，其中具有：
对用于对所述运动补偿所使用的插值滤波器系数进行解码的熵编码参数进行解码的步骤；
使用所述熵编码参数对用于小数精度像素生成的所述插值滤波器系数进行解码的步骤；
对运动向量及残差信号进行解码的步骤；
使用完成所述解码的插值滤波器系数和所述运动向量来生成预测信号的步骤；以及使用经解码的所述残差信号及所述预测信号来生成解码信号的步骤。
6. 一种影像解码装置，输入利用权利要求3所述的影像编码装置编码的编码流，使用运动补偿进行解码，其中具备：
熵编码参数解码部，对用于对所述运动补偿所使用的插值滤波器系数进行解码的熵编码参数进行解码；
插值滤波器系数解码部，使用所述熵编码参数对用于小数精度像素生成的所述插值滤波器系数进行解码；
解码处理部，对运动向量及残差信号进行解码；
预测处理部，使用完成所述解码的插值滤波器系数和所述运动向量来生成预测信号；
以及
解码信号生成部，使用经解码的所述残差信号及所述预测信号来生成解码信号。
7. 一种影像编码程序，用于使计算机执行权利要求1或权利要求2所述的影像编码方法。
8. 一种影像解码程序，用于使计算机执行权利要求5所述的影像解码方法。

说明书全文

影像编码方法、装置、影像解码方法、装置及它们的程序

技术领域

[0001] 本发明涉及谋求影像编码中的插值滤波器的性能改善、改善编码效率的影像编码/解码技术。

[0002] 本申请基于2011年10月18日向日本申请的特愿2011-228553号而主张优先权，将其内容引用于此。

背景技术

[0003] 影像编码中，在不同画面间执行预测的画面间预测（运动补偿）编码中，参照已经解码的帧，可求出使预测误差能量最小的运动向量，其预测误差信号（也称为残差信号）被正交变换。随后，被施以量化，经过熵编码，最终成为二进制数据、即位流。为提高编码效率，预测误差能量的降低是必不可少的，要求预测精度高的预测方式。

[0004] 影像编码标准方式中导入了很多用于提高画面间预测的精度的工具。从参照帧的整数精度像素使用6抽头（6 tap）的滤波器来插值1/2精度的像素，进而利用该像素用线性插值来生成1/4精度的像素。由此，对于小数精度的运动，预测得以应验。将本工具称为1/4像素精度预测。

[0005] 面向比H.264/AVC编码效率更高的下一代影像编码标准方式的制定，国际标准化组织 ISO/IEC "MPEG"（International Organization for Standardization/International Electrotechnical Commission "Moving Picture Experts Group"：国际标准化组织/国际电工委员会“运动图像专家组”）及ITU-T "VCEG"（International Telecommunication Union-Telecommunication Standardization Sector "Video Coding Experts Group"：国际电信联盟－电信标准化部门“视频编码专家组”）共同设立了研究组（Joint Collaborative Team for Video Coding：JCT-VC，视频编码联合组）。下一代标准方式被称为高效率影像编码方式（High Efficiency Video Coding：HEVC），从当前世界各国汇集了各种新的编码技术，由JCT-VC会议进行审议。

[0006] 其中，特别是与画面间预测（运动补偿）关联的提案有很多，对于HEVC用参考软件（HEVC test Model：HM，HEVC测试模型），还提案有提高小数精度像素的插值精度的工具，从插值滤波器系数DCT（Discrete Cosine Transform：离散余弦变换）系数的基础导出的基于DCT的插值滤波器（DCT-based Interpolation Filter：DCT-IF）效果较高，被采用于HM的插值滤波器候补。为了进一步提高插值精度，还提案有将插值滤波器系数以帧单位自适应地进行变化的插值滤波器，被称为自适应插值滤波器（Adaptive Interpolation Filter：AIF）。自适应插值滤波器的编码效率改善的效果较高，也被采用于在VCEG主导下制定的面向下一代影像编码的参考软件（Key Technical Area：KTA）。由于对编码效率提高的贡献较高，所以插值滤波器的性能改善是非常值得期待的领域。

[0007] 关于现有的插值滤波器，进一步详细地进行说明。

[0008] （固定性插值）图13是示出H.264/AVC中的小数精度的像素插值方法的图。H.264/AVC中，如图13所示在1/2像素位置的插值时，使用作为对象的插值像素的左右各3点共计6个整数像素来进行插值。对于垂直方向，使用上下各3点共计6个整数像素来进行插值。滤波器系数分别为[(1, -5, 20, 20, -5, 1)/32]。在插值1/2像素位置后，1/4像素位置使用[1/2,
1/2]的平均值滤波器来进行插值。由于需要一次插值求出全部1/2像素位置，所以计算复杂度高，但能进行高性能的插值，导致编码效率提高。以上的利用固定滤波器进行的插值的技术，在非专利文献1等中示出。

[0009] 如H.264/AVC的一维6抽头滤波器，系数值对于全部输入图像及全部帧使用相同值的滤波器，被称为固定插值滤波器（Fixed Interpolation Filter）。

[0010] 作为进一步改善H.264/AVC所采用的插值滤波器的性能的方式，在HEVC用参考软件HM中，采用基于DCT的插值滤波器（DCT-IF）。图14示出该基于DCT的插值滤波器的小数精度的像素插值方法。如图14，设小数精度位置上的插值对象像素为p、整数位置像素为px、表示p的位置的整数位置像素间参数为α（0≤α≤1）。此时，将用于插值的整数位置的像素数、即抽头长度设为2M（M为1以上的整数值）。根据DCT变换的定义式，式（1）成立。

[0011] [数式1]另外，根据逆DCT变换的定义式，式（2）成立。

[0012] [数式2]通过将x视为位置，小数位置α上的像素插值式成为以下的式（3）。

[0013] [数式3]根据式（3），只要规定了插值所使用的抽头长度2M及插值对象位置α，则能够唯一地导出系数。将从以上的议论得到的插值滤波器的事例总结于表1及表2。关于以上的细节，在非专利文献2示出。

[0014] [表1][表2]
该基于DCT的插值滤波器能够对应任意的滤波器长及插值精度，是高性能的插值滤波器，因此被HEVC用测试模型HM采用。

[0015] （自适应插值）在H.264/AVC及基于DCT的插值滤波器中，与输入图像条件（序列种类/图像尺寸/帧速率）或编码条件（块尺寸/GOP（Group of Pictures：图像组）构造/QP（Quantization Parameter：量化参数））无关，滤波器系数值为恒定的。在滤波器系数值固定的情况下，未考虑例如混叠、量化误差、运动推定造成的误差、相机噪声这些随时间变化的效应。因此，可认为在编码效率的点上性能提高存在极限。因此，在非在专利文献3中提出了使插值滤波器系数自适应地变化的方式，被称为可分离自适应插值滤波器（SAIF：Separable Adaptive Interpolation Filter），使用一维6抽头插值滤波器。

[0016] 图15A～图15C是示出可分离自适应插值滤波器（SAIF）中的小数精度的像素插值方法的图。作为顺序，如图15B的步骤1所示，首先插值水平方向的像素（a、b、c）。整数2
精度像素C1至C6被用于滤波器系数的决定。使式（4）的预测误差能量函数Eh 最小化的水平方向滤波器系数，可通过一般所知的最小二乘法（参照非专利文献3）来解析地决定。

[0017] [数式4]在此，S表示原图像，P表示完成解码参照图像，x及y分别表示图像中水平及垂直方向的位置。另外，～x（～是附在x之上的记号；其他也同样）为
～x＝x＋MVx-FilterOffset，
MVx表示事先得到的运动向量的水平分量，FilterOffset表示用于调整的偏移（水平方向滤波器长除以2得到的值）。关于垂直方向，为～y＝y＋MVy，MVy表示运动向量的垂直分量。wci表示应求出的水平方向滤波器系数群ci（0≤ci＜6）。

[0018] 通过得到与用式（4）求出的滤波器系数相同数量的一次方程式，最小化处理可对每个水平方向的小数精度像素位置来独立地实施。经过该最小化处理，求出3种6抽头滤波器系数群，使用该滤波器系数群可插值小数精度像素a、b、c。

[0019] 水平方向的像素插值完成后，如图15C的步骤2所示，实施垂直方向的插值处理。通过求解与水平方向相同的线性问题来决定垂直方向的滤波器系数。具体而言，使式（5）的预测误差能量函数EV2最小化的垂直方向滤波器系数被解析地决定。

[0020] [数式5]在此，S表示原图像，＾P（＾是附在P之上的记号）表示解码后在水平方向经插值处理的图像，x及y分别表示图像中的水平及垂直方向的位置。另外，表达为～x＝4�（x＋MVx），MVx表示经取整运动向量的水平分量。关于垂直方向，表达为～y＝y＋MVy-FilterOffset，MVy表示运动向量的垂直分量，FilterOffset表示用于调整的偏移（滤波器长除以2得到的值）。wcj表示应求出的垂直方向滤波器系数群cj（0≤cj＜6）。

[0021] 对每个小数精度像素独立地实施最小化处理，可得到12种6抽头滤波器系数。使用该滤波器系数，剩余的小数精度像素得以插值。

[0022] 通过以上方式，需要对总计90（＝6×15）个滤波器系数进行编码并传输至解码侧。特别是对于低分辨率的编码，该开销变大，因此利用滤波器的对称性，来缩减应传输的滤波器系数。例如，图15A中，关于插值方向从各整数精度像素来看b、h、i、j、k的位置位于中心，若是水平方向，则使左3点所使用的系数反转能够适用于右3点。同样，若是垂直方向，则使上3点所使用的系数反转能够适用于下3点（c1＝c6，c2＝c5，c3＝c4）。

[0023] 另外d与l的关系是夹着h对称，因此还能够将滤波器系数分别反转来利用。即，如果传输d的6个系数，其值也能够适用于l。成为c(d)1＝c(l)6，c(d)2＝c(l)5，c(d)3＝c(l)4，c(d)4＝c(l)3，c(d)5＝c(l)2，c(d)6＝c(l)1。该对称性也可利用于e与m、f与n还有g与o。关于a与c同样的理论也成立，但由于水平方向的结果对垂直方向的插值也产生影响，因此不利用对称性，而是a与c分别地进行传输。以上的利用对称性结果，对每帧应传输的滤波器系数为51个（水平方向为15个，垂直方向为36个）。

[0024] 此外，关于传输的滤波器系数，取得所算出的滤波器系数与系数算出所使用的固定插值滤波器系数之差分值，其残差滤波器系数被实际编码。

[0025] 现有技术文献[非专利文献]
[非专利文献1] 大久保榮，角野眞也，菊池義浩，鈴木輝彦：“Ｈ．２６４／ＡＶＣ教科書改訂三版”，インプレス，pp.119-123、2009
[非专利文献2] Ken McCann，Woo-Jin Han，Il-Koo Kim，Jung-Hye Min，Elena Alshina，Alexander Alshin，Tammy Lee，Jianle Chen，Vadim Seregin，Sunil Lee，Yoon-Mi Hong，Min-Su Cheon，Nikolay Shlyakhov，"Samsung's Response to the Call for Proposals on Video Compression Technology"，JCTVC-A124r2，pp.12-14、1st JCT-VCMeeting，Dresden，Apr.2010
[非专利文献3] S. Wittmann，T. Wedi："Separable adaptive interpolation filter for video coding"，Proc.ICIP2008，IEEEInternational Conference on Image Processing，pp.2500-2503，San Diego，California，USA，Oct.2008。

发明内容

[0026] 发明要解决的课题在增长插值滤波器的抽头长度，或不利用对称性而严格地传输插值滤波器系数的情况下，残差能量倾向于降低的方向，但相应地，成为开销的插值滤波器系数的编码量增大。如果插值滤波器系数所涉及的编码量能够降低，则能够进一步贡献于编码效率提高。

[0027] 但是，非在专利文献3中，在对插值滤波器系数进行编码时实施熵编码，其熵编码的参数固定，所有的插值位置上的所有的滤波器系数在相同条件进行编码，因此认为在性能改善上存在极限。

[0028] 本发明是鉴于以上那样的情况而完成的，其目的在于，着眼于自适应插值滤波器中的插值滤波器系数的位置，通过引入自适应熵编码方法，来降低自适应插值滤波器的滤波器系数的产生编码量，确立高效率的自适应插值滤波器方法。

[0029] 用于解决课题的方案作为用于达成上述目的的方法，本发明在使用运动补偿的影像编码方法中，进行运动搜索以取得运动向量，使用该运动向量来算出用于小数精度像素的插值的插值滤波器系数，使用该插值滤波器系数及运动向量，来进行小数精度像素的插值以实施编码，从用于插值滤波器系数的熵编码的参数之中的指定的多个参数之中选择插值滤波器系数的产生编码量为最小的参数，对选择的参数及算出的插值滤波器系数进行编码并输出经编码的参数及经编码的插值滤波器系数。

[0030] 另外，上述发明中，所述指定的多个参数，也可以是成为选择对象的多个参数的范围与插值滤波器系数的位置相应地受到限制的参数。

[0031] 另外，本发明在对利用上述影像编码方法来编码的编码流使用运动补偿来进行解码的影像解码方法中，对用于对插值滤波器系数进行解码的熵编码参数进行解码，使用该熵编码参数对用于小数精度像素生成的插值滤波器系数进行解码，对运动向量及残差信号进行解码，使用完成解码的插值滤波器系数和运动向量来生成预测信号，使用经解码的残差信号及所述预测信号来生成解码信号。

[0032] 本发明的作用如以下所述。现有的自适应插值滤波器中，在插值滤波器系数的编码中，熵编码所使用的参数被固定，所有的插值滤波器系数在相同条件进行编码，在性能改善上存在极限。另一方面，在本发明中，能自适应地选择降低插值滤波器系数的产生编码量的参数，能够改善编码效率。

[0033] 另外，本发明基于所算出的插值滤波器系数的振幅、即插值滤波器系数的系数值与作为插值对象的像素的位置越近则越大、越远离则越小的假设，与系数的位置相应地限制熵编码所使用的参数的范围。由此，能使用对各插值位置适当的参数来降低插值滤波器系数的产生编码量，能够改善编码效率。

[0034] 此外，插值滤波器系数的设置及熵编码参数的编码/解码，以例如帧单位或切片单位、或由根据其他一些标准规定的多个块构成的区域的单位来进行。

[0035] 发明的效果依据本发明，在现有的插值滤波器中未能考虑的、与插值处理所使用的抽头长度和其插值滤波器系数的位置相应的插值滤波器系数的自适应编码处理成为可能，能够达到由插值滤波器系数的编码量缩减导致的编码效率改善。
附图说明

[0036] 图1是示出应用本发明的影像编码装置的一结构例的图；图2是示出影像编码装置中的帧间预测（inter-prediction）处理部的结构例的图；
图3是帧间预测编码处理的流程图；
图4A是示出依据本发明的实施方式的插值滤波器系数编码处理部的结构例的图；
图4B是示出依据现有法的插值滤波器系数编码处理部的结构例的图；
图5是插值滤波器系数编码处理的流程图；
图6是示出应用本发明的影像解码装置的一结构例的图；
图7是示出影像解码装置中的帧间预测处理部的结构例的图；
图8是帧间预测解码处理的流程图；
图9A是示出依据本发明的实施方式的插值滤波器系数解码处理部的结构例的图；
图9B是示出依据现有法的插值滤波器系数解码处理部的结构例的图；
图10是插值滤波器系数解码处理的流程图；
图11是示出使用计算机和软件程序来实现影像编码装置时的系统的结构例的图；
图12是示出使用计算机和软件程序来实现影像解码装置时的系统的结构例的图；
图13是示出影像编码标准方式（H.264/AVC）的小数精度的像素插值方法的图；
图14是示出基于DCT的插值滤波器（DCT-IF）的小数精度的像素插值方法的图；
图15A是示出可分离自适应插值滤波器（SAIF）中的小数精度像素的插值方法的图；
图15B是示出可分离自适应插值滤波器（SAIF）中的小数精度像素的插值方法的图；
图15C是示出可分离自适应插值滤波器（SAIF）中的小数精度像素的插值方法的图。

具体实施方式

[0037] 以下，一边使用附图，一边对本发明的一个实施方式进行说明。

[0038] 本发明是涉及影像编码装置（图1）及影像解码装置（图6）中的帧间预测处理及其附加信息的编码及解码的技术。以下，首先说明影像编码装置中的帧间预测处理，随后，对影像解码装置中的帧间预测处理进行说明。

[0039] （影像编码装置的结构例）图1是示出应用本发明的影像编码装置的一结构例的图。影像编码装置100中，本实施方式，特别是对在帧间预测处理部102使用的插值滤波器系数进行编码的插值滤波器系数编码处理部300的部分，是与现有技术不同的部分，其他部分与作为H.264/AVC等的编码器使用的现有的一般的影像编码装置的结构相同。

[0040] 影像编码装置100，输入编码对象的影像信号，将输入影像信号的帧分割为块并按每块编码，将其位流作为编码流输出。为了该编码，预测残差信号生成部103求出输入影像信号与作为帧内预测（intra-prediction）处理部101或者帧间预测处理部102的输出的预测信号的差分，将差分作为预测残差信号输出。变换处理部104对预测残差信号进行离散余弦变换（DCT）等的正交变换，输出变换系数。量化处理部105将变换系数量化，输出该量化的变换系数。熵编码处理部113对量化的变换系数进行熵编码，作为编码流输出。

[0041] 另一方面，量化的变换系数还输入逆量化处理部106，在此进行逆量化。逆变换处理部107对作为逆量化处理部106的输出的变换系数进行逆正交变换，输出预测残差解码信号。

[0042] 解码信号生成部108中，对所述预测残差解码信号与作为帧内预测处理部101或者帧间预测处理部102的输出的预测信号进行加法运算，生成编码的编码对象块的解码信号。该解码信号为了在帧内预测处理部101或者帧间预测处理部102作为参照图像使用，而存放于帧存储器109。此外，在帧间预测处理部102参照参照图像的情况下，在环路滤波器处理部110，输入存放于帧存储器109的图像，进行降低编码失真的滤波处理，将该滤波处理后的图像作为参照图像使用。

[0043] 在帧内预测处理部101设定的预测模式等的信息，存放于帧内预测信息存放部112，进而，在熵编码处理部113进行熵编码，作为编码流输出。在帧间预测处理部102设定的运动向量等的信息，存放于帧间预测信息存放部111，进而，在熵编码处理部113进行熵编码，作为编码流输出。特别地，熵编码处理部113中的插值滤波器系数编码处理部300，进行对于在帧间预测处理部102使用了的插值滤波器系数的编码。

[0044] （影像编码中的帧间预测处理部的结构例）图2示出图1所示的帧间预测处理部102的结构例。

[0045] 帧间预测处理部102具备固定插值滤波器系数存储部201、运动检测部202、插值滤波器系数导出部203、参照图像插值部204，将原信号、解码信号作为输入，输出帧间预测生成的预测信号、运动向量。

[0046] 固定插值滤波器系数存储部201保存初始固定插值滤波器的系数，该系数用于生成求出插值滤波器系数所需要的运动向量。所保存的系数例如可以是H.264/AVC的6抽头滤波器的系数，也可以是基于DCT的插值滤波器的4、8、12抽头滤波器的系数。

[0047] 运动检测部202，输入经插值的参照信号和原图像，检测运动向量，输出其信息。插值滤波器系数导出部203，将使用原信号、解码信号、固定插值滤波器系数存储部201的固定插值滤波器系数而导出的运动向量作为输入，生成使二乘误差能量最小化的插值滤波器系数。

[0048] 参照图像插值部204使用固定插值滤波器系数或者自适应地求出的自适应插值滤波器系数、解码信号，生成高分辨率的完成插值参照图像的信号。

[0049] 插值滤波器系数编码处理部300是与本发明的改良点有关的部分，将由插值滤波器系数导出部203求出的插值滤波器系数作为输入，来实施插值滤波器系数的编码。插值滤波器系数编码处理部300还对编码所需要的熵编码参数等的附加信息进行编码。

[0050] （帧间预测编码处理流程）图3是帧间预测编码处理的流程图。以下，跟随图3，对帧间预测编码处理的细节进行说明。

[0051] 首先，在步骤S101，将帧分割为块（例如，16×16或8×8这样的现有的运动预测的块尺寸），以块单位算出最优的运动向量。对于本步骤中的参照图像的小数精度像素的插值，使用例如基于现有的H.264的固定6抽头滤波器。

[0052] 接着，在步骤S102，使用作为水平方向的预测误差能量函数的式（6），进行针对水平方向的各小数精度像素的插值滤波器系数的最优化处理。

[0053] [数式6]在此，S表示原图像，P表示完成解码参照图像，x及y分别表示图像中的水平及垂直方向的位置。另外，～x表示～x＝x＋MVx-FilterOffset，MVx表示事先得到的运动向量的水平分量，FilterOffset表示用于调整的偏移（将水平方向滤波器长除以2得到的值）。关于垂直方向，成为～y＝y＋MVy，MVy表示运动向量的垂直分量。wci表示应求出的水平方向滤波器系数群ci（0≤ci＜6）。

[0054] 在步骤S103，使用在步骤S102得到的水平方向的插值滤波器系数，来实施水平方向的小数精度像素插值（图15B中的a、b、c的插值）。

[0055] 在步骤S104，使用作为垂直方向的预测误差能量函数的式（7），来进行针对垂直方向的各小数精度像素的插值滤波器系数的最优化处理。

[0056] [数式7]在此，S表示原图像，＾P表示解码后在水平方向经插值处理的图像，x及y分别表示图像中的水平及垂直方向的位置。另外，表达为～x＝4�（x＋MVx），MVx表示取整的运动向量的水平分量。关于垂直方向，表达为～y＝y＋MVy-FilterOffset，MVy表示运动向量的垂直分量，FilterOffset表示用于调整的偏移（将滤波器长除以2得到的值）。wcj表示应求出的垂直方向滤波器系数群cj（0≤cj＜6）。

[0057] 在步骤S105，使用在步骤S104得到的垂直方向的插值滤波器系数，来实施垂直方向的小数精度像素插值（图15C中的d～o的插值）。

[0058] 在步骤S106，将在步骤S105得到的在垂直方向插值的图像作为参照图像，再次进行运动向量的搜索，算出运动向量。

[0059] 在步骤S107，对各种插值滤波器系数群进行编码。

[0060] 在步骤S108，进行剩余的信息（运动向量、量化后DCT系数等）的编码。

[0061] （本发明的实施方式所涉及的插值滤波器系数编码处理部的结构例）图4A示出本发明的实施方式所涉及的插值滤波器系数编码处理部（图1的插值滤波器系数编码处理部300）的结构例。

[0062] 抽头长度存储部301存储插值所使用的滤波器的抽头长度。抽头长度读入部302将插值滤波器系数作为输入，读入在抽头长度存储部301存储的抽头长度。系数位置设定部303将插值滤波器系数及由抽头长度读入部302读入的抽头长度作为输入，识别插值滤波器系数的编码所使用的系数的位置信息，输出系数的位置信息。

[0063] 系数位置判定部304将系数的位置信息作为输入，与系数的位置信息相应地，指定由熵编码参数设定部305分配的熵编码参数的范围及调整用偏移，输出该编码参数。此时，在对特定的系数位置赋予既定偏移的情况下，赋予偏移。关于偏移的有无，在编码装置和解码装置共同地统一赋予或不赋予即可。也可以对偏移进行编码并传输。

[0064] 在此，作为限制与系数位置相应的熵编码参数的范围的方法，使用以下的方法。例如在作为熵编码使用哥伦布编码（Golomb encoding）的情况下，使决定其编码表的参数即m值的指定范围按每个系数位置而变化。具体而言，如在插值滤波器系数的系数位置距离作为插值对象的像素的位置最远的情况下，作为m值的范围，例如设m＝2或m＝3，而与作为插值对象的像素的位置最近的系数，将m值的范围例如设为m＝2～8这样，进行成为与插值滤波器系数的端部近的情况下狭窄的范围，与插值滤波器系数的中央近的情况下宽广的范围这样的熵编码参数的范围的指定。此外，该参数并不限于哥伦布编码的参数，也可以是例如用于决定其他熵编码方法中的编码表的参数这样的参数，同样，使用与系数位置相应地限制参数的范围的方法也可以。

[0065] 熵编码参数设定部305将由系数位置判定部304指定的熵编码参数的范围作为输入，在同范围内指定熵编码参数。例如，在作为熵编码使用哥伦布编码的情况下，在所指定的m值的范围中，以升顺或降顺依次指定各m值。

[0066] 产生编码量算出部306将由熵编码参数设定部305指定的熵编码参数及位置信息、插值滤波器系数作为输入，算出使用了所指定的熵编码参数的情况下得到的产生编码量。

[0067] 判定部307将由产生编码量算出部306求出的产生编码量及熵编码参数、熵编码参数的范围作为输入，如果由熵编码参数设定部305指定的熵编码参数与由系数位置判定部304指定的熵编码参数的范围的最终值相等，则输出在熵编码参数的范围中产生编码量为最小的该编码参数。若非如此，则判定部307保存产生编码量及熵编码参数，对熵编码参数设定部305进行指示以推进处理。

[0068] 插值滤波器系数编码部308将插值滤波器系数及系数的位置信息、编码参数作为输入，与系数的位置信息及熵编码参数相应地，进行插值滤波器系数的编码，并输出位流。系数位置判定部309将系数的位置信息及编码参数作为输入，判定系数的位置是否是最后的插值滤波器系数的位置，在还有应编码的系数的情况下，对系数位置设定部303进行指示以推进处理。

[0069] （现有的插值滤波器系数编码处理部的结构例）为了参考，图4B示出现有的插值滤波器系数编码处理部的结构例，说明与依据本实施方式的插值滤波器系数编码处理部的差异。

[0070] 依据本发明的实施方式的插值滤波器系数编码处理部，与现有的插值滤波器系数编码处理部不同的是在图4A以虚线框示出的部分，现有法中，该部分为熵编码参数存储部310和熵编码参数读入部311。

[0071] 熵编码参数存储部310存储插值滤波器系数的编码所使用的熵编码参数。将由编码装置及解码装置共同使用的值输入熵编码参数存储部310。在此，与插值位置无关，使用恒定的值。

[0072] 熵编码参数读入部311将插值滤波器系数及系数的位置信息作为输入，读入在熵编码参数存储部310存储的熵编码参数，对插值滤波器系数编码部308’通知插值滤波器系数及系数的位置信息、编码参数。

[0073] 这样，现有的插值滤波器系数的熵编码中，熵编码的参数成为固定，所有的插值位置中的滤波器系数在相同条件下进行编码，但在本实施方式中，自适应地选择降低插值滤波器系数的产生编码量的参数，因此编码效率提高。

[0074] （插值滤波器系数编码处理流程）图5示出本发明的实施方式所涉及的插值滤波器系数编码处理的流程图。在前述的图
3的步骤S107中的插值滤波器系数的编码处理中，执行图5所示的处理。

[0075] 首先，在步骤S201，读入插值处理所使用的插值滤波器抽头长度。在步骤S202，设定编码对象的滤波器系数的位置。在步骤S203，读入针对在步骤S202指定的位置的插值滤波器系数差分值。

[0076] 从接下来的步骤S204至S208的处理，是与现有技术不同的部分。在现有技术中，对所读入的插值滤波器系数差分值进行编码时，编码所使用的熵编码的参数，使用已知的参数。相对于此，在本实施方式中，如接下来这样进行处理。

[0077] 在步骤S204，将在步骤S202设定的被编码插值滤波器系数的位置作为输入，进行位置的判定。此时，在对于特定的系数位置赋予既定偏移的情况下，赋予偏移。关于偏移的有无，在编码装置和解码装置共同地统一赋予或不赋予来决定即可。也可以对偏移进行编码并传输。

[0078] 在步骤S205，设定插值滤波器系数的编码所使用的熵编码参数。该参数示出例如用于决定编码表的参数。通过本参数的设定，编码对象信号值的2进制表示发生变化，即使在对相同信号值进行编码的情况下，参数发生变化则编码量发生变化。

[0079] 在步骤S206，使用在步骤S205设定的熵编码参数，对在步骤S204所读入的插值滤波器系数值进行编码，并计算产生编码量。此时，考虑在步骤S204赋予的偏移来进行编码。

[0080] 在步骤S207，存储在步骤S206求出的产生编码量，判定所求出的产生编码量是否为最小的产生编码量。在所求出的产生编码量为最小的产生编码量的情况下，保存该编码量的值和赋予该编码量的该参数。

[0081] 在步骤S208，判定在步骤S205设定的熵编码参数是否为最后的该参数。如果设定的熵编码参数是最终参数，则停止产生编码量的计算，输出在至此的产生编码量的计算处理之中实现最小的产生编码量的该参数。如果设定的熵编码参数不是最终参数，则返回步骤S205，对于接下来的参数同样地重复处理。

[0082] 在步骤S209，进行在步骤S203所读入的插值滤波器系数的编码。此时，编码所使用的熵编码的参数，使用在步骤S207保存的系数的编码量为最小的参数。

[0083] 在步骤S210，判定编码的系数的位置是否为应编码的最后的位置。如果编码的系数的位置是最后的位置，则判断为最后的插值滤波器系数已被编码，结束处理。如果编码的系数的位置不是最后的位置，则判断为存在应编码的插值滤波器系数，返回步骤S202，继续剩余的插值滤波器系数的编码处理。

[0084] （影像解码装置的结构例）图6是示出应用本发明的影像解码装置的一结构例的图。在影像解码装置400中，本实施方式，特别是对在帧间预测处理部403使用的插值滤波器系数进行解码的插值滤波器系数解码处理部600的部分，是与现有技术不同的部分，其他部分与H.264/AVC等的作为解码器使用的现有的普通影像解码装置的结构相同。

[0085] 影像解码装置400，通过输入由图1所示的影像编码装置100编码的编码流并进行解码，输出解码图像作为影像信号。为了该解码，熵解码处理部401输入编码流，对解码对象块的量化变换系数进行熵解码。另外，熵解码处理部401对与帧内预测有关的信息进行解码，存放于帧内预测信息存放部410，并且对与帧间预测有关的信息进行解码，存放于帧间预测信息存放部409。

[0086] 逆量化处理部404输入量化变换系数，对其进行逆量化并输出解码变换系数。逆变换处理部405对解码变换系数实施逆正交变换，输出预测残差解码信号。将该预测残差解码信号和作为帧内预测处理部402或者帧间预测处理部403的输出的预测信号，在解码信号生成部406进行加法运算，生成解码对象块的解码信号。该解码信号在帧内预测处理部402或者帧间预测处理部403用作参照图像，因此存放于帧存储器407。此外，在帧间预测处理部403参照参照图像的情况下，在环路滤波器处理部408，输入存放于帧存储器407的图像，进行降低编码失真的滤波处理，将该滤波处理后的图像用作参照图像。最终滤波处理后的图像作为影像信号输出。

[0087] （影像解码中的帧间预测处理部的结构例）图7示出图6所示的帧间预测处理部403的结构例。帧间预测处理部403具备插值处理部501和预测信号生成部502。

[0088] 插值滤波器系数解码处理部600将插值滤波器系数及熵编码参数等、包含插值所需要的信息的位流作为输入，对插值滤波器系数进行解码并输出。

[0089] 插值处理部501将由插值滤波器系数解码处理部600解码的插值滤波器系数、运动向量、在帧存储器407中的解码信号或者在环路滤波器处理部408中的环路滤波器处理后的解码图像作为输入，执行插值处理，输出完成插值参照图像的信号。预测信号生成部502将由插值处理部501生成的完成插值参照图像和运动向量作为输入，生成预测信号并输出。

[0090] （帧间预测解码处理流程）图8是帧间预测解码处理的流程图。以下，跟随图8，对帧间预测解码处理的细节进行说明。

[0091] 首先，在步骤S301，读入位流，进行插值滤波器系数的解码。在步骤S302，进行运动向量的解码，使用在步骤S301解码的插值滤波器系数来实施插值处理，生成预测信号。在步骤S303，从位流来对量化DCT系数值进行解码，进行逆量化、逆DCT变换，取得预测误差信号。在步骤S304，使用在步骤S302生成的预测信号和在步骤S303解码的预测误差信号，生成解码信号。

[0092] （本发明的实施方式所涉及的插值滤波器系数解码处理部的结构例）图9A示出本发明的实施方式所涉及的插值滤波器系数解码处理部（图6的插值滤波器系数解码处理部600）的结构例。

[0093] 抽头长度存储部601存储插值所使用的滤波器的抽头长度。抽头长度读入部602，将位流作为输入，读入存储于抽头长度存储部601的抽头长度。系数位置设定部603，将位流及由抽头长度读入部602读入的抽头长度作为输入，识别插值滤波器系数的解码所使用的系数的位置信息，输出系数的位置信息。

[0094] 系数位置判定部604将系数的位置信息作为输入，与系数的位置信息相应地，输出用于调整从熵编码参数解码部605得到的熵编码参数（例如哥伦布编码参数）的偏移信息。熵编码参数解码部605将包含熵编码参数信息的位流作为输入，对由系数位置设定部603指定的位置上的熵编码参数进行解码。

[0095] 熵编码参数读入部606将由熵编码参数解码部605解码的编码参数作为输入，使用在系数位置判定部604得到的偏移信息，输出在插值滤波器系数解码部607的解码处理中使用的编码参数。

[0096] 插值滤波器系数解码部607将包含插值滤波器系数信息的位流及系数的位置信息、编码参数作为输入，与系数的位置信息及熵编码参数相应地，进行插值滤波器系数的解码，输出插值滤波器系数。

[0097] 系数位置判定部608将由系数位置设定部603指定的系数的位置信息及由插值滤波器系数解码部607解码的插值滤波器系数作为输入，在系数的位置与抽头长度的最终系数位置符合的情况下，输出该插值滤波器系数。若非如此，则系数位置判定部608对系数位置设定部603进行指示以推进处理。

[0098] （现有的插值滤波器系数解码处理部的结构例）为了参考，图9B示出现有的插值滤波器系数解码处理部的结构例，说明与依据本实施方式的插值滤波器系数解码处理部的差异。

[0099] 依据本发明的实施方式的插值系数解码处理部，与现有的插值滤波器系数解码处理部不同的是在图9A以虚线框示出的部分，现有方法中，该部分如图9B所示，为熵编码参数存储部610和熵编码参数读入部611。

[0100] 熵编码参数存储部610存储插值滤波器系数的解码所使用的熵编码参数。此处，输入并存储由编码装置及解码装置共同使用的值。熵编码参数读入部611将位流及系数的位置信息作为输入，读入存储于熵编码参数存储部610的熵编码参数，对插值滤波器系数解码部607’，通知包含插值滤波器系数信息的位流及系数的位置信息、编码参数。

[0101] 这样，现有的插值滤波器系数的熵解码中，熵编码参数固定，所有的插值位置上的滤波器系数在相同条件下进行解码。

[0102] （插值滤波器系数解码处理流程）图10示出本发明的实施方式所涉及的插值滤波器系数解码处理的流程图。前述的图
8的步骤S301中的插值滤波器系数的解码处理中，执行图10所示的处理。

[0103] 首先，在步骤S401，读入插值处理所使用的插值滤波器抽头长度。在抽头长度被编码的情况下，解码取得其值。在由编码装置和解码装置使用共同的值的情况下，设定该值。

[0104] 在步骤S402，设定解码对象的滤波器系数的位置。在步骤S403，将在步骤S402设定的待解码插值滤波器系数的位置作为输入，进行判定。此时，在对于特定的系数位置赋予既定偏移的情况下，赋予偏移。关于偏移的有无，由编码装置和解码装置共同地统一赋予或不赋予即可。在偏移被编码的情况下，也可以对该偏移进行解码。

[0105] 在步骤S404，对在步骤S402设定的系数位置上的熵编码参数（例如哥伦布编码参数）进行解码。在步骤S403判定的位置信息需要偏移的情况下，附加该偏移。

[0106] 在步骤S405，读入熵编码参数。在步骤S406，使用在步骤S405读入的熵编码参数，对在步骤S402设定的系数位置上的插值滤波器系数进行解码。

[0107] 在步骤S407，判定解码的插值滤波器系数的位置是否为应解码的最后的位置。如果，解码的插值滤波器系数的位置是最后的位置，则判断为最后的插值滤波器系数已经被解码，输出插值滤波器系数的值，结束处理。如果解码的插值滤波器系数的位置不是最后的位置，则判断为存在应解码的插值滤波器系数，返回步骤S402，继续剩余的位置上的插值滤波器系数的解码处理。

[0108] 以上的影像编码、解码的处理，能够通过计算机和软件程序来实现，还能通过将该程序记录于计算机可读的记录介质，也能通过网络来提供。

[0109] 图11示出通过计算机和软件程序来构成影像编码装置时的硬件结构例。本系统是执行程序的CPU（Central Processing Unit：中央处理单元）700、存放CPU700访问的程序或数据的RAM（Random Access Memory：随机存取存储器）等的存储器701、输入来自相机等的编码对象的影像信号的影像信号输入部702（也可以是利用盘装置等的存储影像信号的存储部）、存放有使CPU700执行在本发明的实施方式中说明的编码处理的软件程序即影像编码程序704的程序存储装置703、以及将CPU700执行载入存储器701的影像编码程序704而生成的编码流经由例如网络而输出的编码流输出部705（也可以是利用盘装置等的存储编码流的存储部）用总线来连接的结构。

[0110] 图12示出通过计算机和软件程序来构成影像解码装置时的硬件结构例。本系统是执行程序的CPU800、存放CPU800访问的程序或数据的RAM等的存储器801、输入影像编码装置利用本方法编码的编码流的编码流输入部802（也可以是利用盘装置等的存储编码流的存储部）、存放有使CPU800执行在本发明的实施方式中说明的解码处理的软件程序即影像解码程序804的程序存储装置803、以及将通过CPU800执行载入存储器801的影像解码程序804来对编码流进行解码而得到的解码影像输出至再现装置等的解码影像数据输出部805（也可以是利用盘装置等的存储解码影像数据的存储部）用总线来连接的结构。

[0111] 以上，参照附图对本发明的实施方式进行了说明，但上述实施方式不过是本发明的例示，显然本发明并不限定于上述实施方式。因此，也可以进行不脱离本发明的精神及技术的范围的范围内的结构要素的追加、省略、置换、其他的变更。

[0112] 产业上的可利用性本发明能够应用于例如使用插值滤波器的影像编码及影像解码。依据本发明，在现有的插值滤波器中未能考虑的、与插值处理所使用的抽头长度及其插值滤波器系数的位置相应的插值滤波器系数的自适应编码处理成为可能，能够达到由插值滤波器系数的编码量缩减导致的编码效率改善。

[0113] 附图标记说明100 影像编码装置
102、403 帧间预测处理部
300 插值滤波器系数编码处理部
301、601 抽头长度存储部
302、602 抽头长度读入部
303、603 系数位置设定部
304、604 系数位置判定部
305 熵编码参数设定部
306 产生编码量算出部
307 判定部
308 插值滤波器系数编码部
309、608 系数位置判定部
400 影像解码装置
600 插值滤波器系数解码处理部
605熵编码参数解码部
606 熵编码参数读入部
607 插值滤波器系数解码部。

标题	发布/更新时间	阅读量
一种视频解码中运动补偿的方法及装置	2020-05-08	71
一种光场焦点堆栈图像序列编、解码方法、装置及系统	2020-05-11	725
一种确定运动信息的方法、帧间预测方法及装置	2020-05-11	777
一种基于块编码特性的3D视频错误隐藏方法	2020-05-08	129
图像编码装置、图像编码方法、图像解码装置及图像解码方法	2020-05-12	247
一种编解码方法、装置及其设备	2020-05-08	841
视频编码和解码中的加权双向预测	2020-05-11	988
计算运动矢量预测值	2020-05-12	666
图像预测方法及装置	2020-05-08	439
不同视频块尺寸的仿射模式计算	2020-05-13	331

影像编码方法、装置、影像解码方法、装置及它们的程序

影像编码方法、装置、影像解码方法、装置及它们的程序

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：