图像处理设备和图像处理方法
阅读：1035发布：2020-05-28
专利汇可以提供图像处理设备和图像处理方法专利检索，专利查询，专利分析的服务。并且公开了 图像处理 设备和图像处理方法。设备包括：处理器；包括 计算机程序 代码的 存储器 ，存储器和计算机程序代码被配置为引起设备执行：设置第一量化矩阵和第二量化矩阵作为用于对第一图像的第一变换系数数据进行量化的量化矩阵；通过将第一量化矩阵复制到第二量化矩阵来设置第二量化矩阵；使用第二量化矩阵量化第一变换系数数据以生成第一被量化的变换系数数据；以及将第一被量化的变换系数数据编码成第一编码流；设置第三量化矩阵；从第二编码流解码第二被量化的变换系数数据；通过将第三量化矩阵复制到第四量化矩阵来设置第四量化矩阵；和使用第四量化矩阵对从第二编码流解码的第二被量化的变换系数数据进行逆量化以生成被逆量化的变换系数数据。，下面是图像处理设备和图像处理方法专利的具体信息内容。
1.一种图像处理设备，包括：
至少一个处理器；
包括计算机程序代码的至少一个存储器，存储器和计算机程序代码被配置为在与处理器一起工作的情况下引起所述设备执行至少如下步骤：
设置第一量化矩阵和第二量化矩阵作为用于对第一图像的第一变换系数数据进行量化的量化矩阵；
通过将所述第一量化矩阵复制到所述第二量化矩阵来设置所述第二量化矩阵；
使用所述第二量化矩阵量化第一变换系数数据以生成第一被量化的变换系数数据；以及
将第一被量化的变换系数数据编码成第一编码流；
设置第三量化矩阵；
从第二编码流解码第二被量化的变换系数数据；
通过将所述第三量化矩阵复制到第四量化矩阵来设置所述第四量化矩阵；以及使用所述第四量化矩阵对从第二编码流解码的第二被量化的变换系数数据进行逆量化以生成被逆量化的变换系数数据。
2.根据权利要求1所述的设备，其中所述第一量化矩阵对应于第一标识信息的值，并且所述第二量化矩阵对应于第二标识信息的值。
3.根据权利要求2所述的设备，其中在其中将所述第一量化矩阵复制到所述第二量化矩阵的情况下，存储器包括被配置为如下的计算机程序代码：在与处理器一起工作的情况下引起所述设备生成与第二标识信息的值不同的第一标识信息的值。
4.根据权利要求3所述的设备，其中存储器包括被配置为如下的计算机程序代码：在与处理器一起工作的情况下引起所述设备确定第一标识信息的值与第二标识信息的值不同，其中基于第一标识信息的值与第二标识信息的值不同的确定而通过复制所述第一量化矩阵来设置所述第二量化矩阵。
5.根据权利要求1所述的设备，其中存储器包括被配置为如下的计算机程序代码：在与处理器一起工作的情况下引起所述设备从第二编码流解码第三标识信息，第三标识信息识别是否将所述第三量化矩阵复制到所述第四量化矩阵。
6.根据权利要求5所述的设备，其中存储器包括被配置为如下的计算机程序代码：在与处理器一起工作的情况下引起所述设备确定第三标识信息识别到将所述第三量化矩阵复制到所述第四量化矩阵，其中基于第三标识信息识别到将所述第三量化矩阵复制到所述第四量化矩阵的确定而通过将所述第三量化矩阵复制到所述第四量化矩阵来设置所述第四量化矩阵。
7.根据权利要求1所述的设备，其中存储器包括被配置为如下的计算机程序代码：在与处理器一起工作的情况下引起所述设备将第二默认量化矩阵设置为所述第四量化矩阵。
8.根据权利要求1所述的设备，其中所述第一量化矩阵、所述第二量化矩阵、所述第三量化矩阵和所述第四量化矩阵是基于预测模式和颜色分量的组合而设置的。
9.根据权利要求8所述的设备，其中预测模式和颜色分量的组合包括如下的组合：
帧内预测和辉度分量(Y)，帧内预测和第一颜色差分量(Cb)，帧内预测和第二颜色差分量(Cr)，帧间预测和辉度分量(Y)，帧间预测和第一颜色差分量(Cb)，以及帧间预测和第二颜色差分量(Cr)。
10.根据权利要求1所述的设备，其中所述第一量化矩阵和所述第二量化矩阵是针对不同大小的第一变换系数数据生成的，并且所述第三量化矩阵和所述第四量化矩阵是针对不同大小的第二被量化的变换系数数据生成的。
11.根据权利要求1所述的设备，其中存储器包括被配置为如下的计算机程序代码：在与处理器一起工作的情况下引起所述设备执行：
用以生成第一变换系数数据的对图像数据的正交变换；以及
对被逆量化的变换系数数据的逆正交变换。
12.根据权利要求1所述的设备，其中存储器包括被配置为如下的计算机程序代码：在与处理器一起工作的情况下引起所述设备：
以从第一最大编码单位分出的第一编码单位对第一被量化的变换系数数据进行编码，以及以从第二最大编码单位分出的第二编码单位对第二编码流进行解码。
13.一种图像处理方法，包括：
设置第一量化矩阵和第二量化矩阵作为用于对第一图像的第一变换系数数据进行量化的量化矩阵；
通过将所述第一量化矩阵复制到所述第二量化矩阵来设置所述第二量化矩阵；
使用所述第二量化矩阵量化第一变换系数数据以生成第一被量化的变换系数数据；以及
将第一被量化的变换系数数据编码成第一编码流；
设置第三量化矩阵；
从第二编码流解码第二被量化的变换系数数据；
通过将所述第三量化矩阵复制到第四量化矩阵来设置所述第四量化矩阵；以及使用所述第四量化矩阵对从第二编码流解码的第二被量化的变换系数数据进行逆量化以生成被逆量化的变换系数数据。
14.根据权利要求13所述的方法，其中所述第一量化矩阵对应于第一标识信息的值，并且所述第二量化矩阵对应于第二标识信息的值。
15.根据权利要求13所述的方法，进一步包括在其中将所述第一量化矩阵复制到所述第二量化矩阵的情况下，生成与第二标识信息的值不同的第一标识信息的值。
16.根据权利要求15所述的方法，进一步包括确定第一标识信息的值与第二标识信息的值不同，其中基于第一标识信息的值与第二标识信息的值不同的确定而通过复制所述第一量化矩阵来设置所述第二量化矩阵。
17.根据权利要求13所述的方法，进一步包括从第二编码流解码第三标识信息，第三标识信息识别是否将所述第三量化矩阵复制到所述第四量化矩阵。
18.根据权利要求17所述的方法，进一步包括确定第三标识信息识别到将所述第三量化矩阵复制到所述第四量化矩阵，其中基于第三标识信息识别到将所述第三量化矩阵复制到所述第四量化矩阵的确定而通过将所述第三量化矩阵复制到所述第四量化矩阵来设置所述第四量化矩阵。
19.根据权利要求18所述的方法，进一步包括将第二默认量化矩阵设置为所述第四量化矩阵。
20.根据权利要求19所述的方法，其中所述第一量化矩阵、所述第二量化矩阵、所述第三量化矩阵和所述第四量化矩阵是基于预测模式和颜色分量的组合而设置的。
21.根据权利要求20所述的方法，其中预测模式和颜色分量的组合包括如下的组合：
帧内预测和辉度分量(Y)，帧内预测和第一颜色差分量(Cb)，帧内预测和第二颜色差分量(Cr)，帧间预测和辉度分量(Y)，帧间预测和第一颜色差分量(Cb)，以及帧间预测和第二颜色差分量(Cr)。
22.根据权利要求13所述的方法，其中所述第一量化矩阵和所述第二量化矩阵是针对不同大小的第一变换系数数据生成的，并且所述第三量化矩阵和所述第四量化矩阵是针对不同大小的第二被量化的变换系数数据生成的。
23.根据权利要求13所述的方法，进一步包括：
对图像数据执行正交变换以生成第一变换系数数据；以及
对被逆量化的变换系数数据执行逆正交变换。
24.根据权利要求13所述的方法，进一步包括：
以从第一最大编码单位分出的第一编码单位对第一被量化的变换系数数据进行编码，以从第二最大编码单位分出的第二编码单位对第二编码流进行解码。
25.一种存储有计算机程序的计算机可读介质，该程序在由处理器执行时，执行：
设置第一量化矩阵和第二量化矩阵作为用于对第一图像的第一变换系数数据进行量化的量化矩阵；
通过将所述第一量化矩阵复制到所述第二量化矩阵来设置所述第二量化矩阵；
使用所述第二量化矩阵量化第一变换系数数据以生成第一被量化的变换系数数据；以及
将第一被量化的变换系数数据编码成第一编码流；
设置第三量化矩阵；
从第二编码流解码第二被量化的变换系数数据；
通过将所述第三量化矩阵复制到第四量化矩阵来设置所述第四量化矩阵；以及使用所述第四量化矩阵对从第二编码流解码的第二被量化的变换系数数据进行逆量化以生成被逆量化的变换系数数据。
26.根据权利要求25所述的介质，其中所述第一量化矩阵对应于第一标识信息的值，并且所述第二量化矩阵对应于第二标识信息的值。
27.根据权利要求26所述的介质，进一步存储有如下的程序：该程序在其中将所述第一量化矩阵复制到所述第二量化矩阵的情况下由处理器执行时，生成与第二标识信息的值不同的第一标识信息的值。
28.根据权利要求27所述的介质，进一步存储有如下的程序：该程序在由处理器执行时，确定第一标识信息的值与第二标识信息的值不同，其中基于第一标识信息的值与第二标识信息的值不同的确定而通过复制所述第一量化矩阵来设置所述第二量化矩阵。
29.根据权利要求25所述的介质，进一步存储有如下的程序：该程序在由处理器执行时，从第二编码流解码第三标识信息，第三标识信息识别是否将所述第三量化矩阵复制到所述第四量化矩阵。
30.根据权利要求29所述的介质，进一步存储有如下的程序：该程序在由处理器执行时，确定第三标识信息识别到将所述第三量化矩阵复制到所述第四量化矩阵，其中基于第三标识信息识别到将所述第三量化矩阵复制到所述第四量化矩阵的确定而通过将所述第三量化矩阵复制到所述第四量化矩阵来设置所述第四量化矩阵。
31.根据权利要求25所述的介质，进一步存储有如下的程序：该程序在由处理器执行时，将第二默认量化矩阵设置为所述第四量化矩阵。
32.根据权利要求25所述的介质，其中所述第一量化矩阵、所述第二量化矩阵、所述第三量化矩阵和所述第四量化矩阵是基于预测模式和颜色分量的组合而设置的。
33.根据权利要求32所述的介质，其中预测模式和颜色分量的组合包括如下的组合：
帧内预测和辉度分量(Y)，帧内预测和第一颜色差分量(Cb)，帧内预测和第二颜色差分量(Cr)，帧间预测和辉度分量(Y)，帧间预测和第一颜色差分量(Cb)，以及帧间预测和第二颜色差分量(Cr)。
34.根据权利要求25所述的介质，其中所述第一量化矩阵和所述第二量化矩阵是针对不同大小的第一变换系数数据生成的，并且所述第三量化矩阵和所述第四量化矩阵是针对不同大小的第二被量化的变换系数数据生成的。
35.根据权利要求25所述的介质，进一步存储有如下的程序：该程序在由处理器执行时，执行：
用以生成第一变换系数数据的对图像数据的正交变换；以及
对被逆量化的变换系数数据的逆正交变换。
36.根据权利要求25所述的介质，进一步存储有如下的程序：该程序在由处理器执行时，执行：
以从第一最大编码单位分出的第一编码单位对第一被量化的变换系数数据进行编码；
以及
以从第二最大编码单位分出的第二编码单位对第二编码流进行解码。
图像处理设备和图像处理方法
技术领域
[0002] 本发明涉及图像处理设备和图像处理方法。
背景技术
[0003] 在H.264/AVC（一种用于图像编码方案的标准规格）中，当以高级规范（high profile）或更高级规范量化图像数据时，可以对正交变换系数的每个分量使用不同的量化步长。可基于以与正交变换的单位相同大小定义的量化矩阵（也称为缩放列表）和标准步长值设置正交变换系数的每个分量的量化步长（或量化尺度）。
[0004] 图38示出在H.264/AVC中预定义的四种类别的默认量化矩阵。矩阵SL1是用于帧内预测模式的默认4×4量化矩阵。矩阵SL2是用于帧间预测模式的默认4×4量化矩阵。矩阵SL3是用于帧内预测模式的默认8×8量化矩阵。矩阵SL4是用于帧间预测模式的默认8×8量化矩阵。用户还可以在序列参数集或图片参数集中定义与图38所示的默认矩阵不同的其自己的量化矩阵。注意，在未指定量化矩阵的情况中，可使用全部分量具有相等量化步长的扁平量化矩阵。
[0005] 在高效率视频编码（HEVC）中（其标准化被提升为下一代图像编码方案以作为H.264/AVC的继任），引入编码单位（CU）的概念，其对应于过去的宏块（参考下面的非专利文献1）。编码单位尺寸的范围在序列参数集中被指定为称为最大编码单位（LCU）和最小编码单位（SCU）的一对2的幂值。另外，使用SPLIT_FLAG在由LCU和SCU规定的范围中指定具体编码单位尺寸。
[0006] 在HEVC中，可以将一个编码单位分为一个或更多个正交变换的单位，或者换句话说，一个或多个变换单位（TU）。可以使用4×4、8×8、16×16和32×32中的任一个作为变换单元尺寸。从而，还可以对这些候选变换单位尺寸的每个指定量化矩阵。下面的非专利文献2提出对一个图片中的一个变换单元尺寸规定多个量化矩阵的候选，并从率失真（RD）优化的角度对每个块适应地选择量化矩阵。
[0007] 引用列表
[0008] 非专利文献
[0009] 非专利文献1： JCTVC-B205, "Test Model under Consideration", ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的视频编码联合组 (JCT-VC)第二次会议:瑞士，日内瓦, 2010年7月21-28日
[0010] 非专利文献2:VCEG-AD06, "Adaptive Quantization Matrix Selection on KTA Software", ITU - 电信标准化部门研究组16问题6视频编码专家组(VCEG)第30次会议:中国，杭州，2006年10月23-24日。
发明内容
[0011] 技术问题
[0012] 然而，根据视频中包括的每个图像的特征，适应于量化和逆量化的量化矩阵不同。为此，如果试图以优化量化矩阵编码其图像特征时时变化的视频，量化矩阵更新的频率将上升。在H.264/AVC中，以图片参数集（PPS）或序列参数集（SPS）定义量化矩阵。从而，如果量化矩阵更新的频率上升，那么由SPS或PPS占用的编码流的比例将增大。这意味着，由于增大的开销（overhead），编码效率将下降。对于HEVC，其中量化矩阵尺寸进一步增大，并且其中可以对每个图片定义若干不同的量化矩阵，存在这样的风险，即，该随着量化矩阵的更新的编码效率的下降可能变得更加显著。
[0013] 因此，需要提供一种机制，使得可以减轻随着量化矩阵的更新的编码效率的下降。
[0014] 解决问题的技术方案
[0015] 根据本发明的实施例，提供一种图像处理装置，包括：获取部，被配置为从编码流获取量化矩阵参数，该编码流是在不同于序列参数集和图片参数集的参数集中设置定义量化矩阵的所述量化矩阵参数的编码流；设置部，被配置为基于通过所述获取部获取的量化矩阵参数设置当逆量化从编码流解码的数据时使用的量化矩阵；以及逆量化部，被配置为使用通过所述设置部设置的量化矩阵逆量化从编码流解码的数据。
[0016] 图像处理装置可以典型地实现为用于解码图像的图像解码装置。
[0017] 根据本发明的实施例，提供一种图像处理方法，包括：从编码流获取量化矩阵参数，所述编码流是在不同于序列参数集和图片参数集的参数集中设置定义量化矩阵的所述量化矩阵参数的编码流；基于获取的量化矩阵参数设置当逆量化从编码流解码的数据时使用的量化矩阵；以及使用所设置的量化矩阵逆量化从所述编码流解码的数据。
[0018] 根据本发明的实施例，提供一种图像处理装置，包括：量化部，被配置为使用量化矩阵量化数据；设置部，被配置为设置量化矩阵参数，该量化矩阵参数定义在所述量化部量化所述数据时使用的量化矩阵；以及编码部，被配置为在不同于序列参数集和图片参数集的参数集中编码通过设置部设置的量化矩阵参数。
[0019] 图像处理装置可以典型地实现为用于编码图像的图像编码装置。
[0020] 根据本发明的实施例，提供一种图像处理方法，包括：使用量化矩阵量化数据；设置量化矩阵参数，该量化矩阵参数定义在量化所述数据时使用的量化矩阵；以及在不同于序列参数集和图片参数集的参数集中编码所设置的量化矩阵参数。
[0021] 发明的有益效果
[0023] 图1为示出根据实施例的图像编码装置的示例结构的框图；
[0024] 图2为示出图1所示的语法处理部的具体配置的实例的框图；
[0025] 图3为示出在实施例中的量化矩阵参数集中包括的示例参数的示例图；
[0026] 图4为示出在实施例中的片段头中包括的示例参数的说明图；
[0027] 图5为示出根据实施例的参数集插入处理的示例流程的流程图；
[0028] 图6为用于说明在根据实施例的技术与现有技术之间的流结构中的差异的说明图；
[0029] 图7为示出根据实施例的图像解码装置的示例结构的框图；
[0030] 图8为示出图7所示的语法处理部的具体配置的实例的框图；
[0031] 图9为示出根据实施例的量化矩阵生成处理的示例流程的流程图；
[0032] 图10为示出根据实施例的复制模式中的处理的具体流程的实例的流程图；
[0033] 图11为示出根据实施例的轴指定模式中的处理的具体流程的实例的流程图；
[0034] 图12为示出根据实施例的用于对片段设置量化矩阵的处理的示例流程的流程图；
[0035] 图13为示出表达量化矩阵参数集的语法的说明性伪码的第一实例的第一说明图；
[0036] 图14为示出表达量化矩阵参数集的语法的说明性伪码的第一实例的第二说明图；
[0037] 图15为示出表达量化矩阵参数集的语法的说明性伪码的第一实例的第三说明图；
[0038] 图16为示出表达量化矩阵参数集的语法的说明性伪码的第二实例的第一说明图；
[0039] 图17为示出表达量化矩阵参数集的语法的说明性伪码的第二实例的第二说明图；
[0040] 图18为示出表达量化矩阵参数集的语法的说明性伪码的第二实例的第三说明图；
[0041] 图19为示出表达量化矩阵参数集的语法的说明性伪码的第二实例的第四说明图；
[0042] 图20为示出表达量化矩阵参数集的语法的说明性伪码的第二实例的第五说明图；
[0043] 图21为示出为量化量化矩阵而定义的量化尺度设置区域的实例的说明图；
[0044] 图22为示出在以图21所示的各个量化尺度设置区域中设置的量化尺度的实例的说明图；
[0045] 图23为用于说明在LCEC中准备的11类VLC表的说明图；
[0046] 图24为示出根据使用APS的第一技术构造的编码流的实例的说明图；
[0047] 图25为示出根据使用APS的第一技术定义的APS语法的实例的说明图；
[0048] 图26为示出根据使用APS的第一技术定义的片段头语法的实例的说明图；
[0050] 图28为示出根据使用APS的第二技术构造的编码流的实例的说明图；
[0051] 图29为示出根据使用APS的第三技术构造的编码流的实例的说明图；
[0052] 图30为示出根据使用APS的第三技术定义的APS语法的实例的说明图；
[0053] 图31为示出根据使用APS的第三技术定义的片段头语法的实例的说明图；
[0054] 图32为列出用于若干典型编码工具的每个的参数特征的表；
[0055] 图33为用于说明根据使用APS的第三技术的示例修改构造的编码流的实例的说明图；
[0056] 图34是示出电视的示意配置的实例的框图；
[0057] 图35是示出移动电话的示意配置的实例的框图；
[0058] 图36是示出记录和回放装置的示意配置的实例的框图；
[0059] 图37是示出成像装置的示意配置的实例的框图；以及
[0060] 图38示出在H.264/AVC中预定义的默认量化矩阵的说明图。
具体实施方式
[0062] 另外，将以下面的顺序进行描述。
[0063] 1.根据实施例的图像编码装置的示例配置
[0064] 1-1.示例总体配置
[0065] 1-2.语法处理部的示例配置
[0066] 1-3.示例参数结构
[0067] 2.在根据实施例的编码期间的处理流程
[0068] 3.根据实施例的图像解码装置的示例配置
[0069] 3-1.示例总体配置
[0070] 3-2.语法处理部的示例配置
[0071] 4.在根据实施例的解码期间的处理流程
[0072] 4-1.生成量化矩阵
[0073] 4-2.对片段设置量化矩阵
[0074] 5.语法实例
[0075] 5-1.第一实例
[0076] 5-2.第二实例
[0077] 6.参数集的各种示例配置
[0078] 6-1.第一技术
[0079] 6-2.第一技术的示例修改
[0080] 6-3.第二技术
[0081] 6-4.第三技术
[0082] 6-5.第三技术的示例修改
[0083] 7.应用
[0084] 8.结论
[0085] <1.根据实施例的图像编码装置的示例配置>
[0086] 这部分描述根据实施例的图像编码装置的示例配置。
[0087] [1-1.示例总体配置]
[0088] 图1为示出根据实施例的图像编码装置的示例结构的框图。参考图1，图像编码装置10被配置有：模拟至数字（A/D）转换部11、记录缓存器12、语法处理部13、减法部14、正交变换部15、量化部16、无损编码部17、累积缓存器18、速率控制部19、逆量化部21、逆正交变换部22、加法部23、解块滤波器24、帧存储器25、选择器26、帧内预测部30、运动估计部40、以及模式选择部50。
[0090] 记录缓存器12记录在从A/D转换部11输入的图像数据的序列中包括的图像。在记录根据编码处理的图片组（GOP）结构的图像之后，记录缓存器12将记录的图像数据输出到语法处理部13。
[0091] 从记录缓存器12输出到语法处理部13的图像数据被映射到以所谓网络提取层（NAL）单元为单位的比特流。图像数据流包括一个或多个序列。序列中的先头图片称为即时解码刷新（IDR）图片。每个序列包括一个或多个图片，每个图片还包括一个或多个片段。在H.264/AVC和HEVC中，这些片段是视频编码和解码的基本单位。用于每个片段的数据被识别为视频编码层（VCL）NAL单元。
[0092] 语法处理部13顺序识别从记录缓存器12输入的图像数据流的NAL单元，并将存储头信息的非VCL NAL单元插入到流中。语法处理部13插入到流中的非VCL NAL单元包括序列参数集（SPS）和图片参数集（PPS）。另外，在该实施例中，语法处理部13在流中插入量化矩阵参数集（QMPS）、不同于SPS和PPS的非VCL NAL单元。语法处理部13还在片段的开始添加片段头（SH）。语法处理部13然后将包括VCL NAL单元和非VCL NAL单元的图像数据流输出到减法部14、帧内预测部30和运动估计部40。下面将进一步描述语法处理部13的具体配置。
[0093] 对减法部14提供从语法处理部13输出的图像数据和通过下述模式选择部50选择的预测图像数据。减法部14计算作为从语法处理部13输出的图像数据与从模式选择部50输入的预测图像数据之差的预测误差数据，并将计算的预测误差数据输出到正交变换部15。
[0094] 正交变换部15对从减法部13输入的预测误差数据执行正交变换。通过正交变换部15执行的正交变换可以为例如离散余弦变换（DCT）或Karhunen-Loeve变换。正交变换部15将通过正交变换处理获得的变换系数数据输出到量化部16。
[0095] 量化部16使用量化矩阵量化从正交变换部15输入的变换系数数据，并将量化的变换系数数据（下文称为量化数据）输出到无损编码部17和逆量化部21。基于来自的速率控制部19的速率控制信号控制量化数据的比特率。由量化部16使用的量化矩阵在量化矩阵参数集中定义，并可以对于每个片段在片段头中指定。在该情况中，在未指定量化矩阵的情况中，使用对于全部分量具有相等量化步长的扁平量化矩阵。
[0096] 无损编码部17通过在从量化部16输入的量化数据上执行无损编码处理生成编码流。通过无损编码部17进行的无损编码可以是例如可变长度编码或算术编码。另外，无损编码部17将从模式选择部50输入的关于帧内预测的信息或关于帧间预测的信息多路复用到编码流的头中。无损编码部17然后将这样生成的编码流输出到累积缓存器18。
[0097] 累积缓存器18使用诸如半导体存储器的存储介质临时缓存从无损编码部17输入的编码流。累积缓存器18然后以根据传输信道的带宽的速率将这样缓存的编码流输出到未示出的传输部（诸如与外围设备的通信接口或与连接接口）。
[0098] 速率控制部19监视累积缓存器18中的空闲空间。然后，速率控制部19根据累积缓存器18中的空闲空间生成速率控制信号，并将生成的速率控制信号输出到量化部16。例如，当在累积缓存器18中没有太多空闲空间时，速率控制部19生成用于降低量化数据的比特率的速率控制信号。另外，当在累积缓存器18中存在足够的空闲空间时，速率控制部19生成用于增大量化数据的比特率的速率控制信号。
[0099] 逆量化部21使用量化矩阵对从量化部16输入的量化数据执行逆量化处理。逆量化部21然后将通过逆量化处理获得的变换系数数据输出到逆正交变换部22。
[0100] 逆正交变换部22对从逆量化部21输入的变换系数数据执行逆正交变换处理，从而恢复预测误差数据。然后，逆正交变换部22将恢复的预测误差数据输出到加法部23。
[0101] 加法部23将从逆正交变换部22输入的恢复的预测误差数据与从模式选择部50输入的预测图像数据相加从而生成解码图像数据。然后，加法部23将这样生成的解码图像数据输出到解块滤波器24和帧存储器25。
[0102] 解块滤波器24施加滤波以减少在图像编码时生成的块效应（blocking artifact）。解块滤波器24通过对从加法部23输入的解码图像数据滤波而除去块效应，并将经过滤波的解码图像数据输出到帧存储器25。
[0103] 帧存储器25使用存储介质存储从加法部23输入的解码图像数据和从解块滤波器24输入的滤波之后的解码图像数据。
[0104] 选择器26从帧存储器25读取将用于帧内预测的未过滤的解码图像数据，并将所读取的解码图像数据提供到帧内预测部30作为参考图像数据。另外，选择器26从帧存储器25读取将用于帧间预测的经过滤的解码图像数据，并将所读取的解码图像数据提供到运动估计部40作为参考图像数据。
[0105] 帧内预测部30基于从语法处理部13输入的将被编码的图像数据和通过选择器26提供的解码图像数据，在每个帧内预测模式中执行帧内预测处理。例如，帧内预测部30使用预定成本函数评估每个帧内预测模式的预测结果。然后，帧内预测部30选择产生最小成本函数值的帧内预测模式，即，产生最高压缩比的帧内预测模式，作为最优帧内预测模式。另外，帧内预测部30将关于帧内预测的信息，诸如指示最优帧内预测模式、预测图像数据和成本函数值的预测模式信息，输出到模式选择部50。
[0106] 运动估计部40基于从语法处理部13输入的将被编码的图像数据和通过选择器26提供的解码图像数据执行帧间预测处理（在各帧之间的预测处理）。例如，运动估计部40使用预定成本函数评估每个预测模式的预测结果。然后，运动估计部40选择产生最小成本函数值的预测模式，即，产生最高压缩比的预测模式，作为最优预测模式。运动估计部40根据最优预测模式生成预测图像数据。运动估计部40将关于帧间预测的信息，诸如指示所述选择的最优帧间预测模式、预测图像数据和成本函数值的预测模式信息，输出到模式选择部50。
[0107] 模式选择部50把从帧内预测部30输入关于帧内预测的成本函数值与从运动估计部40输入的关于帧间预测的成本函数值进行比较。然后，模式选择部50在帧内预测与帧间预测之间选择具有较小成本函数值的预测方法。在选择帧内预测的情况中，模式选择部50将关于帧内预测的信息输出到无损编码部17，并且还将预测图像数据输出到减法部14和加法部23。另外，在选择帧间预测的情况中，模式选择部50将关于上述帧间预测的信息输出到无损编码部17，并且还将预测图像数据输出到减法部14和加法部23。
[0108] [1-2.语法处理部的示例配置]
[0109] 图2为示出图1所示的图像编码装置10的语法处理部13的具体配置的实例的框图。参考图2，语法处理部13包括设置部110、参数生成部120和插入部130。
[0110] （1）设置部
[0111] 设置部110保存用于通过图像编码装置10进行的编码处理的各个设置。例如，设置部110保存用于图像数据中的每个序列的概要、用于每个图片的编码模式、关于GOP结构的数据等。另外，在该实施例中，设置部110保存关于由量化部16（和逆量化部21）使用的量化矩阵的设置。量化部16应使用哪个量化矩阵的问题对于每个片段可以是预定的，通常基于离线图像分析。
[0112] 例如，在诸如数字视频相机的示例应用中，在输入图像中不存在压缩伪像，从而即使在高范围中，仍可使用具有减小量化步长的量化矩阵。量化矩阵以图片为单位或以帧为单位变化。在具有低复杂性的输入图像的情况中，使用具有较小量化步长的扁平量化矩阵使得可以改善用户主观感知的图像质量。另一方面，在具有高复杂性的输入图像的情况中，期望使用更大量化步长以抑制速率的增大。在该情况中，使用扁平量化矩阵具有将低范围信号中的伪像识别为块噪声的可能。为此，有利地是，通过使用其中量化步长从低范围增大到高范围的量化矩阵而减少噪声。
[0113] 在诸如再压缩以MPEG-2编码的广播内容的记录器的示例应用中，在输入图像自身中存在诸如蚊式噪声的MPEG-2压缩伪像。蚊式噪声是以较大量化步长量化高范围信号的结果生成的噪声，该噪声的频率分量自身变为极高频率。当再压缩这些输入图像时，期望地是，使用具有在高范围中的大量化步长的量化矩阵。另外，相比于逐行信号，在隔行信号中，由于隔行扫描的影响，在水平方向中的信号的相关性高于在垂直方向中的信号的相关性。为此，还有利地是，根据图像信号是逐行信号还是隔行信号使用不同的量化矩阵。在两种情况中，根据图像内容，最优量化矩阵可以以图片为单位或以帧为单位变化。
[0114] （2）参数生成部
[0115] 参数生成部120生成由设置部110保存的定义用于编码处理的设置的参数，并将生成的参数输出到插入部130。
[0116] 例如，在该实施例中，参数生成部120生成用于定义将由量化部16使用的量化矩阵的量化矩阵参数。通过参数生成部120生成的一组量化矩阵参数被包括在量化矩阵参数集（QMPS）中。每个QMPS被分配QMPS ID，该QMPS ID为用于将各个QMPS相互区分的标识符。通常，将多种量化矩阵定义到一个QMPS中。通过矩阵尺寸以及对应的预测方法和信号分量一起相互区分量化矩阵的种类。例如，可以在一个QMPS内对于尺寸4×4、8×8、16×16和32×32中的每个定义最多六种量化矩阵（帧内预测/帧间预测中的Y/Cb/Cr分量）。
[0117] 更具体是，参数生成部120可利用Z形扫描将每个量化矩阵转换为线性阵列（linear array），并与H.264/AVC中的量化矩阵编码处理类似地，以差分脉码调制（DPCM）格式对线性阵列中的每个元素的值进行编码。在该情况中，DPCM差分数据的线性阵列变为量化矩阵参数。在该说明中，将该用于生成量化矩阵参数的模式表示为全扫描模式。
[0118] 另外，参数生成部120还可以在不同于全扫描模式的模式生成量化矩阵参数，以减少量化矩阵参数的代码量。例如，代替全扫描模式，参数生成部120还可以在下述的复制模式或轴指定模式中生成量化矩阵参数。
[0119] 复制模式是可以在这样的情况中选择的模式，其中用于给定片段的量化矩阵近似于或等于已经定义的量化矩阵。在复制模式的情况中，参数生成部120包括QMPS的QMPS ID，其中在QMPS中定义复制源量化矩阵以及复制源量化矩阵的尺寸和类别作为量化矩阵参数。注意，在该说明书中，对预测方法与对应于给定量化矩阵的信号分量的组合指定该量化矩阵的类别。在其中在将定义的量化矩阵与复制源量化矩阵之间存在差异的情况中，参数生成部120还可以包括残差数据，用于生成表示QMPS中的每个分量的残差的残差矩阵。
[0120] 用于轴指定模式的处理还根据两种指定方法被进一步划分：差分法和内插法。通过差分法，参数生成部120仅指定量化矩阵中的对应于最左列的垂直轴、最上一行的水平轴、以及沿变换单元的对角线的对角轴的元素的值。通过内插法，参数生成部120仅指定量化矩阵中对应于位于变换单元的左上（DC分量）、右上、左下和右下四个角的的元素的值。剩余元素的值可通过诸如线性内插、三次内插或Lagrange内插的任意技术内插。同样，在轴指定模式中，在其中在将定义的量化矩阵与内插的量化矩阵之间存在差异的情况中，参数生成部120还可以包括残差数据，用于生成表示QMPS中的每个分量的残差的残差矩阵。
[0121] （3）插入部
[0122] 插入部130将诸如分别包括通过参数生成部120生成的参数组的SPS、PPS、QMPS的头信息和片段头插入到从记录缓存器12输入的图像数据的流中。如前文所述，QMPS是不同于SPS和PPS的非VCL NAL单元。QMPS包括通过参数生成部120生成的量化矩阵参数。插入部130然后将具有插入的头信息的图像数据流输出到减法部14、帧内预测部30和运动估计部
40。
40。
[0123] [1-3.示例参数结构]
[0124] （1）量化矩阵参数集
[0125] 图3为示出在该实施例中的每个QMPS中包括的示例参数的说明图。参考图3，每个QMPS包括“QMPS ID”、“生成模式存在标记”、“生成模式”、以及用于每个模式的不同量化矩阵参数。
[0126] “QMPS ID”为用于将各个QMPS相互区分的标识符。QMPS ID可以是在从0到31等范围中的整数。指定未使用的QMPS ID表示将定义新的QMPS。重新指定在序列中已经使用的QMPS ID表示要更新已经定义的QMPS。
[0127] “生成模式存在标记”为指示“生成模式”（其是表示量化矩阵生成处理的模式的分类）是否存在于QMPS中的标记。在生成模式存在标记指示“0：不存在”的情况中，在QMPS中以全扫描模式定义量化矩阵。同时，在生成模式存在标记指示“1：存在”的情况中，在QMPS中存在“生成模式”。
[0128] “生成模式”是可以取例如“0：复制”、“1：轴指定”或“2：全扫描”中的任意值的分类。在下文的语法伪码中，通过称为“pred_mode”的变量表示生成模式。
[0129] 在复制模式（即，pred_mode=0）的情况中，QMPS可包括“源ID”、“复制源尺寸”、“复制源类别”、“残差标记”以及“残差数据”作为量化矩阵参数。“源ID”为指定其中定义复制源量化矩阵的QMPS的QMPS ID。“复制源尺寸”为复制源量化矩阵的尺寸。“复制源类别”为复制源量化矩阵的类别（帧内-Y、帧内-Cb、...、帧内-Cr）。“残差标记”为指示是否存在残差的标记。“残差数据”是用于在存在残差的情况中生成表示残差的残差矩阵的数据。在残差标记指示“0：不存在”的情况中可以省略残差数据。
[0130] 注意，可以将其中给定QMPS的源ID等于QMPS自身的QMPS ID的情况解释为指定由图38中的实例示出的默认量化矩阵等。通过这样，由于在QMPS中不再需要包括用于指定默认量化矩阵的独立标记，可以减少QMPS的代码量。
[0131] 在轴指定模式（即，pred_mode=1）的情况中，QMPS可包括“指定方法标记”、以及“参考轴数据”或“角数据”、“残差标记”以及“残差数据”作为量化矩阵参数。指定方法标记为这样的标记，其指示如何沿参考轴指定用作用于生成量化矩阵的参考的元素的值，并且该标记可以取例如“0：差分”或“1：内插”的值。在指定方法为“0：差分”的情况中，通过参考轴数据指定对应于量化矩阵的参考轴（这些为垂直轴、水平轴和对角线轴）的元素值。在指定方法为“1：内插”的情况中，由角数据指定对应于位于量化矩阵的左上、右上、左下和右下的四个角的元素的值。可通过从这四个角的值内插生成在三个参考轴上的元素的值。残差标记和残差数据与复制模式的情况相似。
[0132] 在全扫描模式的情况中（即，pred_mode=2），QMPS可包括DPCM差分数据的线性阵列作为量化矩阵参数。
[0133] 注意，每个QMPS可包括对于每类量化矩阵不同的生成模式和对应于每种模式的量化矩阵参数。换句话说，作为实例，在单个QMPS中，可以以全扫描模式定义给定类别的量化矩阵，可以以轴指定模式定义另一类量化矩阵，以及可以以复制模式定义剩余的量化矩阵。
[0134] （2）片段头
[0135] 图4为部分地示出在该实施例中的每个片段头中包括的示例参数的说明图。参考图4，每个片段头可包括“片段类别”、“PPS ID”、“QMPS ID存在标记”、以及“QMPS ID”。“片段类别”是指示片段的编码类别的分类，并且取对应于P片段、B片段或I片段等的值。“PPS ID”是对所述片段引用的图片参数集（PPS）的ID。“QMPS ID存在标记”是指示在片段头中是否存在QMPS ID的标记。“QMPS ID”是对所述片段引用的量化矩阵参数集（QMPS）的QMPS ID。
[0136] <2.在根据实施例的编码期间的处理流程>
[0137] （1）参数集插入处理
[0138] 图5为示出根据本实施例的通过语法处理部13的插入部130的参数集插入处理的示例流程的流程图。
[0139] 参考图5，插入部130首先连续获取在从记录缓存器12输入的图像数据流中的NAL 单元，并识别单个图片（步骤S100）。接着，插入部130确定识别的图片是否是序列的先头图片（步骤S102）。在这里，在识别图片是序列的先头图片的情况中，插入部130将SPS插入到流中（步骤S104）。下一步，插入部130还确定是否存在用于识别的图片的PPS中的变化（步骤S106）。在这里，在PPS中存在变化的情况中、或者在识别图片是序列的先头图片的情况中，插入部130将PPS插入到流中（步骤S108）。下一步，插入部130还确定在QMPS中是否存在变化（步骤S110）。在这里，在QMPS中存在变化的情况中、或者在识别图片是序列的先头图片的情况中，插入部130将QMPS插入到流中（步骤S112）。之后，插入部130在检测到流的结束的情况中结束该处理。另一方面，在流未结束的情况中，插入部130对下一个图片重复上述处理（步骤S114）。
[0140] 注意，尽管该流程图为了简化仅示出了对SPS、PPS、QMPS的插入，插入部130还可以在流中插入其它头信息，诸如补充增强信息（SEI）和片段头。
[0141] （2）对流结构的描述
[0142] 图6为用于说明在根据该实施例的技术与现有技术之间的流结构中的差异的说明图。
[0143] 图6的左侧示出流ST1作为根据现有技术生成的实例。由于流ST1的开始是序列的开始，在流ST1的开始插入第一SPS（1）和第一PPS（1）。可以在SPS（1）和PPS（1）中可以定义一个或多个量化矩阵。然后，假设在若干后续片段头和片段数据之后变得需要更新量化矩阵。从而，将第二PPS（2）插入到流ST1中。PPS（2）还包括除量化矩阵参数之外的参数。然后，假设在若干后续片段头和片段数据之后变得需要更新PPS。从而，将第三PPS（3）插入到流ST1中。
PPS（3）也包括量化矩阵参数。利用在由片段头中的PPS ID指定的PPS中定义的量化矩阵进行用于随后片段的量化处理（和逆量化处理）。
PPS（3）也包括量化矩阵参数。利用在由片段头中的PPS ID指定的PPS中定义的量化矩阵进行用于随后片段的量化处理（和逆量化处理）。
[0144] 图6的右侧示出流ST2作为根据该实施例的上述技术生成的实例。由于流ST2的开始是序列的开始，在流ST2的开始插入第一SPS（1）、第一PPS（1）和第一QMPS（1）。在流ST2中，可以在QMPS（1）中定义一个或多个量化矩阵。流ST2中的PPS（1）和QMPS（1）的长度之和近似等于流ST1中的PPS（1）的长度。接着，如果在若干后续片段头和片段数据之后变得需要更新量化矩阵，将第二QMPS（2）插入到流ST2中。由于QMPS（2）不包含除量化矩阵参数之外的参数，QMPS（2）的长度短于流ST1中的PPS（2）的长度。接着，如果在若干后续片段头和片段数据之后变得需要更新PPS，将第二PPS（2）插入到流ST2中。由于流ST2中的PPS（2）不包含量化矩阵参数，流ST2中的PPS（2）的长度短于流ST1中的PPS（3）的长度。利用在由片段头中的QMPS ID指定的QMPS中定义的量化矩阵进行用于随后片段的量化处理（和逆量化处理）。
[0145] 图6中对流ST1和ST2的比较示出，通过在本发明实施例中所述的技术可以减少流总体的代码量。特别是，在具有较大尺寸的量化矩阵的情况中，或者在其中对每个图片定义更多量化矩阵的情况中，通过上述技术能更有效地减少代码量。
[0146] <3.根据实施例的图像解码装置的示例配置>
[0147] [3-1.示例总体配置]
[0148] 这部分描述根据实施例的图像解码装置的示例配置。
[0149] [3-1.示例总体配置]
[0150] 图7为示出根据实施例的图像解码装置60的示例结构的框图。参考图7，图像解码装置60被配置有：语法处理部61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、解块滤波器66、记录缓存器67、数字至模拟（D/A）转换部68、帧存储器69、选择器70和71、帧内预测部80、以及运动补偿部90。
[0151] 语法处理部61从经传输信道输入的编码流获取诸如SPS、PPS、QMPS和片段头的头信息，并基于获取的头信息识别用于由图像解码装置60进行解码处理的各个设置。例如，在该实施例中，语法处理部61基于QMPS中包括的量化矩阵参数设置将在逆量化部63的逆量化处理期间使用的量化矩阵。后面将进一步描述语法处理部61的具体配置。
[0152] 无损解码部62根据在编码时使用的编码方法对从语法处理部61输入的编码流进行解码。无损解码部62然后将解码的量化数据输出到逆量化部63。另外，无损解码部62将在头信息中包括的关于帧内预测的信息输出到帧内预测部80，并将关于帧间预测的信息输出到运动补偿部90。
[0153] 逆量化部63使用通过语法处理部61设置的量化矩阵以逆量化通过无损解码部62解码的量化数据（即，量化的变换系数数据）。可以根据在片段头中指定的QMPS ID、每个块（变换单元）的尺寸、用于每个块的预测方法和信号分量确定对于给定片段中的每个块应使用哪个量化矩阵的问题。
[0154] 逆正交变换部64通过根据在编码时使用的正交变换方法对从逆量化部63输入的变换系数数据执行逆正交变换而生成预测误差数据。然后，逆正交变换部64将生成的预测误差数据输出到加法部65。
[0155] 加法部65将从逆正交变换部64输入的预测误差数据与从选择器71输入的预测图像数据相加从而生成解码图像数据。然后，加法部65将所生成的解码图像数据输出到解块滤波器66和帧存储器69。
[0156] 解块滤波器66通过对从加法部65输入的解码图像数据滤波而除去块效应，并将经过滤波的解码图像数据输出到记录缓存器67和帧存储器69。
[0157] 记录缓存器67通过记录从解块滤波器66输入的图像生成图像数据的时序序列。然后，记录缓存器67将生成的图像数据输出到D/A转换部68。
[0158] D/A转换部68将从记录缓存器67输入的数字格式的图像数据转换为模拟格式的图像信号。然后，D/A转换部68通过将模拟图像信号输出到例如连接到图像解码装置60的显示器（未示出）而使得图像被显示。
[0159] 帧存储器69使用存储介质存储从加法部65输入的未滤波的解码图像数据和从解块滤波器66输入的经滤波的解码图像数据。
[0160] 选择器70根据通过无损解码部62获取的模式信息对图像中的每个块在帧内预测部80与运动补偿部90之间切换来自帧存储器69的图像数据的输出目的地。例如，在其中指定帧内预测模式的情况中，选择器70将从帧存储器69提供的未滤波的解码图像数据输出到帧内预测部80作为参考图像数据。另外，在其中指定帧间预测模式的情况中，选择器70将从帧存储器69提供的滤波的解码图像数据输出到运动补偿部90作为参考图像数据。
[0161] 选择器71根据通过无损解码部62获取的模式信息对图像中的每个块在帧内预测部80与运动补偿部90之间切换将提供给加法部65的预测图像数据的输出源。例如，在其中指定帧内预测模式的情况中，选择器71把从帧内预测部80输出的预测图像数据提供给加法部65。在其中指定帧间预测模式的情况中，选择器71把从运动补偿部90输出的预测图像数据提供给加法部65。
[0162] 帧内预测部80基于从无损解码部62输入的关于帧内预测的信息和来自帧存储器69的参考图像数据执行对像素值的图片内预测，并生成预测图像数据。然后，帧内预测部80将所生成的预测图像数据输出给选择器71。
[0163] 运动补偿部90基于从无损解码部62输入的关于帧间预测的信息和来自帧存储器69的参考图像数据执行运动补偿处理，并生成预测图像数据。然后，运动补偿部90将所生成的预测图像数据输出给选择器71。
[0164] [3-2.语法处理部的示例配置]
[0165] 图8为示出图7所示的图像解码装置60的语法处理部61的具体配置的实例的框图。参考图8，语法处理部61包括参数获取部160和设置部170。
[0166] （1）参数获取部
[0167] 参数获取部160从图像数据流识别诸如SPS、PPS、QMPS和片段头的头信息，并获取头信息中包括的参数。例如，在该实施例中，参数获取部160从QMPS获取定义量化矩阵的量化矩阵参数。如前文所述，QMPS是不同于SPS和PPS的非VCL NAL单元。参数获取部160然后将获取的参数输出到设置部170。参数获取部160还将图像数据流输出到无损解码部62。
[0168] （2）设置部
[0169] 设置部170基于通过参数获取部160获取的参数应用用于图7所示的每个部中的处理的设置。例如，设置部170从LCU和SCU值对识别编码单位尺寸的范围，同时还根据split_flag的值设置编码单位尺寸。通过把这里的编码单位作为处理单位进行图像数据的解码。另外，设置部170还设置变换单位尺寸。通过把这里的变换单位设置作为处理单位，进行上述通过逆量化部63的逆量化和通过逆正交变换部64的逆正交变换。
[0170] 另外，在该实施例中，设置部170基于通过参数获取部160从QMPS获取的量化矩阵参数设置量化矩阵。更具体是，基于QMPS中包括的量化参数，设置部170生成分别在全扫描模式、复制模式和轴指定模式中尺寸和类别彼此不同的多个量化矩阵。可以在每次在图像数据流中检测到QMPS时进行量化矩阵的生成。
[0171] 例如，在全扫描模式中，设置部170按照DPCM格式解码在量化矩阵参数中包括的差分数据的线性阵列。设置部170然后根据Z形扫描的扫描图案将解码的线性阵列转换为二维量化矩阵。
[0172] 另外，在复制模式中，设置部170复制通过在量化矩阵参数中包括的源ID、复制源尺寸和复制源类型指定的（在前生成的）量化矩阵。这里，在新的量化矩阵的尺寸小于复制源量化矩阵的尺寸的情况中，设置部170通过减少复制量化矩阵中的元素生成新的量化矩阵。另外，在新的量化矩阵的尺寸大于复制源量化矩阵的尺寸的情况中，设置部170通过内插复制量化矩阵中的元素生成新的量化矩阵。然后，在存在残差分量的情况中，设置部170将残差分量加到新的量化矩阵。
[0173] 另外，在给定QMPS中的量化矩阵参数中包括的源ID等于该QMPS的QMPS ID的情况中，设置部170将新的量化矩阵看作默认量化矩阵。
[0174] 另外，在轴指定模式中，设置部170识别在量化矩阵参数中包括的指定方法标记。然后，在差分方法的情况中，设置部170基于在量化矩阵参数中包括的参考轴数据生成对应于垂直轴、水平轴和对角线轴的量化矩阵的元素的值，并通过内插生成其它元素的值。另外，在内插方法的情况中，设置部170基于在量化矩阵参数中包括的角数据生成对应于四个角的量化矩阵的元素的值，并在通过内插生成沿参考轴的元素的值之后，还通过内插生成剩余元素的值。然后，在存在残差分量的情况中，设置部170将残差分量加到新的量化矩阵。
[0175] 之后，当在片段头中指定QMPS ID时，设置部170将对于通过指定的QMPS ID标识的QMPS生成的量化矩阵设置为将由逆量化部63使用的量化矩阵。
[0176] <4.在根据实施例的解码期间的处理流程>
[0177] [4-1.生成量化矩阵]
[0178] （1）量化矩阵生成处理
[0179] 图9为示出根据本实施例的通过语法处理部61的量化矩阵生成处理的示例流程的流程图。图9中的量化矩阵生成处理是可以每当在图像数据流中检测到QMPS时进行的处理。
[0180] 参考图9，参数获取部160首先从QMPS获取QMPS ID（步骤S200）。如果此时获取的QMPS ID是流中的未使用的ID，则设置部170根据下述的处理生成将与该QMPS ID相关联的新的量化矩阵。另一方面，如果QMPS ID是已经使用的ID，设置部170将与该QMPS ID关联存储的量化矩阵更新为根据下述的处理生成的矩阵。然后，参数获取部160从QMPS获取生成模式存在标记（步骤S202）。
[0181] 随后的从步骤S206到步骤S240的处理对于每种量化矩阵重复（步骤S204）。注意，量化矩阵的类别对应于量化矩阵的尺寸和类型（即，预测方法和信号分量）的组合。
[0182] 在步骤S206中，设置部170根据生成模式存在标记确定在QMPS中是否存在生成模式（的类别）（步骤S206）。在此时不存在生成模式的情况中，设置部170类似于H.264/AVC中的量化矩阵解码处理地以全扫描方法生成量化矩阵（步骤S208）。另一方面，在存在生成模式的情况中，参数获取部160从QMPS获取生成模式（步骤S210）。设置部170然后根据生成模式进行不同的处理（步骤S212、S214）。
[0183] 例如，在指示复制模式的情况中，设置部170以图10所例示的复制模式进行处理（步骤S220）。另外，在指示轴指定模式的情况中，设置部170以图11所例示的轴指定模式进行处理（步骤S240）。另外，在指示全扫描模式的情况中，设置部170类似于H.264/AVC中的量化矩阵解码处理地以全扫描方法生成量化矩阵（步骤S208）。
[0184] 然后，当生成用于全部类别的量化矩阵的量化矩阵时，如图9所示的量化矩阵生成处理结束。
[0185] （2）复制模式中的处理
[0186] 图10为示出在图9的步骤S220中的复制模式中的处理的具体流程的实例的流程图。
[0187] 参考图10，首先，参数获取部160从QMPS获取源ID（步骤S221）。接着，设置部170确定在图9的步骤S200中获取的QMPS ID（当前QMPS的QMPS ID）与源ID是否相等。此时，在当前QMPS的QMPS ID与源ID相等的情况中，设置部170生成新的量化矩阵作为默认量化矩阵（步骤S223）。另一方面，在其中当前QMPS的QMPS ID与源ID不相等的情况中，处理前进到步骤S224。
[0188] 在步骤S224，参数获取部160从QMPS获取复制源尺寸和复制源类型（步骤S224）。然后，设置部170复制通过源ID、复制源尺寸和复制源类型指定的量化矩阵（步骤S225）。然后，设置部170比较复制源尺寸与将要生成的量化矩阵的尺寸（步骤S226）。这里，在其中复制源尺寸与将生成的量化矩阵的尺寸不相等的情况中，设置部170通过根据尺寸差内插或减少复制量化矩阵中的元素而生成新的量化矩阵（步骤S227）。
[0189] 另外，参数获取部160从QMPS获取残差标记（步骤S228）。接着，设置部170根据残差标记的值确定是否存在残差数据（步骤S229）。这里，在存在残差数据的情况中，设置部170将残差增加到在步骤S223或步骤S225到S227中生成的新的量化矩阵（步骤S230）。
[0190] （3）轴指定模式中的处理
[0191] 图11为示出在图9的步骤S240中的轴指定模式中的处理的具体流程的实例的流程图。
[0192] 参考图11，首先，参数获取部160从QMPS获取指定方法标记（步骤S241）。然后，设置部170根据指定方法标记的值确定指定方法（步骤S242）。这里，在其中指定差分方法的情况中，处理前进到步骤S243。另一方面，在其中指定内插方法的情况中，处理前进到步骤S246。
[0193] 在差分方法的情况中，设置部170基于在量化矩阵参数中包括的参考轴数据生成对应于垂直轴、水平轴和对角线轴的量化矩阵的元素的值（步骤S243、S244和S245）。同时，在内插方法的情况中，设置部170基于在量化矩阵参数中包括的角数据生成对应于四个角的量化矩阵的元素的值（步骤S246）。接着，设置部170通过内插生成沿连接四个角的参考轴（垂直轴、水平轴和对角线轴）的元素的值（步骤S247）。然后，设置部170基于沿参考轴的元素的值内插剩余元素的值（步骤S248）。
[0194] 另外，参数获取部160从QMPS获取残差标记（步骤S249）。接着，设置部170根据残差标记的值确定是否存在残差数据（步骤S250）。这里，在存在残差数据的情况中，设置部170将残差加到在步骤S248中生成的新的量化矩阵（步骤S251）。
[0195] [4-2.对片段设置量化矩阵]
[0196] 图12为示出根据本实施例的通过语法处理部61对片段设置量化矩阵的处理的示例流程的流程图。图12中的处理可以每当在图像数据流中检测到片段头时进行。
[0197] 首先，参数获取部160从片段头获取QMPS ID存在标记（步骤S261）。接着，参数获取部160根据QMPS ID存在标记的值确定在片段头中是否存在QMPS ID（步骤S262）。这里，在存在QMPS ID的情况中，参数获取部160还从QMPS获取QMPS ID（步骤S263）。设置部170然后对于该片段头之后的片段设置对于通过获取的QMPS ID识别的QMPS生成的量化矩阵（步骤S264）。另一方面，在其中在片段头中不存在QMPS ID的情况中，设置部170对该片段头之后的片段设置扁平量化矩阵（步骤S265）。
[0198] <5.语法实例>
[0199] [5-1.第一实例]
[0200] 图13到15示出根据本实施例的表达QMPS的语法的说明性伪码的第一实例。在伪码的左边缘给出行号。另外，伪码中的下划线变量表示在QMPS内指定对应于该变量的参数。
[0201] 图13中行1上的函数QuantizationMatrixParameterset（）是表达单个QMPS的语法的函数。在行2和行3上，指定QMPS ID（quantization_matrix_paramter_id）和生成模式存在标记（pred_present_flag）。随后从行6到行56的语法对于每个尺寸和类型的量化矩阵循环。在其中存在生成模式的情况中（pred_present_flag =1），在QMPS中插入循环中从行7到行53的语法。
[0202] 在其中存在生成模式的情况中的从行9到行16的语法是用于复制模式的语法。从行9到行16，指定源ID、复制源尺寸和复制源类型。行12的函数pred_matrix（）表示将复制由源ID、复制源尺寸和复制源类型指定的量化矩阵。在行13上，指定残差标记。在行15上的函数residual_matrix（）表示在其中存在残差分量的情况中在QMPS中指定残差数据。
[0203] 从行18到行50的语法是用于轴指定模式的语法，并在图14中描述。在行18上，规定指定方法标记。在其中指定方法是差分（DPCM）方法的情况中，从行21到行25指定沿垂直轴的元素的值，从行26到行34指定沿水平轴的元素的值，以及从行35到行40指定沿对角线轴的元素的值。在该情况中的参考轴数据为DPCM差分数据的线性阵列。注意，在其中可以复制沿水平轴的元素的值的情况中，可以省略用于沿水平轴的元素的语法（行27，行28）。在其中指定方法是内插方法的情况中，从行42到行45分别指定左上（DC分量）、右上、左下和右下元素的值作为角数据。
[0204] 行52上的处理是用于全扫描模式的语法。行55上的处理是用于其中不存在生成模式的情况中的语法。在两种情况中，通过表示H.264/AVC中的量化矩阵语法的函数qmatrix（）以全扫描方法指定量化矩阵。
[0205] 图15中行1上的函数residual_matrix（）是用于指定在图13中的行15和图14中的行49上使用的残差数据的函数。在图15中的实例中，通过DPCM方法或行程长度（run-length）方法指定残差数据。在DPCM方法的情况中，从行4到行8对线性阵列中的每个元素指定与最后元素的差值（delta_coef）。在行程长度方法的情况中，从行11到行18重复指定其中值连续为零（行程）的部分中的元素组的长度和非零元素的值（数据）。
[0206] [5-2.第二实例]
[0207] 图16到20示出根据本实施例的表达QMPS的语法的说明性伪码的第二实例。
[0208] 图16中行1上的函数QuantizationMatrix parameterSet（）是表达单个QMPS的语法的函数。在行2上，指定QMPS ID（quantization_matrix_paramter_id）。另外，除了在其中仅指定默认量化矩阵的情况中，在行6指定生成模式存在标记（pred_present_flag）。
[0209] 另外，在第二实例中，在函数QuantizationMatrixParameterSet（）中从行7到行10指定四种量化尺度（Qscale0到Qscale3）。这些量化尺度是可被采用以量化量化矩阵中的每个元素的值并进一步降低速率的参数。更具体是，在例如8×8量化矩阵中定义如同图21中所示的四个量化尺度设置区域A1到A4。量化尺度设置区域A1是用于对应于低范围信号（包括DC分量）的元素组的区域。量化尺度设置区域A2和A3是用于对应于中等范围中的各个信号的元素组的区域。量化尺度设置区域A4是用于对应于高范围信号的元素组的区域。可以对这些区域的每个设置用于量化量化矩阵中的元素的值的量化尺度。例如，参考图22，对于量化尺度设置区域A1，第一量化尺度（Qscale0）是“1”。这表示，在对应于低范围信号的元素组中未量化量化矩阵中的值。同时，对于量化尺度设置区域A2，第二量化尺度（Qscale1）为“2”。对于量化尺度设置区域A3，第三量化尺度（Qscale2）为“3”。对于量化尺度设置区域A4，第四量化尺度（Qscale3）为“4”。随着量化尺度变得更大，通过量化生成的误差增大。然而，通常，一定程度的误差对于高范围信号是容许的。从而，在期望获得高编码效率的情况中，通过设置这样的用于量化量化矩阵的量化尺度可以有效地减少用于定义量化矩阵所需的代码量，而不会大幅降低图像质量。在其中量化矩阵被量化的情况中，通过在每个元素所属的量化尺度设置区域中设置的量化步骤，可以基本量化或逆量化图3中实例所示的残差数据或差分数据中的每个元素的值。
[0210] 注意，图21所示的量化尺度设置区域的布局仅仅是一个实例。例如，还可以对量化矩阵的每个尺寸定义不同数目的量化尺度设置区域（例如，可以对较大尺寸定义更多的量化尺度设置区域）。另外，量化尺度设置区域的边界的位置不限于图21所示的实例。通常，在线性化量化矩阵时的扫描图案是Z形扫描。为此，优选使用从右上方到左下方的对角线区域边界，如图21所示。然而，根据诸如在量化矩阵中的元素间相关性和使用的扫描图案的因素，还可以使用沿垂直方向或水平方向的区域边界。另外，还可以从编码效率的角度适应地选择量化尺度设置区域的布局（区域数、边界位置等）。例如，在定义近似扁平的量化矩阵的情况中，还可以选择更小数目的量化尺度设置区域。
[0211] 在图16中，后续的从行13到行76的语法对于每个尺寸和类型的量化矩阵循环。在其中存在生成模式的情况中（pred_present_flag=1），在QMPS中插入循环中从行14到行66（参考图18）的语法。
[0212] 在其中存在生成模式的情况中的从行16到行22的语法是用于复制模式的语法。从行16到行18，指定源ID、复制源尺寸和复制源类型。在行19上，指定残差标记。在行21上的函数residual_matrix（）表示在其中存在残差分量的情况中在QMPS中指定残差数据。可根据上述四种量化尺度（Qscale0到Qscale3）的值量化这里的残差数据。从行23到行56的语法是用于轴指定模式的语法，并在图17中描述。可同样根据上述四种量化尺度（Qscale0到Qscale3）的值量化轴指定模式中的残差数据（行55）。
[0213] 图18中的行57到行66的语法是用于全扫描模式的语法。另外，从行68到行75的语法是用于其中不存在生成模式的情况中的语法。在两种情况中，通过函数qmatrix（）以全扫描方法指定量化矩阵。然而，在第二实例中，为了进一步提高编码效率，适应地切换用于DPCM方法中的熵编码差分数据（delta_coef）或行程长度方法中的行程值（run）和非零元素值（data）的VLC表。行61和行71上的vlc_table_data指定对于DPCM方法中的差分数据（delta_coef）或行程长度方法中的非零元素值（data）选择的VLC表的表数目。行63和行73上的vlc_table_run指定对于行程长度方法中的行程值（run）选择的VLC表的表数目。
[0214] 图19的行1上的函数qmatrix()是用于以全扫描方法指定量化矩阵的语法。图19中的行3到行8指示用于DPCM方法的语法，并且利用通过上述vlc_table_data指定的VLC表编码行5上的差分数据（delta_coef）。另外，行10到行21指示用于行程长度方法的语法，并且利用通过上述vlc_table_run指定的VLC表编码行12上的行程值（run）。利用通过上述vlc_tabla_data指定的VLC表编码行13上的非零元素值（data）。
[0215] 图23示出在低复杂度熵编码（LCEC）方法中可以选择的11种可变长度编码（VLC）表的代码字列表。图23中每个代码字中的“x”为给定后缀。例如，如果值“15”以指数哥伦布代码编码，获得9位代码字“000010000”，而如果以VLC4编码该值，获得5位代码字“11111”。通过这样，在编码许多较大值的情况中，通过选择在短代码字中具有较多位数的后缀的VLC表，可以提高编码效率。在图23的11种VLC表中，例如VLC4在5比特代码字中具有4位后缀。另外，VLC9在6比特代码字中具有4位后缀。从而，这些VLC表适于编码许多较大值的情况。
[0216] 返回到量化矩阵语法，由于量化矩阵的线性阵列的差分数据具有多个连续零，行程长度方法中的行程值产生多个较大的值，而不是诸如0、1或2的小值。另一方面，行程长度方法中的非零元素值和差分数据值仅不频繁地形成大值。从而，通过利用上述语法切换用于每个差分数据指定方法的VLC表（DPCM/行程长度）和类别值（在行程长度方法的情况中为行程/非零元素），大大减少了限定量化矩阵所需的代码量。
[0217] 图20的行1上的函数residual_matrix（）还实现了对VLC表的适应切换。换句话说，行7上的vlc_table_data指定对于DPCM方法中的差分数据（delta_coef）选择的VLC表的表编号。行10上的差分数据（delta_coef）利用在行7指定的VLC表进行编码。行15上的vlc_table_data指定对于行程长度方法中的非零元素值（data）选择的VLC表的表编号。行16上的vlc_table_run指定对于行程长度方法中的行程值（run）选择的VLC表的表编号。利用通过上述vlc_table_run指定的VLC表编码行19上的行程值（run）。利用通过上述vlc_table_data指定的VLC表编码行20上的非零元素值（data）。
[0218] 根据诸如QMPS语法的各种特征，有效地减少了用于定义量化矩阵所需的代码量，并且可以提高编码效率。然而，在这里描述的语法仅仅为一个实例。换句话说，可以减少或省略这里示例示出的语法的一部分，可以改变参数的顺序，或者可以将其它参数增加到语法中。另外，当在SPS或PPS而不是QMPS中定义量化矩阵时，也可以实现在这部分描述的语法的若干特征。在该情况中，可以减少用于在SPS或PPS中定义量化矩阵所需的代码量。
[0219] <6.参数集的各种示例配置>
[0220] 上文描述了用于存储量化矩阵参数的量化矩阵参数集（QMPS）的语法的几个具体实例。QMPS基本可以为仅包含量化矩阵参数的专用参数集，但是还可以是还包括与除量化矩阵之外的编码工具相关的其它参数的共用参数集。例如， "适应参数集（APS）"（JCTVC-F747r3, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 2011年7月14-22日）引入了称为适应参数集（APS）的新的参数集，并提出存储与自适应环路滤波器（ALF）和APS中的样本适应偏置（SAO）相关的参数。通过在该APS中另外包括量化矩阵参数，可以基本配置上述QMPS。从而，在该部分中，将描述通过使用“适应参数集（APS）”（JCTVC-F747r3）提出的APS配置QMPS的若干技术。
[0221] [6-1.第一技术]
[0222] 第一技术是在一个APS中列出全部目标参数、并利用APS ID（唯一表示APS的标识符）指示每个参数的技术。图24示出根据第一技术配置的编码流的实例。
[0223] 参考图24，在位于序列的开始的图片P0的开始插入SPS 801、PPS 802以及APS 803。PPS 802由PPS ID“P0”标识。APS 803由APS ID“A0”标识。APS 803包括关于ALF的参数、关于SAO的参数、以及量化矩阵参数（下文表示为关于QM的参数）。附到图片P0中的片段数据的片段头804包括参考PPS ID“P0”，这表示PPS 802中的参数被参考以解码该片段数据。类似地，片段头804包括参考APS ID“A0”，这表示APS 803中的参数被参考以解码该片段数据。
[0224] APS 805被插入到在图片P0之后的图片P1中。APS 805由APS ID“A1”标识。APS 805包括关于ALF的参数、关于SAO的参数、以及关于QM的参数。APS 805中包括的关于ALF的参数和关于SAO的参数已经从APS 803更新，但是关于QM的参数未更新。附到图片P1中的片段数据的片段头806包括参考APS ID“A1”，这表示APS 805中的参数被参考以解码该片段数据。
[0225] APS 807被插入到在图片P1之后的图片P2中。APS 807由APS ID“A2”标识。APS 807包括关于ALF的参数、关于SAO的参数、以及关于QM的参数。APS 807中包括的关于ALF的参数和关于QM的参数已经从APS 805更新，但是关于SAO的参数未更新。附到图片P2中的片段数据的片段头808包括参考APS ID“A2”，这表示APS 807中的参数被参考以解码该片段数据。
[0226] 图25示出根据第一技术定义的APS语法的实例。在图25中的行2上，指定用于唯一识别该APS的APS ID。该APS ID为用于代替利用图3描述的QMPS ID的参数集标识符。在行13到行17上指定关于ALF的参数。在行18到行23上指定关于SAO的参数。在行24到行28上指定关于QM的参数。行24上的“aps_qmatrix_flag”是表示指示在APS中是否设置关于QM的参数的量化矩阵存在标记。行27上的“qmatrix_param()”是指定通过图13到20中的实例示出的量化矩阵参数的函数。在行24上的量化矩阵存在标记指示在APS中设置关于QM的参数（aps_qmatrix_flag=1），可使用函数qmatrix_param() 以设置APS中的量化矩阵参数。
[0227] 在实现第一技术的情况中，图8所示的参数获取部160通过参考APS中包括的量化矩阵存在标记确定在APS中是否设置量化矩阵参数。然后参数获取部160在APS中设置量化矩阵参数的情况中从APS获取量化矩阵参数。
[0228] 图26为示出根据第一技术定义的片段头语法的实例的说明图。在图26中的行5上，从将对该片段设置的参数中指定用于参考PPS中包括的参数的参考PPS ID。在行8上，从将对该片段设置的参数中指定用于参考APS中包括的参数的参考APS ID。该参考APS ID为用于代替利用图4描述的（参考）QMPS ID的参考参数。
[0229] 根据第一技术，通过扩展通过“适应参数集（APS）”（JCTVC-F747r3）提出的APS，可以低成本实现前述量化矩阵参数集。另外，可以使用量化矩阵存在标记以从与APS中可能包括的各种编码工具相关的参数中仅部分更新量化矩阵参数，或者可选地，仅部分不更新量化矩阵参数。换句话说，由于可能仅在需要更新量化矩阵时在APS中包括量化矩阵参数，从而可以在APS中有效地传输量化矩阵参数。
[0230] [6-2.第一技术的示例修改]
[0231] 还可以实现根据下文的示例修改的技术，以进一步减少APS中的量化矩阵参数的代码量。
[0232] 图27示出根据第一技术的示例修改定义的APS语法的实例。在图27所示的语法中，在行24到行33上指定关于QM的参数。行24上的“aps_qmatrix_flag”是表示在APS中是否设置关于QM的参数的量化矩阵存在标记。行25上的“ref_aps_id_present_flag”是指示在APS中是否将使用过去参考ID作为关于QM的参数的过去参考ID存在标记。在过去参考ID存在标记指示将使用过去参考ID的情况中（ref_aps_id_present_flag=1），在行27设置过去参考ID“ref_aps_id”。过去参考ID是用于参考在当前APS之前编码或解码的APS的APS ID的标识符。在使用过去参考ID的情况中，在参考源（之后的）APS中未设置量化矩阵参数。在该情况中，图8所示的设置部170再使用基于在由过去参考ID指示的参考目标APS中的量化矩阵参数设置的量化矩阵作为对应于参考源APS的量化矩阵。注意，可以禁止参考参考源APS（其被称为自参考）的APS ID的过去参考ID。取代地，设置部170可以设置默认量化矩阵作为对应于自参考APS的量化矩阵。在未使用过去参考ID的情况中（ref_aps_id_present_flag=0），可以使用行31上的函数“qmatrix_param()”以设置APS中的量化矩阵参数。
[0233] 这样，通过使用过去参考ID以再使用已经编码或解码的量化矩阵，避免了在APS中重复设置相同的量化矩阵参数。从而，可以减少APS中的量化矩阵参数的代码量。注意，尽管图27示出其中使用APS ID以参考过去APS的实例，然而，参考过去APS的方法不限于该实例。例如，还可以使用在参考源APS与参考目标APS之间的诸如APS数目的其它参数以参考过去APS。另外，代替使用过去参考ID存在标记，可以根据过去参考ID是否指示给定值（-1，例如）切换参考过去APS和设置新的量化矩阵参数。
[0234] [6-3.第二技术]
[0235] 第二技术是对于每种参数在不同APS（不同NAL单元）中存储参数，并利用唯一标识每个APS的APS ID参考每个参数的技术。图28示出根据第二技术配置的编码流的实例。
[0236] 参考图28，在位于序列的开始的图片P0的开始处插入SPS 811、PPS 812、APS 813a、APS 813b以及APS 813c。PPS 812由PPS ID“P0”标识。APS 813a是用于关于ALF的参数的APS，并由APS ID“A00”标识。APS 813b是用于关于SAO的参数的APS，并由APS ID“A10”标识。APS 813c是用于关于QM的参数的APS，并由APS ID“A20”标识。附到图片P0中的片段数据的片段头814包括参考PPS ID“P0”，这表示PPS 812中的参数被参考以解码该片段数据。类似地，片段头814包括参考APS_ALF ID "A00"、参考APS_SAO ID "A10"以及参考APS_QM ID "A20"，并且这些表示APS 813a、813b和813c中的参数被参考以解码片段数据。
[0237] APS 815a和APS 815b被插入到在图片P0之后的图片P1中。APS 815a是用于关于ALF的参数的APS，并由APS ID“A01”标识。APS 815b是用于关于SAO的参数的APS，并由APS ID“A11”标识。由于关于QM的参数未从图片P0更新，从而未插入用于关于QM的参数的APS。附到图片P1中的片段数据的片段头816包括参考APS_ALF ID "A01"、参考APS_SAO ID "A11", 和参考APS_QM ID "A20"。这些表示APS 815a、815b和813c中的参数被参考以解码片段数据。
[0238] APS 817a和APS 817c被插入到在图片P1之后的图片P2中。APS 817a是用于关于ALF的参数的APS，并由APS ID“A02”标识。APS 817c是用于关于QM的参数的APS，并由APS ID“A21”标识。由于关于SAO的参数未从图片P1更新，从而未插入用于关于SAO的参数的APS。附到图片P2中的片段数据的片段头818包括参考APS_ALF ID "A02"、参考APS_SAO ID "A11", 和参考APS_QM ID "A21"。这些表示APS 817a、815b和817c中的参数被参考以解码片段数据。
[0239] 第二技术中的用于关于QM的参数的APS（例如APS 813c和817c）大致等于前述QMPS。用于关于QM的参数的APS的APS ID被用于代替利用图3描述的QMPS ID。根据第二技术，由于对每种参数使用不同的APS，对于不需要更新的参数不进行对冗余参数的传输。从而可以优化编码效率。然而，在第二技术中，由于将包含到APS中的参数类别增多，从而NAL单元类型（nal_unit_type）、用于标识APS类别的标识符的分类增大。在HEVC的标准说明中，保留有限定数目的NAL单元类型（nal_unit_type）用于扩展。从而，有利地是，考虑避免扩展用于APS的多个NAL单元类型的结构。
[0240] [6-4.第三技术]
[0241] 第三技术为这样的技术，其中在APS中包含量化矩阵参数和其它参数，并通过从APS ID单独定义的各个标识符分组这些参数。在该说明书中，将该分配到每个组并从APS ID单独定义的标识符称为辅助标识符（SUB ID）。使用片段头中的辅助标识符参考每个参数。图29示出根据第三技术配置的编码流的实例。
[0242] 参考图29，在位于序列的开始的图片P0的开始处插入SPS 821、PPS 822以及APS 823。PPS 822由PPS ID“P0”标识。APS 823包括关于ALF的参数、关于SAO的参数、以及关于QM的参数。关于ALF的参数属于一个组并由用于ALF的辅助标识符SUB_ALF ID "AA0"标识。关于SAO的参数属于一个组并由用于SAO的辅助标识符SUB_SAO ID "AS0"标识。关于QM的参数属于一个组并由用于QM的辅助标识符SUB_QM ID "AQ0"标识。附到图片P0中的片段数据的片段头824包括参考SUB_ALF ID "AA0"、参考SUB_SAO ID "AS0"及参考SUB_QM ID "AQ0"。
这表示，属于SUB_ALF ID "AA0"的关于ALF的参数、属于SUB_SAO ID "AS0"的关于SAO的参数、以及属于SUB_QM ID "AQ0" 的关于QM的参数被参考以解码该片段数据。
这表示，属于SUB_ALF ID "AA0"的关于ALF的参数、属于SUB_SAO ID "AS0"的关于SAO的参数、以及属于SUB_QM ID "AQ0" 的关于QM的参数被参考以解码该片段数据。
[0243] APS 825被插入到在图片P0之后的图片P1中。APS 825包括关于ALF的参数和关于SAO的参数。关于ALF的参数由SUB_ALF ID "AA1"标识。关于SAO的参数由SUB_SAO ID "AS1"标识。由于关于QM的参数未从图片P0更新，从而在APS 825中不包括关于QM的参数。附到图片P1中的片段数据的片段头826包括参考SUB_ALF ID "AA1"、参考SUB_SAO ID "AS1"及参考SUB_QM ID "AQ0"。这表示，APS 825中的属于SUB_ALF ID "AA1"的关于ALF的参数、属于SUB_SAO ID "AS1"的关于SAO的参数、以及APS 823中的属于SUB_QM ID "AQ0" 的关于QM的参数被参考以解码该片段数据。
[0244] APS 827被插入到在图片P1之后的图片P2中。APS 827包括关于ALF的参数和关于QM的参数。关于ALF的参数由SUB_ALF ID "AA2"标识。关于QM的参数由SUB_QM ID "AQ1"标识。由于关于SAO的参数未从图片P1更新，从而在APS 827中不包括关于SAO的参数。附到图片P2中的片段数据的片段头828包括参考SUB_ALF ID "AA2"、参考SUB_SAO ID "AS1"及参考SUB_QM ID "AQ1"。这表示，APS 827中的属于SUB_ALF ID "AA2"的关于ALF的参数、属于SUB_QM ID "AQ1"的关于QM的参数、以及APS 825中的属于SUB_SAO ID "AS1" 的关于SAO的参数被参考以解码该片段数据。
[0245] 图30示出根据第三技术定义的APS语法的实例。在图30的行2到行4上，指定三个组存在标记"aps_adaptive_loop_filter_flag"、"aps_sample_adaptive_offset_flag"和"aps_qmatrix_flag"。组存在标记指示在APS中是否包括属于各个组的参数。尽管从图30的实例中的语法中省略APS ID，也可以在语法中增加用于标识APS的APS ID。在行12到行17上指定关于ALF的参数。行13上的"sub_alf_id"是用于ALF的辅助标识符。在行18到行24上指定关于SAO的参数。行19上的"sub_sao_id"是用于SAO的辅助标识符。在行25到行30上指定关于QM的参数。行26上的"sub_qmatrix_id"是用于QM的辅助标识符。行29上的“qmatrix_param()”是指定通过图13到20中的实例示出的量化矩阵参数的函数。
[0246] 图31为示出根据第三技术定义的片段头语法的实例的说明图。在图31中的行5上，从将对该片段设置的参数中指定用于参考PPS中包括的参数的参考PPS ID。在行8上，从将对该片段设置的参数中指定用于参考关于ALF的参数的参考SUB_ALF ID。在行9上，从将对该片段设置的参数中指定用于参考关于SAO的参数的参考SUB_SAO ID。在行10上，从将对该片段设置的参数中指定用于参考关于QM的参数的参考SUB_QM ID。
[0247] 在实施第三技术的情况中，图像编码装置10的语法处理部13的参数生成部130在每次更新量化矩阵参数时向更新的一组量化矩阵参数的附加新的SUB_QM ID作为辅助标识符。插入部130然后将具有附加的SUB_QM ID的量化矩阵参数与其它参数一起插入到APS中。图像解码装置60的语法处理部61的参数获取部160使用在片段头中指定的参考SUB_QM ID以从APS获取将对每个片段设置的量化矩阵参数。
[0248] 根据第三技术，通过使用辅助标识符在APS中分组参数，对于不需要更新的组中的参数不进行对冗余参数的传输。从而可以优化编码效率。另外，由于APS的类别即使在参数类别增加时也不增加，从而大数目的NAL单元类型不是像上述第二技术那样消耗。从而，第三技术不会危害未来扩展的灵活性。
[0249] 在图29到31的实例中，APS中包括的参数根据关于ALF、SAO和QM的编码工具被分组。然而，这仅仅是分组参数的一个实例。APS可以包括关于其它编码工具的参数。例如，诸如用于自适应内插滤波（AIF）的滤波系数的关于AIF的参数为可包含到APS中的参数的一个实例。下文中，将参考图32描述用于对将被包含到APS中的参数进行分组的各种标准。
[0250] 图32所示的表列出“参数内容”、“更新频率”和“数据尺寸”作为通常的编码工具中的各个参数的特征。
[0251] 自适应环路滤波（ALF）是这样的滤波（通常为Wiener滤波），其通过自适应地确定的滤波系数对解码图像进行二维滤波，以最小化解码图像与原始图像之间的误差。关于ALF的参数包括将应用于每个块的滤波系数和用于每个编码单元（CU）的打开/关闭标记。ALF滤波系数的数据尺寸相比于其它类别的参数极大。为此，通常对高速率I图片传输关于ALF的参数，而可以省略对低速率B图片传输关于ALF的参数。这是因为，从增益的角度看，对低速率图片传输具有大数据尺寸的关于ALF的参数是效率低下的。在大多数情况中，ALF滤波系数对于每个图片变化。由于滤波系数取决于图像内容，能够再使用在前设置的滤波系数的可能性较低。
[0252] 样本适应性偏置（SAO）是通过对解码图像中的每个像素值增加适应性确定的偏置值而改善解码图像的图像质量的工具。关于SAO的参数包括偏置图案和偏置值。关于SAO的参数的数据尺寸没有关于ALF的参数大。作为通常的规则，关于SAO的参数同样对于每个图片变化。然而，由于关于SAO的参数具有即使在图像内容略微变化时也不会变化太多的性质，存在能够再使用在前设置的参数值的可能。
[0253] 量化矩阵（QM）是这样的矩阵，其元素为在量化通过正交变换从图像数据变换的变换系数时使用的量化尺度。关于QM的参数，或者换句话说，量化矩阵参数，如该说明书中详细所述。关于QM的参数的数据尺寸大于关于SAO的参数。作为通常的规则，对于全部图片需要量化矩阵，但是如果图像内容改变不大，不需要对每个图片更新所述量化矩阵。为此，可以对相同的图片类型（诸如I/P/B图片），或对于每个GOP再使用量化矩阵。
[0254] 适应性内插滤波（AIF）是对每个子像素位置适应性地改变在运动补偿期间使用的内插滤波的滤波系数。关于AIF的参数包括用于各个子像素位置的滤波系数。关于AIF的参数的数据尺寸小于上述三种参数。作为通常的规则，关于AIF的参数对于每个图片变化。然而，由于相同的图片类型趋向于具有类似的内插性质，可以对相同的图片类型（诸如I/P/B图片）再使用关于AIF的参数。
[0255] 基于上述参数质量，为了分组APS中包括的参数，可以采用例如下面三种标准：
[0256] 标准A）根据编码工具分组
[0257] 标准B）根据更新频率分组
[0258] 标准C）根据参数再使用的可能性分组。
[0259] 标准A是根据其相关的编码工具对参数分组的标准。图29到31中示例示出的参数集结构基于标准A。由于通常根据参数的相关编码工具确定参数的质量，通过编码工具对参数分组使得可以根据参数的各种质量进行及时、有效的参数更新。
[0260] 标准B是根据其更新频率对参数分组的标准。如图32所示，作为通常的规则，关于ALF的参数、关于SAO的参数以及关于AIF的参数都可以在每个图片更新。从而，可以将这些参数分组到单个组中，而将关于QM的参数分组到另一个组中。在该情况中，相比于标准A，存在较少的组。从而，在片段头存在较少的需要指定的辅助标识符，并且可以减少片段头的代码量。同时，由于属于相同组的参数的更新频率彼此相似，冗余地传输不更新的参数以更新其它参数的可能性较低。
[0261] 标准C是根据参数再使用的可能性对参数分组的标准。尽管关于ALF的参数不大可能被再使用，然而关于SAO的参数和关于AIF的参数一定程度上有可能被再使用。利用关于QM的参数，参数在多个图片上非常可能被再使用。从而，通过这样根据参数的再使用的可能性对参数分组，可以避免对APS中的再使用参数的冗余传输。
[0262] [6-5.第三技术的示例修改]
[0263] 通过上述第三技术，如图31示例示出，参数被分组到APS中的组的数量导致在片段头中指定的相同数目的参考SUB ID。参考SUB ID要求的代码量与片段头数目以及组数的乘积近似成比例。还可以实现根据下文的示例修改的技术，以进一步减少该比率。
[0264] 在第三技术的示例修改中，在APS或其它参数集中定义与辅助标识符的组合相关的组合ID。然后可以通过组合ID从片段头参考APS中包括的参数。图33示出根据第三技术的示例修改配置的编码流的实例。
[0265] 参考图33，在位于序列的开始的图片P0的开始处插入SPS 831、PPS 832以及APS 833。PPS 832由PPS ID“P0”标识。APS 833包括关于ALF的参数、关于SAO的参数、以及关于QM的参数。关于ALF的参数由SUB_ALF ID "AA0"标识。关于SAO的参数由SUB_SAO ID "AS0"标识。关于QM的参数由SUB_QM ID "AQ0"标识。另外，APS 833包括组合ID"C00"={AA0, AS0, AQ0}作为对组合的定义。附到图片P0中的片段数据的片段头834包括组合ID“C00”。这表示，分别与组合ID“C00”相关的属于SUB_ALF ID "AA0"的关于ALF的参数、属于SUB_SAO ID "AS0"的关于SAO的参数、以及属于SUB_QM ID "AQ0" 的关于QM的参数被参考以解码该片段数据。
[0266] APS 835被插入到在图片P0之后的图片P1中。APS 835包括关于ALF的参数和关于SAO的参数。关于ALF的参数由SUB_ALF ID "AA1"标识。关于SAO的参数由SUB_SAO ID "AS1"标识。由于关于QM的参数未从图片P0更新，从而在APS 835中不包括关于QM的参数。另外，APS 835包括组合ID"C01"={AA1, AS0, AQ0}、组合ID"C02"={AA0, AS1, AQ0}以及组合ID"C03"={AA1, AS1, AQ0}作为对组合的定义。附到图片P1中的片段数据的片段头836包括组合ID“C03”。这表示，分别与组合ID“C03”相关的属于SUB_ALF ID "AA1"的关于ALF的参数、属于SUB_SAO ID "AS1"的关于SAO的参数、以及属于SUB_QM ID "AQ0" 的关于QM的参数被参考以解码该片段数据。
[0267] APS 837被插入到在图片P1之后的图片P2中。APS 837包括关于ALF的参数。关于ALF的参数由SUB_ALF ID "AA2"标识。由于关于SAQ的参数和关于QM的参数未从图片P1更新，从而在APS 837中不包括关于SAO的参数和关于QM的参数。另外，APS 837包括组合ID "C04"={AA2, AS0, AQ0} 和组合ID"C05"={AA2, AS1, AQ0}作为对组合的定义。附到图片P2中的片段数据的片段头838包括组合ID“C05”。这表示，分别与组合ID“C05”相关的属于SUB_ALF ID "AA2"的关于ALF的参数、属于SUB_SAO ID "AS1"的关于SAO的参数、以及属于SUB_QM ID "AQ0" 的关于QM的参数被参考以解码该片段数据。
[0268] 注意，在该示例修改中，可以不对辅助标识符的全部组合定义组合ID，从而仅对在片段头中实际参考的辅助标识符的组合定义组合ID。另外，可以在与存储对应的参数的APS不同的APS中定义辅助标识符的组合。
[0269] 在实现该示例修改的情况中，图像编码装置10的语法处理部13的参数生成部130生成作为补充参数的组合ID，其将与对包括量化矩阵参数的各种参数分组的辅助标识符的组合相关联。插入部130然后将通过参数生成部130生成的组合ID插入到APS或其它参数集中。图像解码装置60的语法处理部61的参数获取部160获取在每个片段的片段头中指定的组合ID，并使用与该组合ID关联的辅助标识符以另外获取APS中的量化矩阵参数。
[0270] 这样，通过使用与辅助标识符的组合关联的组合ID以参考APS中的参数，可以减少从片段头参考每个参数所需的代码量。
[0271] 7.实例应用
[0272] 根据上述实施例的图像编码装置10和图像解码装置60可以应用到：各种电子装置，诸如卫星广播的发射器或接收器、诸如有线电视的有线广播、互联网分发、通过蜂窝通信向客户设备的分发等；用于将图像记录到介质上的记录装置，所述介质诸如为光盘、磁盘、或闪存；以及用于从这些存储介质回放图像的回放装置。下面将描述四个实例应用。
[0273] [7-1.第一实例应用]
[0274] 图34是示出采用上述实施例的电视的示例示意配置的框图。电视900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部接口909、控制部910、用户接口911、以及总线912。
[0275] 调谐器902从经天线901接收的广播信号提取希望信道的信号，并对提取的信号解调制。调谐器902然后将通过解调获得的编码比特流输出到解复用器903。即，调谐器902用作电视900的传输装置，用于接收其中图像被编码的编码流。
[0276] 解复用器903从编码比特流分离将被观看的节目的视频流和音频流，并将分离的流输出到解码器904。另外，解复用器903从编码比特流提取诸如电子节目指南（EPG）的辅助数据等，并将提取的数据提供到控制部910。另外，当编码比特流被加扰时，解复用器903可以进行解扰。
[0277] 解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理生成的视频数据输出到视频信号处理部905。另外，解码器904将通过解码处理生成的音频数据输出到音频信号处理部907。
[0278] 视频信号处理部905回放从解码器904输入的视频数据，并使得显示部906显示视频。视频信号处理部905还可以使得显示部906显示经网络提供的应用画面。另外，视频信号处理部905可以进行其它处理，诸如根据设置在例如视频数据上的噪声移除。另外，视频信号处理部905可以生成图形用户界面（GUI）图像，诸如菜单、按钮或光标，并将生成的图像叠加在输出图像上。
[0279] 显示部906通过由视频信号处理部905提供的驱动信号驱动，并在显示装置（诸如液晶显示器、等离子显示器、或OLED显示器）的显示屏上显示视频或图像。
[0280] 音频信号处理部907在从解码器904输入的音频数据上执行诸如D/A转换和放大的回放处理，并从扬声器908输出音频。另外，音频信号处理部907可以进行其它处理，诸如在音频数据上的噪声移除。
[0281] 外部接口909是用于将电视900连接到外部装置或网络的接口。例如，可通过解码器904对经外部接口909接收的视频流或音频流进行解码。即，外部接口909还用作电视900的传输装置，用于接收其中图像被编码的编码流。
[0282] 控制部910包括诸如中央处理单元（CPU）的处理器、和诸如随机存取存储器（RAM）和只读存储器（ROM）的存储器。存储器存储将通过CPU执行的程序、程序数据、EPG数据、经网络获得的数据等。当例如启动电视900时，通过CPU读取并执行存储器中存储的程序。通过执行程序，CPU根据从例如用户接口911输入的操作信号控制电视900的操作。
[0283] 用户接口911被连接到控制部910。用户接口911例如包括由用户使用以操作电视900的按钮和开关、以及远程控制信号接收器。用户接口911检测经这些结构元件的用户的操作，生成操作信号，并将生成的操作信号输出到控制部910。
[0284] 总线912将调谐器902、解复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口909以及控制部910相互连接。
[0285] 在这样配置的电视900中，解码器904包括根据上述实施例的图像解码装置60的功能。因此，可以缓解对于通过电视900解码的视频的编码效率的下降，或者改善编码效率。
[0286] [7-2.第二实例应用]
[0287] 图35是示出采用上述实施例的移动电话的示例示意配置的框图。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、相机部926、图像处理部927、多路复用/解复用（mux/demux）部928、记录和回放部929、显示部930、控制部931、操作部932以及总线933。
[0288] 天线921被连接到通信部922。扬声器924和麦克风925被连接到音频编解码器923。操作部932被连接到控制部931。总线933将通信部922、音频编解码器923、相机部926、图像处理部927、mux/demux部928、记录和回放部929、显示器930以及控制部931相互连接。
[0289] 移动电话920在各个操作模式中进行诸如如下的操作：传输和接收音频信号、传输和接收电子邮件或图像数据、拍摄图像、记录数据等，所述操作模式包括音频通信模式、数据通信模式、成像模式以及视频电话模式。
[0290] 在音频通信模式中，将通过麦克风925生成的模拟音频信号提供到音频编解码器923。音频编解码器923将模拟音频信号转换为音频数据，对转换的音频数据进行A/D转换，并压缩该音频数据。然后，音频编解码器923将压缩的音频数据输出给通信部922。通信部
922对音频数据进行编码和调制，并生成传输信号。通信部922然后经天线921将生成的传输信号传输到基站（未示出）。另外，通信部922放大经天线921接收的无线信号，并转换无线信号的频率，并获取接收的信号。然后，通信部922对接收信号进行解调和解码并生成音频数据，并将生成的音频数据输出到音频编解码器923。音频编解码器923对所述音频数据进行解压缩和D/A转换，并生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供到扬声器924以使得将音频输出。
922对音频数据进行编码和调制，并生成传输信号。通信部922然后经天线921将生成的传输信号传输到基站（未示出）。另外，通信部922放大经天线921接收的无线信号，并转换无线信号的频率，并获取接收的信号。然后，通信部922对接收信号进行解调和解码并生成音频数据，并将生成的音频数据输出到音频编解码器923。音频编解码器923对所述音频数据进行解压缩和D/A转换，并生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供到扬声器924以使得将音频输出。
[0291] 另外，在数据通信模式中，例如，控制部931根据用户经操作部932的操作生成构成电子邮件的文本数据。另外，控制部931使得在显示部930上显示文本。另外，控制部931根据经操作部932的来自用户的传输指令生成电子邮件数据，并将生成的电子邮件数据输出到通信部922。通信部922对电子邮件数据进行编码和调制，并生成传输信号。通信部922然后经天线921将生成的传输信号传输到基站（未示出）。另外，通信部922放大经天线921接收的无线信号，并转换无线信号的频率，并获取接收的信号。然后，通信部922对接收信号进行解调和解码并重构电子邮件数据，并将重构的电子邮件数据输出到控制部931。控制部931使得显示部930显示电子邮件的内容，并还使得将电子邮件数据存储到记录和回放部929的存储介质中。
[0292] 记录和回放部929包括可任意读取和写入的存储介质。例如，存储介质可以是诸如RAM的内置存储介质、或闪存、或外部安装的存储介质，诸如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡。
[0293] 另外，在成像模式中，相机部926拍摄被摄体的图像，生成图像数据，并将生成的图像数据输出到例如图像处理部927。图像处理部927对从相机部926输入的图像数据编码，并使得在记录和回放部929的存储介质上存储编码流。
[0294] 另外，在视频电话模式中，例如，mux/demux部928对通过图像处理部927编码的视频流和从音频编解码器923输入的音频流进行多路复用，并将多路复用的流输出到通信部922。通信部922对该流进行编码和调制，并生成传输信号。通信部922然后经天线921将生成的传输信号传输到基站（未示出）。另外，通信部922放大经天线921接收的无线信号，并转换无线信号的频率，并获取接收的信号。所述传输信号和接收信号可包括编码比特流。然后，通信部922对接收信号进行解调和解码并重构所述流，并将重构的流输出到mux/demux部
928。mux/demux部928从输入流分离视频流和音频流，并将视频流输出到图像处理部927且将音频流输出到音频编解码器923。图像处理部927解码视频流以生成视频数据。视频数据被提供到显示部930，并通过显示部930显示一系列图像。音频编解码器923对所述音频流进行解压缩和D/A转换，并生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供到扬声器924以使得将音频输出。
928。mux/demux部928从输入流分离视频流和音频流，并将视频流输出到图像处理部927且将音频流输出到音频编解码器923。图像处理部927解码视频流以生成视频数据。视频数据被提供到显示部930，并通过显示部930显示一系列图像。音频编解码器923对所述音频流进行解压缩和D/A转换，并生成模拟音频信号。然后，音频编解码器923将生成的音频信号提供到扬声器924以使得将音频输出。
[0295] 在这样配置的移动电话920中，图像处理部927具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，可以缓解对于通过移动电话920编码和解码的视频的编码效率的下降，或者改善编码效率。
[0296] [7-3.第三实例应用]
[0297] 图36是示出采用上述实施例的记录和回放装置的示例示意配置的框图。记录和回放装置940编码和在记录介质上记录例如接收的广播节目的音频数据和视频数据。记录和回放装置940还可以编码和在记录介质上记录例如从其它装置获取的音频数据和视频数据。另外，记录和回放装置940例如根据来自用户的指令通过监视器和扬声器回放记录在记录介质上的数据。此时，记录和回放装置940对音频数据和视频数据解码。
[0298] 记录和回放装置940包括调谐器941、外部接口942、编码器943、硬盘驱动器（HDD）944、盘驱动器945、选择器946、解码器947、屏幕上显示（OSD）948、控制部949、以及用户接口
950。
950。
[0299] 调谐器941从经天线（未示出）接收的广播信号提取希望信道的信号，并对提取的信号解调。调谐器941然后将通过解调获得的编码比特流输出到选择器946。即，调谐器941用作记录和回放装置940的传输装置。
[0300] 外部接口942是用于将记录和回放装置940连接到外部装置或网络的接口。外部接口942例如可以为IEEE 1394接口、网络接口、USB接口、闪存接口等等。例如，经外部接口942接收的音频数据和视频数据被输入编码器943。即，外部接口942用作记录和回放装置940的传输装置。
[0301] 在从外部接口942输入的视频数据和音频数据未被编码的情况中，编码器943对该视频数据和音频数据进行编码。编码器943然后将编码的比特流输出到选择器946。
[0302] HDD 944在内部硬盘上记录编码比特流，其为诸如视频或音频、各种程序及其它数据的压缩内容数据。另外，HDD 944在回放视频和音频时从硬盘读取该数据。
[0303] 盘驱动器945相对于插入的记录介质记录或读取数据。插入到盘驱动器945中的记录介质可以是例如DVD盘（诸如 DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+或DVD+RW盘）、蓝光盘（注册商标）等。
[0304] 在记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并将选择的编码比特流输出到HDD 944或盘驱动器945。另外，在回放视频和音频时，选择器946将从HDD 944或盘驱动器945输入的编码比特流输出到解码器947。
[0305] 解码器947对编码比特流解码，并生成音频数据和视频数据。解码器947然后将生成的视频数据输出到OSD 948。另外，解码器904将生成的音频数据输出到外部扬声器。
[0306] OSD 948回放从解码器947输入的视频数据，并显示视频。另外，OSD 948可以在显示视频上叠加GUI图像，诸如菜单、按钮或光标。
[0307] 控制部949包括诸如CPU的处理器和诸如RAM或ROM的存储器。存储器存储通过CPU执行的程序、程序数据等。当例如启动记录和回放装置940时，通过CPU读取并执行存储器中存储的程序。通过执行程序，CPU根据从例如用户接口950输入的操作信号控制记录和回放装置940的操作。
[0308] 用户接口950被连接到控制部949。用户接口950例如包括由用户使用以操作记录和回放装置940的按钮和开关、以及远程控制信号接收器。用户接口950检测经这些结构元件的用户的操作，生成操作信号，并将生成的操作信号输出到控制部949。
[0309] 在这样配置的记录和回放装置940中，编码器943包括根据上述实施例的图像编码装置10的功能。另外，解码器947具有根据上述实施例的图像解码装置60的功能。因此，可以缓解对于通过记录和回放装置940编码和解码的视频的编码效率的下降，或者改善编码效率。
[0310] [7-4.第四实例应用]
[0311] 图37是示出采用上述实施例的成像装置的示例示意配置的框图。成像装置960拍摄被摄体的图像，生成图像，对图像数据编码，并将图像数据记录在记录介质上。
[0312] 成像装置960包括光学块961、成像部962、信号处理部963、图像处理部964、显示部965、外部接口966、存储器967、介质驱动器968、OSD 969、控制部970、用户接口971、以及总线972。
[0313] 光学块961被连接到成像部962。成像部962被连接到信号处理部963。显示部965被连接到图像处理部964。用户接口971被连接到控制部970。总线972将图像处理部964、外部接口966、存储器967、介质驱动器968、OSD 969以及控制部970相互连接。
[0314] 光学块961具有聚焦透镜、孔径光阑机构等。光学块961在成像部962的成像表面上形成被摄体的光学图像。成像部962包括诸如CCD或CMOS传感器的图像传感器，并将在成像表面上形成的光学图像光电地转换为作为电信号的图像信号。然后，成像部962把图像信号输出到信号处理部963。
[0315] 信号处理部963对从成像部962输入的图像信号执行各种相机信号处理，诸如拐点校正（knee correction）、伽马校正、颜色校正等。信号处理部963把经过处理的图像数据输出到图像处理部964。
[0316] 图像处理部964对从信号处理部963输入的图像数据进行编码，并生成编码数据。然后，图像处理部964将生成的编码数据输出到外部接口966或介质驱动器968。图像处理部
964还对从外部接口966或介质驱动器968输入的编码数据进行解码，并生成图像数据。图像处理部964然后将生成的图像数据输出显示部965。另外，图像处理部964还可以将从信号处理部963输入的图像数据输出到显示部965，以使得图像被显示。另外，图像处理部964可以将从OSD 969获取的显示数据叠加到将输出到显示部965的图像上。
964还对从外部接口966或介质驱动器968输入的编码数据进行解码，并生成图像数据。图像处理部964然后将生成的图像数据输出显示部965。另外，图像处理部964还可以将从信号处理部963输入的图像数据输出到显示部965，以使得图像被显示。另外，图像处理部964可以将从OSD 969获取的显示数据叠加到将输出到显示部965的图像上。
[0317] OSD 969生成GUI图像，诸如菜单、按钮或光标，并将生成的图像输出到图像处理部964。
[0318] 外部接口966被配置为例如USB输入/输出端子。外部接口966在例如打印图像时将成像装置960连接到打印机。另外，根据需要将驱动器连接到外部接口966。诸如磁盘或光盘的可移动介质被插入到驱动器中，并且可以在成像装置960中安装从该可移动介质读取的程序。另外，外部接口966可被配置网络接口，其将被连接到诸如LAN或互联网的网络。即，外部接口966用作图像拍摄装置960的传输装置。
[0319] 将被插入到介质驱动器968中的记录介质可以是任意可读取和可写入的可移动介质，诸如磁盘、磁光盘、光盘、或半导体存储器。另外，可将记录介质永久地安装到介质驱动器968中以构成诸如内部硬盘驱动器或固态驱动器（SSD）的非便携式存储部。
[0320] 控制部970包括诸如CPU的处理器和诸如RAM或ROM的存储器。存储器存储通过CPU执行的程序、程序数据等。当例如启动成像装置960时，通过CPU读取并执行存储器中存储的程序。通过执行程序，CPU根据从例如用户接口971输入的操作信号控制成像装置960的操作。
[0321] 用户接口971被连接到控制部970。用户接口971包括由用户使用以操作例如成像装置960的按钮、开关等。用户接口971检测经这些结构元件的用户的操作，生成操作信号，并将生成的操作信号输出到控制部970。
[0322] 在这样配置的成像装置960中，图像处理部964具有根据上述实施例的图像编码装置10和图像解码装置60的功能。因此，可以缓解对于通过成像装置960编码和解码的视频的编码效率的下降，或者改善编码效率。
[0323] <8.结论>
[0324] 上文利用图1到37描述了根据实施例的图像编码装置10和图像解码装置60。根据实施例，将定义在量化和逆量化图像时使用的量化矩阵的量化矩阵参数插入不同于序列参数集和图片参数集的量化矩阵参数集（QMPS）中。通过这样，不需要既要在更新量化矩阵时编码除量化矩阵参数之外的参数、又要在更新除量化矩阵参数之外的参数时编码量化矩阵参数。从而，减轻了随着更新量化矩阵的编码效率的下降，或者改善了编码效率。具体地说，在具有较大尺寸的量化矩阵的情况中，或者在其中对每个图片定义较多数目的量化矩阵的情况中，通过本说明书公开的技术对代码量的减少变得更有效。
[0325] 另外，根据本发明实施例，代替直接定义量化矩阵，可以在QMPS中包括指定复制在前生成的量化矩阵的参数。在该情况中，从QMPS省略指定量化矩阵自身的参数（例如DPCM格式的差分数据阵列），从而可以进一步减少用于定义量化矩阵所需的代码量。
[0326] 另外，根据本发明实施例，对每个QMPS分配QMPS ID。然后，在复制模式中，可以将定义复制源量化矩阵的QMPS的QMPS ID指定为源ID。另外，可以将复制源量化矩阵的尺寸和类型指定为复制源尺寸和复制源类型。从而，可以将来自在前生成的多个QMPS中的量化矩阵的任意QMPS中的量化矩阵灵活指定为复制源量化矩阵。还可以复制和再使用不同尺寸或类型的量化矩阵。
[0327] 另外，根据本发明实施例，可在QMPS中包括指定将复制的量化矩阵的残差分量的参数。从而，仍可以以低速率新生成与在前生成的量化矩阵不完全相等的量化矩阵。
[0328] 另外，在轴指定模式中，代替扫描量化矩阵的全部元素，在QMPS中可以仅包括在量化矩阵中对应于量化矩阵的三个参考轴或四个角的元素的值。从而，在该情况中，同样可以小代码量定义量化矩阵。
[0329] 另外，根据本发明实施例，基于由在片段头中指定的QMPS ID标识的QMPS中的量化矩阵参数设置对于每个片段使用的量化矩阵。从而，由于可以对每个片段灵活地切换量化矩阵，即使在其中图像特征随时间变化的情况中，仍可以使用在每个时刻点的最优量化矩阵以编码或解码视频。
[0330] 注意，本发明描述了这样的实例，其中将量化矩阵参数集多路复用到编码流的头中，并从编码侧传输到解码侧。然而，传输量化矩阵参数集的技术不限于这样的实例。例如，可以将每个参数集中的信息传输或记录为与编码比特流关联的单独的数据，而不被多路复用到编码比特流中。这里，术语“关联”表示可以在解码时将在比特流中包括的图像（还包括诸如片段或块的局部图像）与对应于这些图像的信息联系起来。换句话说，也可以在与图像（或比特流）分开的传输信道上传输信息。另外，可以将信息记录在与图像（或比特流）分开的记录介质（或相同记录介质中的单独的记录区域）中。另外，可以诸如多个帧、单个帧或者帧内的部分的任意单位将信息和图像（或比特流）彼此关联。
[0331] 上文从而参考附图详细描述了本发明的优选实施例。然而，本发明的技术范围不限于所述实例。对于本发明所述领域的技术人员显而易见地，可以进行各种修改和替换，只要其落入权利要求所述的技术构思的范围中，并且，可以理解，这样的修改或替换显然属于本发明的技术范围。
[0332] 另外，还可以如下配置本发明的技术。
[0333] （1）一种图像处理装置，包括：
[0334] 获取部，被配置为从编码流获取量化矩阵参数，该编码流是在不同于序列参数集和图片参数集的参数集中设置定义量化矩阵的所述量化矩阵参数的编码流；
[0335] 设置部，被配置为基于通过所述获取部获取的量化矩阵参数设置当逆量化从编码流解码的数据时使用的量化矩阵；以及
[0336] 逆量化部，被配置为使用通过所述设置部设置的量化矩阵逆量化从编码流解码的数据。
[0337] （2）根据（1）所述的图像处理设备，其中
[0338] 所述包含量化矩阵参数的参数集是共用参数集，利用该共用参数集还能够设置与除量化矩阵之外的编码工具相关的其它编码参数，以及
[0339] 当在所述共用参数集中设置量化矩阵参数时，所述获取部获取量化矩阵参数。
[0340] （3）根据（2）所述的图像处理设备，其中
[0341] 所述获取部通过参考在所述共用参数集中包括的标记确定在所述共用参数集中是否设置了量化矩阵参数。
[0342] （4）根据（2）或（3）所述的图像处理设备，其中
[0343] 所述共用参数集是适应参数集。
[0344] （5）根据（4）所述的图像处理设备，其中
[0345] 在其中在所述第一适应参数集之后解码的第二适应参数集中包括对第一适应参数集的参考的情况中，所述设置部再使用基于从所述第一适应参数集获取的量化矩阵参数而设置的量化矩阵作为对应于所述第二适应参数集的量化矩阵。
[0346] （6）根据（5）所述的图像处理设备，其中
[0347] 在其中在第三适应参数集中包括对第三适应参数集的参考的情况中，所述设置部设置默认量化矩阵作为与所述第三适应参数集对应的量化矩阵。
[0348] （7）根据（1）所述的图像处理设备，其中
[0349] 在其中在第二参数集中包括用于指示对第一参数集的第一量化矩阵进行复制的复制参数的情况中，所述设置部通过复制所述第一量化矩阵设置第二量化矩阵。
[0350] （8）根据（7）所述的图像处理设备，其中
[0351] 每个包括所述量化矩阵参数的参数集具有用于标识每个参数集的标识符，以及[0352] 所述复制参数包括复制源的参数集的标识符。
[0353] （9）根据（8）所述的图像处理设备，其中
[0354] 每个参数集包括分别定义多种类别的量化矩阵的量化矩阵参数，以及
[0355] 所述复制参数包括指定所述第一量化矩阵的类别的类别参数。
[0356] （10）根据（8）所述的图像处理设备，其中
[0357] 在第三参数集中包括的复制源的参数集的标识符等于第三参数集的标识符的情况中，所述设置部设置默认量化矩阵作为用于第三参数集的第三量化矩阵。
[0358] （11）根据（7）所述的图像处理设备，其中
[0359] 在第二量化矩阵的尺寸大于第一量化矩阵的尺寸的情况中，所述设置部通过对复制的第一量化矩阵的元素进行插值来设置第二量化矩阵。
[0360] （12）根据（7）所述的图像处理设备，其中
[0361] 在第二量化矩阵的尺寸小于第一量化矩阵的尺寸的情况中，所述设置部通过减少复制的第一量化矩阵的元素来设置第二量化矩阵。
[0362] （13）根据（7）所述的图像处理设备，其中
[0363] 在第二参数集中包括指定所复制的量化矩阵的残差分量的残差指定参数的情况中，所述设置部通过将所述残差分量增加到所复制的第一量化矩阵而设置第二量化矩阵。
[0364] （14）根据（1）所述的图像处理设备，其中
[0365] 每个包括所述量化矩阵参数的参数集具有用于标识每个参数集的参数集标识符，以及
[0366] 所述逆量化部对于每个片段使用通过设置部基于在由在片段头中指定的参数集标识符标识的参数集中包括的量化矩阵参数设置的量化矩阵。
[0367] （15）根据（7）至（14）中任一项所述的图像处理装置，其中
[0368] 包含量化矩阵参数的参数集还包括与除量化矩阵之外的编码工具相关的其它编码参数。
[0369] （16）根据（15）所述的图像处理设备，其中
[0370] 所述量化矩阵参数和所述其它编码参数通过与标识每个参数集的参数标识符分开定义的辅助标识符被分组，以及
[0371] 所述获取部使用辅助标识符获取量化矩阵参数。
[0372] （17）根据（16）所述的图像处理设备，其中
[0373] 在参数集或另一参数集中定义与多个辅助标识符的组合关联的组合标识符，以及[0374] 所述获取部获取在每个片段的片段头中指定的组合标识符，并使用与所获取的组合标识符关联的辅助标识符获取量化矩阵参数。
[0375] （18）一种图像处理方法，包括：
[0376] 从编码流获取量化矩阵参数，所述编码流是在不同于序列参数集和图片参数集的参数集中设置定义量化矩阵的所述量化矩阵参数的编码流；
[0377] 基于获取的量化矩阵参数设置当逆量化从编码流解码的数据时使用的量化矩阵；以及
[0378] 使用所设置的量化矩阵逆量化从所述编码流解码的数据。
[0379] （19）一种图像处理装置，包括：
[0380] 量化部，被配置为使用量化矩阵量化数据；
[0381] 设置部，被配置为设置量化矩阵参数，该量化矩阵参数定义在所述量化部量化所述数据时使用的量化矩阵；以及
[0382] 编码部，被配置为在不同于序列参数集和图片参数集的参数集中编码通过设置部设置的量化矩阵参数。
[0383] （20）一种图像处理方法，包括：
[0384] 使用量化矩阵量化数据；
[0385] 设置量化矩阵参数，该量化矩阵参数定义在量化所述数据时使用的量化矩阵；以及
[0386] 在不同于序列参数集和图片参数集的参数集中编码所设置的量化矩阵参数。
[0387] 附图标记列表
[0388] 10 图像处理装置（图像编码装置）
[0389] 16 量化部
[0390] 120 参数生成部
[0391] 130 插入部
[0392] 60 图像处理装置（图像解码装置）
[0393] 63 逆量化部
[0394] 160 参数获取部
[0395] 170 设置部
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 存储视频数据的方法和装置 | 2020-05-08 | 611 |
| 一种视频帧重构方法、装置及终端设备 | 2020-05-08 | 781 |
| 数据处理方法、装置、电子设备及可读存储介质 | 2020-05-08 | 938 |
| 一种视频帧重构方法、装置及终端设备 | 2020-05-08 | 992 |
| 一种调整特效的方法、电子设备及存储介质 | 2020-05-11 | 457 |
| 一种确定编码单元的色度信息的方法和装置 | 2020-05-08 | 398 |
| 帧间预测的滤波方法、电子设备及计算机可读存储介质 | 2020-05-08 | 777 |
| 端口配置检测方法、终端和计算机可读存储介质 | 2020-05-11 | 206 |
| 一种视频录制方法及电子设备 | 2020-05-08 | 478 |
| 一种数据处理方法、图像获取装置及电子设备 | 2020-05-08 | 826 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈