技术领域
[0001] 本
发明涉及在图像压缩编码技术或压缩图像数据传输技术等中使用的数字图像
信号编码装置、数字图像信号解码装置、数字图像信号编码方法以及数字图像信号解码方法。
背景技术
[0002] 当前，在MPEG或者ITU-T H.26x等国际标准影像编码方式(例如「“Information Technology Coding of Audio-Visual ObjectsPart10：Advanced Video Coding”，ISO/IEC14496-10，2003」：以下，称为非
专利文献1)中，主要以使用称为4:2:0格式的标准化了的
输入信号格式为前提。所谓4:2:0是把RGB等彩色运动图像信号变换成
亮度分量(Y)和两个色差分量(Cb，Cr)，
水平·垂直都把色差分量的抽样数削减到亮度分量的一半的格式(图
23)。色差分量与亮度分量相比较由于降低可视性，因此在现有的国际标准影像编码方式中，前提是通过在这样进行编码之前进行色差分量的降抽样(downsample)，预先减少编码对象的原信息量。另外，在广播素材影像等的面向业务的影像编码中，有时也使用仅在水平方向把Cb，Cr的分量降抽样为亮度分量一半的4:2:2格式。由此，垂直方向的色
分辨率与亮度相同，与4:2:0格式相比较，色再现性高。另一方面，伴随着近年来的视频显示器的高分辨率、高灰度等级，正在研究不把色差分量进行降抽样，按照与亮度分量相同的抽样数进行编码的方式。亮度分量和色差分量完全相同的抽样数的格式称为4:4:4格式。由于现有的4:2:0格式以色差分量的降抽样为前提，因此仅限定于Y、Cb、Cr这样的色空间定义，与此不同，在4:4:4格式中，由于在色分量之间没有抽样比的区别，因此除了Y、Cb、Cr以外，能够直接使用R、G、B，或者利用其它多个色空间定义。作为以4:4:4格式为对象的影像编码方式，有「Woo-Shik Kim，Dae-Sung Cho，and Hyun Mun Kim，“INTER-PLANE PREDICTIONFOR RGB VIDEO CODING”，ICIP 2004，October 2004.」(以下，称为非专利文献2)等。
[0003] 【非专利文献1】“Information Technology Coding of Audio-Visual Objects Part10：Advanced Video Coding”，ISO/IEC 14496-10，2003
[0004] 【非专利文献2】Woo-Shik Kim，Dae-Sung Cho，and HyunMun Kim，“INTER-PLANE PREDICTION FOR RGB VIDEOCODING”，ICIP 2004，October 2004
[0005] 在非专利文献1中的以AVC的4:2:0格式为编码对象的高4:2:0类(profile)中，在由亮度分量16×16
像素构成的宏
块区域中，对应的色差分量成为Cb、Cr各8×8像素块。在高4:2:0类(profile)中的
运动补偿预测中，多路复用仅对于亮度分量成为运动补偿预测的单位的块尺寸信息、在预测中使用的参考图像信息、在每个块的
运动矢量信息，色差分量使用与亮度分量相同的信息进行运动补偿预测。在4:2:0格式中，具有图像的构造信息的几乎全部汇集在(纹理结构)亮度分量，以及与亮度信号相比较色差分量畸变的可视性低，对于影像再现性贡献小这样的色空间定义上的特征，上述高4:2:0类(profile)的预测·编码是在这种4:2:0格式的性质的前提下组成的。另一方面，在4:4:4格式中，3个色分量同等地保持纹理结构信息，用仅依赖于1个分量的内部预测模式、参考图像信息以及运动矢量信息进行运动补偿预测的方式不能说在图像信号的构造表现时，在各色分量同等地贡献的4:4:4格式中一定是最佳的预测方法。这样，由于以4:2:0格式为对象的编码方式与以4:4:4格式为对象的编码方式，用于进行最佳编码的
信号处理不同，在编码比特流中多路复用的信息的定义也不同，从而为了构成能够把多个不同格式的压缩影像数据进行解码的解码装置，需要采用单独解释对于各格式信号的比特流的结构，存在装置结构效率差的问题。
发明内容
[0006] 因此，本发明的目的在于提供在现有的4:2:0格式等Y、Cb、Cr空间中编码了的比特流与4:4:4格式那样的色分量之间没有抽样比的区别、使压缩了在色空间的定义中具有
自由度的影像信号的比特流具有互换性的比特流生成方法以及解码方法。
[0007] 在以数字运动图像信号为输入进行压缩编码的运动图像编码装置中，具备：对于与输入运动图像信号的
色度格式是4:2:0或4:2:2时的亮度分量相当的信号分量进行内部预测的第1内部预测模式决定部；对于与输入运动图像信号的色度格式是4:2:0或4:2:2时的色差分量相当的信号分量进行内部预测的第2内部预测模式决定部；对由上述第1内部预测模式决定部确定的第1内部预测模式或由上述第2内部预测模式决定部确定的第2内部预测模式进行可变长编码的可变长编码部；根据上述第1内部预测模式生成第1内部预测图像的第1内部预测图像生成部；根据上述第2内部预测模式生成第2内部预测图像的第2内部预测图像生成部；对于作为上述第1内部预测图像或上述第2内部预测图像与输入运动图像信号的相对应的色分量信号的差分得到的预测误差信号，进行变换编码的编码部，根据给出上述输入运动图像信号的色度格式种类的
控制信号，在色度格式是4:2:0或4:2:2的情况下，在上述输入运动图像信号的亮度分量中适用上述第1内部预测模式决定部和上述第1内部预测图像生成部，在色差分量中适用上述第2内部预测模式决定部和上述第2内部预测图像生成部，在色度格式是4:4:4的情况下，在上述输入运动图像信号的全部色分量中适用上述第1内部预测模式决定部和上述第1内部预测图像生成部而进行编码，上述可变长编码部把上述控制信号作为在运动
图像序列单位中适用的编码数据，在比特流中多路复用。
[0008] 对于4:2:0、4:2:2、4:4:4等多个不同色度格式，能够用有效的装置结构统一地进行编码·解码，能够提高影像编码数据的相互连接性。
附图说明
[0009] 图1是表示序列、图片、片、宏块的关系的说明图。
[0010] 图2是表示共同编码处理的说明图。
[0011] 图3是表示独立编码处理的说明图。
[0012] 图4是表示实施形态1中的编码装置的结构的
框图。
[0013] 图5是表示内部N×N预测(N＝4或8)的说明图。
[0014] 图6是表示内部16×16预测的说明图。
[0015] 图7是表示4:2:0/4:2:2Cb/Cr内部预测的说明图。
[0016] 图8是表示宏块的单位的说明图。
[0017] 图9是表示4:2:0/4:2:2Y，4:4:4运动补偿预测图像生成处理的说明图。
[0018] 图10是表示4:2:0/4:2:2Cb/Cr运动补偿预测图像生成处理的说明图。
[0019] 图11是表示4:2:0，4:2:2Y预测残差编码处理的说明图。
[0020] 图12是表示4:2:0以及4:2:2的Cb/Cr预测残差编码处理的说明图。
[0021] 图13是表示比特流30的说明图。
[0022] 图14是表示片构造的说明图。
[0023] 图15是表示4:4:4的共同和独立的编码片的说明图。
[0024] 图16是表示实施形态1中的解码装置的结构的框图。
[0025] 图17是表示可变长解码部的宏块层(layer)内部处理的说明图。
[0026] 图18是表示在Cb/Cr分量下，与色度格式相对应的内部预测的切换的说明图。
[0027] 图19是表示在Cb/Cr分量下，与色度格式相对应的MC的切换的说明图。
[0028] 图20是表示4:2:0，4:2:2Y，4:4:4预测残差解码处理的说明图。
[0029] 图21是表示4:2:0以及4:2:2的Cb/Cr预测残差解码处理的说明图。
[0030] 图22是表示C1分量以及C2分量的预测残差解码部的内部结构的说明图。
[0031] 图23是表示格式的说明图。
[0032] (附图标记说明)
[0033] 1：色度格式识别信息
[0034] 2：共同编码·独立编码识别信息
[0035] 3：输入影像信号
[0036] 4：仅内部编码指示信息
[0037] 5：C0分量内部预测模式决定部
[0038] 6：C1/C2分量内部预测模式决定部
[0039] 7：C0分量内部预测图像生成部
[0040] 8：C1/C2分量内部预测图像生成部
[0042] 10：C1/C2分量运动检测部
[0043] 11：C0分量运动补偿部
[0044] 12：C1/C2分量运动补偿部
[0046] 14：编码模式选择部
[0047] 15：编码模式
[0048] 16：减法器
[0049] 17：预测残差信号
[0050] 18：C0分量预测残差编码部
[0051] 19：C1分量预测残差编码部
[0052] 20：C2分量预测残差编码部
[0053] 21、22、23：量化系数数据
[0054] 24：C0分量局部解码部，C0分量预测残差解码部
[0055] 25：C1分量局部解码部，C1分量预测残差解码部
[0056] 26：C2分量局部解码部，C2分量预测残差解码部
[0057] 27：可变长解码部
[0059] 29：行存储器
[0060] 30：比特流
[0061] 31：图像尺寸信息
[0062] 32：量化参数
[0063] 33：色分量识别标志
[0064] 34：预测图像
[0065] 100：C0分量内部预测模式
[0066] 101：C1/C2分量内部预测模式
[0067] 102：Y分量的运动信息
[0068] 103：Cb/Cr分量的运动信息
[0069] 104：变换块尺寸指示信息
[0070] 200：可变长解码部
[0072] 202：行存储器
具体实施方式
[0073] 实施形态1
[0074] 在本实施形态1中，叙述以在(Y，Cb，Cr)色空间中定义的4:2:0、4:2:2各色度格式(chroma format)的影像信号以及在(R，G，B)、(Y，Cb，Cr)，(X，Y，Z)等色空间中定义的4:4:4色度格式的影像信号的任一个为输入进行影像编码并输出比特流的编码装置，以及以由该编码装置生成的编码比特流为输入，解码图像信号的解码装置。在以后的说明中，把
3个色分量总称为(C0，C1，C2)分量，4:2:0、4:2:2色度格式时的C0分量视为Y分量，C1分量视为Cb分量，C2分量视为Cr分量。
[0075] 本实施形态1中的编码装置如图1所示，以作为通过时间抽样利用帧或者场的单位定义的画面信息(以后称为图片)的时序数据表现的影像信号为输入。把以时序排列图片的数据单位称为序列(sequence)。序列有时分割为若干个图片的组(GOP)。GOP在保证从任意的GOP的开头能够不依赖于其它的GOP而执行解码，保证对于比特流的随机
访问这样的用途中利用。图片进而被分割成称为宏块(macroblock)的正方块，以宏块的单位适用预测·变换·量化处理进行影像压缩。另外，把汇集了多个宏块的单位称为片(slice)。片是能够与不同的片独立地进行编码和解码的数据单位，在例如把HDTV或者具有更高分辨率的影像信号进行实时处理时，通过进行片分割，并行地把各片进行编码和解码来缩短运算时间，或者在用错误率高的线路传输比特流的情况下，即使某个片受错误的影响被破坏，解码图像紊乱，也能够从下一个片起恢复到正确的解码处理这样的用途中利用。一般，在片的边界，由于不能够使用利用了与邻接片的信号的依赖性的预测等，因此片的数量越增加编码性能越降低，但是具有对于并行处理的柔性或者对于错误的耐性高这样的特征。
[0076] 4:2:0、4:2:2、4:4:4的各色度格式时的宏块在图23中定义为W＝H＝16的像素块。由于以宏块的单位适用预测·变换·量化处理并进行影像压缩，因此在比特流中多路复用(multiplex)的宏块的编码数据大致由两种信息构成。一种是预测模式或者运动预测信息、用于量化的参数这样的与影像信号自身不同的边信息(sideinformation)的种类，把它们总称为宏块标题(header)。另一种是影像信号自身的信息，在本实施形态1中，被编码的影像信号是作为根据宏块标题的信息进行了预测·变换·量化的结果得到的预测误差信号的压缩数据，由于用把变换系数量化了的形式表现，因此以后称为量化系数数据。
[0077] 以后，把1帧或者1场的3个色分量信号用共同的宏块标题进行编码的处理记为「共同编码处理」，把1帧或者1场的3个色分量信号用分别独立的宏块标题进行编码的处理记为「独立编码处理」。同样，把从1帧或1场的3个色分量信号利用共同的宏块标题进行了编码的比特流解码出图像数据的处理记为「共同解码处理」，把从1帧或1场的3个色分量信号利用分别独立的宏块标题进行了编码的比特流解码出图像数据的处理记为「独立解码处理」。本实施形态1的编码装置对于4:4:4色度格式的信号，构成为能够选择进行根据共同编码处理的编码或者进行根据独立编码处理的编码来进行编码。在共同编码处理中，把1帧或1场的3个色分量汇总定义成1个图片，分割为汇总了3个色分量的形式的宏块(图2)。该图以及在以后的说明中，把3个色分量称为C0、C1、C2分量。另一方面，在独立编码处理中，把1帧或1场的输入影像信号分离成3个色分量，分别定义为图片，把各图片分割为由单一的色分量构成的宏块(图3)。即，成为共同编码处理的对象的宏块包括C0、C1、C2的3个色分量的抽样(像素)，而成为独立编码处理的对象的宏块仅包括C0或者C1或者C2分量中的某一个分量的抽样(像素)。另外，本实施形态1中的编码装置对于4:2:0、4:2:2的色度格式，始终使用图2的宏块定义，适用与「共同编码处理」、「共同解码处理」相当的编码处理。
[0078] <编码装置>
[0079] 图4表示本实施形态1的编码装置的结构。以下，把
指定成为编码对象的输入影像信号的色度格式的信息称为色度格式识别信息1，把表示是进行根据共同编码处理的编码还是进行根据独立编码处理的编码的识别信息称为共同编码·独立编码识别信息2。
[0080] 输入影像信号3首先根据色度格式识别信息1、共同编码·独立编码识别信息2，分割为图2或图3的某一个宏块数据，根据仅内部编码(intra only encoding)指示信息4，进行内部预测处理(C0分量内部预测模式决定部5，C1/C2分量内部预测模式决定部6，C0分量内部预测图像生成部7，C1/C2分量内部预测图像生成部8)，运动补偿预测处理(C0分量运动检测部9，C1/C2分量运动检测部10，C0分量运动补偿部11，C1/C2分量运动补偿部12)，选择在对该宏块进行编码时效率最好的预测模式(编码模式选择部14)，对预测残差进行变换·量化(C0分量预测残差编码部18，C1分量预测残差编码部19，C2分量预测残差编码部20)，把预测模式或者运动信息等边信息和被量化了的变换系数进行可变长编码，生成比特流30(可变长编码部27)。另外，局部解码被量化了的变换系数(C0分量局部解码部24，C1分量局部解码部25，C2分量局部解码部26)，通过把边信息与根据参考图像数据得到的预测图像相加，得到局部解码图像，在根据需要实施了抑制伴随量化的块边界畸变的分块(deblocking)滤波(分块滤波器部28)以后，为了在以后的预测处理中使用，保存到帧存储器13以及/或者行存储器(line memory)29中。在仅内部编码指示信息4指示「仅实施内部编码」的情况下，不执行运动补偿预测处理，仅执行内部预测处理。
[0081] 以下，对于作为本实施形态1的特征的根据色度格式识别信息1、共同编码·独立编码识别信息2、仅内部编码指示信息4等进行处理切换的内部预测处理、运动补偿预测处理、预测残差编码处理、可变长编码处理(以及作为其结果得到的比特流结构)分别说明详细过程。
[0082] (1)内部预测处理
[0083] 内部预测处理由图4的C0分量内部预测模式决定部5、C1/C2分量内部预测模式决定部6、C0分量内部预测图像生成部7、C1/C2分量内部预测图像生成部8执行。
[0084] 在色度格式是4:2:0、4:2:2的情况下，Y分量的信号由C0分量内部预测模式决定部5决定C0分量内部预测模式100。这里能够选择的模式有内部4×4预测模式、内部8×8预测模式、内部16×16预测模式的3种。关于内部4×4预测模式和内部8×8预测模式，把宏块分割为由4×4像素或者8×8像素构成的块，如图5所示，对每一个块分别进行使用了附近参考像素的空间预测。该预测方法的选择分支有9个，对使用9个中的哪一个方法进行预测，以内部预测模式的形式编码为边信息之一。在图5的矩形中包围的4×4像素是预测对象的像素，涂上了斜线的像素是用于生成预测图像的参考像素。箭头表示参考像素对预测值产生影响的方向。Mode2把参考像素的平均值作为预测值。图5表示4×4块的例子，而对于8×8像素块也能够定义相同的模式。通过进行具有这种方向性的空间预测，对于被拍摄物体的轮廓或者纹理结构(texture)图形等图像的构造信息能够进行有效的预测。
[0085] 另外，作为不细分宏块、直接使用16×16块进行内部预测的模式，有内部16×16预测模式(图6)。这种情况下，能够选择图6表示的4种空间预测方法。这一点作为对于构图平坦的图像区域用很少的边信息提高预测效果的模式是有效的。
[0086] 关于Cb、Cr分量，由C1/C2分量内部预测模式决定部6，决定与Y分量独立的C1/C2分量内部预测模式101(把与C1、C2分别相对应的模式作为101a、101b。另外，在4:2:0、4:2:2时，101a、101b始终是相同的值，任一方在比特流中被多路复用。在
解码器中把解码了的值设定为101a、101b。)。图7表示4:2:0、4:2:2色度格式时能够选择的Cb、Cr分量的内部预测模式。该图7是表示4:2:0格式时的图，而4:2:2格式也使用相同的模式。在该
4个模式中，仅有mode0把Cb、Cr的宏块相当区域(4:2:0的情况下是8×8像素块，4:2:2的情况下是8×16像素块)分割为4×4块，以4×4块的单位进行来自周围的平均值预测。
例如，对于左上方的4×4块，把区域a、区域x的全部8个像素进行平均，或者把a或x的
4个像素进行平均的某一个值用作为预测值。关于Mode1、2、3与图5、图6相同，成为具有方向性的空间预测。在4:2:0、4:2:2色度格式下，图像的纹理结构等构造上的信息汇总到Y分量，关于作为色差分量信号的Cb、Cr分量不保存图像的构造信息。从而，用这种简易的预测模式进行有效的预测。
[0087] 在色度格式是4:4:4的情况下，C0、C1、C2的各分量没有固定为Y、Cb、Cr，在R、G、B等色空间中，在各色分量上保持与Y分量相当的图像构造信息，因此在上述那样的对于Cb、Cr分量的预测中，有时不能得到充分的预测效率。因此，在本实施形态1的编码装置中，在色度格式是4:4:4的情况下，C0、C1、C2都进行基于与C0分量的内部预测模式决定部5相当的处理的内部预测模式的选择。更具体地讲，在共同编码·独立编码识别信息2表示「共同编码处理」的情况下，用共同的唯一的内部预测模式来预测C0、C1、C2分量。另一方面，在共同编码·独立编码识别信息2表示「独立编码处理」的情况下，对于C0、C1、C2分量，用单独求出的内部预测模式进行预测。即，在色度格式是4:4:4而且共同编码·独立编码识别信息2表示「共同编码处理」的情况下，C0、C1、C2分量全部以C0分量内部预测模式100进行内部预测。在色度格式是4:4:4而且共同编码·独立编码识别信息2表示「独立编码处理」的情况下，C1、C2分量根据从图5或图6表示的与C0分量相对应的内部预测模式独立于C0分量求出的C1/C2分量内部预测模式101a、101b进行内部预测。
[0088] 在图4的编码装置的结构中，在色度格式是4:4:4而且共同编码·独立编码识别信息2表示「共同编码处理」的情况下，C0分量由C0分量内部预测模式决定部5决定预测模式，C1、C2分量直接使用在C0分量中使用的预测模式，或者兼用C1/C2分量内部预测模式决定部6，对于C0、C1、C2的所有分量决定一个成为最佳的唯一的内部预测模式。在色度格式是4:4:4而且共同编码·独立编码识别信息2表示「独立编码处理」的情况下，C0分量由C0分量内部预测模式决定部5决定预测模式，C1、C2分量由C1/C2分量内部预测模式决定部6，分别单独决定最佳的内部预测模式。
[0089] 在所有的内部预测处理中，成为参考像素的周围像素值必须是没有实施分块滤波的局部解码图像。因此，把通过作为C0分量局部解码部24、C1分量局部解码部25、C2分量局部解码部26的输出的局部解码预测残差信号17b与预测图像34相加得到的分块滤波处理前的像素值保存在行存储器29中，在内部预测中使用。
[0090] 根据通过以上的处理决定的各色分量的内部预测模式，在C0分量内部预测图像生成部7、C1/C2分量内部预测图像生成部8中进行预测图像的生成。关于C0分量内部预测图像生成部7、C1/C2分量内部预测图像生成部8，由于在解码装置中也使用共同的部件，因此详细的动作在解码装置一侧的说明中叙述。
[0091] (2)运动补偿预测处理
[0092] 运动补偿预测处理由图4的C0分量运动检测部9、C1/C2分量运动检测部10、C0分量运动补偿部11、C1/C2分量运动补偿部12进行。
[0093] 在色度格式是4:2:0、4:2:2的情况下，Y分量的信号由C0分量运动检测部9决定运动信息。运动信息包括指示在预测中使用保存在帧存储器13中的1张以上参考图像数据中的哪个参考图像的参考图像索引(index)、在用参考图像索引指定的参考图像中适用的运动矢量。
[0094] 在C0分量运动检测部9中，从保存在帧存储器13中的运动补偿预测参考图像数据中选择参考图像，以宏块的单位进行对于Y分量的运动补偿预测处理。在帧存储器13中，遍及当前或过去·未来的多个时刻，保存多张参考图像数据，从这些数据中以宏块的单位选择最佳的参考图像进行运动预测。准备7种成为实际进行运动补偿预测的单位的块尺寸，首先在宏块单位中，如图8(a)到(d)所示，选择16×16、16×8、8×16、8×8的某一种尺寸。进而，在选择了8×8的情况下，在各个8×8块中，如图8(e)到(h)所示，选择8×8、8×4、
4×8、4×4的某一种尺寸。对于图8的所有或者一部分块尺寸、子块尺寸、预定的搜索范围的运动矢量以及可利用的1张以上的参考图像，在每一个宏块执行运动补偿预测处理，得到Y分量的运动信息(运动矢量以及参考图像索引)102。关于Cb、Cr分量与Y分量相同，使用参考图像索引，利用Y分量的运动矢量，求Cb/Cr分量的运动信息103(具体地讲，与Y和Cb、Cr的抽样比相当地，进行Y分量的运动矢量的按比例缩放(scaling)来求出)。该处理在C1/C2分量运动检测部10中进行。
[0095] 另外，在运动检测部中评价的运动补偿预测图像候选以及在运动补偿部中生成的预测图像的生成方法在Y分量和Cb、Cr分量中存在以下的不同。
[0096] 关于Y分量，不仅是实际上输入到编码装置的像素(以下，称为整数像素)
位置，而且通过内插处理还虚拟地产生作为整数像素之间的中点的1/2像素位置或者作为1/2像素之间的中点的1/4像素位置的像素，在预测图像的生成中使用。图9表示该状况。图9中，为了得到1/2像素位置的像素值，使用其周围6个像素部分的数据实施内插(interpolation)滤波，得到像素值。为了得到1/4像素位置的像素值，使用周围2个像素部分通过基于平均处理的线性内插得到像素值。运动矢量以1/4像素
精度为单位表现。与此不同，在Cb、Cr的预测图像生成中，如图10所示，关于作为按比例缩放相对应的Y分量的运动矢量的结果得到的运动矢量指示的像素位置的像素值，从其附近4个位置的整数像素的像素值通过与像素间距离相对应的加权线性内插处理求出。
[0097] 在色度格式是4:4:4的情况下，C0、C1、C2的各分量没有被固定为Y、Cb、Cr，在R、G、B等色空间中，在各色分量上保持与Y分量相当的图像构造信息，因此在上述那样的对于Cb、Cr分量的预测图像生成方法中，有时不能得到充分的预测效率。因此，在本实施形态1的编码装置中，在色度格式是4:4:4的情况下，与C0、C1、C2一起，进行基于与C0分量运动检测部9以及C0分量运动补偿部11相当的处理的预测图像候选或预测图像的生成，得到运动信息。更具体地讲，在共同编码·独立编码识别信息2表示「共同编码处理」的情况下，求C0、C1、C2分量共同的唯一的运动信息102。如在4:2:0、4:2:2的情况下那样在把某个特定的色分量的运动矢量在其它的分量中适用时不进行按比例缩放的处理。另一方面，在共同编码·独立编码识别信息2表示「独立编码处理」的情况下，使C0、C1、C2分量独立，求单独的运动信息。在图4的编码装置的结构中，在色度格式是4:4:4而且共同编码·独立编码识别信息2表示「共同编码处理」的情况下，C0分量由C0分量运动检测部9决定C0分量运动信息102，C1、C2分量直接使用C0分量运动信息或者兼用C1/C2分量运动检测部10，对于C0、C1、C2的所有分量决定一个成为最佳的唯一的运动信息102。在色度格式是
4:4:4而且共同编码·独立编码识别信息2表示「独立编码处理」的情况下，C0分量由C0分量运动检测部9决定C0分量运动信息102，C1、C2分量由C1/C2分量运动检测部10分别单独决定最佳的运动信息103a、103b。
[0098] 根据通过以上的处理决定的各个色分量的运动信息在C0分量运动补偿部11、C1/C2分量运动补偿部12中进行预测图像的生成。关于C0分量运动补偿部11、C1/C2分量运动补偿部12，在解码装置中也使用共同的部件，因此其详细的动作在解码装置一侧的说明中叙述。
[0099] (3)预测残差编码处理
[0100] 由编码模式选择部14评价作为以上的内部预测处理的结果得到的最佳的内部预测模式及其预测图像，以及作为运动补偿预测处理的结果得到的最佳的运动信息(运动矢量、参考图像索引)及其预测图像，选择最佳的编码模式15。如果编码模式15是内部预测，则由减法器16取输入影像信号3与根据内部预测的预测图像之间的差分，得到预测残差信号17a。如果编码模式15是运动补偿预测，则由减法器16取输入影像信号3与根据运动补偿预测的预测图像之间的差分，得到预测残差信号17a。
[0101] 所得到的预测残差信号17a由C0分量预测残差编码部18、C1分量预测残差编码部19、C2分量预测残差编码部20进行变换·量化而实施信息压缩。在C1分量预测残差编码部19、C2分量预测残差编码部20中，根据色度格式识别信息1、共同编码·独立编码识别信息2，切换对于C1/C2分量的处理。
[0102] 对在色度格式是4:2:0、4:2:2时的Y分量以及色度格式是4:4:4时的C0分量，在C0分量预测残差编码部18中，进行图11表示的预测残差编码处理。本处理中，首先，在编码模式15是选择了内部8×8预测模式，或者以8×8块单位把预测残差信号17a进行整数变换的模式的情况下，以把宏块内进行4分割了的8×8块的单位进行整数变换，进行遵从量化参数32的量化处理，得到量化系数数据21。在编码模式15是其以外的情况下，首先以4×4块单位进行整数变换，接着，在编码模式15是内部16×16预测模式的情况下，仅汇总各4×4块的变换系数的DC分量构成4×4块，实施阿达玛(Hadamard)变换。对于DC分量，对该阿达玛变换系数进行遵从变换参数32的量化，其余的4×4块的15个AC分量单独进行量化处理。在编码模式15不是内部16×16预测模式的情况下，对于16个变换系数同时进行遵从量化参数32的量化处理。
[0103] 对于色度格式是4:2:0、4:2:2时的Cb分量以及色度格式是4:4:4时的C1分量，在C1分量预测残差编码部19中进行预测残差编码处理。这时，在色度格式是4:2:0、4:2:2的情况下，在图12表示的处理中，在色度格式是4:4:4的情况下，在图11表示的处理中，进行预测残差编码，因此以下仅记述色度格式是4:2:0、4:2:2时的处理。在本处理中不依赖编码模式15，把宏块的Cb分量信号分割到4×4块中进行整数变换，进行遵从量化参数32的量化处理，得到量化系数数据22。首先，以4×4块单位进行整数变换，接着，汇集各4×4块的DC分量，构成2×2块(色度格式是4:2:0时)或者2×4块(色度格式是4:2:2时)，实施阿达玛变换。对于DC分量，对该阿达玛变换系数进行遵从量化参数32的量化，剩余的4×4块的15个AC分量单独进行遵从量化参数32的量化处理。
[0104] 对于色度格式是4:2:0，4:2:2时的Cr分量以及色度格式是4:4:4时的C2分量，在C2分量预测残差编码部20中进行预测残差编码处理。这时，在色度格式是4:2:0，4:2:2的情况下，在图12表示的处理中，在色度格式是4:4:4的情况下，在图11表示的处理中，进行预测残差编码，作为输出得到量化系数数据23。
[0105] 另外，对于各色分量量化的结果，确定表示是否存在以8×8块单位有效的(即，非0)系数的CBP(编码块图形)的信息，该信息作为宏块单位的再次信息之一，在比特流中多路复用。CBP的定义也根据色度格式识别信息1、以及共同编码·独立编码识别信息2切换，详细过程在解码装置的说明中叙述。
[0106] 把通过以上的处理得到的量化系数数据21、22、23作为输入，由C0分量局部解码部24、C1分量局部解码部25、C2分量局部解码部26得到局部解码预测残差信号。这些局部解码部由于使用与解码装置一侧完全相同的部件，因此详细的动作在解码装置一侧的说明中叙述。
[0107] (4)可变长编码处理
[0108] 在可变长编码部27中作为序列级的标题信息，输入色度格式识别信息1、共同编码·独立编码识别信息2、仅内部编码指示信息4、图像尺寸信息31。另外，在共同编码·独立编码识别信息2表示「独立编码处理」的情况下，输入支持当前正在编码处理的图片属于哪个色分量的色分量识别信息，根据该信息，在正在编码处理的片开头中提供色分量识别标志33。由此，在解码装置一侧，能够识别所接受的片包括哪个色分量的编码数据。作为宏块级的编码数据，输入编码模式15、内部预测模式100·101、运动信息102·103、量化参数32、变换块尺寸指示信息104、量化系数数据21·22·23等，通过哈夫曼编码或者算术编码，进行
熵编码，在比特流30中多路复用。比特流30以汇总了一个或多个宏块的片数据的单位构成包(在AVC中也称为NAL单元化)后输出。
[0109] 图13中表示比特流30的整体图。在作为序列级的标题信息的序列参数组(SPS)中，多路复用色度格式识别信息1、共同编码·独立编码识别信息2、仅内部编码指示信息4、图像尺寸信息31。共同编码·独立编码识别信息2由于仅在色度格式是4:4:4的情况下是必须的，因此仅在色度格式识别信息1是4:4:4的情况下多路复用。在作为图片级的标题信息的图片参数组(PPS)中，多路复用在图片开头使用的量化参数32的初始值等。图像编码数据在片以下中多路复用，根据色度格式识别信息1、共同编码·独立编码识别信息2的值，如图14、图15那样，数据形式不同。
[0110] 根据色度格式识别信息1，在表示色度格式是4:2:0、4:2:2的情况下，成为图14那样的片构造。图14中SH是片标题，MB是宏块编码数据，MBH是宏块标题，Tx是x分量的量化系数数据。这时，片在图2的结构中，包括由遵从色度格式的抽样比的Y、Cb、Cr的像素构成的宏块的编码数据，在MBH中包括与编码模式15相当的宏块种类，在宏块种类表示内部预测模式的情况下，包括C0即Y分量的内部预测模式100、C1/C2即Cb/Cr分量的共同的内部预测模式101、在量化系数数据的量化·反量化中使用的量化参数32等。在宏块种类表示运动补偿预测(间(inter))模式的情况下，包括C0即Y分量的运动信息102(运动矢量以及参考图像索引)、在量化系数数据的量化·反量化中使用的量化参数32等。
[0111] 根据色度格式识别信息1，在表示色度格式是4:4:4的情况下，根据共同编码·独立编码识别信息2的值，成为图15那样的片构造。在共同编码·独立编码识别信息2表示「共同编码处理」的情况下(图15A)，片是在图2的结构中，包括由遵从色度格式的抽样比的C0、C1、C2分量的像素构成的宏块编码数据，在MBH中包括与编码模式15相当的宏块种类，在宏块种类表示内部预测模式的情况下，包括C0/C1/C2的所有分量共同的内部预测模式100、在量化系数数据的量化·反量化中使用的量化参数32等。在宏块种类表示运动补偿预测(间(inter))模式的情况下，包括C0/C1/C2的所有分量共同的运动信息102(运动矢量以及参考图像索引)、在量化系数数据的量化·反量化中使用的量化参数32等。
[0112] 在共同编码·独立编码识别信息2表示「独立编码处理」的情况下(图15B)，片是在图3的结构中，包括由C0、C1、C2的某一个色分量(Ck)的像素构成的宏块编码数据。Ck作为指示与C0、C1、C2的哪一个色分量相当的信息，在片的开头提供色分量识别标志33。在MBH中包括与编码模式15相当的宏块种类，在宏块种类表示内部预测模式的情况下，包括Ck分量的内部预测模式100、在量化系数数据的量化·反量化中使用的量化参数32等。在宏块种类表示运动补偿预测(间(inter))模式的情况下，包括Ck分量的运动信息102(运动矢量以及参考图像索引)、在量化系数数据的量化·反量化中使用的量化参数32等。
[0113] 另外，虽然没有图示，然而根据需要，有时插入表示访问单元(在色度格式是4:2:0、4:2:2的情况下或者进行共同编码处理的情况下是1个图片，在进行独立编码处理的情况下是3个图片)的中断(break)的独特码(unique word)(AVC的访问单元定界符，MPEG-2标准的图片起始码，MPEG-4标准的VOP起始码等)。
[0114] 通过以上那样构成比特流，即使在把4:2:0、4:2:2、4:4:4等多个不同色度格式一起进行编码处理的情况下，由于能够共用被编码的预测模式、运动信息的检测·生成方法或者编码数据的语义(semantics)，因此能够使编码装置的结构更有效。另外，由于能够以单一形式的比特流表现4:2:0、4:2:2、4:4:4等多个不同色度格式的影像编码数据，因此本实施形态1的编码装置输出的比特流30能够在处理多个不同色度格式的传输·记录系统中满足高的相互连接性。
[0115] 另外，在图4的编码装置中，构成为根据仅内部编码指示信息4控制编码处理。仅内部编码指示信息4是指示编码装置是否进行基于运动补偿预测的时间方向的预测处理的信号，在该信号表示是「仅内部编码」的情况下，对于输入影像信号3的所有的图片，不进行基于运动补偿预测的时间方向的预测，而进行封闭在画面内的编码(仅是内部预测的编码)。另外，这时在图片编码部内部同时使分块滤波无效。在仅内部编码指示信息4表示「不是仅内部编码」的情况下，对于输入影像信号3的图片，也使用基于运动补偿预测的时间方向的预测，进行利用了画面内·画面之间的所有相关性的编码。仅内部编码指示信息4在可变长编码部27中，提供到序列参数组上，在比特流30中多路复用。由此，在以比特流30为输入的解码装置中，通过把序列参数组中的仅内部编码指示信息4解码，确认其值，能够识别是否对比特流30进行了仅内部编码，因此在进行了仅内部编码的情况下，不执行分块滤波处理，能够减少解码装置的运算量。另外，在仅内部编码指示信息4表示「是仅内部编码」的情况下，由于不执行运动补偿预测，因此也不进行作为参考图像向帧存储器13的写入。通过这样构成还减少存储器访问。
[0116] 进而，构成为根据输入影像信号3的画面尺寸信息31控制编码处理。画面尺寸信息31是表示输入影像信号3的图片内宏块数的信息，在该值大于预定的
阈值的情况下，确定包含在片中的宏块的个数的上限值，进行控制使得片不包括比该上限值多的宏块。具体地讲，图像尺寸信息31输入到可变长编码部27中，可变长编码部27根据图像尺寸信息31，决定包含在片内的宏块的个数的上限值。可变长编码部27预先计数编码了的宏块的个数，当包含在片内的宏块的个数达到了上述上限值时，闭合片数据的包，以后的宏块作为新的片数据构成包。图像尺寸信息31在可变长编码部27中提供到序列参数组中，在比特流
30中多路复用。由此，在输入影像信号3的画面尺寸大(即，空间分辨率高)的情况下，编码装置·解码装置都能够确定可并行处理的单位，能够进行顺利的任务分配。
[0117] <解码装置>
[0118] 图16表示本实施形态1的解码装置的结构。图16的解码装置采用以比特流30为输入，根据包含在比特流中的色度格式识别信息1切换内部解码处理的结构，与多个不同色度格式的编码数据的解码处理相对应。
[0119] 输入比特流30首先被进行可变长解码处理(可变长解码部200)，色度格式识别信息1、共同编码·独立编码识别信息2、仅内部编码指示信息4、图像尺寸信息31等作为上位标题信息被解码，在序列解码过程中被保持。接着，根据按照色度格式识别信息1、共同编码·独立编码识别信息2确定的图14、图15的片构造、图2或图3的某一个宏块构造，在每一个宏块数据中进行解码处理。在宏块单位的解码中，首先遵从被解码了的编码模式15，进行内部预测图像生成处理(C0分量内部预测图像生成部7，C1/C2分量内部预测图像生成部8)、运动补偿处理(C0分量运动补偿部11，C1/C2分量运动补偿部12)，进行对于该宏块的预测图像的生成。另一方面，通过对于作为宏块编码数据的一部分被解码了的量化系数数据实施反量化·反整数变换处理，把预测残差信号17b解码(C0分量预测残差解码部24，C1分量预测残差解码部25，C2分量预测残差解码部26)。接着，通过把预测图像34与预测残差信号17b相加得到暂定解码图像。在根据需要实施了抑制伴随量化的块边界畸变的分块滤波(分块滤波器部28)以后，为了在以后的预测图像生成处理中使用，保存在帧存储器201以及/或者行存储器202中。在仅内部编码指示信息4指示「仅实施内部编码」的情况下，不执行运动补偿处理，仅执行内部预测图像生成处理。
[0120] 以下，对于作为本实施形态1的特征的、根据色度格式识别信息1、共同编码·独立编码识别信息2、仅内部编码指示信息4等进行处理切换的可变长解码处理、内部预测图像生成处理、运动补偿处理、预测残差解码处理，分别说明详细过程。
[0121] (1)可变长解码处理
[0122] 比特流30首先输入到可变长解码部200，进行图13的序列参数组或者图片参数组等的上位标题的分析处理。在该过程中，解码色度格式识别信息1、共同编码·独立编码识别信息2、仅内部编码指示信息4、图像尺寸信息31。只有在色度格式识别信息1表示是4:4:4色度格式的情况下，从比特流30中
抽取共同编码·独立编码识别信息2。这些参数在序列的解码期间中，保持在可变长解码部200的内部存储器中。
[0123] 接着，进行片NAL单元的解码。首先，仅在色度格式识别信息1表示是4:4:4色度格式而且共同编码·独立编码识别信息2表示是「独立编码处理」的情况下，把色分量识别标志33解码，识别当前片包含哪种色分量的编码数据。接着进行片标题的解码，进入到属于片的宏块编码数据的解码。
[0124] 使用图17说明宏块编码数据的排列及其分析·解码处理的流程。在宏块的解码中，
[0125] (a)首先如图14、图15那样，把与编码模式15相当的宏块种类(图17的mb_type)解码。
[0126] (b)在SW1中，评价mb_type，在mb_type表示PCM模式(非压缩，把像素值直接在比特流中多路复用的模式)的情况下，直接从比特流抽取宏块中的像素数部分的非压缩数据，结束该宏块的解码处理。
[0127] (c)在SW1中mb_type不是PCM模式，在SW2中评价mb_type，在是以8×8块以下的尺寸进行运动补偿预测的模式的情况下，把8×8块以下的子宏块种类(sub_mb_type)解码，把每一个子块的运动信息(运动矢量·参考图像索引)解码。然后进入到SW4。
[0128] (d)在SW2中mb_type与(c)的条件不一致，在SW3中评价mb_rype，在间(inter)编码模式下，作为预测残差信号17b的变换块尺寸能选择8×8块的情况下，把变换块尺寸指示信息104解码，进而把运动信息解码。在运动信息的解码时，根据色度格式识别信息1、共同编码·独立编码识别信息2，如以下那样进行解码。然后进入到SW4。
[0129] (1)当色度格式是4:2:0或者4:2:2时，
[0130] 解码的运动信息解码为C0分量运动信息102。
[0131] (2)当色度格式是4:4:4、共同编码处理时，
[0132] 解码的运动信息解码为在C0、C1、C2分量中共同使用的运动信息102、103。
[0133] (3)在色度格式是4:4:4、独立编码处理时，
[0134] 解码的运动信息解码为在色分量识别标志33表示的Ck分量中使用的运动信息。
[0135] (e)在SW2中mb_type与(c)的条件不一致，在SW3中评价bm_type，在是内部4×4预测或者内部8×8预测模式的情况下，把内部预测模式信息解码。在内部预测模式信息的解码时，根据色度格式识别信息1、共同编码·独立编码识别信息2如以下那样进行解码。然后进入到SW4。
[0136] (1)当色度格式是4:2:0或者4:2:2时，
[0137] 对于Y分量，把以4×4或8×8块的单位确定的C0分量内部预测模式100解码，对于Cb/Cr分量，把与其独立进行编码的C1/C2分量内部预测模式101解码。
[0138] (2)在色度格式是4:4:4、共同编码处理时，
[0139] 解码的内部预测模式信息解码为在C0、C1、C2分量中共同使用的内部预测模式信息100、101。
[0140] (3)在色度格式是4:4:4、独立编码处理时，
[0141] 解码的内部预测模式信息解码为在色分量识别标志33表示的Ck分量中使用的内部预测模式信息。
[0142] (f)在SW3中mb_type与(d)或(e)的条件不一致，SW4中评价mb_type，在是内部16×16预测模式的情况下，把组装到mb_type中的内部16×16预测模式解码，然后，在色度格式识别信息1表示4:2:0或者4:2:2色度格式的情况下，按照上述(e)的(1)，把与Y分量独立的C1/C2分量内部预测模式101解码。接着，把量化参数解码。
[0143] (g)在SW4中mb_type与(f)的条件不一致的情况下，把CBP(编码块图形)解码，根据CBP的值，对于表示全部系数为0的8×8块，把量化系数数据的解码结果设置为全0。如果CBP表示在宏块内的某一个8×8块中存在有效系数(SW5)，则把量化参数解码。解码了的CBP在色度格式识别信息1表示4:2:0或者4:2:2色度格式的情况下，解码为判别是否有对于亮度分量的4个8×8块以及色差分量的N个(对于4:2:0，N＝2，对于4:2:2，N＝4，)8×8块的有效系数数据的信息。另一方面，在色度格式识别信息1表示4:4:4色度格式以及在共同编码·独立编码识别信息2表示「共同编码」的情况下，解码为对于4个
8×8块的区域规定在C0、C1、C2的同一个空间上的8×8块的某一个中是否存在有效系数的信息。在共同编码·独立编码识别信息2表示「独立编码」的情况下，在C0，C1，C2的每一个分量中单独解码CBP，解码为与色度格式是4:2:0或者4:2:2时的亮度分量同样定义的信息。
[0144] (h)关于解码了量化参数的宏块，进行量化系数数据的解码。这里，进行遵从根据色度格式识别信息1、共同编码·独立编码识别信息2确定的图14、图15的片、宏块数据构造的量化系数数据Tx的解码。
[0145] (2)内部预测图像生成处理
[0146] 内部预测图像生成处理由图16的C0分量内部预测图像生成部7、C1/C2分量内部预测图像生成部8进行。它们与在图4的编码装置中说明过的部件相同。
[0147] 在色度格式是4:2:0、4:2:2的情况下，Y分量的信号根据从可变长解码部200供给的C0分量内部预测模式100，在C0分量内部预测图像生成部7中生成预测图像。作为C0分量内部预测模式100，有上述的内部4×4预测模式、内部8×8预测模式、内部16×16预测模式的3种。关于内部4×4预测模式和内部8×8预测模式，把宏块分割为由4×4像素或者8×8像素构成的块，如图5所示，在每一个宏块中，通过使用了附近参考像素的空间预测分别生成预测图像。该预测图像生成方法的选择分支有9个，使用9个中的哪一种方法生成预测图像这一点作为C0分量内部预测模式100供给到C0分量内部预测图像生成部7。图5表示4×4块的例子，而关于8×8像素块也定义同样的模式。具有这种方向性的空间预测模式的效果与上述相同。
[0148] 另外，作为不细分宏块，直接以16×16块进行内部预测的模式，有内部16×16预测模式(图6)。这种情况下，从图6表示的4种空间预测选择预测图像生成方法。这种空间预测模式的效果与上述相同。
[0149] 关于Cb、Cr分量，由C1/C2分量内部预测图像生成部8，与Y分量独立地进行内部预测图像的生成。图18表示本实施形态1中的C1/C2分量内部预测图像生成部8的内部结构。在色度格式识别信息1表示4:2:0色度格式或者4:2:2色度格式的情况下，C1/C2分量内部预测模式101表示图7表示的4种模式的某一个。根据预测图像生成处理对象的块数，与色度格式相对应，把处理分支到4:2:0Cb/Cr分量内部预测图像生成部8a或者4:2:2Cb/Cr分量内部预测图像生成部8b中。另外，在色度格式是4:4:4的情况下，C1/C2分量内部预测模式101与处理Y分量的C0分量内部预测模式是完全相同的定义，因此把处理分支到Y分量内部预测图像生成部8c。Y分量内部预测图像生成部8c能够用与C0分量内部预测图像生成部7大致相同的部件构成，但根据共同编码·独立编码识别信息2，在「共同编码处理」的情况下，进行C1/C2两个分量的预测图像的生成，在「独立编码处理」的情况下，仅对于与由色分量识别标志33确定的Ck分量相对应的内部预测模式(101a或者101b的一方)进行相对应的预测图像生成这一点不同。
[0150] 在全部的内部预测图像生成处理中，成为参考像素的周围像素值必须是没有实施分块滤波的解码图像。从而，把作为C0分量预测残差解码部24、C1分量预测残差解码部25、C2分量预测残差解码部26的输出的解码预测残差信号17b与预测图像34相加得到的分块滤波处理前的像素值保存在行存储器202中，在内部预测预测图像生成中使用。
[0151] (3)运动补偿处理
[0152] 运动补偿处理由图16的C0分量运动补偿部11、C1/C2分量运动补偿部12进行。它们与在图4的编码装置中说明过的部件相同。
[0153] 在色度格式是4:2:0、4:2:2的情况下，Y分量的预测信号在C0分量运动补偿部11中，根据作为宏块编码数据的一部分解码的Y分量运动信息102生成。运动信息包括指示在预测中使用保存在帧存储器201中的1张以上的参考图像数据中的哪一张参考图像这一点的参考图像索引、在由参考图像索引指定的参考图像中适用的运动矢量。
[0154] Y分量运动信息102与图8表示的成为运动补偿预测单位的7种块尺寸相对应地解码。按照该图8的哪一种块尺寸进行运动补偿，根据编码模式15以及在上述可变长解码处理动作的说明中叙述过的子宏块种类(sub_mb_type)确定。对于成为进行运动补偿的单位的块，分配Y分量运动信息102，对于由帧存储器201中的参考图像索引指示的参考图像适用运动矢量得到预测图像。关于Cb、Cr分量，如图17所示，在可变长解码部200内，分配与Y分量相同的参考图像索引，利用Y分量的运动矢量求Cb/Cr分量运动信息103(具体地讲，通过与Y和Cb、Cr的抽样比相当地，进行Y分量的运动矢量的按比例缩放求出)。
[0155] 另外，如使用图9、图10叙述的那样，在运动补偿部中生成的预测图像的生成方法在Y分量和Cb、Cr分量中不同。Cb/Cr分量的运动补偿处理由C1/C2分量运动补偿部12进行。
[0156] 图19表示本实施形态1中的C1/C2分量运动补偿部12的内部结构。在色度格式识别信息1表示4:2:0色度格式或者4:2:2色度格式的情况下，Cb/Cr分量运动信息103如上所述，根据C0分量即Y分量的运动信息102，在可变长解码部200中生成，输入到C1/C2分量运动补偿部12。根据预测图像生成处理对象的块数，与色度格式相对应，把处理分支到4:2:0Cb/Cr分量运动补偿部12a或者4:2:2Cb/Cr分量运动补偿部12b。另外，在色度格式是4:4:4的情况下，Cb/Cr分量运动信息103由于与处理Y分量的Y分量运动信息102是完全相同的定义，因此把处理分支到Y分量运动补偿部12c。Y分量运动补偿部12c能够用与C0分量运动补偿部11大致相同的部件构成，但在根据共同编码·独立编码识别信息2，在「共同编码处理」的情况下进行C1/C2两分量的预测图像生成，在「独立编码处理」的情况下，仅对于与由色分量识别标志33确定的Ck分量相对应的运动信息(103a或者103b的一方)进行相对应的预测图像生成这一点不同。
[0157] (4)预测残差解码处理
[0158] 预测残差解码处理由图16的C0分量预测残差解码部24、C1分量预测残差解码部25、C2分量预测残差解码部26进行。它们与在图4的编码装置中说明过的C0分量局部解码部24、C1分量局部解码部25、C2分量局部解码部26相同。
[0159] 预测残差解码处理是对于从可变长解码部200输出的每一个宏块的C0、C1、C2分量量化系数数据21、22、23进行反量化·反变换，复原预测残差信号17b的处理。在C1分量预测残差解码部25、C2分量预测残差解码部26中，根据色度格式识别信息1、共同编码·独立编码识别信息2，切换对于C1/C2分量的处理。
[0160] 对于色度格式是4:2:0、4:2:2时的Y分量以及色度格式是4:4:4时的C0分量，在C0分量预测残差解码部24中，进行图20表示的预测残差解码处理。在本处理中，首先，在编码模式15表示是内部8×8预测模式或者变换块尺寸指示信息104表示是8×8块单位的整数变换的情况下，把量化系数数据21按照把宏块内4分割了的8×8块的单位处理。在以8×8块单位进行了遵从量化参数32的反量化以后，以8×8块的单位进行反整数变换，得到预测残差信号17a的复原值17b。
[0161] 在编码模式15是除此以外的情况下，按照编码模式15是否是内部16×16预测模式来切换处理。当内部16×16预测模式时，从量化系数数据21首先对于各4×4块的DC分量大小的变换系数进行遵从量化参数32的反量化处理，接着进行4×4的反阿达玛变换。由此，得到宏块中的各4×4块的DC分量的复原值。关于剩余的15个AC系数也进行遵从量化参数32的反量化处理，与上述得到的DC分量结合，得到4×4块单位的反量化完毕的变换系数。最后通过4×4反整数变换把它们复原为预测残差信号17b。
[0162] 在编码模式15也不是内部16×16预测模式的情况下，在各4×4块中进行反量化·反整数变换，复原预测残差信号17b。
[0163] 对于色度格式是4:2:0、4:2:2时的Cb、Cr分量以及色度格式是4:4:4时的C1、C2分量，在C1分量预测残差解码部25、C2分量预测残差解码部26中，分别进行预测残差解码处理。
[0164] 关于色度格式是4:2:0、4:2:2时的Cb、Cr分量，按照图21的流程进行预测残差的解码处理。4:2:0与4:2:2的差别在于执行阿达玛变换的单位是2×2块还是2×4块。首先，仅汇总4×4块的变换系数的DC分量构成成为阿达玛反变换处理的对象的块，在进行了反量化以后执行阿达玛反变换。对于剩下的15个AC分量单独进行反量化，与DC分量结合来执行4×4反整数变换。由此，复原预测残差信号17b。
[0165] 图22表示C1分量预测残差解码部25、C2分量预测残差解码部26的内部结构。关于上述色度格式是4:2:0、4:2:2时的Cb、Cr分量的处理，在图22中，分开记载为4:2:0Cb或Cr分量预测残差解码部25a、4:2:2Cb或Cr分量预测残差解码部25b，而处理内容的差别与上述相同。另一方面，在色度格式是4:4:4的情况下，C1/C2量化系数数据22、23由于按照与4:2:0、4:2:2的Y分量的量化系数数据21完全相同的方法编码，因此把处理分支到Y分量预测残差解码部25c。Y分量预测残差解码部25c能够用与C0分量预测残差解码部
24相同的部件构成。
[0166] 在仅内部编码指示信息4表示是「仅内部编码」的情况下，表示比特流30中的所有图片不进行基于运动补偿预测的时间方向的预测，进行封闭在画面内的编码(仅是内部预测的编码)而被编码的情况，因此使分块滤波器部28的处理无效。由此，在以比特流30为输入的解码装置中，在仅内部编码的情况下不执行分块滤波处理，能够减少解码装置的运算量。另外，在仅内部编码指示信息4表示「是仅内部编码」的情况下，由于不执行运动补偿预测，因此还不进行参考图像的向帧存储器201的写入。通过这样构成还减少存储器访问。
[0167] 另外，本实施形态1的解码装置按照以上述说明的编码装置所输出的比特流30为输入进行解码的结构进行了说明，而编码装置只要输出遵从比特流30的形式的比特流，则仅输入4:2:0色度格式进行编码的编码装置，或者仅是4:2:2、或4:2:0和4:2:2两种格式的各种规格的编码装置所输出的比特流也能够正确解码。
[0168] 依据以上叙述的本实施形态1的编码装置和解码装置，对于4:2:0、4:2:2、4:4:4等多个不同的色度格式，能够以有效的装置结构统一地进行编码·解码，能够提高影像编码数据的相互连接性。
[0169] 另外，在本实施形态1中，把4:2:0、4:2:2色度格式的3个色空间作为Y、Cb、Cr进行了说明，而使用除此以外的例如Y、Pb、Pr等色空间也能够得到同样的效果。
