近年来，因互联网的普及，经由网络来收发图像数据、或者存储 图像数据的情况广泛得以进行。在图像数据的编码上一般利用可有效 地削减图像数据的容量的不可逆编码方式。作为此不可逆编码方式的 一例，有ITU-T建议的作为国际标准规格的H.264活动图像编码方 式(例如，参照ITU-TVCEG(Q.6/16)、“H.26L Test Model Long Term Number 8(TML-8)draft”)。
在H.264帧内编码(I帧)中，通过利用了画面内预测的帧内编 码来进行活动图像的压缩。另外，在H.264的帧间编码中，编码对象 帧被分割成例如16×16图像大小的宏块，并对每个宏块进行编码处理。 宏块被进一步分割成16×8像素或8×8像素这样大小的块，并对所分割 的每个块进行运动补偿预测。由此，活动图像中的时间方向的冗余度 就得以削减。
可是，对上述的活动图像编码或者静止图像编码之类的图像编 码，还要求效率更加良好的编码技术。

因此，本发明就是以提供一种可效率良好地对图像进行编码的图 像编码装置、图像编码方法以及图像编码程序，另外，还提供一种可 从由本发明的图像编码装置所生成的比特流将图像复原的图像解码装 置、图像解码方法以及图像解码程序为目的。
本发明的一个技术方案提供一种图像编码装置，包括：(a)决 定单元，对于将编码对象的输入图像按规定大小进行分割而成的多个 部分区域的各区域，决定编码方式且生成用于确定该编码方式的编码 方式信息，其中上述编码方式与在预测图像的生成上通过需要预测辅 助信息的第1图像预测处理、或者第2图像预测处理中的哪个来执行预 测图像的生成相关；(b)第1图像预测单元，对于在多个部分区域之 中根据编码方式信息被确定为应通过第1图像预测处理来生成预测图 像的区域的部分区域，抽取出用于从其他部分区域的生成完毕的再生 图像生成该部分区域的预测图像的预测辅助信息，并基于该预测辅助 信息来执行用于生成该预测图像的上述第1图像预测处理；(c)存储 单元，存储基于预测图像的再生图像；以及(d)编码单元，生成包 含对编码方式信息和预测辅助信息进行了编码的数据的比特流。
本发明的另一个技术方案提供一种图像编码方法，包括：(a) 决定步骤，由决定单元对于将编码对象的输入图像按规定大小进行分 割而成的多个部分区域的各区域，决定编码方式且生成用于确定该编 码方式的编码方式信息，其中上述编码方式与在预测图像的生成上通 过需要预测辅助信息的第1图像预测处理、或者第2图像预测处理中的 哪个来执行预测图像的生成相关；(b)第1图像预测步骤，由第1图像 预测单元对于在多个部分区域之中根据编码方式信息被确定为应通过 第1图像预测处理来生成预测图像的区域的部分区域，抽取出用于从其 他部分区域的生成完毕的再生图像生成该部分区域的预测图像的预测 辅助信息，并基于该预测辅助信息来执行用于生成该预测图像的上述 第1图像预测处理；(c)存储步骤，由存储单元存储基于预测图像的 再生图像；以及(d)编码步骤，由编码单元生成包含对编码方式信 息和预测辅助信息进行了编码的数据的比特流。
另外，本发明的又一个技术方案提供一种图像编码程序，用于使 计算机作为以下单元发挥功能：(a)决定单元，对于将编码对象的输 入图像按规定大小进行分割而成的多个部分区域的各区域，决定编码 方式且生成用于确定该编码方式的编码方式信息，其中上述编码方式 与在预测图像的生成上通过需要预测辅助信息的第1图像预测处理、或 者第2图像预测处理中的哪个来执行预测图像的生成相关；(b)第1 图像预测单元，对于在多个部分区域之中根据编码方式信息被确定为 应通过第1图像预测处理来生成预测图像的区域的部分区域，抽取出用 于从其他部分区域的生成完毕的再生图像生成该部分区域的预测图像 的预测辅助信息，并基于该预测辅助信息来执行用于生成该预测图像 的上述第1图像预测处理；(c)存储单元，存储基于预测图像的再生 图像；以及(d)编码单元，生成包含对编码方式信息和预测辅助信 息进行了编码的数据的比特流。此外，上述图像编码程序以及下面将 说明的本发明的图像编码程序，能够以计算机可读取的记录媒体、被 重叠于载波的计算机数据信号、或者程序产品之类的形式来进行提供。
上述第2图像预测处理可以为以下处理，即，预测信号未生成的 像素占一部分的区域被设为模板，生成完毕的再生图像被设为参考区 域，该参考区域之中与模板的相关性较高的区域被选择为复制参考区 域，对在模板内预测信号未生成的像素赋予复制参考区域内的对应像 素的像素值，由此预测图像得以生成。
另外，本发明的一个技术方案提供一种图像解码装置，包括：(a) 解码单元，对于将解码对象的图像按规定大小进行分割而成的多个部 分区域的各区域，从包含对用于确定在预测图像的生成上所用的第1 图像预测处理或者第2图像预测处理的编码方式信息、和用于通过该第 1图像预测处理来生成预测图像的预测辅助信息进行了编码的数据的 比特流，对该编码方式信息和该预测辅助信息进行解码；(b)第1图 像预测单元，通过利用了预测辅助信息的第1图像预测处理，从生成完 毕的再生图像生成在多个部分区域之中根据编码方式信息被确定为应 通过第1图像预测处理来生成预测图像的区域的部分区域的预测图像； (c)图像预测单元，通过该第2图像预测处理来生成多个部分区域之 中根据编码方式信息被确定为应通过第2图像预测处理来生成预测图 像的区域的部分区域的预测图像；以及(d)存储单元，存储基于预 测图像的再生图像，其中，(e)在第2图像预测处理中，预测信号未 生成的像素占一部分的区域被设为模板，存储单元中所存储的再生图 像被设为参考区域，在该参考区域之中与模板的相关性较高的区域被 选择为复制参考区域，对在模板内预测信号未生成的像素赋予复制参 考区域内的对应像素的像素值，由此预测图像得以生成。
本发明的另一技术方案提供一种图像解码方法，包括：(a)解 码步骤，由解码单元对于将解码对象的图像按规定大小进行分割而成 的多个部分区域的各区域，从包含对用于确定在预测图像的生成上所 用的第1图像预测处理或者第2图像预测处理的编码方式信息、和用于 通过该第1图像预测处理来生成预测图像的预测辅助信息进行了编码 的数据的比特流，对该编码方式信息和该预测辅助信息进行解码；(b) 第1图像预测步骤，由第1图像预测单元通过利用了预测辅助信息的第1 图像预测处理，从生成完毕的再生图像生成在多个部分区域之中根据 编码方式信息被确定为应通过第1图像预测处理来生成预测图像的区 域的部分区域的预测图像；(c)第2图像预测步骤，由第2图像预测单 元通过该第2图像预测处理来生成多个部分区域之中根据编码方式信 息被确定为应通过第2图像预测处理来生成预测图像的区域的部分区 域的预测图像；以及(d)存储步骤，由存储单元存储基于预测图像 的再生图像，其中，(e)在第2图像预测处理中，预测信号未生成的 像素占一部分的区域被设为模板，存储单元中所存储的再生图像被设 为参考区域，在该参考区域之中与模板的相关性较高的区域被选择为 复制参考区域，对在模板内预测信号未生成的像素赋予复制参考区域 内的对应像素的像素值，由此预测图像得以生成。
本发明的又一技术方案提供一种图像解码程序，用于使计算机作 为以下单元发挥功能：(a)解码单元，对于将解码对象的图像按规定 大小进行分割而成的多个部分区域的各区域，从包含对用于确定在预 测图像的生成上所用的第1图像预测处理或者第2图像预测处理的编码 方式信息、和在预测图像通过第1图像预测处理而得以生成的情况下用 于通过该第1图像预测处理来生成预测图像的预测辅助信息进行了编 码的数据的比特流，对该编码方式信息和该预测辅助信息进行解码； (b)第1图像预测单元，通过利用了预测辅助信息的第1图像预测处理， 从生成完毕的再生图像生成在多个部分区域之中根据编码方式信息被 确定为应通过第1图像预测处理来生成预测图像的区域的部分区域的 预测图像；(c)第2图像预测单元，通过该第2图像预测处理来生成多 个部分区域之中根据编码方式信息被确定为应通过第2图像预测处理 来生成预测图像的区域的部分区域的预测图像；以及(d)存储单元， 存储基于预测图像的再生图像，其中，(e)在第2图像预测处理中， 预测信号未生成的像素占一部分的区域被设为模板，存储单元中所存 储的再生图像被设为参考区域，在该参考区域之中与模板的相关性较 高的区域被选择为复制参考区域，对在模板内预测信号未生成的像素 赋予复制参考区域内的对应像素的像素值，由此预测图像得以生成。 此外，上述图像解码程序以及下面将说明的本发明的图像解码程序， 能够以计算机可读取的记录媒体、被重叠于载波的计算机数据信号、 或者程序产品之类的形式来进行提供。
根据上述的本发明，第2图像预测处理将已经生成完毕的再生图 像设为参考区域，将从参考区域所选择的复制参考区域的对应像素复 制于模板内的预测信号未生成的像素。作为复制参考区域，从参考区 域之中选择相对于模板相关性较高的区域。例如，相关值最高的区域、 或者相关值最初比规定的基准值变高了的区域等得以选择。从而，就 能够在解码侧对于被确定为应通过第2图像预测处理来生成预测图像 的区域的部分区域，能动地生成预测图像而不利用来自编码侧的预测 辅助信息。因此在编码侧效率良好的编码就得以实现。
在与图像编码有关的本发明中，优选的技术方案是：决定单元， 在经第1图像预测处理按规定的扫描顺序生成多个部分区域的再生图 像后，按与该规定的扫描顺序相反的顺序选择处理对象的部分区域， 将比该处理对象的部分区域在扫描顺序上位于前方的部分区域的图 像、比该处理对象的部分区域在扫描顺序上位于后方的部分区域并且 编码方式被决定为应通过第1图像预测处理来生成预测图像的区域的 该部分区域的再生图像设为参考区域，经第2图像预测处理生成该处理 对象的部分区域的再生图像，并基于经该第2图像预测处理所生成的处 理对象的部分区域的再生图像与经第1图像预测处理所生成的处理对 象的部分区域的再生图像的比较来决定该处理对象的部分区域的编码 方式。
在此情况下，在与图像解码有关的本发明中，第1图像预测单元， 对于根据编码方式信息被确定为应通过第1图像预测处理来生成预测 图像的区域的部分区域，按规定的扫描顺序通过第1图像预测处理生成 预测图像，在基于该预测图像的再生图像被存储到存储单元后，第2 图像预测单元，对于根据编码方式信息被确定为应通过第2图像预测处 理来生成预测图像的区域的部分区域，按规定的扫描顺序通过第2图像 预测处理生成预测图像。
根据本发明，在通过第1图像预测处理在先生成了再生图像后， 已经生成的再生图像就被设为第2图像预测处理中的参考区域。从而， 由于能够将按规定的扫描顺序位于后方的再生图像也用于第2图像预 测处理，所以空间方向的冗余度就更加有效地得以削减。
在与图像编码相关的本发明中，决定单元也可以计算出根据成本 函数的成本值，并基于该成本值来决定该处理对象的部分区域的上述 编码方式，其中上述成本函数基于分别利用了经第2图像预测处理所生 成的处理对象的部分区域的再生图像和经第1图像预测处理所生成的 处理对象的部分区域的再生图像时的编码失真或/和编码信息量。
在与图像编码相关的本发明中，还包括：第2图像预测单元，通 过该第2图像预测处理来生成在多个部分区域之中根据编码方式信息 被确定为应通过上述第2图像预测处理来生成预测图像的区域的部分 区域的预测图像，第2图像预测单元将通过第2图像预测处理所生成的 预测图像设为再生图像。在此情况下，在与图像解码相关的本发明中， 第2图像预测单元将通过第2图像预测处理所生成的预测图像设为再生 图像。即、通过第2图像预测处理所生成的预测图像原封不动作为再生 图像被采用。从而，由于能够将通过第2图像预测处理所生成的再生图 像也用于接着进行处理的部分区域的预测，所以冗余度就进一步得以 削减。另外，由于无需将与输入图像和通过第2图像预测处理所生成的 预测图像之差分有关的信息包含在比特流中，所以效率更加良好的编 码就得以实现。
在本发明中，编码对象的输入图像也可以是活动图像的帧。在此 情况下，在第2图像预测处理中，编码对象帧的再生图像以及比该编码 对象帧在先得以处理的帧的再生图像中的至少一方被设为参考区域。 另外，在此情况下，在与图像解码有关的本发明中，解码对象的图像 就成为活动图像的帧，第2图像预测单元，将作为存储单元中所存储的 再生图像的、解码对象帧的该再生图像以及比解码对象帧在先得以处 理的帧的再生图像中的至少一方设为参考区域。
根据本发明，在第2图像预测处理中，由于编码对象帧的再生图 像以及与编码对象帧不同的处理完毕的帧的再生图像的两者被设为参 考区域，所以时间方向及空间方向的冗余度就进一步得以削减。
在与图像编码有关的本发明中，第1图像预测处理也可以是运动 补偿预测处理。在此情况下，预测辅助信息将包含通过第1图像预测处 理所抽取出的运动矢量。另外，在此情况下，在与图像解码有关的本 发明中，预测辅助信息也将包含被用于第1图像预测处理的运动矢量。
在本发明中，第1图像预测处理也可以是将与处理对象的部分区 域同一空间内的再生图像用于预测以生成预测图像的处理，即，第1 图像预测处理还可以是被用于静止图像的编码及解码的预测处理，或 者是被用于静止图像的编码及解码的帧内预测处理。在此情况下，在 第1图像预测处理中，在根据编码方式被确定为邻接于处理对象的部分 区域的邻接部分区域是应通过第2图像预测处理来生成预测图像的部 分区域的情况下，基于不邻接于该处理对象的部分区域的非邻接部分 区域的再生图像来生成该处理对象的部分区域的预测图像。
根据本发明，即便在处理对象的部分区域为应通过第1图像预测 处理来生成预测图像的区域，邻接于该处理对象的部分区域的邻接部 分区域为应通过第2图像预测处理来生成预测图像的区域的情况下，也 能够利用不邻接于处理对象的部分区域的非邻接部分区域的再生图像 数据来生成预测图像。由此，就能够不仅利用邻接于处理对象的部分 区域的邻接部分区域的再生图像，还利用不邻接于处理对象的部分区 域的非邻接部分区域的再生图像来生成预测图像。从而，由于生成预 测图像数据时的参考范围就得以扩大，空间上的冗余度就得以削减， 所以编码效率就进一步得以提高。
另外，在此情况下，在与图像编码有关的本发明中，就能够在第 1图像预测处理中，从与多个不同预测规则相关的多个预测方式之中， 决定在处理对象的部分区域的预测图像的生成上所用的预测方式，并 生成用于确定该预测方式的预测方式信息，编码单元将对预测方式信 息进行了编码的数据包含在比特流中。在此情况下，在与图像解码有 关的本发明中，就在比特流中，包含对预测方式信息进行了编码的数 据，其中上述预测方式信息，在通过第1图像预测处理来生成预测图像 的情况下在与多个不同的预测规则相关的多个预测方式之中、确定在 第1图像预测处理中所用的预测方式，解码单元从比特流对预测方式信 息进行解码，并在第1图像预测处理中基于预测方式信息来生成预测图 像。
在本发明中最好是，在第1图像预测处理中，在根据编码方式被 确定为邻接于处理对象的部分区域的邻接部分区域是应通过第2图像 预测处理来生成预测图像的部分区域的情况下，基于在处于预测方向 的直线上并且存在于预测源侧的方向的非邻接部分区域的再生图像之 中、最接近处理对象的部分区域的像素的像素值来生成预测图像。由 此，适合于各预测图像生成模式的最佳的再生图像数据就从非邻接块 中进行选定。
在与图像编码有关的本发明中，也可以是预测残差图像生成单 元，通过执行由第1图像预测单元所生成的预测图像与编码对象的输入 图像的差运算来生成预测残差图像，编码单元将对基于预测残差图像 的信号进行了编码的数据包含在比特流中。
在此情况下，在与图像解码相关的本发明中，就在比特流中包含， 通过对基于由通过第1图像预测所生成的部分区域的预测图像与该部 分区域的图像(输入图像)的差运算而得到的预测残差图像的信号进 行编码而成的数据，解码单元，从作为比特流中所包含的数据的、基 于预测残差图像的信号被编码而成的该数据对该信号进行解码，再生 图像生成单元，通过将基于由解码单元所解码的信号的复原预测残差 图像与预测图像相加来生成再生图像。
另外，在与图像编码有关的本发明中，也可以是预测残差图像生 成单元，通过执行由第1图像预测单元所生成的预测图像与编码对象的 输入图像的差运算来生成预测残差图像，变换单元通过对预测残差图 像实施变换处理来生成变换信息，逆变换单元通过对变换信息实施逆 变换处理来生成复原预测残差图像，再生图像生成单元通过将复原预 测残差图像与预测图像进行相加来生成再生图像，编码单元将对变换 信息进行了编码的数据包含在比特流中。
在此情况下，在与图像解码相关的本发明中，就在比特流中，包 含有通过对预测残差图像实施变换处理而成变换信息被编码所生成的 数据，其中，上述预测残差图像由通过第1图像预测所生成的部分区域 的预测图像与该部分区域的图像(输入图像)的差运算而得到，解码 单元从比特流对变换信息进行解码，逆变换单元通过对变换信息实施 逆变换处理而生成复原预测残差图像，再生图像生成单元，通过将复 原预测残差图像与预测图像相加来生成再生图像。
附图说明
图1是表示与第1实施方式相关的图像编码装置之构成的图。
图2是用于说明图像预测处理之内容的图。
图3是用于说明图像预测处理之内容的图。
图4是用于就替代像素值进行说明的图。
图5是用于就替代像素值进行说明的图。
图6是用于说明图像填补处理之内容的图。
图7是表示图像编码处理中的图像编码装置之动作的流程图。
图8是表示记录图像编码程序的记录媒体之构成的图。
图9是表示与第2实施方式相关的图像解码装置之构成的图。
图10是表示图像解码处理之概要动作的流程图。
图11是表示预测图像解码处理之动作的流程图。
图12是表示填补图像解码处理之动作的流程图。
图13是表示记录图像解码程序的记录媒体之构成的图。
图14是表示用于执行在记录媒体中所存储的程序的计算机之硬 件构成的图。
图15是用于执行在记录媒体中所存储的程序的计算机的透视图。
图16是表示与本发明的第3实施方式相关的活动图像编码装置之 构成的图。
图17是用于说明编码方式决定部之处理的图。
图18是表示图像预测部之构成的框图。
图19是用于说明第2图像预测处理的图。
图20是涉及第3实施方式的活动图像编码方法的流程图。
图21是涉及第3实施方式的活动图像编码方法中的编码方式决定 处理的流程图。
图22是第2图像预测处理的流程图。
图23是将与第3实施方式相关的活动图像编码程序之构成和记录 媒体一起进行表示的图。
图24是表示涉及第4实施方式的活动图像解码装置之构成的图。
图25是涉及第4实施方式的活动图像解码方法的流程图。
图26是将涉及第4实施方式的活动图像解码程序之构成和记录媒 体一起进行表示的图。

下面，参照附图就本发明的优选实施方式详细地进行说明。此外， 在各附图中对相同或者相当的部分附加相同的附图标记。
首先，就本发明的第1实施方式进行说明。图1是表示与第1实施 方式相关的图像编码装置之构成的图。图1所示的图像编码装置1，在 物理上可以是具备例如，CPU(中央处理装置)、存储器之类的存储 装置、显示器之类的显示装置、通信装置等的计算机。另外，图像编 码装置1也可以是携带式电话之类的移动通信终端、DVD设备等。即、 在图像编码装置1上可进行信息处理的装置能得以广泛应用。
图像编码装置1，在功能上具有图像分割部(图像分割单元)11、 编码方式决定部(决定单元)12、预测图像生成部(第1图像预测单元) 13、减法运算部(预测残差图像生成单元)14、变换部(变换单元) 15、编码部(编码单元)16、逆变换部(逆变换单元)17、加法运算 部(再生图像生成单元)18以及存储部(存储单元)19。
接着，就图1所示的各构成要素进行说明。图像分割部11将按帧 单位所输入的输入图像分割成规定的大小(例如4×4像素)的块、即 部分区域。另外，图像分割部11还生成用于确定成为编码处理之对象 的处理对象块的块位置信息。作为块位置信息，例如，对帧内的各块 按光栅扫描顺序、例如0、1、2…升序地附加了编号的块编号或者由将 包含各块的帧的左上端设为基准的坐标所示的块坐标就符合条件。
编码方式决定部12基于规定的编码方式决定规则来决定针对各 个块的编码方式，并生成用于确定该编码方式的编码方式信息。
本实施方式中，在编码方式上有以下两种方式：利用处理对象块 的输入图像以及对应于该图像的预测图像对该处理对象块的图像进行 编码的方式、即预测编码处理方式(P方式)和不利用处理对象块的 输入图像以及对应于该图像的预测图像对该处理对象块的图像进行编 码的方式、即填补编码方式(C方式)。即、在编码方式为预测编码 处理方式的情况下，与处理对象块的图像有关的信息被编码后被输出。 另一方面，在编码方式为填补编码处理方式的情况下，与处理对象块 的图像有关的信息则不被编码、不被输出。另外，在编码方式为预测 编码处理方式的情况下，在解码侧的预测图像的生成上借助于需要预 测辅助信息的第1图像预测处理来生成预测图像，而在编码方式为填补 编码方式的情况下，则在解码侧的预测图像的生成上借助于不需要预 测辅助信息的第2的图像预测处理(图像填补处理)来生成预测图像。
作为编码方式决定规则，例如，还可以借助于后述的图像填补处 理(参照图6、第2图像预测处理)来生成处理对象块的再生图像，在 对处理对象块的输入图像与该再生图像的误差进行了二乘后的值小于 等于预先设定的阈值的情况下设为填补编码方式，在其以外的情况下 则设为预测编码处理方式。此外，未必需要比较对误差进行了二乘后 的值和阈值，还可以比较误差的绝对值和阈值。另外，作为其他的编 码方式决定规则，例如，还可以使预先决定了以预测编码处理方式进 行编码的块和以填补编码方式进行编码的块的信息与块位置信息对应 起来进行保持，在进行处理时，基于块位置信息取得对应于处理对象 块的编码方式。
预测图像生成部13，在编码方式为预测编码处理方式的情况下， 从后述的9种预测图像生成模式中选择在借助于第1图像预测处理生成 对应于处理对象块的输入图像的预测图像时采用的帧内预测图像生成 模式、即预测方式，并输出用于确定该预测方式的预测方式信息。即、 此帧内预测图像生成模式(预测方式)就是在解码侧生成预测图像时 所需要的预测辅助信息。
预测图像生成部13按照所决定的预测图像生成模式，利用各块的 图像之中已经被编码、再生后被存储于存储部19的再生图像的一部分， 生成对应于处理对象块的输入图像的预测图像。此外，关于生成预测 图像时的第1图像预测处理的细节在后面进行叙述。
减法运算部14以像素为单位从处理对象块的输入图像减去该处 理对象块的预测图像，生成预测残差图像。
变换部15使用规定的变换规则对预测残差图像进行变换，并输出 借助于该变换而得到的变换系数(变换信息)。作为规定的变换规则， 例如，4行4列的2维DCT、和在H.264中所采用的4行4列的正交变换 以及量化就符合条件。另外，规定的变换规则，例如还可以是匹配追 逃(Matching Pursuit)、矢量量化以及子波变换等变换操作及量化。
编码部16基于规定的规则对变换系数进行熵编码(平均信息量编 码)。另外，编码部16基于规定的规则对编码方式信息以及预测图像 生成模式(预测方式)进行熵编码。作为熵编码例如利用算术编码。
逆变换部17通过利用规定的逆变换规则对变换系数进行逆变换 来生成复原预测残差图像。此规定的逆变换规则是对应于由变换部15 所采用的规定的变换规则的逆变换规则。
加法运算部18将处理对象块的预测图像和对应于该预测图像的 复原预测残差图像相加而生成再生图像。此外，加法运算部18在对图 像的像素值设定有特定的范围的情况下，也可以进行限幅处理以使像 素值收纳于特定的范围内。
存储部19使由加法运算部18所生成的再生图像存储于未图示的 存储器中。
接着，参照图2和图3就生成预测图像时的第1图像预测处理进行 说明。此外，虽然在本实施方式中，第1图像预测处理是帧内预测处理， 但在第1图像预测处理上可适用例如运动补偿预测处理之类的各种预 测处理。
首先，如图2所示那样，设邻接于4×4像素的处理对象块Y的左斜 上方的块为块X0，同样地设邻接于上侧的块为块X1，邻接于右斜上方 的块为块X2，邻接于左侧的块为块X3。另外，设邻接于块X1之上侧 的块为块X4、邻接于块X2之上侧的块为块X5、邻接于块X3之左侧的 块为块X6。另外，从左开始按顺序将处于块X1的最下行的再生像素值 设为A，B，C，D、从左开始按顺序将处于块X2的最下行的再生像素 值设为E，F，G，H、从上开始按顺序将处于块X3的最右列的再生像 素值设为I，J，K，L。另外，将处于块X0的右下角的再生像素值设为 M。进而，按光栅扫描顺序将处理对象块Y中的预测图像的像素值设 为a，b，c，d，e，f，g，h，i，j，k，l，m，n，o，p。
这里，参照图3，就4×4像素块编码方式中的9种预测方式A0～A8 进行说明。图3(a)所示的预测方式A0是通过将邻接于处理对象块之 上侧的像素值沿下方向、直线地进行伸长(伸展)来生成预测图像的 方式。在此预测方式A0中，基于下式来生成预测图像。
a＝e＝i＝m＝A
b＝f＝j＝n＝B
c＝g＝k＝o＝C
d＝h＝l＝p＝D
图3(b)所示的预测方式A1是通过将邻接于处理对象块之左侧 的像素值沿右方向、直线地进行伸长来生成预测图像的方式。在此预 测方式A1中，基于下式来生成预测图像。
a＝b＝c＝d＝I
e＝f＝g＝h＝J
i＝j＝k＝l＝K
m＝n＝o＝P＝L
图3(c)所示的预测方式A2是利用周围像素的平均值仅预测处理 对象块的DC成分的方式。在此预测方式A2中，基于以下规则来生成 预测图像。首先，在A～M全部为帧内的再生像素的情况下，将a～p 的值全部设为(A+B+C+D+I+J+K+L+4)/8。相对于此，在 A～D不属于帧内的再生块、I～L属于帧内的再生块的情况下，将a～p 的值全部设为(I+J+K+L+2)/4。另外，在I～L不属于帧内的再 生块、A～D属于帧内的再生块的情况下，将a～p的值全部设为(A+ B+C+D+2)/4。另外，在A～D以及I～L全部不属于帧内的再生块 的情况下，将a～p的值全部设为128。
图3(d)所示的预测方式A3是通过将邻接于处理对象块之上侧 以及右斜上方的像素值沿左斜下方向、直线地进行伸长的来生成预测 图像的方式。在此预测方式A3中，基于下式来生成预测图像。
a＝(A+2B+C+2)/4
b＝e＝(B+2C+D+2)/4
c＝f＝i＝(C+2D+E+2)/4
d＝g＝j＝m＝(D+2E+F+2)/4
h＝k＝n＝(E+2F+G+2)/4
l＝o＝(F+2G+H+2)/4
p＝(G+3H+2)/4
图3(e)所示的预测方式A4是通过将邻接于处理对象块之左侧、 左斜上方以及上侧的像素值沿右斜下方向、直线地进行伸长来生成预 测图像的方式。在此预测方式A4中，基于下式来生成预测图像。
m＝(J+2K+L+2)/4
i＝n＝(I+2J+K+2)/4
e＝j＝o＝(M+2I+J+2)/4
a＝f＝k＝p＝(A+2M+I+2)/4
b＝g＝l＝(M+2A+B+2)/4
c＝h＝(A+2B+C+2)/4
d＝(B+2C+D+2)/4
图3(f)所示的预测方式A5是通过将邻接于处理对象块之左侧、 左斜上方以及上侧的像素值沿下方右侧、直线地进行伸长来生成预测 图像的方式。在此预测方式A5中，基于下式来生成预测图像。
a＝j＝(M+A+1)/2
b＝k＝(A+B+1)/2
c＝l＝(B+C+1)/2
d＝(C+D+1)/2
f＝o＝(M+2A+B+2)/4
g＝p＝(A+2B+C+2)/4
h＝(B+2C+D+2)/4
i＝(M+2I+J+2)/4
m＝(I+2J+K+2)/4
图3(g)所示的预测方式A6是通过将邻接于处理对象块之左侧、 左斜上方以及上侧的像素值沿右方下侧、直线地进行伸长来生成预测 图像的方式。在此预测方式A6中，基于下式来生成预测图像。
a＝g＝(M+I+1)/2
b＝h＝(I+2M+A+2)/4
c＝(M+2A+B+2)/4
d＝(A+2B+C+2)/4
e＝k＝(I+J+1)/2
f＝l＝(M+2I+J+2)/4
i＝o＝(J+K+1)/2
j＝p＝(I+2J+K+2)/4
m＝(K+L+1)/2
n＝(J+2K+L+2)/4
图3(h)所示的预测方式A7是通过将邻接于处理对象块之上侧 以及右斜上方的像素值沿下方左侧、直线地进行伸长来生成预测图像 的方式。在此预测方式A7中，基于下式来生成预测图像。
a＝(A+B+1)/2
b＝i＝(B+C+1)/2
c＝j＝(C+D+1)/2
d＝k＝(D+E+1)/2
l＝(E+F+1)/2
e＝(A+2B+C+2)/4
f＝m＝(B+2C+D+2)/4
g＝n＝(C+2D+E+2)/4
h＝o＝(D+2E+F+2)/4
p＝(E+2F+G+2)/4
图3(i)所示的预测方式A8是通过将邻接于处理对象块之左侧的 像素值沿右方上侧、直线地进行伸长来生成预测图像的方式。在此预 测方式A8中，基于下式来生成预测图像。
a＝(I+J+1)/2
b＝(I+2J+K+2)/4
c＝e＝(J+K+1)/2
d＝f＝(J+2K+L+2)/4
g＝i＝(K+L+1)/2
h＝j＝(K+3L+2)/4
k＝l＝m＝n＝o＝p＝L
预测图像生成部13，不选择上述各预测方式之中、在生成预测图 像时所用的再生像素值即便只要有一个处于帧外的预测方式。
这里，在本实施方式中，在包含A～M中任一的块的编码方式为 填补编码方式的情况下，由于预测图像未被生成，故在此情况下不存 在再生像素值。从而，在用其他块生成预测图像时，就不能参考是填 补编码方式的块的再生像素值。
在本实施方式中，在这种情况下，将在预测方式中的预测方向(图 3所示的箭头记号的方向)的直线上且存在于预测源侧(图3所示的箭 头记号的起点侧)的方向的同一帧内的再生像素值中、最接近处理对 象块的再生像素值作为A～M的替代像素值使用于预测图像的生成。 另外，在预测方向的直线通过两个像素中间的情况下则将该两个像素 的平均像素值设为替代像素值。
参照图4以及图5，就上述的替代像素值进行说明。首先，图4是 表示邻接于处理对象块Y之上侧的块X1为填补编码方式、且预测方式 为A0的情况下所决定的替代像素值的图。如图4所示那样，处于块X4 的最下行的再生像素值N，O，P，Q被选择作为块X1的再生像素值A， B，C，D的替代像素值。即、对于再生像素值A，B，C，D，在预测 方式A0下的预测方向的直线上存在于预测源侧的方向的同一帧内的 再生像素值中、最接近处理对象块Y的再生像素值N，O，P，Q被选 择。从而，在生成图4所示的处理对象块Y的预测图像时，就取代处于 上述的预测方式A0下的式中的A，B，C，D而利用N，O，P，Q。此 外，在块X4为帧外或者填补编码方式的情况下，A，B，C，D就被作 为帧外来进行处理。即、A0被选择作为预测方式。
接着，图5是表示邻接于处理对象块Y之上侧的块X1为填补编码 方式、且预测方式为A7的情况下所决定的替代像素值的图。如图5所 述那样，处于块X4的最下行的两个再生像素值N，O以及处于块X2的 最左列的两个再生像素值P，Q被选择作为块X1的再生像素值A，B， C，D的替代像素值的候补。然后，N被选择作为A的替代值、O被选 择作为B的替代值、P被选择作为D的替代值，作为C的替代值则使用O 和P的平均值。O和P的平均值被用作C的替代值是因为预测方向的直 线通过两个像素O和P的中间(处于块X5的左下角的像素上)。即、 对于再生像素值A，B，C，D，在预测方式A7下的预测方向的直线上 存在于预测源侧的方向的同一帧内的再生像素值中、最接近处理对象 块Y的再生像素值N，O，(O+P)/2，Q被选择。从而，在生成图5 所示的处理对象块Y的预测图像时，就取代处于上述的预测方式A7下 的式中的A，B，C，D而利用N，O，(O+P)/2，Q。此外，在以 二进制计算两个像素值的平均值的情况下，将两个像素值相加并在此 加法运算结果上加上1后，向右移位1位即可。
通过这样决定替代像素值，就能够从非邻接块中选定适合于各预 测方式的最佳的再生像素值。
接着，参照图6就在上述的编码方式决定规则中所施行的生成填 补图像时的图像填补处理(第2图像预测处理)进行说明。
在本实施方式的图像填补处理中，如图6所示那样，将处理对象 块Y中所包含的一个像素设为处理对象像素P。将包含此处理对象像素 P和存在于处理对象像素P附近的再生图像的像素(再生像素)的区域 设为模板T。此外，在处理对象块Y中存在图像填补处理完毕的像素(填 补像素)的情况下，能够将该图像填补处理完毕的像素包含在模板T 中。另外，将处理对象块Y以及该处理对象块Y的周围区域设为对象区 域R。
首先，通过基于规定的扫描规则在处理对象块Y内进行扫描，从 处理对象块Y中所包含的多个像素中选定处理对象像素P。接着，基于 所选定的处理对象像素P来决定模板T。接着，在对象区域R内、具有 与模板T相同形状的区域之中，选择与从模板T除去处理对象像素P的 部分的像素的相关性为最大的相关区域S。接着，将相关区域S之中对 应于处理对象像素P的再生像素Q的像素值设为处理对象像素P中的填 补像素值。对在处理对象块Y中所包含的各像素按扫描顺序进行与以 上处理同样的处理。由此生成对应于处理对象块Y的填补图像。这里， 选择上述的相关区域S时的相关性的计算方法，例如，既可以是将对 应的各像素值间的差分的二乘和为最小的设其相关性为最大的方法、 或将对应的各像素值中的差分的绝对值之和为最小的设其相关性为最 大的方法、也可以是其他的任何方法，只要是能够对相关关系进行计 测的方法就可应用。此外，在编码对象图像为活动图像的情况下，通 过将解码完毕的帧中的解码像素以及填补像素用作对象区域R，就能 够进行效率更好的图像填补。
接着，参照图7，就图像编码处理中的图像编码装置1的动作进行 说明。此图像编码处理以从一帧开始按规定的扫描顺序(例如，光栅 扫描顺序)所读入的块为单位来进行。
首先，图像分割部11将以帧为单位所输入的输入图像分割成规定 大小(例如，4×4像素)的块，并生成用于确定各处理对象块的决位 置信息(步骤S1)。
接着，编码方式决定部12基于规定的编码方式决定规则将对处理 对象块的图像进行编码时的编码方式，决定成预测编码处理方式(P 方式)或者填补编码方式(C方式)中的某一方，并输出用于确定该 编码方式的编码方式信息(步骤S2)。此块编码方式信息被输出给图 像分割部11、预测图像生成部13以及编码部16。
接着，预测图像生成部13判定由编码方式决定部12所决定的处理 对象块的编码方式是否为预测编码处理方式(步骤S3)。在此判定为 “否”的情况下(步骤S31；“否”)，为了进行下一处理对象块的图像编 码处理，将处理转移到步骤S11。
另一方面，在根据步骤S3中的判定，处理对象块的编码方式被判 定为是预测编码处理方式的情况下(步骤S3；“是”)，预测图像生成 部13决定预测方式，并按照此所决定的预测方式，利用已经进行编码 并存储在存储部19中的再生图像的一部分，生成对应于处理对象块的 图像的预测图像(步骤S4)。即、预测图像生成部13，通过执行上述 的第1图像预测处理，基于邻接于处理对象块的邻接块以及不邻接于处 理对象块的非邻接块的再生图像来生成预测图像。此预测图像被输出 给减法运算部14以及加法运算部18。
接着，减法运算部14以像素为单位从处理对象块的图像(输入图 像)减去对应于该处理对象块的图像的预测图像，生成预测残差图像 (步骤S5)。此预测残差图像被输出给变换部15。
接着，变换部15利用规定的变换规则来变换由减法运算部14所生 成的预测残差图像，计算出借助于该变换所得到的变换系数(变换信 息)(步骤S6)。此变换系数被输出给编码部16以及逆变换部17。
接着，编码部16基于规定的规则对由变换部15计算出的变换系数 进行熵编码(步骤S7)。另外，编码部16还基于规定的规则对在步骤 S2中所决定的编码方式信息进行熵编码，同时还基于规定的规则对在 步骤S4中所选择的预测图像生成模式进行熵编码。这些经过熵编码的 编码数据作为压缩数据(比特流)被输出到处于外部的图像解码装置。
接着，逆变换部17利用与由变换部15所采用的规定的变换规则相 对应的逆变换规则，对由变换部15所计算出的变换系数进行逆变换， 生成复原预测残差图像(步骤S8)。此复原预测残差图像被输出到加 法运算部18。
接着，加法运算部18对由预测图像生成部13所生成的预测图像和 由逆变换部17所生成的复原预测残差图像进行加法运算以生成再生图 像(步骤S9)。此再生图像借助于存储部19保存到存储器进行存储(步 骤S10)。
接着，判定对于全部块处理是否已结束(步骤S11)，在全部块 结束了的情况下(步骤S11；“是”)，将图像编码处理结束。另一方面， 在全部块未结束的情况下(步骤S11；“否”)，将处理转移到步骤S2。
接着，就涉及本发明的实施方式的图像编码程序、以及记录了该 图像编码程序的计算机可读取的记录媒体(以下、简单称为记录媒体) 进行说明。这里，记录媒体是指对计算机的硬件资源中所具备的读取 装置，依照程序的记述内容引起磁、光、电等能量的变化状态，并能 够以与其相对应的信号的形式将程序的记述内容传达给读取装置的介 质。作为这种记录媒体，例如，磁盘、光盘、CD-ROM、内置于计 算机的存储器等就符合条件。
图8是涉及第1实施方式的记录媒体的构成图。记录媒体100如图8 所示那样，具备记录程序的程序区域101。在此程序区域101上记录着 图像编码程序102。
图14是表示用于执行记录媒体中所存储的程序的计算机的硬件 构成的图，图15是用于执行记录媒体中所存储的程序的计算机的透视 图。如图15所示那样，计算机110具备：软盘驱动装置、CD-ROM驱 动装置、DVD驱动装置等读取装置112，使操作系统常驻的工作存储 器(RAM)114，存储记录媒体100中所存储的程序的存储器116，显 示器之类的显示装置118，作为输入装置的鼠标20及键盘122，用于进 行数据等的收发的通信装置124以及控制程序执行的CPU126。
若记录媒体100被插入读取装置112，计算机110就可由读取装置 112对记录媒体100中所保存的图像编码程序102进行存取，借助于该图 像编码程序102，作为图像编码装置1进行动作就成为可能。
如图15所示那样，图像编码程序102也可以作为被重叠于载波的 计算机数据信号130经由网络来进行提供。在此情况下，计算机110就 能够将由通信装置124接收到的图像编码程序102保存在存储器116中， 以执行图像编码程序102。
图像编码程序102具备图像分割模块102a、编码方式决定模块 102b、预测图像生成模块102c、减法运算模块102d、变换模块102e、 编码模块102f、逆变换模块102g、加算运算模块102h以及存储模块102i 而构成。这里，通过使图像分割模块102a、编码方式决定模块102b、 预测图像生成模块102c、减法运算模块102d、变换模块102e、编码模 块102f、逆变换模块102g、加算运算模块102h、存储模块102i分别动 作而实现的功能，与上述图像编码装置1的图像分割部11、编码方式决 定部12、预测图像生成部13、减法运算部14、变换部15、编码部16、 逆变换部17、加法运算部18、存储部19分别具有的功能相同。
根据第1实施方式的图像编码装置1，关于编码方式为填补编码方 式的区域，由于不需要在比特流中包含基于预测辅助信息的数据，所 以编码效率高的比特流就得以生成。
另外，预测图像生成部13，在邻接于处理对象块的邻接块的编码 方式为填补编码方式的情况下，就能够利用不邻接于处理对象块的非 邻接块的再生图像来生成预测图像。由此，就能够不仅利用邻接于处 理对象块的邻接块的再生图像，还利用不邻接于处理对象块的非邻接 块的再生图像来生成预测图像，所以生成预测图像时的参考范围就得 以扩大，并能够削减空间冗余度，同时还能够使编码效率进一步提高。 另外，通过效率良好地选定填补编码方式的图像，生成预测图像时的 参考范围就效率良好地得以扩大，空间的冗余度就进一步得以削减。
[第2实施方式]
接着，对本发明的第2实施方式进行说明。此图像解码装置，接 收从第1实施方式的图像编码装置输出的压缩数据(包含编码数据)、 即比特流，并对此接收到的比特流进行解码以生成再生图像数据。
图9是示例与第2实施方式相关的图像解码装置之构成的图。图9 所示的图像解码装置2在物理上可以是具备例如，CPU(中央处理装 置)、存储器之类的存储装置、显示器之类的显示装置、通信装置等 的计算机。另外，图像解码装置2也可以是携带式电话之类的移动通信 终端、DVD设备等。即、在图像解码装置2上可进行信息处理的装置 能得以广泛应用。
图9所示的图像解码装置2具有解码部(解码单元)21、编码方式 判定部22、预测图像生成部(第1图像预测单元)23、逆变换部(逆变 换单元)24、加法运算部(再生图像生成单元)25、存储部(存储单 元)26、切换开关27、填补图像生成部(第2图像预测单元)28。
接着，就图9所示的各构成要素进行说明。解码部21接收与被分 割成规定大小的块的成为解码处理对象的输入图像有关的输入图像信 息(压缩数据)。解码部21基于规定的规则对接收到的输入图像信息 进行熵解码。变换系数、编码方式信息以及预测方式信息通过此熵解 码而得以解码。由于这些变换系数、编码方式信息以及预测方式信息 与对图像编码装置1所说明过的差分图像数据的变换系数、编码方式信 息以及预测方式信息相同故省略说明。
编码方式判定部22根据按规定的扫描顺序(例如，光栅扫描顺序) 所输入的编码方式信息来判定编码方式是预测编码处理方式或者填补 编码方式中的哪个。
这里，根据编码方式判定部22的判定结果所进行的处理因帧内的 扫描为第1回还是第2回而异。若具体地进行说明就是当帧内的扫描为 第1回时，在编码方式被判定为是预测编码处理方式的情况下对处理对 象块进行包含上述的第1图像预测处理的预测图像解码处理，而在编码 方式被判定为是填补编码方式的情况下则读入下一块。另一方面，当 帧内的扫描为第2回时，在编码方式被判定为是填补编码方式的情况下 对处理对象块进行包含上述的图像填补处理的填补图像解码处理，而 在编码方式被判定为是预测编码处理方式的情况下则读入下一块。即、 在第1回仅对是预测编码处理方式的处理对象块进行包含图像预测处 理的预测图像解码处理，而在第2回则仅对是填补编码方式的处理对象 块进行包含图像填补处理的填补图像解码处理。
预测图像生成部23按照根据被解码的预测方式信息所确定的预 测方式，利用在各块的图像之中已经被解码、并存储在存储部26中的 再生图像的一部分，生成成为解码处理的对象的处理对象块的预测图 像。由于用于生成此预测图像的图像预测处理与上述的第1图像预测处 理(参照图2、图3)相同故省略说明。
逆变换部24对被解码的变换系数，利用与上述的变换部15中所采 用的规定的变换规则相对应的逆变换规则进行逆变换，并生成通过该 逆变换所得到的复原预测残差图像。
加法运算部25将预测图像与对应于该预测图像的复原预测残差 图像相加以生成再生图像。此外，加法运算部25在对图像的像素值设 定有特定的范围的情况下，也可以进行限幅处理以使像素值收纳于特 定的范围内。
存储部26使由加法运算部25所生成的再生图像存储于未图示的 存储器中。
切换开关27，依照处理对象块的编码方式来切换存储部26中所存 储的再生图像的送信目的地。即、切换开关27在编码方式为预测编码 处理方式的情况下，对开关进行切换以得能够将存储部26中所保存的 再生图像发送给预测图像生成部23。另一方面，在编码方式为填补编 码方式的情况下，对开关进行切换以得能够将存储部26中所保存的再 生图像发送给填补图像生成部28。
填补图像生成部28，利用在处理对象块的附近已经被解码的再生 图像来生成填补图像。这里，由于生成填补图像时的图像填补处理与 上述的图像填补处理(参照图6、第2图像预测处理)相同故省略说明。
接着，参照图10～图12就图像解码装置2的动作以及图像解码处 理进行说明。首先，参照图10就图像解码处理中的概要动作进行说明。 如图10所示那样，在图像解码处理中，首先，由解码部21基于规定的 规则对从第1实施方式中的图像编码装置1接收到的1帧部分的输入图 像信息进行熵解码，并生成变换系数、编码方式信息以及预测方式信 息(步骤S20)。接着，执行在第1回的帧内扫描中所进行的预测图像 解码处理(步骤S30)，接着，执行在第2回的帧内扫描中所进行的填 补图像解码处理(步骤S40)。
在下面，对预测图像解码处理(步骤S30)以及填补图像解码处 理(步骤S40)中的各动作按各自的处理分别详细地进行说明。
首先，参照图11就预测图像解码处理的详细动作进行说明。首先， 编码方式判定部22判定根据按规定扫描顺序(例如，光栅扫描顺序) 而输入的编码方式信息所确定的编码方式是否为预测编码处理方式 (步骤S31)。在此判定为“否”的情况下(步骤S31；“否”)，将处理 转移到后述的步骤S36。
另一方面，当在步骤S31中的判定中，编码方式被判定为是预测 编码处理方式的情况下(步骤S31；“是”)，预测图像生成部23，按照 由在上述的步骤S20(参照图10)中被解码的预测方式信息所确定的预 测方式，利用在各块的图像之中已经被解码、并存储在存储部26中的 再生图像的一部分生成处理对象块的预测图像(步骤S32)。此外，生 成此预测图像的方法，取决于上述的第1图像预测处理。另外，此预测 图像被输出到加法运算部25。
接着，逆变换部24对在上述的步骤S20(参照图10)被解码的变 换系数，利用与在上述的变换部15中所采用的规定的变换规则相对应 的逆变换规则进行逆变换，并生成通过该逆变换所得到的复原预测残 差图像(步骤S33)。此复原预测残差图像被输出到加法运算部25。
接着，加法运算部25将由预测图像生成部23所生成的预测图像与 由逆变换部24进行了逆变换的复原预测残差图像相加以生成再生图像 (步骤S34)。此再生图像由存储部26被保存在存储器中而得以存储(步 骤S35)。
接着，判定处理对全部块是否结束(步骤S36)，在全部块的处 理已结束的情况下(步骤S36；“是”)，结束预测图像解码处理。另一 方面，在全部块尚未结束的情况下(步骤S36；“否”)，将处理转移到 上述的步骤S31。
接着，参照图12就填补图像解码处理(图10的步骤S40)的详细 动作进行说明。首先，编码方式判定部22判定根据按规定的扫描顺序 (例如，光栅扫描顺序)而输入的编码方式信息所确定的编码方式是 否为填补编码方式(步骤S41)。在此判定为“否”的情况下(步骤S41； “否”)，将处理转移到后述的步骤S44。
另一方面，当在步骤S41的判定中，编码方式被判定为是填补编 码方式的情况下(步骤S4；“是”)，填补图像生成部28对处理对象块 中所包含的每个处理对象像素，从各处理对象像素的周围所存在的再 生图像取得相关关系成为最大的再生像素值而求得填补像素值，由此 生成对应于处理对象块的填补图像(步骤S42)。此外，生成此填补图 像的方法取决于上述的图像填补处理(第2图像预测处理)。
接着，由填补图像生成部28所生成的填补图像作为再生图像由存 储部26保存在存储器中而得以存储(步骤S43)。
接着，判定处理对全部块是否结束(步骤S44)，在全部块已结 束的情况下(步骤S44；“是”)，结束填补图像解码处理。另一方面， 在全部块尚未结束的情况下(步骤S44；“否”)，将处理转移到上述的 步骤S41。
图13是涉及第2实施方式的记录媒体之构成图。记录媒体100如图 13所示那样具备对程序进行记录的程序区域201。此程序区域201中记 录有图像解码程序202。
若记录媒体100被插入读取装置112，则计算机110(参照图14及 图15)，就可从读取装置112对记录媒体100中所保存的图像解码程序 202进行访问，由该图像解码程序202作为、图像解码装置2进行动作就 成为可能。
如图15所示那样，图像解码程序202也可以作为被重叠于载波的 计算机数据信号130经由网络来进行提供。在此情况下，计算机110就 能够将由通信装置124所接收到的图像解码程序202保存在存储器116 中，以执行图像解码程序202。
图像解码程序202具备解码模块202a、编码方式判定模块202b、 预测图像生成模块202c、逆变换模块202d、加法运算模块202e、存储 模块202f、切换开关模块202g、填补图像生成模块202h而构成。这里， 通过使解码模块202a、编码方式判定模块202b、预测图像生成模块 202c、逆变换模块202d、加法运算模块202e、存储模块202f、切换开 关模块202g、填补图像生成模块202h分别进行动作而实现的功能与上 述图像解码装置2的解码部21、编码方式判定部22、预测图像生成部23、 逆变换部24、加法运算部25、存储部26、切换开关27、填补图像生成 部28各自具有的功能相同。
根据图像解码装置2，就能够对由图像编码装置1效率良好地编码 了的图像效率良好地进行解码。即、预测图像生成部23在邻接于处理 对象块的邻接块的编码方式为填补编码方式的情况下，就能够利用不 邻接于处理对象块的非邻接块的再生图像来生成预测图像。由此，就 能够不仅利用邻接于处理对象块的邻接块的再生图像，还利用不邻接 于处理对象块的非邻接块的再生图像来生成预测图像，所以生成预测 图像时的参考范围就得以扩大，并能够削减空间上的冗余度。
另外，在编码方式被判定为是填补编码方式的情况下，能够利用 已经被解码的再生图像，使对该再生图像进行填补的填补图像得以生 成。从而，即便在进行编码时不发送填补编码方式的图像也能够使再 生图像生成。
此外，虽然在上述的各实施方式中，作为预测图像生成部13、23 中的图像预测就利用了帧内编码处理的情况进行了说明，但并不限于 此，例如，也可以将运动补偿预测包含在图像预测中。在此情况下， 运动矢量信息也进行熵编码。另外，作为此运动补偿预测能够利用与 历来所用的MPEG-4或H.264中的运动补偿预测同样的办法。另外， 还能够应用其他的任意运动补偿预测手段。
另外，虽然在上述的各实施方式中，作为帧内预测利用了在 H.264中所用的空间区域上的预测，但帧内预测并不限定于此。例如， 还可以应用在MPEG-4中所进行的频率区域上的预测。
在此情况下，在邻接于上或左的块已编码或解码完毕的情况下， 将相邻接的块中的变换系数的全部或者一部分用作该编码或解码对象 块中的变换系数的预测值。在邻接于上和左的块都已编码或解码完毕 的情况下，将表示邻接于上或左的块之中、将哪个块的变换系数的全 部或者一部分用作预测值的1位的数据作为预测方式信息进行编码。另 外，在邻接于上或左的块之中某一方已编码或解码完毕的情况下，将 该编码或解码完毕的块中的正交变换系数的全部或者一部分用作预测 值。
另一方面，在邻接于上或左的块哪个都未编码或解码完毕的情况 下，将沿该块的上方向或左方向存在于最近距离的编码或解码完毕的 块中的正交变换系数的全部或一部分用作预测值。但是，在沿上方向 和左方向存在于最近距离的编码或解码完毕的块沿上方向和左方向都 存在于相同距离的情况下，则将表示沿上方向和左方向存在的块之中、 哪些块的变换系数的全部或者一部分用作预测值的1位的数据作为预 测方式信息来进行编码。另外，在编码或解码对象块的沿上方向和左 方向存在的全部块尚未编码或解码完毕的情况下，仅DC成分作为设定 值(例如128)来进行预测。
另外，在上述的各实施方式中，还可以通过作为帧内预测设预测 值为0，以不进行帧内预测这样来使之动作。在此情况下也能够通过图 像填补方式的导入使空间上的冗余度得以削减从而提高编码效率。
另外，虽然在上述的各实施方式中，在图像填补处理中利用与处 理对象的帧同一空间内的再生图像来生成预测图像，但是与该处理对 象的帧不同的帧、再生图像生成完毕的帧的再生图像也可以被用于图 像填补处理。
另外，虽然在上述的第1实施方式中，通过图像填补处理所生成 的预测图像原封不动作为再生图像进行采用，但也可以在编码侧对该 预测图像与输入图像的预测残差图像进行上述的变换处理及熵编码后 包含在比特流中。在此情况下，在解码侧通过对比特流的数据进行解 码及逆变换处理来生成复原预测残差图像，将该复原预测残差图像与 通过图像填补处理所生成的预测图像进行相加由此来生成再生图像。
[第3实施方式]
下面，就本发明的第3实施方式进行说明。
图16是表示与第3实施方式相关的活动图像编码装置之构成的 图。图16所示的活动图像编码装置310，在物理上可以是具备例如， CPU(中央处理装置)、存储器之类的存储装置、显示器之类的显示 装置、通信装置等的计算机。另外，活动图像编码装置310也可以是携 带式电话之类的移动通信终端、DVD设备等。即、在活动图像编码装 置310上可进行信息处理的装置能得以广泛应用。
活动图像编码装置310在功能上具有区域分割部312、编码方式决 定部(决定单元)314、图像预测部316、减法运算部318、变换部(变 换单元)320、编码部(编码单元)322、逆变换部(逆变换单元)324、 加法运算部(再生图像生成单元)326、图像存储部(存储单元)328。
区域分割部31 2将输入视频图像(活动图像)的各帧依次作为编 码对象帧、并将编码对象帧分割成规定大小的多个部分区域(以下、 称为宏块)。规定大小例如可以是16×16像素的大小，但并不限定于 此还可以是其他的大小。
区域分割部312另外还生成用于确定宏块的宏块位置信息。在宏 块位置信息上例如能够利用对帧内的各宏块按光栅扫描顺序升序的附 加的整数编号。另外，在宏块位置信息上还能够利用按光栅扫描顺序 位于宏块的开头的像素的坐标。
编码方式决定部314求解各宏块的编码方式，并将用于确定该编 码方式的编码方式信息输出给图像预测部316及编码部322。在本实施 方式中，此编码方式信息是指用于确定应通过第1图像预测处理及第2 图像预测处理中的哪一个来生成宏块的预测图像的信息。下面，设第1 图像预测处理为运动补偿预测处理来进行本实施方式的说明。另外， 下面在本说明书中把对宏块应通过第1图像预测处理来进行处理的情 况下的编码方式称为P方式，把应第2图像预测处理来进行处理的情况 下的编码方式称为C方式。此外，第1图像预测处理并不限定于运动补 偿预测处理。在第1图像预测处理上例如能够利用公知的帧内预测之类 的处理。关于第1图像预测处理及第2图像预测处理的细节将在后面叙 述。
图像预测部316基于由编码方式决定部314所输出的编码方式信 息，利用第1预测图像处理或者第2预测图像处理的一方来生成处理对 象的宏块的预测图像。图像预测部316在通过第1图像预测处理对宏块 进行了处理的情况下，将作为预测辅助信息的运动矢量输出给编码部 322。关于图像预测部316的细节将在后面进行叙述。
减法运算部318执行由图像预测部316所生成的处理对象的宏块 的预测图像、与从区域分割部312输出的处理对象的宏块的输入图像的 差运算以生成预测残差图像。
变换部320对预测残差图像进行变换以生成变换信息。在此变换 上能够利用例如、DCT(离散余弦变换：Discrete Cosine Transform) 之类的变换处理和逆量化处理。在此情况下，在变换信息中就包含量 化系数的集合。作为DCT能够利用4行4列的2维DCT、或者8行8列的 二维DCT。此外，在此变换上还能够利用在H.264中所用的4行4列的 整数正交变换及量化、MP法(Matiching Pursuit)、或者矢量量化及 子波变换等任意的变换处理·量化处理。
编码部322利用熵编码之类的编码处理对来自区域分割部312的 宏块位置信息、来自编码方式决定部314的编码方式信息、来自图像预 测部316的运动矢量以及来自变换部320的变换信息进行编码，并将编 码的结果包含在比特流中进行输出。
逆变换部324通过对来自变换部320的变换信息进行逆变换，生成 对预测残差图像进行了复原的复原预测残差图像。在变换信息包含量 化系数的集合的情况下，逆变换部324对量化系数实施逆量化处理及逆 变换处理，生成对预测残差图像进行了复原的复原预测残差图像。
加法运算部326通过将来自逆变换部324的复原预测残差图像与 来自图像预测部316的预测图像相加来生成再生图像，使其编入再生帧 并存储在图像存储部328中。此外，在对图像数据的像素值设定有范围 的情况下，加法运算部326也可以对加法运算结果的像素值进行限幅处 理以使其收纳于该范围内
图像存储部328存储编入了编码对象帧的宏块的生成完毕的再生 图像的再生帧以及参考帧。此参考帧是与编码对象帧不同的帧的再生 帧，在本实施方式中为前一帧的再生帧。
对编码方式决定部314详细地进行说明。图17是用于说明编码方 式决定部的处理的图。在图17中，四边形的区域表示宏块、带箭头记 号的实线及虚线表示扫描顺序。
编码方式决定部314如该图(a)所示那样，首先，以规定的扫描 顺序(例如，光栅扫描顺序)经由借助于第1图像预测处理(运动补偿 预测处理)的编码对象帧的全部宏块的预测图像的生成(即、以P方 式来生成预测图像)后生成由编码对象帧的全部宏块的再生图像组成 的再生帧。
编码方式决定部314如该图(b)所示那样，按与上述相反的扫描 顺序经由借助于第2图像预测处理的编码对象帧的全部宏块的预测图 像的生成后生成编码对象帧的全部宏块的再生图像。
编码方式决定部314在利用第2图像预测处理生成预测图像时，利 用自处理对象的宏块、按规定的扫描顺序位于前方的宏块的再生图像、 按规定的扫描顺序位于后方的宏块之中编码方式为P方式的宏块的再 生图像、图像存储部328中所存储的参考帧。例如，如该图(c)所示 那样，若设附加了“A”的宏块为处理对象的宏块，则利用再生帧的宏 块之中比宏块A靠前方的宏块的再生图像、比A靠后方且编码方式为P 方式的宏块的再生图像(在图中附加“P”的宏块)、以及图像存储部 328中所存储的参考帧来进行第2图像预测处理。关于第2图像预测处理 的细节将在后面进行叙述。
编码方式决定部314每当经第2图像预测处理而生成再生图像，就 通过进行与经第1图像预测处理所生成的再生图像以及经第2图像预测 处理所生成的再生图像各自有关的成本计算来决定编码方式。
此成本，例如在设处理对象的宏块的编码所需要的位数为R、设 该宏块的再生图像的各像素与该宏块的输入图像的各像素之误差的二 乘和为D、以及设预先所设定的系数为λ的情况下，通过D+λ·R来进 行计算。编码方式决定部314将P方式或者C方式之中、此成本较小一 方的方式选择为编码方式。此外，只要成本能够表现编码效率或/和 图像质量，则通过任何函数来求解均可。
下面，对图像预测部316详细地进行说明。图18是表示图像预测 部316的构成的框图。图像预测部316具备方式切换部330、第1图像预 测部(第1图像预测单元)332、第2图像预测部(第2图像预测单元) 334。
方式切换部330接收来自编码方式决定部314的编码方式信息，并 按照根据该编码方式信息所确定的编码方式，启动第1图像预测部332 或者第2图像预测部334。方式切换部330在编码方式为P方式的情况下 启动第1图像预测部332，在编码方式为C方式的情况下则启动第2图像 预测部334。
在活动图像编码装置310中，方式切换部330最初使编码对象帧的 全部宏块之中、编码方式为P方式的全部宏块的预测图像由第1图像预 测部332进行生成。之后，方式切换部330使编码对象帧的全部宏块之 中、编码方式为C方式的宏块的预测图像由第2图像预测部334进行生 成。
第1图像预测部332如上述那样，通过第1图像预测处理、即、运 动补偿预测处理来生成再生图像。运动补偿预测处理是指进行处理对 象的宏块的输入图像与参考帧的任意区域的块匹配，将相关性最高的 参考帧的区域的部分图像作为再生图像来采用，并产生向该区域的运 动矢量发处理。此相关性例如利用处理对象的宏块的输入图像与匹配 对象的区域的再生图像的差分二乘和D、从处理对象的宏块至该区域 的运动矢量的编码上所需要的数据长度R以及预先决定的系数λ，根据 D+λR的评价函数而求得。此外，运动补偿预测处理也可以利用将参 考帧以2倍或者4倍进行了上升抽样的图像来执行。另外，还可以在将 宏块更小地进行了分割的小块上执行运动补偿预测处理。在此情况下， 表示每个小块的运动矢量和宏块的分割种类的宏块分割方式就被输 出。
第2图像预测部334利用第2图像预测处理，生成编码方式被决定 为C方式的宏块的预测图像。图19是用于说明第2图像预测处理的图。 在第2图像预测处理中，再生图像未生成的宏块Y被选择。在此宏块Y 之中，未赋予再生图像的像素值(预测信号)的未处理的像素被选择、 部分地包含该像素的模板T被设定。虽然在本实施方式中，以上述未 处理的像素为中心的模板T被设定，但只要包含有处理完毕的像素和 未处理的像素，则模板T可以是任意的大小及形状。另外，对于宏块Y 对再生帧F1设定任意大小的参考区域R。另外，对图像存储部328中所 存储的参考帧F2也设定参考区域R。参考帧F2中的参考区域R也可以 被设置于与设置在再生帧F1的参考区域R的位置相当的参考帧F2的位 置。或者，参考帧F2中的参考区域R还可以被设置于偏离了与由宏块Y 周围的宏块的运动矢量的中间值组成的运动矢量相当的程度的位置。
在第2图像预测处理中，求得处于参考区域R中的任意位置的再生 图像生成完毕的候补区域S与模板T的相关性，相关性最高的候补区域 被选择为复制参考区域Sc。此相关性例如，根据将在模板T与候补区 域S双方的对应位置上有再生图像的像素值的像素设为有效像素，并 将模板T与候补区域S的有效像素的像素值的差分值的二乘和、即匹配 误差M除以有效像素数U的值而求出。此外，只要相关性能够表现模 板T与候补区域S的图像的类似度则通过任意的运算方法来求解均可。
在第2图像预测处理中，在模板T之中未赋予再生图像的像素值的 未处理的像素上，复制参考区域Sc所对应像素所像素值被复制为填补 像素值。在图19中，在模板T的再生图像生成完毕的部分附着影线。 在图19中示出在模板T内的再生图像未生成的区域(模板T内的下部)、 赋予复制参考区域Sc的下部的像素值的情形。在第2图像预测处理中， 就各宏块反复进行像素的选择直到未赋予再生图像的像素值的未处理 的像素变无为止，生成再生图像。
下面，就活动图像编码装置310的动作进行说明。同时就涉及本 发明的实施方式的活动图像编码方法一并进行说明。图20是涉及第3 实施方式的活动图像编码方法的流程图。
如图20所示那样，在活动图像编码装置310中的编码处理过程中， 由区域分割部312将编码对象帧分割成多个宏块(步骤S301)。另外， 由区域分割部312生成上述的宏块位置信息。
接着，由编码方式决定部314执行对各宏块的编码方式进行决定 的编码方式决定处理(步骤S302)。图21是涉及第3实施方式的活动图 像编码方法中的编码方式决定处理的流程图。如图21所示那样，在编 码方式决定处理中，首先，按扫描顺序(光栅扫描顺序)经第1图像预 测处理(运动补偿预测处理)生成由全部宏块的再生图像组成的再生 帧(步骤S302-1)。
接着，按扫描顺序最终的宏块被选择为处理对象的宏块(步骤 S302-2)，执行上述的第2图像预测处理。在第2图像预测处理中，利 用如上述那样在经步骤S302-1所生成的再生帧之中、相对于处理对象 的宏块按扫描顺序位于前方的宏块的再生图像、相对于处理对象的宏 块按扫描顺序位于后方的宏块之中编码方式为P方式的宏块的再生图 像以及参考帧生成再生图像。
接着，在步骤S302-3中所生成的处理对象的宏块的再生图像与 在步骤S302-1中所生成的对应的宏块的再生图像的成本利用上述的 成本函数分别进行求解(步骤S302-4)。接着，第1图像预测处理、 即P方式、或者第2图像预测处理、即C方式之中、成本较低一方的方 式被选择为编码方式(步骤S302-5)。
接着，检查全部宏块的处理是否结束(步骤S302-6)。在全部 宏块的处理已结束的情况(是)下编码方式的决定处理结束。另一方 面，在全部宏块的处理尚未结束的情况下(否)，在逆扫描顺序选择 编码方式尚未决定的宏块(步骤S302-7)，反复进行从步骤S302-3 到步骤S302-6的处理。
返回图20，接着，在活动图像编码装置310中由编码部322对编码 方式信息进行编码(步骤S303)。接着，由方式切换部330按规定的扫 描顺序(例如，光栅扫描顺序)，将宏块选择为处理对象，并检查处 理对象的宏块的编码方式是否为P方式(第1图像预测处理)(步骤 S304)。在编码方式不是P方式的情况下(否)，处理过程转移到步 骤S312。另一方面，在编码方式为P方式的情况下(是)，方式切换 部330启动第1图像预测部332通过第1图像预测处理生成处理对象的宏 块的预测图像(步骤S305)。
接着，由减法运算部318生成由处理对象的宏块的输入图像与预 测图像之差组成的预测残差图像(步骤S306)。接着，由变换部320 将此预测残差图像变换成变换信息(步骤S307)。接着，由编码部322 对运动矢量以及变换信息进行熵编码(步骤S308)。
接着，由逆变换部324对变换信息实施逆变换以生成复原了预测 残差图像的复原预测残差图像(步骤S309)。接着，通过由加法运算 部326将此复原预测残差图像与来自图像预测部316的预测图像相加以 生成处理对象的宏块的再生图像(步骤S310)。此再生图像被编入再 生帧、并存储在图像存储部328中(步骤S311)。
接着，检查全部宏块的处理是否已结束(步骤S312)。在全部宏 块的处理尚未结束的情况下(否)，选择未处理的宏块后反复进行从 步骤S304到步骤S312的处理。另一方面，在全部宏块的处理已结束的 情况下(是)，处理过程转移至步骤S313。
在步骤S313中，由方式切换部330按规定的扫描顺序(例如，光 栅扫描顺序)将宏块选择为处理对象，并检查处理对象的宏块的编码 方式是否为C方式(第2图像预测处理)。在编码方式不是C方式的情 况下(否)，处理转移到步骤S321。
另一方面，在编码方式为C方式的情况下(是)，方式切换部330 启动第2图像预测部334，通过第2图像预测处理生成处理对象的宏块的 预测图像(步骤S314)。图22是涉及第3实施方式的活动图像编码方法 中的第2图像预测处理的流程图。
如图22所示那样，在第2图像预测处理中，再生图像未生成的块 被选择。在本实施方式中，编码方式为C方式的宏块作为处理对象的 宏块按规定的扫描顺序被选择(步骤S314-1)。
接着，针对处理对象的宏块的参考区域如上述那样进行设定(步 骤S314-2)。接着，宏块内的再生面像未生成的像素被选择(步骤 S314～3)，部分地包含将该像素的模板被设定(步骤S314-4)。
此模板与参考区域中的候补区域的相关性如上述那样进行运算 (步骤S314-5)，相关性最高的候补区域被选择为复制参考区域(步 骤S314-6)。
接着，在再生图像的像素值未被赋予的模板内的未处理的像素上 复制参考区域的对应像素的像素值被复制(步骤S314-7)。接着，检 查在处理对象的宏块内是否有再生像素的像素值未被赋予的未处理的 像素(步骤S314-8)。在有未处理的像素的情况下(是)，选择该未 处理的像素(步骤S314-9)并反复进行步骤S314-4～步骤S314-8 的处理。另一方面，在处理对象的宏块内没有未处理的像素的情况下， 第2图像预测处理(步骤S314)结束。
返回图20，在活动图像编码装置310中，由减法运算部318，生成 由处理对象的宏块的输入图像与通过第2图像预测处理所生成的预测 图像之差组成的预测残差图像(步骤S315)。
接着，由变换部320，将此预测残差图像变换成变换信息(步骤 S316)。接着，由编码部322对变换信息进行熵编码(步骤S317)。
接着，由逆变换部324对变换信息进行逆变换，以生成复原了预 测残差图像的复原预测残差图像(步骤S318)。接着，由加法运算部 326将此复原预测残差图像与来自图像预测部316的预测图像相加，生 成处理对象的宏块的再生图像(步骤S319)。此再生图像被编入再生 帧，并存储在图像存储部328中(步骤S320)。
接着，检查全部宏块的处理是否已结束(步骤S321)。在全部宏 块的处理尚未结束的情况下(否)，选择未处理的宏块后反复进行从 步骤S313到步骤S321的处理。另一方面，在全部宏块的处理已结束的 情况下(是)，编码的处理过程就结束。
下面，就用于使计算机作为活动图像编码装置310来动作的活动 图像编码程序进行说明。图23是将与第3实施方式相关的活动图像编码 程序之构成与记录媒体一起进行表示的图。图23所示的活动图像编码 程序340被保存在记录媒体100中进行提供。作为记录媒体100，软盘、 CD-ROM、DVD、或者ROM等记录媒体或者半导体存储器等得以示 例。
若记录媒体100被插入读取装置112，则计算机110(参照图14及 图15)就可从读取装置112对记录媒体100中所保存的活动图像编码程 序340进行访问，由该活动图像编码程序340作为活动图像编码装置310 进行动作就成为可能。
如图15所示那样，活动图像编码程序340还可以作为被重叠于载 波的计算机数据信号130经由网络来进行提供。在此情况下，计算机110 就能够将由通信装置124所接收到的活动图像编码程序340保存在存储 器116中，以执行该活动图像编码程序340。
如图23所示那样，活动图像编码程序340具备对处理进行统括的 主模块341、区域分割模块342、编码方式决定模块344、图像预测模块 346、减法运算模块348、变换模块350、编码模块352、逆变换模块354、 加法运算模块356以及图像存储模块358。图像预测模块346具有方式切 换模块360、第1图像预测模块362和第2图像预测模块364。
区域分割模块342、编码方式决定模块344、图像预测模块346、 减法运算模块348、变换模块350、编码模块352、逆变换模块354、加 法运算模块356、图像存储模块358、方式切换模块360、第1图像预测 模块362、第2图像预测模块364各自使计算机实现的功能，与上述的区 域分割部312、编码方式决定部314、图像预测部316、减法运算部318、 变换部320、编码部322、逆变换部324、加法运算部326、图像存储部 328、方式切换部330、第1图像预测部332以及第2图像预测部334之中 对应的部分相同。
下面，就活动图像编码装置310的作用及效果进行说明。根据第3 实施方式的图像编码装置310，由于对编码方式为C方式的宏块、即通 过第2图像预测处理生成预测图像的宏块，不需要将基于预测辅助信息 的数据包含在比特流中，所以编码效率高的比特流就得以生成。
在活动图像编码装置310中，第2图像预测部334利用参考帧以及 编码对象帧的再生帧来生成预测图像。在此再生帧中，就包含有经第1 图像预测处理及第2图像预测处理已经被生成的再生图像。即、第2图 像预测部334利用由与编码对象帧不同的帧的再生图像组成的参考帧 与由编码对象帧的再生图像组成的再生帧来生成预测图像。从而，时 间方向及空间方向的冗余度被削减的编码数据就得以生成。
另外，在第2图像预测处理中，利用包含经第1图像预测处理及第 2图像预测处理已经被生成的再生图像的再生帧。从而，就能够将按扫 描顺序位于后方的再生图像也用于预测，所以就能够更加有效地削减 空间方向的冗余度。
[第4实施方式]
下面，就本发明的第4实施方式的活动图像解码装置进行说明。 图24是表示涉及第4实施方式的活动图像解码装置之构成的图。图24 所示的活动图像解码装置370在物理上可以是具备CPU(中央处理装 置)、存储器之类的存储装置、显示器之类的显示装置、通信装置等 的计算机。另外，活动图像解码装置370也可以是携带式电话之类的移 动通信终端、DVD装置等。即、在活动图像解码装置370上可进行信 息处理可能的装置能得以广泛应用。
如图24所示那样，活动图像解码装置370具备解码部(解码单元) 372、逆变换部(逆变换单元)374、图像预测部376、加法运算部(再 生图像生成单元)378、图像存储部(存储单元)380。
解码部372接收所输入的比特流并对该比特流进行解码。在接收 由活动图像编码装置310所生成的比特流的情况下，解码部372对该比 特流进行解码，产生宏块位置信息、编码方式信息、运动矢量以及变 换信息。
逆变换部374从解码部372接收变换信息，并对处理对象的宏块的 变换信息实施逆变换，由此生成该处理对象宏块的复原预测残差图像。 逆变换部374将此复原预测残差图像输出到加法运算部378。此外，由 逆变换部374进行的处理是与活动图像编码装置310的逆变换部324同 样的处理。
图像预测部376生成处理对象的宏块的预测图像，并将该预测图 像输出到加法运算部378。图像预测部376具有方式切换部382、第1图 像预测部(第1图像预测单元)384和第2图像预测部(第2图像预测单 元)386。方式切换部382基于来自解码部372的编码方式信息启动第1 图像预测部384或者第2图像预测部386。第1图像预测部384通过第1图 像预测处理生成处理对象的宏块的预测图像，第2图像预测部386则通 过第2图像预测处理生成处理对象的宏块的预测图像。由图像预测部 376中所包含的这些要素进行的处理与由活动图像编码装置310的图像 预测部316中对应的要素进行的处理相同。
加法运算部378将来自图像预测部376的预测图像与来自逆变换 部374的复原预测残差图像相加，生成处理对象的宏块的再生图像，并 使其存储在图像存储部380中。此外，在对图像数据的像素值设定有范 围的情况下，加法运算部378也可以对加法运算结果的像素值进行限幅 以使其收纳于该范围内。
图像存储部380存储编入了生成完毕的再生图像的解码对象帧的 再生帧和参考帧。参考帧如上述那样是与解码对象帧不同的帧的再生 帧，在本实施方式中为解码对象帧的前一帧的再生帧。
下面，就活动图像解码装置370的动作进行说明。同时就涉及本 发明的实施方式的活动图像解码方法进行说明。图25是涉及第4实施方 式的活动图像解码方法的流程图。
如图25所示那样，在活动图像解码装置370中的解码处理过程中， 首先，由解码部372将解码对象帧的全部宏块的编码方式信息从比特流 进行解码(步骤S331)。
接着，由方式切换部382按规定的扫描顺序(例如，光栅扫描顺 序)将宏块选择为处理对象，并检查处理对象的宏块的编码方式是否 为P方式(第1图像预测处理)(步骤S332)。在编码方式不是P方式 的情况下(否)，处理过程转移到步骤S338。另一方面，在编码方式 为P方式的情况下(是)，由解码部372从比特流对处理对象的宏块的 变换信息以及运动矢量进行熵解码(步骤S333)。接着，方式切换部 382启动第1图像预测部384，通过第1图像预测处理生成处理对象的宏 块的预测图像(步骤S34)。
接着，由逆变换部374对变换信息实施逆变换以生成复原预测残 差图像(步骤S335)。接着，由加法运算部378，将此复原预测残差图 像与预测图像相加以生成再生图像(步骤S336)。此再生图像被编入 再生帧、并存储在图像存储部380中(步骤S337)。
接着，检查全部宏块的处理是否已结束(步骤S338)。在全部块 的处理尚未结束的情况(否)下，选择未处理的宏块后反复进行从步 骤S332到步骤S338的处理。
另一方面，在全部块的处理已结束的情况下(是)，处理过程转 移到步骤S339。在步骤S339中，由方式切换部82按规定的扫描顺序(例 如，光栅扫描顺序)将宏块选择为处理对象，并检查处理对象的宏块 的编码方式是否为C方式(第2图像预测处理)(步骤S339)。在编码 方式不是C方式的情况下(否)，处理过程转移到步骤S345。另一方 面，在编码方式为C方式的情况下(是)由解码部372从比特流中对处 理对象的宏块的变换信息进行熵解码(步骤S340)。接着，方式切换 部382启动第2图像预测部386，通过第2图像预测处理生成处理对象的 宏块的预测图像(步骤S341)。
接着，由逆变换部374对变换信息实施逆变换以生成复原预测残 差图像(步骤S342)。接着，由加法运算部378将此复原预测残差图像 与预测图像相加以生成再生图像(步骤S343)。此再生图像被编入再 生帧、并存储在图像存储部380中(步骤S344)。
接着，检查全部宏块的处理是否已结束(步骤S345)。在全部块 的处理尚未结束的情况下(否)，选择未处理的宏块后反复进行从步 骤S339到步骤S345的处理。另一方面，在全部块的处理已结束的情况 下(是)，解码的处理过程就结束。
下面，就用于使计算机作为活动图像解码装置370来动作的活动 图像解码程序进行说明。图26是将涉及第4实施方式的活动图像解码程 序之构成与记录媒体一起进行表示的图。图26所示的活动图像解码程 序390被保存在记录媒体100中进行提供。作为记录媒体100，软盘、 CD-ROM、DVD、或者ROM等记录媒体或者半导体存储器等得以示 例。
若记录媒体100被插入读取装置112，则计算机110(参照图14及 图15)就可从读取装置112对记录媒体100中所保存的活动图像解码程 序390进行访问，由该活动图像解码程序390作为活动图像解码装置370 进行动作就成为可能。
如图15所示那样，活动图像解码程序390也可以作为被重叠于载 波的计算机数据信号130经由网络来进行提供。在此情况下，计算机110 就能够将由通信装置124接收到的活动图像解码程序390保存在存储器 116中，以执行该活动图像解码程序390。
如图26所示那样，活动图像解码程序390具备对处理进行统括的 主模块391、解码模块392、逆变换模块394、图像预测模块396、加法 运算模块398、图像存储模块400。图像预测模块396具有方式切换模块 402、第1图像预测模块404和第2图像预测模块406。
解码模块392、逆变换模块394、图像预测模块396、加法运算模 块398、图像存储模块400、方式切换模块402、第1图像预测模块404、 第2图像预测模块406各自使计算机实现的功能，与上述的解码部372、 逆变换部374、图像预测部376、加法运算部378、图像存储部380、方 式切换部382、第1图像预测部384、第2图像预测部386之中对应的要素 的功能相同。
如以上所说明那样，活动图像解码装置370就可基于由活动图像 编码装置310所生成的比特流来对活动图像进行复原。另外，活动图像 解码装置370，能够对编码方式为C方式的宏块、即、通过第2图像预 测处理生成预测图像的宏块，生成预测图像而不用从编码侧取得运动 矢量之类的预测辅助信息。
此外，本发明并部限定于上述的第3、及第4实施方式可进行各种 各样的变形。例如，在第3实施方式中，在第2图像预测处理中由编码 对象帧的再生图像组成的再生帧被参考。即便取代此再生帧而参考编 码对象帧、即输入图像自身，也能够实现第2图像预测处理。
另外，由第2图像预测处理所生成的预测图像还可以作为再生图 像原封不动地得以采用。在此情况下，由于不需要将与通过第2图像预 测处理所生成的预测图像与输入图像之差组成的预测残差图像相关的 编码数据包含在比特流中，所以编码效率更高的比特流就得以生成。
另外，在作为活动图像的特性，运动较多的部分和运动较少的背 景部分的位置为已知的情况下，还可以通过参照预先决定了各宏块的 编码方式的表等，而省去编码方式的决定处理。
如以上对本发明的优选实施方式所说明那样，根据本发明，就提 供了一种可效率良好地对图像进行编码的图像编码装置、图像编码方 法以及图像编码程序，另外，还提供了一种可从由本发明的图像编码 装置所生成的比特流将图像复原的图像解码装置、图像解码方法以及 图像解码程序。