この発明は、動画像を矩形領域に分割して、矩形領域単位で符号化を行う動画像符号化装置と、符号化された動画像を矩形領域単位で復号する動画像復号装置に関するものである。

従来の画像信号を符号化または復号する方式として、ＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ｐｈａｓｅ−４）ビジュアル（ＩＳＯ／ＩＥＣ １４４９６−２）がある。 ＭＰＥＧ−４は、動画像シーケンスを時間／空間的に任意の形状をとる動画像オブジェクトの集合体としてとらえ、各動画像オブジェクトを単位として符号化・復号化を行う方式である。

ＭＰＥＧ−４では時間軸を含めた動画像オブジェクトをＶｉｄｅｏ Ｏｂｊｅｃｔと呼び、Ｖｉｄｅｏ Ｏｂｊｅｃｔの構成要素をＶｉｄｅｏ Ｏｂｊｅｃｔ Ｌａｙｅｒ（ＶＯＬ）と呼び、ＶＯＬの構成要素をＧｒｏｕｐ ｏｆ Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ（ＧＯＶ）と呼び、ＧＯＶの各時刻の状態を表し符号化の単位となる画像データをＶｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ（ＶＯＰ）と呼ぶ。 矩形形状のオブジェクトを扱う場合には、ＶＯＰはフレームに相当する。 ＶＯＰは被符号化領域の単位であるマクロブロックごとに符号化される。 マクロブロックは１６画素×１６ライン固定の矩形ブロックである。 マクロブロックはさらに８画素×８ラインのブロックに分割され、マクロブロック単位または８画素×８ラインサイズのブロック単位での動き補償予測を行う。

動き補償予測のブロックサイズの選択はマクロブロック単位に切り替えることができる。 また、対象とするマクロブロックの符号化を行うかどうかをマクロブロック単位に選択することができる。 対象とするマクロブロックの符号化を行わない場合（非符号化モード）には、１フレーム前の同位置（真裏）のマクロブロックの復号データが用いられる。 対象とするマクロブロックの符号化を行う場合には、動き補償予測を行うか（インター符号化モード）、あるいは動き補償予測によるフレーム間予測を行わずにフレーム内の情報のみで符号化を行うか（イントラ符号化モード）をマクロブロック単位に選択することができる。

また、符号化処理におけるブロック分割において、複数のサイズのマクロブロックに分割できるようにし、画像の中の画質の重要度が高い部分ではそのサイズを小さくし、重要度が低い部分ではそのサイズを大きくするようにしたものがあった（例えば、特許文献１参照）。

このような従来の画像符号化・復号化方式では、マクロブロックサイズが固定であるため、画像の解像度や画像の内容（絵柄の細かさ、動きの激しさ等）に応じてマクロブロックサイズを適応的に切り替えることができないという問題点があった。 特に画像の解像度が高くなった場合には、従来の画像符号化・復号化方式で採用されている固定のマクロブロックサイズでは、マクロブロックがカバーする領域が局所化し、周辺マクロブロックで同じ符号化モードになったり、同じ動きベクトルをもつケースが発生する。 このようなケースでは予測効率が上がらないにもかかわらず、マクロブロックごとに符号化される符号化モード情報や動きベクトル情報などのオーバーヘッドが増えるため、符号化効率全体としては低下する。

解像度が低い画像であっても、動きの少ない画像やフレーム内で動きが一定の画像の場合には、周辺マクロブロックで同じ符号化モード（非符号化モードが）になったり、同じ動きベクトルをもつケースが発生する。 また、一般にマクロブロックのサイズが大きい場合には、符号化モード等のマクロブロック単位に必要なオーバーヘッドに関わる情報量を少なくすることができる。 しかしながら、マクロブロックサイズより小さなサイズの領域単位での符号化モードの切り替えができないため、動きが激しい領域、動きが異なる（人物と背景など）領域の境界付近での予測効率が低下し、符号化効率が低下する。 逆にマクロブロックのサイズが小さい場合には、マクロブロック数が増え、符号化モード等のオーバーヘッドの情報量は増えるが、動きが激しい領域、動きが異なる（人物と背景など）領域の境界付近では適応的に符号化モードの切り替えができるため、予測効率が向上し、符号化効率が向上する。

また、上記の従来の特許文献１に記載された技術では、フレーム内で適応的にサイズを切り替えるため、矩形サイズ情報の符号量が多いという問題点があった。

この発明は上記のような課題を解決するためになされたもので、画像の解像度や画像の内容によって、適応的に矩形領域サイズを切り替えて符号化することができ、かつ、これによる符号化画像へ矩形サイズ情報の増加を抑えることのできる動画像符号化装置及び動画像復号装置を得ることを目的とする。

この発明に係る動画像復号装置は、複数の連続するフレームの集合であるシーケンス単位に矩形領域のサイズの情報を復号する矩形領域サイズ復号手段と、矩形領域サイズ復号手段によって復号された矩形領域のサイズの情報に基づいて矩形領域のサイズを決定する矩形領域サイズ決定手段と、矩形領域単位に定められる符号化モードを復号する符号化モード復号手段と、符号化モード復号手段によって復号された符号化モードにより矩形領域内の画素値を復号する矩形領域復号手段とを備え、符号化モード復号手段によって復号された符号化モードには、矩形領域と同じまたは矩形領域を分割した動き補償領域の領域の形状を示す動き補償領域形状情報を含み、矩形領域復号手段は、動き補償領域形状情報に示される領域の単位に復号される動きベクトル情報を用いて動き補償予測を行い、予測画像を得る動き補償手段と、逆量子化及び逆直交変換を行う単位を示すブロックサイズ指示情報を復号し、該ブロックサイズ指示情報に基づいて逆量子化及び逆直交変換処理を行う変換処理手段と、を備えるものである。

この発明の動画像復号装置は、上記のように構成したので、矩形領域サイズ及びブロックサイズ指示情報を画像の特徴などによって容易かつ適応的に切り替えることができ、かつ、これによる符号化画像へ矩形サイズ情報の増加を抑えることができる。 その結果、シーケンス単位で矩形領域サイズ及びブロックサイズ指示情報を変更して効率よく符号化した動画像を復号することができる。

この発明の実施の形態１による動画像符号化装置を示す構成図である。

この発明の実施の形態１の動画像符号化装置における動き補償の単位となる領域分割例（その１）を示す説明図である。

この発明の実施の形態１の動画像符号化装置における動き補償の単位となる領域分割例（その２）を示す説明図である。

この発明の実施の形態１の動画像符号化装置における動きベクトル検出の説明図である。

この発明の実施の形態１の動画像符号化装置におけるイントラ予測の説明図である。

この発明の実施の形態１の動画像符号化装置におけるマクロブロックサイズ情報の変更をスライス単位とした場合の説明図である。

この発明の実施の形態２による動画像復号装置を示す構成図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による動画像符号化装置を示す構成図である。
図において、動画像符号化装置は、マクロブロックサイズ決定部（矩形領域サイズ決定手段）１、マクロブロック分割部（矩形領域分割手段）２、マクロブロック符号化部（矩形領域符号化手段）３、エントロピー符号化部（矩形領域サイズ情報多重化手段）４を備えている。 また、マクロブロック符号化部３は、符号化モード決定部（符号化モード決定手段）５、動き補償領域分割部（動き補償領域分割手段）６、動き検出部（動き検出手段）７、動き補償部（動き補償手段）８、減算器９、ブロック分割部（ブロック分割手段）１０、変換量子化部（変換量子化手段）１１、逆量子化逆変換部１２、加算器１３、参照画像メモリ１４、イントラ予測ブロック分割部（画面内予測ブロック分割手段）１５、イントラ予測部（画面内予測手段）１６を備えている。

マクロブロックサイズ決定部１は、フレーム単位にマクロブロックのサイズを決定し、これをマクロブロックサイズ指示情報（矩形領域サイズ情報）１０２として出力する機能部である。 マクロブロック分割部２は、マクロブロックサイズ決定部１で決められたサイズのマクロブロックに入力画像１０１を分割する機能部である。 マクロブロック符号化部３は、マクロブロック毎に符号化モードを決定し、その決定した符号化モードにより、マクロブロック内の画素値を符号化する機能を有している。 エントロピー符号化部４は、マクロブロックサイズ決定部１で決定されたマクロブロックサイズ指示情報１０２と、ブロックサイズ指示情報１０８と、符号化モード決定部５から出力された符号化モード情報１０６と、変換量子化部１１で求められた係数データ１０９と、動き検出部７で求められた動きベクトル情報１０７とをビットストリーム１０３に多重化する機能を有している。

符号化モード決定部５は、マクロブロック毎に符号化モードを決定する機能部である。 動き補償領域分割部６は、マクロブロック内を、符号化モード決定部５が定める領域に分割する機能部である。 動き検出部７は、動き補償領域分割部６によって分割された領域単位に動き検出を行う機能部である。 動き補償部８は、動き検出部７によって得られる動きベクトル情報１０７を用いて動き補償予測を行い、予測画像を得る機能部である。 減算器９は、動き補償部８で得られた予測画像と入力画像との画素値の差分を得るための減算器である。 ブロック分割部１０は、減算器９で得られた画素値の差分を、マクロブロック単位の予測誤差画像として取得すると共に、入力画像または予測誤差画像のマクロブロック内を、ブロックサイズ指示情報１０８に基づいて、予め決められたサイズの矩形ブロックに分割する機能部である。

変換量子化部１１は、ブロック分割部１０で分割されたブロック単位に直交変換処理および量子化を行い、係数データ１０９を出力する機能部である。 逆量子化逆変換部１２は、変換量子化部１１から出力された係数データ１０９に基づいて、逆量子化逆変換を行い、復号予測誤差画像を得るための機能部である。 加算器１３は、逆量子化逆変換部１２で得られた復号予測誤差画像と動き補償部８で求めた予測画像とを加算し、復号画像を得るための加算器である。 参照画像メモリ１４は、加算器１３から出力された復号画像を参照画像として格納するメモリである。

次に、実施の形態１の動作について説明する。
先ず、入力画像１０１がマクロブロック分割部２へ入力され、フレーム単位で決定されるマクロブロックサイズ指示情報１０２に基づき、所定のマクロブロックサイズに分割される。 マクロブロックサイズ指示情報１０２は、例えば、１６画素×１６ライン、３２画素×３２ラインのいずれかのサイズを選択可能な情報であり、これについては後述する。 ここで指定されたマクロブロックサイズ指示情報１０２は、エントロピー符号化部４へ入力され、エントロピー符号化され、ビットストリーム１０３へ多重化される。

マクロブロックサイズ指示情報１０２はマクロブロックサイズ決定部１から出力される。 マクロブロックサイズ決定部１では、フレーム間差分を算出してフレーム間差分が小さい場合には、３２画素×３２ラインのマクロブロックを採用し、フレーム間差分が大きい場合には１６画素×１６ラインのマクロブロックを採用する。 また、第２の方法としては、３２画素×３２ライン単位での動き検出と、１６画素×１６ライン単位での動き検出を行い、それぞれ予測誤差を算出し、予測誤差が小さいサイズをマクロブロックサイズとして採用する。 更に、第３の方法としては、３２画素×３２ライン単位および１６画素×１６ライン単位で画素値の分散を算出し、分散のフレーム内平均が小さいサイズをマクロブロックサイズとして採用する。 またこれら複数の方法を組み合わせて決定しても良い。

また、第４の方法としては、所定の解像度よりも高い解像度の場合には３２画素×３２ラインを採用し、所定の解像度よりも低い解像度の場合には１６画素×１６ラインを採用するなど、画像の解像度に応じて自動的に決定しても良い。 この場合、解像度によって、マクロブロックサイズが決まるので、マクロブロックサイズ指示情報１０２をビットストリーム１０３に多重化する必要がない。

また、利用形態によって利用可能な符号化パラメータの組み合わせを予め定めた情報（プロファイルと呼ぶ）によって、予めマクロブロックサイズを決めておき、選択したプロファイルによって自動的にマクロブロックサイズを決定してもよい。

マクロブロックに分割された入力画像１０１は、マクロブロック毎に決定される符号化モードに応じて、マクロブロック符号化部３内の動き補償領域分割部６、イントラ予測ブロック分割部１５、ブロック分割部１０のいずれかへ入力される。

マクロブロック毎に決定される符号化モードには、マクロブロックタイプ情報、動き補償領域形状情報１０４、イントラ予測ブロックサイズ情報１０５が含まれる。 マクロブロックタイプ情報とは、画面間予測符号化を行うモード（インターモード）、画面内符号化を行うモード（イントラモード）、画面内予測符号化を行うモード（イントラ予測モード）を選択可能な情報である。 これらのモードの選択は、符号化モード決定部５にて行われるが、これらのモードの選択方法については、本発明の特徴点とは直接関係がないため、ここでの説明は省略する。

符号化モード決定部５では、上記符号化モードのそれぞれについて、更に詳細な符号化モードが決定される。 即ち、インターモードのときには、動き補償を行う単位を示す動き補償領域形状情報１０４、イントラ予測モードのときには、イントラ予測を行う単位を示すイントラ予測ブロックサイズ情報１０５が決定される。 尚、それぞれの情報の内容については後述する。 また、符号化モード決定部５で決定された各種符号化モードは、符号化モード情報１０６としてエントロピー符号化部４に与えられ、エントロピー符号化部４にて、マクロブロック毎に符号化されビットストリームに多重化される。

先ず、インターモードが選択された場合について説明する。
マクロブロック分割部２でマクロブロックに分割された入力画像は、動き補償領域分割部６に入力され、符号化モード決定部５にて選択された動き補償領域形状情報１０４に基づき、動き補償の単位となる領域形状に分割される。

図２および図３に動き補償の単位となる領域分割例を示す。
マクロブロックサイズが１６画素×１６ラインの場合には、図２に示す（ａ）から（ｄ）の領域のいずれか（１６画素×１６ライン、８画素×１６ライン、１６画素×８ライン、８画素×８ライン）に分割され、（ｄ）の領域に分割された場合には８画素×８ラインの各ブロックは、図２の（ｅ）から（ｈ）のいずれか（８画素×８ライン、４画素×８ライン、８画素×４ライン、４画素×４ライン）に分割することもできる。 マクロブロックサイズが３２画素×３２ラインの場合には、１６画素×１６ラインのマクロブロックサイズのときと同様に、図２に示す（ａ）から（ｄ）の領域のいずれかに分割してもよいが、別の例として、図３に示す（ｊ）から（ｋ）のいずれか（３２画素×３２ライン、１６画素×３２ライン、３２画素×１６ライン、１６画素×１６ライン）に分割し、（ｋ）の領域に分割された場合には、１６画素×１６ラインの各ブロックを図２の（ａ）から（ｄ）のいずれかに分割することもできる。 これらの分割方法を指示する情報が動き補償領域形状情報１０４である。 上述したように、動き補償領域形状情報１０４は、マクロブロックサイズによって選択可能な領域形状を切り替えてもよい。

動き補償の単位となる領域形状に分割された入力画像は、動き検出部７に入力され、参照画像メモリ１４に格納されている１枚以上の参照画像を用いて動き検出が行われる。 動き検出部７では、動き補償領域分割部６にて決定された領域単位に参照画像の所定の範囲を探索し、最適な動きベクトルを検出する。 図４は、このような動きベクトル検出の説明図である。 尚、動きベクトル検出動作については、公知であるため、ここでの詳細な説明は省略する。

動き検出部７から得られる動きベクトル情報１０７は、エントロピー符号化部４に入力され、エントロピー符号化されてビットストリーム１０３に多重化されると共に、動き補償部８へ入力される。 動き補償部８では、参照画像メモリ１４に格納されている参照画像と、動き検出部７からの動きベクトル情報１０７を用いて予測画像の生成を行う。 動き補償部８から得られる予測画像は、減算器９によって、マクロブロックに分割された入力画像との差分が求められ、この差分が予測誤差画像として、ブロック分割部１０へ入力される。 ブロック分割部１０では、ブロックサイズ指示情報１０８に基づいて、変換（ＤＣＴのような直交変換）および量子化の単位となるブロックに分割する。

ブロックサイズ指示情報１０８は、例えば、８画素×８ライン、４画素×４ラインのいずれかを選択可能な情報である。 また、他の例としては、選択可能なブロックサイズ指示情報１０８をマクロブロックサイズによって切り替えても良い。 例えば１６画素×１６ラインのマクロブロックの場合、ブロックサイズ指示情報１０８は、８画素×８ライン、４画素×４ラインを選択可能な情報とし、３２画素×３２ラインのマクロブロックの場合、ブロックサイズ指示情報１０８は、１６画素×１６ライン、８画素×８ラインを選択可能な情報とする。 選択したブロックサイズ指示情報１０８は、エントロピー符号化部４へ入力され、エントロピー符号化されてビットストリーム１０３に多重化される。

更に他の例としては、ブロックサイズはマクロブロックサイズに応じて決めてもよい。 例えば１６画素×１６ラインのマクロブロックの場合には、ブロックサイズを４画素×４ラインとし、３２画素×３２ラインのマクロブロックの場合には、ブロックサイズを８画素×８ラインとする。 この場合、マクロブロックサイズに応じて、ブロックサイズが決まるので、ブロックサイズ指示情報をビットストリーム１０３に多重化する必要がない。

ブロックに分割された予測誤差画像は変換量子化部１１へ入力され、直交変換および量子化が行われる。 直交変換および量子化処理の結果得られる係数データ１０９は、エントロピー符号化部４にてエントロピー符号化され、ビットストリーム１０３に多重化される。 変換量子化部１１から得られる係数データ１０９は、更に、逆量子化逆変換部１２へ入力され、逆量子化・逆変換が行われ、復号予測誤差画像が得られる。 復号予測誤差画像は、動き補償部８から得られる予測画像と加算器１３で加算され、復号画像として出力される。 復号画像は以降の入力画像の符号化において、参照画像として使用されるため、参照画像メモリ１４に格納される。

次に、イントラモードが選択された場合について説明する。
マクロブロック分割部２にてマクロブロックに分割された入力画像は、ブロック分割部１０へ入力される。 ブロック分割部１０の動作は、インターモードのときと同様である。 ブロックに分割された入力画像は変換量子化部１１にて直交変換および量子化が行われる。 直交変換および量子化処理の結果得られる係数データ１０９は、エントロピー符号化部４でエントロピー符号化され、ビットストリーム１０３に多重化される。 変換量子化部１１から得られる係数データ１０９は、更に、逆量子化逆変換部１２へ入力され、逆量子化・逆変換が行われ、復号画像が得られる。 復号画像は以降の入力画像の符号化において参照画像として使用されるため、参照画像メモリ１４に格納される。

次に、イントラ予測モードが選択された場合について説明する。
マクロブロック分割部２にてマクロブロックに分割された入力画像は、イントラ予測ブロック分割部１５へ入力される。 イントラ予測ブロック分割部１５では、イントラ予測ブロックサイズ情報１０５に基づいて、イントラ予測の単位となるブロックに分割する。 イントラ予測ブロックサイズ情報１０５は、１６画素×１６ライン、４画素×４ラインのいずれかを選択可能な情報である。 他の例としては、選択可能なイントラ予測ブロックサイズ情報１０５をマクロブロックサイズによって切り替えても良い。 例えば１６画素×１６ラインのマクロブロックの場合、イントラ予測ブロックサイズ情報１０５は、１６画素×１６ライン、４画素×４ラインを選択可能な情報とし、３２画素×３２ラインのマクロブロックの場合、イントラ予測ブロックサイズ情報１０５は、３２画素×３２ライン、８画素×８ラインを選択可能な情報とする。

イントラ予測ブロック分割部１５にてブロックに分割された入力画像はイントラ予測部１６へ入力され、イントラ予測が行われる。 イントラ予測については公知であるため、ここでは詳細な説明は省略するが、図５に示すように、符号化対象ブロック内の各画素値を符号化済みの周辺ブロック（図５のＡからＤ）の画素値から予測した予測画像を生成する。 イントラ予測部１６から得られた予測画像と、マクロブロックに分割された入力画像との差分を減算器９で求め、この差分が予測誤差画像として、ブロック分割部１０へ入力される。 ブロック分割部１０の動作はインターモードのときと同様である。

ブロックに分割された予測誤差画像は変換量子化部１１へ入力され、直交変換および量子化が行われる。 直交変換および量子化処理の結果得られる係数データ１０９は、エントロピー符号化部４にてエントロピー符号化され、ビットストリーム１０３に多重化される。 変換量子化部１１から得られる係数データ１０９は、更に逆量子化逆変換部１２へ入力され、逆量子化・逆変換が行われ、復号予測誤差画像が得られる。 復号予測誤差画像は、イントラ予測部１６から得られる予測画像と加算器１３で加算され、復号画像として出力される。 復号画像は以降の入力画像の符号化において、参照画像として使用されるため、参照画像メモリ１４に格納される。

以上の実施の形態では、フレーム単位でマクロブロックサイズ情報を変更できるようにしたが、図６に示す例のように１フレーム内を複数のマクロブロックの集合（スライスと呼ぶ）に分割した単位で変更できるようにしてもよい。 符号化処理については、１スライスを１フレームとみなし、以上の実施の形態で述べたように行えばよい。 このときにはマクロブロックサイズ指示情報１０２はスライス単位にビットストリーム１０３に多重化される。

また、複数の連続するフレームの集合であるシーケンス単位にマクロブロックサイズ情報を変更できるようにしてもよい。 このときにはマクロブロックサイズ指示情報１０２はシーケンス単位にビットストリーム１０３に多重化される。

更に、変形例としては、フレーム単位に変更するか、あるいはシーケンス単位に変更するかを選択してもよい。 このときにはフレーム単位に変更するかどうかの情報をシーケンス単位にビットストリーム１０３に多重化し、フレーム単位に変更することが選択された場合にフレーム単位にマクロブロックサイズ指示情報１０２をビットストリーム１０３に多重化し、シーケンス単位に変更することが選択された場合にはシーケンス単位にマクロブロックサイズ指示情報１０２をビットストリーム１０３に多重化する。

以上のように、実施の形態１の動画像符号化装置によれば、動画像を矩形領域に分割して、矩形領域単位で符号化を行う動画像符号化装置において、フレーム単位または複数の連続するフレームの集合であるシーケンス単位に矩形領域のサイズを決定する矩形領域サイズ決定手段と、矩形領域サイズ決定手段によって決められたサイズの矩形領域に入力画像を分割する矩形領域分割手段と、矩形領域毎に符号化モードを決定し、決定した符号化モードにより矩形領域内の画素値を符号化する矩形領域符号化手段とを備えたので、画像の内容（動きの激しさや絵柄の細かさ等）や解像度、プロファイルに応じて適切な矩形領域サイズを選択することができ、符号化効率を向上させることができると共に、矩形サイズ情報の符号量として、例えば、１フレームまたは１シーケンスに対して数ビットの符号量しかかからない等、矩形サイズ情報の追加による符号量の増加を小さくすることができる。

また、実施の形態１の動画像符号化装置によれば、矩形領域サイズ決定手段によって定められた矩形領域サイズ情報をビットストリームに多重化する矩形領域サイズ情報多重化手段を備えたので、矩形領域サイズを画像の特徴などによって適応的に切り替えることができる。

また、実施の形態１の動画像符号化装置によれば、矩形領域サイズ決定手段は、入力画像の解像度に応じて矩形領域サイズを決定するようにしたので、矩形領域サイズ情報をビットストリームに多重化する必要がなく、処理のオーバーヘッドを減らすことができる。

また、実施の形態１の動画像符号化装置によれば、矩形領域符号化手段は、矩形領域毎に符号化モードを決定する符号化モード決定手段と、矩形領域内を、符号化モード決定手段が定める領域に分割する動き補償領域分割手段と、動き補償領域分割手段によって分割された領域単位に動き検出を行う動き検出手段と、動き検出手段によって得られる動きベクトル情報を用いて動き補償予測を行い、予測画像を得る動き補償手段と、予測画像と、矩形領域内の画素値の差分を、矩形領域単位の予測誤差画像として取得すると共に、入力画像または予測誤差画像の矩形領域内を予め定められたサイズの矩形ブロックに分割するブロック分割手段と、ブロック分割手段で分割されたブロック単位に直交変換処理および量子化を行う変換量子化手段とを備えたので、矩形領域サイズ毎に決定される符号化モードとして画面間予測符号化を行うインターモードの場合も対応することができる。

また、実施の形態１の動画像符号化装置によれば、矩形領域符号化手段は、矩形領域内を符号化モードが定める矩形ブロックに分割する画面内予測ブロック分割手段と、画面内予測ブロック分割手段によって分割された矩形ブロック単位に画面内予測を行い予測画像を得る画面内予測手段と、予測画像と矩形領域内の画素値の差分として、矩形領域単位の予測誤差画像を取得すると共に、入力画像または予測誤差画像の矩形領域内を予め定められたサイズの矩形ブロックに分割するブロック分割手段と、ブロック分割手段によって分割されたブロック単位に量子化および直交変換処理を行う変換量子化手段とを備えたので、矩形領域サイズ毎に決定される符号化モードとして画面内予測符号化を行うイントラ予測モードの場合も対応することができる。

実施の形態２．
実施の形態２は、フレーム単位で異なるマクロブロックサイズを選択して符号化されたビットストリームを復号する動画像復号装置である。

図７は、実施の形態２による動画像復号装置の構成図である。
図において、動画像復号装置は、エントロピー復号部２１とマクロブロック復号部（矩形領域復号手段）２２とを備えている。 ここで、エントロピー復号部２１は、入力ビットストリーム２０１に対してエントロピー復号を行う処理部であり、フレーム単位または複数の連続するフレームの集合であるシーケンス単位に矩形領域のサイズを決定する矩形領域サイズ決定手段と、矩形領域単位に定められる符号化モードを復号する符号化モード復号手段と、動き補償領域単位に動きベクトル情報を復号する動きベクトル情報復号手段と、逆量子化・逆直交変換を行う単位となる矩形ブロックサイズを決定するブロックサイズ決定手段とを実現している。

また、マクロブロック復号部２２は、符号化モード切替部２３、動き補償領域分割部（動き補償領域分割手段）２４、動き補償部（動き補償手段）２５、参照画像メモリ２６、逆量子化逆変換部（逆量子化逆変換手段）２７、加算器２８、イントラ予測ブロック分割部２９、イントラ予測部（画面内予測手段）３０からなる。

符号化モード切替部２３は、マクロブロックタイプ情報２０４に基づいて、符号化モードを切り替えるための機能部である。 動き補償領域分割部２４は、マクロブロック内を、動き補償領域形状情報２０６が定める領域に分割する機能部である。 動き補償部２５は、動きベクトル情報２０７を用いて動き補償予測を行い、予測画像を得るための機能部である。 逆量子化逆変換部２７は、ブロックサイズ指示情報２０３に基づいて、係数データ２０８をマクロブロック単位に、逆量子化および逆直交変換処理を行い、予測誤差画像を求めるための機能部である。 加算器２８は、逆量子化逆変換部２７から出力された予測誤差画像と動き補償部２５から出力された予測画像とを加算し、復号画像２０９を得るための加算器である。 また、参照画像メモリ２６は、復号画像２０９を参照画像として格納するためのメモリである。 なお、エントロピー復号部２１と逆量子化逆変換部２７により、逆量子化及び逆直交変換を行う単位を示すブロックサイズ指示情報を復号し、該ブロックサイズ指示情報に基づいて逆量子化及び逆直交変換処理を行う変換処理手段を実現している。

次に、実施の形態２の動作について説明する。
先ず、入力ビットストリーム２０１がエントロピー復号部２１へ入力され、マクロブロックサイズ指示情報２０２、ブロックサイズ指示情報２０３、符号化モード（マクロブロックタイプ情報２０４、イントラ予測ブロックサイズ情報２０５、動き補償領域形状情報２０６）、動きベクトル情報２０７、係数データ２０８が復号される。 尚、マクロブロックサイズ指示情報２０２はフレーム単位に復号される情報であり、符号化モードはマクロブロックサイズ指示情報２０２で決定されるサイズのマクロブロック単位に復号される情報である。 また、動きベクトル情報２０７は復号した動き補償領域形状情報２０６単位に復号される情報である。

次に、マクロブロックサイズ指示情報２０２によって、マクロブロックサイズが決定され、以降の復号は、決定されたサイズのマクロブロック単位にマクロブロック復号部２２にて行われる。 マクロブロックタイプがインターモードのときには、動き補償予測が行われ、イントラ予測モードのときには、イントラ予測が行われる。

先ず、マクロブロックタイプがインターモードのときについて説明する。
動き補償領域分割部２４では、エントロピー復号部２１で復号された動き補償領域形状情報２０６に基づき、指定サイズのマクロブロック内を動き補償を行う単位の領域に分割する。 動き補償領域形状情報２０６の内容は、実施の形態１の動き補償領域形状情報１０４と同様である。 動き補償部２５は、動き補償領域分割部２４で決定された領域単位に、復号された動きベクトル情報２０７と参照画像メモリ２６に含まれる参照画像を用いて予測画像を生成する。 また、動きベクトル情報２０７についても、実施の形態１の動きベクトル情報１０７と同様である。

エントロピー復号部２１にて復号された係数データ２０８は、逆量子化逆変換部２７へ入力される。 逆量子化逆変換部２７では、復号されたブロックサイズ指示情報２０３に基づき、逆量子化逆変換処理を行う。 即ち、ブロックサイズ指示情報２０３が、例えば４画素×４ラインならば、４画素×４ライン単位の逆量子化、逆変換を行い、その結果予測誤差画像が復号される。

動き補償部２５で生成された予測画像と、逆量子化逆変換部２７で復号された予測誤差画像は加算器２８で加算され、復号画像２０９が得られる。 復号画像２０９は以降の復号に用いられるため、参照画像メモリ２６に格納される。

次に、符号化モードがイントラモードのときについて説明する。
復号した係数データ２０８は、逆量子化逆変換部２７へ入力される。 逆量子化逆変換部２７の動作は、インターモードのときと同様である。 逆量子化逆変換の結果は復号画像２０９として出力される。 復号画像２０９はインターモードのときと同様、参照画像メモリ２６に格納される。

次に、符号化モードがイントラ予測モードのときについて説明する。
イントラ予測ブロック分割部２９では、エントロピー復号部２１で復号されたイントラ予測ブロックサイズ情報２０５に基づき、マクロブロック内をイントラ予測を行う単位のブロックに分割する。 イントラ予測ブロックサイズ情報２０５の内容は、実施の形態１のイントラ予測ブロックサイズ情報１０５と同様である。 イントラ予測部３０は、イントラ予測ブロック分割部２９で決定されたブロック単位に、イントラ予測を行う。 イントラ予測については公知であるため、ここでの詳細な説明は省略するが、実施の形態１のイントラ予測部１６と同様、復号済みの周辺ブロックの画素値を用いて、符号化対象ブロックの予測値（予測画像）を生成する。

一方、エントロピー復号部２１で復号された係数データ２０８は、逆量子化逆変換部２７へ入力される。 逆量子化逆変換部２７の動作は、インターモードのときと同様である。 逆量子化逆変換の結果は予測誤差画像として出力される。 イントラ予測部３０で生成された予測画像と逆量子化逆変換部２７で復号された予測誤差画像は加算器２８にて加算され、復号画像２０９が得られる。 復号画像２０９は以降の復号に用いられるため、参照画像メモリ２６に格納される。

尚、上記実施の形態２においては、フレーム単位にマクロブロックサイズ指示情報を復号し、フレーム単位にマクロブロックサイズを切り替えて復号するようにしたが、複数マクロブロックの集合であるスライス単位にマクロブロックサイズ指示情報を復号し、スライス単位にマクロブロックサイズを切り替えて復号するようにしてもよい。

また、他の例では、複数フレームの集合であるシーケンス単位にマクロブロックサイズ指示情報を復号し、シーケンス単位にマクロブロックサイズを切り替えて復号するようにしてもよい。

更に他の例では、フレーム単位でマクロブロックサイズを切り替えるか、またはシーケンス単位でマクロブロックサイズを切り替えるかを指示する情報をシーケンス単位に復号し、フレーム単位に切り替えることが選択された場合にはフレーム単位にマクロブロックサイズ指示情報を復号し、シーケンス単位に切り替えることが選択された場合にはシーケンス単位にマクロブロックサイズ指示情報を復号するようにしてもよい。

また、エントロピー復号部２１は、ビットストリームに多重化されたマクロブロックサイズ指示情報を復号するようにしたが、例えば、所定の解像度よりも高い解像度の場合には３２画素×３２ラインを採用し、所定の解像度よりも低い解像度の場合には１６画素×１６ラインを採用するなど、復号対象画像の解像度に応じて自動的に決定しても良い。

以上のように、実施の形態２の動画像復号装置によれば、動画像を矩形領域に分割して、矩形領域単位で復号を行う動画像復号装置において、フレーム単位または複数の連続するフレームの集合であるシーケンス単位に矩形領域のサイズを決定する矩形領域サイズ決定手段と、矩形領域単位に定められる符号化モードを復号する符号化モード復号手段と、符号化モード復号手段によって復号された符号化モードにより矩形領域内の画素値を復号する矩形領域復号手段とを備えたので、フレームまたはシーケンス単位で矩形領域サイズを変更して効率よく符号化した動画像を復号することができる。 また、矩形領域サイズの変更は、フレームまたはシーケンス単位であるため、例えばフレーム内で矩形領域サイズを切り替える場合等に比べて、矩形領域サイズ切替のための処理量が小さくて済む効果がある。

また、実施の形態２の動画像復号装置によれば、矩形領域サイズ決定手段は、ビットストリームにフレーム単位または複数の連続するフレームの集合であるシーケンス単位に多重化された矩形領域サイズ情報を復号し、復号結果に基づき、矩形領域サイズを決定するようにしたので、矩形領域サイズを、画像の特徴などによって容易かつ適応的に切り替えることができる。

また、実施の形態２の動画像復号装置によれば、矩形領域サイズ決定手段は、復号対象画像の解像度に応じて矩形領域サイズを決定するようにしたので、別途に矩形領域サイズ情報を復号する必要がなく、処理のオーバーヘッドを減らすことができる。

また、実施の形態２の動画像復号装置によれば、符号化モード復号手段によって復号された符号化モードには、動き補償領域の単位となる領域形状を示す動き補償領域形状情報を含み、矩形領域復号手段は、矩形領域内を動き補償領域形状情報が定める領域に分割する動き補償領域分割手段と、動き補償領域単位に動きベクトル情報を復号する動きベクトル情報復号手段と、動きベクトル復号手段によって得られる動きベクトル情報を用いて動き補償予測を行い、予測画像を得る動き補償手段と、逆量子化・逆直交変換を行う単位となる矩形ブロックサイズを決定するブロックサイズ決定手段と、矩形ブロック単位に逆量子化および逆直交変換処理を行う逆量子化逆変換手段とを備えたので、符号化モードとして画面間予測符号化を行うインターモードの場合も復号装置として対応することができる。

また、実施の形態２の動画像復号装置によれば、符号化モード復号手段によって復号された符号化モードには、画面内予測の単位となる領域形状を示すイントラ予測ブロックサイズ情報を含み、矩形領域復号手段は、イントラ予測ブロックサイズ情報が定める矩形ブロック単位に画面内予測を行い予測画像を得る画面内予測手段を備えたので、符号化モードとして画面内予測符号化を行うイントラ予測モードの場合も復号装置として対応することができる。

また、実施の形態２の動画像復号装置によれば、動き補償領域形状情報は、矩形領域サイズ毎に設定される動き補償領域形状を復号したものであるようにしたので、矩形領域サイズ毎に決定される符号化モードとして画面間予測符号化を行うインターモードの場合も対応することができる。

また、実施の形態２の動画像復号装置によれば、イントラ予測ブロックサイズ情報は、矩形領域サイズ毎に設定されるイントラ予測ブロックサイズを復号したものであるようにしたので、矩形領域サイズ毎に決定される符号化モードとして画面内予測符号化を行うイントラ予測モードの場合も対応することができる。

１ マクロブロックサイズ決定部（矩形領域サイズ決定手段）、２ マクロブロック分割部（矩形領域分割手段）、３ マクロブロック符号化部（矩形領域符号化手段）、４ エントロピー符号化部（矩形領域サイズ情報多重化手段）、５ 符号化モード決定部（符号化モード決定手段）、６ 動き補償領域分割部（動き補償領域分割手段）、７ 動き検出部（動き検出手段）、８ 動き補償部（動き補償手段）、９ 減算器、１０ ブロック分割部（ブロック分割手段）、１１ 変換量子化部（変換量子化手段）、１２ 逆量子化逆変換部、１３ 加算器、１４ 参照画像メモリ、１５ イントラ予測ブロック分割部（画面内予測ブロック分割手段）、１６ イントラ予測部（画面内予測手段）、２１ エントロピー復号部（変換処理手段）、２２ マクロブロック復号部（矩形領域復号手段）、２３ 符号化モード切替部、２４ 動き補償領域分割部（動き補償領域分割手段）、２５ 動き補償部（動き補償手段）、２６ 参照画像メモリ、２７ 逆量子化逆変換部（逆量子化逆変換手段／変換処理手段）、２８ 加算器、２９ イントラ予測ブロック分割部、３０ イントラ予測部（画面内予測手段）。