本発明は、符号化及び復号済み画像から動きベクトルを求め動き補償予測を行う動画像符号化装置及び動画像復号化装置に関する。

動画像の符号化に用いられる技術の一つとして、動き補償予測がある。 動き補償予測では、動画像符号化装置において新たに符号化しようとする符号化対象画像と、既に得られている局所復号画像を用いて動きベクトルを求め、この動きベクトルを用いて動き補償を行うことにより予測画像を生成する。

動き補償予測において動きベクトルを求める方法の一つとして、既符号化済みブロックの動きベクトルから導出した符号化対象ブロックの動きベクトルを用いて、予測画像を生成するダイレクトモードがある（日本特許第４０２０７８９号及び米国特許第７２３３６２１号を参照）。 ダイレクトモードでは、動きベクトルを符号化しないため、動きベクトル情報の符号量を削減することができる。 ダイレクトモードは、Ｈ． ２６４／ＡＶＣにおいて採用されている。

ダイレクトモードでは、符号化対象ブロックの動きベクトルを予測生成する際に、符号化対象ブロックに隣接する符号化済みブロックの動きベクトルのメディアン値から動きベクトルを算出するという固定された方法で動きベクトルを生成する。 そのため、動きベクトル算出の自由度が低い。 また、前述の自由度を上げるため、複数の符号化済みブロックから１つを選択する動きベクトルの算出方法を用いた場合、選択した符号化済みブロックを示すためには、常に当該ブロックの位置を動きベクトル選択情報として送らなければならない。 このため、符号量増加を招く。

本発明は、符号化済みブロックから１つを選択して動きベクトル算出の自由度を高めつつ、動きベクトル選択情報の付加情報を削減する動画像符号化装置及び動画像復号化装置を提供することを目的とする。

本発明の一態様は、動画像を動き補償予測符号化する動画像符号化装置であり、符号化対象ブロックに隣接する符号化済みブロックから、動きベクトルを持つブロックである利用可能ブロック及び前記利用可能ブロックの数を求める取得部と、符号化済みブロック前記利用可能ブロックから、１つの選択ブロックを選択する選択部と、前記利用可能ブロックの数に応じた符号表を用いて、前記選択ブロックを特定する選択情報を符号化する選択情報符号化部と、前記選択ブロックが有する動きベクトルを用いて、前記符号化対象ブロックを動き補償予測符号化する画像符号化部とを備える動画像符号化装置を提供する。

本発明の他の態様は、動画像を動き補償予測復号する動画像復号化装置であり、復号対象ブロックに隣接し、動きベクトルを持つ既復号ブロックである利用可能ブロックの数に応じて符号表を切り替えて、選択情報を復号する選択情報復号部と、前記利用可能ブロックから、前記選択情報復号部により復号された選択情報によって示される1つの動きベクトルを選択する動きベクトル選択部と、前記動きベクトル選択部で選択された動きベクトルを用いて復号化対象画像を動き補償予測復号する画像復号部とを具備する動画像復号化装置を提供する。

本発明の実施形態に係る動画像符号化装置のブロック図

動画像符号化装置の処理手順を示すフローチャート

取得部／選択部の処理手順を示すフローチャート

ブロックサイズによる判別方法について説明する図

ブロックサイズによる判別方法について説明する図

ブロックサイズによる判別方法について説明する図

単方向又は双方向予測による判別方法について説明する図

選択情報符号化部の処理手順を示すフローチャート

選択情報のインデクスの一例

選択情報の符号表の一例

シンタクス構造の概略

マクロブロックレイヤーのデータ構造

本発明の実施形態に係る動画像復号化装置のブロック図

動画像復号化装置の処理手順を示すフローチャート

以下、本発明の実施形態について図面を参照して説明する。

図１を参照して一実施形態に係る動画像符号化装置について説明する。 減算器１０１は入力動画像信号１１と予測画像信号１５との差分を計算し、予測誤差信号１２を出力するように構成される。 減算器１０１の出力端は直交変換器１０２及び量子化器１０３を介して可変長符号化器１１１に接続される。 直交変換器１０２は減算器１０１からの予測誤差信号１２を直交変換し、直交変換係数を生成し、量子化器１０３は直交変換係数を量子化し、量子化直交変換係数情報１３を出力する。 可変長符号化器１１１は量子化器１０３からの量子化直交変換係数情報１３を可変長符号化する。

量子化器１０３の出力端は逆量子化器１０４及び逆直交変換器１０５を介して加算器１０６に接続される。 逆量子化器１０４は量子化直交変換係数情報１３を逆量子化して、直交変換係数に変換する。 逆直交変換器１０５は直交変換係数を予測誤差信号に変換する。 加算器１０６は逆直交変換器１０５の予測誤差信号と予測画像信号１５とを加算して、局部復号画像信号１４を生成する。 加算器１０５の出力端はフレームメモリ１０７を介して動き補償予測器１０８に接続される。

フレームメモリ１０７は局部復号画像信号１４を蓄積する。 設定部１１４は符号化対象ブロックの動き補償予測モード（予測モード）を設定する。 予測モードは、１枚の参照画像を用いる単方向予測と、２枚の参照画像を用いる双方向予測とを含む。 単方向予測はＡＶＣのＬ０予測およびＬ１予測を含む。 動き補償予測器１０８は予測器１０９と取得部／選択部１１０とを備えている。 取得部／選択部１１０は符号化対象ブロックに隣接する符号化済みブロックから、動きベクトルを持つブロックである利用可能ブロック及び前記利用可能ブロックの数を求め、利用可能ブロックから、１つの選択ブロックを選択する。 動き補償予測器１０８はフレームメモリ１０７から局部復号画像信号１４と入力動画像信号１１とから予測画像信号１５を生成する。 取得部／選択部１１０は符号化対象ブロックに隣接する隣接ブロックから１つのブロック（選択ブロック）を選択する。 例えば、隣接ブロックのうち適切な動きベクトルを持つブロックが、選択ブロックとして選ばれる。 取得部／選択部１１０は、選択ブロックが有する動きベクトルを動き補償予測に用いる動きベクトル１６として選択し、予測器１０９に送る。 また、取得部／選択部１１０は選択ブロックの選択情報１７を生成し、可変長符号化器１１１に送る。

可変長符号化器１１１は、選択情報符号化部１１２を有する。 選択情報符号化部１１２は、符号化済みブロック利用可能ブロックの数と等しい数のエントリーをコード表に持つように符号表を切り替えながら、選択情報１７を可変長符号化する。 利用可能ブロックとは、符号化対象ブロックに隣接する符号化済みブロックのうち、動きベクトルを持つブロックである。 多重化器（マルチプレクサ）１１３は符号化された量子化直交変換係数情報及び選択情報を多重化し、符号化データを出力する。

上記構成の動画像符号化装置の作用を図２のフローチャートを参照して説明する。

まず、予測誤差信号１２が生成される（Ｓ１１）。 この予測誤差信号１２の生成においては、動きベクトルが選択され、選択された動きベクトルを用いて予測画像が生成される。 この予測画像の信号、即ち予測画像信号１５と入力動画像信号１１との差分が減算器１０１により計算されることにより、予測誤差信号１２が生成される。

予測誤差信号１２に対して直交変換器１０２により直交変換が施され、直交変換係数が生成される（Ｓ１２）。 直交変換係数は、量子化器１０３により量子化される（Ｓ１３）。 量子化された直交変換係数情報は、逆量子化器１０４により逆量子化され（Ｓ１４）、その後、逆直交変換器１０５により逆直交変換され、再生された予測誤差信号を得る（Ｓ１５）。 加算器１０６では、再生された予測誤差信号と予測画像信号１５が加算されることによって、局部復号画像信号１４が生成される（Ｓ１６）。 局部復号画像信号１４はフレームメモリ１０７に（参照画像として）蓄積され（Ｓ１７）、フレームメモリ１０７から読み出される局部復号画像信号は、動き補償予測器１０８に入力される。

動き補償予測器１０８の予測器１０９は、局部復号画像信号（参照画像）を動きベクトル１６を用いて動き補償予測して、予測画像信号１５を生成する。 予測画像信号１５は、入力動画像信号１１との差分をとるために減算器１０１に送られ、さらに局部復号画像信号１４を生成するために加算器１０６にも送られる。

取得部／選択部１１０は、動き補償予測に用いる１つの動きベクトルを隣接ブロックから選択し、選択した動きベクトル１６を予測器１０９に送り、選択情報１７を生成する。 選択情報１７は、選択情報符号化部１１２に送られる。 動きベクトルを隣接ブロックから選択する際には、符号量が小さくなるような適切な動きベクトルを選択することができる。

量子化器１０３により量子化された直交変換係数情報１３は、可変長符号化器１１１にも入力され、可変長符号化が施される（Ｓ１８）。 取得部／選択部１１０からは、動き補償予測に用いられた選択情報１６が出力され、選択情報符号化部１１２に入力される。 選択情報符号化部１１２では、符号化対象ブロックに隣接し、動きベクトルを持つ符号化済みブロックである利用可能ブロックの数と等しい数のエントリーをコード表に持つように符号表が切り替えられ、選択情報１７が可変長符号化される。 可変長符号化器１１１からの量子化直交変換係数情報及び選択情報が多重化器１１３によって多重化され、符号化データ１８のビットストリームが出力される（Ｓ１９）。 符号化データ１８は、図示しない蓄積系あるいは伝送路へ送出される。

図２のフローチャートにおいて、ステップＳ１４〜Ｓ１７のフローとステップＳ１８及びＳ１９のフローは置き換えることができる。 即ち、量子化ステップＳ１３に次いで可変長符号化ステップＳ１８及び多重化ステップＳ１９が行われ、多重化ステップＳ１９に対で逆量子化ステップＳ１４〜記憶ステップＳ１７を行うことができる。

次に、図３に示すフローチャートを用いて取得部／選択部１１０の作用について説明する。

まず、フレームメモリ１０７を参照して、符号化対象ブロックに隣接する、動きベクトルを持った符号化済みブロックである利用可能ブロック候補を探索する（Ｓ１０１）。 利用可能ブロック候補が探索されると、これら利用可能ブロック候補の動き補償予測のブロックサイズが判別される（Ｓ１０２）。 次に、利用可能ブロック候補が単方向又は双方向予測かが判別される（Ｓ１０３）。 判別結果と符号化対象ブロックの予測モードに基づいて、利用可能ブロック候補の中から利用可能ブロックを抽出する。 抽出された利用可能ブロックの中から１つの選択ブロックを選択し、選択ブロックを特定する情報を選択情報として求める（Ｓ１０４）。

次に、図４Ａ〜４Ｃを参照してブロックサイズの判別（Ｓ１０２）について説明する。

本実施形態で用いる隣接ブロックは、符号化対象ブロック符号化対象ブロックの左、左上、上、右上に位置するブロックとする。 そのため、符号化対象ブロックがフレームの一番左上に位置する場合は、符号化対象ブロックに隣接する利用可能ブロックはないため、この符号化対象ブロックには本発明は適用できない。 符号化対象ブロックが画面の上端にある場合、利用可能ブロックは左の１ブロックのみとなり、符号化対象ブロックが画面の左端であり、かつ右端でない場合、利用可能ブロックは符号化対象ブロックの上、右上の２ブロックとなる。

マクロブロックサイズが１６ｘ１６サイズの場合、隣接ブロックの動き補償予測のブロックサイズは、図４Ａ〜４Ｃに示されるように１６ｘ１６サイズ、１６ｘ８サイズ、８ｘ１６サイズ、８ｘ８サイズの４種類がある。 これら４種類を考慮した際に、利用可能ブロックに成り得る隣接ブロックは、図４Ａ〜４Ｃに示すような２０種類となる。 即ち、図４Ａに示される１６ｘ１６サイズで４種類、図４Ｂに示される１６ｘ８サイズ及び８ｘ１６サイズで１０種類、図４Ｃに示される８ｘ８サイズで６種類となる。 ブロックサイズの判別（Ｓ１０２）では、これら２０種類のブロックの中からブロックサイズに応じて、利用可能ブロックを探索する。 例えば、利用可能ブロックのサイズを１６ｘ１６のみとした場合、このブロックサイズで判定された利用可能ブロックは、図４Ａに示すように１６ｘ１６サイズの４種類のブロックである。 即ち、利用可能ブロックは、符号化対象ブロックの左上側のブロックと、符号化対象ブロックの上側のブロックと、符号化対象ブロックの左側のブロックと、符号化対象ブロックの右上側のブロックである。 また、マクロブロックサイズが１６ｘ１６サイズ以上に拡張された場合についても、マクロブロックサイズが１６ｘ１６サイズの場合と同様に利用可能ブロックと成り得る。 例えば、マクロブロックサイズが３２ｘ３２サイズの場合、隣接ブロックの動き補償予測のブロックサイズは、３２ｘ３２サイズ、３２ｘ１６サイズ、１６ｘ３２サイズ、１６ｘ１６サイズの４種類があり、利用可能ブロックに成り得る隣接ブロックは２０種類となる。

次に、図５を参照して取得部／選択部１１０によって行われる、単方向又は双方向予測の判別（Ｓ１０３）について、例を挙げて説明する。

例えば、ブロックサイズを１６ｘ１６に制限し、符号化対象ブロックに対し、隣接するブロックの単方向又は双方向予測が図５に示すような場合であったとする。 単方向又は双方向予測の判別（Ｓ１０３）では、予測の方向に応じて利用可能ブロックを探索する。 例えば、予測方向L0を含む隣接ブロックを予測方向で判定された利用可能ブロックとする。 即ち、図５（ａ）に示される、符号化対象ブロックの上、左、右上のブロックが予測方向で判定された利用可能ブロックとなる。 この場合、符号化対象ブロックの左上のブロックは使用されない。 予測方向L1を含む隣接ブロックを予測方法で判定された利用可能ブロックとすると、図５（ｂ）に示される、符号化対象ブロックの左上及び上のブロックが予測方向で判定された利用可能ブロックとなる。 この場合、符号化対象ブロックの左及び右上のブロックは使用されない。 予測方向L0/L1を含む隣接ブロックを予測方法で判定された利用可能ブロックとすると、図５（ｃ）に示される、符号化対象ブロックの上のブロックのみが予測方向で判定された利用可能ブロックとなる。 この場合、符号化対象ブロックの左、左上及び右上のブロックは使用されない。 なお、予測方向L0（L1）は、ＡＶＣにおけるL0予測（L1予測）の予測方向に対応する。

次に、図６に示すフローチャートを参照して選択情報符号化部１１２について説明する。

符号化対象ブロックに隣接する隣接ブロックの中から、動きベクトルを持った符号化済みブロックである利用可能ブロックを探索し、ブロックサイズ及び単方向又は双方向予測で判定された利用可能ブロック情報を取得する（Ｓ２０１）。 この利用可能ブロック情報を用いて、図８に示されるような利用可能ブロックの数に応じた符号表の切り替えを行う（Ｓ２０２）。 切り替えられた符号表を用いて、取得部／選択部１１０より送られた選択情報１７を可変長符号化する（Ｓ２０３）。

次に、図７を参照して選択情報のインデクスの一例を説明する。

図７（ａ）に示すように利用可能ブロックがない場合、本発明はこのブロックに適用不可能なため、選択情報は送らない。 図7（ｂ）に示すように利用可能ブロックが１つの場合、符号化対象ブロックの動き補償に用いる利用可能ブロックの動きベクトルは一意に決まるため、選択情報は送らない。 図７（ｃ）に示すように利用可能ブロックが２つの場合、インデクス０または１の選択情報を送る。 図７（ｄ）に示すように利用可能ブロックが３つの場合、インデクス０、１または２の選択情報を送る。 図７（ｅ）に示すように利用可能ブロックが４つの場合、インデクス０、１、２または３の選択情報を送る。

また、利用可能ブロックのインデクスのつけ方の一例として、符号化対象ブロックの左、左上、上、右上の順に、利用可能ブロックにインデクスをつけた例を図７に示す。 即ち、使用されないブロックを除いて使用されるブロックに対して連番でインデックスをつける。

次に、図８を用いて選択情報１７の符号表について説明をする。

選択情報符号化部１１２では、利用可能ブロックの数に応じて符号表の切替を行う（Ｓ２０２）。 前述したとおり、選択情報１７を符号化する必要があるのは、利用可能ブロックが２つ以上の場合である。

まず、利用可能ブロックが２つの場合は、インデクスは０と１が必要となり、符号表は図８の左側に示す表となる。 利用可能ブロックが３つの場合は、インデクスは０，１，２が必要となり、符号表は図８の中央に示す表となる。 利用可能ブロックが４つの場合は、インデクスは０，１，２，３が必要となり、符号表は図８の右側に示す表となる。 これらの符号表が利用可能ブロックの数に応じて切り替えられる。

次に、選択情報の符号化方法について説明する。

図９に本実施の形態で用いられるシンタクスの構造の概略を示す。 シンタクスは主に３つのパートから成り、High Level Syntax８０１はスライス以上の上位レイヤのシンタクス情報が詰め込まれている。 Slice Level Syntax８０４では、スライス毎に必要な情報が明記されており、Macroblock Level Syntax８０７では、マクロブロック毎に必要とされる可変長符号化された誤差信号やモード情報などが明記されている。

これらシンタックスはそれぞれさらに詳細なシンタクスで構成されており、High Level Syntax８０１では、Sequence parameter set syntax８０２とPicture parameter set syntax８０３などのシーケンス、ピクチャレベルのシンタクスから構成されている。 Slice Level Syntax８０４では、Slice header syntax４０５、Slice data syntax４０６などから成る。 さらに、Macroblock Level Syntax８０７は、macroblock layer syntax８０８、macroblock prediction syntax８０９などから構成されている。

本実施の形態で必要となるシンタクス情報は、macroblock layer syntax８０８であり、シンタクスを以下で説明する。

図１０（ａ）（ｂ）に示されるavailable_block_numは、利用可能ブロックの数を示しており、これが２以上の場合は、選択情報の符号化が必要となる。 また、mvcopy_flagは動き補償予測において利用可能ブロックの動きベクトルを使用するかどうかを示すフラグであり、利用可能ブロックが１以上であり、且つこのフラグが１の場合、動き補償予測において利用可能ブロックの動きベクトルを使用することができる。 さらに、mv_select_infoは選択情報を示しており、符号表は前述したとおりである。

図１０（ａ）は、mb_typeの後に選択情報を符号化する場合のシンタックスを示している。 例えばブロックサイズが１６ｘ１６のみの場合、mb_typeが１６ｘ１６以外ならばmvcopy_flag及びmv_select_infoは符号化する必要がない。 mb_typeが１６ｘ１６ならばmvcopy_flag及びmv_select_infoを符号化する。

図１０（ｂ）は、mb_typeの前に選択情報を符号化する場合のシンタックスを示している。 例えばmvcopy_flagが１であるならば、mb_typeを符号化する必要はない。 mv_copy_flagが０ならば、mb_typeを符号化する。

本実施の形態では、符号化のスキャン順についてはどのような順序でも構わない。 例えば、ラインスキャンやZスキャンなどに対しても、本発明は適応可能である。

図１１を参照して他の実施形態に係る動画像復号化装置について説明する。

図１の動画像符号化装置から出力される符号化データ１８が蓄積系または伝送系を経て復号対象の符号化データ２１として動画像復号化装置の逆多重化器２０１に入力される。 逆多重化器（デマルチプレクサ）２０１は符号化データ２１を逆多重化し、符号化データ２１を量子化直交変換係数情報及び選択情報に分離する。 逆多重化器２０１の出力端は可変長復号化器２０２に接続される。 可変長復号化器２０２は量子化直交変換係数情報及び選択情報を復号する。 可変長復号化器２０２の出力端は逆量子化器２０４及び逆直交変換器２０５を加算器２０６に接続される。 逆量子化器２０４は量子化直交変換係数情報を逆量子化し、直交変換係数に変換する。 逆直交変換器２０５は直交変換係数を逆直交変換し、予測誤差信号に生成する。 加算器２０６は予測誤差信号を予測画像生成器２０７からの予測画像信号に加算し、動画像信号を生成する。

予測画像生成器２０７は予測器２０８と選択部２０９とを含む。 選択部２０９は可変長復号化器２０２の選択情報復号化器２０３によって復号された選択情報２３によって動きベクトルを選択し、選択動きベクトル２５を予測器２０８に送る。 予測器２０８はフレームメモリ２１０に蓄積された参照画像を動きベクトル２５によって動き補償し、予測画像を生成する。

上記構成の動画像復号化装置の作用を図１２のフローチャートを参照して説明する。

符号化データ２１は逆多重化器２０１により逆多重化され（Ｓ３１）、可変長復号化器２０２によって復号され、量子化直交変換係数情報２２が生成される（Ｓ３２）。 また、選択情報復号化器２０３によって、復号対象ブロックに隣接する隣接ブロックの状態が調査され、動きベクトルを持つ隣接する符号化済みブロックである利用可能ブロックの数に応じて符号化装置の選択情報符号化部１１２と同様にして、符号表を図８のように切り替えて復号される。 これにより、選択情報２３が出力される（Ｓ３３）。

可変復号化器２０２から出力される情報である、量子化された直交変換係数情報２２は逆量子化器２０４に、選択情報復号部２０３から出力される情報である、選択情報２３は選択部２０９にそれぞれ送られる。

量子化直交変換係数情報２２は逆量子化器２０４によって逆量子化され（Ｓ３４）、その後、逆直交変換器２０５により逆直交変換される（Ｓ３５）。 これにより、予測誤差信号２４が得られる。 加算器２０６では予測誤差信号２４に予測画像信号が加算されることにより、動画像信号２６が再生される（Ｓ３６）。 再生される動画像信号２７は、フレームメモリ２１０に蓄積される（Ｓ３７）。

予測画像生成器２０７では、復号化された選択情報２３によって選択された、復号対象ブロックに隣接し動きベクトルを持つ既復号化ブロックである利用可能ブロックの動きベクトルを用いて、予測画像２６を生成する。 選択部２０９では、隣接ブロックの状態を調査し、隣接ブロックの利用可能ブロック情報と選択情報復号部２０３で復号された選択情報２３から、動き補償予測に用いる動きベクトルを符号化装置の取得部／選択部１１０と同様にして隣接ブロックから１つ選択する。 この選択された動きベクトル２５を用いて、予測器２０８により予測画像２６が生成され、動画像信号２７を得るために加算器２０６に送られる。

本発明によれば、利用可能ブロックの数に応じた選択情報を符号化することにより、選択情報を適切な符号化テーブルを用いて送ることができ、選択情報の付加情報を削減することができる。

また、利用可能ブロックの動きベクトルを符号化対象ブロックの動き補償予測に用いることにより、動きベクトル情報に関する付加情報を削減できる。

更に、動きベクトル算出方法を固定ではなく、利用可能ブロックから適切な１つを選択することにより、ダイレクトモードに比べ動きベクトル算出の自由度が高くなる。

本発明の実施の形態に記載した本発明の手法は、コンピュータによって実行させることができ、また、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。

また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。 また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。 例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。 さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の装置は、通信、蓄積および放送における画像圧縮処理に使用される。