本発明は符号化効率が良好でかつ高能率に符号化を行う動画像符号化装置に関し、特にフレーム間予測およびフレーム内予測の両方の符号化手段を備える動画像符号化装置に関する。

連続して入力される動画像信号をより少ない符号量で符号化する高能率符号化方式のうち、画像信号間の相関性を利用する符号化方式として、動き補償予測符号化がある。 動き補償予測符号化においては、ブロックと呼ばれる矩形のブロックを単位として、入力画像において参照画像内の最も相関性の高いブロックを検出して、その動きを表す動きベクトル情報および入力画像と参照画像の予測誤差情報を符号化することによって、大幅に符号量を縮小することができる。

一方、画面内の物体の動きが激しい場合やシーンの切り替えが生じたときに、動き補償予測の精度が必ずしも高くない場合が発生する。 このような場合、例えばＭＰＥＧ−１、ＭＰＥＧ−２などにおいては、動き補償予測の誤差の代わりに、画素値を直接符号化するフレーム内符号化が用いられる。

フレーム内符号化の符号化効率をさらに向上させる方法として、隣接するブロックの特徴に基づいて予測符号化を行なう、フレーム内予測符号化がある。 例えば、Ｈ． ２６４では、図１（ａ），（ｂ）に示すようにして符号化するブロックに隣接する画素値に基づいて予測画像を生成し、その予測画像との誤差を符号化する。 なお、図１（ａ）の（ａ−１）〜（ａ−９）は４×４画素の場合を、同図（ｂ）の（ｂ−１）〜（ｂ−４）は１６×１６画素の場合を示す。

従来の動画像符号化装置として、フレーム間予測符号化およびフレーム内符号化の両方を行い、符号化効率が最小となる符号化方式を選択する方式（以下、第１の方式）がある。

また、他の動画像符号化装置として、フレーム内符号化を行なう前にフレーム間予測符号化を行い、その画素値の誤差の分散を求め、予測符号化前の画素値の分散と比較して、フレーム間予測符号化の結果をそのまま用いるか、フレーム内符号化を行なうかどうかを選択する方式（以下、第２の方式、例えば特開平１０―３２２６９６号公報参照）がある。

特開平１０―３２２６９６号公報

前記第１の方式においては、両方の符号化方式モードに関して符号化効率を求めるため、計算量が膨大になり処理速度が低下するという問題がある。

また、前記第２の方式においては、フレーム間符号化の予測効率が高い場合にフレーム内符号化処理を行なわないため、第１の方式に比べると高い処理速度が見込めるが、Ｈ． ２６４等のようなフレーム内予測符号化を想定したものではないため、フレーム内予測符号化を選択することによってより高い符号化効率が期待できるブロックに対してもフレーム間予測符号化を選択し、符号化効率を低下させるという問題がある。

本発明の目的は、前述した従来技術の課題を解消し、符号化効率が良好で、かつ高能率に動画像の符号化を行なう動画像符号化装置を提供することにある。

上記課題を解決するため、本発明は、連続して入力される画像信号のフレーム間予測符号化を行なう手段と、フレーム内予測符号化を行なう手段を備える動画像符号化装置において、フレーム間予測誤差特徴量を求める第１の手段と、フレーム内隣接誤差特徴量を求める第２の手段と、該第１および第２の手段で求められた特徴量に基づいて、フレーム間予測符号化かフレーム内予測符号化かを決定する手段とを具備した点に第１の特徴がある。

また、本発明は、前記第１および第２の手段で求められた特徴量に基づいてフレーム内詳細調査かフレーム間予測符号化かを決定する第３の手段と、該第３の手段により詳細調査と決定された場合、フレーム内予測誤差を求める第４の手段と、フレーム間予測誤差と該第４の手段で求められたフレーム内予測誤差とに基づいて、フレーム間予測符号化かフレーム内予測符号化かを決定する手段を具備した点に第２の特徴がある。

また、本発明は、フレーム間予測誤差特徴量を求める第１の手段と、少なくとも１つの方向に対するフレーム内隣接誤差特徴量を求める第５の手段と、該第１および第５手段で求められた特徴量に基づいてフレーム内予測符号化かフレーム間予測符号化かを決定する手段を具備した点に第３の特徴がある。

以上の説明から明らかなように、本発明によれば、フレーム間予測符号化の符号化効率を表す特徴量を計算し、フレーム内予測符号化を行なう前に、その符号化効率を推定するための特徴量を計算し、これらの特徴量に基づいてフレーム内予測符号化を行なうかどうかを決定するようにしている。

このため、本発明によれば、多くの場合にフレーム内予測処理を省略することが可能となるため、フレーム内予測処理の処理量を大幅に削減して高能率に動画像の符号化処理を行なうことが可能となる。

また、フレーム内予測による符号化効率がフレーム間予測よりも高くなるかどうかを事前に推定してからフレーム内予測を省略するかどうかを判定するため、フレーム内予測の実行数を減らしつつも符号化効率を従来の場合とほぼ同程度に維持することが可能となる。

以下に、図面を用いて本発明の実施形態を詳細に説明する。 図２は本発明の一実施形態の構成を示すブロック図である。 なお、以下の説明では、動画像符号化方式として、Ｈ． ２６４／ＭＰＥＧ−４ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を用い、フレーム内予測符号化方式として図１に示す方式を用い、かつ一種類以上の大きさに固定された矩形（以下、ブロックと呼ぶ）を単位として符号化処理を行なうものとするが、本発明はこれに限定されるものではない。

図２において、入力画像信号１は入力画像記憶メモリ２に蓄えられる。 また、フレーム間予測を行なう際に参照される参照画像信号は参照画像記憶メモリ４に蓄えられる。 動きベクトル出力器３は、入力画像記憶メモリ２および参照画像記憶メモリ４に蓄えられた画像信号に基づいて動き探索を行い、その結果を動きベクトルとして出力する。 位置シフタ８は、動きベクトル出力器３から入力した動きベクトルと、参照画像記憶メモリ４から入力した画像信号に基づいて、フレーム間予測における予測画像を生成する。

フレーム間予測誤差画像信号生成器７は、入力画像記憶メモリ２から入力した入力画像信号から、位置シフタ８から入力したフレーム間予測画像を減算処理してフレーム間予測誤差画像を生成し、フレーム間予測特徴量出力器６に出力する。

フレーム間予測特徴量出力器６は、誤差画像信号生成器７から入力したフレーム間予測誤差画像信号に基づいて、フレーム間予測における予測効率を表す指標となるフレーム間予測特徴量Ｃｏｓｔ（Ｉｎｔｅｒ）をブロック毎に出力する。 フレーム間予測特徴量の一例として、フレーム間予測誤差画像信号の画素値の絶対値和、二乗平均値、分散値等が利用できる。

一方、フレーム内予測特徴量出力器５は、入力画像記憶メモリ２から入力した入力画像信号に基づいて、フレーム内予測特徴量、例えばフレーム内隣接誤差特徴量を出力する。

図３はフレーム内予測評価関数の導出過程の一例を示す図である。 一般に、フレーム内予測は全体的になだらかな画像に対して高い予測精度を示すという特徴を持っている。 従って、画像全体における隣接画素間での画素値の変化量によって、フレーム内予測の精度を推定することが可能と考えられ、この値をフレーム内予測特徴量として用いることができる。 なお、図中の１升は画素を示す。

図３においてＰ（ｘ，ｙ）はブロック内の座標（ｘ，ｙ）における画素値を表す。 このとき、画素（ｘ、ｙ）に隣接する３画素（ｘ−１，ｙ−１）、（ｘ，ｙ−１）、（ｘ−１，ｙ）との画素値の差分Ｄ１＝Ｐ（ｘ，ｙ）−Ｐ（ｘ−１，ｙ−１）、Ｄ２＝Ｐ（ｘ，ｙ）−（ｘ，ｙ−１）、Ｄ３＝Ｐ（ｘ，ｙ）−Ｐ（ｘ−１，ｙ）のうち、絶対値の最も小さいものを隣接誤差Ｄ（ｘ，ｙ）とする。

次いで、ブロックＢ内のすべての画素に対して該最小の隣接誤差Ｄ（ｘ，ｙ）を求め、その絶対和、二乗和、分散値のうちいずれかをフレーム内予測特徴量Ｃｏｓｔ（Ｉｎｔｒａ）として用いることができる。 あるいは、Ｄ１，Ｄ２，Ｄ３の平均値を隣接誤差Ｄ（ｘ，ｙ）として用いることもできる。

図４は図３の変形例である。 隣接誤差Ｄ（ｘ，ｙ）を、図３のようにブロックＢ内のすべての画素に対して求める代わりに、１画素ずつ間引いた画素に対して求めることによって、効率よくフレーム内予測特徴量Ｃｏｓｔ（Ｉｎｔｒａ）を求めることができる。

図５も図３の変形例である。 隣接誤差Ｄ（ｘ，ｙ）をブロック内のすべての画素に対して求める代わりに、ブロックＢ内の最上列および最左行のみに関して隣接誤差Ｄ（ｘ，ｙ）を求めることによって、効率よくフレーム内予測特徴量Ｃｏｓｔ（Ｉｎｔｒａ）を求めることができる。 なお、図４、図５においてフレーム内予測特徴量Ｃｏｓｔ（Ｉｎｔｒａ）を求める方法は、図３の場合と同様である。

予測モード判定器９は、フレーム間予測特徴量出力器６から入力されるフレーム間予測特徴量Ｃｏｓｔ（Ｉｎｔｅｒ）と、フレーム内予測特徴量出力器５から入力されるフレーム内予測特徴量Ｃｏｓｔ（Ｉｎｔｒａ）を比較することによって、当該ブロックがフレーム間予測ないしフレーム内予測のどちらかの予測符号化モードによって符号化処理を行なうかを決定し、予測モード制御信号１９として出力する。 比較方法の一例として、不等式Ｃｏｓｔ（Ｉｎｔｅｒ）＜Ｔ×Ｃｏｓｔ（Ｉｎｔｒａ）（Ｔは、例えば１以上の定数）が成立する場合にフレーム間予測モード、成立しない場合はフレーム内予測モードを選択する方法が利用できる。

予測モード制御信号１９がフレーム内予測モードを指定している場合、フレーム内予測器１０は、入力画像記憶メモリ２から入力される入力画像信号および復号画像信号生成器１８から入力される隣接ブロックの復号画像に基づいて、図１（ａ），（ｂ）に示すいずれかの方法でフレーム内予測画像を生成し、データ量が最小となる予測画像を選択して出力する。 なお、この方法は以下の他の実施形態においても同様であるので、以下では説明を省略する。

予測誤差画像信号生成器１１は、予測モード制御信号１９がフレーム間予測モードを指定している場合は位置シフタ８から出力されるフレーム間予測画像信号を、フレーム内予測モードを指定している場合はフレーム内予測器１０から出力されるフレーム内予測画像信号を、入力画像記憶メモリ２から入力される入力画像信号から減算処理して予測誤差画像信号を生成して直交変換器１２に出力する。 このとき、予測誤差画像信号生成器１１から出力される予測誤差画像信号は、より高い符号化効率を得るため直交変換器１２によって直交変換され、量子化器１３によって量子化される。 量子化された変換係数とその量子化係数、および動きベクトル出力器３から出力される動きベクトルは、可変長符号化器１５によってエントロピー符号化され、画像圧縮符号化データ２０として出力され、符号化処理が完了する。 なお、符号化レート制御器１４は、可変長符号化器１５から出力される画像圧縮符号化データの符号化効率に基づいて次に入力されるブロックの変換係数に対する量子化係数を決定し、符号化ビットレートを一定に保つ。

量子化器１３から出力される変換係数および量子化係数に基づいて、逆量子化器１６は逆量子化処理を行い、逆直交変換器１７によって誤差画像信号が復号され、出力される。 復号画像信号生成器１８は、予測モード制御信号１９に基づいてフレーム間予測画像信号ないしフレーム内予測画像信号のうちいずれかと復号された誤差画像信号を加算処理して、復号画像信号を生成する。 このようにして生成した復号画像信号は、フレーム内予測器１０によるフレーム内予測処理に用いられ、また、参照画像記憶メモリ４に蓄積されて、動きベクトル出力器３によってフレーム間予測処理に用いられる。 なお、この予測誤差画像信号生成器１１、直交変換器１２、量子化器１３、符号化レート制御器１４、可変長符号化器５、逆量子化器１６、逆直交変換器１７、復合画像信号生成器１８、画像圧縮符号化データ２０の動作は、以下の他の実施形態においても同様であるので、以下では説明を省略する。

図６は、該第１実施形態の概略の動作を説明するフローチャートである。 ステップＳ０１，Ｓ０２では、それぞれフレーム間予測特徴量、フレーム内予測特徴量が求められる。 ステップＳ０３では、両予測特徴量に基づいてフレーム内予測を行うか否かの判断がなされ、この判断が否定の場合にはステップＳ０５に進みフレーム間予測符号化がなされる。

一方、この判断が肯定の場合には、ステップＳ０４に進んで、前記フレーム内予測器１０は、各予測方向（図１（ａ），（ｂ）参照）について、フレーム内予測誤差を算出する。 ステップＳ０６では、該フレーム内予測器１０は該フレーム内予測誤差のうちの一番小さい予測方向を選択し、その方法でフレーム内予測画像を生成して出力する。 ステップＳ０７では、該フレーム内予測画像が予測誤差画像信号生成器１１へ送られ、フレーム内予測符号化が行われる。

この実施形態によれば、フレーム間符号化の予測効率が高い場合にフレーム内符号化処理を行なわないため、従来の前記第１の方式に比べると高い処理速度を見込むことができる。 また、フレーム内符号化処理を行なう場合には、Ｈ． ２６４等のようなフレーム内予測符号化を選択するようにしているので、高い符号化効率が期待できる。

次に、図７は、本発明の第２の実施形態を示すブロック図である。 この実施形態は、フレーム内予測特徴量とフレーム間予測特徴量との比較の結果フレーム内予測モードの方が有利であると一旦判定された場合に、フレーム間予測およびフレーム内予測それぞれの符号化効率を詳細に調査し、すなわちフレーム間予測およびフレーム内予測の結果に基づいてそれぞれの符号化効率を比較し、最終符号化モード判定を行なうようにした点に特徴がある。

フレーム内詳細調査判定器２１は、フレーム間予測特徴量出力器６から入力されるフレーム間予測特徴量Ｃｏｓｔ（Ｉｎｔｅｒ）と、フレーム内予測特徴量出力器５から入力されるフレーム内予測特徴量Ｃｏｓｔ（Ｉｎｔｒａ）を比較することによって、フレーム内詳細調査として実際にフレーム内予測誤差を求めるかどうかを決定し、決定結果をフレーム内詳細調査制御信号２３として出力する。 例えば、不等式Ｃｏｓｔ（Ｉｎｔｅｒ）＜Ｔ×Ｃｏｓｔ（Ｉｎｔｒａ）（Ｔは、例えば１以上の定数）が成立しない場合にフレーム内詳細調査をする旨の信号２３を出力する。

フレーム内詳細調査制御信号２３がフレーム内詳細調査を行なうことと指示している場合、フレーム内予測器１０は、入力画像記憶メモリ２から入力される入力画像信号および復号画像生成器１８から入力される隣接ブロックの復号画像に基づいて、図１（ａ），（ｂ）に示すいずれかの方法でフレーム内予測画像を生成して出力する。 フレーム内予測誤差画像信号生成器２２は、入力画像記憶メモリ２から入力される入力画像信号から、フレーム内予測器１０から出力されるフレーム内予測画像を減算処理し、フレーム内予測誤差画像として最終予測モード判定器２４に出力する。

最終予測モード判定器２４は、フレーム内予測誤差画像信号生成器２２から出力されるフレーム内予測誤差画像とフレーム間予測誤差画像信号生成器７から出力されるフレーム間予測誤差画像に基づいて、フレーム内予測符号化およびフレーム間予測符号化の符号化効率を比較し、符号化効率の高い予測モードを選択して予測モード信号１９として出力する。

フレーム内詳細調査信号２３がフレーム内詳細調査を行なわないことを指示している場合、最終予測モード判定器２４は、予測符号化モードとしてフレーム間予測符号化を選択して予測モード制御信号１９として出力する。

図８は、第２実施形態の概略の動作を説明するフローチャートである。 なお、図８において、図６と同一または同等の処理には、同じ符号が付されており、説明を省略する。

前記フレーム内詳細調査判定器２１は、ステップＳ０３にてフレーム間予測特徴量とフレーム内予測特徴量に基づいてフレーム内予測を行うか否かの判断をする。 この判断が肯定の場合には、ステップＳ０４、Ｓ０６の処理をした後ステップＳ１１に進んで、前記フレーム内予測誤差画像信号生成器２２がフレーム内予測誤差を生成する。 ステップＳ１２では、前記最終予測モード判定器２４がフレーム間予測誤差とフレーム内予測誤差とを比較する。 そして、ステップＳ１３にて、フレーム内予測モードを選択するか否かの判断をする。 以下の処理は図６と同様である。

この実施形態によれば、前記第１実施形態に比べて、符号化効率の高い予測モードを選択する精度が向上する。

図９は、本発明の第３の実施形態を示すブロック図である。 この実施形態は、予測モード決定処理において、フレーム内予測モードにおける予測方向も同時に決定することによって、フレーム内予測処理における予測方向を一つに限定し、フレーム内予測処理を大幅に低減するようにした点に特徴がある。

方向別フレーム内予測特徴量出力器２５は、入力画像記憶メモリ２から入力した入力画像信号に基づいて、第１〜第ｎ（ｎは１以上の自然数）の予測方向に対する第１〜第ｎ方向フレーム内予測特徴量を求め、フレーム内予測方向決定器２６に出力する。 第１〜第ｎの予測方向として、例えば上、斜め、左、隣接ブロック平均などを用いることができる。 このとき、ブロック内のすべての画素Ｐ（ｘ，ｙ）に対して同じ予測方向に基づいて隣接誤差Ｄ（ｘ，ｙ）を求めて、その絶対和、二乗和、分散値のうちいずれかを第ｎ方向フレーム内予測特徴量Ｃｏｓｔ（Ｉｎｔｒａ（ｎ））として用いることができる。

フレーム内予測方向決定器２６は、方向別フレーム内予測特徴量出力器２５から入力した第１〜第ｎ方向フレーム内予測特徴量のうち最小となる予測方向を選択してフレーム内予測方向制御信号２７として出力し、選択した予測方向に対応するフレーム内予測特徴量を予測モード判定器９に出力する。

予測モード判定器９は、フレーム内予測方向決定器２６が選択した予測方向に対応するフレーム内予測特徴量とフレーム間予測特徴量出力器６から入力したフレーム間予測特徴量を比較して予測モードを決定し、予測モード制御信号１９として出力する。

フレーム内予測器１０は、フレーム内予測方向決定器２６から入力したフレーム内予測方向制御信号２７が指示する予測方向に従ってフレーム内予測画像信号を生成して出力する。

図１０は、第３実施形態の概略の動作を説明するフローチャートである。 なお、図１０において、図６と同一または同等の処理には、同じ符号が付されており、説明を省略する。

ステップＳ２１では、前記方向別フレーム内予測特徴量出力器２５が各予測方向についてフレーム内予測特徴量を求める。 そして、ステップＳ０６にて、フレーム内予測方向決定器２６が各予測方向のうちの予測特徴量が最小となる方向をフレーム内予測方向として選択する。 ステップＳ０３では、前記予測モード判定器９がフレーム内予測を行うか否かの判断をする。 この判断が肯定の時にはステップＳ０７に進み、前記ステップＳ０６で選択された予測方向でフレーム内予測符号化が行われる。

この実施形態によれば、前記フレーム内予測器１０の処理を大幅に低減でき、前記予測モード制御信号１９がフレーム内予測を指示した場合における処理速度を大幅に向上することができる。

フレーム内予測方式の説明図である。

本発明の第１実施形態の構成を示すブロック図である。

ブロック内隣接画素誤差を求める場合の第１の具体例の説明図である。

ブロック内隣接画素誤差を求める場合の第２の具体例の説明図である。

ブロック内隣接画素誤差を求める場合の第３の具体例の説明図である。

本発明の第１実施形態の動作を表すフローチャートである。

本発明の第２実施形態の構成を示すブロック図である。

本発明の第２実施形態の動作を表すフローチャートである。

本発明の第３実施形態の構成を示すブロック図である。

本発明の第３実施形態の動作を表すフローチャートである。

符号の説明

５・・・フレーム内予測特徴量出力器、６・・・フレーム間予測特徴量出力器、９・・・予測モード判定器、１０・・・フレーム内予測器、１１・・・予測誤差画像信号生成器、１９・・・予測モード制御信号、２１・・・フレーム内詳細調査判定器、２２・・・フレーム内予測誤差画像信号生成器、２３・・・フレーム内詳細調査制御信号、２４・・・最終予測モード判定器、２５・・・方向別フレーム内予測特徴量出力器、２６・・・フレーム内予測方向決定器、２７・・・フレーム内予測方向制御信号。