【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＭＰＥＧ４規格における細粒度ビデオスケーラビリティスキームで利用できる技術に関する。

【０００２】

【従来の技術】ＭＰＥＧ４規格のビットレートスケーラビリティのために、ビデオ品質の細粒度スケーラビリティを提供できるビデオ符号化技術の必要性が増している。 細粒度スケーラビリティ（ＦＧＳ： Fine Granular
ity Scalability）スキームは、ネットワークビデオ配信用途を目的として開発されたものである（例えばインターネットビデオ伝送）。

【０００３】ＦＧＳスキームでは、基本的に２つの異なったビットストリームのレイヤがある。 １つのレイヤはベースレイヤであり、また他のレイヤは拡張レイヤである。 図１は、ＦＧＳ符号化器のブロック図を示す。

【０００４】ベースレイヤ符号化については、ビデオ符号化の手順はＭＰＥＧ４バージョン１のシンプルプロフィルと同じである。 従来技術は、それぞれブロックサンプリング、離散コサイン変換、量子化、ＤＣとＡＣ予測、ジグザグスキャンおよび可変長符号化モジュール１
０１、１０３、１０４、１０５、１０６、１０７から構成される。

【０００５】ベースレイヤのフレーム内符号化については、ブロックサンプリング後のブロックにはＤＣＴが行われ、次に量子化、ＤＣとＡＣ予測、ジグザグスキャン、最後に可変長符号化またはエントロピ符号化が行われる。 これに対し、ベースレイヤにおけるフレーム間符号化については、ブロックサンプリング後に逆量子化、
逆ＤＣＴ、動き予測と動き補償がそれぞれモジュール１
０８、１０９、１１２で実行される。 予測差はモジュール１０２で計算され、またフレーム内符号化におけるのと同一の符号化手順を経る。

【０００６】拡張レイヤ符号化については、ベースレイヤの量子化ＤＣＴ係数はモジュール１１３で逆量子化され、また剰余数（residue）の値は、モジュール１１４
で、再構築されたＤＣＴ値を元のＤＣＴ係数から減算することによって計算される。 次に、計算された剰余数はジグザグスキャンとビットプレーン可変長符号化モジュール１１５と１１６それぞれに送られる。

【０００７】現在の最新技術では、拡張レイヤの剰余数の絶対値は２進数で表され、また２進表示に応じて異なったビットプレーンに符号化される。 各剰余数の符号ビットは ２進数の最上位ビットと共に符号化される。 拡張レイヤの符号化効率を改良するために、剰余数値の表示を変更する試みはこれまで行われていなかった。

【０００８】ビットプレーンＶＬＣモジュールから出力される拡張レイヤビットストリームは、ＦＧＳサーバに伝送される。 ＦＧＳサーバは、クライアントとＦＧＳサーバとの間のチャネルの帯域幅に基づき、チャネル容量に合せるため、拡張レイヤビットストリームのより下位のビットプレーンを切り捨てる。 ベースレイヤビットストリームは、ビットストリームの成分を修正することなく、ＦＧＳサーバを通して直接クライアントに伝送される。

【０００９】図２は、ＦＧＳ復号化器のブロック図を示す。 クライアント側では、ベースレイヤ復号化のため、
従来技術ではそれぞれＶＬＤ、逆ジグザグスキャン、逆ＤＣ＆ＡＣ予測、逆量子化、逆ＤＣＴおよび動き補償モジュール２０１、２０２、２０３、２０４、２０５、２
０７から構成される。 フレーム内復号化については、ベースレイヤビットストリームは可変長復号化、逆ジグザグスキャン、逆ＤＣとＡＣ予測、逆量子化、次に逆離散コサイン変換のプロセスを受ける。 これに対しフレーム間復号化については、ビットストリームは逆ＤＣＴプロセスの後に動き補償の追加手順を経て、また動き補償プロセスの出力はモジュールで逆ＤＣＴの出力に加算され、映像を再構築する。

【００１０】拡張レイヤ復号化については、復号化器の従来技術は、ビットプレーンＶＬＤ、逆ジグザグスキャンおよび逆ＤＣＴモジュール２０９、２１０、２１２からそれぞれ構成される。 拡張ビットストリームがビットプレーンＶＬＤプロセスを経た後、復号化されたビットプレーンは組み合わされて剰余数値を与える。 ＦＧＳサーバによって伝送されないそれらのビットプレーンは、
最後に受信したビットプレーンの下の第２のビットプレーンを除き復号化器側でゼロであると想定される。 前記剰余数の最上位ビットが送られた場合には、このビットプレーンのビットは１に設定される。

【００１１】再構築された剰余数は逆ジグザグスキャンされる。 次に、これらの剰余数値は、ベースレイヤの逆量子化ＤＣＴ係数に加算され、モジュール２１１に示すように拡張されたＤＣＴ係数を与える。 拡張されたＤＣ
Ｔ係数は逆ＤＣＴプロセスを受け拡張された画素値を与える。 ベースレイヤにおけるフレーム間復号化については、拡張レイヤの逆ＤＣＴモードの出力は拡張された予測誤差である。 これらの拡張された予測誤差は、モジュール２１３で、ベースレイヤの動き補償の出力値に加算され、拡張された映像値を与える。

【００１２】

【発明が解決しようとする課題】既存のＦＧＳビデオ符号化技術に基づき、剰余数は２進数で提示される。 ２進数表示では、数は２の累乗を用いて表される。 ３３の剰余数値の実例を挙げると、３３の剰余数値は２進（２ ⁵
＋２ ⁰ ）の１００００１として表すことができる。 この剰余数のすべてのビットを復号化器側で受信できるならば、この種の表現は可逆である。 しかし、これは実際のネットワークの条件では可能ではない。 ある低いビットレートの場合、ＦＧＳサーバは最上位ビットのみを伝送できるだけであり、またクライアント側で復号化されるビットは１０００００である。

【００１３】従来技術の剰余数予測技術を用いて、受信したビットよりも２つ下方のビットを１に設定することによって、復号化器は剰余数値を予測する。 この結果、
２進表示でで１０１０００という予測された剰余数値が得られ、またその数値は４０であり、これによって元の剰余数値に比較して７の予測誤差が与えられる。

【００１４】全体のＶＯＰの最大剰余数値が３３である場合には、ＶＯＰ内の剰余数の最大ダイナミックレンジは２進数表示を用いて６３に増加され、この結果復号化された剰余数の予測効率は悪くなる。 これは、従来技術の剰余数表示と予測技術が、拡張ビットレートが低い場合にとって非常に効率的でないことを示している。

【００１５】したがって、本開示の目的は従来技術の符号化技術の効率の悪さを解決することである。 解決すべき第１の問題は、ビットプレーン符号化の符号化効率を最大にするにはどのように剰余数を表せばよいかである。 解決すべき第２の問題は、どのように復号化された剰余数係数に関する予測を行えば、ＶＯＰのＰＳＮＲを最適化できるかである。

【００１６】

【課題を解決するための手段】ＶＯＰ内の剰余数の確率密度分布は均一に分布していないことが知られている。
図３は、ＶＯＰ内の剰余数の大きさの典型的な確率密度分布図を示す。 図示されるように、剰余数はダイナミックレンジの低い方で高く分布し、またダイナミックレンジの高い方での分布はより低い。 剰余数係数はこの特性をベースレイヤＤＣＴ係数から受け継ぐので、これは正しい。

【００１７】２進法表示技術の効率の悪さは、実際のダイナミックレンジと比較してより大きな指定ダイナミックレンジに起因する。 最大ダイナミックレンジ情報を拡張ビットストリームに仕様として定め、またＶＯＰの確率密度分布を利用する動的表示技術を用いることによって、この非効率の問題を解決し、拡張ビットプレーンのビットの役割を規定できる。

【００１８】同様に、剰余数の確率密度分布の形状から判断すると、復号化された剰余数係数に関する予測は、
拡張レイヤのＶＯＰの異なったビットプレーンレベルについて異なった予測割合を指定することによって改良できる。 確率密度分布曲線の形状はほとんどの場合直線でないので、これは正しい。

【００１９】現在の２進法表示技術は、現在のＦＧＳスキームの剰余数係数を表すのに使用される唯一の技術である。 本発明で新規なことは、新しい剰余数表示と予測技術が拡張ビットプレーンのビットの役割を固定しないことである。 ビットの役割は、ＶＯＰ内の剰余数の確率密度分布と、ビットプレーンの剰余数の最上位ビットの位置とに関係して動的に仕様として定められる。

【００２０】本発明による剰余数係数の動的表示技術によってビデオ符号化効率を改良するための方法は、映像品質の損失を導入するビデオシーケンスのベースレイヤを符号化するステップと、前記符号化したベースレイヤから前記ビデオシーケンスの剰余数を計算するステップと、動的表示技術を用いて剰余数値を表すステップと、
ビットプレーンエントロピ符号化方法によって、修正された大きさと剰余数係数の符号値とを符号化するステップと、前記符号化情報を符号化表示で表すステップとからなる方法であって、これにより上記目的が達成される。

【００２１】ベースレイヤの符号器が、２次元配列の画素を有するブロック内に入力画像をサンプリングするステップと、予めメモリ内に再構築された映像から予測ブロックを構築するステップと、サンプリングした画素の前記ブロックに使用される予測モードについて決定するステップと、前記決定に基づき、サンプリングした画素の前記ブロックから予測ブロックを減算して予測誤差を獲得するステップと、予測誤差の前記ブロックに離散コサイン変換を実行するステップと、ＤＣＴ係数の前記ブロックを量子化するステップと、前記ブロックをジグザグスキャン順序でスキャンするステップと、ハフマン符号化によって前記ブロックを符号化し、また前記符号化情報を符号化表示で表すステップとを含んでいてもよい。

【００２２】周波数領域の剰余数値を計算するステップが、ベースレイヤ内の符号器からＤＣＴ係数のブロックを獲得するステップと、将来の減算のためにＤＣＴ係数の前記ブロックをブロックメモリに記憶するステップと、ベースレイヤ内の前記符号器から量子化ＤＣＴ係数のブロックを獲得するステップと、量子化ＤＣＴ係数の前記ブロックを逆量子化するステップと、ブロックメモリ内のＤＣＴ係数の前記ブロックから、再構築されたＤ
ＣＴ係数の前記ブロックを減算して剰余数係数を獲得するステップと、剰余数係数の前記ブロックをジグザグスキャン順序で並べ替えるステップと、剰余数係数の前記ブロックをフレームメモリに記憶するステップとを含んでいてもよい。

【００２３】空間領域の剰余数値を計算するステップが、ベースレイヤ内の符号器から量子化ＤＣＴ係数のブロックを獲得するステップと、量子化ＤＣＴ係数の前記ブロックを逆量子化するステップと、逆離散コサイン変換によって前記ブロックを空間領域に変換するステップと、ベースレイヤからの動き補償した予測値のブロックに、再構築された予測差の前記ブロックを加算して復号化映像を再構築するステップと、再構築された映像の画素値をフィルタ処理するステップと、前記フィルタ処理された画素値を元の映像の画素値から減算して剰余数係数を獲得するステップと、２次元配列の画素を有するブロック内に前記剰余数係数をサンプリングするステップと、離散コサイン変換によって剰余数係数の前記ブロックを周波数領域に変換するステップと、剰余数係数の前記ブロックをジグザグスキャン順序で並べ替えるステップと、剰余数係数の前記ブロックをフレームメモリに記憶するステップとを含んでいてもよい。

【００２４】動的剰余数表示が、フレームメモリから剰余数係数を検索するステップと、前記剰余数係数の符号値と大きさとを獲得するステップと、前記大きさの最大値を発見するステップと、前記大きさのカットオフ値を規定するステップと、前記最大値情報と前記カットオフ値情報とを符号化し、また前記情報を符号化表示で表すステップと、剰余数変換に必要なパラメータを計算するステップと、前記最大値と前記カットオフ値と前記計算されたパラメータとに基づき、バイナリ変換を前記大きさに実行するステップとを含んでいてもよい。

【００２５】周波数領域で計算された剰余数の復号器が、ベースレイヤビットストリームを復号化するステップと、拡張レイヤビットストリームから最大値とカットオフ値とに関する情報を抽出するステップと、前記拡張レイヤビットストリームを逆ビットプレーンエントロピ符号化して剰余数係数の符号値と修正された大きさとを獲得するステップと、剰余数変換に必要なパラメータを計算するステップと、剰余数再構築と、非ゼロ剰余数係数の前記修正された大きさに関する予測とを実行して剰余数係数の予測される大きさを獲得するステップと、前記符号値と前記予測された大きさとを組み合わせることによって剰余数係数を再構築するステップと、２次元配列の画素を有する複数のブロック内に前記剰余数係数をサンプリングするステップと、剰余数係数の前記ブロックを逆ジグザグスキャン順序で並べ替えるステップと、
ベースレイヤから逆量子化ＤＣＴ係数のブロックを獲得するステップと、逆量子化ＤＣＴ係数の前記ブロックに、再構築された剰余数値の前記ブロックを加算するステップと、拡張されたＤＣＴ係数の前記ブロックに逆離散コサイン変換を行い空間領域における前記係数の値を獲得するステップと、ベースレイヤのために使用された予測モードを決定するステップと、前記予測モードに基づき、動き補償された予測ブロックをベースレイヤから獲得するステップと、拡張された予測誤差の前記ブロックに前記動き補償された予測ブロックを加算して拡張された映像を形成するステップとを含んでいてもよい。

【００２６】空間領域で計算された剰余数の復号器が、
ベースレイヤビットストリームを復号化するステップと、拡張レイヤビットストリームから最大値とカットオフ値とに関する情報を抽出するステップと、前記拡張レイヤビットストリームを逆ビットプレーンエントロピ符号化して剰余数係数の符号値と修正された大きさとを獲得するステップと、剰余数変換に必要なパラメータを計算するステップと、剰余数再構築と、非ゼロ剰余数係数の前記修正された大きさに関する予測とを実行して剰余数係数の予測される大きさを獲得するステップと、前記符号値と前記予測された大きさとを組み合わせることによって剰余数係数を再構築するステップと、２次元配列の画素を有する複数のブロック内に前記剰余数係数をサンプリングするステップと、剰余数係数の前記ブロックを逆ジグザグスキャン順序で並べ替えるステップと、剰余数係数の前記ブロックに逆離散コサイン変換を行い剰余数ブロックの画素値を獲得するステップと、ベースレイヤからの復号化映像をフィルタ処理してノイズを最小にするステップと、剰余数係数の前記ブロックの値に、
ベースレイヤからの前記フィルタ処理された映像の画素値を加算して拡張された映像を形成するステップとを含んでいてもよい。

【００２７】ベースレイヤビットストリームを復号化するステップが、前記ベースレイヤビットストリームを逆エントロピ符号化して量子化ＤＣＴ係数のブロックを獲得するステップと、ベースレイヤビットストリームからスキャン方法と予測方法とを抽出するステップと、前記スキャン方法によって量子化ＤＣＴ係数の前記ブロックをスキャンするステップと、将来の予測のために係数の前記ブロックをブロックメモリに記憶するステップと、
ＤＣＴ係数の前記ブロックを逆量子化するステップと、
逆離散コサイン変換によって、再構築されたＤＣＴ係数の前記ブロックを空間領域に変換するステップと、前記予測方法と、ベースレイヤの予め復号化された映像からの情報とに基づき動き補償された予測ブロックを形成するステップと、前記再構築されたブロックを前記予測ブロックに加算して復号化映像の画素値を再構築するステップと、将来の予測のために復号化映像をフレームメモリに記憶するステップとを含んでいてもよい。

【００２８】カットオフ値を規定するステップが、ＶＯ
Ｐ内の剰余数係数の大きさの値について発生数を獲得するステップと、必要な最小拡張ビットレートと、フレームレートと、エントロピ符号化の符号化効率とに基づき発生のしきい値の和を計算するステップと、発生の前記しきい値の和に基づきカットオフ値を決定するステップとを含んでいてもよい。

【００２９】剰余数変換のパラメータを計算するステップが、第２のビットプレーンの最大ダイナミックレンジを発見するステップと、ビット数を計算して前記最大ダイナミックレンジを表すステップと、前記ビット数に基づきビットプレーンの総数を計算するステップと、前記ビット数に基づき第２のビットプレーンと下方の最大バイナリレンジを決定するステップと、しきい値を計算するステップとを含んでいてもよい。

【００３０】剰余数再構築と、受信した非ゼロ剰余数係数の修正された大きさに関する予測とを実行するステップが、前記受信した剰余数係数の修正された大きさについて予測を実行するステップと、受信された剰余数の大きさを予測された大きさから再構築するステップとを含んでいてもよい。

【００３１】発生のしきい値の和が、最小拡張ビットレートを第１のビットプレーンのエントロピ符号化のフレームレートと符号化効率とで除算することによって計算されてもよい。

【００３２】カットオフ値が、前記カットオフ値よりも大きい剰余数係数の総数が発生のしきい値の和よりも小さいという基準に基づいて決定されてもよい。

【００３３】前記カットオフ値よりも小さく、また前記しきい値よりも大きな大きさの２進法表示が、前記剰余数係数の大きさに２を乗算し、また前記乗法の前記結果から前記しきい値を減算することによって動的剰余数表示に変換してもよい。

【００３４】前記カットオフ値よりも大きいかまたは等しい大きさの２進法表示を動的剰余数表示に変換するステップが、前記大きさから前記カットオフ値を減算することによってオフセット値を計算するステップと、前記剰余数係数の前記オフセット値に２を乗算し、また前記オフセット値が前記しきい値よりも大きい場合には、前記乗算の前記結果から前記しきい値を減算するステップと、最大ダイナミックレンジを表すために所定のビット数だけ値を左に移動し、また前記移動した値を前記計算されたオフセット値に加算するステップとを含んでいてもよい。

【００３５】受信した非ゼロ剰余数係数の修正された大きさについて予測を実行するステップが、受信されたビットプレーンの数を決定するステップと、受信されたビットプレーンの数が１に等しい場合には、最後に受信されたビットプレーンの下の２つのビットプレーンのビットを１に設定するステップと、受信されたビットプレーンの数が１に等しい場合以外の場合には、前記受信されたビットプレーンの数がビットプレーンの総数よりも１
を越えて小さければ、前記最後に受信されたビットプレーンの下の次のビットプレーンのビットを１に設定するステップとを含んでいてもよい。

【００３６】予測された剰余数係数から大きさを再構築するステップが、前記予測された剰余数係数から第１のビット情報を抽出するステップと、前記予測された剰余数係数の第１のビットをゼロに設定するステップと、前記抽出されたビットが１であるかどうかを決定するステップと、前記しきい値を前記予測された剰余数係数に加算し、また予測された値が前記しきい値よりも大きければ前記結果を２で除算するステップと、前記抽出されたビットが１である場合には、前記予測された値と前記カットオフ値とを合計するステップとを含んでいてもよい。

【００３７】第２のビットプレーンの最大ダイナミックレンジを発見するステップが、前記第２のビットプレーンの上限ダイナミックレンジを計算するステップと、前記第２のビットプレーンの下限ダイナミックレンジを計算するステップと、前記２つのダイナミックレンジから最大値を発見するステップとを含んでいてもよい。

【００３８】前記ビットプレーンの総数が、最大ダイナミックレンジ＋１を表すビット数であってもよい。

【００３９】前記しきい値が、最大ダイナミックレンジに２を乗算すると共に前記結果から最大バイナリレンジを減算することによって計算されてもよい。

【００４０】前記上限ダイナミックレンジが、最大値からカットオフ値を減算することによって計算されてもよい。

【００４１】前記下限ダイナミックレンジが、カットオフ値から１を減算することによって計算されてもよい。

【００４２】本発明による剰余数係数の動的表示技術によってビデオ符号化効率を改良するための装置は、映像品質の損失を導入するビデオシーケンスのベースレイヤを符号化する手段と、前記符号化したベースレイヤから前記ビデオシーケンスの剰余数を計算する手段と、動的表示技術を用いて剰余数値を表す手段と、ビットプレーンエントロピ符号化方法によって、修正された大きさと剰余数係数の符号値とを符号化する手段と、前記符号化情報を符号化表示で表す手段とからなり、これにより上記目的が達成される。

【００４３】ベースレイヤの符号化手段が、２次元配列の画素を有するブロック内に入力画像をサンプリングする手段と、予めメモリ内に再構築された映像から予測ブロックを構築する手段と、サンプリングした画素の前記ブロックに使用される予測モードについて決定する手段と、前記決定に基づき、サンプリングした画素の前記ブロックから予測ブロックを減算して予測誤差を獲得する手段と、予測誤差の前記ブロックに離散コサイン変換を実行する手段と、ＤＣＴ係数の前記ブロックを量子化する手段と、前記ブロックをジグザグスキャン順序でスキャンする手段と、ハフマン符号化によって前記ブロックを符号化し、また前記符号化情報を符号化表示で表す手段とを含んでいてもよい。

【００４４】周波数領域の剰余数値を計算する手段が、
ベースレイヤ内の符号器からＤＣＴ係数のブロックを獲得する手段と、将来の減算のためにＤＣＴ係数の前記ブロックをブロックメモリに記憶する手段と、ベースレイヤ内の前記符号器から量子化ＤＣＴ係数のブロックを獲得する手段と、量子化ＤＣＴ係数の前記ブロックを逆量子化する手段と、ブロックメモリ内のＤＣＴ係数の前記ブロックから、再構築されたＤＣＴ係数の前記ブロックを減算して剰余数係数を獲得する手段と、剰余数係数の前記ブロックをジグザグスキャン順序で並べ替える手段と、剰余数係数の前記ブロックをフレームメモリに記憶する手段とを含んでいてもよい。

【００４５】空間領域の剰余数値を計算する手段が、ベースレイヤ内の符号器から量子化ＤＣＴ係数のブロックを獲得する手段と、量子化ＤＣＴ係数の前記ブロックを逆量子化する手段と、逆離散コサイン変換によって前記ブロックを空間領域に変換する手段と、ベースレイヤからの動き補償した予測値のブロックに、再構築された予測差の前記ブロックを加算して復号化映像を再構築する手段と、再構築された映像の画素値をフィルタ処理する手段と、前記フィルタ処理された画素値を元の映像の画素値から減算して剰余数係数を獲得する手段と、２次元配列の画素を有するブロック内に前記剰余数係数をサンプリングする手段と、離散コサイン変換によって剰余数係数の前記ブロックを周波数領域に変換する手段と、剰余数係数の前記ブロックをジグザグスキャン順序で並べ替える手段と、剰余数係数の前記ブロックをフレームメモリに記憶する手段とを含んでいてもよい。

【００４６】動的剰余数表示が、フレームメモリから剰余数係数を検索する手段と、前記剰余数係数の符号値と大きさとを獲得する手段と、前記大きさの最大値を発見する手段と、前記大きさのカットオフ値を規定する手段と、前記最大値情報と前記カットオフ値情報とを符号化し、また符号化情報を復号器に挿入する手段と、剰余数変換に必要なパラメータを計算する手段と、前記最大値と前記カットオフ値と前記計算されたパラメータとに基づき、バイナリ変換を前記大きさに対して実行する手段とを含んでいてもよい。

【００４７】周波数領域で計算された剰余数の復号化手段が、ベースレイヤビットストリームを復号化する手段と、拡張レイヤビットストリームから最大値とカットオフ値とに関する情報を抽出する手段と、前記拡張レイヤビットストリームを逆ビットプレーンエントロピ符号化して剰余数係数の符号値と修正された大きさとを獲得する手段と、剰余数変換に必要なパラメータを計算する手段と、剰余数再構築と、非ゼロ剰余数係数の前記修正された大きさに関する予測とを実行して剰余数係数の予測される大きさを獲得する手段と、前記符号値と前記予測された大きさとを組み合わせることによって剰余数係数を再構築する手段と、２次元配列の画素を有する複数のブロック内に前記剰余数係数をサンプリングする手段と、剰余数係数の前記ブロックを逆ジグザグスキャン順序で並べ替える手段と、ベースレイヤから逆量子化ＤＣ
Ｔ係数のブロックを獲得する手段と、逆量子化ＤＣＴ係数の前記ブロックに、再構築された剰余数値の前記ブロックを加算する手段と、拡張されたＤＣＴ係数の前記ブロックに逆離散コサイン変換を行い空間領域における前記係数の値を獲得する手段と、ベースレイヤのために使用された予測モードを決定する手段と、前記予測モードに基づき、動き補償された予測ブロックをベースレイヤから獲得する手段と、拡張された予測誤差の前記ブロックに前記動き補償された予測ブロックを加算して拡張された映像を形成する手段とを含んでいてもよい。

【００４８】空間領域で計算された剰余数の復号化手段が、ベースレイヤビットストリームを復号化する手段と、拡張レイヤビットストリームから最大値とカットオフ値とに関する情報を抽出する手段と、前記拡張レイヤビットストリームを逆ビットプレーンエントロピ符号化して剰余数係数の符号値と修正された大きさとを獲得する手段と、剰余数変換に必要なパラメータを計算する手段と、剰余数再構築と、非ゼロ剰余数係数の前記修正された大きさに関する予測とを実行して剰余数係数の予測される大きさを獲得する手段と、前記符号値と前記予測された大きさとを組み合わせることによって剰余数係数を再構築する手段と、２次元配列の画素を有する複数のブロック内に前記剰余数係数をサンプリングする手段と、剰余数係数の前記ブロックを逆ジグザグスキャン順序で並べ替える手段と、剰余数係数の前記ブロックに逆離散コサイン変換を行い剰余数ブロックの画素領域を獲得する手段と、ベースレイヤからの復号化映像をフィルタ処理してノイズを最小にする手段と、剰余数係数の前記ブロックの値に、ベースレイヤの前記フィルタ処理された映像の画素値を加算して拡張された映像を形成する手段とを含んでいてもよい。

【００４９】ベースレイヤビットストリームを復号化する手段が、前記ベースレイヤビットストリームを逆エントロピ符号化して量子化ＤＣＴ係数のブロックを獲得する手段と、ベースレイヤビットストリームからスキャン方法と予測方法とを抽出する手段と、前記スキャン方法によって量子化ＤＣＴ係数の前記ブロックをスキャンする手段と、将来の予測のために係数の前記ブロックをブロックメモリに記憶する手段と、ＤＣＴ係数の前記ブロックを逆量子化する手段と、逆離散コサイン変換によって、再構築されたＤＣＴ係数の前記ブロックを空間領域に変換する手段と、前記予測方法と、ベースレイヤの予め復号化された映像からの情報とに基づき動き補償された予測ブロックを形成する手段と、前記再構築されたブロックを前記予測ブロックに加算して復号化映像の画素値を再構築する手段と、将来の予測のために復号化映像をフレームメモリに記憶する手段とを含んでいてもよい。

【００５０】カットオフ値を規定する手段が、ＶＯＰ内の剰余数係数の大きさの値について発生数を獲得する手段と、必要な最小拡張ビットレートと、フレームレートと、エントロピ符号化の符号化効率とに基づき発生のしきい値の和を計算する手段と、発生の前記しきい値の和に基づきカットオフ値を決定する手段とを含んでいてもよい。

【００５１】剰余数変換のパラメータを計算する手段が、第２のビットプレーンの最大ダイナミックレンジを発見する手段と、ビット数を計算して前記最大ダイナミックレンジを表す手段と、前記ビット数に基づきビットプレーンの総数を計算する手段と、前記ビット数に基づき第２のビットプレーンと下方の最大バイナリレンジを決定する手段と、しきい値を計算する手段とを含んでいてもよい。

【００５２】剰余数再構築と、受信した非ゼロ剰余数係数の修正された大きさに関する予測とを実行する手段が、前記受信した剰余数係数の修正された大きさについて予測を実行する手段と、受信された剰余数の大きさを予測された大きさから再構築する手段とを含んでいてもよい。

【００５３】発生のしきい値の和が、最小拡張ビットレートを第１のビットプレーンのエントロピ符号化のフレームレートと符号化効率とで除算する手段によって計算されてもよい。

【００５４】前記カットオフ値よりも大きいかまたは等しい大きさの２進法表示を動的剰余数表示に変換する手段が、前記大きさから前記カットオフ値を減算することによってオフセット値を計算する手段と、前記剰余数係数の前記オフセット値に２を乗算し、また前記オフセット値が前記しきい値よりも大きい場合には、前記乗算の前記結果から前記しきい値を減算する手段と、最大ダイナミックレンジを表すためにビット数だけ値を左に移動し、また前記移動した値を前記計算されたオフセット値に加算する手段とを含んでいてもよい。

【００５５】受信した非ゼロ剰余数係数の修正された大きさについて予測を実行する手段が、受信されたビットプレーンの数を決定する手段と、受信されたビットプレーンの数が１に等しい場合には、最後に受信されたビットプレーンの下の２つのビットプレーンのビットを１に設定する手段と、受信されたビットプレーンの数がビットプレーンの総数よりも１を越えて小さければ、最後に受信されたビットプレーンの下の次のビットプレーンのビットを１に設定する手段とを含んでいてもよい。

【００５６】予測された剰余数係数から大きさを再構築する手段が、前記予測された剰余数係数から第１のビット情報を抽出する手段と、前記予測された剰余数係数の第１のビットをゼロに設定する手段と、前記抽出されたビットが１であるかどうかを決定する手段と、前記しきい値を前記予測された剰余数係数に加算し、また予測された値が前記しきい値よりも大きければ前記結果を２で除算する手段と、前記抽出されたビットが１である場合には、前記予測された値と前記カットオフ値とを合計する手段とを含んでいてもよい。

【００５７】第２のビットプレーンの最大ダイナミックレンジを発見する手段が、前記第２のビットプレーンの最大ダイナミックレンジを計算する手段と、前記第２のビットプレーンの下限ダイナミックレンジを計算する手段と、前記２つのダイナミックレンジから最大値を発見する手段とを含んでいてもよい。

【００５８】前記ビットプレーンの総数が、ビット数を加算して最大ダイナミックレンジを１で表す手段によって計算されてもよい。

【００５９】前記しきい値が、最大ダイナミックレンジに２を乗算すると共に前記結果から最大バイナリレンジを減算する手段によって計算されてもよい。

【００６０】前記上限ダイナミックレンジが、最大値からカットオフ値を減算する手段によって計算されてもよい。

【００６１】前記下限ダイナミックレンジが、カットオフ値から１を減算する手段によって計算されてもよい。

【００６２】前記カットオフ値よりも小さく、また前記しきい値よりも大きな大きさの２進法表示が、前記剰余数係数の大きさに２を乗算し、また前記乗法の前記結果から前記しきい値を減算することによって動的剰余数表示に変換されてもよい。

【００６３】本発明を簡潔に説明する。 ＭＰＥＧ４規格における細粒度スケーラビリティスキームはストリーミングビデオ用途を対象としている。 このスキームでは、
ビットプレーン可変長符号化は圧縮のための符号化技術として使用され、また符号化が実行される前に剰余数の大きさが２進数として表される。 しかし、このスキームは、顧客側の復号化器が剰余数用に大部分のビットを受信することができない場合、非常に非効率であることが分かる。 剰余数の大きさを動的表示するための方法を実施形態に提示している。 本発明は、低いビットレートにおける拡張レイヤの符号化効率を改良するのに非常に効率的であり、また符号化器が異なったＶＯＰについて異なったダイナミックレンジを動的に指定するのを可能にする。 本発明は、ＭＰＥＧ４規格の細粒度スケーラビリティスキームで利用することが期待される。

【００６４】

【発明の実施の形態】 動的剰余数表示動的剰余数表示は、ビットプレーン可変長符号化の符号化効率を改良するために、ＦＧＳ拡張レイヤの剰余数係数を表示するための方法を提供する。 図４および図５
は、本発明の１つのとり得る実施形態を示す。

【００６５】図４は第１の実施形態の符号化器のブロック図を示す。 モジュール４１６は、本発明を形成する既存の従来技術に新しく追加したものである。 ベースレイヤ符号化について、その手順は既存の従来技術と同じである。 拡張レイヤ符号化については、ベースレイヤの量子化ＤＣＴ係数はモジュール４１３で逆量子化を受け、
また剰余数係数はモジュール４１４で計算される。 計算された剰余数係数はモジュール４１５でジグザグスキャンを受け、次にモジュール４１６で動的剰余数表示が行われる。 次に、動的剰余数表示の結果はモジュール４１
７でビットプレーン可変長符号化を受け、また拡張レイヤビットストリームがＦＧＳサーバに伝送される。

【００６６】ＦＧＳサーバにおける再転送プロセスは既存の従来技術と同じである。 ＦＧＳサーバからの切り捨てられた拡張レイヤビットストリームは、復号化器に伝送される。 図５は第１の実施形態の復号化器のブロック図を示す。 モジュール５１０は、本発明を形成する既存の従来技術に新しく追加したものである。 ベースレイヤ復号化の全体プロセスは既存の従来技術と同じである。
拡張レイヤ復号化のために、受信した拡張レイヤビットストリームはビットプレーン可変長復号化され、次にモジュール５０９と５１０でそれぞれ剰余数再構築と予測とが行われる。 次に、逆ジグザグスキャンがモジュール５１１で予測された剰余数係数に実行される。 次に、ベースレイヤからの逆量子化ＤＣＴ係数が、予測された剰余数係数にモジュール５１２で加算され、次に拡張されたＤＣＴ係数がモジュール５１３でＩＤＣＴを受ける。
イントラ符号化については、ＩＤＣＴの出力は復号化フレームの拡張された画素値である。 これに対し、非イントラ符号化については、ＩＤＣＴモジュールの出力は拡張された予測差であり、またそれらはベースレイヤの動き補償モジュールからの予測値に加えられ、モジュール５１４で出力フレームの拡張された画素値を形成する。

【００６７】上記の実施形態では、剰余数が計算され、
また周波数領域で再構築される。 本発明の他のとり得る実施形態は、図６と図７に示したように、剰余数が空間領域で計算かつ再構築される実施形態である。

【００６８】図６は第１の実施形態の符号化器のブロック図を示す。 ベースレイヤ符号化について、その手順は既存の従来技術と同じである。 拡張レイヤ符号化については、ベースレイヤの量子化ＤＣＴ係数はモジュール６
１３と６１４でそれぞれ逆量子化とＩＤＣＴとを受ける。 非イントラ符号化ブロックについては、動き補償モジュールからの予測値はモジュール６１５でＩＤＣＴの出力に加えられ、復号化フレームの画素値を形成する。
復号化フレームはモジュール６１６でフィルタ処理を受け、映像のブロッキーノイズとリンギングノイズとを取り除く。 剰余数係数は、元の映像の画素値から復号化映像の画素値を減算することによって計算される。 次に剰余数係数は、モジュール６１８と６１９でそれぞれＤＣ
Ｔとジグザグスキャンを受ける。 ジグザグスキャンの出力は、本発明を用いてモジュール６２０で表示される。
次に、動的剰余数表示の結果はモジュール６２１でビットプレーン可変長符号化を受け、次に拡張レイヤビットストリームがＦＧＳサーバに伝送される。

【００６９】図７は第２の実施形態の復号化器のブロック図を示す。 モジュール７１０は、本発明を形成する既存の従来技術に新しく追加したものである。 ベースレイヤ復号化の全体プロセスは既存の従来技術と同じである。 拡張レイヤ復号化のために、受信した拡張レイヤビットストリームはビットプレーン可変長復号化を受け、
次にモジュール７０９と７１０でそれぞれ剰余数再構築と予測とが行われる。 次にモジュール７１１と７１２
で、逆ジグザグスキャンと逆ＤＣＴが、予測された剰余数係数に実行される。 ベースレイヤからの復号化出力フレームはモジュール７１４でフィルタ処理を受け、またフィルタ処理の結果に拡張レイヤのＩＤＣＴモジュールの出力が加算され、モジュール７１３に示したように拡張された映像の画素値を与える。

【００７０】本発明では、ＶＯＰ内の剰余数係数の大きさの確率密度分布は、最初に獲得される。 この分布を用いて、最大剰余数値と第１のビットプレーンのカットオフ値が計算され、また拡張レイヤビットストリームのＶ
ＯＰヘッダ内に記憶される。 剰余数係数はこれらの２つの値に基づき表される。 以下の項では本発明の実施形態をさらに詳細に説明している。

【００７１】 ＶＯＰ内の剰余数値の大きさの確率密度分
布剰余数の大きさの取り得る最大値は２０４８である。 これは、剰余数係数が、［−２０４８、２０４７］の範囲で飽和した値を有するＤＣＴ係数に基づき計算されるからである。 したがって、剰余数係数の絶対値をとり、またＶＯＰ内の［０，２０４８］からの範囲のこれらの絶対剰余数値の発生数を累積することによって、ＶＯＰの絶対剰余数値の確率密度分布を決定することができる。
発生数は次のように計算される。 ｖ＝｜Ｒ（ｘ，ｙ，ｍ）｜ Ｓ（ｖ）＋＝１ ｘ＝０． ． ． ７． ，ｙ
＝０． ． ． ７． ，ｍ＝０． ． ． ． ｋ Ｒ（ｘ，ｙ，ｍ）はＶＯＰ内の剰余数値を表し、Ｓ
（ｖ）は発生数を表し、またｋはＶＯＰ内の最大ブロック数を表す。

【００７２】 ＶＯＰ内の第１のビットプレーンの最大値
とカットオフ値最大値は次のようにＶＯＰ内の剰余数値から計算することができる。 最大値＝ｍａｘ（｜Ｒ（ｘ，ｙ，ｍ）｜） ｘ＝
０． ． ． ７． ，ｙ＝０． ． ． ７． ，ｍ＝０． ． ． ． ｋ 第１のビットプレーンのカットオフ値を決定するためには、しきい値を最初に計算しなければならない。 このしきい値は次のように計算される。 Ｔ ₁ ＝ＢＲ _E ／（ＦＲ ^* ＣＥ） ＢＲ _Eが最小目標拡張ビットレートを表す場合、ＦＲはフレームレートを表し、またＣＥは、シンボル当たりのビットに関するＭＳＢビットプレーン内のビットプレーンＶＬＣの符号化効率を表す。 Ｔ ₁は、カットオフ値よりも大きな絶対剰余数値を有するＶＯＰ内の剰余数係数の最大数を表す。 かくして、計算されたしきい値に基づいて、カットオフ値は次のようにＳ（ｖ）から獲得される。

【００７３】

【数１】

₁ 。

【００７４】最大値とカットオフ値とを獲得した後に、
これらの２つの値は拡張レイヤビットストリームのＶＯ
Ｐヘッダ内に記憶され、復号化器で復号化するために使用される。

【００７５】 ビットプレーンの総数本発明では、第１のビットプレーンについて、「１」ビットは「より大きいか等しい」ことを示し、一方「０」
ビットは「より小さい」ことを示している。 したがって、第１のビットプレーンのカットオフ値に基づき、カットオフ値よりも大きいか等しい値を有する剰余数係数は、第１のビットプレーンで「１」ビットとして、またカットオフ値よりも小さい値を有するそれらの係数について「０」ビットとして表される。

【００７６】表１は、第１のビットプレーンの剰余数のビットを示す。

【００７７】

【表１】

_lower ＝カットオフ値−１ ・Ｒ

_upper ＝最大値−カットオフ値・Ｂ

_M ＝ｍａｘ（Ｒ

_lower ，Ｒ

_upper ） 次に、Ｂ

_Mを表す２進ビットの数Ｎ

_Mが決定される。 例えば、上記の実例のＢ

_Mは２６であり２進数で１１０１０

と表すことができる。 かくしてこの場合のＮ

_Mは５である。 計算されたＮ

_Mの値に基づき、ビットプレーンの総数はＮ

_M ＋１によって決定される。

【００７８】 バイナリ変換 Ｂ _Mの最大バイナリレンジは次の式を用いて決定することができる。 Ｒ _B ＝１＜＜Ｎ _M −１ 計算したＲ _B値に基づいて、上限と下限両方のしきい値が計算される。 Ｔ _しきい値 ＝２×Ｂ _M −Ｒ _B剰余数係数の大きさは次のように符号化される。

【００７９】

【数２】 ｉｆ（剰余数値＜カットオフ値） ｉｆ（剰余数値＞Ｔ _しきい値 ） 符号化値＝剰余数値＜＜１−Ｔ _しきい値 ｅｌｓｅ 符号化値＝剰余数値 ｅｌｓｅ オフセット値＝剰余数値−カットオフ値 ｉｆ（オフセット値＞Ｔ _しきい値 ） 符号化値＝１＜＜Ｎ _M ＋オフセット値＜＜１−Ｔ
_しきい値 ｅｌｓｅ 符号化値＝１＜＜Ｎ _M ＋オフセット値 符号化された値はＮ _M ＋１ビットの２進数を用いて表される。

【００８０】 剰余数再構築と予測剰余数再構築と予測技術は、再構築された映像の全体的な品質を改良すべく、またその予測された剰余数値に基づいて剰余数値を再構築すべく、受信された剰余数係数について予測を実行するための方法を提供する。

【００８１】復号化器側で、最大値とカットオフ値とを拡張レイヤビットストリームのＶＯＰヘッダから獲得することができる。 これらの２つの値に基づき、
Ｒ _upper 、Ｒ _{l ower} 、Ｂ _M 、Ｎ _M 、Ｔ _upperおよびＴ _lowerの値を計算できる。

【００８２】ＦＧＳサーバにおける拡張レイヤビットストリームの切り捨てにより、Ｎ _M ＋１のビットプレーンのすべてが復号化器側で受信されるのではない。 したがって、再構成の前に、受信した値について予測を行う必要がある。 予測値は次のように計算される。

【００８３】

【数３】Ｎ _Dを復号化器側で受信されるビットプレーンの数であるとする。

【００８４】

【数４】剰余数値を再構築して戻すために、次のアルゴリズムが使用される。 ｉｆ（予測値＜（１＜＜Ｎ _M ）） ｉｆ（予測値＞Ｔ _しきい値 ） 剰余数値＝（予測値＋Ｔ _しきい値 ）＞＞１ ｅｌｓｅ 剰余数値＝予測値 ｅｌｓｅ オフセット値＝予測値−１＜＜Ｎ _M ｉｆ（オフセット値＞Ｔ _しきい値 ） 剰余数値＝カットオフ値＋（オフセット値＋Ｔ _しきい値 ）＞＞１ ｅｌｓｅ 剰余数値＝カットオフ値＋オフセット値

【００８５】

【発明の効果】本発明は、剰余数値を表すために使用されるビットの有意性を改良し、かくしてビットプレーン可変長符号化の符号化効率を向上するのに非常に効率的である。

【図面の簡単な説明】

【図１】 従来技術の基本的なＦＧＳ符号化器のブロック図である。

【図２】 従来技術の基本的なＦＧＳ復号化器のブロック図である。

【図３】 ＶＯＰ内の剰余数の大きさの典型的な確率密度分布図である。

【図４】 本発明の第１の実施形態の符号化器のブロック図である。

【図５】 本発明の第１の実施形態の本発明の復号化器のブロック図である。

【図６】 本発明の第２の実施形態の本発明の符号化器のブロック図である。

【図７】 本発明の第２の実施形態の本発明の復号化器のブロック図である。

【図８】 １２８ｋｂｐｓにおけるベースレイヤビットレートについての本発明と従来技術との間の性能を比較した図である。

【図９】 ２５６ｋｂｐｓにおけるベースレイヤビットレートについての本発明と従来技術との間の性能を比較した図である。

【符号の説明】

４０１ ブロックサンプリング ４０３ ＤＣＴ ４０４ 量子化 ４０５ ＤＣ＆ＡＣ予測 ４０６ ジグザグスキャン ４０７ ＶＬＣ ４０８ 逆量子化 ４０９ 逆ＤＣＴ ４１１ フレームメモリ ４１２ 動き推定および動き補償 ４１３ 逆量子化 ４１５ ジグザグスキャン ４１６ 動的剰余数表示 ４１７ ビットプレーンＶＬＣ ４０２、４１０、４１４ 加算部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ティオ ケン・タン シンガポール534415シンガポール、タイ・ セン・アベニュー、ブロック1022、04− 3530番、タイ・セン・インダストリアル・ エステイト、パナソニック・シンガポール 研究所株式会社内 Ｆターム(参考） 5C059 KK11 MA00 MA04 MA05 MA23 MC01 MC04 MC33 ME01 PP04 RA01 RA04 RB01 SS06 TA43 TB07 TC08 TD02 TD12 TD14 UA02 UA11 UA31 5J064 AA02 BA09 BA16 BB03 BC01 BC08 BD02