【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、二進映像の符号化／復号化に関するもので、特に下層と現在層の相関性を考慮して二進映像の符号化モードを減らし、その相関性に従ってモード符号化ビットを割り当てて符号化ビット量を減らす下層と現在層のモードを利用した伸縮型二進映像符号化／復号化方法及び装置に関する。

【０００２】

【従来の技術】伸縮型（Scalable）符号化は、解像度が異なる複数個の層（基本層（base layer）、高位層）を伝送し復号化することができる機能である。 複数個の異なる解像度を有する情報を伝送するためには、一般的な符号化方法よりさらに多い情報を伝送しなければならない。 伝送する情報量を減らすために、図１５に図示のように低解像度の基本層（base layer）を利用し、高解像度の高位層（enhancement layer）を推定する方法を適用する。

【０００３】二進映像情報を複数個の層（layer）を用いて伸縮型（Scalable）符号化する方法においても、前記のように基本層を利用するか、または複数層により構成された場合、高位層では下層を用いて効果的に符号化する。

【０００４】図１５は、一般的な映像情報の伸縮型符号化方法を示す。 ここでは、高位層の１段階のみ表示したが、一般的に多段階の高位層が含まれる。 従って、現在階層（current layer）のすぐ下の下位階層（lower lay
er）は最下位階層（基本層）であることもあり、高位層中の一階層であることもある。 二進映像（binary imag
e）情報に対する伸縮型符号化方法も、一般的な伸縮型符号化方法と同じ構造を有する。

【０００５】二進映像に対する高位層を符号化するために、イントラ映像（“Intra-Picture）の高位層の場合は、図１５に図示のようにすぐ下層（lower layer）から予測して符号化する。高位層の予測映像（Predicted-
Picture）の場合には、すぐ下層の映像と以前映像の両方から予測して符号化する。

【０００６】映像情報を符号化する過程においては、ブロック単位（１６×１６の大きさ）の符号化を遂行する。 二進映像情報に対するブロック（Macro Block：以下、ＭＢと称す）を符号化する際に、高位層のＩ−ピクチャ（I-Picture）または高位層のＰ−ピクチャ（P-Pic
ture）において、Intra ＭＢ、すなわち、二進映像から予測せずに、自分の下層のみを使用して符号化しなければならないＭＢは、ＩＳＯ／ＩＥＣ ＷＧ１１のＶＭ
（verification Model）７．０に提示されたスキャンインターリーブ（scan Interleaving）方法を使用して符号化しなければならない。 そして、その以外のＭＢは、
基本層の符号化方法であるＣＡＥ方法を使用して符号化する。

【０００７】スキャンインターリーブ方法が図１６に図示されている。 基本層で高位層を符号化するために、下と上の二つの隣接する画素値を利用する。 もし、二つの隣接画素値が同一な場合、現在位置の画素値も同一値を有する可能性が高い。 従って、二つの隣接画素値が同一で現在位置の画素値も二つの隣接画素値と同一な場合は符号化しなくてもよい。

【０００８】二つの隣接画素値が異なる場合は、現在位置の画素値を符号化しなければならない。 この場合をトランジショナルサンプルデータ（ＴＳＤ：Transitional
Sample Data）という。 そして、二つの隣接画素値は同一であるが、現在位置の画素値が異なる場合も符号化しなければならない。 この場合をエクセプショナルサンプルデータ（ＥＳＤ：Exceptional Sample Data）という。 従って、高位層をスキャンインターリーブ方法を用いて符号化するためには、２種類のデータ（ＴＳＤ、Ｅ
ＳＤ）を符号化しなければならない。

【０００９】スキャンインターリーブ方法を用いて符号化する場合、ＴＳＤとＥＳＤを符号化するために、まず、ＥＳＤの存在有無に対する情報が伝送され、ＥＳＤ
が存在するＭＢと存在しないＭＢに対してスキャンインターリーブの適用範囲を異なるようにする。

【００１０】図１７（ａ）及び（ｂ）は、ＣＡＥ（Cont
ext-based Arithmetic EnCode）方法に使用されるコンテキストを示す。 図１７（ａ）に図示のように、符号化対象画素Ｙを囲む周辺画素により構成されるコンテキストの位置によってコンテキストインデックス（Context_
ID）が決定される。 Ｘ、Ｙ位置の情報を伝送するためにＣ０−Ｃ６から構成されるコンテキストインデックス（Context_ID）形態の発生頻度数によって既に決定されているArithmetic符号化テーブルにより符号化される。

【００１１】

【発明が解決しようとする課題】このように、スキャンインターリーブ方法により符号化しないＭＢは、基本層（base layer）の符号化方法と同じ方法（例えば、ＣＡ
Ｅ方法）を使用して符号化する。 その中の高位層のＰ−
ピクチャにおいて、Inter MBは、動きベクトル（motion
vector）を用いて二進映像から予測して符号化する。

【００１２】また、他の場合は、ＭＢ内の全ての画素が'０'値を有するか、または全ての画素が'２５５'の値を有する場合は符号化する必要がなく、“全ての画素が'０'である”または“全ての画素画'２５５'である”という付加情報（Mode情報）のみを伝送する。 ここで、符号化しようとする映像は二進映像であるので、各画素は'０'または'２５５'の２つの値のみを有することができる。 一般的に'０'は背景（background）を表し、'２５５'は物体（object）を示す。

【００１３】このように二進映像を符号化するためには、各ＭＢによって符号化方法が異なるように決定され、各ＭＢがどのような符号化方法を使用したかに対する付加情報（Mode）を伝送しなければならない。 この場合、付加情報（Mode）に対する種類と付加情報の符号（first shape Code）に対するテーブルが必要である。

【００１４】Ｉ−ピクチャとＰ−ピクチャ、そしてＢ−
ピクチャの高位層に対する既存の付加情報（Mode）の構成は下記のとおりである。

【００１５】＜Ｉ−ピクチャの高位層のモード＞ １）all_０：ＭＢ内の全ての画素が背景（“０”） ２）all_２５５：ＭＢ内の全ての画素が物体（“２５
５”） ３）Intra coded：ＥＳＤ（Exceptional Sample Data）
が存在すれば、ＭＢ内の全ての画素に対してスキャンインターリーブ方法を使用して符号化する。 ＥＳＤが存在しなければＴＳＤ（Transitional Sample Data）のみスキャンインターリーブ方法を使用して符号化する。

【００１６】＜Ｐ−ピクチャまたはＢ−ピクチャの高位層のモード＞ １）all_０：前記の説明と同一 ２）all_２５５：前記の説明と同一 ３）Intra coded：前記の説明と同一 ４）Intra not coded：下位階層の領域を補間（Interpo
lation）して作ったＭＢが現在階層のＭＢとの差が基準値以下 ５）Inter coded && MVD＝０：動きベクトルを使用して以前映像から持ってきたＭＢと現在ＭＢを使用しＣＡＥ
（Context based Arithmetic Encoding）で符号化する。 動きベクトルは“０”。

【００１７】６）Inter not coded && MVD＝０：動きベクトルを使用して以前映像から持ってきたＭＢと現在Ｍ
Ｂの差が基準値以下であり、動きベクトルは“０”。 ７）Inter coded && MVD！ ＝０：動きベクトルを使用して以前映像から持ってきたＭＢと現在ＭＢを使用してＣ
ＡＥ符号化。 ８）Inter not coded && MVD！ ＝０：動きベクトルを使用して以前映像から持ってきたＭＢと現在ＭＢとの差が基準値以下。

【００１８】前記のように符号化されたデータは下記のように復号化される。 二進映像の各ＭＢに対するビットストリーム（bit stream）の最初にモードを表示する付加情報が入っている。 各ＭＢを復号化するために、まずビットストリームからモード情報を読む。

【００１９】Ｐ−ピクチャとＢ−ピクチャの高位層に対する既存の付加情報（Mode）を伝送するための符号化テーブルが構成されている。 この時、伝送されるビット数を減らすために、下の階層または以前映像から予測して構成する。 構成方法は、すぐ下の階層の該当ＭＢが“al
l_０”または“all_２５５”の場合とその以外の場合とに対する符号化テーブルが構成される。

【００２０】すぐ下の階層の該当ＭＢモードのすべてが“all_０”でもなく“all_２５５”でもない場合は、すぐ以前の映像の同じ階層の該当ＭＢのモードによって符号化テーブルが構成される。

【００２１】＜すぐ下の階層の該当ＭＢモードのすべてが“all_０”の場合＞ Mode Code （１） ０１１１ （２） ０１１０００１ （３） ０１１００００ （４） ０１０ （５） ００ （６） ０１１０１ （７） ０１１００１ （８） １

【００２２】＜すぐ下の階層の該当ＭＢモードのすべてが“all_２５５”の場合＞ Mode Code （１） １ （２） ００１０１００ （３） ０００ （４） ００１０１０１ （５） ００１１ （６） ００１０１１ （７） ００１００ （８） ０１

【００２３】各ＭＢ当たり高位層に対する既存の付加情報（Mode）は、Ｉ−ピクチャの場合に３種類（all_０、
all_２５５、Intra coded）であり、Ｐ−ピクチャの場合に８種類（all_０、all_２５５、Intra coded、Intra
not coded、Inter coded &&MVD＝０、Inter not coded
&& MVD＝０、Inter coded && MVD!＝０、Inter notcod
ed && MVD!＝０）である。 付加情報の種類が多ければ各モードを表現するためのビット数が多くなり、従って、
伝送されるビット量が多いことを意味する。

【００２４】図１８は現在層（current layer）と下層（lower layer）間の関係を説明する。 現在層と下層の映像は互いに大きさが同一な場合もあり、異なる場合もある。 大きさが互いに異なる場合、垂直、水平に共に異なることもあり、一方向のみ異なる場合もある。 図１８
は、水平のみ異なる場合を説明する。 映像の大きさが異なっても、全層の各ＭＢの大きさ（１６×１６）は一定である。 従って、現在層の映像が下層の映像より大きい場合は、現在層のＭＢは下層のＭＢ内に含まれる（現在層のＭＢ多数個が下層の１個のＭＢに該当する）。 即ち、現在層の映像がダウンサンプリングされ、下層の映像を構成するからである。 図１８に図示のように、現在層が下層の２倍の大きさであり、この場合は現在層のＭ
Ｂが下層ＭＢの半分（下層の斜線領域）に該当する。

【００２５】本発明は前記のような従来の問題点を解消するためのもので、本発明の目的は、符号化方法を表示する付加情報の種類と、付加情報の種類を減らして符号化効率を向上させる、下層と現在層のモードを利用した伸縮型二進映像符号化／復号化方法及び装置を提供するものである。

【００２６】

【課題を解決するための手段】前記のような目的を達成するために、本発明に係る下層と現在層のモードを利用した伸縮型二進映像符号化方法は、二進映像を解像度が異なる複数個の階層に符号化する伸縮型符号化方法において、高位層の映像を所定の大きさのブロックに分割する第１段階と、前記高位層のブロックとそれに対応する下層の領域内の画素とを比較して同一の場合、または同一でなくても差のある画素の個数が基準値以下の場合には１つのモードに設定してそのモードを表示する付加情報を伝送する第２段階と、前記の第２段階以外の場合は、前記高位層のブロックを符号化し、そのモードを表示する付加情報と共に伝送する第３段階とを備えることを特徴とするものである。

【００２７】また、前記第３段階の符号化方法は、ＣＡ
Ｅ（Context based Arithmetic Encoding）方法であることを特徴とするものである。

【００２８】また、本発明に係る下層と現在層のモードを利用した伸縮型二進映像復号化方法は、二進映像を解像度が異なる複数個の階層に復号化する伸縮型復号化方法において、符号化モードを表示する付加情報と符号化データとを受信して復号化する段階と、前記付加情報が符号化しないモードの場合、下層を参照して下層の該当領域の画素の全てが“０”の場合、高位層のＭＢ（Macr
o Block）の全てを“０”に詰め、下層の該当領域の画素の全てが“２５５”の場合、高位層のＭＢの全てを“２５５”に詰め、下層の該当領域の全ての画素が“０”または“２５５”でない場合、下層のＭＢからアップサンプリングして高位層のＭＢを作ることを特徴とするものである。

【００２９】また、他の発明に係る下層と現在層のモードを利用した伸縮型二進映像符号化方法は、二進映像を解像度が異なる複数個の階層に符号化する伸縮型符号化方法において、Ｐ−ピクチャまたはＢ−ピクチャの符号化モードを、下記のように４種類のモード （１）“Intra Not coded”（“all_０”、“all_２５
５”、“intra not coded”） （２）“Intra coded” （３）“Inter Not coded”（“Inter not coded && MV
D＝０”、“Inter not coded && MVD！ ＝０”） （４）“Inter coded”（“Inter coded && MVD＝
０”、“Inter coded && MVD！ ＝０”） に定めることを特徴とするものである。

【００３０】また、符号化モードが“Intra Not code
d”と“Intra coded”の場合、前記請求項１項の“Intr
a Not coded”と“Intra coded”と同じであり、“Inte
r Notcoded”は下層の動きベクトルを利用して、以前の映像から持ってきたＭＢと比較して、差がある画素のＭ
Ｂ内の和が基準値以下の場合であり、“Inter coded”
は下層の動きベクトルを利用して、以前の映像から持ってきたＭＢと比較して、差がある画素のＭＢ内の和が基準値以上の場合であることを特徴とするものである。

【００３１】また、“Inter coded”と“Inter not cod
ed”の場合、動きベクトルは基本層（base層）の動きベクトルを、現在層の映像の大きさの比率に調整して使用することを特徴とするものである。

【００３２】また、前記“Inter Not coded”の場合は、下層の動きベクトルを使用して、以前の映像から持ってきたＭＢを使用してＣＡＥを遂行することによって高位層ＭＢを得ることを特徴とするものである。

【００３３】また、さらに他の発明に係る下層と現在層のモードを利用した伸縮型二進映像符号化方法は、二進映像を解像度が異なる複数個の階層に符号化する伸縮型符号化方法において、現在のマクロブロックが“Intra
not coded”であるかを判断する段階と、前記現在のマクロブロックが“Intra not coded”モードでない場合、“Intra coded”モードを表示する付加情報を復号化側に伝送し、現在マクロブロックをスキャンインターリーブ方法により符号化して復号化側に伝送する段階と、前記現在マクロブロックが“Intra not coded”モードの場合、“Intranot coded”モードを表示する付加情報を復号化側に伝送する段階を備えることを特徴とするものである。

【００３４】また、前記現在マクロブロックをスキャンインターリーブ方法により符号化して復号化側に伝送する段階は、ＥＳＤの存在有無に対する情報を送り、ＥＳ
Ｄが存在すればＭＢ全体をＣＡＥ遂行し、ＥＳＤが存在しなければＴＳＤ（Transitional Sample Data）のみＣ
ＡＥを遂行することを特徴とするものである。

【００３５】また、前記現在のマクロブロックが“Intr
a not coded”であるかを判断する過程は、現在マクロブロックに該当する下層領域が“all_０”モードであるかを判断する第１段階と、前記下層領域が“all_０”モードの場合、現在のマクロブロックが“all_０”モードであるかを判断して、現在マクロブロックと対応する下層領域が同時に“all_０”モードである場合、“Intra
not coded”モードを表示する付加情報を復号器側に伝送する第２段階と、第２段階の判断で、現在マクロブロックまたは対応する下層領域が“all_０”モードでない場合、現在マクロブロックに対応する下層領域が“all_
２５５”モードであるかを判断する第３段階と、前記下層領域が“all_２５５”モードの場合、現在マクロブロックが“all_２５５”モードであるかを判断して、現在マクロブロックと対応する下層領域が同時に“all_２５
５”モードの場合、“Intra not coded”モードを表示する付加情報を復号器側に伝送する第４段階と、第４段階の判断で、現在のマクロブロックまたは対応する下層領域が“all_２５５”モードでない場合、現在マクロブロックが“Intra predicted”モードであるかを判断する第５段階と、現在マクロブロックが“Intra predicte
d”モードの場合、“Intra not coded”モードを表示する付加情報を復号器側に伝送する段階に進行し、現在マクロブロックが“Intra predicted”モードでない場合、“Intra coded”または“Inter coded”モードを符号化する段階に進行する第６段階を備えることを特徴とするものである。

【００３６】また、他の発明に係る下層と現在層のモードを利用した伸縮型二進映像復号化方法は、二進映像を解像度が異なる複数個の階層に符号化する伸縮型復号化方法において、下層のＭＢが“all_０”であるか、現在マクロブロックのＭＢに該当する下層領域内の全ての画素（sample）が０の場合、現在層ＭＢ内の全ての画素は０に置換される段階と、前記下層のＭＢが“all_２５
５”であるか、現在層ＭＢに該当する下層領域内の全ての画素が２５５の場合、現在層ＭＢ内の全ての画素は２
５５に置換される段階と、前記下層のＭＢが“all_０”
でなく“all_２５５”でもなければ、前記下層から予測されて構成されたＭＢを現在層のＭＢとして使用する段階とを備えることを特徴とするものである。

【００３７】また、さらに他の発明に係る下層と現在層のモードを利用した伸縮型二進映像符号化方法は、二進映像を解像度が異なる複数個の階層に符号化する伸縮型符号化方法において、現在マクロブロックが“Intra no
t coded”であるかを判断する段階と、“Intra not cod
ed”の場合は符号化せず、“Intra not coded”モードを表示する付加情報のみを伝送する段階と、“Intra no
t coded”でなければ“Inter not coded”、“Inter co
ded”及び“Inter not coded”の動きベクトルは、下層の動きベクトルをそのまま使用して動きベクトルを再生する段階と、現在マクロブロックが“Inter not code
d”であるかを判断する段階と、“Internot coded”の場合、現在マクロブロックを符号化せず、“Inter not
coded”モードを表示する付加情報のみ伝送する段階と、現在マクロブロックが“Internot coded”でない場合、現在マクロブロックが“Intra coded”であるかを判断する段階と、現在マクロブロックが“Intra code
d”である場合、“Intra coded”モードを表示する付加情報と現在マクロブロックをスキャンインターリーブ方法により符号化する段階と、“Intra coded”でない場合、“Inter coded”モードを表示する付加情報を伝送し、現在マクロブロックをＣＡＥ符号化する段階とを備えることを特徴とするものである。

【００３８】また、さらに他の発明に係る下層と現在層のモードを利用した伸縮型二進映像符号化方法は、二進映像を解像度が異なる複数個の階層に符号化する伸縮型符号化方法において、ビットストリーム（Bit stream）
からモードを復号化する段階と、前記のモードが“Intr
a not coded”の場合、下層の該当マクロブロックのモードによって復号化せず画素を選択する段階と、“Intr
anot coded”でない場合、動きベクトルを再生する段階と、現在マクロブロックが“Inter not coded”モードであるかを判断する段階と、前記のモードが“Inter no
t coded”の場合は復号化せず、以前の映像で動き補償して現在ＭＢの画素を詰める段階と、“Inter not code
d”でない場合、現在マクロブロックが“Intra coded”
であるかを判断する段階と、“Intra coded”の場合は、現在マクロブロックをスキャンインターリーブ方法により復号化する段階と、“Intra coded”でない場合、現在マクロブロックをＣＡＥ復号化する段階を備えることを特徴とするものである。

【００３９】また、前記動きベクトルを再生する段階で、“Inter Not coded”、“Inter coded”及び“Inte
r not coded”の動きベクトルは、下層の動きベクトルをそのまま使用して動きベクトルを再生することを特徴とするものである。

【００４０】また、本発明に係る下層と現在層のモードを利用した伸縮型二進映像符号化装置は、二進映像を解像度が異なる複数個の階層に符号化する伸縮型符号化装置において、その前端のサブサンプリング手段から映像が入力されサブサンプリングする多数のサブサンプリング手段と、前記のサブサンプリング手段でサブサンプリングされた各層の映像が入力され、所定の大きさのマクロブロック単位に分割して出力する多数のスキャン順序変換手段と、前記スキャン順序変換手段で各層の映像マクロブロック及び下層の映像ブロックと各層の以前の映像が入力され、“all_０”、“all_２５５”、“Intra
not coded”の３種類のモードを１つのモードとして符号化し、“Inter not Coded && MVD＝０”と“Inter no
t coded&& MVD！ ＝０”とを“Inter not coded”モードに、そして“Inter coded && MVD＝０”と“Inter code
d && MVD！ ＝０”を“Inter coded”モードに置いて伸縮型符号化する多数の伸縮型符号化手段を備えることを特徴とするものである。また、前記伸縮型符号化手段は、前記基本層伸縮型符号化手段から動きベクトルが入力され、現在層と基本層の比率に拡大して出力する動きベクトル調整手段と、現在層の以前の映像と前記動きベクトル調整手段から出力される調整された動きベクトルが入力され、現在層の以前の映像から現在のマクロブロックに該当する部分を探して出力する動き補償手段と、
現在層映像のマクロブロックと動き補償された現在層の以前の映像が入力されてＣＡＥ符号化するＣＡＥ符号化手段と、現在層映像と下層映像のマクロブロックが入力され、スキャンインターリーブ方法により符号化するスキャンインターリーブ符号化手段と、現在層映像と下層映像のマクロブロックが入力され、そのマクロブロックが“Inter not coded”モードであるかを表示する信号を出力する“Intra not coded”モード決定手段と、現在層映像のマクロブロックと前記動き補償手段から出力される動き補償された現在層の以前映像が入力され、現在層のマクロブロックが“Inter not coded”モードであるかに対する信号を出力する“Inter not coded”モード決定手段と、前記のスキャンインターリーブ符号化手段とＣＡＥ符号化手段から出力されるビットストリームの大きさを比較して、小さい方を選択する信号を出力する比較手段と、前記“Intra not coded”モード決定手段、“Inter not coded”モード決定手段及び比較手段から信号が入力され、それら信号の組合によって選択されたモードに該当するデータを出力するモードテーブル貯蔵手段と、前記“Intra not coded”モード決定信号、“Inter not coded”モード決定信号及び比較手段の比較結果信号が入力され、前記のスキャンインターリーブ符号化手段とＣＡＥ符号化手段から出力される信号の中のいずれか１つを選択して出力する選択手段を備えることを特徴とするものである。

【００４１】また、前記の“Intra not coded”モード決定手段は、現在マクロブロックに対応する下層のマクロブロックをアップサンプリングして、現在マクロブロックとの差分絶対値を抽出し、その差が臨界値より小さいのかを判断する物体／背景非符号判断手段と、現在マクロブロックに対応する下層のマクロブロックが入力されて、物体モードであるかを判断する下層物体モード判断手段と、現在マクロブロックに対応する下層のマクロブロックが入力されて背景モードであるかを判断する背景モード判断手段と、現在マクロブロックが入力されて背景モードであるかを判断する現在層物体モード判断手段と、現在マクロブロックが入力されて物体モードであるかを判断する現在層背景エラー判断手段と、前記の物体／背景非符号判断手段、下層物体モード判断手段、下層背景モード判断手段、現在層物体モード判断手段及び現在層背景エラー判断手段から出力される信号を論理演算し、“all_０”と“all_２５５”、“Intra predicte
d”の中のいずれが発生したかを表示する信号を出力する論理演算手段とを備えることを特徴とするものである。

【００４２】また、前記“Inter not coded”モード決定手段は、現在マクロブロックと動き補償された以前映像の対応マクロブロックが入力されて差分絶対値を取る差分絶対値抽出手段と、前記差分絶対値が臨界値より小さいのかを判断するエラー比較手段と、前記エラー比較手段の出力と現在入力される映像のモードを表示する情報をアンド演算するアンドゲートとから構成されることを特徴とするものである。

【００４３】また、物体／背景非符号判断手段は、現在マクロブロックに対応する下層のマクロブロックをアップサンプリングするアップサンプリング手段と、前記アップサンプリングされた下層マクロブロックと現在マクロブロックとの差分絶対値を抽出する差分絶対値抽出手段と、前記抽出された差分絶対値が臨界値より小さいのかを判断するエラー比較手段とから構成されることを特徴とするものである。 また、下層物体モード判断手段は、現在マクロブロックに対応する下層のマクロブロックが入力され、全ての物体値を有するのかを判断する物体判断手段と、下層の以前映像のＭＢのモードと上記物体判断手段の出力をオア演算するオアゲートとを具備することを特徴とするものである。

【００４４】また、下層背景モード判断手段は、現在マクロブロックに対応する下層の領域がすべて背景値を有するのかを判断する背景判断手段と、下層の以前映像のＭＢのモードと上記背景体判断手段の出力をオア演算するオアゲートとを具備することを特徴とするものである。

【００４５】また、現在層物体モード判断手段は、入力される現在のマクロブロックと、全て“０”値を有するマクロブロックとの差分を求め、その絶対値を取る物体差分絶対値抽出手段と、前記抽出された差分絶対値が臨界値より小さい値であるかを判断するエラー比較手段から構成されることを特徴とするものである。

【００４６】また、本発明に係る下層と現在層のモードを利用した伸縮型二進映像復号化装置は、二進映像を解像度が異なる複数個の階層に復号化する伸縮型復号化装置において、各層のビットストリーム、基本層の動きベクトル、以前映像及び下層復号化映像とをそれぞれ受信して伸縮型復号化する多数の伸縮型復号化手段と、前記多数の伸縮型復号化手段の中で、最上位の伸縮型復号化手段から入力される現在層の映像ブロックを貯蔵する映像貯蔵手段とを備えることを特徴とするものである。

【００４７】また、前記伸縮型復号化手段は、前記多数の伸縮型復号化手段の中の基本層伸縮型復号化手段から動きベクトルが入力され、現在層と基本層の比率に拡大して出力する動きベクトル調整手段と、現在層の以前映像と前記動きベクトル調整手段から出力される調整された動きベクトルが入力され、現在層の以前映像から現在マクロブロックに該当するマクロブロックを動き補償して出力する動き補償手段と、現在層ビットストリームと映像のモードを表示する信号が入力されて、モード情報を復号化するモード復号手段と、下層映像のブロックとそのモードが入力されて、前もって決定された規則に従って処理して現在映像ブロックを出力する“Intra not
coded”ブロック構成手段と、現在層映像のビットストリームと動き補償された現在層の以前映像が入力されてＣＡＥ符号化して出力するＣＡＥ符号化手段と、現在層映像のビットストリームと下層映像のブロックが入力されてスキャンインターリーブ方法により復号化するスキャンインターリーブ復号化手段と、前記のモード復号手段で復号されたモードに従って前記各手段から出力される信号を選択して出力する多重化手段を備えることを特徴とするものである。

【００４８】また、前記“Intra not coded”ブロック構成手段は、現在マクロブロックに対応する下層のマクロブロックの画素の全てが２５５であれば１を出力し、
そうでなければ０を出力する物体モード判断手段と、下階層のＭＢモードがall_２５５であるか、または前記物体モード判断手段の出力が１であれば１を出力する第１
オアゲートと、下階層のＭＢ内の画素中、現在階層のＭ
Ｂに該当する領域内の画素の全てが０であれば１を出力し、そうでなければ０を出力する背景モード判断手段と、下階層のＭＢモードがall_０であるか、背景モード判断手段の出力が１であればその出力が１となる第２オアゲートと、全ての画素が０であるＭＢを発生させる“all_０”ブロック発生手段と、全ての画素が２５５であるＭＢを発生させる“all_２５５”ブロック発生手段と、下階層の領域をアップサンプリング（up samplin
g）して、現在ＭＢを構成するアップサンプリング手段と、前記第１オアゲートの出力信号に従って“all_２５
５”ブロック発生手段または前記アップサンプリング手段の出力を選択する第１マルチプレクサと、前記第２オアゲートの出力信号に従って“all_０”ブロック発生手段または前記第１マルチプレクサの出力を選択する第２
マルチプレクサから構成されることを特徴とするものである。

【００４９】また、さらに他の発明に係る下層と現在層のモードを利用した伸縮型二進映像符号化方法は、二進映像を解像度が異なる複数個の階層に符号化する伸縮型符号化方法において、下層符号化モードを知っている場合、高位層の符号化モードに対する発生ビット数を割り当てる時に、ホフマン（Hufman）符号化方式を用いて発生確率が多ければ小さいビット数を割り当て、発生確率が少なければ長いビットを割り当てて符号化することを特徴とするものである。

【００５０】また、ＭＢの符号化モードは、“Intra co
ded”が最も多く発生するので、全体の符号化モードに関係なく大部分“Intra coded”は１ビットまたは２ビットで比較的に少ないビット数を割り当てることを特徴とするものである。

【００５１】また、下層モードを知っている場合、高位層モードに対するコードの割り当てられたビットは、次の２種類 （１）１bit:０、２bit:１０、３bit:１１０、他の３bi
t:１１１ （２）１bit:１、２bit:０１、３bit:００１、他の３bi
t:０００ を使用することを特徴とするものである。

【００５２】また、ＭＰＥＧ−４でビットストリームのスタートとエンドを表示する所定個数連続した“０”
が、伝送エラーにより一部の'１'が'０'に変わって連続する'０'が容易に発生されないように、'１'が多く発生するようにコードを設定することを特徴とするものである。

【００５３】また、すぐ下の階層（lower層）が（２）
“Intra coded”モードである場合、現在階層が（１）
“Intra not coded”である場合より（３）“Inter not
coded”の場合に、より少ないビットを割り当てることを特徴とするものである。

【００５４】また、下階層及び高位層の符号化モードを （１）動き補償せず符号化するモード （２）動き報償せず符号化しないモード （３）動き補償の後符号化するモード （４）動き補償の後符号化しないモード に区分し、前記の下階層が（１）のとき、高位層が（１）の場合に“０”、（２）の場合に“１０”、
（３）の場合に“１１０”、（４）の場合に“１１１”
と付加情報を設定し、前記の下階層が（２）のとき、高位層が（１）の場合に“１１０”、（２）の場に合“０”（３）の場合に“１０”、（４）の場合に“１１
１”と付加情報を設定し、前記の下階層が（３）のとき、高位層が（１）の場合に“１１０”、（２）の場に合“１０”（３）の場合に“０”、（４）の場合に“１
１１”と付加情報を設定し、前記の下階層が（１）のとき、高位層が（１）の場合に“１１１”、（２）の場合に“０”（３）の場合に“１１１”、（４）の場合に“１０”と付加情報を設定することを特徴とするものである。

【００５５】また、前記付加情報を“０”は“１”に、
“１”は“０”に替えて設定することを特徴とするものである。

【００５６】また、前記下階層が（２）の場合、高位層が（１）の場合より（３）の場合に、さらに長いビットからなる付加情報を設定することを特徴とするものである。 さらに、前記の全ての場合に“１”が含まれるように付加情報を設定することを特徴とするものである。

【００５７】

【発明の実施の形態】本発明においては、“all_０”、
“all_２５５”、“Intra not coded”の３種類のモードの代わりに１つのモード“Intra not coded”のみを使用する。 送信端で“all_０”、“all_２５５”または“Intra predicted”に決定されたＭＢは全て“Intra n
ot coded”モードに伝送される。受信端では下階層の画素等を参照し、“Intra not coded”モードから再び“a
ll_０”、“all_２５５”、“Intra predicted”とを区別する。

【００５８】“Inter coded && MVD＝０”と“Inter co
ded && MVD!＝０”は、“Inter coded”で表現し、“In
ter not coded && MVD＝０”と“Inter not coded && M
VD!＝０”は、“Inter not coded”で表現する。その結果、Ｉ−ピクチャは符号化モードを２種類のモードに減らすことができ、Ｐ−ピクチャ（またはＢ−ピクチャ）
は符号化モードを４種類に減らすことができる。 このようなモードを使用して符号化テーブルを作る。 符号化テーブルは下層と高位層の相関性を考慮して下層モードに対し発生する高位層のモードを符号化する。 各下層モードに対し発生確率が高い高位層のモードであるほど少ないビット量を割り当てて符号化する。 以下、本発明の技術的思想に従う一実施の形態をあげて、その構成及び動作を添付図面に基づいて詳細に説明する。

【００５９】Ｉ−ピクチャ（例えば、ＶＯＰ、フレーム、１６×１６マクロブロック等）の高位層に対する符号化モードは、従来方式のモード中“all_０”、“all_
２５５”、“Intra predicted”（下層からアップサンプリングして構成されたＭＢと現在のＭＢとの間の差が基準値以下である場合に該当し、既存方式における“In
tra not coded”を意味する。以後、本発明において新たに定義された“Intra not coded”と従来の“Intra n
ot coded”を区別するために、従来の“Intra notcode
d”は、“Intra predicted”と表示する）の３種類のモードを１つのモード“Intra not coded”のみを使用して表示することにより、Ｉ−ピクチャの高位層に対する符号化モードを、下記のように２種類のモードにする。

【００６０】（１）“Intra not coded” （２）“Intra coded” １． 符号化モードが“Intra coded”の場合 １）ＥＳＤの存在有無に対する情報を送る。 ２）ＥＳＤが存在するとＭＢ全体をＣＡＥ遂行し、ＥＳ
Ｄが存在しなければＴＳＤのみＣＡＥを遂行する。

【００６１】２． 符号化モードが“Intra not coded”
の場合は、下記に説明する３つの場合を含む。 １）下層のＭＢが“all_０”の場合であり、高位層のＭ
Ｂも“all_０”の場合または高位層のＭＢを“all_０”
とする場合、１ＭＢ内で高位層ＭＢと差異があるピクセル（pixel）個数の和が基準値以下の場合。 ２）下層のＭＢが“all_２５５”の場合であり、高位層のＭＢも“all_２５５”の場合、または高位層のＭＢを“all_２５５とする場合、１ＭＢ内で高位層ＭＢと差異があるピクセル個数の和が基準値以下の場合。

【００６２】３）下層のＭＢが“all_０”でもなく“al
l_２５５”でもない場合、下層のＭＢからアップサンプリング（up sampling）したとき、１ＭＢ内で高位層のＭＢと差がでるピクセル個数の和が基準値以下の場合（即ち、下階層からアップサンプリングして構成されたＭＢと現在のＭＢとを比較して決定するが、ＭＢを４×
４ブロックに分割しアップサンプリングして構成されたＭＢと現在のＭＢと間のエラーが臨界値より小さい場合または同一な場合）。

【００６３】従って、復号化時には、“Intra not code
d”を表示する付加情報を受信し、下層を参照し、下層が“all_０”の場合、高位層のＭＢの全てを“０”に詰める。下層が“all_２５５”の場合、高位層のＭＢの全てを“２５５”に詰める。また下層が“all_０”や“al
l_２５５”でない場合、下層のＭＢからアップサンプリングして高位層のＭＢをつくる。

【００６４】図１は本発明によるＩ−ピクチャの高位層を符号化する方法を示すフローチャートである。 段階Ｓ
Ｔ５０１で現在のマクロブロックが“Intra not code
d”であるかを判断する。本発明では“Intra not code
d”が“all_０”、“all_２５５”、“Intra predicte
d”（従来の“Intra not coded”である）の３種類のモードを含むので、図２に説明される過程により“Intra
not coded”モードであるかを判断する。

【００６５】現在マクロブロックが“Intra not code
d”モードでない場合、段階ＳＴ５０２で“Intra code
d”モードを表示する付加情報を復号器側に伝送し、現在マクロブロックをスキャンインターリーブ（Scan Int
erleaving）方法により符号化して復号器側に伝送する。 即ち、ＥＳＤの存在有無に対する情報を送り、ＥＳ
Ｄが存在するとＭＢの全体をＣＡＥ遂行し、ＥＳＤが存在しなければＴＳＤのみＣＡＥを遂行する。

【００６６】現在マクロブロックが“Intra not code
d”モードの場合、段階ＳＴ５０３で“Intra not code
d”モードを表示する付加情報を復号化側に伝送する。
本発明では“Intra not coded”が“all_０”、“all_
２５５”、“Intra predicted”（従来の“Intra not c
oded”である）を意味するので、図２において説明するように前記３種類の場合に該当するかを判断する。

【００６７】図２は本発明による高位層映像が“Intra
not coded”モードであるかを判断する方法を示すフローチャートである。段階ＳＴ６０１で、現在マクロブロックに該当する下層ＭＢが“all_０モードであるかを判断する。 前記下層ＭＢが“all_０”の場合、段階ＳＴ６
０２で、現在のマクロブロックが“all_０”モードであるかを判断する。 現在マクロブロックと対応する下層領域が同時に“all_０”モードの場合、“Intra not code
d”モードを表示する付加情報を復号器側に伝送する。

【００６８】現在マクロブロックまたは対応する下層Ｍ
Ｂが“all_０”モードでない場合、段階ＳＴ６０３で、
現在マクロブロックに対応する下層ＭＢが“all_２５
５”モードであるかを判断する。前記の下層ＭＢが“al
l_２５５”モードの場合、段階ＳＴ５０４で、現在のマクロブロックが“all_２５５”モードであるかを判断する。現在マクロブロックと対応する下層ＭＢが同時に“all_２５５”モードの場合、“Intra not coded”モードを表示する付加情報を復号器側に伝送する。現在マクロブロックまたは対応する下層ＭＢが“all_２５５”
モードでない場合、段階ＳＴ６０５で、現在マクロブロックが“Intra predicted”モードであるかを判断する。 現在マクロブロックが “Intra predicted”モードの場合、“Intra not coded”モードを表示する付加情報を復号器側に伝送する段階に進行する。 現在マクロブロックが“Intra predicted”モードでない場合、“Int
ra coded”または“Inter coded”モードを符号化する段階に進行する。

【００６９】復号化受信端では、図３及び図４に図示のように、“Intra not coded”モードから復号化し、“a
ll_０”、“all_２５５”と“Intra predicted”とを分離し、それぞれに該当する動作を行う。ビットストリームから復号したモード情報が“Intra not coded”である場合、図３に図示されたように復号化する。

【００７０】段階ＳＴ７０１で、下層のＭＢが“all_
０”であるか、または現在マクロブロックのＭＢに該当する下層領域内の全ての画素（sample）が０の場合、現在層のＭＢは“all_０”に該当し、段階ＳＴ７０２で現在層ＭＢ内の全ての画素は０に置換される。

【００７１】段階ＳＴ７０３で、下層のＭＢが“all_２
５５であるか、または現在層ＭＢに該当する下層領域内の全ての画素が２５５の場合、現在層ＭＢは“all_２５
５”に該当し、段階ＳＴ７０４で、現在層ＭＢ内の全ての画素は２５５に置換される。

【００７２】下層のＭＢが“all_０”でもなく“all_２
５５”でもない場合は、現在層ＭＢに該当する下層の領域内に'０'と'２５５'を有する画素が共に存在する場合である。既存の方法での“Intra not coded”に該当する。この場合、段階ＳＴ７０５で、下層から予測されて構成されたＭＢを現在層のＭＢとして使用する。

【００７３】従来の方式でＰ−ピクチャとＢ−ピクチャの高位層モードは、前述したように８種類から構成されるが、本発明による符号化方法では、３種類のモード“all_０”、“all_２５５”、“Intra predicted”
（従来の“Intra not coded”）は、“Intra not code
d”モードに符号化され復号化装置に伝送される。これはＩ−ピクチャの高位層モードと同じ方法である。

【００７４】また、本発明では、動きベクトルを伝送しないことにより、動きベクトルを探すための複雑度を減らす。 従って、従来の“Inter coded && MVD＝０”と“Inter coded && MVD！＝０”は“Inter coded”として表現し、“Inter not coded && MVD＝０”と“Inter
not coded && MVD！ ＝０”は“Inter not coded”として表現する。その結果、Ｐ−ピクチャ（またはＢ−ピクチャ）の高位層に対する符号化モードを、下記のように４種類のモードにする。

【００７５】（１）“Intra not coded”（“all_
０”、“all_２５５”、“Intra not coded”） （２）“Intra coded” （３）“Inter not coded”（“Inter not coded && MV
D＝０”、“Inter notcoded && MVD！ ＝０”） （４）“Inter coded”（“Inter coded && MVD＝
０”、“Inter coded && MVD！ ＝０”） 符号化モードが“Intra not coded”と“Intra coded”
の場合、Ｉ−ＶＯＰの高位層の“Intra not coded”と“Intra coded”の意味と同一である。

【００７６】“Inter coded”と“Inter not coded”の場合、以前のＶＯＰから動き補償してマクロブロックを持ってくるために動きベクトルが必要である。 動きベクトルは基本層（base layer）の動きベクトルをＶＯＰ大きさの比率に調整して使用する。 現在層の映像がダウンサンプリングされ下層の映像を構成するためである。 図１８に示されたように、現在層が下層の水平方向に２倍である場合、現在層のＭＢが下層ＭＢの比率に従って下層の動きベクトルを水平成分を２倍して現在層の動きベクトルとする。

【００７７】下層が“MVDｓ＝＝０ && No Update”または“MVDｓ！＝０ && No Update”の場合は動きベクトルが０である。 “Inter not coded”は下層の動きベクトルを利用して、以前映像から持ってきたＭＢと比較して、差がでる画素のＭＢ内の和が基準値以下の場合を意味する。 従って、符号化モードが“Inter not coded”
の場合は、下層の動きベクトルを用いて以前映像から持ってきて、追加の符号化または復号化をしない。

【００７８】下層が“MVDｓ＝＝０ && No Update”または“MVDｓ！＝０ && No Update”の場合は動きベクトルが０である。 “Inter coded”は下層の動きベクトルを利用して、以前のＶＯＰから持ってきたＭＢと比較して、差がある画素のＭＢ内の和が基準値以上の場合を意味する。 従って、符号化モードが“Inter coded”の場合は、下層の動きベクトルを用いて以前映像から持ってきたＭＢを使用してＣＡＥを遂行することによって高位層ＭＢを得る。

【００７９】本発明では、Ｐ−ピクチャとＢ−ピクチャの高位層（enhancement layer）のモードは、既存方式の８種類モードから４種類モードに減らすことができる。

【００８０】図５は、本発明のよる高位層Ｐ−ピクチャとＢ−ピクチャを符号化するフローチャートである。 段階ＳＴ９０１で、現在マクロブロックが“Intra not co
ded”であるかが、前記の図２で説明した方法により判断される。“Intranot coded”の場合は符号化せず、段階ＳＴ９０２で“Intra not coded”モードを表示する付加情報のみ伝送される。“Intra not coded”でなければ，段階ＳＴ９０３で前述した方式のとおりに“Inte
r coded”及び“Inter not coded”の動きベクトルは基本層（base layer）の動きベクトルを現在層の映像と下層の映像の大きさの比率に調整して動きベクトルを再生する。段階ＳＴ９０４で、現在マクロブロックが“Inte
r not coded”であるかを判断する。“Inter not code
d”の場合、段階ＳＴ９０５で、現在マクロブロックを符号化せずに、“Inter not coded”モードを表示する付加情報のみ伝送される。

【００８１】現在マクロブロックが“Inter not code
d”でない場合、段階ＳＴ９０６で、現在マクロブロックが“Intra coded”であるかを判断する。現在マクロブロックが“Intra coded”である場合、段階ＳＴ９０
８で、“Intra coded”モードを表示する付加情報と現在マクロブロックをスキャンインターリーブ方法により符号化したデータを復号化装置に伝送する。 “Intra co
ded”でない場合、段階ＳＴ９０７で“Inter coded”モードを表示する付加情報を伝送し、現在マクロブロックをＣＡＥ（CAE：Contexed-based Arithmetic EnCode）
符号化して復号化装置に伝送する。

【００８２】“Inter coded”と“Inter not coded”の場合、以前の映像から動き補償してＭＢを持ってくるために動きベクトルが必要である。 動きベクトルは最下位階層（base layer）の動きベクトルを映像の大きさの比率で調整した後に使用する。 最下位階層から動きベクトルを得る方法は下記のとおりである。

【００８３】１． 最下位階層の該当ＭＢのモードが“al
l_０”、“all_２５５”または“IntraＣＡＥ”の場合、現在階層のＭＢの動きベクトルは０である。 ２．最下位階層の該当ＭＢのモードが“MVDｓ＝＝０ &&
No Update”、“MVDｓ！ ＝０ && No Update”、“Inte
rＣＡＥ && MVDｓ＝＝０”または“InterＣＡＥ && MVD
ｓ！ ＝０”の場合、最下位階層で再生された動きベクトルを使用する。

【００８４】このとき、最下位階層の映像と現在階層映像の大きさの比率によって、最下位階層の動きベクトルを調整する。 ｘ軸の動きベクトルは、映像のｘ軸大きさの比率によって調整され、ｙ軸の動きベクトルは映像のｙ軸大きさの比率によって調整される。 例えば図６において、現在階層の映像１０１が最下位階層の映像１０２
よりｘ軸にｎ倍大きいとすれば、現在階層の動きベクトルＶは、基本層の動きベクトルｖをｎ倍掛ける。 即ちＶ
＝ｎ＊ｖとなる。 また、ｙ軸にｍ倍大きいとすれば、現在ＭＢの動きベクトルは、最下位階層の動きベクトルでｙ軸動きベクトルにｍ倍掛けて得る。

【００８５】図７は、本発明による高位層Ｐ−ピクチャまたはＢ−ピクチャを復号化するフローチャートである。 まず、段階ＳＴ１１０でビットストリーム（Bit st
ream）からモードが復号される。 段階ＳＴ１１１で“In
tra not coded”の場合、段階ＳＴ１１２で、下層の該当マクロブロックのモードによって復号化せず画素を選択する。

【００８６】“Intra not coded”でない場合、段階Ｓ
Ｔ１１３で、前記において説明した方式のとおり、“In
ter not coded”、“Inter coded”及び“Inter not co
ded”の動きベクトルは、下層の動きベクトルをそのまま使用して動きベクトルを再生する。段階ＳＴ１１４
で、現在マクロブロックが“Inter not coded”モードであるかを判断する。 モードが“Inter not coded”の場合は、段階ＳＴ１１５で復号化せず以前の映像で動き補償して現在ＭＢの画素を詰める。 “Inter not code
d”でない場合、段階ＳＴ１１６で、現在マクロブロックが“Intra coded”であるかを判断する。“Intra cod
ed”の場合、段階ＳＴ１１８で、現在マクロブロックをスキャンインターリーブ方法により復号化する。“Intr
a coded”でない場合、段階ＳＴ１１７で現在マクロブロックをＣＡＥ復号化する。

【００８７】図８に本発明による伸縮型符号化装置の構成を示すブロック図が図示される。 多数のサブサンプリング手段（１２１０、１２１１、．．．、１２１Ｎ−
２、１２１Ｎ−１）は、その前端のサブサンプリング手段等（１２１０、１２１１、．．．、１２１Ｎ−２）から映像が入力されサブサンプリングする。 多数のスキャン順序変換手段（１２２０、１２２１、．．．、１２２
Ｎ−１、１２２Ｎ）は、前記サブサンプリング手段（１
２１０、１２１１、． ． ． 、１２１Ｎ−２、１２１Ｎ−
１）でサブサンプリングされた各層の映像が入力され、
所定大きさのマクロブロック単位に分割して出力する。

【００８８】多数の伸縮型符号化手段（１２３０、１２
３１、． ． ． 、１２３Ｎ−１、１２３Ｎ）は、前記のスキャン順序変換手段（１２２０、１２２１、．．．、１
２２Ｎ−１、１２２Ｎ）から各層の映像マクロブロック及び下層の映像ブロックと各層の以前の映像が入力され、“all_０”、“all_２５５”、“Intra not code
d”の３種類のモードを１つのモードに符号化し、“Int
er not coded && MVD＝０”と“Inter not coded && MV
D！ ＝０”とを“Inter not coded”モードに、そして“Inter coded &&MVD＝０”と“Inter coded && MVD！
＝０”を“Inter coded”に置いて伸縮型符号化する。

【００８９】入力された映像（Picture）は、Ｎ−１層サブサンプリング手段（１２１Ｎ−１）とＮ層スキャン順序変換手段（１２２Ｎ）に入力される。 Ｎ層スキャン順序変換手段（１２２Ｎ）は、Ｎ層の映像を所定大きさのマクロブロック（例え、１６×１６マクロブロック等）に分割して出力する。 このマクロブロックは、Ｎ層の伸縮型符号化手段（１２３Ｎ）で伸縮型符号化され、
ビットストリームで復号器側に伝送される。 Ｎ層の伸縮型符号化手段（１２３Ｎ）は、Ｎ層の以前の映像、前記Ｎ層映像のマクロブロックとＮ−１層映像のマクロブロック及び基本層符号化手段（１２３０）の動きベクトルが入力されて伸縮型符号化する。

【００９０】Ｎ−１層サブサンプリング手段（１２１Ｎ
−１層）は、入力された映像をサブサンプリングしてＮ
−１層映像に変換して出力する。 例えば、映像を２×２
マクロブロックに分割し、２×２マクロブロック当たり１つの画素を抽出して、サブサンプリングされた映像をつくる。 このようにサブサンプリングされたＮ−１層映像は、Ｎ−１層スキャン順序変換手段（１２２Ｎ−１）
で所定大きさのマクロブロックに分割され、Ｎ−１層伸縮型符号化手段（１２３Ｎ−１）に入力される。 Ｎ−１
層伸縮型符号化手段（１２３Ｎ−１）は、前記Ｎ−１層以前映像、Ｎ−１層映像のマクロブロックとＮ−１層映像のマクロブロック及び基本層符号化手段（１２３０）
の動きベクトルが入力されて伸縮型符号化する。

【００９１】このようにＮ層はＮ−１層に、Ｎ−１層はＮ−２層に、． ． ． 数回サブサンプリングされ、このようにサブサンプリングされた各層の映像マクロブロック及びその下層の映像マクロブロックと各層の以前映像等が、多数の伸縮型符号化手段（１２３０、１２３
１、． ． ． 、１２３Ｎ−１、１２３Ｎ）に入力され、
“all_０”、“all_２５５”、“Intra not coded”の３種類のモードは“Intra not coded”のモードに符号化され、“Inter not coded && MVD＝０”と“Inter no
tcoded && MVD！ ＝０”は“Inter not coded”モードに、そして“Inter coded && MVD＝０”と“Inter code
d && MVD！ ＝０”を“Inter coded”モードに伸縮型符号化される。従って、Ｎ＋１個階層の解像度を有する多数の映像層に伸縮型符号化される。

【００９２】図９に本発明による伸縮型符号化手段の一実施の形態を示すブロック図が図示されている。 各層の伸縮型符号化手段（１２３０、１２３１、．．．１２３
Ｎ−１、１２３Ｎ）は同一な構造を有し、説明の便宜上、Ｎ層の伸縮型符号化手段（１２３Ｎ）に関して説明する。

【００９３】動きベクトル調整手段１３１には、前記の基本層伸縮型符号化手段１２３０から動きベクトルが入力され、現在層と基本層の比率に拡大して出力する。 動き補償手段１３２は、現在層（Ｎ層）の以前の映像と前記動きベクトル調整手段１３１から出力される調整された動きベクトルとが入力され、現在層の以前の映像から現在のマクロブロックに該当する部分を探して出力する。 ＣＡＥ符号化手段１３３は、現在層映像のマクロブロックと動き補償された現在層の以前の映像が入力されてＣＡＥ符号化する。

【００９４】スキャンインターリーブ符号化手段１３４
には、現在層映像と下層（Ｎ−１層）映像のマクロブロックが入力され、スキャンインターリーブ方法により符号化する。 “Intra not coded”モード決定手段１３５
には、現在層映像と下層映像のマクロブロックが入力され、そのマクロブロックが“Intra not coded”モードであるかを表示する信号を出力する。

【００９５】“Inter not coded”モード決定手段１３
６には、現在層映像のマクロブロックと前記の動き補償手段１３２から出力される動き補償された現在層の以前の二進映像が入力され、現在層マクロブロックが“Inte
r not coded”モードであるかに対する信号を出力する。比較手段１３７は、前記のスキャンインターリーブ符号化手段１３４とＣＡＥ符号化手段１３３から出力されるビットストリームの大きさを比較して小さいものを選択する信号を出力する。

【００９６】モードテーブル貯蔵手段１３８は、前記の“Intra not coded”モード決定手段１３５、“Inter n
ot coded”モード決定手段１３６及び比較手段１３７から信号が入力され、その信号の組合によって選択されたモードに該当するデータを出力する。選択手段１３９には、前記の“Intra not coded”モード決定信号、“Int
er not coded”モード決定信号及び比較手段１３７の比較結果信号が入力され、前記のスキャンインターリーブ符号化手段１３４とＣＡＥ符号化手段１３３から出力される信号中のいずれか１つを選択して出力する。

【００９７】“Intra not coded”モード決定手段１３
５には、現在層（例えば、Ｎ層）映像のマクロブロックと下層（例えば、Ｎ−１層）映像のマクロブロックが入力され、前記現在層映像のマクロブロックが“Intra no
t coded”モードであるかを決定し、その結果信号を出力する（図２参照）。

【００９８】図１０に、本発明による“Intra not code
d”モード決定手段の構成を示すブロック図が図示される。物体／背景非符号判断手段１４１は、現在マクロブロックに対応する下層のマクロブロックをアップサンプリングし、現在マクロブロックとの差分絶対値を抽出し、その差が臨界値より小さい値であるかを判断する。
下層物体モード判断手段１４２は、現在マクロブロックに対応する下層のマクロブロックが入力されて物体モードであるかを判断する。

【００９９】下層の背景モード判断手段１４３は、現在マクロブロックに対応する下層のマクロブロックが入力されて背景モードであるかを判断する。 現在層の物体モード判断手段１４４は、現在マクロブロックが入力されて背景モードであるかを判断する。 現在層背景エラー判断手段１４５は、現在マクロブロックが入力されて物体モードであるかを判断する。 論理演算手段１４６は、前記の物体／背景非符号判断手段１４１、下層物体モード判断手段１４２、下層背景モード判断手段１４３、現在層の物体モード判断手段１４４及び現在層背景エラー判断手段１４５から出力される信号等を論理演算し、“al
l_０”と“all_２５５”、“Intra predicted”中のいずれ１つが発生したかを表示する信号を出力する。

【０１００】物体／背景非符号判断手段１４１は、現在マクロブロックに対応する下層のマクロブロックをアップサンプリングするアップサンプリング手段１４１ａ
と、前記のアップサンプリングされた下層マクロブロックと現在マクロブロックとの差分絶対値を抽出する差分絶対値抽出手段１４１ｂと、前記の抽出された差分絶対値が臨界値より小さい値であるかを判断するエラー比較手段１４１ｃとから構成される。

【０１０１】アップサンプリング手段１４１ａは、現在マクロブロックに対応する下層のマクロブロックを水平、垂直に反復させる補間（Interpolation）法等により、現在マクロブロックと同一な大きさのマクロブロックに変換させる。 このアップサンプリングされた下層マクロブロックは、差分絶対値抽出手段１４１ｂで、現在マクロブロックとそれぞれ対応する画素同士の差分が計算され、その差分は絶対値が取られる。

【０１０２】この場合、現在マクロブロックとアップサンプリングされた下層マクロブロックの各画素は、
“０”または“２５５”であるので、差分に対する絶対値も“０”または“２５５”の値を有する。 すなわち、
互いに異なる値を引く場合のみ“２５５”値が出るので“２５５”を有する位置の画素は、現在マクロブロックとアップサンプリングされた下層マクロブロックが相互に異なるということを意味する。

【０１０３】このように、差分の絶対値からなるマクロブロックがエラー比較手段１４１ｃに入力され、エラーが基準値以下であるかが検査される。 即ち、差分の絶対値からなるマクロブロックが４×４大きさのマクロブロックに分割され、全てのマクロブロックのエラーが臨界値より小さい場合や同一な場合、エラーが基準値以下に判断する。 エラーが基準値以下であれば“Intra predic
ted”となり、前記エラー比較手段１４１ｃは“１”を出力する。

【０１０４】下層の物体モード判断手段１４２は、現在マクロブロックに対応する下層の領域が全て物体値（例えば“２５５”）を有するかを判断して、全てが物体値の場合“１”を出力し、全てが物体値でない場合、
“０”を出力する物体判断手段１４２ａと、下層の以前映像のＭＢモードと、前記物体判断手段１４２ａの出力をオア演算するオアゲート１４２ｂから構成される。

【０１０５】現在マクロブロックに対応する下層のマクロブロックが、下層物体モード判断手段１４２に入力され、現在マクロブロックに対応する下層の領域を構成する全ての画素が物体値“２５５”値を有すると、“１”
を出力して“all_２５５”モードであることを表示する。 そうでなければ、“０”信号を出力する。 下層の以前映像のＭＢのモードと物体判断手段１４２ａ中いずれか１つでも“１”を出力すれば、すなわち現在マクロブロックに対応する下層マクロブロックの全ての画素が“２５５”であったり、“２５５”でない画素があってもその数が臨界値よりも小さい“all_２５５”モードを表示して、オアゲート１４２ｂの出力は“１”になる。

【０１０６】下層背景モード判断手段１４３は、現在マクロブロックに対応する下層の領域がすべて背景値（例えば“０”）を有するのかを判断し、すべて背景値である場合、“１”を出力し、すべて背景値でない場合、
“０”を出力する背景判断手段１４３ａと、下層の以前映像のＭＢモードと上記背景判断手段１４３ａの出力をオア演算するオアゲート１４３ｂで構成される。

【０１０７】現在マクロブロックに対応する下層のマクロブロックが下層背景モード判断手段１４３に入力され、現在マクロブロックに対応する下層の領域を構成するすべての画素が物体値“０”を有すれば、“１”を出力して“all_０”モードであることを表示する。 そうでない場合は“０”を出力する。 下層の以前映像のＭＢのモードと背景判断手段１４３ａ中いずれか１つでも“１”を出力すれば、すなわち、現在マクロブロックに対応する下層マクロブロックの全ての画素が“０”であったり、“０”でない画素があってもその数が臨界値よりも小さい“all_０”モードを表示して、オアゲート１
４３ｂの出力は “１”となる。

【０１０８】現在層の物体モード判断手段１４４は、入力される現在マクロブロックと全て“０”値を有するマクロブロックとの差分を求め、その絶対値を取る物体差分絶対値抽出手段１４４ａと、前記抽出された差分絶対値が臨界値より小さいかを判断するエラー比較手段１４
４ｂから構成される。

【０１０９】現在層のマクロブロックＭＢは、現在層の物体モード判断手段１４４に入力され、全て“０”値を有するマクロブロックと差分の絶対値が取られる。 前記の差分絶対値は、エラー比較手段１４４ｂで臨界値より小さいかが判断される。 臨界値より小さければ“all_２
５５”モードとなり、エラー比較手段１４４ｂは“１”
を出力する。

【０１１０】現在層背景エラー比較手段１４５には、現在マクロブロックが入力されて前記の現在マクロブロックを４×４ブロックに分割し、そのマクロブロック等のエラーが臨界値（１６×Alpha）より小さい場合や同一な場合にエラーが基準値以下であると判断する。 エラーが基準値以下であると判断されると、“１”を出力し、
現在マクロブロックが“all_０”モードであることを表示する。

【０１１１】前記の下層物体モード判断手段１４２と、
前記の現在層物体判断手段１４４から同時に“１”が出力されなければアンドゲート（Ｕ１）が“１”を出力しない。 即ち、現在層のマクロブロックとそれに対応する下層マクロブロックの両方が物体値を有する場合、アンドゲート（Ｕ１）は“１”を出力する。 それと同様に、
前記の下層背景モード判断手段１４３と前記の現在層背景モード判断手段１４５から同時に“１”が出力されなければ、アンドゲート（Ｕ２）が“１”を出力しない。
即ち、現在層マクロブロックとそれに対応する下層マクロブロックの両方が背景値を有する場合、アンドゲート（Ｕ２）は“１”を出力する。 従って、“all_０”と“all_２５５”、“Intra predicted”の中のいずれか１つでも該当すると、アンドゲート（Ｕ４）は“１”を出力する。 即ち、“all_０”と“all_２５５”、“Intr
a predicted”の中のいずれか１つが発生したことを意味する。

【０１１２】図１１に本発明による“Inter not code
d”モード決定手段の構成を示すブロック図が図示されている。現在マクロブロックと動き補償された以前の映像の対応マクロブロックが入力されて、差分絶対値を取る差分絶対値抽出手段１５１と、前記の差分絶対値が臨界値より小さいかを判断するエラー比較手段１５２と、
前記のエラー比較手段１５２の出力と、現在入力される映像がイントラモード（Ｉ）であるか、予測モード（Ｐ）または両方向予測モード（Ｂ）であるかに間する情報（Ｉ／Ｐ、Ｂ）をアンド演算するアンドゲート１５
３とから構成される。

【０１１３】現在マクロブロックと動き補償された以前の映像の対応マクロブロックが入力されて差分絶対値を取ると、互いに異なる値を有する位置の画素のみ“２５
５”値を有する。前記のエラー比較手段１５２は、前記の差分絶対値が臨界値より小さいかを判断する。現在映像がイントラモードである場合はＩ／Ｐ、Ｂ信号は“０”であるので、アンドゲート１５３は、現在映像が予測モード（Ｐ）または両方向予測モード（Ｂ）である場合のみエラー比較手段１５２の比較結果を出力する。

【０１１４】図１２は、本発明による伸縮型復号化装置の構成を示すブロック図である。 図８に図示された伸縮型符号化装置と対応するようにＮ＋１個の階層を表示する。 多数の伸縮型復号化手段（１６１０、１６１
１、． ． ． 、１６１Ｎ−１、１６１Ｎ）は各層のビットストリーム、基本層の動きベクトル、以前の映像及び下層復号化映像とをそれぞれ受信して伸縮型復号化する。
映像貯蔵手段１６２は、前記のＮ層伸縮型符号化手段（１６１Ｎ）から入力される現在層の映像マクロブロックを貯蔵する。

【０１１５】図１３は、本発明による伸縮型復号化手段の構成を示すブロック図である。 各層の伸縮型復号化手段（１６１０、１６１１、．．．、１６１Ｎ−１、１６
１Ｎ）は同一構造を有し、説明の便宜上、Ｎ層の伸縮型復号化手段（１６１Ｎ）に関して説明する。

【０１１６】動きベクトル調整手段１７１には、前記の基本層伸縮型復号化手段（１６１０）から動きベクトルが入力され、現在層と基本層の比率に拡大して出力する。 動き補償手段１７２には、現在層（Ｎ層）の以前の映像と前記の動きベクトル調整手段１７１から出力される調整された動きベクトルが入力され、現在層の以前映像から現在マクロブロックに該当するマクロブロック（Ｂ）を動き補償して出力する。 モード復号手段１７３
には、現在層ビットストリームとＩ／Ｐ、Ｂ信号が入力されてモード情報を復号化する。 “Intra not coded”
ブロック構成手段１７４には、下層映像のマクロブロックとそのモードが入力されて、前もって決定された規則によって処理し、現在映像マクロブロック（Ａ）を出力する。

【０１１７】ＣＡＥ符号化手段１７６は、現在層映像のビットストリームと動き補償された現在層の以前の映像が入力され、ＣＡＥ符号化した信号（Ｄ）を出力する。
スキャンインターリーブ復号化手段１７５には、現在層映像のビットストリームと下層（Ｎ−１層）映像のマクロブロック等が入力され、スキャンインターリーブ方法により復号化した信号（Ｃ）を出力する。 多重化手段１
７７は、前記のモード復号手段１７３で復号されたモードによってＡ、Ｂ、Ｃ、Ｄの中のいずれか１つを出力する。

【０１１８】図１４は、本発明による伸縮型復号化手段の“Intra not coded”マクロブロック構成手段の構成を示すブロック図である。 物体モード判断手段１８１
は、現在マクロブロックに対応する下層マクロブロックの画素の全てが２５５であれば１を出力し、そうでなければ０を出力する。 オアゲート（Ｕ１）は下階層のＭＢ
モードがall_２５５であるか、または前記の物体モード判断手段１８１の出力が１であればその出力は１となる。

【０１１９】背景モード判断手段１８２は、下階層のＭ
Ｂ内の画素の中、現在階層のＭＢに該当する領域内の画素等の全てが０であれば１を出力し、そうでなければ０
を出力する。 オアゲート（Ｕ２）は下階層のＭＢモードがall_０であるか、背景モード判断手段１８２の出力が１であればその出力は１となる。 “all_０”ブロック発生手段１８３は、全ての画素が０であるＭＢを発生させる。 “all_２５５”ブロック発生手段１８４は、全ての画素が“２５５”であるＭＢを発生させる。

【０１２０】アップサンプリング手段１８５は、下階層の領域をアップサンプリング（up sampling）して現在ＭＢを構成する。 第１マルチプレクサ（以下、マルチプレクサをＭＵＸと称す）１８６は、オアゲート（Ｕ１）
の出力信号に従って、“all_２５５”ブロック発生手段１８４または前記アップサンプリング手段１８５の出力を選択する。 第２マルチプレクサ１８７は、オアゲート（Ｕ２）の出力信号に従って、“all_０”ブロック発生手段１８３または、前記第１マルチプレクサ１８６の出力を選択する。

【０１２１】物体モード判断手段１８１は、下階層のＭ
Ｂ内の画素等の中の、現在階層のＭＢに該当する領域内の画素等の全てが“２５５”であれば１を出力し、そうでなければ０を出力する。 下階層のＭＢのモードが“al
l_２５５”であるか物体モード判断手段１８１の出力が１であれば、オアゲート（Ｕ１）の出力は１となる。ここで、all_０、all_２５５モードを伝送したりまたは符号化、復号化することには使用しないが、オアゲート（Ｕ１）、（Ｕ２）の出力をall_０、all_２５５モードとしてＭＢ毎に貯蔵して置いてここで使用する。

【０１２２】背景モード判断手段１８２は、下階層のＭ
Ｂ内の画素の中で現在階層のＭＢに該当する領域内の画素の全てが０であれば１を出力し、そうでなければ０を出力する。 下階層のＭＢのモードがall_０であるか背景モード判断手段１８２の出力が１であれば、オアゲート（Ｕ２）の出力は１となる。 “all_０”ブロック発生手段１８３は、全ての画素が０であるＭＢを構成するブロックである。 出力されるＭＢの全ての画素は０である。
“all_２５５”ブロック発生手段１８４は、全ての画素が２５５のＭＢを構成するブロックである。 出力されるＭＢの全ての画素は２５５である。

【０１２３】アップサンプリング手段１８５は、下階層の領域をアップサンプリング（up sampling）して現在ＭＢを構成する。 第１ＭＵＸ１８６の出力は、オアゲート（Ｕ１）の出力all_２５５が１であれば“all_２５
５”ブロック発生手段１８４の出力即ち、全ての画素が２５５であるＭＢが選択され、０であればアップサンプリング手段１８５の出力即ち、アップサンプリングされたＭＢが選択される。第２ＭＵＸ１８７の出力はオアゲート（Ｕ２）の出力all_０が１であれば“all_０”ブロック発生手段１８３の出力即ち、全ての画素が０であるＭＢが選択され、０であれば、第１ＭＵＸ１８６の出力が選択される。即ち、全ての画素が２５５のＭＢが選択され、０であればアップサンプリング手段１８５の出力即ち、アップサンプリングされたＭＢが選択される。第２ＭＵＸ１８７の出力はオアゲート（Ｕ２）の出力all_
０が１であれば、“all_０”ブロック発生手段１８３の出力即ち全ての画素が０であるＭＢが選択され、０であれば第１ＭＵＸ１８６の出力が選択される。

【０１２４】映像を多数の階層に符号化する時、高位層とそれをダウンサンプリングした下層との間には相関性が高い。 即ち、高位層が“Intra not coded”であれば、その下層も“Intra not coded”である確率が高い。 この相関性を考えてＩ−ピクチャ、Ｐ−ピクチャの高位層（またはＢ−ピクチャ）の符号化モードに対するビットを割り当てることが符号化ビット量を減らすことができる。 次に、Ｉ−ピクチャ及びＰ−ピクチャ（またはＢ−ピクチャ）の高位層の符号化モードに対するビット割当方法を説明する。

【０１２５】下層の符号化モードを知っている場合、高位層の符号化モードに対する発生ビット数を、ホフマン（Hufman）符号化方式を用いて発生確率が多ければ小さいビット数を割り当て、発生確率が小さければ長いビットを割り当てる。 例えば、下層が“Intra not coded”
の場合、現在層も“Intra not coded”である確率が最も大きいので、最も小さい長さのビットを割り当て、その次に発生確率が大きい符号化モードに２、３、． ． ．
ビットを割り当てる。 また、ＭＢの符号化モードは“In
tra coded”が最も多く発生するので、全体符号化モードに関係なく、大部分の“Intra coded”は１ビットまたは２ビットと比較的に少ないビット数を割り当てる。

【０１２６】次に本発明による符号化ビットの割当方法により割り当てた例を示す。 Enhancement layer Mode （1） （2） （3） （4） （1） １ ２ ３ ３ 下層モード （2） ２ １ ３ ３ （3） ３ ２ １ ３ （4） ３ １ ３ ２

【０１２７】次に、実際に前記の方法のとおり、下層モードを知っている場合、高位層モードに対するコードの実施の形態を示す。 ここで、それぞれ高位層の各割り当てられたビットに対するコードは次の２種類を使用する。 （１）１bit:０、２bit:１０、３bit:１１０、他の３bi
t:１１１ （２）１bit:１、２bit:０１、３bit:００１、他の３bi
t:０００ Ｉ−ピクチャとＰ−ピクチャそしてＢ−ピクチャの高位層で、本発明の付加情報の構成方法と符号テーブルは下記のとおりである。

【０１２８】Ｉ−ピクチャの高位層の場合は、下記のようにの２種類のモードを使用する。 （１）“Intra not coded” （２）“Intra coded”

【０１２９】従来の方式では、Ｉ−ピクチャの高位層の場合、３種類のモード“all_０”、“all_２５５”、
“Intra coded”を使用した。 本発明では、既存方式における“all_０”、“all_２５５”モードと、既存方式のＰ−ピクチャまたはＢ−ピクチャの高位層における“Intra not coded”を１つのモード“Intra not code
d”として伝送し、受信端では下層の情報を利用して受信された“Intra not coded”が“all_０”であるかまたは“all_２５５”であるかを探し出す方法を使用する。従って、本発明では２種類のモードのみを使用することによって、３種類のモードを使用する従来の方法に比して、モードを伝送することによるｂｉｔ量を減らすことができる。

【０１３０】各ＭＢに対するモードの符号（Code）を、
下記のようなコードテーブルを使用して符号化する。 各モードは固定長さとして１ビットが伝送される。

【０１３１】

【表１】

【０１３２】ＩＳＯ／ＩＥＣ ＷＧ１１で現在標準化が進行中のＭＰＥＧ−４ではビットストリームで映像を区別するために、映像を始まる時２３個の連続する'０'
を表示する。 映像内で２３個の連続する'０'が発生する場合、映像のスタートに判断するようになる。 従って映像のスタートでない場合、２３個の連続する'０'が発生しないようにする必要がある。 または、伝送エラーによって一部の'１'が'０'に変わって、２３個の連続する'０'が容易に発生しないように、できるだけ'１'が多く発生するようにすることが有利である。 従って、前記のテーブルにおいて“Intra coded”のモードに'１'が含まれるように下記のように変更する。

【０１３３】

【表２】

【０１３４】Ｐ−ピクチャの下層を符号化する第１番目の方法は下記のとおりである。 （１）“all_０”または“all_２５5”または“Intra p
redicted”（従来の“Intra not coded”） （２）“Intra CAEまたは“Intra coded” （３）“MVDs＝＝０ && No Update”または“MVDs!＝０
&& No Update”または“inter not coded” （４）“Inter CAE && MVDs＝＝０”または“Inter CAE
&& MVDs!＝０”または“Inter coded”

【０１３５】Ｐ−ピクチャの高位層の符号化モードは、
下記のように区分することができる。 （１）“Intra Not Coded” （２）“Intra Coded” （３）“Inter Not Coded” （４）“Inter Coded”

【０１３６】既存方式でＰ−ピクチャとＢ−ピクチャの高位層モードは８種類から構成される。 ここで、３種類のモード“all_０”、“all_２５５”、“Intra not co
ded”は、１つのモード“Intra not coded”モードで復号化装置に伝送する。これは高位層Ｉ−ピクチャのモードと同じ方法である。また、本発明では、動きベクトルを伝送しないことによって、動きベクトルを探すための複雑度を減らす。従って、既存方式のモードで“Inter
coded && MVD＝０”と“Inter coded && MVD！ ＝０”とは、１つのモード“Inter coded”で表現し、“Inter n
ot coded &&MVD＝０”と“Inter not coded && MVD！ ＝
０”は“Inter not coded”として表現する。“Inter c
oded”と“Inter not coded”の場合、以前映像から動き補償してＭＢを持ってくるために動きベクトルが必要である。動きベクトルは、最下位階層（base層）の動きベクトルを映像の大きさの比率で調整した後に使用する。

【０１３７】最下位階層（基本層）から動きベクトルを得る方法は下記のとおりである。 １． 最下位階層の該当ＭＢのモードが“all_０”、“al
l_２５５”または“Intra CAE”の場合、現在階層のＭ
Ｂの動きベクトルは０である。 ２． 最下位階層の該当ＭＢのモードが“MVDｓ＝＝０ &&
No Update”、“MVDｓ！ ＝０ && No Update”、“Inte
rＣＡＥ && MVDｓ＝＝０”または“InterＣＡＥ && MVD
ｓ！ ＝０”の場合、最下位階層で再生された動きベクトルを使用する。

【０１３８】このとき、最下位階層の映像と現在階層の映像の大きさの比率によって、最下位階層の動きベクトルを調整する。 ｘ軸動きベクトルは、映像のｘ軸大きさの比率によって調整され、ｙ軸動きベクトルは映像のｙ
軸大きさの比率によって調整される。 例えば、現在階層の映像が最下位階層の映像よりｘ軸にｎ倍、ｙ軸にｍ倍大きいとすれば、現在ＭＢの動きベクトルは、最下位階層の動きベクトルでＸ軸動きベクトルにｎ倍、ｙ軸動きベクトルにｍ倍掛けて得る。

【０１３９】本発明において、Ｐ−ピクチャとＢ−ピクチャの高位層のモードは、既存方式の８種類モードから４種類モードに減る。 各ＭＢに対するモードの符号（Co
de）を下記のような符号化テーブルを使用して符号化する。 この場合発生されるビットを減らすために、下記のようにすぐ下階層（lower層）のモードと画素値等を利用して符号化テーブルを構成する。

【０１４０】ここで、すぐ下階層のモード符号化方法は２番目の方法は下記のとおりである。 （１）“all_０”、“all_２５５”、“Intra not code
d”または現在層のＭＢに該当する下層マクロブロック領域内の全ての画素（sample）が０であったり、または全ての画素（sample）が２５５である場合 （２）“Intra CAE”または“Intra coded” （３）“MVDｓ＝＝０ && No Update”、“MVDｓ！ ＝０
&& No Update”または“Inter not coded” （４）“Inter CAE && MVDｓ＝＝０”、“Inter CAE &&
MVDｓ！ ＝０”または“Inter coded” すぐ下階層（lower層）が最下位階層（base層）の場合とそうでない場合とを分けて説明すると下記のとおりである。

【０１４１】まず、すぐ下階層（lower層）が最下位階層（base層）の場合： （１）“all_０”または“all_２５５”または現在層のＭＢに該当する下層の領域内の全ての画素（sample）が０の場合または全ての画素（sample）が２５５の場合 （２）“Intra CAE” （３）“MVDｓ＝＝０ && ＮｏＵｐｄａｔｅ”または“M
VDｓ！ ＝０ && No Update” （４）“InterＣＡＥ && MVDｓ＝＝０”または“Inter
ＣＡＥ && MVDｓ！ ＝０”

【０１４２】すぐ下階層（lower層）が最下位層（base
層）でない場合： （１）“Intra not coded”または現在層ＭＢに該当する下層の領域内の全ての画素（sample）が０の場合、または全ての画素（sample）が２５５の場合 （２）“Intra coded” （３）“Inter not coded” （４）“Inter coded” 下層モードを知っている場合、高位層モードに対するコード（first shape code）を下記のように定める。

【０１４３】

【表３】

【０１４４】ＩＳＯ／ＩＥＣ ＷＧ１１で現在標準化が進行中のＭＰＥＧ−４ではビットストリームから映像を区別するために、映像が始まる時、２３個の連続する'０'を表示する。 映像内で２３個の連続した'０'が発生する場合、映像のスタートに判断するようになる。
従って、映像のスタートでない場合、２３個の連続する'０'が発生しないようにする必要がある。 ＜コードテーブル１＞は２３個の連続する'０'が発生することができるので、下記のような表を使用する。

【０１４５】

【表４】

【０１４６】すぐ下階層（lower層）が（２）の場合、
現在階層（高位層）が（１）の場合より（３）の場合がより多く発生することができるが、その時は次のテーブルを使用する。

【０１４７】

【表５】

【０１４８】伝送エラーにより一部の'１'が'０'に変わって、２３個の連続する'０'が容易に発生しないように、できるだけ'１'が多く発生するようにすることが有利である。 従って、前記のテーブルにおいて全てのモードに'１'が必ず含まれるように下記のように変更する。

【０１４９】＜コードテーブル２＞を修正して下記のようなテーブルを構成する。

【０１５０】

【表６】

【０１５１】また前記のような理由により＜コードテーブル３＞を修正して下記のようなテーブルを構成する。

【０１５２】

【表７】

【０１５３】本発明においてモードを決定する順序は、
既存の方法を改善して下記のように決定する。 データベースから願う映像または二進映像を迅速に探すために、
ＭＢ単位で“all_０”、“all_２５５”または“all_
０”や“all_２５５”でないＭＢ（即ちedgeに該当するＭＢ）を区分する必要がある。このように区分すると、
ＭＢを１個の画素で表示する小さい大きさの二進映像が作られ、小さい大きさの二進映像から全体の映像のおおむねを判断することができ、全体映像が探そうとする映像であるか否かが分かる。

【０１５４】即ち、“all_０”ＭＢは０値の画素で表示し、“all_２５５”ＭＢは２５５の値で表示し、“all_
０”や“all_２５５”でないＭＢ（即ちedgeに該当するＭＢ）は、１２８値に表示することにより、小さい大きさの映像が得られる。このように、“all_０”、“all_
２５５”または“all_０”や“all_２５５”でないＭＢ
を正確に区分するために、“all_０”または“all_２５
５”が先に決定されなければならない。従って、下記のような順序によりモードを決定する。

【０１５５】最下位階層では下記のような順序で決定する。 （１）“all_０”または“all_２５5” （２）“MVDs＝＝０ && No Update"または“MVDs!＝０
&& No Update" （３）“Intra CAE”と“Inter CAE && MVDs＝＝０”または“Inter CAE && MVDs!＝０”の中でビットが少なく発生するモード。

【０１５６】高位層では前記の理由だけでなく、“all_
０”または“all_２５５”が先だって決定される場合が発生されるビット数が少なくなるので、下記のように高位層Ｉ−ピクチャとＰ−ピクチャに対するモード決定方法を使用する。

【０１５７】Ｉ−ピクチャの高位層に対するモード決定順序は下記のとおりである。 （１）“all_０”または“all_２５5”の場合“Intra n
ot coded"に決定 （２）下層（lower層）から予測されて構成されたＭＢ
と現在のＭＢとを比較して、エラーが基準値以下の場合“Intra not coded"に決定 （３）“Intra coded"

【０１５８】Ｐ−ピクチャまたはＢ−ピクチャの高位層に対するモード決定順序は、図５のような順序により決定されるが、“Intra predicted”より“Internot code
d”を先に決定することがビット発生を少なくすることができるが、これを考えて下記のような順序でモードを決定する。

【０１５９】（１）“all_０”または“all_２５5”の場合“Intra not coded"に決定 （２）“Inter not coded"に決定 （３）下層から予測されて構成されたＭＢと現在のＭＢ
とを比較して、エラーが基準値以下の場合“Intra not
coded"に決定 （４）“Intra coded"と“Inter coded"によって符号化をそれぞれ遂行し、その中で発生ビットが少ないモードに決定 各ＭＢ毎に前記の順序によりモードが決定され、前記の順序で１つが決定されるとモード決定を終え、次のＭＢ
モードを決定する。

【０１６０】

【発明の効果】以上のように、二進映像のモードに従って下層を参照して符号化し、下層と高位層との間の相関性を考慮して符号化ビットを割り当てることによって、
符号化ビット量を減らして符号化効率を向上させ得るようになる。

【図面の簡単な説明】

【図１】 本発明によるＩ−ピクチャの高位層を符号化する方法を示すフローチャートである。

【図２】 本発明による高位層映像が“Intra not code
d”モードであるかを判断する方法を示すフローチャートである。

【図３】 ビットストリームで復号したモード情報が“Intra not coded”である場合、復号化する方法を示すフローチャートである。

【図４】 図３と同様な復号化する方法を示すフローチャートである。

【図５】 本発明による高位層Ｐ−ピクチャとＢ−ピクチャを符号化するフローチャートである。

【図６】 最下位階層の映像と現在階層の映像の大きさの比率によって、最下位階層の動きベクトルを調整する方法を示す。

【図７】 本発明による高位層Ｐ−ピクチャまたはＢ−
ピクチャを復号化するフローチャートである。

【図８】 本発明による伸縮型符号化装置の構成を示すブロック図である。

【図９】 本発明による伸縮型符号化手段の一実施の形態を示すブロック図である。

【図１０】 本発明による“Intra not coded”モード決定手段の構成を示すブロック図である。

【図１１】 本発明による“Inter not coded”モード決定手段の構成を示すブロック図である。

【図１２】 本発明による伸縮型復号化装置の構成を示すブロック図である。

【図１３】 本発明による伸縮型復号化手段の構成を示すブロック図である。

【図１４】 本発明による伸縮型復号化手段の“Intra
not coded”マクロブロック構成手段の構成を示すブロック図である。

【図１５】 一般的な映像情報の伸縮型符号化方法である。

【図１６】 スキャンインターリーブ方法である。

【図１７】 ＣＡＥ（Context-based Arithmetic EnCod
e）方法に使用されるコンテキストの説明図である。

【図１８】 空間的伸縮型符号化で、現在層（current
layer）と下層（lower layer）間の関係を説明する説明図である。

【符号の説明】

１３１、１７１：調整手段、１３２：動き補償手段、１
３３、１３４：符号化手段、１３５、１３６：モード決定手段、１３８：貯蔵手段、１４１、１４３、１４４、
１４５：判断手段、１４６：論理演算手段、１５１：抽出手段、１５２：エラー比較手段、１６２：映像貯蔵手段。

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 １９９８−９４７９ (32)優先日 1998年３月19日 (33)優先権主張国 韓国（ＫＲ） (72)発明者 千 勝 文 大韓民国京畿道利川市夫鉢邑牙美里山149 −１現代アパートメント301−1403 (72)発明者 金 海 光 大韓民国ソウル市廣津區君子洞467−14 (72)発明者 金 在 均 大韓民国大田市儒城區漁隱洞ハンピックア パートメント107−401