【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像を効率良く符号化することのできる画像処理装置及び方法及びこの方法を記憶した記憶媒体に関するものである。

【０００２】

【従来の技術】近年ＰＣ（パーソナルコンピュータ）の性能が著しく向上するに従い、ＰＣ上で画像データが広く使われるようになってきている。 画像データは通常コンピュータ上でデジタル信号列として表現されるが、個々の画素が１つのデータに対応しているため、画像データは非常に大きい容量を占めるのが普通である。 特に画像データがコンピュータ及びこれらを相互に接続したネットワーク上で扱われる場合は、データ量の大きさが問題となることがある。

【０００３】上記背景から画像データを蓄積、伝送する際には圧縮符号化することが広く行われている。 このような画像圧縮技術としては、ＩＴＵ−Ｔ勧告Ｔ． ８１により多値静止画像を圧縮する標準化方式とされている通称ＪＰＥＧが知られている。 ＪＰＥＧは特に自然画像を圧縮するのに適しており、符号化対象画像を８×８画素サイズのブロックに分割し、ブロック毎に離散コサイン変換を施し、得られた変換係数を量子化し、エントロピー符号化される。

【０００４】コンピュータ、デジタルカメラなどの普及により画像データをＰＣ上で扱うことが増えた結果、これらを加工編集する必要性も増大している。 このような用途においては、画像データは画像を構成する何等かの対象物（オブジェクト）を単位として構成されることが望ましい。

【０００５】例えば、背景に人物が映っている様な画像に対して、この人物の部分のみにカラーバランス調整を行いたい場合には、背景と人物が予め異なる単位のデータとして画像データに含まれていれば、人物のみを加工することが容易である。

【０００６】例えばＪＰＥＧの圧縮符号化を実行する際に、符号化対象画像は符号化処理の過程でブロックに分割されるが、基本的に符号化の対象となるのは画像全体であるのでＪＰＥＧで圧縮符号化された画像に対して上述の様なカラーバランス調整等の加工を行う場合は、復号された画像から対象物を抽出する処理を行ってから該当する部分に加工を行う必要があった。

【０００７】一方、動画像を符号化する方式として、対象物毎に圧縮符号化を行う技術が研究されている。

【０００８】

【発明が解決しようとする課題】しかしながら、静止画像を画像内の各対象物を単位として圧縮符号化する効率の良い方式は未だ確立されていない。

【０００９】本発明は上記従来例に鑑みて成されたものであり、矩形、非矩形に関わらず多値画像情報を効率良く符号化するための符号化方式を提供することを目的とする。

【００１０】また同時に、同一の多値画像から得られる複数種類の画像データを効率良く符号化することのできる符号化方式を提供することも目的とする。

【００１１】

【課題を解決するための手段】上述の課題を解決するために、本発明の請求項１に記載の画像処理装置によれば、多値画像を入力する入力手段（例えば、本実施の形態における図１の入力部１に相当）と、該入力手段により入力された多値画像（同じく画像Ｔ）を第１の変換方式（同じく離散ウェーブレット変換に相当）で変換し、
第１の変換係数を発生する第１変換手段（同じく離散ウェーブレット変換器２に相当）と、前記第１変換手段により変換される多値画像の形状を示す形状情報（同じく２値画像Ｓに相当）を第２の変換方式（同じく予測変換）で変換し、第２の変換係数を発生する第２変換手段（同じく予測変換器３に相当）と、前記第１の変換係数で構成されるブロック（同じく各サブバンドに相当）及び第２の変換係数で構成されるブロック（同じく２値画像Ｅに相当）の各々に対して、分割処理を繰り返すこと（同じく図３、図５に示す分割処理に相当）により有効な変換係数の位置を示す情報を含む符号化データ（同じく図４のビットデータ列に相当）を生成し、該符号化データを出力する符号化手段（同じく領域分割器４に相当）とを有することを特徴とする。

【００１２】また、請求項１１に記載の画像処理装置によれば、多値画像を入力する入力手段（例えば、本実施の形態における図１の入力部１に相当）と、該入力手段により入力された多値画像（同じく画像Ｔ）を第１の変換方式（同じく離散ウェーブレット変換に相当）で変換し、第１の変換係数を発生する第１変換手段（同じく離散ウェーブレット変換器２に相当）と、前記第１変換手段により変換される多値画像から生成された別の画像（同じく２値画像Ｓに相当）を第２の変換方式（同じく予測変換）で変換し、第２の変換係数を発生する第２変換手段（同じく予測変換器３に相当）と、前記第１の変換係数で構成されるブロック（同じく各サブブロックに相当）及び第２の変換係数で構成されるブロック（同じく２値画像Ｅに相当）の各々に対して、分割処理を繰り返すこと（同じく図３、図５に示す分割処理に相当）により有効な変換係数の位置を示す情報を含む符号化データ（同じく図４のビットデータ列に相当）を生成し、該符号化データを出力する符号化手段（同じく領域分割器４に相当）とを有することを特徴とする。

【００１３】

【発明の実施の形態】以下、本発明の実施の形態を、図面を用いて詳細に説明する。

【００１４】（第１の実施の形態）図１は、本発明による画像処理装置のブロック図である。 同図において、入力部１にはデータ線１０１を介して符号化の対象となる画像Ｐ（符号化対象画像Ｐ）が入力される。 本実施の形態では符号化対象画像Ｐに含まれる対象物（車）を符号化することが目的であるが、入力画像データそのものは非矩形の車を含む矩形の領域にする。 なお、上記対象物は本来の１画面の画像に点在する複数個の対象物の１つである。 よって、符号化対象画像Ｐの大きさは通常１画面よりも小さいサイズである。

【００１５】入力部１は、入力した符号化対象画像Ｐを示す画像データから非矩形の対象物である車の輪郭形状を検出し、背景部分（対象物でない部分）に０、対象物部分を１として表現する２値画像Ｓを生成し、データ線１０２、１０３に出力する。 一方で対象物そのものを表す多値画像Ｔを生成し、データ線１０４へ出力する。 なお画像Ｔは入力画像Ｐと全く同じであっても良いが、後段の符号化効率を向上させるために対象物以外である背景部分を適当な値（例えば白を表す値）に置き換えても良い。 ただし、この符号化対象画像Ｐの符号化データを復号して得られる画像の内、通常使用される画像は非矩形の車の部分だけであるので、データ線１０４へ出力される多値画像Ｔの背景部分はどのような値であっても特に問題はない。

【００１６】上記多値画像Ｔは離散ウェーブレット変換器２において離散ウェーブレット変換が施され、２値画像Ｓは予測変換器３において予測変換が施される。 そして、上記各変換により得られた変換係数は、領域分割器４に入力され符号化される。 更に符号化されたデータは伝送路を介して復号機能を有する外部装置に伝送したり、内外の記憶部に一時的に記憶しておき必要に応じて復号機能を有する自装置或いは他装置が読み出して復号再生することが可能である。

【００１７】ここで入力部１における２値画像Ｓの生成方法には、例えば画像Ｐからエッジを抽出し、このエッジからなる閉領域を対象物とする等の方法を適用しても良いし、直接オペレータが対象物の輪郭を指定する方法を適用しても良い。 以下符号化対象画像Ｐが多値画像Ｔ
及び２値画像Ｓに分離された後の処理について詳細に説明する。

【００１８】離散ウェーブレット変換器２は、入力された多値画像Ｔに対して離散ウェーブレット変換を施し、
所定数の周波数帯域（以降サブバンドと称する）に分解する。 なおこの離散ウェーブレット変換は公知であるので簡単に説明する。

【００１９】図２に、多値画像Ｔに対して離散ウェーブレット変換を施すことにより生成されるサブバンドの概念図を示す。 図２（ｂ）において、入力されてくる多値画像Ｔは、図の様に水平、垂直の各方向について低域通過フィルタＨ０及び高域通過フィルタＨ１の何れかを通過し、フィルタを通過する毎にサブサンプリングを行うことにより複数の周波数帯域に分解される。 上記離散ウェーブレット変換をを施した後に得られる結果を図２
（ａ）に示す。 図において、サブバンドＨＬ１，ＨＨ
１，ＬＨ１のそれぞれは元の画像Ｔの最も高周波成分を表す変換係数を含み、サブバンドＨＬ２，ＨＨ２，ＬＨ
２がその次に高い周波数成分を表す変換係数を含み、サブバンドＨＬ３，ＨＨ３，ＬＨ３が本実施の形態では一番低い周波数成分を表す変換係数を含んでいる。 なおサブバンドＬＬは元の画像Ｔを縮小した様な画像を示す変換係数で構成される。

【００２０】このようにして得られた各サブバンドには、各々異なる周波数成分の変換係数が含まれており、
この変換係数は後段の領域分割器４に出力される。 なお本実施の形態では各サブバンド単位で、低周波成分に相当するサブバンドＬＬを最初に出力し、続いてＨＬ３、
ＬＨ３、ＨＨ３を出力し、続いてＨＬ２、ＬＨ２、ＨＨ
２を出力し、続いてＨＬ１、ＬＨ１２、ＨＨ１を出力する様にする。 この様に低周波成分のサブバンドから先に出力し、順次符号化データを得ることにより、復号の際には低周波成分から階層的に復号し、順次高画質な画像を再生することが可能になる。

【００２１】離散ウェーブレット変換器２から各サブブロックに相当する変換係数を入力する領域分割器４は、
この変換係数の中から、ある一定範囲の値を有する係数（変換係数をビットプレーンで表現した場合に、各係数を示す最大の有意ビットが一定範囲のビットプレーンの高さ（後述のｎ _max以上）に存在する様な変換係数）のみを抽出し、抽出された各変換係数の情報をビットデータ列として出力する。 この分割処理は、前記各サブバンドの変換係数を別のデータ形態に変換する符号化であると考えることができる。 なお、この領域分割器４の動作の詳細について以下に説明する。

【００２２】図３に、領域分割器４の動作を説明するための概念図を示す。

【００２３】領域分割器４は、順次入力するサブバンドの各々に対して、図３のフローチャートに示す手順に従って、各サブバンド内の変換係数をビットデータ列に変換する。 以下、このフローチャートを参照して説明する。

【００２４】なお、入力されてくる各サブバンドは図２
の（ａ）に示した様にサイズが一様でない。 よって、説明を簡単にするため、各サブバンドの初期サイズは図５
（ａ）に示す様な対象ブロックＲのサイズであると仮定する。 即ち、対象ブロックＲは領域分割器４において最初に処理されるサイズのブロックとして説明する。

【００２５】なお、図５（ｃ）に示す各Ｃ０〜Ｃ３のサイズ或いは図５（ａ）及び（ｂ）の斜線部のサイズは変換係数１つを表す最小のサイズである。 また、上記対象ブロックＲは各サブバンドを領域分割器４で絶対値化された後のものである。 また、領域分割器４では各サブバンド（対象ブロックＲ）の各変換係数に相当する正負符号を別に保持しておき、必要に応じて符号化データとして利用するものとする。

【００２６】まず、対象ブロックＲ内の全ての変換係数ｃｉ（図５ではｉ＝０〜６３）に対する最大値ｃｍａｘ
を求める。 そして更に、 ｎ _max ＝ｌｏｇ ₂ （｜ｃ _max ｜） ・・・（式 １） となるｎ _maxを求め、対象ビットプレーン番号ｎの初期値に設定する。

【００２７】図３において、Ｓ５００では、現在設定されている番号ｎの値を用いて（式２）により対象ブロックＴに関する閾値Ｔｈを求める。

【００２８】 Ｔｈ＝２ ⁿ・・・（式 ２）

【００２９】次にＳ５０１において、現在の番号ｎが予め定められた最小ビットプレーン番号ｎ _min以上であるどうかを判断し、ｎ _min以上である場合にはＳ５０２に進み、ｎ _min以上でない場合には、対象ブロックＲの処理を終了する。

【００３０】Ｓ５０２において、現在の番号ｎに関して、対象ブロックＲ内の係数の最大値ｃ _maxが ｜ｃ _max ｜≧Ｔｈ ・・・（式 ３） の場合、対象ブロックＲに有意な変換係数があると判断し、Ｓ５０６に進む。

【００３１】一方、（式３）を満たさない場合はＳ５０
３に進み、対象ブロックＲの中に有意な変換係数が存在しなかったことを示すためのビットデータ「０」を出力する。

【００３２】続いてＳ５０４、Ｓ５０５において、閾値Ｔｈの値をＴｈ／２に更新すると共に、ｎの値を１つ減少（閾値とするビットプレーンの高さを１つ減少）させた後にステップＳ５０１に戻る。

【００３３】Ｓ５０６では、対象ブロックＲの中に有意な変換係数が存在することを示すビットデータ「１」を出力する。

【００３４】Ｓ５０７では、現在の対象ブロックＲが所定の大きさ（本実施の形態では２×２のサイズ）以下であるかどうか判別する。 この判別の結果、対象ブロックＲが所定の大きさ以下である場合にはＳ５０８に進み、
上記所定の大きさよりも大きい場合には、Ｓ５０９に進む。

【００３５】Ｓ５０８では、対象ブロックＲ内における全ての係数（本実施の形態の場合２×２＝４つの変換係数）を表す第ｎビットプレーンからｎ _minビットプレーンまでに相当するビットデータを出力すると共に、それら各係数に相当する正負符号を取り出して出力する。

【００３６】Ｓ５０９では、対象ブロックが２×２以上のサイズであり、まだ分割することができるので、対象ブロックＲを更に小さいサイズの４つの対象ブロックＲ
_mに分割し、その各々の対象ブロックＲ _mについて上記対象ブロックＲに対する処理と同様にＳ５００以降の処理を施す。

【００３７】以上の手順を、図５に示す実例を挙げて説明する。 図５の（ａ）は、最初に処理されるブロックとして定義された対象ブロックＲ（図２の各サブバンド）
を示す図である。 本実施の形態の場合の対象ブロックＲ
は、８×８の変換係数から構成されているものと考える。

【００３８】ここで説明する対象ブロックＲ内には、一定範囲内のビットプレーンに最大ビットが存在する有意な変換係数が１つ（斜線部の変換係数であり、値は「４
０」とする）存在しており、ブロックＲ内では最大値である。 よって、それ以外の変換係数は有意でないものとし、それら変換係数の値は「０」として考える。 ただしこれにより多少の画質劣化が起こるが本実施例では許容範囲であるので問題にしない。 また、図３の手順に従って対象ブロックＲを対象ブロックＲ _mに順次分割する処理を行うと、図５の（ａ）→（ｂ）→（ｃ）の順番で分割されてゆくことになる。 以上の分割処理により順次出力されるビットデータは図４に示したものとなる。

【００３９】なお、上記処理はｎ＝５となり、かつｎ
_min ＝３に設定されている場合である。 本処理を実行することにより、複数の多値変換係数からなるブロックから、各係数の位置及び係数値を表現できる図４の様なビットデータ列を出力できる。 なお、図４中に示す矢印は、本処理によりビットデータが生成される順番、
及びこれを後段に出力する順番を示している。 矢印から、の順にビットが出力される。

【００４０】以下、上述の分割処理の様子を説明してゆく。

【００４１】対象ブロックが図５（ａ）のブロック、即ち対象ブロックＲを処理する際には、まず多値変換係数の５ビット目のビットプレーン上に有意ビットが存在する係数があるか否かを検出する。 その際、その様な係数（有意係数）が左から２画素、右から２画素目に存在することが分かる。

【００４２】続いて、図５（ａ）の状態では有意係数の位置を定めるために、ステップＳ５０９に示す様にＲを４分割する。 この結果、図５（ｂ）に示すＲ０〜Ｒ３の対象ブロックが再構成される。 この時、対象ブロックＲ
を４分割したことを示すビットデータ「１」が出力される。

【００４３】続いて、Ｒ０〜Ｒ３までの各対象ブロックについて同様の処理が行われる。 即ち、Ｒ０〜Ｒ３に対してもステップＳ５００以降の処理が行われる。

【００４４】まず、対象ブロックＲ０について上記処理が行われるが、このブロックＲ０ではステップＳ５０２
で「有意係数あり」と判断されるので、更にＲ００〜Ｒ
０３に４分割される。 その際、対象ブロックＲ０を４分割したこと示すビットデータ「１」が出力される。

【００４５】また、Ｒ０が更に４分割されたことにより、Ｒ１〜Ｒ３を処理する前に、先にＲ００〜Ｒ０３の各ブロックについて、Ｓ５００からの処理が行われる。

【００４６】対象ブロックＲ００について上記処理を施した場合、Ｓ５０７では対象ブロックＲ００のサイズが２×２であることから、Ｓ５０８に処理が進む。 よって、Ｒ００については、ブロック内の各係数に相当する第５〜３ビット目までのデータ、即ち有意係数の有無を示す３ビットデータ「０００」、「０００」、「００
０」、「１０１」、と、各係数の正負符号を示す１ビットデータ「０」、「０」、「０」、「０」が図の順番で添付出力される。 以上が矢印のビットデータ列に相当する。

【００４７】以上でＲ００に関する全ての分割処理が終わるので、続いてＲ０１の処理が行われる。 Ｒ０１内の各変換係数には３ビット目から５ビット目までに有意係数が１つも存在しない。 よって、ｎ＝３、４、５に対して、ステップＳ５０２、ステップＳ５０３〜Ｓ５０５を繰り返し経て、番号ｎが３未満になるまで「有意係数無し」を示す「０」が出力される。 続いてＲ０２、Ｒ０３
の処理も同様に行われることにより、「０００」、「０
００」、「０００」が出力される。 以上が矢印のビットデータ列に相当する。

【００４８】以上でＲ０（Ｒ００〜Ｒ０３）の分割処理の全てが終わるので、続いてＲ１〜Ｒ３を処理する。 Ｒ
１〜Ｒ３内の何れの変換係数にも、３〜５ビット目に有意係数が１つも無いのでＲ０１〜Ｒ０４と同様に「００
０」、「０００」、「０００」が出力される。 以上が矢印のビットデータ列に相当する。

【００４９】通常のテクスチャ画像のウェーブレット変換係数は、空間的に局在するため、このように、有意な係数の位置を領域分割の有無を表すビット情報に置き換えることにより、係数の位置と値を非常に少ないビット数で符号化することができる。

【００５０】次に、形状画像Ｓを符号化する場合について説明する。

【００５１】図１において入力部１から出力された形状画像Ｓは、予測変換器３においてその輪郭部分のみに値「１」を持つデータ列に変換される。 即ち予測変換器３
は図６に示す様に、入力した形状画像Ｓの輪郭部分のみに値「１」が対応する予測誤差を２値画像Ｅとして出力する。 この予測誤差は（式４）に示す様に、隣接画素間の排他論理和を取ることにより生成し、出力される。

【００５２】 ｅ（ｘ）＝ｓ（ｘ−１）〔排他的論理和〕ｓ（ｘ） ・・・（式 ４） ここでｓ（ｘ）は形状画像Ｓにおける予測変換の対象画素であり、ｅ（ｘ）はこの予測により得られる画像Ｅの個々の画素値すなわち予測誤差であり、ｘは各画素のインデックスである。 なお、ｘ＝０の場合にはｓ（ｘ−
１）が得られないが、本実施の形態ではこの位置が対象物外であると仮定し０と置く様にする。 上記予測により得られた２値画像Ｅは上述したテクスチャ画像Ｔと同様に領域分割器４に出力される。

【００５３】なお、本実施の形態においては横方向のエッジを輪郭部分とする為に上記２値画像Ｅの生成方法は画像の横方向に順次処理するものとして簡単に説明したが、本発明はこれに限らない。 即ち、縦方向のエッジを輪郭部分としたい場合には順次（式４）を用いて予測して行けば良く、更に、完全な輪郭部分（２値画像Ｅ）を抽出したければ、縦横の両方向について（式４）の予測を行った結果をＯＲ処理等で合成すれば良い。

【００５４】次に予測変換器３により得られた２値画像Ｅは、領域分割器４に出力される。 領域分割器４は、この２値画像Ｅを、離散ウェーブレット変換器２から出力されたサブバンドと同様に扱うことにより、ほぼ同様のステップを用いて処理することができ、２値画像Ｅを分割した際の分割結果を示す分割情報と、上記変換により得られたビット情報を出力する。

【００５５】ただし、離散ウェーブレット変換器２から出力されたサブバンド内の変換係数（多値画像）とは異なり、２値画像Ｅ内の予測誤差値は０または１に限定されている。 よって、領域分割器４は、この分割器４に入力されてくるデータが離散ウェーブレット変換器２から発生したサブバンドを構成するものなのか、或いは予測変換器３から発生した２値画像Ｅを構成するものなのかを表す情報を、データ線１０３を介して入力部１から別に入力することにより、領域分割処理及びビットデータ列の出力方法を切り換える様にする。

【００５６】次に予測変換器３により得られた２値画像Ｅを領域分割器４で分割処理する際の具体的な処理を説明する。

【００５７】離散ウェーブレット変換器２から入力された各サブバンドを領域分割することにより図４の符号化データを出力するのに対して、予測変換器３から入力された２値画像Ｅを領域分割することにより符号化データを出力する場合には以下の２点について処理方法が異なる。

【００５８】１つは、初期化時において２値画像Ｅの全体を上述した対象ブロックＲとして設定する。 なお、ここでの対象ブロックＲとは、領域分割器４において最初に処理されるサイズのブロックであることを意味しており、２値画像Ｅのサイズが図５（ａ）に示すサイズであるわけではない。

【００５９】次に ｎ _max ＝０ （式 ５） とし、対象ビットプレーン番号ｎ及び最小ビットプレーン番号ｎ _minを０とする。

【００６０】もう１つは、２値画像Ｅの分割処理では、
単に１ビットの予測誤差係数からなるブロックを分割すれば良いので、図４の様に有意係数の有無を示す３ビット及び正負符号を示す１ビットを出力する代わりに、予測誤差の１ビットを示すデータのみが出力される様になる。

【００６１】図を用いて具体的に説明すると、図５の（ａ）に示す対象ブロックＲが２値画像Ｅ（この場合、
斜線領域ｃ３は予測誤差値「１」を示し、それ以外の領域は「０」を示すと考える。 ）とすると、出力されるビットデータ列は図５の（ｄ）において、 ｃ０＝ｃ１＝ｃ２＝０ ｃ３＝１ Ｒ０１＝Ｒ０２＝Ｒ０３＝０ Ｒ１＝Ｒ２＝Ｒ３＝０ となる。 これに、対象ブロックＲ、或いはＲ０〜Ｒ３、
或いはＲ００〜Ｒ０３内に有意係数が存在するか否かを示す矢印の３つの「１」を考慮すると、矢印の順にビットデータ列「１１１０００１００００００」が出力される。 上記２点以外は基本的には多値の変換係数（サブバンド）を領域分割することによりビットデータ列（符号化データ）を生成した場合と同様であるので説明を省略する。

【００６２】図７に、以上で説明した多値画像Ｔ及び形状画像Ｓの符号化により生成される符号化データのデータ形態の概念図を示す。

【００６３】図７（ａ）は、本実施の形態の画像処理装置が最終的に出力する符号化データの全体構成を示したものであり、ヘッダ情報とコードストリームから構成されている。

【００６４】ヘッダ情報は、図７（ｂ）に示される様に、符号化した画像Ｐのサイズ等の復号時に必要となるジオメトリ情報と、離散ウェーブレット変換（ＤＷＴ）
のレベル、フィルタの種別等の変換に要するパラメータから構成されている。

【００６５】またコードストリームは、図７（ｃ）に示される様に、大別して形状画像Ｓに関する部分と、多値画像Ｔに関する部分から構成されており、それらの先頭には該当する種別を表すヘッダから始まっている。

【００６６】形状データには上述した方法で２値画像Ｅ
を領域分割して得られたビットデータ列が図７（ｄ）に示すように含まれている。

【００６７】一方テクスチャデータには、各サブバンド内の変換係数を示す多値ビットの内、有意係数が存在する最も高いビットプレーンの番号ｎ _maxが各サブバンド毎に含まれている。 なお、本実施の形態においてｎ _min
は符号化される各サブバンドで共通とするが、ｎ _maxと同様にｎ _minの情報も符号化データに含ませる様にしても良く、この様にすれば各サブバンド毎にｎ _minを異ならせることも可能である。 なお、形状データに関しては、符号化される値（２値画像Ｅの各係数）が２値であるのでｎ _max 、ｎ _minの情報は必要ない。

【００６８】図７（ｅ）は、多値画像Ｔのコードストリームの構成を示しており、このコードストリームは更に離散ウェーブレット変換のサブバンド毎に構成されている。 またＬＬ〜ＨＨ１は図２に示したサブバンドの名称と同じである。 この様に高周波成分のサブバンドから先に出力することによりプログレッシブ符号化が可能である。

【００６９】図７（ｆ）において、その内容は図に示す様に分割ビットと係数ビットの２種類のビットストリームが交互に現れている。 ここで分割ビットとは図３のフローチャートにおけるＳ５０３及びＳ５０６で出力されるビットに相当し、係数ビットとはＳ５０８で出力されるビットに相当する。

【００７０】次に本実施の形態の符号化で得られた符号化データを、更に復号化する方法について説明する。

【００７１】図８は、本実施の形態の符号化で得られた符号化データを復号化する装置を示すブロック図である。 以下に同図を用いて詳細に説明する。

【００７２】上述の符号化機能を有する外部装置から伝送路を介して入力、或いは内外の記憶部から読み出して入力した図７に示される符号化データは、まずヘッダ情報解析器６において原画像の大きさ等の必要な情報を認識し、復号化に必要な情報として記憶する。

【００７３】またヘッダ情報解析器６は符号化データにおけるヘッダ（図７（ｃ）参照）に基づいて、順次読み込まれるコードストリームの一部が多値画像Ｔとして符号化されたデータであるか、形状を示す２値画像Ｓとして符号化されたデータであるかを判別し、判別の結果を切り換え器７へ出力する。 更にヘッダ情報解析器６は、
多値画像Ｔを復号化する際には、復号化に必要な情報として、上記ヘッダに後続するコードストリームから多値画像Ｓとして符号化された各サブバンドに対してのｎ
_maxを認識し、領域分割器５に出力する。 なお２値画像Ｓを符号化した際のｎ _maxについては符号化データに含まれていないので、２値画像Ｓの符号化データを復号化する際には、自動的に領域分割器５にｎ _max ＝０を出力する。

【００７４】また、上記符号化データ中のコードストリーム（図７（ｃ）〜（ｆ）参照）は領域分割器５にも入力される。 領域分割器５は、符号化時に領域分割器４で各ブロックを分割した際に得られたビットデータ列（分割ビット及び係数ビット或いは予測誤差ビット等）から、図１の領域分割器４へ入力される直前のデータ（変換係数からなる各サブブロック或いは２値画像Ｅ）を復元するためのものである。

【００７５】以下図９のフローチャートにより、領域分割器５が、多値画像Ｔを符号化して得られたデータに基づいて多値画像Ｔを再生する動作を説明する。 なお、本実施の形態では、符号化側で複数のサブバンドを符号化（領域分割）する際の順序は、決まっているものとする。 よって復号化するサブバンドの順序も一意的に決定する。

【００７６】まず、あるサブバンドに対応するコードストリームから、これに該当するサブバンドの領域を確保し、このサブバンドの大きさに相当する領域を対象ブロックＲの初期値とし、この領域内の係数を全て０に初期化し、かつブロック図７（ｅ）のヘッダから得られるｎ
_maxを対象ビットプレーンｎの初期値とする。

【００７７】次にＳ９００において、ｎが所定の最小ビットプレーン番号ｎ _min未満の場合には対象ブロックＲ
の処理を終了する。

【００７８】Ｓ９０１において、コードストリームから分割ビットを１ビット読み込む。

【００７９】Ｓ９０２,Ｓ９０３において、読み込んだ分割ビットの値を調べ、それが０の場合、ｎを１減じてステップＳ９００に戻る。

【００８０】Ｓ９０４,Ｓ９０５において、現在の対象ブロックＲが所定の大きさ、例えば縦横２画素以下の場合は、係数ビットをコードストリームから読み込み、領域内の全ての係数を復元する。

【００８１】Ｓ９０６において、現在の対象ブロックＲ
を４つの小領域Ｒｍに分割し、その各々についてＳ９０
０以降と同じ処理を順次行う。

【００８２】以上の手順を実例を挙げて詳細に説明する。 図１１の（ａ）から（ｄ）は対象ブロックＲの復元状態を示し、図１０は順次入力されてくる対象ブロックＲに関するコードストリーム（ビットデータ列）を示したものである。 なお本説明では、図４のビットデータ列と図１０のそれとは同一のものであるとして説明する。

【００８３】ここで図１０中に示す矢印'''
は、実際にビットデータ列が入力される順序を表しており、'→'→'の順に１ビット毎に入力される。

【００８４】初期状態では図１１（ａ）に示す様に、対象ブロックＲは全て０に初期化されており、分割されていない。 ここでステップＳ９０１により、矢印'の最初の１ビットの分割情報「１」が入力される。 これによりブロックＲ内には現在のビットプレーンｎにおいて少なくとも１つの有意係数が存在することが判断できる。
よって、ステップＳ９０６においてブロックＲが４つの小ブロックＲ０〜Ｒ３に分割され、図９（ｂ）の状態になる。

【００８５】次にＲ０の復元処理が行われる。 まずステップＳ９０１において矢印'の２番目のビット（分割ビット「１」）が入力される。 このビットによりＲ０内の変換係数に少なくとも１つの有意画素が存在することが判断できる。 よって、ブロックＲ０については更に４
つの小ブロックＲ００〜Ｒ０３に分割し、図９（ｃ）の状態になる。

【００８６】なおこの時点で、最初の小ブロックＲ０が更に小ブロックに分割されたので、Ｒ１〜Ｒ３の分割処理よりも前に、Ｒ００〜Ｒ０３の復元処理を優先的に行う。 これらの処理の優先度は符号化時のものと全く同じであるので、符号化時と同一の分割処理を行うことができる。

【００８７】まずブロックＲ００について、ステップＳ
９００から処理が行われる。 ここでステップＳ９０１で矢印'の３番目のビット（分割ビット「１」）に示す分割ビットが入力されと、Ｒ００内に少なくとも１つの有意な変換係数が存在すると判断できる。 しかしながら、Ｒ００の大きさが縦横２画素に相当しているので更なる分割は行われずにステップＳ９０５に進み、矢印'の残りのビットデータ列を変換係数を示す値であるとして扱う。

【００８８】ここでは、符号化データに含まれる情報からｎ _max ＝５が分かっており、かつｎ _minの値も予め分かっているので、各変換係数を何ビットで表現しているかが判断できている。 よって、入力するビットデータ列のうち最初の３ビットをｃ０の３〜５ビット目を示す値であると考えて扱い、続く１ビットをこの変換係数の正負符号であると考えて扱う。 これによりｃ１〜ｃ３については変換係数「０」を復元し、ｃ３については変換係数「４０」を復元する（図９（ｄ）参照）。

【００８９】以上でブロックＲ００が全て復元（分割）
されたので、続いて矢印'で入力されるビットデータ列が、Ｒ０１以降を復元（分割）するためのものであることが分かる。

【００９０】そしてブロックＲ０１を復元するために入力される最初の１ビットが「１」でなく、最初から３ビットまでは「０００」であるので、Ｒ０１の５ビット目〜３ビット目に有意係数（即ち「１」）が１つも存在しないことが判断できる。 よって、ブロックＲ０１内の変換係数を全て０として復元する。 同様にＲ０２、Ｒ０３
も処理されて各ブロック内に変換係数０が復元される。

【００９１】更に、矢印'のビットデータ列に基づいて同様の処理を行うことにより、Ｒ１〜Ｒ３の各ブロックも変換係数「０」が復元される。 以上の動作は、対象物（本実施例では非矩形の車）の形状情報として符号化された２値画像Ｅを復元する場合も同様である。 ただし、この場合はｎ _maxが符号化時と同様０に初期化され、正負符号のビットが含まれていない点が異なる。 これらの点を除き、復元処理についてはテクスチャ画像と同様の処理を行うだけで良いので詳細な説明を省略する。

【００９２】以上説明した手順により復元された係数（多値画像Ｔを表す各サブバンド或いは２値画像Ｅ）
は、切り換え器７を介して逆離散ウェーブレット変換器８或いは逆予測変換器９に選択的に出力される。 この出力の切り換えは、上述したヘッダ情報解析器６による符号化データの解析結果に基づいて行われる。 即ち、ヘッダ情報解析器６は、切り換え器７に入力されてくる復元係数群が多値画像Ｔを離散ウェーブレット変換して得られた各サブバンドに相当するものであると判別した時には、これら復元係数群を離散ウェーブレット変換器８に出力し、切り換え器７に入力されてくる復元係数群が２
値画像Ｓを予測変換して得られた２値画像Ｅに相当するものであると判別した時には、これら復元係数群を逆予測変換器９に出力する様に制御する。

【００９３】逆離散ウェーブレット変換器８は、入力された各サブバンドのデータに基づいて逆離散ウェーブレット変換を行うことにより多値画像Ｔを再生する。 また、逆予測変換器９は入力された２値画像Ｅ、即ち予測誤差に基づいて２値画像Ｓを再生する。

【００９４】以上のようにして復元された多値画像Ｔと２値画像Ｓは、後段の合成器１０において１つの画像として復元され出力される。 具体的には２値画像Ｓが示す形状に基づいて矩形の多値画像Ｔにおける有効部分を判断し、有効部分に対応する多値画像Ｔのみを、対象物の画像として認識する。 この様にすれば非矩形の多値画像を効率良く符号化することが可能となる。 もちろん本実施の形態の符号化方法は、矩形の画像であっても符号化することが可能である。

【００９５】以上の様に再生された対象物は、図１４に示す様に、この対象物よりも大きいサイズの１画面分の画像上の一部画像として使用されることができる。 即ち、図１４の各対象物であるＰ１〜Ｐ４（非矩形）及び背景であるＰ５（矩形）を１画面を構成する部品として別々に上述の様に符号化すれば、必要な対象物のみ（例えばＰ３及び背景Ｐ５のみ）から構成される１画面分の画像を再生することが可能となる。

【００９６】また上記符号化復号化を行う際には、符号化側においては入力部の前段に図１４に示す様な１画面分の画像からマニュアル或いは自動的に各対象物（画像Ｐ）を分離する分離手段を有し、復号化側には合成器１
０により再生された各対象物（画像Ｐ）を、更に互いに合成する合成手段を装置内に有する。

【００９７】なお、上述した符号化機能と復号化機能は、必要に応じて別々の装置に存在しても良いし、１装置内に存在しても良い。

【００９８】以上の実施の形態によれば、任意形状を持つ対象物の多値画像を符号化する際に、対象物の形状情報（２値画像Ｓ）と実際の多値画像（画像Ｔ）とを効率良く符号化することができる。 即ち、離散ウェーブレット変換を用いることにより、多値画像Ｔの持つ空間領域の冗長性を除去できる。 また、予測変換を用いることにより、形状情報である２値画像の各変換係数も空間的に偏らせることができる。 よって、後段で共通して施される領域分割処理において、一部の有意係数とその他の大部分の非有意係数に効率良く符号化できる。 特に本発明ではこれらの係数からなる領域を分割する方法自体を符号化データとする効率の良い符号化方式を提供できる。

【００９９】なお、本実施の形態においては、矩形、非矩形の多値画像及びこの多値画像の形状情報を符号化するものとして説明したが、本発明はこれに限らない。 即ち、同一の多値画像から得られる画像（本実施の形態では画像Ｔ及び画像Ｓ）を別々の変換方式（同じく離散ウェーブレット変換及び予測変換）を用いて変換した後、
分割処理を行う構成であれば本発明に含まれる。

【０１００】（第２の実施の形態）上記第１実施の形態では対象物の形状は２値画像としているが、本実施の形態では、これを多値画像とすることにより、復号時に対象物どうしで行われる画像合成に透かし合成を行うことを可能とする。 以下この方法について具体的に説明する。

【０１０１】図１２は本実施の形態における画像処理装置のブロック図である。 本実施の形態においては、入力部１に入力される画像に対して合成時に他の部分との合成比率を表す、いわゆるαチャンネルが指定できる様になっている。

【０１０２】同図において、入力部１に入力された画像からは、多値画像Ｔ及びαチャンネルαが生成される。
ここでαチャンネルは例えば４ビットの階調を持つ多値画像として表現される。 また符号化前の多値画像Ｔ上の位置（ｉ、ｊ）における係数値をｘ _ijとし、復号化後の多値画像Ｔ上の位置（ｉ、ｊ）における画素値をｘ' _ij
とし、最終的に他の多値画像と合成する際の多値画像Ｔ
上の位置（ｉ、ｊ）における画素値をｘ” _ijとして表すと、この画素値ｘ” _ijは ｘ” _ij ＝（αｉｊ／１５）ｘ'ｉｊ （式 ６） として表される。

【０１０３】図１２においてαチャンネルの値は、円形の対象物の中央部で高く、周辺部では低い値となっている。 よって、この対象物を他の多値画像と合成した場合には、合成画像においてこの対象物の周辺部分は薄く表現される。

【０１０４】多値画像Ｔ及びαチャンネルαは、共に離散ウェーブレット変換器２で変換されるが、この処理の過程は第１実施の形態で説明したものと同様である。

【０１０５】次に各変換係数は領域分割器４において位置と係数値が符号化されるが、αチャンネルαの分割処理を行う場合には、αチャンネルの役割上、復号された際に符号化前の元の値と等しい値が得られる様にすることが望ましい。 よって、本実施の形態においては最小ビットプレーン番号ｎ _minを０に設定する様にする。 これにより、離散ウェーブレット変換器２における変換が完全再構成条件を満たすものであれば、復号時にαチャンネルαの値は完全に復元される。

【０１０６】図１３に本実施の形態によるデータ形態の概念図を示す。 全体の構造は第１実施の形態によるものと同じであるが、本実施の形態においては形状データに関してもウェーブレット変換が用いられているために、
テクスチャヘッダ内にも最大ビットプレーン及びウェーブレット変換レベルに関する情報が含まれている。 最小ビットプレーンに関しては０であることが明確であるため含まれていない。

【０１０７】また形状データはテクスチャデータと同じ構造を取り、分割ビットと係数ビットを含む各サブバンドデータから構成されている。 復号処理に関しては、第１実施の形態におけるテクスチャデータの復号と同じであるので説明は省略する。

【０１０８】このようにして復号化された多値画像Ｔ及びαチャンネルαは復号化側において順次記憶され、他の画像との合成の際には、復号化されたαチャンネルα
を参照しつつ、多値画像Ｔを他の画像に合成する。

【０１０９】なお、本実施の形態では形状情報であるα
チャンネルαに対してウェーブレット変換を用いているが、αチャンネルの値が限られたものである場合は他の変換方式、例えば予測変換を用いても良い。 特にαチャンネルの値が２値である場合には、ウェーブレット変換を行うことにより係数のレンジが増えてしまうので符号化効率があまり良くない。 この様な場合には、第１実施の形態の様にした方が効率が高い圧縮効率を得ることができる。

【０１１０】以上の実施の形態によれば、任意形状を持つ対象物の多値画像を符号化する際に、対象物の形状情報（αチャンネルα）と実際の多値画像（画像Ｔ）とを効率良く符号化することができる。 即ち、離散ウェーブレット変換を用いることにより、多値画像Ｔ及びαチャンネルαの持つ空間領域の冗長性を除去できる。 よって、後段で共通して施される領域分割処理において、一部の有意係数とその他の大部分の非有意係数に効率良く符号化できる。 特に本発明ではこれらの係数からなる領域を分割する方法自体を符号化データとする効率の良い符号化方式を提供できる。

【０１１１】以上の様に再生された対象物は、第１の実施の形態と同じく、この対象物よりも大きいサイズの１
画面分の画像上の一部画像として使用されることができる。 即ち、各対象物を１画面を構成する部品として別々に上述の様に符号化すれば、必要な対象物のみから構成される１画面分の画像を再生することが可能となる。

【０１１２】また上記符号化復号化を行う際には、符号化側においては入力部の前段に図１４に示す様な１画面分の画像からマニュアル或いは自動的に各対象物（画像Ｐ）を分離する分離手段を有し、復号化側には合成器１
０により再生された各対象物（画像Ｐ）を、更に互いに合成する合成手段を装置内に有する。

【０１１３】なお、上述した符号化機能と復号化機能は、必要に応じて別々の装置に存在しても良いし、１装置内に存在しても良い。

【０１１４】（変形例）なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムの１部として適用しても、１つの機器（たとえば複写機、ファクシミリ装置）からなる装置の１部に適用してもよい。

【０１１５】また、本発明は上記実施の形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（CPUあるいはMP
U）に、上記実施の形態を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システムあるいは装置のコンピュータが上記各種デバイスを動作させることにより上記実施の形態を実現する場合も本発明の範疇に含まれる。

【０１１６】またこの場合、前記ソフトウエアのプログラムコード自体が上記実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。

【０１１７】この様なプログラムコードを格納する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。

【０１１８】また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。

【０１１９】更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。

【０１２０】

【発明の効果】以上説明した様に本発明によれば、矩形、非矩形に関わらず多値画像情報を効率良く符号化することができる。 また、同一の多値画像から得られる複数種類の画像データを効率良く符号化することができる。

【図面の簡単な説明】

【図１】第１の実施の形態のブロック図

【図２】離散ウェーブレット変換器の動作説明図

【図３】符号化での領域分割器の動作説明図

【図４】領域分割により発生するビットデータ列を示す図

【図５】領域分割の様子を示す図

【図６】２値画像Ｅを作成する様子をを示す図

【図７】第１の実施の形態の符号化データを示す図

【図８】第１の実施の形態の復号器を示す図

【図９】復号時の領域分割器の動作説明図

【図１０】復号時に処理されるビットデータ列を示す図

【図１１】領域分割により画像を復元する様子を示す図

【図１２】第２の実施の形態のブロック図

【図１３】第２の実施の形態の符号化データを示す図

【図１４】符号化前或いは復号化後における全体画像の様子を説明する図

【符号の説明】

１ 入力部 ２ 離散ウェーブレット変換器 ３ 予測変換器 ４ 領域分割器 ５ 領域分割器 ６ ヘッダ情報解析器 ７ 切り換え器 ８ 逆離散ウェーブレット変換器 ９ 逆予測変換器 １０ 合成器