【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の符号化を行う画像処理装置及び方法及びこの方法を記憶した記憶媒体に関するものである。

【０００２】

【従来の技術】画像には非常に多くの情報が含まれているので、これを蓄積したり伝送したりする場合には膨大なデータ量が問題となる。 画像の圧縮（符号化）は画像の持つ冗長性を除いたり、視覚的に認識し難い程度で値の操作を加えたりすることによりデータ量を削減するものである。

【０００３】従来、静止画像の符号化方式の一つとしてＩＳＯとＩＴＵ−Ｔにより国際標準勧告されたＪＰＥＧ
方式が知られている。 ＪＰＥＧについての詳細は勧告書ＩＴＵ−Ｔ Recommendation Ｔ.８１ | ＩＳＯ／ＩＥＣ
１０９１８−１等に記されているので、ここでは概略のみ述べる。 ＪＰＥＧには符号化対象画像や用途に応じて数種の符号化方式が規定されているが、その基本方式は可逆プロセスを除いて、画像を８×８のブロックに分割して離散コサイン変換（ＤＣＴ）を施し、変換係数を適宜量子化した後、符号化するというものである。 この方式ではブロック毎にＤＣＴを施すため、変換係数を荒く量子化して符号化した場合にブロックの境界が視覚的に認識されるいわゆるブロック歪みが生ずるという問題がある。

【０００４】一方、近年、ウェーブレット変換をベースとする符号化方式の検討が盛んに行われており、この範疇の符号化方式が種々提案されている。 ウェーブレット変換の場合、ブロック分割を伴わないためブロック歪みは発生せず、上記ＪＰＥＧ方式に比べて、高圧縮時における画質の優位性が認識されつつある。

【０００５】ウェーブレット変換により周波数分解する場合、図２に示す様に最初にＬＬ、ＨＬ、ＬＨ、ＨＨの４つの周波数帯域に分割し、分割された帯域の最低周波帯域（ＬＬ）を更に４つの周波数帯域に分割し、分割された帯域の最低週波帯域を更に分割することを所定回数繰り返すことにより３ｍ＋１（ｍはウェーブレット変換の回数）種類の周波数帯域を生成する。 以下、ウェーブレット変換を繰り返して行なう回数ｍをレベル数と呼ぶこととし、各周波数帯域はＬＬ、ＨＬ、ＬＨ、ＨＨにレベル数を付加して、ＬＬ（ｍ）、ＨＬ（ｍ）、ＬＨ
（ｍ）、ＨＨ（ｍ）とする。 例えば２回ウェーブレット変換を行なって得られるＬＨ成分の場合にはＬＨ（２）
の様に表現して特定するものとする。

【０００６】

【発明が解決しようとする課題】しかしながら、符号化される画像によってはウェーブレット変換を施すことが必ずしも適切でない場合がある。 例えば、多値表現された二値画像や限定色画像、CG画像などについては、ウェーブレット変換を施してから後段の圧縮処理を施す場合よりも、ウェーブレット変換前の画像データにそのまま後段の圧縮処理を施した方が符号化効率が良くなる場合もある。

【０００７】また、ウェーブレット変換を施す場合でも、画像或いは画像の一領域（タイル）のサイズや特性などによって適切なウェーブレット変換の回数（レベル数）も異なり、ウェーブレット変換の回数を多くすることは必ずしも圧縮性能の向上に繋がらない。

【０００８】本発明は、上述の問題点に鑑みてなされたものであり、様々な特性を有する画像を効率良く符号化できる新たな画像符号化方式を提供することを目的とする。 具体的には、入力画像を複数の周波数帯域に変換できる構成において、符号化対象となる画像の特性に応じて効率の良い符号化を行う技術を提供することを目的とする。

【０００９】

【課題を解決するための手段】上述の課題を解決するために本発明の画像処理装置によれば、入力画像に周波数変換（例えば本実施の形態では離散ウェーブレット変換に相当）を施し、複数の周波数帯域（同じくＬＬｍ、Ｈ
Ｌｍ、ＬＨｍ、ＨＨｍに相当）の係数を得る周波数変換手段（同じく離散ウェーブレット変換回路１０３に相当）と、得られた係数に基づいて、前記入力画像に周波数変換を施した後に符号化する場合と該周波数変換を施さずに符号化した場合の圧縮効率を予測する予測手段（同じく符号量カウンタ１１２、１１３、比較回路１１
４に相当）と、該予測の結果に基づいて、前記入力画像に周波数変換を施した後に符号化するべきか否かを決定する決定手段（同じくセレクタ１１５に相当）と、前記決定結果に基づいて、前記入力画像を符号化したデータを出力する出力手段（同じくセレクタ１１５、ＭＵＸ１
１８、符号出力部１１９に相当）とを有することを特徴とする。

【００１０】或いは、入力画像に周波数変換（同じく離散ウェーブレット変換に相当）を施し、複数の周波数帯域（同じくＬＬｍ、ＨＬｍ、ＬＨｍ、ＨＨｍに相当）の係数を得る周波数変換手段（同じく離散ウェーブレット変換回路１０３に相当）と、得られた係数に基づいて、
前記入力画像に第１の方法で周波数変換を施した後に符号化する場合と第２の方法で周波数変換を施した後に符号化する場合の圧縮効率を予測する予測手段（同じく符号量カウンタ１１２、１１３、比較回路１１４に相当）
と、該予測の結果に基づいて、何れの方法で周波数変換を施した後に符号化するべきかを決定する決定手段（同じくセレクタ１１５に相当）と、前記決定された方法に基づいて、前記複数の周波数帯域の係数を符号化したデータを出力する出力手段（同じくセレクタ１１５、ＭＵ
Ｘ１１８、符号出力部１１９に相当）とを有することを特徴とする。

【００１１】

【発明の実施の形態】（第１の実施の形態）以下、本発明に好適な実施形態を図面を用いて説明する。

【００１２】図１は本発明の第１の実施の形態を実行するための画像処理装置を示すブロック図である。

【００１３】同図において、１０１は符号化対象となる画像データを入力する画像入力部であり、１０２は画像入力部１０１から入力された元の画像データ（１回もウェーブレット変換されていない画像データであり、本実施の形態ではＬＬ（０）として説明する）及び後述する離散ウェーブレット変換回路１０３から出力された各レベルの最低周波成分ＬＬ（ｍ）を格納するためのフレームメモリであり、１０３はフレームメモリ１０２に格納されている画像データ及び各レベルの最低周波成分ＬＬ
（ｍ）を離散ウェーブレット変換するための離散ウェーブレット変換回路である。

【００１４】また１０４は離散ウェーブレット変換回路１０３から出力された各レベルの周波数帯域ＨＬ
（ｍ）、ＬＨ（ｍ）、ＨＨ（ｍ）（ｍはウェーブレット変換の回数）を符号化するための符号化回路であり、１
０５、１０６は離散ウェーブレット変換回路１０３から出力された各レベルの最低周波成分ＬＬ（ｍ）を符号化するための符号化回路である。 なお、１０５と１０６の符号化方式は基本的に同じであり、１０５がＬＬ（ｍ）
を符号化している際には１０６がＬＬ（ｍ−１）を符号化する。 例えば１０５がＬＬ（１）を符号化している際には、１０６は元の画像データＬＬ（０）を符号化し、
１０５がＬＬ（２）を符号化している際には、１０６はＬＬ（１）を符号化する。

【００１５】１０７は符号化データを統合するためのマルチプレクサであり、同じレベルの周波数帯域に相当する符号化データを統合するものである。 例えば符号化回路１０５から出力されてくるＬＬ（１）に対しては、符号化回路１０４から出力されてくるＨＬ（１）、ＬＨ
（１）、ＨＨ（１）に相当する３つの符号化データを統合し、４つの周波数帯域に相当する符号化データを出力する。

【００１６】１０８、１０９、１１０、１１１は、ＨＬ
（ｍ）、ＬＨ（ｍ）、ＨＨ（ｍ）の３つに相当する符号化データを各々一旦格納するためのメモリであり、メモリ１０８はレベル１に相当する３つの符号化データを格納し、メモリ１０９はレベル２に相当する３つの符号化データを格納し、メモリ１１０はレベル３に相当する３
つの符号化データを格納する。 このメモリは必要に応じた個数を用意するものとし、各メモリはメモリ１１１に示す様にレベル（ｍ）に相当する３つの符号化データを順次格納する。

【００１７】１１２、１１３は共に符号長をカウントするための符号量カウンタである。 なお、カウンタ１１２
がマルチプレクサ１０７（符号化回路１０４、１０５）
から出力されてくるＬＬ（ｍ）、ＨＬ（ｍ）、ＬＨ
（ｍ）、ＨＨ（ｍ）に相当する４つ分の符号化データの符号長をカウントする際には、カウンタ１１３は符号化回路１０６から出力されてくるＬＬ（ｍ−１）の符号化データの符号長をカウントする。

【００１８】１１４は、カウンタ１１２、１１３でカウントされた符号長を比較するための比較回路であり、１
１５は入力される複数の符号化データの一方を選択的に出力するセレクタである。 なおセレクタ１１５には、符号化回路１０６からＬＬ（ｍ−１）の符号化データが入力された際には、マルチプレクサ１０７からはＬＬ
（ｍ）、ＨＬ（ｍ）、ＬＨ（ｍ）、ＨＨ（ｍ）の４つ分に相当する符号化データが入力される。 例えば符号化回路１０６から元の画像データＬＬ（０）をそのまま符号化したデータが入力された際には、マルチプレクサ１０
７からはＬＬ（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ
（１）の４つ分に相当する符号化データが入力され、符号化回路１０６からＬＬ（１）を符号化したデータが入力された際には、マルチプレクサ１０７からはＬＬ
（２）、ＨＬ（２）、ＬＨ（２）、ＨＨ（２）の４つ分に相当する符号化データが入力される。

【００１９】１１６、１１７はデータの流れを切り換えるためのスイッチであり、符号化前の初期状態では共にａに接続されている。 １１８は最終的に必要と決定された符号化データを統合するためのマルチプレクサであり、１１９は符号化データを外部機器或いは装置内部にある他の処理部へ出力するための符号出力部である。

【００２０】なお、本実施の形態においては画像入力部から入力される画像は１画素につき８ビットで表現されるモノクロ多値画像を符号化するものとして説明する。
しかしながら本発明はこれに限らず、ＲＧＢ、ＣＭＹＫ
等の色成分、Ｌａｂ、ＹＣｒＣｂ等の輝度・色度成分で表現されるカラー多値画像を符号化する場合も範疇に含む。 この場合には例えば各成分毎に１つのモノクロ多値画像として順次符号化することにより実現可能である。

【００２１】以下、本実施の形態における各部の動作を詳細に説明する。

【００２２】なお、画像が符号化される前には、予めスイッチ１１６とスイッチ１１７をそれぞれ端子aに接続しておく。

【００２３】まず、画像入力部１０１は、符号化対象となる１画面分の画像を示す元の画像データＬＬ（０）を画素毎にラスタースキャン順に入力すると共に、フレームメモリ１０２はこの画像データを格納する。 なお画像入力部１０１は、例えばスキャナ、デジタルカメラ等の撮像装置、或いはネットワーク回線のインターフェース等である。

【００２４】上記画像データを全て（本実施の形態では１画面分）格納し終わると、スイッチ１１６を端子bへ接続する様に設定する。 なおこの設定は、この画像データに相当する最終的な符号化データがマルチプレクサ１
１８から出力された後に、端子ａへ接続される様にする。

【００２５】続いて、離散ウェーブレット変換回路１０
３は、フレームメモリ１０２に格納された画像データに対して図２の様な離散ウェーブレット変換を施し、４つの異なる周波数帯域（以降、サブバンドと呼ぶ）に分解する。 本実施の形態では、画像データ列ｘ（ｎ）に対する離散ウェーブレット変換は次式によって行われる。

【００２６】 ｒ（ｎ）＝〔（ｘ（２ｎ）＋ｘ（２ｎ＋１））／２〕 ｄ（ｎ）＝ｘ（２ｎ）＋ｘ（２ｎ＋１）

【００２７】なお、〔ａ〕はａを越えない最大の整数値であることを示す。 r（ｎ）、d（ｎ）は変換係数であり、r（ｎ）は低周波成分、d（ｎ）は高周波成分である。 本変換式は一次元のデータに対するものであるが、
この変換を図６に示す様に、水平方向、垂直方向の順に適用することでＬＬ（ｍ）、ＨＬ（ｍ）、ＬＨ（ｍ）、
ＨＨ（ｍ）（最初はＬＬ（１）、ＨＬ（１）、ＬＨ
（１）、ＨＨ（１））の４つのサブバンドに分割することができる。

【００２８】ＬＬ（ｍ）サブバンド以外のサブバンドの係数はＨＬ（ｍ）、ＬＨ（ｍ）、ＨＨ（ｍ）の順に符号化回路１０４へと出力され、ＬＬ（ｍ）サブバンドの係数は符号化回路１０５へ出力されると共に、次回の処理のためにフレームメモリ１０２内の空き領域へ記憶される。

【００２９】符号化回路１０５は、ＬＬ（ｍ）（最初はＬＬ（１））サブバンドを構成する各係数をＪＰＥＧの可逆プロセス（係数単位の予測符号化＋エントロピー符号化）により符号化する。 ＪＰＥＧの可逆プロセスについては勧告書ＩＴＵ−Ｔ Ｔ.８１ | ＩＳＯ／ＩＥＣ １
０９１８−１に記されているのでここでは説明を省略する。 ＪＰＥＧの可逆プロセスではエントロピー符号化方式としてハフマン符号化と算術符号化の何れかを選択できるが、本実施の形態ではハフマン符号化を行うものとする。 また、各画素の値の予測方式としては７通りの予測式を選択することができるが、本実施の形態ではその中の１つである平面予測方式（Ｒａ＋Ｒｂ−Ｒｃを予測値とする方式）を使用する。 なお予測式におけるＲａ、
Ｒｂ、Ｒｃはそれぞれ符号化対象となる係数の直左、直上、左斜め上の係数に相当する値である。

【００３０】符号化回路１０４は、ＬＬ（ｍ）サブバンド以外のＨＬ（ｍ）、ＬＨ（ｍ）、ＨＨ（ｍ）サブバンドを構成する各係数を順に符号化する。

【００３１】各サブバンドの符号化処理では、サブバンドを構成する係数の値を参照しながら適宜ブロック分割を繰り返して行うことにより、ブロック分割情報を出力すると共に、更に分割により得られた最小ブロックサイズ（本実施の形態では２×２画素）に等しいブロック構成する各係数の正・負を示す符号とその係数の絶対値を出力する。

【００３２】図７のフローチャートを用いて、上述した符号化回路１０４の符号化処理を詳細に説明する。

【００３３】なお、符号化回路１０４で実行するブロック分割処理に先立ち、着目するビットプレーンの番号ｎ
の初期値を予め設定する。 ここでビットプレーンの番号ｎは、ＬＳＢプレーンの番号が０であり、ＭＳＢプレーンまで順に１つずつ番号が大きいものとして考える。 例えば、符号化回路１０４に入力される変換係数が各画素毎に８ビットデータである場合には、ビットプレーンの番号は０〜７まで存在し、ＭＳＢプレーンの番号は７となる。

【００３４】着目ビットプレーン番号ｎの初期値は、入力されたサブバンドを構成する変換係数の絶対値を表現するために必要な理論上の最大ビット数とする。

【００３５】まず最初に符号化回路１０４では、符号化対象となるサブバンド（ＨＬ（ｍ）、ＬＨ（ｍ）、ＨＨ
（ｍ）の何れか）の全体を処理対象ブロック（最初の着目ブロック）とする。 そしてステップ７０１において着目ブロックを構成する係数の絶対値の内、最大値である
Cmaxを求めた後、着目ビット数ｎから決まるしきい値２
ｎ−１と比較する。 上記Cmaxがしきい値２ｎ−１よりも大きい場合にはステップ７０５へ進み、そうでない場合にはステップ７０２へ処理を移す。

【００３６】即ちこの判断処理では、着目ブロックを構成する係数の絶対値を自然二進表現してビットプレーンに分割し、着目ビットプレーンが全て「０」であるか否かを判断すること（最初の判断ではＭＳＢプレーンが全て０であるか否かを判断すること）に等しい。

【００３７】ステップ７０２では、着目ビットプレーン上は全て０であることになるので、ブロック分割情報としては当該ビットプレーンにおいてはブロックを分割しないことを表す「０」を出力する。

【００３８】ステップ７０３ではｎの値を調べる。 この結果、ｎが０より大きい場合、即ち未だ着目ビットプレーンがＭＳＢビットプレーンに達していない場合にはステップ７０４へ処理を進め、そうでない場合には着目ブロックについての処理を終了する。 続いてステップ７０
４ではｎの値を１つ減らすことにより、１つ下のビットプレーンを着目ビットプレーンとし、ステップ７０１からの処理へと戻る。

【００３９】一方、ステップ７０５では、着目ビットプレーン上に１が少なくとも１つ存在することになるので、更に着目ブロックを分割して処理することにする。
よって、ブロック分割されたことを示す１をブロック分割情報として出力する。

【００４０】ステップ７０６では、着目ブロックのサイズを所定の最小ブロックサイズ（本実施の形態では２×
２画素のサイズとする）と比較し、最小ブロックサイズよりも大きい場合（即ち４×４画素以上のサイズである場合）には、更なる分割をするべき考え、ステップ７０
７に処理を移し、そうでない場合（これ以上分割して更に処理する必要が無いサイズに達した場合）にはステップ７０８へと処理を移す。

【００４１】ステップ７０７では着目ブロックを４つのサブブロックに更に分割し、その各サブブロックを各着目ブロックと考えて再度ステップ７０１からの処理を開始する。 なお、各サブブロックを再度処理してゆく際の着目ビットプレーン番号の初期値は、この時点（分割された時点）の最新の番号ｎを用いるものとする。

【００４２】一方、ステップ７０８では着目ブロックを構成する各係数（この場合２×２個の係数）についてラスタースキャン順に１つずつ、その係数の絶対値をその時点のｎビットで自然二進表現して上位ビットから順に出力し、係数の値が０でないものについては正負符号（「＋」ならば「０」、「−」ならば「１」）も付加して出力する。

【００４３】以上の分割処理を繰り返すことにより、Ｈ
Ｌ（ｍ）、ＬＨ（ｍ）、ＨＨ（ｍ）サブバンドの全ての係数は、ステップ７０５及び７０２で出力されるブロック分割情報と、ステップ７０８で出力される係数値と正負符号とにより表現される符号化データに変換される。

【００４４】符号化回路１０４で生成されたＨＬ
（ｍ）、ＬＨ（ｍ）、ＨＨ（ｍ）サブバンドに相当する符号化データは、スイッチ１１７で選択されるメモリ１
０８〜１１１の順に格納される。 上述した様に、画像符号化の初期状態でスイッチ１１７は端子aに接続しておくので、符号化回路１０４から最初に出力された符号化データ（即ちＨＬ（１）、ＬＨ（１）、ＨＨ（１）サブバンドに相当する符号化データ）はメモリ１０８に格納される。 なお後述する繰り返しにより、ＨＬ（２）、Ｌ
Ｈ（２）、ＨＨ（２）サブバンドに相当する符号化データが出力された場合には１０９に格納され、ＨＬ３、Ｌ
Ｈ３、ＨＨ３サブバンドに相当する符号化データが出力された場合には１１０に格納され、同様に順次ＨＬ
（ｍ）、ＬＨ（ｍ）、ＨＨ（ｍ）までに相当する符号化データが同様のメモリ１１１に格納可能である。

【００４５】また符号化回路１０４から出力されたＨＬ
（ｍ）、ＬＨ（ｍ）、ＨＨ（ｍ）（最初はＨＬ（１）、
ＬＨ（１）、ＨＨ（１））サブバンドに相当する符号化データはマルチプレクサ１０７にも分岐して出力されており、マルチプレクサ１０７は、符号化回路１０５で生成された同レベルの周波数帯域ＬＬ（ｍ）（最初はＬＬ
（１））に相当する符号化データと共に統合され、ＬＬ
（ｍ）、ＨＬ（ｍ）、ＬＨ（ｍ）、ＨＨ（ｍ）に相当する順序で統合された符号化データを出力する。

【００４６】符号量カウンタ１１２は、マルチプレクサ１０７から出力される符号化データ（最初はＬＬ
（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１）の符号化データが統合されたもの）の符号長をカウントし、この符号長を比較回路１１４へと出力する。

【００４７】以上の処理に並行して、符号化回路１０６
では、フレームメモリに格納された最新のデータＬＬ
（ｍ−１）（最初は元の画像データＬＬ（０）であり、
後述する繰り返しによりＬＬ（１）、ＬＬ（２）・・・
と変化する）の符号化を行なう。 この符号化回路１０６
での符号化方式は、符号化回路１０５と同じくＪＰＥＧ
の可逆プロセスであり、画素（又は係数）単位の予測符号化（直左、直上、左斜め上の画素（又は係数）の値Ｒ
ａ、Ｒｂ、Ｒｃを用いてＲａ＋Ｒｂ−Ｒｃを予測値とする平面予測方式）＋エントロピー符号化（ハフマン符号化）が同じく実行される。 ここで得られたＬＬ（ｍ−
１）（最初は元の画像データＬＬ（０））に相当する符号化データは、上述したＬＬ（ｍ）、ＨＬ（ｍ）、ＬＨ
（ｍ）、ＨＨ（ｍ）（最初はＬＬ（１）、ＨＬ（１）、
ＬＨ（１）、ＨＨ（１））に相当する符号化データと同じく、並行してセレクタ１１５へ出力される。

【００４８】次に符号量カウンタ１１３では、符号化回路１０６から出力される符号化データ（最初は元の画像データＬＬ（０）に相当する符号化データ）の符号長をカウントし、この符号長を比較回路１１４へと出力する。

【００４９】比較回路１１４は、符号量カウンタ１１２
と１１３から出力される各符号長を比較し、セレクタ１
１５へと比較結果を出力する。 比較結果は「０」又は「１」であり、符号量カウンタ１１２でカウントした符号長、即ちマルチプレクサ１０７の出力する符号化データの符号長が、符号量カウンタ１１３でカウントした符号長、即ち符号化回路１０６から出力される符号化データの符号長よりも少ない場合には「０」を出力し、そうでない場合には「１」を出力するものとする。

【００５０】セレクタ１１５は、スイッチ１１７が端子
eに接続された場合（即ち装置における離散ウェーブレット変換の最大可能回数であるｍ回に達し、離散ウェーブレット変換を終了する場合）、又は比較回路１１４の出力する比較結果が「１」になった場合（即ち分割する前の低周波成分ＬＬ（ｍ−１）をそのまま符号化した方が、更に４つのＬＬ（ｍ）、ＨＬ（ｍ）、ＬＨ（ｍ）、
ＨＨ（ｍ）に分割（離散ウェーブレット変換）して符号化するよりも符号化効率が良い場合）に動作する。

【００５１】またセレクタ１１５は、スイッチ１１７が端子eに接続され、かつ比較回路１１４の出力する比較結果が「０」になった場合（即ち分割する前の低周波成分ＬＬ（ｍ−１）をそのまま符号化するよりも、更に４
つのＬＬ（ｍ）、ＨＬ（ｍ）、ＬＨ（ｍ）、ＨＨ（ｍ）
に分割（離散ウェーブレット変換）して符号化する方が符号化効率が良い場合）にのみ、マルチプレクサ１０７
から入力された符号化データの方を出力する。

【００５２】それ以外の場合、即ちスイッチ１１７が端子eへの接続に関わらず比較回路１１４の出力する比較結果が「１」になった場合には、符号化回路１０６から出力された符号化データを出力する。

【００５３】なおセレクタ１１５から符号化データが出力された際には、それ以降の離散ウェーブレット変換１
０３及び符号化回路１０４、１０５、１０６の後述する繰り返し動作は終了する。 これにより必要以上の離散ウェーブレット変換を実行しなくて済むので、符号化処理を軽減できる。

【００５４】符号化処理及び符号量比較の繰り返し処理について説明する。

【００５５】セレクタ１１５が上記動作条件を満たさない場合には、最低周波数帯域ＬＬ（ｍ）を更に分割（離散ウェーブレット変換）した方が符号化効率が良くなる可能性が有るので、ｍを＋１更新した更なる符号量比較処理を行う。 この場合、既に格納されているＬＬ（ｍ）
（最初の繰り返し処理の時にはＬＬ（１））について、
先のＬＬ（ｍ−１）と同様に離散ウェーブレット変換及び符号化回路１０４〜１０６の符号化処理及び符号量カウント及び符号量比較及びセレクタ１１５の選択動作判断を行う。 なおこの繰り返し処理においては、先のＨＬ
（ｍ）、ＬＨ（ｍ）、ＨＨ（ｍ）は更なる分割（離散ウェーブレット変換）に関与することが無いので考慮される必要が無い。 よって、符号化データのみメモリ１０８
に確実に保持されておけば良い。

【００５６】従ってスイッチ１１７の接続は１つ切り替えられる。 例えばこの切り替えは、端子aに接続されている場合（最初の状態）には端子bに、端子bならば端子
cに、端子cならば端子d（端子ｃから端子ｄまでの切り換えはウェーブレット変換の最大可能回数に応じて決定する）に、端子dならば端子eにという具合に行われる。

【００５７】そしてこのスイッチの切り替えを行なった後、フレームメモリ１０２に既に格納されている最新のＬＬ（ｍ）（最初の繰り返しの場合はＬＬ（１））のデータに対して、前回処理したデータＬＬ（ｍ−１）（最初の繰り返しの場合は元の画像データＬＬ（０））と同様の一連の処理を施す。

【００５８】念の為簡単に説明すると、ＬＬ（１）のデータに同様の処理を施すのであれば、離散ウェーブレット変換回路１０３においてＬＬ（２）、ＨＬ（２）、Ｌ
Ｈ（２）、ＨＨ（２）の周波数帯域を図２の様に出力し、ＬＬ（２）のデータを符号化回路１０５に出力すると共にフレームメモリ１０２に出力・格納する。 発生したＨＬ（２）、ＬＨ（２）、ＨＨ（２）のデータは上述した様に符号化回路１０４で符号化し、ＭＵＸ１０７に出力すると共にメモリ１０９に格納する。 同時に符号化回路１０５はＬＬ（２）を符号化してＭＵＸ１０７に出力する。 また符号化回路１０６はＬＬ（１）の符号化データを上述と同様に符号化し、セレクタ１１５に出力する。 セレクタ１１５においても上述の動作条件に従って、ＬＬ（１）をそのまま符号化した方が良いのかＬＬ
（２）、ＨＬ（２）、ＬＨ（２）、ＨＨ（２）の４つに分割してから符号化した方が良いのかを、各々を符号化したデータのカウンタ値を比較して決定する。 セレクタ１１５の動作条件を満たさない場合には、フレームメモリ１０２に格納されたＬＬ（２）について２回目の繰り返し処理（ＬＬ（１）と同様の処理）を行う。

【００５９】以上の繰り返し処理をセレクタ１１５が上記動作条件を満たすまで繰り返す。

【００６０】以上の繰り返し処理により、符号化対象となる多値の画像に対して、最終的な符号長が少なくなる様な適切なウェーブレット変換回数（０回を含む）を施すことが可能となる。

【００６１】以上の様に、セレクタ１１５の動作は、最初の処理、即ち図２に示す様な離散ウェーブレット変換を施す前の元の画像データＬＬ（０）に後段の符号化を施した場合と離散ウェーブレット変換された後のＬＬ
（１）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１）を符号化した場合との符号化効率に基づく上述の選択処理の時点で実行される場合も有れば、上述の繰り返し動作により再度ＬＬ（１）を符号化した場合と、ＬＬ（１）が更に離散ウェーブレット変換されたＬＬ（２）、ＨＬ
（２）、ＬＨ（２）、ＨＨ（２）を符号化した場合との符号化効率に基づく符号化データの選択処理の時点で終了する場合も有り、これは符号化される画像の特性によって異なる。

【００６２】後段のマルチプレクサ１１８は、セレクタ１１５から符号化データの出力があった場合にのみ動作する。 セレクタ１１５の出力符号と共に、必要に応じてメモリ１１１、・・・、メモリ１１０、メモリ１０９、
メモリ１０８の順に格納されている符号を読み出して統合する。 そして統合された符号化データを符号出力部１
１９へと出力する。

【００６３】ここで、スイッチ１１７で接続されているメモリ以降（周波数帯域ＨＬ（ｍ）、ＬＨ（ｍ）、ＨＨ
（ｍ）以上のレベルに相当する符号化データを格納するメモリ）からはデータを読み出さないものとする。 これはセレクタ１１５から出力される符号化データに相当する周波数帯域がＬＬ（ｍ−１）又はＬＬ（ｍ）、ＨＬ
（ｍ）、ＬＨ（ｍ）、ＨＨ（ｍ）に相当する為、ＨＬ
（ｍ−１）、ＬＨ（ｍ−１）、ＨＨ（ｍ−１）よりもレベルの高い周波数帯域ＨＬ（ｍ）、ＬＨ（ｍ）、ＨＨ
（ｍ）は符号化データとして不必要になる為である。

【００６４】符号出力部１１９には本実施の形態における出力符号が渡される。 符号出力部１１９は、例えば、
ハードディスクやメモリといった記憶装置、ネットワーク回線のインターフェース等である。

【００６５】以上の処理により、本実施の形態によれば多値画像データの符号化を効率良く行なうことができる。 なお、生成された符号化データには画像のサイズ情報、ウェーブレット変換のレベル数の情報、１画素当たりのビット数を示す情報等、復号化の際に必要な情報が適宜付加されるものとする。

【００６６】（第２の実施の形態）上述の第１の実施の形態では、離散ウェーブレット変換を異なる回数を施した後に得られる各符号化データの実際の符号長に基づいて適切なレベル数を決定する様にしたが、本発明はこれに限らない。 即ち、符号化効率を比較できるもので有れば、他の要素に基づいて上記レベル数或いは離散ウェーブレット変換の実行／非実行を判断しても良い。 以下、
この変形例について第１の実施の形態とは異なる部分について詳細に説明する。

【００６７】図４は、本発明に係わる第２の実施の形態を実行する為のブロック図を示すものである。 同図において４０１は１画面分の多値画像データを入力する画像入力部、４０２はこの１画面分の多値画像データを格納するフレームメモリである。 第１の実施の形態と同様、
この画像入力部４０１は、例えばスキャナ、デジタルカメラ等の撮像装置、或いはネットワーク回線のインターフェース等である。 ４０３はブロック切り出し回路、４
０４は離散ウェーブレット変換回路、４０５、４０６、
４０７はメモリ、４０８、４０９、４１０はエントロピー測定回路、４１１は比較回路、４１２はセレクタ、４
１３は符号化回路、４１４はビットスタッフ処理回路、
４１５はスイッチ、４１６、４１７、４１８は信号線、
４１９は符号出力部である。

【００６８】本実施の形態では８ビットのモノクロ画像データを符号化するものとして説明する。 しかしながら本発明はこれに限らず、第１の実施の形態と同様にカラー多値画像符号化に適用可能である。 また、画像領域の各画素の状態を示す多値画像データを符号化する場合、
例えば各画素の色についてカラーテーブルへのインデックス値で示し、これを符号化する場合にも適用できる。

【００６９】まず、符号化される多値画像データが画像入力部５０１から入力され、フレームメモリ５０２に格納される。 ブロック切り出し回路４０３はフレームメモリ４０２に格納される画像データを１２８×１２８の大きさのブロックに分割し、左上隅から順に取り出してメモリ４０５に格納する。

【００７０】最初スイッチ４１５は端子aに接続しておく。 離散ウェーブレット変換回路４０４はメモリ４０５
に格納される１２８×１２８の画像ブロックに対して離散ウェーブレット変換を施し、ＬＬ（１）、ＨＬ
（１）、ＬＨ（１）、ＨＨ（１）の４つの周波数帯域の変換係数を生成する。 本実施の形態において、画像データ列ｘ（ｎ）に対する離散ウェーブレット変換は次式によって行われる。

【００７１】 r（ｎ）＝〔（ｘ（２ｎ）＋ｘ（２ｎ＋１））／２〕 d（ｎ）＝ｘ（２ｎ＋２）−ｘ（２ｎ＋３））＋〔（−
ｒ（ｎ）＋ｒ（ｎ＋２）＋２）／４〕

【００７２】なお、〔ａ〕はａを越えない最大の整数値であることを示す。 r（ｎ）、d（ｎ）は変換係数であり、r（ｎ）は低周波成分、d（ｎ）は高周波成分である。 本変換式は一次元のデータに対するものであるが、
この変換を水平方向、垂直方向の順に行なうことで図６
の様に２次元の変換を行なう。

【００７３】変換係数はスイッチ４１５を通じてメモリ４０６に格納される。 次にスイッチ４１５を端子bに接続し、更に、ＬＬ（１）に対して同様にウェーブレット変換を施し、ＬＬ（２）、ＨＬ（２）、ＬＨ（２）、Ｈ
Ｈ（２）、ＨＬ（１）、ＬＨ（１）、ＨＨ（１）の７つの周波数帯域の変換係数を生成する。 これらはスイッチ４１５を通じてメモリ４０７に格納する。

【００７４】エントロピー測定回路４０８はメモリ４０
５に格納される画像ブロックの無記憶エントロピーを測定し、出力する。 エントロピー測定回路４０９も同様にメモリ４０６に格納される変換係数の無記憶エントロピーを測定し、出力する。 但し、エントロピー測定回路４
０９でのエントロピーは周波数帯域に分けて測定するものとする。 即ち、出力されるエントロピーは、 Ｈ＝（Ｈ _LL(1) ＋Ｈ _HL(1) ＋Ｈ _LH(1) ＋Ｈ _HH(1) ／１６） によって求める。 式においてＨ _LL(1) 、Ｈ _HL(1) 、Ｈ
_LH(1) 、Ｈ _HH(1)はそれぞれＬＬ（１）、ＨＬ（１）、Ｌ
Ｈ（１）、ＨＨ（１）の無記憶エントロピーを示す。 エントロピー測定回路４１０も同様にしてメモリ４０７に格納される変換係数の無記憶エントロピーを測定し、出力する。 この場合も周波数帯域に分けてエントロピーを測定する。 出力されるエントロピーは次式によって求める。

【００７５】Ｈ＝（Ｈ _LL(2) ＋Ｈ _HL(2) ＋Ｈ _LH(2) ＋Ｈ
_HH(2) ／１６）＋（Ｈ _HL(1) ＋Ｈ _LH(1) ＋Ｈ _HH(1) ／４） 式においてＨ _LL(2) 、Ｈ _HL(2) 、Ｈ _LH(2) 、Ｈ _HH(2) 、Ｈ
_HL(1) 、Ｈ _LH(1) 、Ｈ _HH(1)はそれぞれＬＬ（２）、ＨＬ
（２）、ＬＨ（２）、ＨＨ（２）、ＨＬ（１）、ＬＨ
（１）、ＨＨ（１）の無記憶エントロピーを示す。

【００７６】比較回路４１１はエントロピー測定回路４
０８、４０９、４１０の出力するエントロピーの値を比較し、最小の値を示す値をセレクタ４１２に出力する。
エントロピー測定回路４１０からの出力値が最も小さい場合には「２」、エントロピー測定回路４０９の出力値が最も小さい場合には「１」、それ以外の場合には「０」を出力する。

【００７７】セレクタ４１２は比較回路４１１の出力値を参照して、信号線４１６、４１７、４１８の何れかエントロピーの最小の系列を選択して出力する。 具体的には比較回路４１１の出力値が「０」の場合には信号線４
１６の系列を、「１」の場合には信号線４１７の系列を、「２」の場合には信号線４１８の系列を選択して出力する。

【００７８】符号化回路４１３は入力されるデータ列を符号化し、符号列を生成・出力する。 符号化回路４１３
での符号化の方法は先に述べた第１の実施の形態における符号化回路１０４と同じである。 但し、第１の実施の形態においてはＨＬ、ＬＨ、ＨＨの各周波数帯域毎にブロック分割処理を行なったが、本実施の形態においては周波数帯域を意識することなく１２８×１２８のブロックを符号化対象ブロックとして適宜分割しながら符号化する。

【００７９】ビットスタッフ処理回路４１４は符号化回路４１３の出力する符号列にブロック境界を示すマーカとウェーブレット変換のレベル数を付加し、更に符号列とマーカを区別するためにビットスタッフ処理によりマーカ領域を確保する。 まず、符号化回路４１３の出力符号列の先頭に８ビットで１６進「ＦＦ」、即ち「１１１
１１１１１」を付加する。 それに続いて、比較回路４１
１の出力に１２８を加え、これを同じく８ビットで表現して付加する。 例えば比較回路の出力が「１」である場合、１６進「ＦＦ８１」、即ち「１１１１１１１１１０
０００００１」が先頭に付加される。

【００８０】次に符号化回路４１３の出力符号列をバイト境界、即ち８ビット毎に区切って１６進「ＦＦ」であればそのすぐ後ろに０を挿入して出力する。 これにより、バイト毎に符号列を見た場合に１６進「ＦＦ」に続く１バイトが１６進「８０」以上の値であれば、それは１２８×１２８のブロックの先頭を表すマーカであることが分かり、その値からウェーブレット変換のレベルも分かる。

【００８１】図５は本実施の形態におけるブロック毎のウェーブレット分割の様子を模式的に示したものである。 あるブロックはウェーブレット変換しないで符号化され、またあるブロックは１レベル或いは２レベルのウェーブレット変換を施して符号化される。 図８は図５の左上隅のブロックから横につながる３ブロックに対する出力符号を示したものである。

【００８２】符号出力部４１９は生成した符号の出力を行なう。 符号出力部４１９は、例えばハードディスクやメモリといった記憶装置、ネットワーク回線へのインターフェース等である。

【００８３】以上の処理により、多値画像データの符号化を効率良く行なうことができる。 なお、生成された符号列には画像のサイズ、１画素当たりのビット数など復号に必要な情報が適宜付加されるものとする。 本実施の形態においてはブロック毎に適切なウェーブレット変換のレベル数が選択されているため画像の局所的な性質に応じた高能率な符号化が可能な上、ブロック毎に区切られているため、見たい部分のみをすばやく復号することが可能である。

【００８４】（その他の実施の形態）本発明は上述した実施の形態に限定されるものではない。 例えば、離散ウェーブレット変換は本実施の形態で使用したものに限定されるものではない。 また変換係数の符号化方法としてＪＰＥＧ可逆プロセスやブロック分割に基づく手法を示したが、その他の手法を用いても構わないことは言うまでもない。

【００８５】また、適切な変換手段適用の回数を決定する方法として、実際の符号長の比較、エントロピーの比較を利用した実施の形態を示したが、これに限らず、例えば、同一画素値の連続状況や、画像或いはブロックで使用されている階調数などを指標としてこれを決定することもできる。

【００８６】なお、本発明は複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタ等）から構成されるシステムの一部として適用しても、１つの機器（例えば複写機、ファクシミリ装置、デジタルカメラ等）からなる装置の１部に適用してもよい。

【００８７】また、本発明は上記実施の形態を実現するための装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ（CPU或いはMPU）
に、上記実施の形態を実現するためのソフトウエアのプログラムコードを供給し、このプログラムコードに従って上記システム或いは装置のコンピュータが上記各種デバイスを動作させることにより上記実施の形態を実現する場合も本発明の範疇に含まれる。

【００８８】またこの場合、前記ソフトウエアのプログラムコード自体が上記実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体は本発明の範疇に含まれる。

【００８９】この様なプログラムコードを格納する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。

【００９０】また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼動しているOS（オペレーティングシステム）、或いは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。

【００９１】更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。

【００９２】以上説明した様に上記各実施の形態によれば、適切な変換回数（レベル）で、画像データを複数の周波数帯域に対応する係数に変換することができるので、画像データを効率良く符号化できる。 特に、離散ウェーブレット変換を用いた画像符号化において、種々の特性を有する画像データを適切なレベルまでウェーブレット変換でき、符号化効率が良い。 また符号化対象となる画像をブロックに分割し、ブロック毎に上述したレベルの選択を行えば、画像の局所的性質に応じた適切なレベルが選ばれるので、更に効率の良い符号化が実行される。

【００９３】

【発明の効果】以上説明した様に本発明によれば、様々な特性を有する画像を効率良く符号化することができる。 特に、入力画像を複数の周波数帯域に変換できる構成において、符号化対象となる画像の特性に応じて効率の良い符号化を行うことができる。

【図面の簡単な説明】

【図１】第１の実施の形態のブロック図

【図２】離散ウェーブレット変換繰り返しの様子を示す図

【図３】マルチプレクサ１１８による符号列の連結の様子を示す図

【図４】第２の実施の形態のブロック図

【図５】ブロック分割及び離散ウェーブレット変換が施された様子を示す模式図

【図６】２次元の離散ウェーブレット変換を施す様子を示す図

【図７】符号化回路１０４及び４１３の処理の流れを示す図

【図８】第２の実施の形態で出力される符号化データ列の一例を示す図

【符号の説明】

１０１ 画像入力部 １０２ 画像データを格納するフレームメモリ １０３ 離散ウェーブレット変換回路 １０４ 符号化回路 １０５ 符号化回路 １０６ 符号化回路 １０７ マルチプレクサ １０８ メモリ １０９ メモリ １１０ メモリ １１１ メモリ １１２ 符号量カウンタ １１３ 符号量カウンタ １１４ 比較回路 １１５ セレクタ １１６ スイッチ １１７ スイッチ １１８ マルチプレクサ １１９ 符号出力部