【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は画像信号の周波数領域だけでなく空間領域での局在性を生かす離散ウェーブレット変換で入力画像を複数帯域に分割し再生画像の画質低下を抑えかつ高能率符号化を実現する画像帯域分割符号化装置に関する。

【０００２】

【従来の技術】たとえば特開平５−２６０４５２号公報に示す従来例の画像帯域分割符号化装置は図１５のように、帯域分割部１ａは、まずデジタル化入力画像信号１
１に対し、高域通過フィルタリング／水平サブサンプリング部１０１と低域通過フィルタリング／水平サブサンプリング部１０２それぞれで、周波数領域の高域と低域に分割し水平方向に２：１ダウンのサブサンプリング（１つおきの間引き処理）をし、水平方向高域と低域信号ＨとＬを生成する。 つぎにＨとＬそれぞれに対し、高域通過フィルタリング／垂直サブサンプリング部１０３
と低域通過フィルタリング／垂直サブサンプリング部１
０４それぞれで、周波数領域の高域と低域に分割し垂直方向に２：１ダウンのサブサンプリングをし、ＨとＬそれぞれの垂直方向高域／低域信号ＨＨ／ＨＬとＬＨ／Ｌ
Ｌを生成する。 量子化部５ａは、帯域分割部１ａから分割された各帯域信号ＨＨとＨＬとＬＨとＬＬごとの分散を計算し、分散の大きい帯域ほど多くのビット数を配分する適応ビット配分法で周波数領域での信号電力値の局在性に応じ情報量を割当てるように制御し、量子化出力信号１４を生成する。

【０００３】上記従来例の画像帯域分割符号化装置は、
入力画像信号を周波数領域で分割する各帯域信号ごとの分散値だけに基づく適応ビット配分による情報圧縮をする符号化方式（周波数領域ベース符号化方式）を採る。

【０００４】

【発明が解決しようとする課題】上記のような従来の画像帯域分割符号化装置では、周波数分割された各帯域信号に対しその分散値に応じたビット数を配分する符号化方式を採るから、周波数領域での信号電力値の局在性に応じ情報を圧縮できても、空間領域での局在性（エッジ等の不連続部分、非定常部分の局所的性質）には適応できず、再生画像の画質が局所的に劣化する問題点があった。

【０００５】この発明が解決しようとする課題は、画像帯域分割符号化装置で再生画像の画質低下を抑えかつ高能率符号化を実現するように、空間・周波数両領域での局所的信号特徴を反映する離散ウェーブレット変換の局在性検出能力／多重解像度解析能力を利用し情報圧縮をする符号化方式（空間・周波数両領域ベース符号化方式）を提供することにある。

【０００６】

【課題を解決するための手段】この発明の画像帯域分割符号化装置は、上記課題を解決するためつぎの手段を設け、空間・周波数両領域ベース符号化方式を採ることを特徴とする。

【０００７】離散ウェーブレット変換部は、２次元ウェーブレットを複数Ｎ段階に階層的に配置し、入力画像信号を３Ｎ＋１帯域に分割する変換係数信号として出力する。

【０００８】閾値設定部は、離散ウェーブレット変換部からの変換係数信号が低解像度成分ほど保存されるように、解像度が２倍になる度に定数倍する閾値を設定する。

【０００９】閾値処理判定部は、離散ウェーブレット変換部から３Ｎ＋１帯域に分割する各変換係数信号の絶対値を計算し、閾値設定部から解像度が２倍になる度に変化する閾値と比較する。 各変換係数の絶対値が当該閾値以上ならば有意、未満ならば非有意と判定する。

【００１０】閾値処理再判定部は、閾値処理判定部からの判定結果を参照する。 画像中の同じ位置を表現する変換係数のうち最低から最高解像度まで１つずつたどる道筋内のうち着目する解像度より低解像度の変換係数に対して１つでも非有意の判定であれば、または着目する解像度より１／２倍だけ低解像度または２倍だけ高解像度の変換係数に対して非有意の判定であれば、絶対値によらず当該変換係数を非有意と再判定する。 または非有意の判定回数に比例する値だけ上方修正する閾値で当該変換係数を再判定する。 または着目する解像度より低解像度の変換係数または着目する解像度を含むすべての変換係数に対して、非有意の判定回数に比例する値だけ上方修正する閾値で当該変換係数で再判定する。 再判定結果を変換係数制御部に出力する。

【００１１】閾値処理エッジ判定部は、閾値処理判定部からの判定結果を参照する。 着目する変換係数に対して有意の判定であり、当該変換係数と同じ信号帯域内で空間的に隣接する位置にある変換係数に対して１つ以上有意の判定であれば、引き続く処理によらず当該変換係数を有意と判定する。 エッジ成分を保存する判定結果を変換係数制御部または閾値処理再判定部に出力する。

【００１２】変換係数制御部は、閾値処理判定部からの判定結果に従い、離散ウェーブレット変換部から各変換係数信号の値を有意のときはそのままとし、非有意のときは零に変更するように制御する。

【００１３】量子化部は、変換係数制御部から有意と判定された各変換係数信号だけ統計的性質に適する量子化を施し、量子化出力信号を生成する。

【００１４】

【作用】この発明の画像帯域分割符号化装置は上記手段で、まずデジタル化した入力画像信号にＮ階層の離散ウェーブレット変換を施し３Ｎ＋１帯域の変換係数信号を生成する。 つぎに大局的な情報を表現し視覚的に重要な低解像度の変換係数ほど保存されるように設定する、解像度ｒ（解像度の小さいほうから２倍ごとの順にｒ＝
１，２，…，Ｎ）が一つ上がる度に定数Ｃ倍する閾値Ｔ
ｈ _r （＝Ｃ・Ｔｈ _{r- 1} ）と各変換係数信号の絶対値とを比較し、当該変換係数に対し有意／非有意の判定結果を生成する。 さらに有意のときだけ保存する当該変換係数信号に量子化を施し量子化出力信号を生成する。 または閾値処理再判定部／閾値処理エッジ判定部を設け、当該変換係数の条件に従い再判定をし、画像信号中のエッジ成分を反映するように判定をする。

【００１５】

【実施例】この発明を示す一実施例の画像帯域分割符号化装置は図１のように、離散ウェーブレット変換部１
は、まずデジタル化入力画像信号１１に対し、第１段の２次元ウェーブレットで離散ウェーブレット変換を施し、空間・周波数両領域で４帯域（解像度ｒ＝１）の変換係数信号ＨＨ _NとＨＬ _NとＬＨ _NとＬＬ _Nに分割し出力する。 つぎに当該変換係数信号ＬＬ _Nに対し、第２段の２次元ウェーブレットで同じに４帯域（解像度ｒ＝
２）の変換係数信号ＨＨ _N-1とＨＬ _N-1とＬＨ _N-1とＬ
Ｌ _N-1に分割し出力する。 以下同じ処理を繰返し適用する。 最後に当該変換係数信号ＬＬ ₂に対し、第Ｎ段の２
次元ウェーブレットで同じに４帯域（解像度ｒ＝Ｎ）の変換係数信号ＨＨ ₁とＨＬ ₁とＬＨ ₁とＬＬ ₁に分割し出力する。 閾値設定部２は、離散ウェーブレット変換部１からのある閾値以上の変換係数だけを保存しその他を削除すれば、視覚的に重要な情報だけ保存できることを考慮し、低解像度の変換係数（大局的な情報を表現し視覚的に重要である）ほど保存されるように、解像度ｒ
（解像度の小さいほうから２倍ごとの順にｒ＝１、２、
…、Ｎと番号づける）が一つ上がる度に定数Ｃ倍する閾値Ｔｈ _r （＝Ｃ・Ｔｈ _r-1 ）を設定する。 Ｃ＝１の場合は全ての解像度の変換係数を固定閾値で処理することを意味する。 また可変閾値処理のレート歪特性は定数Ｃが大きくなるにつれ向上し、Ｃが３から４あたりで最良となる。 閾値処理判定部３は、離散ウェーブレット変換部１から３Ｎ＋１帯域に分割する各変換係数信号ＬＬ ₁ 、
ＬＨ ₁ 、…、ＨＬ _N 、ＨＨ _Nの絶対値を計算し、閾値設定部２から解像度ｒごとに変化する閾値Ｔｈ _r １２と比較する。 各変換係数の絶対値が当該閾値Ｔｈ _r １２以上ならば「保存」（有意）、未満ならば「削除」（非有意）と判定する。 変換係数制御部４は、閾値処理判定部３からの判定結果１３に従い、離散ウェーブレット変換部１から各変換係数信号ＬＬ ₁ 、ＬＨ ₁ 、…、ＨＬ _N 、
ＨＨ _Nの値を「保存」のときはそのままとし、「削除」
のときは零に変更するように、それぞれ制御する。 量子化部５は、変換係数制御部４から保存する有意の各変換係数信号だけ統計的性質に適する量子化を施し、量子化出力信号１４を生成する。

【００１６】上記実施例の画像帯域分割符号化装置は、
空間・周波数両領域での局所的信号特徴を反映する離散ウェーブレット変換の局在性検出能力を利用し情報圧縮をする符号化方式（空間・周波数両領域ベース符号化方式）を採る。

【００１７】離散ウェーブレット変換部は、複数Ｎ段階の２次元ウェーブレットによる変換係数で、基底関数の空間・周波数両領域での局在性のため特定の位置・周波数を中心として局在する信号特徴を表現している。 絶対値の大きな変換係数は一般に画像の重要な特徴であるエッジ等の不連続部分に、絶対値の小さな変換係数はなめらかな部分に対応する。 また変換係数は画像を異なる解像度で観測し多重解像度表現し、縦・横・斜めの各方向別に解像度ｒが一つ上がる（解像度が２倍になる）度に４分割する木構造を持つ。 各４分木内の変換係数を最低から最高解像度まで１つずつたどる道筋内の変換係数は、画像のほぼ同じ位置の特徴を異なる解像度で表現する。 これらの特徴は、基底関数の自己相似性のため画像中に内在する自己相似性を反映している。

【００１８】なお上記実施例で閾値処理判定部３は、離散ウェーブレット変換の局在性検出能力を利用して同じ解像度の変換係数ごとに可変閾値処理判定をするとして説明したが、図２のように閾値処理判定部３からの判定結果１３を参照し、各２次元ウェーブレットの変換係数で画像中の同じ位置を最低から最高解像度まで１つずつたどる道筋内のうち着目する解像度より低解像度の変換係数に対して１つでも「削除」の判定であれば、絶対値によらず当該変換係数を「削除」と再判定する閾値処理再判定部６を設け、離散ウェーブレット変換の多重解像度解析能力も利用して異なる解像度の変換係数間の関係を併用するようにしてもよい。 画質を大きく損わないで、さらに５〜１２％（Ｃ＝３の場合）の変換係数を削除できる。 閾値処理再判定部６は図３のように、まず縦・横・斜めの各方向の画像特徴を表現するごとに、たとえば３段階の２次元ウェーブレットで１０帯域に分割する変換係数を３分類する（図４参照）。 図４で縦方向の画像特徴を表現する変換係数ＬＨ ₁とＬＨ ₂とＬＨ ₃
は、横方向のエッジ等の縦方向の不連続成分をもつ。 横方向の画像特徴を表現する変換係数ＨＬ ₁とＨＬ ₂とＨ
Ｌ ₃は、縦方向のエッジ等の横方向の不連続成分をもつ。 斜め方向の画像特徴を表現する変換係数ＨＨ ₁とＨ
Ｈ ₂とＨＨ ₃は、斜め方向のエッジ等の不連続成分をもつ（以上図３の手順Ｓ１）。 つぎに同じ位置の画像特徴を異なる解像度で表現する、たとえば３階層の２次元ウェーブレットで１０帯域に分割する変換係数を対応づける（図４参照）。 図４で変換係数Ｆ（２，２）と同じ位置を２倍だけ高解度で表現する変換係数は、Ｆ（３，
３）とＦ（３，４）とＦ（４，３）とＦ（４，４）の互いに隣接する４つである。 同じに変換係数Ｆ（４，４）
と同じ位置を２倍だけ高解像度で表現する変換係数は、
Ｆ（７，７）とＦ（７，８）とＦ（８，７）とＦ（８，
８）である。 逆に変換係数Ｆ（４，４）およびＦ（８，
８）と同じ位置を１／２倍だけ低解像度で表現する変換係数はＦ（２，２）およびＦ（４，４）である。 従ってＦ（８，８）とＦ（４，４）とＦ（２，２）のように最高解像度から順次１／２倍だけ低解像度の変換係数と対応づけをしていくと、同じ位置の画像特徴を異なる解像度で表現する変換係数を各解像度で１つずつとなるように対応づけできる（以上図３の手順Ｓ２）。 さらに再判定対象の着目する変換係数と同じ位置の画像特徴を異なる解像度で表現する変換係数のうち、着目する解像度より低解像度の変換係数に対する閾値処理判定結果を参照し、当該変換係数の全ての判定が「保存」ならばそのままとし、それ以外の判定ならば「削除」と変更し、それぞれ次の変換係数に処理を移す（以上図３の手順Ｓ３〜
Ｓ５）。 たとえば４階層１３帯域に分割する場合、図５
のように解像度ごとの判定結果１３ｆ ₁とｆ ₂とｆ ₃とｆ ₄に対する判定パターンＰＴ１〜ＰＴ１６の「保存」
と「削除」の各判定を変更し、再判定パターンＰＭ１〜
ＰＭ５をもつ解像度ごとの再判定結果１５ｆ ₁とｆ ₂とｆ ₃とｆ ₄を生成する。 ここで変更前の判定パターンＰ
Ｔｊと変更後の再判定パターンＰＭｋの組合せ数ｊとｋ
は、ｊ＝１、２、…、２のＮ乗ベキ、ｋ＝１、２、…、
Ｎ＋１（Ｎは分割階層数）である。

【００１９】また上記実施例で閾値処理再判定部６は、
縦・横・斜めの各方向の同じ位置の画像特徴を異なる解像度で表現する変換係数のうち、着目する解像度より低解像度の変換係数に対して１つでも「削除」の判定であれば、絶対値によらず「削除」と再判定をするとして説明したが、図６のように着目する解像度より１／２倍だけ低解像度または２倍だけ高解像度の変換係数に対して「削除」の判定であれば、絶対値によらず「削除」と再判定をするようにしてもよい。 閾値処理再判定部６は図６のように、まず手順Ｓ１とＳ２は図３に対応する。 つぎに着目する変換係数が最低解像度のとき、閾値処理判定結果そのままとし、次の変換係数に処理を移す。 最低解像度でなく判定が「保存」のときだけ、着目する解像度より１／２倍だけ低解像度の変換係数に対する閾値処理判定結果を参照する（図６の手順Ｓ１１〜Ｓ１３）。
さらに当該変換係数の判定が「削除」のときだけ、着目する解像度より２倍だけ高解像度の変換係数に対する閾値判定結果を参照し、当該変換係数の判定が「削除」のときだけ、着目する解像度の変換係数に対する判定を「削除」と変更する（図６の手順Ｓ１４〜Ｓ１６とＳ
５）。 またそれ以外の判定のときは、閾値処理判定結果そのままとし、次の変換係数に処理を移す（図６の手順Ｓ１２とＳ１４とＳ１６）。 たとえば４階層１３帯域に分割する場合、図７のように解像度ごとの判定結果１３
ｆ ₁とｆ ₂とｆ ₃とｆ ₄に対する判定パターンＰＴ１〜
ＰＴ１６の「保存」と「削除」の各判定を変更し、再判定パターンＰＭ１〜ＰＭ９をもつ解像度ごとの再判定結果１５ａｆ ₁とｆ ₂とｆ ₃とｆ ₄を生成する。 ここで変更前の判定パターンＰＴｊと変更後の再判定パターンＰ
Ｍm の組合せ数ｊとm は、ｊ＝１、２、…、２のＮ乗ベキ、m ＝１、２、…、２Ｎ＋１である。

【００２０】また上記実施例で閾値処理再判定部６は、
図８のように着目する解像度より低解像度の変換係数に対して１つでも「削除」の判定であれば、「削除」の判定回数に比例する値だけ上方修正する閾値で当該変換係数を再判定するようにしてもよい。 閾値処理再判定部６
は図８のように、まず手順Ｓ１〜Ｓ４は図３に対応する。 つぎに着目する解像度より低解像度の変換係数に対する閾値判定処理結果で「削除」の判定回数を数え、当該判定回数に比例する値だけ当該閾値を上方修正する（図８の手順Ｓ２１とＳ２２）。 さらに当該上方修正閾値で閾値処理の再判定をし、次の変換係数に処理を移す（図８の手順Ｓ２３）。 たとえば４階層１３帯域に分割する場合、図９のように解像度ごとの判定結果１３ｆ ₁
とｆ ₂とｆ ₃とｆ ₄に対する判定パターンＰＴ１〜ＰＴ
１６の「保存」と「削除」の各判定に対応し、当該閾値の修正幅パターンＰＣ１〜ＰＣ１６による解像度ごとの再判定結果１５ｂｆ ₁とｆ ₂とｆ ₃とｆ ₄を生成する。
ここで判定パターンＰＴｊと閾値修正幅パターンＰＣｊ
の組合せ数ｊは、ｊ＝１、２、…、２のＮ乗ベキである。

【００２１】また上記実施例で閾値処理再判定部６は、
図１０のように着目する解像度より１／２倍だけ低解像度または２倍だけ高解度の変換係数に対して「削除」の判定であれば、「削除」の判定回数に比例する値だけ上方修正する閾値で当該変換係数を再判定するようにしてもよい。 閾値処理再判定部６は図１０のように、手順Ｓ
１とＳ２は図３、手順Ｓ１２〜Ｓ１６は図６および手順Ｓ２１〜Ｓ２３は図８にそれぞれ対応する。 たとえば４
階層１３帯域に分割する場合、図１１のように解像度ごとの判定結果１３ｆ ₁とｆ ₂とｆ ₃とｆ ₄に対する判定パターンＰＴ１〜ＰＴ１６の「保存」と「削除」の各判定に対応し、当該閾値の修正幅パターンＰＣ１〜ＰＣ１
６による解像度ごとの再判定結果１５Ｃｆ ₁とｆ ₂とｆ
₃とｆ ₄を生成する。 ここで判定パターンＰＴｊと閾値修正幅パターンＰＣｊの組合せ数ｊは、ｊ＝１、２、
…、２のＮ乗ベキである。

【００２２】また上記実施例で図１２のように、閾値処理判定部３からの判定結果１３を参照し、着目する変換係数と同じ信号帯域内で空間的に隣接する位置にある変換係数に対して１つ以上「保存」の判定であれば、画像信号中のエッジ成分を反映すると判断して引き続く処理によらず当該変換係数を「保存」と判定する閾値処理エッジ判定部７を設け、エッジ成分を的確に保存するようにしてもよい。 画質の劣化を抑えて画像情報を圧縮できる。 閾値処理エッジ判定部７は図１３のように、まず手順Ｓ１とＳ２は図３に対応する。 つぎにエッジ判定対象の着目する変換係数に対する閾値処理判定結果を参照し、当該変換係数の判定が「削除」ならばそのままとし、次の変換係数に処理を移す。 「保存」ならばどの方向の画像特徴を表現する変換係数かを判定する（図１３
の手順Ｓ３１とＳ３２）。 さらに縦と横と斜め各方向の画像特徴を表現するとき、それぞれ着目する変換係数（たとえば図１４のＦ（３，７）とＦ（７，２）とＦ
（７，６）参照）と空間的に上下と左右と斜め（右上・
左上・右下・左下）に隣接する位置にある変換係数（たとえば図１４のＦ（３，６）／Ｆ（３，８）とＦ（６，
２）／Ｆ（８，２）とＦ（８，５）／Ｆ（６，５）／Ｆ
（８，７）／Ｆ（６，７）参照）に対する閾値処理判定結果を参照し、当該変換係数の判定の１つ以上が「保存」ならばエッジ成分を反映すると判断し、着目する変換係数に対する判定を引き続く処理によらず「保存」に固定し、次の変換係数に処理を移す（図１３の手順Ｓ３
３〜Ｓ３７）。

【００２３】

【発明の効果】上記のようなこの発明の画像帯域分割符号化装置では、空間・周波数両領域での局所的信号特徴を反映する離散ウェーブレット変換の局在性検出能力／
多重解像度解析能力を利用し情報圧縮をする符号化方式を採るから、従来のように周波数領域を分割する各帯域信号ごとの分散値だけに基づく適応ビット配分による周波数領域ベース符号化方式に比べ、エッジ等の不連続部分に対応する可変閾値以上の変換係数を低解像度ほど保存するようにし、なめらか部分に対応するその他の変換係数を削除することにより、空間・周波数両領域での局在性を生かし情報圧縮できる。 また異なる解像度の変換係数間の関係を併用することにより、画質を大きく損わないでさらに情報圧縮できる効果がある。

【図面の簡単な説明】

【図１】 この発明を示す一実施例の画像帯域分割符号化装置の機能ブロック図。

【図２】 この発明を示す他の一実施例の機能ブロック図。

【図３】 図２に示す一実施例の閾値処理再判定部の機能を説明するフロー図。

【図４】 縦・横・斜め各方向の画像特徴を表現する変換係数と多重解像度表現をする変換係数間の関係を説明する図。

【図５】 図３を補足する再判定パターンを説明する図。

【図６】 図２に示す他の一実施例の閾値処理再判定部の機能を説明するフロー図。

【図７】 図６を補足する再判定パターンを説明する図。

【図８】 図２に示す他の一実施例の閾値処理再判定部の機能を説明するフロー図。

【図９】 図８を補足する閾値修正幅パターンを説明する図。

【図１０】 図２に示す他の一実施例の閾値処理再判定部の機能を説明するフロー図。

【図１１】 図１０を補足する閾値修正幅パターンを説明する図。

【図１２】 この発明を示す他の一実施例の機能ブロック図。

【図１３】 図１２に示す閾値処理エッジ判定部の機能を説明するフロー図。

【図１４】 着目する変換係数の同じ信号帯域内で空間的に隣接する位置にある変換係数を説明する図。

【図１５】 従来例の画像帯域分割符号化装置の機能ブロック図。

【符号の説明】

１ 離散ウェーブレット変換部、２ 閾値設定部、３
閾値処理判定部、４変換係数制御部、４ 変換係数制御部、５ 量子化部、６ 閾値処理再判定部、７ 閾値処理エッジ判定部、１１ 入力画像信号、１２ 閾値、１
３ 判定結果、１４ 量子化出力信号、１５ 再判定結果、１６ エッジ保存判定結果。 なお図中、同一符号は同一または相当部分を示す。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. ⁶識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 1/41 Ｂ (72)発明者 小野 文孝 鎌倉市大船五丁目１番１号 三菱電機株式 会社パーソナル情報機器開発研究所内