本発明は、画像処理装置、画像処理方法、プログラム及び記憶媒体に関する。

画像は、局所的な輝度変化の急峻さに応じて、平坦部、エッジ部、テクスチャ部に大別できる。平坦部は局所的な輝度変化が小さい部分であり、エッジ部は局所的な輝度変化が大きい部分である。一方、テクスチャ部はエッジ部ほど大きな輝度変化は伴わないものの、相対的に広い範囲において輝度変化が存在する部分である。

画像の質感を決定付けるのがテクスチャ部であり、画像のある領域においてテクスチャ部の輝度変化が大きければ相対的にざらついた印象を、逆に輝度変化が小さければ相対的になめらかな印象を与える。したがって、テクスチャ部の輝度変化を操作することができれば、画像の質感を制御することができる。

これに対して、エッジ部以外の部分を増幅し強調することで、画像全体のコントラストや鮮鋭度を向上させる技術が知られている(例えば特許文献1参照)。具体的には、入力画像と、この入力画像に対してエッジ保存平滑化処理を適用した平滑化画像とを減算処理した差分画像を生成し、この差分画像にゲイン係数を乗算する。そして、この乗算後の画像と平滑化画像とを加算することで、画像全体のコントラストや鮮鋭度を向上させた結果画像を得ている。

しかしながら、上記の従来技術においては、テクスチャ部分の強度をユーザが意図に沿うように容易に操作することはできない。これは、ゲイン係数は入力画像やその補正目的、画素の位置、テクスチャ強度等に基づいて決定すべき値であるものの、上記従来技術においては、ゲイン係数を入力画像の特性に合わせて動的に決定する方法は開示されておらず、予め決定された画像全体に一様な値、又は画素ごとに設定された値としているからである。

本発明の一実施形態は、上記の点に鑑みてなされたものであり、テクスチャ成分の強度が目標とする特性を満たすように容易に操作することができる画像処理装置、画像処理方法、プログラム及び記憶媒体を提供することを目的とする。

上記目的を達成するため、本発明の一実施形態では、原画像データを処理する画像処理装置であって、前記原画像データに対して、エッジ保存平滑化フィルタを用いて平滑化処理を行うことで、エッジ成分を含む平滑化画像データを生成する第1の生成手段と、前記原画像データと前記平滑化画像データとの差分画像である第1の差分画像データを生成する第2の生成手段と、前記第1の差分画像データから差分値の頻度ヒストグラムである差分値ヒストグラムを生成するヒストグラム生成手段と、前記差分値ヒストグラムから前記第1の差分画像データに対する補正量を算出し、該補正量を用いて前記第1の差分画像データを補正した第2の差分画像データを生成する第3の生成手段と、前記平滑化画像データと前記第2の差分画像データとを合成する合成手段と、を有することを特徴とする。

本発明の一実施形態によれば、テクスチャ成分の強度が目標とする特性を満たすように容易に操作することができる。

第1の実施形態に係る画像処理装置の一構成例を示す図である。

第1の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。

第1の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。

第2の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。

第2の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。

第3の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。

第3の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。

累積頻度ヒストグラムの一例を示す図である。

第4の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。

第4の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。

第5の実施形態に係る画像処理装置の一構成例を示す図である。

第5の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。

第5の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

[第1の実施形態] <画像処理装置の構成> 本実施形態における画像処理を実行可能な画像処理装置の一構成例について説明する。図1は、第1の実施形態に係る画像処理装置の一構成例を示す図である。

図1に示すように、画像処理装置500は、CPU(Central Processing Unit)501、ROM(Read Only Memory)502、RAM(Random Access Memory)503、記憶装置504を備える。更に、表示部505、入力部506、インタフェース部507を備える。なお、画像処理装置500の各部は、バス508を介して相互に接続されているものとする。

CPU501は、記憶装置504に格納されたプログラムを実行するコンピュータである。

ROM502は不揮発性メモリである。ROM502は、記憶装置504に格納されたプログラムをCPU501が実行するために必要な各種プログラム、データ等を格納する。具体的には、BIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラムなどを格納する。

RAM503は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の主記憶装置である。RAM503は、記憶装置504に格納されたプログラムがCPU501によって実行される際に展開される、作業領域として機能する。

記憶装置504は、画像処理部510として機能するプログラムと画像データ520とを格納する。なお、画像処理部510として機能するプログラムには、更に、画像平滑化部511として機能するプログラムと、画像演算部512として機能するプログラムと、画像補正部513として機能するプログラムとが含まれる。更に、画像平滑化部511が平滑化処理を行う際に用いるエッジ保存平滑化フィルタ514が含まれる。

画像処理装置500では、画像処理部510として機能するプログラムが、CPU501により実行されることで、画像データ(原画像データ)520に対して、以下に示す画像処理を実行する。 ・画像データ520に対してエッジ保存平滑化処理を行い、エッジ成分を含む平滑化画像データを生成する。 ・画像データ520を平滑化画像データで減算処理し、画像データ520からテクスチャ成分のみ抽出した差分画像データを抽出する。 ・差分画像データからヒストグラムを生成し、このヒストグラムから差分画像データに対する補正量を算出する。 ・算出した補正量を用いて差分画像データを補正し、補正後差分画像データを生成する。 ・平滑化画像データと補正後差分画像データとを合成し、合成画像データを生成する。

表示部505は、画像処理部510による画像処理前の画像データ520及び画像処理後の画像データ(合成画像データ)を表示する。また、画像平滑化部511による平滑化処理に際して、エッジ保存平滑化フィルタ514のパラメータを設定するための設定画面を表示する。

入力部506は、画像処理装置500に対して各種操作(画像処理部510に対する画像処理の実行指示やパラメータの設定操作)を行うための操作部材であり、例えば、マウスやキーボード等が含まれる。

インタフェース部507は、外部装置と接続し、画像処理部510により画像処理される画像データを受信したり、画像処理された画像データを外部装置に送信したりする。

<画像処理装置における画像処理部の機能構成> 次に、画像処理装置500の画像処理部510の機能構成について説明する。図2は、第1の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。まず、図2に示すように、画像データ(原画像データ)520は、画像平滑化部511に入力される。

画像データ520が入力された画像平滑化部511では、エッジ保存平滑化フィルタ514を用いて、画像データ520に対して平滑化処理を行うことで、画像データ(平滑化画像データ)610を生成する。

エッジ保存平滑化フィルタ514は、エッジ部分のような輝度変化が急な部分を維持しながら他の部分を平滑化することができる。一般に、エッジ保存平滑化フィルタを用いずに、通常の平滑化フィルタを用いた場合、エッジ部分が損なわれてしまう。このため、エッジ保存平滑化フィルタを用いることで、一般的な平滑化フィルタを用いて画像を処理する場合のような、エッジ部分を復元するための処理が不要である。さらに、通常の平滑化フィルタを用いて作成した差分画像データを強調すると、エッジ近傍にハローと呼ばれる明るい縁取りや暗い縁取りが発生する場合があるが、エッジ保存平滑化フィルタを用いることで、このような不具合を回避することができる。

したがって、生成される画像データ610は、画像データ520に含まれる、抽象的な構造成分とエッジ成分とにより構成される。生成された画像データ610は、画像データ520とともに画像演算部512に入力される。

画像データ520と画像データ610とが入力された画像演算部512では、画像データ520と画像データ610との差分値を算出することで、差分画像である画像データ(差分画像データ)620を生成する。つまり、画像データ620は、画像データ520に含まれる詳細な構造成分であるテクスチャ成分から構成されており、エッジ成分は含まれない。生成された画像データ620は、画像補正部513に入力される。

画像データ620が入力された画像補正部513では、画像データ620の画素ごとの値(画像データ520と画像データ610との差分値)をヒストグラムにまとめた差分値ヒストグラム630を生成する。生成された差分値ヒストグラム630と画像データ620は、画像補正部513に入力される。

差分値ヒストグラム630と画像データ620とが入力された画像補正部513では、差分値ヒストグラム630から画像データ620に対する補正量を決定し、この補正量を用いて画像データ620を補正し、画像データ(補正後画像データ)640を生成する。画像データ610と画像データ640は、画像演算部512に入力される。補正量は、差分値ヒストグラム630の形状や代表値、統計量などが所定の目的に合致するように操作することで決定する。

画像データ610と画像データ640とが入力された画像演算部512では、画像データ610と画像データ640とを合成することで、合成画像である画像データ(合成画像データ)650を生成する。画像データ650は、画像データ520のテクスチャ成分が補正された画像である。つまり、ユーザは、差分値ヒストグラム630から補正量を決定し、この決定した補正量で補正した画像データ(補正後差分画像データ)640と画像データ(原画像データ)520とを合成することで、原画像データのテクスチャ成分を操作した画像データ650を生成することができる。

<画像処理の流れ> 次に、画像処理装置500による画像処理の流れについて説明する。図3は、第1の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。ユーザからの指示により、図3に示す画像処理が開始される。

ステップS301では、記憶装置504に記憶されている画像データ(原画像データ)520を読み出す。なお、記憶装置504に記憶されている画像データ520は、例えばCD、DVD、HDDなどの記録メディアやネットワークストレージに保存されていたものを、インタフェース部507を介して読出し、記憶したものである。あるいは、不図示の画像読み取り部において読み取られたものを、インタフェース部507を介して取得し、記憶したものである。

ステップS302では、画像平滑化部511は、読み出された画像データ520に対して、エッジ保存平滑化フィルタ514を用いて平滑化処理を行い、画像データ(平滑化画像データ)610を生成する。なお、このとき、表示部505は、エッジ保存平滑化フィルタ514のパラメータを設定するための設定画面を表示し、画像平滑化部511は、設定されたパラメータで平滑化処理を行う。

なお、エッジ保存平滑化フィルタ514としては、例えば、メディアンフィルタのほか、Bilateral Filter、Joint Bilateral Filter、Guided Filter、εフィルタ等が挙げられる。

なお、Joint Bilateral Filterは、Cross Bilateral Filterとも呼ばれる。

ステップS303では、画像演算部512は、画像データ520と画像データ610との差分値を算出し(つまり、画像データ520を画像データ610により減算処理し)、画像データ520からテクスチャ成分のみ抽出した画像データ(差分画像データ)620を生成する。なお、画像データ620は、符号付きの値で生成してもよいし、値と符号とを分けて生成してもよい。

ステップS304では、画像補正部513は、画像データ(差分画像データ)620から差分値ヒストグラム630を生成する。差分値ヒストグラム630は、画像データ620における各差分値(画素値)の出現回数又は出現頻度を記録したものである。なお、差分値ヒストグラム630のビン(階級)はすべての差分値に対して用意してもよいし、複数の差分値をまとめる(例えばある範囲内の差分値のビンを用意する)ことでビン数を削減してもよい。また、画像データ620のすべての画素を用いて差分値ヒストグラム630を作成してもよいし、画像データ620を所定の刻み幅ごとにサンプリングして差分値ヒストグラム630を作成してもよい。

ステップS305では、画像補正部513は、差分値ヒストグラム630から画像データ(差分画像データ)620を補正するための補正量を決定し、この補正量を用いて画像データ620を補正し、画像データ(補正後画像データ)640を生成する。なお、補正量の決定は、予め与えられた目標となる値を基準にして算出する。目標となる値は、例えば、差分値ヒストグラム630の平均、分散、尖度、歪度などの統計量、最大値、最小値、幅などのコントラスト、平均値、中央値、最頻値などの代表値が挙げられる。補正量は、このような目標となる値と、差分値ヒストグラム630におけるこの目標となる値と対応する値との差や比として算出することができる。つまり、例えば、差分値ヒストグラム630の最頻値が、目標となる値と一致するように、補正量を算出する。なお、補正量として算出される値は、前述のように一つの値である場合に限られず、例えば、差分値ヒストグラム630の値域を複数の区間に分割し、区間ごとに前述の方法により算出して得られた複数の値の集合であってもよい。

ステップS306では、画像演算部512は、画像データ610と画像データ640とを合成し(つまり、画像データ610と画像データ640とを加算処理し)、合成画像である画像データ(合成画像データ)650を生成する。ステップS307では、画像データ650を出力する。

なお、上記のステップS304において、差分値ヒストグラム630は、各差分値をそのまま利用して生成したが、例えば各差分値の絶対値を利用して生成してもよい。また、このように各差分値の絶対値を利用して差分値ヒストグラム630を生成する場合(つまり、ビンを正の値のみに限定してヒストグラムを生成する場合)、上記のステップS303において、画像データ520と画像データ610との差分値の絶対値から画像データ620を生成してもよい。

ただし、上記のように、各差分値の絶対値を利用する場合は、別途、各差分値の符号を記憶して、下記のいずれかの処理を行う必要がある。 (a)ステップS305において、画像データ(差分画像データ)620を補正する際に、画素ごとに対応する符号を付与する (b)ステップS306において、画像データ(平滑化画像データ)610と画像データ(補正後画像データ)640を合成する際に、画素ごとに対応する符号を付与した上で合成する

<まとめ> 以上のように、本実施形態に係る画像処理装置では、画像データ(原画像データ)と、この画像データにエッジ保存平滑化フィルタを用いて平滑化処理を行った画像データとの差分値からテクスチャ成分に相当する画像データ(差分画像データ)を生成する。そして、差分画像データに基づいて生成した差分値ヒストグラムの統計量や代表値などが、予め設定された目標値と一致するように適切に補正することで、テクスチャ成分の強度が目標とする特性を満たすように制御した画像データを生成することができる。すなわち、例えば、差分画像データを抑制する補正を行うことで結果画像(合成画像データ)におけるテクスチャ部の平滑度を上げることができ、逆に差分画像データを強調する補正を行うことで結果画像におけるテクスチャ部のざらつきを上げることができる。

[第2の実施形態] 次に、第2の実施形態に係る画像処理装置について説明する。本実施形態においては、予め与えられた差分値ヒストグラム(参照差分値ヒストグラム)を用いて、補正量を決定する。

<画像処理装置における画像処理部の機能構成> はじめに、本実施形態に係る画像処理装置500の画像処理部510の機能構成ついて説明する。図4は、第2の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。なお、上記第1の実施形態に係る画像処理装置500の画像処理部510との機能構成(図2)との相違点は、点線800に示す処理である。

具体的には、画像補正部513は、差分値ヒストグラム630と、ユーザにより予め与えられたヒストグラムである差分値ヒストグラム(参照差分値ヒストグラム)530とから補正量を決定し、この決定した補正量を用いて画像データ(差分画像データ)620を補正して、画像データ(補正後差分画像データ)640を生成する。このとき、画像補正部513は、差分値ヒストグラム630が差分値ヒストグラム530と一致する(又は近づく)ように、補正量を決定する。

なお、ユーザは、例えばCD、DVDなどの記録メディアに保存されている差分値ヒストグラム(参照差分値ヒストグラム)530をインタフェース部507を介して読み出して取得してもよいし、ネットワークを介して取得してもよい。

<画像処理の流れ> 次に、画像処理装置500による本実施形態における画像処理の流れについて説明する。図5は、第2の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。なお、上記第1の実施形態に係る画像処理装置500において実行される画像処理(図3)との相違点は、ステップS505に示す処理である。そこで、以下では、ステップS505に示す処理について説明する。

ステップS505では、画像補正部513は、差分値ヒストグラム630と差分値ヒストグラム(参照差分値ヒストグラム)530とから画像データ(差分画像データ)620を補正するための補正量を決定し、この補正量を用いて画像データ620を補正し、画像データ(補正後画像データ)640を生成する。このとき、画像補正部513は、差分値ヒストグラム630が差分値ヒストグラム530と一致する(又は近づく)ように、補正量を決定する。ここで、補正量の決定方法は、例えば、以下のようなものが挙げられる。

(a)統計量による補正 差分値ヒストグラム630から差分値の統計量を算出し、得られた統計量が差分値ヒストグラム530の統計量と一致するように、画像データ(差分画像データ)620に対してゲインやオフセットを与える方法である。統計量は、例えば、平均や分散などが挙げられる。また、ゲイン量は分散の平方根である標準偏差の比として、オフセット量は平均値の差にゲイン量を乗算したものとして算出することができる。

補正前の値をν₁、補正後の値をν₂、ゲイン量をg、オフセット量をbとすれば、補正処理は次の式で定義される。

ここで、ゲイン量gとオフセット量bは、差分値ヒストグラム630の平均と分散をそれぞれμ_in、σ_in²、差分値ヒストグラム530の平均と分散をそれぞれμ_ref、σ_ref²とすると、それぞれ次の式で与えられる。

(b)ヒストグラムのコントラスト補正 差分値ヒストグラム630の領域が、差分値ヒストグラム530の領域と一致するように、画像データ(差分画像データ)620に対してゲインやオフセットを与える方法である。補正処理の式は、上記(a)と同様であり、ゲイン量gとオフセット量bは、差分値ヒストグラム630の最小値と最大値をそれぞれmin_in、max_in、差分値ヒストグラム530の最小値と最大値をそれぞれmin_ref、max_refとすると、それぞれ次の式で与えられる。

なお、最大値と最小値は差分値ヒストグラムの値域の両端の値を用いてもよいし、差分値ヒストグラムの両端を基準にデータをある割合だけ除去して求めてもよい。差分値ヒストグラムの値域の両端に存在するデータを一部除去することで、いわゆる外れ値による影響を抑えることができる。同様の理由から、差分値ヒストグラムを混合分布モデルなどでモデル化して、得られた混合分布モデルからヒストグラムを作成し、差分値ヒストグラムの代わりに利用してもよい。

<まとめ> 以上のように、本実施形態に係る画像処理装置では、補正量を決定するための目標として差分値ヒストグラム(参照差分値ヒストグラム)530を用いることで、具体的な補正量を予め設定することなくテクスチャ成分の強度を制御することができる。

[第3の実施形態] 次に、第3の実施形態に係る画像処理装置について説明する。本実施形態においては、累積頻度ヒストグラムを用いて、補正量を決定する。すなわち、第2の実施形態における差分値ヒストグラム630及び参照差分値ヒストグラム530の代わりに、それぞれ、累積頻度ヒストグラム631及び累積頻度ヒストグラム(参照累積頻度ヒストグラム)531を用いて、補正量を決定する。

なお、累積頻度ヒストグラム(参照累積頻度ヒストグラム)531は、予め与えられたものであってもよいし、予め与えられた差分値ヒストグラム(参照差分値ヒストグラム)530から生成したものであってもよい。以降では、累積頻度ヒストグラム(参照累積頻度ヒストグラム)531は、予め与えられたものであるとして説明する。

<画像処理装置における画像処理部の機能構成> はじめに、本実施形態に係る画像処理装置500の画像処理部510の機能構成ついて説明する。図6は、第3の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。なお、上記第1の実施形態に係る画像処理装置500の画像処理部510との機能構成(図2)との相違点は、点線1000に示す処理である。

具体的には、画像補正部513は、画像データ(差分画像データ)620から累積頻度ヒストグラム513を生成する。また、画像補正部513は、累積頻度ヒストグラム631と、予め与えられたヒストグラムである累積頻度ヒストグラム(参照累積頻度ヒストグラム)531とから補正量を決定し、この決定した補正量を用いて画像データ620を補正して、画像データ640を生成する。このとき、画像補正部513は、累積頻度ヒストグラム631が累積頻度ヒストグラム531と一致する(又は近づく)ように、補正量を決定する。

<画像処理の流れ> 次に、画像処理装置500による本実施形態における画像処理の流れについて説明する。図7は、第3の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。なお、上記第1の実施形態に係る画像処理装置500において実行される画像処理(図3)との相違点は、ステップS704及びS705に示す処理である。そこで、以下では、ステップS704及びS705に示す処理について説明する。

ステップS704では、画像補正部513は、画像データ620から累積頻度ヒストグラム631を生成する。累積頻度ヒストグラム631は、差分値ヒストグラム630のある特定のビンまでのすべてのビンの累積を記録し、正規化したものである。なお、累積頻度ヒストグラム631は、例えば、次の手順で生成することができる。 (1)まず、差分値ヒストグラム630を作成する 画像データ(差分画像データ)620の各画素の値を参照し、差分値ヒストグラム630の対応するビンに投票する。これを画像データ620のすべての画素に対して繰り返す。なお、画像データ620のすべての画素を使わずに、例えば所定の刻み幅ごとにサンプリングして画素の値を参照し、ビンに投票してもよい。これにより、差分値ヒストグラム630の作成を高速化することができる。 (2)差分値ヒストグラム630を累積して差分値累積ヒストグラムを生成する これは、差分値累積ヒストグラムのN番目のビンの値に、差分値ヒストグラム630の先頭のビンからN番目のビンまでの累積値を設定すればよい。 (3)差分値累積ヒストグラムを正規化する 差分値累積頻度ヒストグラムの最終ビンの値で各ビンの値を除算し、すべてのビンの値が0から1の範囲に収まるようにする。これにより、累積頻度ヒストグラム631が生成される。

ステップS705では、画像補正部513は、累積頻度ヒストグラム631と累積頻度ヒストグラム(参照累積頻度ヒストグラム)531とから画像データ620を補正するための補正量を決定し、この補正量を用いて画像データ620を補正し、画像データ(補正後画像データ)640を生成する。このとき、画像補正部513は、累積頻度ヒストグラム631が累積頻度ヒストグラム531と一致する(又は近づく)ように、補正量を決定する。ここで、補正量の決定方法は、例えば、以下のようなものが挙げられる。

(a)ヒストグラムマッチング 累積頻度ヒストグラム631の形状が、累積頻度ヒストグラム(参照累積頻度ヒストグラム)531の形状と一致するように画像データ620の画素値を操作(補正)する方法である。画素値の操作方法としては、例えば、変換を行うためのルックアップテーブルを用いた変換があり、累積頻度ヒストグラム631の累積頻度が、累積頻度ヒストグラム531の累積頻度と一致するようにルックアップテーブルを設計すればよい。このようなルックアップテーブルの作成手順について、図8を用いてより具体的に説明する。図8は、累積頻度ヒストグラムの一例を示す図である。なお、図8(a)は累積頻度ヒストグラム631の一例を示しており、図8(b)は累積頻度ヒストグラム(参照累積頻度ヒストグラム)531の一例を示している。

上記のようなルックアップテーブルは、以下の手順で作成することができる。 (1)図8(a)の累積頻度ヒストグラム631において、ある値aに対応する累積頻度f₁を求める (2)図8(b)の累積頻度ヒストグラム531において、累積頻度がf₁となる値hを求める (3)上記(1)及び(2)で求めた値を対応付けて記憶する。すなわち、組(a,h)を記憶する (4)上記(1)〜(3)の手順を、累積頻度ヒストグラム631の値域全体に渡って繰り返す。すなわち、(b,i)、(c,j)、(d,k)・・・を記録する (5)上記(1)〜(4)で得られた値をテーブル化して、ルックアップテーブルとする ルックアップテーブルを作成したら、補正処理は画像データ(差分画像データ)620の値をルックアップテーブルに記載された対応する値に変換することで実現される。なお、ルックアップテーブルにおいて、累積頻度ヒストグラム631の値域ないに欠落している部分があれば、適宜、その欠落部分の周辺の値を用いて内挿又は外挿すればよい。また、一度作成したルックアップテーブルに対して、移動平均を行うなどして細かい変動を緩和してもよい。

なお、上記の図8に示した累積頻度ヒストグラムは、差分値の絶対値を用いたものを一例として示しているが、絶対値を用いない場合であっても同様の方法で実現することができる。

(b)曲線下面積 累積頻度ヒストグラムの形状を曲線下面積により代表させて補正量を決定し、画像データ(差分画像データ)620を操作(補正)する方法である。曲線下面積(AUC:Area Under the Curve)とは、ある曲線と、座標系の軸と、この曲線から軸へと下した垂線とに囲まれた領域の面積のことである。累積頻度ヒストグラム631の曲線下面積AUC_inと、累積頻度ヒストグラム(参照累積頻度ヒストグラム)531の曲線下面積AUC_refとをそれぞれ求め、その比(AUC比)を補正量とする。なお、曲線下面積を求める際には、各累積頻度ヒストグラムの値域全体で算出してもよいし、範囲を限定して算出してもよい。各累積頻度ヒストグラムの値域全体で算出すると、値域に部分的に存在する差異を捉えることができない場合があるため、必要に応じて適宜範囲を限定することが好ましい。

AUC比を用いた補正法の例としては、次のようなものが挙げられる。 ・AUC比をゲイン量として画像データ(差分画像データ)620の画素値に乗算する ・累積頻度ヒストグラム631の各差分値について、対応する累積頻度がAUC比倍となる値を探索して対応付けて記録し、上記の(a)に記載した手順と同様の手順でルックアップテーブルを作成し、このルックアップテーブルで画像データ(差分画像データ)620を変換する。すなわち、例えばAUC比がρである場合、累積頻度ヒストグラム631において差分値aの累積頻度をf₁とすると、累積頻度ヒストグラム531においてρf₁となる差分値αを求め、対応付けることでルックアップテーブルを作成する。

上記で例示した2つの補正法を用いるメリットは、これらの処理が非線形変換であり、線形変換よりも強度の制御の自由度が高いことにある。より具体的には、例えば、第2の実施形態で説明した統計量による補正やコントラストの補正などの線形変換の場合、テクスチャ成分の強度の全範囲に対して概ね同等の強度又は抑制の効果があるのに対して、上記で例示した2つの補正法では、テクスチャ成分の強度の範囲ごとに強調するか抑制するか、さらには強調や抑制の程度まで制御することができる。

<まとめ> 以上のように、本実施形態に係る画像処理装置では、補正量を決定するための目標として累積頻度ヒストグラム(参照累積頻度ヒストグラム)531を用いることで、具体的な補正量を予め設定することなくテクスチャ成分の強度を制御することができる。特に、補正量を決定する際に、ヒストグラムマッチングを行うことで、テクスチャ部分の凹凸の割合(輝度変化の割合)を目標とする割合に正確に一致させることができる。つまり、原画像のテクスチャ成分の強度を、目標とする強度に正確に一致させることができる。

[第4の実施形態] 次に、第4の実施形態に係る画像処理装置について説明する。本実施形態においては、テクスチャ成分の目標となる画像データ(参照画像データ)540が予め与えられている。そして、この与えられた画像データ(参照画像データ)540に対して、画像データ(原画像データ)520と同様に、累積頻度ヒストグラムを作成し、これらの累積頻度ヒストグラムから補正量を決定する。

<画像処理装置における画像処理部の機能構成> はじめに、本実施形態に係る画像処理装置500の画像処理部510の機能構成ついて説明する。図9は、第4の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。なお、上記第3の実施形態に係る画像処理装置500の画像処理部510との機能構成(図6)との相違点は、点線1200に示す処理である。

具体的には、ユーザにより予め与えられた画像データ(参照画像データ)540が入力された画像平滑化部511は、エッジ保存平滑化フィルタ514を用いて、画像データ540に対して平滑化処理を行うことで、画像データ(参照平滑化画像データ)541を生成する。生成された画像データ541は、画像演算部512に入力される。

また、画像データ540と画像データ541とが入力された画像演算部512では、画像データ540と画像データ541との差分値を算出することで、差分画像である画像データ(参照差分画像データ)542を生成する。生成された画像データ542は、画像補正部513に入力される。

さらに、画像データ542が入力された画像補正部513では、画像データ542の画素ごとの値(画像データ540と画像データ541との差分値)から累積頻度ヒストグラム(参照累積頻度ヒストグラム)532を生成する。生成された累積頻度ヒストグラム532は、画像補正部513に入力される。そして、その後、画像補正部513は、累積頻度ヒストグラム631と生成された累積頻度ヒストグラム532とを用いて、累積頻度ヒストグラム631が累積頻度ヒストグラム532と一致する(又は近づく)ように、補正量を決定する。

<画像処理の流れ> 次に、画像処理装置500による本実施形態における画像処理の流れについて説明する。図10は、第4の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。なお、上記第3の実施形態に係る画像処理装置500において実行される画像処理(図7)との相違点は、ステップS1005〜S1008に示す処理である。そこで、以下では、ステップS1005〜S1008に示す処理について説明する。なお、ステップS1005〜S1008に示す処理は、それぞれステップS301〜S303及びS704の処理とほとんど同様のため、適宜説明を簡略化する。

ステップS1005では、画像データ(参照画像データ)540を読み出す。なお、画像データ(参照画像データ)540は、記憶装置504に記憶されていてもよいし、例えばCD、DVD、HDDなどの記録メディアやネットワークストレージに保存されていたものを、インタフェース部507を介して読出してしてもよい。あるいは、不図示の画像読み取り部において読み取られたものを、インタフェース部507を介して取得し、記憶したものであってもよい。

ステップS1006では、画像平滑化部511は、読み出された画像データ540に対して、エッジ保存平滑化フィルタ514を用いて平滑化処理を行い、画像データ(参照平滑化画像データ)541を生成する。

ステップS1007では、画像演算部512は、画像データ540と画像データ541との差分値を算出し、画像データ540からテクスチャ成分のみ抽出した画像データ(参照差分画像データ)542を生成する。

ステップS1008では、画像補正部513は、画像データ542から累積頻度ヒストグラム(参照累積頻度ヒストグラム)532を生成する。

<まとめ> 以上のように、本実施形態に係る画像処理装置では、補正量を決定するための目標として画像データ(参照画像データ)540を用いる。つまり、画像データ(原画像データ)520のテクスチャ成分の強度を所定の強度に補正するに際して、目標とするテクスチャ成分の強度を参照画像(画像データ540)という抽象化された形で指定することができる。これにより、ユーザは、目標とする画像(参照画像)を指定するだけでよい。つまり、ユーザは、パラメータやヒストグラムの具体的な値を指定することなく、直感的な操作で目標とする強度にテクスチャ成分を補正することができる。

[第5の実施形態] 次に、第5の実施形態に係る画像処理装置について説明する。本実施形態においては、画像データ(原画像データ)520と画像データ(参照画像データ)540とに対して、元の色空間とは異なる色空間に変換する。また、画像データ(合成画像データ)650を、元の色空間に変換する。すなわち、本実施形態では、画像データ(差分画像データ)620に対して補正を行う色空間(例えばHSV色空間)と、元の色空間(例えばRGB色空間)が異なる。

<画像処理装置の構成> はじめに、本実施形態における画像処理を実行可能な画像処理装置の一構成例について説明する。図11は、第5の実施形態に係る画像処理装置の一構成例を示す図である。なお、上記第1の実施形態において図1を用いて説明した画像処理装置500との相違点は、記憶装置504の画像処理部1110に、色変換部1111として機能するプログラムが可能されている点である。

色変換部1111は、画像データに対して色空間の変換処理を行う。

<画像処理装置における画像処理部の機能構成> 次に、本実施形態に係る画像処理装置500の画像処理部510の機能構成ついて説明する。図12は、第5の実施形態に係る画像処理装置の画像処理部の機能構成を示すブロック図である。なお、上記第4の実施形態に係る画像処理装置500の画像処理部510との機能構成(図10)との相違点は、点線1400、1600、1800に示す処理である。

具体的には、画像データ520が入力された色変換部1111は、この画像データの色空間を変換して、変換後の画像データ(変換後画像データ)521を生成する。そして、この画像データ521は、画像平滑化部511に入力される。

また、同様に、画像データ(参照画像データ)540が入力された色変換部1111は、この画像データ540の色空間を変換して、変換後の画像データ(変換後参照画像データ)543を生成する。そして、この画像データ543は、画像平滑部511に入力される。

さらに、画像データ(合成画像データ)650が入力された色変換部1111は、この画像データ650の色空間を変換して、変換後の画像データ(変換後合成画像データ)651を生成する。この画像データ651が出力される画像(結果画像)である。

なお、画像データ541、542、610、620、640、650についても、上記で色変換部1111が変換した後の色空間と同一の色空間(変換後の色空間)であるが、第4の実施形態と同一の符号を用いて説明する。

<画像処理の流れ> 次に、画像処理装置500による本実施形態における画像処理の流れについて説明する。図13は、第5の実施形態に係る画像処理装置の画像処理の流れを示すフローチャートである。なお、上記第4の実施形態に係る画像処理装置500において実行される画像処理(図10)との相違点は、ステップS1301〜S1303に示す処理である。そこで、以下では、ステップS1301〜S1303に示す処理について説明する。

ステップS1301では、色変換部1111は、読み出された画像データ(原画像データ)520に対して色空間変換処理を行い、画像データ(変換後画像データ)521を生成する。画像データ520の色空間としては例えばRGB色空間が、画像データ521の色空間としては例えばHSV色空間やLab色空間などが挙げられる。画像データの各色成分ごとに独立して色空間変換処理を行う場合は、色空間の各軸間の相関が弱い色空間を選択することが好ましい。なお、以降のステップS302では、画像平滑化部511は、上記ステップS1301で色変換部1111が色空間を変換した画像データ(変換後画像データ)521を入力する。

ステップS1302では、上記のステップS1302と同様に、色変換部1111は、読み出された画像データ(参照画像データ)540に対して色空間変換処理を行い、画像データ(変換後参照画像データ)543を生成する。なお、以降のステップS1006では、画像平滑化部511は、上記ステップS1302で色変換部1111が色空間を変換した画像データ(変換後参照画像データ)543を入力する。

ステップS1303では、色変換部1111は、画像データ(合成画像データ)650に対して色空間変換処理を行い、画像データ(変換後合成画像データ)651を生成する。なお、以降のステップS1011では、画像データ(変換後合成画像データ)651を出力する。

なお、上記のステップS1303において、色変換部1111は、画像データ(合成画像データ)650の色空間を元の色空間(つまり、原画像データや参照画像データの色空間)に変換する。ただし、最終的に元の色空間と異なる色空間の画像が必要であれば、所望の色空間に変換してもよい。

また、本実施形態において、ステップS1009において画像データ(差分画像データ)620の補正は、各色成分ごとに独立に行ってもよいし、まとめて行ってもよい。なお、特に、画像データ(差分画像データ)620の補正に伴う色ずれを回避する目的から、補正は明度軸に限定して行ってもよい。この場合には、ステップS1301及びS1302において変換後の色空間はHSV色空間やLab色空間など明度軸を含む色空間に変換する必要がある。

また、画像データ(差分画像データ)620は、明度成分のみで作成してもよいし、画像データ(平滑化画像データ)610と画像データ(補正後差分画像データ)640とを合成する際に明度成分のみ加算してもよい。これにより、効率的に処理を行うことができる。

<まとめ> 以上のように、本実施形態に係る画像処理装置では、原画像データや参照画像データを別の色空間に変換した上でテクスチャ成分の操作を行っている。これにより、例えば明度成分のみを操作することで色ずれ等のリスクを低減することができる。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

500 画像処理装置 510 画像処理部 511 画像平滑化部 512 画像演算部 513 画像補正部 514 エッジ保存平滑化フィルタ 1111 色変換部

特許第4415236号公報