【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばカラープリントやカラーディスプレイにカラー画像を再現する際に画像の色を変換する画像処理方法および装置、画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体、撮像装置並びに画像再生装置に関するものである。

【０００２】

【従来の技術】デジタル電子スチルカメラ（以下デジタルカメラとする）においては、撮影により取得した画像をデジタル画像データとしてデジタルカメラ内部に設けられた内部メモリやＩＣカードなどの記録媒体に記憶し、記憶されたデジタル画像データに基づいて、プリントなどのハードコピーとしてあるいはディスプレイ上にソフトコピーとして撮影により取得した画像を再現することができる。 このように、デジタルカメラにより取得した画像を再現する場合においては、ネガフィルムからプリントされた写真と同様の高品位な画質を有するものとすることが期待されている。

【０００３】一方、デジタルカメラにより撮影を行う際には、タングステン光、蛍光灯あるいは屋外の昼光のように種々の撮影光源の下で撮影が行われるため、撮影された画像に対して撮影光源に応じたホワイトバランスを自動的に設定するようにした機能を有するデジタルカメラが提案されている。 また、主要な被写体を画像の中心位置に撮像されることから、画像を分割して中心位置の分割領域ほど重み付けを大きくしてホワイトバランスを求めるようにした手法も提案されている（画面分割を用いた自動白バランス調整システム，菊池ら，テレビジョン学会記述報告，1990.6.26，PP19〜24）。

【０００４】上述したようにデジタルカメラにおいて自動補正を行う場合は、例えばタングステン光の下において取得した画像については、タングステン光に対するＲ
ＧＢの三刺激値のバランスが等しくなるように調節するものである。 一方、人間の視覚には色順応といって、昼光やそれと分光エネルギー分布の異なる蛍光灯下において白い紙を見ても、基本的には白として認識する機構が作用する。 しかしながら、タングステン光の下において白い紙を見る場合には、白い紙をやや黄色味がかって知覚することも多い。 これは順応が完全に行われていないために起こる現象であり、不完全順応として知られている。 不完全順応は光源の色味が強いときや輝度が低いときに生じやすい。 したがって、人間の視覚の不完全順応や色順応をも考慮して、再現された画像が撮影時と同じような見え方となるように画像の色を変換することが望まれている。

【０００５】このため、特願平９−２０７８８３号において、デジタルカメラによる撮影時の光源や明るさなどの撮影条件を画像データとともに記録媒体に記録した際に、その撮影条件を画像データとともに取り込んで撮影条件に適した画像処理を施して、オリジナルのシーンに忠実な画像をハードコピーやソフトコピーとして再現するようにした画像処理方法が提案されている。

【０００６】

【発明が解決しようとする課題】しかしながら、上述した特願平９−２０７８８３号に提案された方法は、デジタルカメラが撮影条件を記録媒体に記録する機能を備えていることを前提としており、一般的なデジタルカメラの場合には有効ではない。

【０００７】一方、上述したようにホワイトバランスを自動的に設定するものにおいては、カメラにホワイトバランスを自動設定するための手段を設ける必要がありコストが上昇するため、廉価なデジタルカメラにはこのような手段が設けられないことが多い。 さらに、ホワイトバランスを自動設定する機能を有さないデジタルカメラにおいて高品位な再生画像を得るためには、画像データを再現する際に画像をディスプレイに表示し、この表示された画像を観察しながらカラーバランスやホワイトバランスを調整する作業を行う必要がある。 しかしながら、このような調整を行うには熟練を要するため、一般的なユーザがホワイトバランスなどを調節して満足できる再現画像を得ることは困難である。

【０００８】本発明は上記事情に鑑みなされたものであり、簡易な構成により操作を簡便なものとすることができ、かつ再現された画像が撮影時のオリジナルシーンと同じような見え方の印象となるように画像を変換することができる画像処理方法および装置、画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体、撮像装置並びに画像再生装置を提供することを目的とするものである。

【０００９】

【課題を解決するための手段】本発明による第１の画像処理方法は、撮像により取得された画像データにより表される画像における各画素の生理原色を算出し、該生理原色に基づいて前記画像データに対して画像処理を施して処理済み画像データを得ることを特徴とするものである。

【００１０】ここで、「撮像により取得する」とは、デジタルカメラにより被写体を撮影して被写体像を表す画像データを得ること、および撮影により被写体像が記録されたネガフイルム、リバーサルフイルム等からスキャナ等の読取装置により画像を読み取って、被写体像を表す画像データを得ることをいうものである。

【００１１】また、本発明による第２の画像処理方法は、撮像により取得された画像データにより表される画像における各画素のＲＧＢの色を色度値に変換し、前記各画素の色度値の平均値である色度平均値を算出し、該色度平均値を前記生理原色に基づく三刺激値に変換し、
該生理原色に基づく三刺激値を前記画像データを取得した際の撮影光源の白色と見なし、該三刺激値が参照撮影光源の白色点の色度値と一致するように前記画像データを変換して処理済み画像データを得ることを特徴とするものである。

【００１２】ここで、「生理原色」とは、人間がものを見る際に目の視細胞において知覚される原色のことをいう。 種々の光源の下で、白い紙が白く見えるといった現象は、その光源下において、生理原色で表した赤、緑、
青の応答量（三刺激値）を調節することにより達成されると考えられている。

【００１３】また、「参照撮影光源」とは、画像データを取得する際の撮影光源とは異なり、画像データを取得する際に参照とすべき撮影光源のことをいう。 具体的には、一般的なカメラにおいては、参照撮影光源としてＤ
５０〜Ｄ６０の昼光が用いられている。

【００１４】なお、本発明による第２の画像処理方法においては、前記生理原色に基づく三刺激値が前記参照撮影光源の白色点の色度値と異なるほど、前記一致の程度を低減させるようにすることが好ましい。

【００１５】また、本発明による第３の画像処理方法は、撮像により取得された画像データにより表される画像における各画素のＲＧＢの色を色度値に変換し、前記各画素の色度値の平均値である色度平均値を算出し、該色度平均値をＲＧＢの三刺激値に変換し、該ＲＧＢの三刺激値を前記画像データを取得した際の撮影光源の白色と見なし、該三刺激値が参照撮影光源の白色点の色度値と一致するように前記画像データを変換して処理済み画像データを得ることを特徴とするものである。

【００１６】なお、本発明による第３の画像処理方法においては、前記ＲＧＢの三刺激値が前記参照撮影光源の白色点の色度値と異なるほど、前記一致の程度を低減させるようにすることが好ましい。

【００１７】また、本発明による第２および第３の画像処理方法においては、前記色度平均値を、前記色度値のＣＩＥデーライトローカスまたは黒体軌跡からの距離の逆数に応じた重み付け平均値として算出することが好ましい。

【００１８】ここで、「ＣＩＥのデーライトローカス」
とは、ＣＩＥ色度図上において昼光色を示した軌跡であり、「黒体軌跡」とは、黒体の絶対温度とそのときの色度との関係を表したものである。 なお、これらはともに汎用されているものである。

【００１９】また、「距離の逆数に応じた重み付け」とは、その画素の色度値がデーライトローカスあるいは黒体軌跡から離れているほど重み付けを小さくすることをいう。

【００２０】さらに、本発明による第２および第３の画像処理方法においては、前記参照撮影光源の白色点を、
前記撮影光源の白色点に基づいて、所定範囲の値を有するように設定することが好ましい。

【００２１】ここで、「所定範囲の値を有するように設定する」とは、参照光源の白色点を１点のみとするのではなく、ある範囲の値を有するように設定することをいう。

【００２２】また、本発明による画像処理方法においては、前記処理済み画像データを、該処理済み画像データを再生する再生装置の再生目標値に基づいてさらに変換することが好ましい。

【００２３】本発明による第１の画像処理装置は、撮像により取得された画像データにより表される画像における各画素の生理原色を算出する生理原色算出手段と、該生理原色に基づいて前記画像データに対して画像処理を施して処理済み画像データを得る画像処理手段とを備えたことを特徴とするものである。

【００２４】また、本発明による第２の画像処理装置は、撮像により取得された画像データにより表される画像における各画素のＲＧＢの色を色度値に変換する色度値変換手段と、前記各画素の色度値の平均値である色度平均値を算出する色度平均値算出手段と、該色度平均値を前記生理原色に基づく三刺激値に変換する三刺激値変換手段と、該生理原色に基づく三刺激値を前記画像データを取得した際の撮影光源の白色と見なし、該三刺激値が参照撮影光源の白色点の色度値と一致するように前記画像データを変換して処理済み画像データを得る色順応変換手段とを備えたことを特徴とするものである。

【００２５】なお、本発明による第２の画像処理装置においては、前記色順応変換手段が、前記生理原色に基づく三刺激値が前記参照撮影光源の白色点の色度値と異なるほど、前記一致の程度を低減させる手段であることが好ましい。

【００２６】さらに、本発明による第３の画像処理装置は、撮像により取得された画像データにより表される画像における各画素のＲＧＢの色を色度値に変換する色度値変換手段と、前記各画素の色度値の平均値である色度平均値を算出する色度平均値算出手段と、該色度平均値をＲＧＢの三刺激値に変換する三刺激値変換手段と、該ＲＧＢの三刺激値を前記画像データを取得した際の撮影光源の白色と見なし、該三刺激値が参照撮影光源の白色点の色度値と一致するように前記画像データを変換して処理済み画像データを得る色順応変換手段とを備えたことを特徴とするものである。

【００２７】なお、本発明による第３の画像処理装置においては、前記色順応変換手段が、前記ＲＧＢの三刺激値が前記参照撮影光源の白色点の色度値と異なるほど、
前記一致の程度を低減させる手段であることが好ましい。

【００２８】また、本発明による第２および第３の画像処理装置においては、前記色度平均値算出手段が、前記色度平均値を、前記色度値のＣＩＥデーライトローカスまたは黒体軌跡からの距離の逆数に応じた重み付け平均値として算出する手段であることが好ましい。

【００２９】さらに、本発明による第２および第３の画像処理装置においては、前記参照撮影光源の白色点を、
前記撮影光源の白色点に基づいて、所定範囲の値を有するように設定する手段をさらに備えることが好ましい。

【００３０】また、本発明による画像処理装置においては、前記処理済み画像データを、該処理済み画像データを再生する再生装置の再生目標値に基づいて変換する出力変換手段をさらに備えることが好ましい。

【００３１】なお、本発明による第１から第３の画像処理方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。

【００３２】本発明による撮像装置は、被写体像を撮像して該被写体像を表す画像データを得る撮像手段と、前記画像データに対して画像処理を施す本発明による画像処理装置と、該画像処理装置により処理が施されることにより得られた処理済み画像データを記録媒体に記録する記録手段とを備えたことを特徴とするものである。

【００３３】本発明による画像再生装置は、画像データを可視像として再生する画像再生装置であって、前記画像データが入力される入力手段と、該入力手段から入力された前記画像データに対して画像処理を施す本発明による画像処理装置と、該画像処理装置により画像処理が施されることにより得られた処理済み画像データを再生する再生手段とを備えたことを特徴とするものである。

【００３４】

【発明の効果】本発明の第１の画像処理方法および装置によれば、画像データにより表される画素における生理原色に基づいて画像データに対して画像処理を施すようにしたため、人間がものを見た際に認識する色に基づいて画像データが画像処理されることとなる。 このため、
見た目の印象に忠実な画像が再現されるような画像処理を画像データに対して施すことができ、この画像処理が施された処理済み画像データを再生することにより、見た目の印象に忠実な画像を再現することができる。

【００３５】また、本発明による第２の画像処理方法および装置によれば、各画素のＲＧＢの色が色度値に変換され、この色度値の平均値である色度平均値が算出され、この色度平均値が生理原色に基づく三刺激値に変換される。 本発明においては、この画像データから求められた生理原色に基づく三刺激値を、人間がその場でものを見た際に知覚する白色、すなわち画像データを撮像した際の撮影光源の白色と見なし、この三刺激値が参照撮影光源の白色点と一致するように、画像データを変換するようにしたものである。 ここで、画像データを撮像した際の撮影光源に応じて画像の見え方は異なるものであり、例えば曇りの日や日陰で撮影を行った場合には、画像における白色が全体的に青味がかって見える。 しかしながら、人間は色順応により白色として認識するものである。 したがって、生理原色に基づく三刺激値が参照撮影光源の白色点と一致するように画像データを変換することにより、画像データにより表される白色は参照撮影光源において取得した場合と同様の白色に変換されることとなり、その結果、処理済み画像データを再生することにより、その画像データを取得した際の画像の見え方の印象に忠実な画像を再現することができる。

【００３６】また、タングステン光源の下で白い紙を見る場合のように、三刺激値が参照撮影光源の白色点の色度値から隔たるほど、三刺激値と参照撮影光源の白色点の色度値との一致の程度を低減させることにより、撮影時の撮影光源の雰囲気を残すように画像データを変換することができ、これによりオリジナルシーンの見え方に忠実な画像を再生することができる。

【００３７】さらに、本発明による第３の画像処理方法および装置によれば、各画素のＲＧＢの色が色度値に変換され、この色度値の平均値である色度平均値が算出され、この色度平均値がＲＧＢの三刺激値に変換される。
そして、上記第２の画像処理方法および装置と同様に、
このＲＧＢの三刺激値を画像データを撮像した際の撮影光源の白色と見なし、この三刺激値が参照撮影光源の白色点と一致するように、画像データを変換するようにしたものである。 したがって、画像データにより表される白色は参照撮影光源において取得した場合と同様の白色に変換されることとなり、その結果、処理済み画像データを再生することにより、その画像データを取得した際の画像の見え方の印象に忠実な画像を再現することができる。 また、第２の画像処理方法および装置においては、生理原色に基づく三刺激値に基づいて色順応変換を行っているため、色順応変換の際に画像データを生理原色に変換する必要があるが、第３の画像処理方法および装置においてはＲＧＢの三刺激値に基づいて色順応変換を行っているため、画像データを生理原色に変換して色順応変換を行わなくともよくなり、これにより、演算時間を短縮できるとともに、装置の構成を簡易なものとすることができる。

【００３８】また、第３の画像処理方法および装置においても、タングステン光源の下で白い紙を見る場合のように、ＲＧＢの三刺激値が参照撮影光源の白色点の色度値から隔たるほど一致の程度を低減させることにより、
撮影時の撮影光源の雰囲気を残すように画像データを変換することができ、これによりオリジナルシーンの見え方に忠実な画像を再生することができる。

【００３９】さらに、色度図上ＣＩＥのデーライトローカスまたは黒体軌跡においては、これらから離れた位置にある色度値ほど、光源の色ではなく赤い服、青空などの物体色と見なすことができる。 したがって、色度平均値をデーライトローカスまたは黒体軌跡からの距離の逆数に応じた重み付け平均値として求めることにより、生理原色に基づく三刺激値あるいはＲＧＢの三刺激値は撮影時の光源の白色をより正確に表すこととなる。 したがって、このように求められた色度平均値に基づいて三刺激値を求めることにより、より確度の高い画像処理を行うことができる。

【００４０】また、参照撮影光源の白色点を、撮影光源の白色点に基づいて、所定範囲の値を有するように設定することにより、画像データを取得した際の撮影光源の色を反映した処理を施すことができることとなる。 また、参照撮影光源の白色点が所定範囲の値を有しているため、その範囲内における適切な白色点と生理原色に基づく三刺激値あるいはＲＧＢの三刺激値とを一致させることにより、ある１点の白色点に三刺激値を一致させる場合と比較して、過度の色順応変換を防止することができ、これにより見た目に自然な画像を再現できる処理済み画像データを得ることができる。

【００４１】さらに、処理済み画像データはその白色点が参照撮影光源の下で得られる白色点となるように修正されているため、処理済み画像データを再生装置の再生目標値に基づいてさらに変換することにより、適切な再生目標値となるように処理済み画像データを変換することができる。 したがって、変換された処理済み画像データを再生することにより、より高画質の再生画像を得ることができる。

【００４２】さらに、本発明による撮像装置は、本発明による画像処理装置を備えているため、撮像により取得された画像データは、撮像時の見え方の印象を再現可能な処理済み画像データとして記録媒体に記録されることとなる。 したがって、単に被写体を撮像するのみで、撮像時の見え方の印象に忠実な画像を再現できる画像データを得ることができる。

【００４３】さらにまた、本発明による画像再生装置は、本発明による画像処理装置を備えているため、入力される画像データは、撮影時の見え方の印象を再現可能なように画像処理が施されて再生に供されることとなる。 したがって、単に画像データを入力するのみで撮影時の見え方に忠実な画像を再現することができる。

【００４４】

【発明の実施の形態】以下図面を参照して本発明の実施形態について説明する。 図１は本発明の第１の実施形態による画像処理方法および装置を適用した画像処理システムの構成を示す概略図である。 図１に示すように、第１の実施形態による画像処理方法および装置を適用した画像処理システムは、デジタルカメラにより取得した、
あるいはネガフイルムやリバーサルフイルムに記録された画像をスキャナなどの読取装置により読み取ることにより得られた画像データＳが記憶された光ディスクなどの記録媒体１から画像データＳを読み出す読出部２と、
読出部２において読み出された画像データＳに対して後述するように画像処理を施す画像処理手段３と、画像処理手段３において画像処理が施された画像データＳ２をプリントなどのハードコピーあるいはＣＲＴモニタなどにソフトコピーとして再現するための再生手段４とからなる。

【００４５】記録媒体１には、デジタルカメラにおいてメモリに記憶された画像データＳが、カードリーダやケーブルを介して複写されて記憶されるものである。 なお、画像データＳが読取装置において得られる場合は、
読取装置に設けられたデータ記憶手段において、画像データＳが記録媒体１に記憶されるものである。

【００４６】画像処理手段３は、画像データＳを画像として再現した際の各画素の三刺激値Ｒ，Ｇ，Ｂを三刺激値Ｘ，Ｙ，Ｚおよび色度値ｕ，ｖに変換する色変換部５
と、色変換部５において求められた色度値ｕ，ｖの平均値ｕ０，ｖ０を算出する平均値算出部６と、平均値算出部６において算出された平均値ｕ０，ｖ０を生理原色Ｌ
０，Ｍ０，Ｓ０に変換するとともに、色変換部５において求められた三刺激値Ｘ，Ｙ，Ｚを生理原色Ｌ，Ｍ，Ｓ
に変換する生理原色変換部７と、生理原色Ｌ，Ｍ，Ｓを生理原色変換部７において求められた生理原色Ｌ０，Ｍ
０，Ｓ０に基づいて色順応変換する色順応変換部８と、
色順応変換部８において得られた生理原色Ｌ′，Ｍ′，
Ｓ′をＲ′，Ｇ′，Ｂ′の三刺激値に変換するＲＧＢ変換部９と、ＲＧＢ変換部９において求められた三刺激値Ｒ′，Ｇ′，Ｂ′に対して階調変換などの画像処理を施す出力部１０とからなる。

【００４７】次いで、第１の実施形態の動作について説明する。

【００４８】まず、読出部２により記録媒体１から画像データＳを読み出し、画像処理手段３に入力する。 画像処理手段３においてはまず色変換部５において、画像データＳを画像として再現した際の各画素の三刺激値Ｒ，
Ｇ，Ｂを下記の式（１）および式（２）によりＣＩＥ１
９３１ＸＹＺ三刺激値およびＣＩＥ１９７６ｕｖ色度値に変換する。 ここで、色度値とは、色の三属性である色相、彩度、明度のうち、図２に示すように色相および彩度について表した図におけるｕ，ｖの値、すなわち明度方向を射影した値をいう。 なお、本来、ＣＩＥ１９７６
色度図においては、正確にはｕ′，ｖ′という表記を用いるが、本願においてはｕ，ｖと表記するものとする。

【００４９】 Ｘ Ｒ Ｙ ＝｜Ａ｜・ Ｇ （１） Ｚ Ｂ ｕ＝４Ｘ／（Ｘ＋１５Ｙ＋３Ｚ） ｖ＝９Ｙ／（Ｘ＋１５Ｙ＋３Ｚ） （２） ここで、マトリクス｜Ａ｜は、三刺激値Ｒ，Ｇ，Ｂを三刺激値Ｘ，Ｙ，Ｚに変換するためのマトリクスであり、
例えば以下のような値を用いることができる。

【００５０】 0.4124 0.3576 0.1805 ｜Ａ｜ ＝ 0.2126 0.7152 0.0722 （３） 0.0193 0.1192 0.9505 なお、マトリクス｜Ａ｜に代えて、ルックアップテーブルにより三刺激値Ｘ，Ｙ，Ｚを求めるようにしてもよい。

【００５１】また、デジタルカメラから得られる信号ｒ，ｇ，ｂは、ＩＴＵ−Ｒ ＢＴ． ７０９（ＲＥＣ．７
０９）に準拠した形で、例えば下記の式（４）に示すように０．４５乗してエンコードされて表される。

【００５２】 ｒ＝255×4.500Ｒ （０≦Ｒ＜0.018） ｒ＝255×（1.099Ｒ ^0.45 −0.099） （0.018≦Ｒ≦１） （４） ここで、Ｒはカメラにより撮像された三刺激値であり、
正規化された信号（０≦Ｒ≦１）となっている。 Ｇ，Ｂ
も同様にｇ，ｂにエンコードされている。 このような場合は、上記式（４）をＲについて解いて、正規化された三刺激値Ｒ，Ｇ，Ｂに変換してから色変換を施すことが好ましい。

【００５３】平均値算出部６は、上記式（２）により求められた色度値ｕ，ｖの平均値ｕ０，ｖ０を下記の式（５）により算出する。

【００５４】 ｕ０＝Σｕ／ｎ ｖ０＝Σｖ／ｎ （５） 但し、ｎ：画素数 生理原色変換部７は、平均値算出部６において算出された平均値ｕ０，ｖ０を下記の式（６）〜（８）により生理原色Ｌ０，Ｍ０，Ｓ０に変換する。

【００５５】 ｓｘ＝9.0×ｕ０（6.0×ｕ０−16.0×ｖ０＋12.0） ｓｙ＝4.0×ｖ０（6.0×ｕ０−16.0×ｖ０＋12.0） (６） Ｘ０＝ｓｘ／ｓｙ Ｙ０＝１００．０ （７） Ｚ０＝（1.0−ｓｘ−ｓｙ）／ｓｙ Ｌ０ Ｘ０ Ｍ０ ＝｜Ｂ｜・ Ｙ０ （８） Ｓ０ Ｚ０ ここで、マトリクス｜Ｂ｜は、三刺激値Ｘ０，Ｙ０，Ｚ
０を生理原色Ｌ０，Ｍ０，Ｓ０に変換するためのマトリクスであり、例えば以下のような値を用いることができる。

【００５６】 0.3897 0.6890 -0.0787 ｜Ｂ｜ ＝ -0.2298 1.1834 0.0464 （９） 0 0 1.0 また、生理原色変換部７は、式（１）により求められた各画素の三刺激値Ｘ，Ｙ，Ｚを式（８）により生理原色Ｌ，Ｍ，Ｓに変換する。

【００５７】色順応変換部８は、生理原色Ｌ，Ｍ，Ｓを下記の式（１０）および（１１）により色順応変換し、
変換済み生理原色Ｌ′，Ｍ′，Ｓ′を得る。

【００５８】 Ｌ′ Ｌ Ｍ′ ＝｜Ｃ｜・ Ｍ （１０） Ｓ′ Ｓ 但し、 (ａ・Ｌｎ＋(１−ａ)・Ｌ０）／Ｌ０ ｜Ｃ｜ ＝ (ａ・Ｍｎ＋(１−ａ)・Ｍ０）／Ｍ０ （１１） (ａ・Ｓｎ＋(１−ａ)・Ｓ０）／Ｓ０ ここで、Ｌ０，Ｍ０，Ｓ０は式（８）により求めた色度値の平均値の生理原色であり、これは画像データＳを取得した際の撮影光源の白色と見なすことができる。 なお、画像データＳがフイルム等に記録された画像を読み取ることにより得られたものである場合には、白色は撮影光源およびスキャナの光源の双方を合わせたものとなる。 また、Ｌｎ，Ｍｎ，Ｓｎは画像データＳを取得する際に参照とすべき撮影光源の白色の色度であり、この値が未知のときには、Ｄ５０〜Ｄ６０の昼光に相当する白色点の色度（ｕｎ，ｖｎ）を用いることができる。 ａは順応状態を示す値であり、通常は１を用いる。

【００５９】なお、例えばタングステン電球下においてオリジナルシーンを見るとき、あるいは夕景のような場合には、光源の色味を完全に補正するのではなく、光源の色味を残して再現することが好ましい場合がある。 この場合、ａの値としては０と１の間で調整することが好ましい。 例えば、図２に示すような色度図上において（ｕ０，ｖ０）と（ｕｎ，ｖｎ）との距離を考慮し、ａ
の値を完全に１とするのではなく、下記の式（１２），
（１３）により（ｕ０，ｖ０）と（ｕｎ，ｖｎ）との距離が大きいほどａの値を小さくなるように変化させて、
撮影時の光源の色味を残すようにすることが好ましい。

【００６０】 dist＝√（（ｕ０−ｕｎ） ² ＋（ｖ０−ｖｎ） ² ） （１２） ａ＝１．０−ｋ×dist （１３） 但し、ｋ：ａの値が０以上１以下となるようにするための定数 また、ａの値を（ｕ０，ｖ０）の値に依存して変更することもできる。 例えば、タングステン光源のときや夕景以外のときのように完全に色補正を行いたい場合、ｕ０
の値が所定の閾値（例えば0.2153）以上のときは式（１
２）および式（１３）を用いて求めたａの値を使用し、
所定の閾値未満のときにはａ＝１とすることもできる。
これにより、より好ましい再生画像を得ることができる。

【００６１】ＲＧＢ変換部９においては、下記の式（１
４）により変換済み生理原色Ｌ′，Ｍ′，Ｓ′が処理済み三刺激値Ｒ′，Ｇ′，Ｂ′に変換される。

【００６２】 Ｒ′ Ｌ′ Ｇ′ ＝｜Ａ｜ ^-1 ｜Ｂ｜ ^-1・ Ｍ′ （１４） Ｂ′ Ｓ′ 出力部１０は、処理済み三刺激値Ｒ′，Ｇ′，Ｂ′を行列やルックアップテーブルを用いて、再生手段４に依存する三刺激値Ｒ″、Ｇ″，Ｂ″に変換する。この際、処理済み三刺激値Ｒ′，Ｇ′，Ｂ′に対して階調処理を施したり、さらに肌色、緑色、空色の部分の色や濃度を変化させるなどの処理を施すようにしてもよい。

【００６３】このようにして得られた三刺激値Ｒ″，
Ｇ″，Ｂ″（画像データＳ″）は再生手段４に入力され、画像データＳ″により表される画像がハードコピーあるいはソフトコピーとして再現される。

【００６４】このように、第１の実施形態においては、
式（８）により求められた生理原色Ｌ０，Ｍ０，Ｓ０を画像データＳを得た際の撮影光源の白色点と見なし、式（１０）および式（１１）により生理原色Ｌ０，Ｍ０，
Ｓ０が参照撮影光源の白色の色度Ｌｎ，Ｍｎ，Ｓｎと一致するように各画素の生理原色Ｌ，Ｍ，Ｓを変換するようにしたため、最終的に得られる画像データＳ″を再生することにより得られる画像を、参照撮影光源の下で撮影された場合の色の見え方の印象と略同様なものとすることができる。ここで、画像データＳを撮像した際の撮影光源に応じて画像の見え方は異なり、例えば、曇りの日や日陰で撮影を行った場合には、画像における白色が全体的に青味がかって見えるものであるが、青色味がかっていても人間の色順応により白色として認識するものである。したがって、生理原色Ｌ０，Ｍ０，Ｓ０を参照撮影光源の白色点の色度値Ｌｎ，Ｍｎ，Ｓｎと一致するように各画素の生理原色Ｌ，Ｍ，Ｓを変換することにより、画像データＳ″により表される白色は参照撮影光源において取得した場合と同様の白色に変換されることとなる。 その結果、画像データＳ″を再生することにより、画像データＳを取得した際の画像の見え方の印象と同一の画像を再現することができる。

【００６５】また、式（１１）におけるａの値を、式（１２）および（１３）により、（ｕ０，ｖ０）と（ｕ
ｎ，ｖｎ）との距離が大きいほど小さくなるように変化させるようにしたため、撮影時の光源の色味を残すことができ、これにより、オリジナルシーンの見え方に忠実な画像を再現することができる。

【００６６】次いで、本発明の第２の実施形態について説明する。 図３は本発明の第２の実施形態による画像処理方法および装置を適用した画像処理システムの構成を示す概略図である。 なお、第２の実施形態による画像処理システムにおいて、第１の実施形態による画像処理システムと同一の構成については同一の参照番号を付し、
詳細な説明は省略する。 第２の実施形態は、第１の実施形態における色変換部５、生理原色変換部７、色順応変換部８およびＲＧＢ変換部９に代えて、三刺激値Ｒ，
Ｇ，ＢをＣＩＥ１９７６ｕｖ色度値に変換する色変換部３５と、平均値算出部６において算出された平均値ｕ
０，ｖ０を生理原色Ｌ０，Ｍ０，Ｓ０ではなく、三刺激値Ｒ０，Ｇ０，Ｂ０に変換する三刺激値変換部３７と、
三刺激値Ｒ，Ｇ，Ｂを三刺激値変換部３７において求められた三刺激値Ｒ０，Ｇ０，Ｂ０に基づいて色順応変換する色順応変換部３８とを備えたものである。

【００６７】次いで、第２の実施形態の動作について説明する。

【００６８】まず、読出部２により記録媒体１から画像データＳを読み出し、画像処理手段３に入力する。 画像処理手段３においてはまず色変換部３５において、画像データＳを画像として再現した際の各画素の三刺激値Ｒ，Ｇ，Ｂを上記式（１）および（２）によりＣＩＥ１
９７６ｕｖ色度値に変換する。

【００６９】平均値算出部６は、上記式（２）により求められた色度値ｕ，ｖの平均値ｕ０，ｖ０を上記式（５）により算出する。

【００７０】三刺激値変換部３７は、平均値算出部６において算出された平均値ｕ０，ｖ０を上記式（６）、
（７）および下記の式（１５）により三刺激値Ｒ０，Ｇ
０，Ｂ０に変換する。

【００７１】 Ｒ０ Ｘ０ Ｇ０ ＝｜Ａ｜ ^-1・Ｙ０ （１５） Ｂ０ Ｚ０ ここで、マトリクス｜Ａ｜ ^-1は、上記式（３）に示すマトリクスＡの逆マトリクスである。

【００７２】色順応変換部３８は、画像処理手段３に入力された三刺激値Ｒ，Ｇ，Ｂを式（１６）および（１
７）により色順応変換し、変換済み三刺激値Ｒ′，
Ｇ′，Ｂ′を得る。

【００７３】 Ｒ′ Ｒ Ｇ′ ＝｜Ｄ｜・ Ｇ （１６） Ｂ′ Ｂ 但し、 (ａ・Ｒｎ＋(１−ａ)・Ｒ０）／Ｒ０ ｜Ｄ｜ ＝ (ａ・Ｇｎ＋(１−ａ)・Ｇ０）／Ｇ０ （１７） (ａ・Ｂｎ＋(１−ａ)・Ｂ０）／Ｂ０ ここで、Ｒ０，Ｇ０，Ｂ０は式（１５）により求めた色度値の平均値の三刺激値であり、これは画像データＳを取得した際の撮影光源の白色と見なすことができる。 また、Ｒｎ，Ｇｎ，Ｂｎは画像データＳを取得する際に参照とすべき撮影光源の白色の色度であり、この値が未知のときには、Ｄ５０〜Ｄ６０の昼光に相当する白色点の色度（ｕｎ，ｖｎ）を用いることができる。 ａは順応状態を示す値であり、通常は１を用いる。 なお、ａの値としては上記第１の実施形態と同様に、（ｕ０，ｖ０）と（ｕｎ，ｖｎ）との距離を考慮して式（１２）、（１
３）により変更してもよく、ａの値を（ｕ０，ｖ０）の値に依存して変更してもよい。

【００７４】出力部１０は、変換済み三刺激値Ｒ′，
Ｇ′，Ｂ′を行列やルックアップテーブルを用いて、再生手段４に依存する三刺激値Ｒ″、Ｇ″，Ｂ″に変換する。

【００７５】このようにして得られた三刺激値Ｒ″，
Ｇ″，Ｂ″（画像データＳ″）は再生手段４に入力され、画像データＳ″により表される画像がハードコピーあるいはソフトコピーとして再現される。

【００７６】このように、第２の実施形態においては、
式（１５）により求められた三刺激値Ｒ０，Ｇ０，Ｂ０
を画像データＳを得た際の撮影光源の白色点と見なし、
式（１６）および式（１７）により三刺激値Ｒ０，Ｇ
０，Ｂ０が参照撮影光源の白色の色度Ｒｎ，Ｇｎ，Ｂｎ
と一致するように各画素の三刺激値Ｒ，Ｇ，Ｂを変換するようにしたため、第１の実施形態と同様に、最終的に得られる画像データＳ″を再生することにより得られる画像を、参照撮影光源の下で撮影された場合の色の見え方の印象と略同様なものとすることができる。また、上記第１の実施形態のように、各画素の三刺激値Ｒ，Ｇ，
Ｂを生理原色Ｌ，Ｍ，Ｓに変換し、かつ生理原色Ｌ′，
Ｍ′，Ｓ′を三刺激値Ｒ′，Ｇ′，Ｂ′に変換する必要がないため、第１の実施形態と比較して演算時間を短縮でき、またＲＧＢ変換部９を設ける必要がないため装置の構成を簡易なものとすることができる。

【００７７】ここで、色順応変換を第１の実施形態のように生理原色ＬＭＳの空間で行った場合と、第２の実施形態のように三刺激値ＲＧＢの空間で行った場合とにおいては、両者の相違は有彩色に現れる。 すなわち、白色点は生理原色ＬＭＳの場合と三刺激値ＲＧＢの場合とで一致するが、有彩色は対象となる色の彩度および撮影光源の白色点と参照光源の白色点との距離に応じて違いが現れることとなる。 この場合、人間の目の視細胞の知覚を考慮した生理原色空間の方がより現実の印象に近い見え方となるように色順応変換を行うことができるが、とくに自然画の場合のような高彩度色があまり存在しない画像の場合には両者の差異は小さいため、視覚的にはそれほど問題ないものである。

【００７８】なお、上記第１および第２の実施形態においては、式（５）により色度値の平均値（ｕ０，ｖ０）
を求めるようにしているが、これに限定されるものではなく、主要な被写体は画像の中央部分に撮像されることから、画像の中央部を選択して平均値（ｕ０，ｖ０）を求めるようにしてもよく、画像の中央部ほど重み付けを大きくして平均値（ｕ０，ｖ０）を求めるようにしてもよい。 なお、これは画像の位置に応じて重み付けを変更するものであるが、各画素の色味に応じて下記のように重み付けを行うこともできる。

【００７９】すなわち、撮影光源のホワイトバランス調整においては、例えば緑色の部分が画像中に含まれているときに、それが木（実際に存在する物体）の緑によるものであるか、撮影光源が蛍光灯であるために白い部分が緑色に見えることによるものであるかを判別することが困難である。 また、青色の部分が青空の物体色であるか日陰で撮影したことによるものであるか、あるいは赤色の部分が赤い服などの物体色であるかタングステン光の下で撮影したことによるものであるかについても同様に判別することが困難である。 ここで、撮影光源の色度値は一般的に図４に示すようなＣＩＥのデーライトローカスやプランキアンローカスあるいは黒体軌跡上にあるものであり、物体色はこのデーライトローカス（あるいはプランキアンローカス、黒体軌跡）から離れた点にあると考えられる。 このため、ある画素の色度値に対し、
その色度値からデーライトローカス（あるいはプランキアンローカス、黒体軌跡）までの距離を考え、この距離の逆数を重みとして平均値（ｕ０，ｖ０）を求めるようにすることができる。 このように平均値（ｕ０，ｖ０）
を求めることにより、デーライトローカスから離れた点すなわち物体色の可能性が高いと考えられる色度値を有する画素に対する重み付けを小さくすることができ、これにより、平均値（ｕ０，ｖ０）を、撮影光源の色味を強く反映した値として求めることができる。 具体的には、ＣＩＥのデーライトローカスが２つの直線により表されるとした場合、ある画素からデーライトローカスまでの距離ｄは下記の式（１８）により求めることができる。

【００８０】 ｕ≧0.2153のとき ｄ＝ａｂｓ（ｖ−0.6895×ｕ−0.3478）／1.2147 ｕ＜0.2153のとき ｄ＝ａｂｓ（ｖ−1.6673×ｕ−0.1372）／1.9442 （１８） 各画素に対する重みｗは、下記の式（１９）により表すことができる。

【００８１】 ｗ＝1.0−ｋ′×ｄ （１９） 式（１８）および（１９）より、重み付け平均値（ｕ
０，ｖ０）は下記の式（２０）により求めることができる。

【００８２】 ｕ０＝（Σｕ・ｗ）／（Σｗ） ｖ０＝（Σｖ・ｗ）／（Σｗ） （２０） なお、とくに青空の影響を受けたくないようにしたい場合は、ｕ＜0.193のときの重みを０と設定する、また、
鮮やかな赤の影響を受けないようにするためには、ｕ＞
0.235のときの重みを０と設定するなど、ｕの値に応じて重み付けを変更して平均値（ｕ０，ｖ０）を求めるようにしてもよい。

【００８３】また、上記第１および第２の実施形態においては、画像データＳを取得する際に参照とすべき撮影光源の白色の色度としてある１点の値のみを用いているが、撮影光源の白色点に基づいてある範囲を有する値として用いてもよい。 この範囲としては、例えば図４に示したデーライトローカス上における特定の範囲に設定することが可能である。 すなわち、デーライトローカスが２つの直線により表されるとした場合、図５に示すように色度平均値（ｕ０，ｖ０）からデーライトローカスに垂線を下した際の、垂線とデーライトローカスとの交点Ｇ（ｕｇ，ｖｇ）は下記の式（２１）により求めることができる。

【００８４】 ｕ０≧0.2153 ug＝(0.6895×v0＋u0−0.6895×0.3478)／(0.6895×0.6895＋1.0) vg＝(0.6895×0.6895×v0＋0.6895×u0＋0.3478)／(0.6895×0.6895＋1.0) ｕ０＜0.2153 ug＝(1.6673×v0＋u0−1.6673×0.1372)／(1.6673×1.6673＋1.0) vg＝(1.6673×1.6673×v0＋1.6673×u0＋0.1372)／(1.6673×1.6673＋1.0) （２１） そして、参照撮影光源の白色はｕｇに依存して決定することができる。 すなわち、ｕｇ＞0.2028のとき、デーライトローカス上における色温度5700Ｋの色度値（0.202
8,0.4781）を参照撮影光源の白色点とし、生理原色Ｌ
ｎ，Ｍｎ，Ｓｎあるいは三刺激値Ｒｎ，Ｇｎ，Ｂｎに変換する。

【００８５】ｕｇ＜0.2007のとき、デーライトローカス上における色温度6000Ｋの色度値（0.2007,0.4743）を参照撮影光源の白色点とし、生理原色Ｌｎ，Ｍｎ，Ｓｎ
あるいは三刺激値Ｒｎ，Ｇｎ，Ｂｎに変換する。

【００８６】0.2007≦ｕｇ≦0.2028のとき、Ｇ（ｕｇ，
ｕｖ）を参照撮影光源の白色点とし、生理原色Ｌｎ，Ｍ
ｎ，Ｓｎあるいは三刺激値Ｒｎ，Ｇｎ，Ｂｎに変換する。

【００８７】ここで、参照撮影光源の白色点を１点とした場合は、生理原色Ｌ、Ｍ、Ｓあるいは三刺激値Ｒ，
Ｇ，Ｂは図６（ａ）に示すように色順応変換されるが、
参照光源の白色点をある範囲のものとした場合には、生理原色Ｌ、Ｍ、Ｓあるいは三刺激値Ｒ，Ｇ，Ｂは図６
（ｂ）に示すように色順応変換されることとなる。 したがって、色順応変換の際に、生理原色Ｌ，Ｍ，Ｓあるいは三刺激値Ｒ，Ｇ，Ｂが過度に補正されることを防止でき、見た目に自然な感じの画像を再現できることとなる。 また、撮影光源の白色点に基づいて参照撮影光源の白色点を求めることにより、撮影光源の色を反映した色順応変換を行うことができる。

【００８８】なお、上記実施形態においては、本発明による画像処理方法および装置をハードウェアとして説明したが、本発明による画像処理方法の処理を実行させるためのプログラムを記録媒体に記録して提供するようにしてもよい。

【００８９】次いで、本発明による画像再生装置の実施形態について説明する。

【００９０】図７は本発明による画像処理装置を内包する画像再生装置の構成を示す図である。 図７に示すように本発明による画像処理装置を内包する画像再生装置は、デジタルカメラなどにより取得された画像データＳ
を記録した記録媒体から画像データＳを読み出す読出部１１と、本発明による画像処理装置を内包する色補正部（ＡＷＢ）１２と、色補正部１２において色補正が施された画像データＳの濃度を補正する濃度補正部１３と、
濃度補正が施された画像データＳに対してＬＵＴ１４を参照して階調処理などの画像処理を施す画像処理部１５
と、画像処理が施されることにより得られた画像データＳ′を再生する再生部１６とからなる。 なお、本実施形態における画像再生装置はプリンタであってもＣＲＴモニタであってもよい。

【００９１】次いで、本実施形態の動作について説明する。 読出部１１において読み出された画像データＳは、
色補正部１２において上述した実施形態と同様に画像処理が施され、さらに濃度補正部１３において濃度が補正されて画像処理部１５に入力される。 画像処理部１５においては、濃度が補正された画像データに対してＬＵＴ
１４を参照して階調変換などの画像処理が施され、画像処理が施されることにより得られた画像データＳ′が再生部１６においてハードコピーあるいはソフトコピーとして再生される。

【００９２】このように、本実施形態による画像再生装置は、上述した本発明による画像処理装置を備えているため、入力される画像データＳは、撮影時の見え方の印象を再現可能なように変換されて再生に供されることとなる。 したがって、単に画像データＳを入力するのみで撮影時の見え方に忠実な画像を再現することができる。

【００９３】次いで、本発明による撮像装置の実施形態について説明する。

【００９４】図８は本発明の画像処理装置を内包する撮像装置の実施形態であるデジタルカメラの構成を示すブロック図である。 図８に示すように、本実施形態によるデジタルカメラは、レンズ、絞りなどの撮像部２１と、
撮像された被写体像を光電変換して被写体像を表す画像データＳを得るＣＣＤ２２と、画像データＳのゲインを調整するゲイン調整回路２３と、本発明による画像処理装置を内包する色補正部（ＡＷＢ）２４と、色補正部２
４による処理を含めて画像データＳに対して映像処理を施す映像処理回路２５と、映像処理回路２５において処理が施された画像データに対してガンマ変換を施すガンマ変換部２６と、ガンマ変換が施されることにより得られた画像データＳ′を記録媒体などに記録する信号記録回路２７とからなる。

【００９５】次いで、本実施形態の動作について説明する。 撮像部２１において撮像された被写体像はＣＣＤ２
２において画像データＳに光電変換される。 画像データＳはゲイン調整回路２３においてゲインが調整され、色補正部２４および映像処理回路２５において上述したように画像処理が施される。 画像処理が施された画像データはガンマ変換部２６においてガンマ変換が施され、ガンマ変換が施されることにより得られた画像データＳ′
は、信号記録回路２７において記録媒体に記録される。

【００９６】このように、本実施形態による撮像装置は、本発明による画像処理装置を備えているため、撮像により取得された画像データＳは、撮像時の見え方の印象を再現可能な処理済み画像データＳ′として記録媒体に記録されることとなる。 したがって、単に被写体を撮像するのみで、撮像時の見え方の印象に忠実な画像を再現できる画像データを得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態による画像処理方法および装置を適用した画像処理システムの構成を示す概略図

【図２】色度図を示す図

【図３】本発明の第２の実施形態による画像処理方法および装置を適用した画像処理システムの構成を示す概略図

【図４】デーライトローカスおよびプランキアンローカスを示す図

【図５】色度平均値からデーライトローカスに垂線を下した際の交点を求める状態を説明するための図

【図６】色順応の状態を説明するための図

【図７】本発明の実施形態による画像再生装置の構成を示すブロック図

【図８】本発明の実施形態による撮像装置の構成を示すブロック図

【符号の説明】

１ 記録媒体 ２，１１ 読出部 ３ 画像処理手段 ４ 再生手段 ５，３５ 色変換部 ６ 平均値算出部 ７ 生理原色変換部 ８，３８ 色順応変換部 ９ ＲＧＢ変換部 １０ 出力部 １２，２４ 色補正部 １３ 濃度補正部 １４ ＬＵＴ １５ 画像処理部 １６ 再生部 ２１ 撮像部 ２２ ＣＣＤ ２３ ゲイン調整回路 ２５ 映像処理回路 ２６ ガンマ変換部 ２７ 信号記録回路 ３７ 三刺激値変換部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 CA01 CB01 CE17 CE18 5C066 AA01 AA05 AA11 BA20 CA08 CA17 EA05 EA13 EA14 EC01 EE04 GA00 GA01 GA05 KE03 KE04 KE05 KE09 KE17 KF05 5C077 MP08 PP32 PP36 PP37 5C079 HB01 HB05 HB09 HB11 LA23 LB01