本発明は、画像処理装置、画像処理方法、及びプログラムに関し、具体例としては画像から被写体を抽出する技術に関する。

従来、画像上の前景と背景とを分離する技術が知られている。例えば、画像中の前景領域を抽出すると、抽出結果を用いて様々な処理を行うことができる。応用例の一つとして、現実空間に仮想空間の情報をリアルタイムに重ね合わせて利用者に提示する複合現実分野がある。この分野において臨場感豊かな体験を実現するためには、体験者がCGで描画される仮想物体に触り及び操作するというインタラクションを実現することが求められる。このためには、現実空間のカメラ画像の上に単にCGを重畳して表示するだけではなく、仮想物体を操作する被写体(画像中の体験者の手など)を、仮想物体よりも手前(前景)に表示できることが求められる。このような構成によれば、仮想物体との距離感及び現実感を保ち、臨場感を高めることができる。一方で、このようなインタラクションを実現するためには、カメラ画像中の被写体領域を判定する必要がある。

この課題を解決するために、特許文献1は、事前に登録された被写体の色情報を用いて、カメラ画像中の被写体領域を判定する技術を提案している。また、特許文献2は、被写体の色情報の登録及び削除を容易にするユーザインタフェースを開示している。さらに、特許文献3も、被写体の色情報の登録を容易にするユーザインタフェースを開示するとともに、さらに登録された背景の色情報を有する画素を被写体領域が除外するように、カメラ画像中の被写体領域を判定する技術を提案している。

特開2005−107967号公報

特開2005−228140号公報

特開2015−230695号公報

しかしながら、特許文献1〜3の手法を用いた場合であっても、特に被写体の色と背景の色とが類似している場合に、抽出ノイズが生じやすい傾向があった。例えば、被写体の部分が被写体領域として抽出されない(未検出)、又は被写体ではない部分が被写体領域として抽出される(過検出)ことがあった。また、背景の白い領域及び黒い領域(無彩色に近い領域)においても、抽出ノイズが生じやすい傾向があった。この場合、さらなる色情報の登録により抽出ノイズを減らすことが望まれるが、良好な被写体抽出結果を得るためにユーザによる色情報の登録を繰り返すには時間を要していた。

本発明は、画像からの被写体抽出精度を向上させることを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、 画像から被写体領域を抽出する画像処理装置であって、 画像を取得する画像取得手段と、 前記画像上の被写体領域に属する1以上の抽出色の指定及び前記画像上の被写体領域に属さない1以上の非抽出色の指定を取得する指定取得手段と、 前記抽出色及び前記非抽出色に基づいて、色変換パラメータを導出する導出手段と、 前記色変換パラメータに基づいて前記画像の色を変換する変換手段と、 前記変換後の前記画像及び前記抽出色に基づいて、前記画像から被写体領域を抽出する抽出手段と、 を備えることを特徴とする。

画像からの被写体抽出精度を向上させることができる。

一実施形態に係る画像処理装置の機能構成例を示すブロック図。

一実施形態に係る変換算出部1050の機能構成例を示すブロック図。

抽出色テーブル及び非抽出色テーブルを説明する図。

変換抽出色テーブル及び変換非抽出色テーブルを説明する図。

被写体抽出処理を説明する図。

色空間変換を行った後の抽出色領域及び非抽出色領域を示す模式図。

一実施形態に係る画像処理装置が行う処理のフローチャート。

一実施形態に係る色変換算出処理の詳細を示すフローチャート。

一実施形態で用いられるコンピュータの構成例を示すブロック図。

以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は以下の実施例に限定されるものではない。

[被写体抽出処理の概要] まず、被写体抽出処理の概要について、図5を参照して説明する。以下では、説明の簡略化のため、静止画から被写体を抽出する場合を例にとって説明する。本明細書において、被写体とは画像から抽出すべきオブジェクトのことを指し、背景とは被写体以外の部分を指す。図5(A)は、処理の対象となるカメラ画像500を示す。入力されたカメラ画像500には、被写体である手510、及び手の色に近い黄色の箱520が写っている。

ユーザは、ユーザインタフェースに提示されたカメラ画像500を見ながら、抽出すべき被写体の色である抽出色を指定する。例えばユーザは、入力装置(例えばマウス)を用いて、マウスカーソルを位置530から位置540に動かすことにより、手510の領域の一部である領域550を指定する。この場合、領域550に含まれる画素の色情報が、抽出色として登録される。

抽出色の情報は、図5(C)の抽出色領域560に示されるように、YCbCr空間にマッピングできる。また、輝度変化の影響(例えば、照明条件の相違等による、画像内における明るさの変動及びフレーム画像間における明るさの変動)を低減するために、抽出色領域560をCbCr平面に投影してもよい。この場合、CbCr平面上の抽出色領域570に含まれる色を有する画素を、被写体領域としてカメラ画像から抽出することができる。図5(C)に示される抽出色領域570に従って、カメラ画像から抽出した被写体領域を図5(B)に示す。図5(B)には、手の内部だが抽出されなかった領域552(未検出領域)と、背景領域だが誤って抽出された領域555,557(過検出領域)が示されている。

ユーザは、さらに非抽出色を設定することができる。例えばユーザは、図5(D)に示すように、過検出領域557が抽出されないようにするため、カメラ画像500上でマウスカーソルを位置530から位置540にドラッグすることにより、領域550を指定することができる。この場合、領域550に含まれる画素の色情報が、非抽出色として登録される。非抽出色の情報も、図5(E)の非抽出色領域565及び非抽出色領域575に示されるように、YCbCr空間及びCbCr平面にマッピングできる。ここで、抽出色領域と非抽出色領域とが重複する場合、新しく指定された領域を優先することができる。例えば、以前に設定された抽出色領域570と重複する領域については、非抽出色領域575を優先することができる。

図5(F)は、図5(E)に示されるように非抽出色領域を設定した場合に、カメラ画像から抽出される被写体領域を示す。ここでは、過検出領域557がなくなったものの、抽出色領域570が狭くなったため、未検出領域552は図5(D)よりも拡大している。ユーザは、図5(F)に示すように、過検出領域555が抽出されないようにするため、さらに領域550を指定することができる。領域550に含まれる画素の色情報も、図5(G)の非抽出色領域567及び非抽出色領域577に示されるように、非抽出色として登録される。図5(H)は、図5(G)に示されるように非抽出色領域を設定した場合に、カメラ画像から抽出される被写体領域を示す。ここでは、過検出領域555がなくなったものの、抽出色領域570がさらに狭くなったため、手510の明るい部分にさらなる未検出領域553が生じている。

ユーザは、さらに抽出色を設定することができる。例えばユーザは、図5(H)に示すように、未検出領域552,553を抽出できるように、領域550を指定することができる。この場合、領域550に含まれる画素の色情報が、抽出色として登録される。登録後の抽出色領域560及び抽出色領域570を図5(I)に示す。ここで、以前に設定された非抽出色領域575と重複する領域については、ここで追加された抽出色領域570が優先されている。図5(J)は、図5(I)に示されるように非抽出色領域を設定した場合に、カメラ画像から抽出される被写体領域を示す。図5(J)では、未検出領域552,553はなくなったものの、非抽出色領域575が狭くなったため、過検出領域555,557が再び現れている。

以上のように、抽出色と非抽出色を繰り返し設定することにより、過検出領域及び未検出領域が小さくなるように手動で調整を行うことができるが、この調整は多くの時間を要する。また、動画像を処理する場合には、動画のそれぞれのフレームを用いて過検出領域及び未検出領域が小さくなるように調整することが求められ、この場合にはさらなる時間が必要となる。

本実施形態に係る画像処理装置によれば、過検出領域及び未検出領域が小さくなるように画像に対して色変換を行ってから、被写体抽出が行われる。このため、画像からの被写体抽出精度が向上するため、繰り返し設定の回数が少なくなり、調整時間が短くなることが期待される。また、このような色変換を自動的に求めることによっても、調整時間が短くなることが期待される。さらに、以下に説明する実施形態によれば、ユーザインタフェース上で確認しながら過検出領域及び未検出領域をユーザが指定することができるため、調整時間が短くなることが期待される。

[装置構成] 図1は、本実施形態に係る画像処理装置である、被写体抽出処理装置の機能構成を示すブロック図である。処理装置1000は、画像から被写体領域を抽出する。処理装置1000には、撮像装置100、表示装置200、外部記憶装置300、及び入力装置150を接続することができる。

撮像装置100は被写体を含む画像を撮像することができ、例えばカラー画像を撮像するカメラである。表示装置200は画像等の情報を表示することができる。処理装置1000は、接続された撮像装置100を制御可能であってもよい。

表示装置200を用いて、被写体抽出結果を示す情報と実写映像との合成結果を、ユーザにフィードバックすることができる。表示装置200は、ディスプレイであってもよく、例えば頭部装着型のヘッドマウントディスプレイ又は据え置き型の大型のモニターである。

入力装置150は処理装置1000への指示入力のために用いられるデバイスである。ユーザは、入力装置150を操作することにより、被写体抽出処理を制御することができる。本実施形態において入力装置150はマウスである。ユーザは、表示装置200に表示された結果を見ながら、被写体と判定されなかった被写体上の領域や、被写体と判定された被写体外の領域のような、ノイズ領域を入力装置150で指定することにより、被写体領域の調整を行うことができる。

外部記憶装置300は、データやプログラムを格納することができる。例えば、外部記憶装置300は、処理装置1000により決定されたカメラ画像上の被写体領域を示す情報を保存することができる。外部記憶装置300は、例えばメモリやハードディスクなどであってもよく、このような情報を別のプログラムに伝達するための一時記憶媒体として用いることができる。

処理装置1000が備える画像取得部1010は、画像を取得する。画像取得部1010は、撮像装置100からカメラ画像を取得して、データ記憶部1020に記憶することができる。

処理装置1000が備えるデータ記憶部1020は、画像取得部1010から入力されたカメラ画像を保持することができる。また、データ記憶部1020は、被写体抽出に用いる色情報及び色変換パラメータを保持することができる。色情報の例(例えば後述する変換抽出色テーブル及び変換非抽出色テーブル)及び色変換パラメータの例については後述する。データ記憶部1020が保持するデータの種類はこれらに限定されず、データ記憶部1020は色空間変換のために用いることができる任意の種類の情報を保持することができる。

処理装置1000が備える抽出色取得部1030及び非抽出色取得部1040は、画像上の被写体領域に属する1以上の抽出色の指定及び画像上の被写体領域に属さない1以上の非抽出色の指定を取得する(指定取得)。以下では、これらの構成についてより詳しく説明する。

抽出色取得部1030は、抽出すべき被写体の色である抽出色の指定を取得する。例えば抽出色取得部1030は、カメラ画像上でユーザが指定した被写体上の領域(第1の領域)に含まれる各画素についての色情報を、指定された抽出色として取得するモジュールであってもよい。例えばユーザは、入力装置150であるマウスをドラッグ操作することにより、被写体上の領域を指定することができる。この場合、抽出色取得部1030は、指定された領域の色情報をカメラ画像を参照して取得することができる。本実施形態においては、色情報としてはYCbCr色空間における値(Y・Cb・Crの3値)が用いられる。もっとも、本発明においてYCbCr空間での色の表現を用いることは必須ではない。一実施形態においては、輝度情報と色情報を分離可能な色空間における、明るさを表す第1の色値(例えばY値)及び色彩を表す第2の色値(例えばCb及びCr値)を含む3次元以上の色情報が用いられる。抽出色取得部1030は、抽出色の指定として、こうして得られた色情報を取得することができる。

抽出色配置部1035は、抽出色取得部1030から入力された色情報を抽出色テーブルに配置する。抽出色配置部1035は、同じ色情報が入力された回数をカウントすることができる。例えば、抽出色配置部1035は、入力された色情報が、すでに登録されている色情報と重複している場合は、色情報に対応するカウント値を増加させることができる。このテーブルの一例を図3(A)に示す。図3(A)には、抽出色として登録された色情報と、そのカウント値と、が登録されている。このカウント値は、関連付けられた色情報が抽出色としてユーザに指定された回数である。これは、関連付けられた色情報を有する画素が抽出色の画素としてユーザに指定された回数であってもよい。ユーザは、抽出色の画素として同じ画素を2回以上指定してもよい。抽出色配置部1035は、こうして生成したテーブルを変換算出部1050に出力する。

処理装置1000が備える非抽出色取得部1040は、抽出しない色(被写体外の色)である非抽出色の指定を取得する。例えば非抽出色取得部1040は、カメラ画像上でユーザが指定した被写体以外の領域(第2の領域)に含まれる各画素の色情報を、指定された非抽出色として取得するモジュールであってもよい。抽出色取得部1030と同様に、ユーザは、入力装置150であるマウスをドラッグ操作することにより、被写体以外の領域を指定することができる。こうしてユーザは、過検出領域(ノイズ)を指定することができる。

処理装置1000が備える非抽出色配置部1045は、非抽出色取得部1040から入力された色情報を非抽出色テーブルに配置する。非抽出色配置部1045は、抽出色配置部1035と同様に、同じ色情報が入力された回数をカウントすることができる。このテーブルの一例を図3(B)に示す。図3(B)にも、非抽出色として登録された色情報と、そのカウント値と、が登録されている。抽出色配置部1035は、こうして生成したテーブルを変換算出部1050に出力することができる。

なお、抽出色及び非抽出色の記録方法は、テーブルを用いる方法には限定されない。例えば、抽出色又は非抽出色として登録される色空間上の色領域を示す情報を記録することもできる。複数の色についての色情報から、色領域を示す情報を生成する方法としては、例えば特許文献1に記載の凸閉方処理が挙げられる。

処理装置1000が備える変換算出部1050は、抽出色及び非抽出色に基づいて、色変換パラメータ(以下、変換情報とも呼ぶ)を導出する。例えば変換算出部1050は、抽出色テーブルと非抽出色テーブルを用いて、色空間変換を導出するためのモジュールであってもよい。変換算出部1050は、被写体抽出を行った際に、過検出領域と未検出領域が最小になるように、色空間の変換情報を算出することができる。そして、変換算出部1050は、得られた色空間変換情報と、それぞれ抽出色テーブル及び非抽出色テーブルの色情報を色空間変換して得られた変換抽出色テーブル及び変換非抽出色テーブルを、データ記憶部1020に記録する。

本実施形態においては、多次元色空間上で表される画像の色情報をより低次元の色空間に射影する色変換を行うことができる。すなわち、色変換パラメータに基づく変換後の色は、多次元色空間上で表される画像の色情報をより低次元の色空間に射影することにより得られる色情報であってもよい。画像の色が3次元色空間上の色情報により表される一例において、変換後の色は、画像の色を色変換パラメータに基づいて色空間変換し、色空間変換後の色情報を座標平面に射影して得られる色情報によって表すことができる。

例えば、色空間の変換情報としては、色空間を回転させる3軸の回転値(θx,θy,θz)を用いることができる。本実施形態においては、一例として、YCbCr色空間を3軸の回転値に従ってY’Cb’Cr’色空間へと回転させることにより、Y・Cb・Cr値がY’・Cb’・Cr’値に変換される。このように、色空間の変換情報を用いて、色空間変換後の色情報をCb’Cr’座標平面に射影して得られる色情報Cb’・Cr’値を得ることができる。後述するように、被写体抽出部1060による被写体領域の抽出は、このように算出されたCb’・Cr’値を用いて行われる。なお、Cb’・Cr’値は、YCbCr色空間における任意の平面にY・Cb・Cr値を射影して得られる値に相当する。

もっとも、色空間変換は3軸の回転には限定されず、非線形変換を含む任意の変換を採用することができる。例えば、色空間変換は1軸又は2軸の回転であってもよい。また、色空間変換は、所定の領域のみのスケールを拡大・縮小することにより、着目色領域の分解能を部分的に向上させる変換であってもよい。変換算出部1050のより詳細な構成については後述する。

変換部1055は、データ記憶部1020に記憶されている色空間の変換情報に基づいて、カメラ画像の色情報に対する色空間変換処理を行う。例えば、変換部1055は、変換情報に含まれる3軸の回転値に基づく色空間変換を行うことにより、カメラ画像の全画素について、Y・Cb・Cr値を、色空間変換後のY’・Cb’・Cr’値に変換することができる。変換部1055は、色空間変換後のカメラ画像を、被写体抽出部1060に出力する。

被写体抽出部1060は、色変換後の画像及び抽出色に基づいて、画像から被写体領域を抽出する。例えば被写体抽出部1060は、変換部1055から出力された色変換後のカメラ画像から被写体領域を抽出することができる。なお、被写体抽出部1060は、後述するように、さらに非抽出色に基づいて被写体領域を抽出することもできる。被写体抽出部1060は、抽出した被写体領域を、外部記憶装置300又は画像生成部1100に出力することができる。

画像生成部1100は、被写体抽出部1060によって抽出された被写体領域を示す情報を生成する。画像生成部1100は、抽出された被写体領域を示す情報をカメラ画像に重畳することができる。例えば、画像生成部1100は、データ記憶部1020に保存されたカメラ画像のうち、被写体抽出部1060が抽出した被写体領域に、色を付けることにより表示画像を生成することができる。画像生成部1100は、こうして生成された表示画像を表示装置200に表示する表示制御を行うことができる。このような表示画像に基づいて、ユーザは、被写体抽出において発生した過検出領域又は未検出領域を確認することができる。図5(B)は、このような表示画像の例を示す。本実施形態のように色変換を行う場合にも、図5(B)と同様のユーザインタフェースを採用することができる。

図2は、変換算出部1050の詳細な構成を示すブロック図である。投影部2010は、データ記憶部1020から取得した色空間の変換情報に基づいて、抽出色配置部1035から取得した抽出色テーブルに配置されている色情報に対する投影変換を行う。また、投影部2010は、同様に非抽出色配置部1045から取得した非抽出色テーブルに配置されている色情報に対する投影変換を行う。本実施形態に係る投影変換では、テーブルに配置されたYCbCr空間における色値(3次元データ)に対して、3軸の回転値(θx,θy,θz)に基づく回転変換が行われ、変換後の色値がCb’・Cr’平面に投影される。図3(A)及び(B)に示される抽出色テーブル及び非抽出色テーブルに対して、投影変換を行うことにより得られた、変換抽出色テーブル及び変換非抽出色テーブルの例を、図4(A)及び(B)に示す。

未検出判定部2020は、検出すべき被写体領域のうち、被写体抽出部1060により抽出されない被写体上の未検出領域を判定する。未検出判定部2020は、変換抽出色テーブル及び変換非抽出色テーブルに基づいて、未検出領域を判定することができる。本実施形態では、抽出色を指定するためにユーザが指定した画素(例えば図5(A)の領域550内の画素)のうち、被写体として抽出されない画素数(例えば図5(H)の未検出領域552,553の画素数)を、未検出判定部2020は算出する。詳細な算出方法については後述する。

過検出判定部2030は、検出すべきではない被写体以外の領域のうち、被写体抽出部1060により抽出される被写体上の過検出領域を判定する。未検出判定部2020は、変換抽出色テーブル及び変換非抽出色テーブルに基づいて、未検出領域を判定することができる。本実施形態では、非抽出色を指定するためにユーザが指定した画素(例えば図5(D)(F)の領域550内の画素)のうち、被写体として抽出される画素数(例えば図5(J)の過検出領域555,557の画素数)を、未検出判定部2020は算出する。詳細な算出方法については後述する。

変換計算部2040は、未検出判定部2020及び過検出判定部2030による未検出領域及び過検出領域の判定結果に基づいて、色変換パラメータを導出する。変換計算部2040は、未検出領域及び過検出領域が小さくなるように、色空間の変換情報を算出することができる。変換計算部2040は、得られた変換情報をデータ記憶部1020に記録する。

上述した、例えば図1及び図2に示される各処理部は、専用のハードウェアによって実現されてもよい。一方で、処理装置1000が有する一部又は全部の処理部が、コンピュータにより実現されてもよい。図9は、使用可能なコンピュータ900の基本構成の一例を示す図である。図9においてプロセッサー910は、例えばCPUであり、コンピュータ全体の動作をコントロールする。メモリ920は、例えばRAMであり、プログラム及びデータ等を一時的に記憶する。コンピュータが読み取り可能な記憶媒体930は、例えばハードディスク又はCD−ROM等であり、プログラム及びデータ等を長期的に記憶する。本実施形態においては、記憶媒体930が格納している、各部の機能を実現するプログラムが、メモリ920へと読み出される。そして、プロセッサー910が、メモリ920上のプログラムに従って動作することにより、各部の機能が実現される。図9において、入力インタフェース940は外部の装置から情報を取得するためのインタフェースである。また、出力インタフェース950は外部の装置へと情報を出力するためのインタフェースである。バス960は、上述の各部を接続し、データのやりとりを可能とする。

<処理手順> 図7は、本実施形態に係る処理装置1000が行う処理の一例を示すフロー図である。図7に示す処理は、撮像装置100からのカメラ画像が更新されるたびに繰り返し実行されてもよい。例えば、撮像装置100が動画像を生成する場合、処理装置1000は動画像を構成するそれぞれのフレーム画像に対して以下の処理を行うことができる。

ステップS3010で画像取得部1010は、撮像装置100からカメラ画像を取得し、データ記憶部1020に保存する。

ステップS3020で抽出色取得部1030及び非抽出色取得部1040は、入力装置150から入力があるか否かを判定する。入力があった場合、処理はステップS3060に移行する。入力がなかった場合、処理はステップS3030に移行する。

ステップS3030で変換部1055は、データ記憶部1020に記憶されている色空間の変換情報に基づいて、カメラ画像の各画素について色情報に対する色空間変換を行う。一実施形態において、色空間変換は以下の計算式(1)を用いて行うことができる。式81)において、Y,Cb,Crは元のカメラ画像の色値であり、Rは3軸の回転値(θx,θy,θz)に従う3×3の回転行列であり、Y’,Cb’,Cr’は変換後の色値である。

ステップS3040で被写体抽出部1060は、ステップS3030で得られた変換後の色値に基づいて、各画素が被写体領域に含まれるか否かを判定する。ここで被写体抽出部1060は、色変換パラメータに基づく変換後の画像の着目画素の色が変換後の抽出色であるか否かに基づいて、着目画素を被写体領域の画素か否か判定することができる。もっとも、着目画素の色が抽出色と完全に一致する必要はなく、例えば着目画素の色と抽出色との差異が所定の閾値以内である場合に、着目画素の色は変換後の抽出色であると判定してもよい。同様に、後述するように、抽出色と非抽出色とが同一であるか否かを判定する場合、及び2以上の抽出色又は非抽出色が同一であるか否かを判定する場合も、色が完全に一致する必要はない。

例えば、被写体抽出部1060は、データ記憶部1020に格納されている変換抽出色テーブルに基づいてこの判定を行うことができる。本実施形態において、被写体抽出部1060は、ステップS3030で得られた着目画素のCb’・Cr’値が、変換抽出色テーブルのCb’・Cr’値に該当する場合に、着目画素を被写体領域の画素として登録することができる。被写体抽出部1060は、注目画素のCb’・Cr’値が、変換抽出色テーブルのCb’・Cr’値に該当しない場合は、着目画素を被写体領域の画素として登録しない。本実施形態において被写体抽出部1060は、カメラ画像のすべての画素に対して、被写体か否かの判定を行う。そして、被写体抽出部1060は、被写体領域の画素の座標を、外部記憶装置300又は画像生成部1100に出力する。

ステップS3050で画像生成部1100は、データ記憶部1020に格納されているカメラ画像に対し、ステップS3040で抽出した被写体領域を示す情報を合成する合成処理を行う。例えば画像生成部1100は、カメラ画像の被写体領域に着色することができる。こうして得られた合成画像を表示装置200上で表示することにより、ユーザは、被写体である手510の領域と、抽出された被写体領域と、の一致度(未検出領域及び過検出領域の大きさ)を知ることができる。画像生成部1100は、カメラ画像上の手510の輪郭と被写体領域の輪郭との比較が容易となるように、被写体領域を示す半透明の図形をカメラ画像に合成することができる。

ステップS3060で抽出色取得部1030及び非抽出色取得部1040は、入力装置150からの入力が、抽出色の入力であったか、非抽出色の入力であったかを判定する。 非抽出色の入力があった場合、処理はステップS3090に移る。また、抽出色の入力があった場合、処理はステップS3070に移る。なお、複数の入力があった場合には、それぞれの入力についてステップS3060〜S3100の処理を行うことができる。

ステップS3070で抽出色取得部1030は、入力装置150を用いて指定された領域におけるカメラ画像の色情報を取得し、抽出色配置部1035に出力する。例えば、入力装置150を用いたマウスドラッグ操作により、開始座標及び終了座標を頂点とする矩形領域を指定することができる。図5(A)の例においては領域550が指定されており、この場合抽出色取得部1030は領域550に含まれる各画素についての色情報を取得する。同じ色情報を有する画素が存在する場合、抽出色取得部1030はこの色情報を有する画素の数をカウントして出力する。

ステップS3080において抽出色配置部1035は、ステップS3070で取得された色情報を用いて抽出色テーブルを更新する。図5(A)の例において、抽出色配置部1035は、領域550に含まれる画素についての色情報を抽出色テーブルに追加する。このとき抽出色配置部1035は、同じ色情報を有する画素の数も、色情報に対応付けて保存する。図5(C)は、図5(A)の例において登録された抽出色を3次元の抽出色領域560として示す。

ステップS3090において非抽出色取得部1040は、入力装置150を用いて指定された領域におけるカメラ画像の色情報、及び同じ色情報を有する画素数を取得し、非抽出色配置部1045に出力する。具体的な手法はステップS3070と同様である。図5(D)の例においては領域550が指定されており、この場合抽出色取得部1030は領域550に含まれる各画素についての色情報を取得する。

ステップS3100において非抽出色配置部1045は、ステップS3090で取得された色情報を用いて非抽出色テーブルを更新する。具体的な手法はステップS3090と同様である。図5(E)は、図5(D)の例において登録された非抽出色を3次元の非抽出色領域565として示す。

ステップS3120において変換算出部1050は、抽出色テーブル及び非抽出色テーブルに基づいて色空間の変換情報を算出する。変換算出部1050は、被写体抽出時に過検出領域及び未検出領域がより小さくなるように、変換情報を算出することができる。また、変換算出部1050は、抽出色テーブル及び非抽出色テーブルに含まれる色情報を、変換情報に従って色変換することにより、変換抽出色テーブル及び変換非抽出色テーブルを作成する。変換算出部1050は、こうして得られた変換情報、変換抽出色テーブル、及び変換非抽出色テーブルを、データ記憶部1020に記録する。その後、処理はS3030に移る。変換算出部1050による具体的な処理については後述する。

図5(G)に示す例では、抽出色領域560及び非抽出色領域565,567がY・Cb・Cr色空間に登録されている。そして、CbCr平面に投影された際に、抽出色領域560と非抽出色領域565,567とは一部が重複している。CbCr平面に投影するとこのような重複部分に含まれる色情報を有する画素は、未検出領域又は過検出領域を構成する。本実施形態においては、図6に示されるように色情報に対して回転変換を行うことにより、過検出領域及び未検出領域が少なくなるように色空間が変換される。図6の例では、抽出色領域560及び非抽出色領域565,567に対して回転変換が行われた結果、Cb’・Cr’平面に投影された抽出色領域570は、非抽出色領域575,577と重複していない。このため、未検出領域及び過検出領域の発生が抑えられ、被写体をより少ないノイズで抽出することが可能となる。

ステップS3050の後で、ステップS3020〜S3050の処理が繰り返されてもよい。例えば、ステップS3040が被写体抽出部1060が被写体領域を抽出した後に、処理がステップS3020に戻り、抽出色取得部1030及び非抽出色取得部1040が抽出色又は非抽出色の指定を追加取得してもよい。この場合、ステップS3120において変換算出部1050は、追加取得した抽出色又は非抽出色の指定に基づいて色変換パラメータを更新することができる。また、ステップS3040において被写体抽出部1060は、更新後の色変換パラメータに基づいて被写体領域を抽出することができる。このような構成によれば、ユーザは、表示画像中の抽出結果を見ながら抽出色又は非抽出色の指定を繰り返すことができるため、調整に要する時間が短くなることが期待される。

図8は、ステップS3120における色空間変換の算出処理の一例を詳細に示すフロー図である。ステップS4010において投影部2010は、データ記憶部1020から取得した色空間の変換情報を用いて、抽出色テーブル(図3(A))及び非抽出色テーブル(図3(B))に含まれる色情報を変換する。なお、初期状態(例えばプログラム起動直後)においては、変換情報として任意の初期値が用いられる。一例として、初期状態においては、変換情報である3軸の回転値の初期値は(0,0,0)であってもよい。また、同じカメラ画像に対してステップS3120の処理を繰り返す場合、投影部2010は、直前のステップS3120で算出された変換情報をデータ記憶部1020から取得することができる。さらに、1つのカメラ画像に対して1回目のステップS3120の処理を行う場合、投影部2010は、以前に処理されたカメラ画像に対して算出された変換情報をデータ記憶部1020から取得することができる。

本実施形態において投影部2010は、色空間の変換情報から、色空間を変換するための3×3の回転行列Rを算出する。そして投影部2010は、式(1)を用いて、抽出色配置部1035が更新した抽出色テーブルに登録されているY・Cb・Cr値をY’・Cb’・Cr’値に変換する。ここで、変換後のY’・Cb’・Cr’値にも、元のY・Cb・Cr値に対応するカウント値が対応付けられる。さらに、投影部2010は、Y’・Cb’・Cr’値をCb’・Cr’平面に縮退させて得られるCb’・Cr’値が登録された変換抽出色テーブルを作成する。変換抽出色テーブルにおいて、Cb’・Cr’値には、Cb’・Cr’値が同一であり、様々なY’値を有する色情報についてのカウント値の合計が対応付けられる。すなわち、変換抽出色テーブルを用いて、Cb’・Cr’平面上における抽出色の出現頻度を参照することができる。例えば、図4(A)に示す変換抽出色テーブルには、抽出色として登録された変換後の色情報と、そのカウント値と、が登録されている。このように、投影部2010は、色変換パラメータに基づく変換後の1以上の抽出色のそれぞれについて、抽出色を指定するためにユーザが指定した画素(第1の領域に含まれる画素)のうち抽出色を有している画素の数(第1の数)をカウントできる。

投影部2010は、同様に、抽出色配置部1035が更新した非抽出色テーブルから、変換非抽出色テーブルを生成する。変換非抽出色テーブルには、非抽出色のCb’・Cr’値と、その出現頻度と、が登録される。例えば、図4(B)に示す変換抽出色テーブルには、非抽出色として登録された変換後の色情報と、そのカウント値と、が登録されている。このように、投影部2010は、色変換パラメータに基づく変換後の1以上の非抽出色のそれぞれについて、非抽出色を指定するためにユーザが指定した画素(第2の領域に含まれる画素)のうち抽出色を有している画素の数(第2の数)をカウントできる。

ステップS4020で未検出判定部2020は、変換抽出色テーブル及び変換非抽出色テーブルに基づいて、未検出領域の存在を判定する。本実施形態において未検出判定部2020は、同一の色(Cb’・Cr’)についての変換抽出色テーブル及び変換非抽出色テーブルのカウント値を比較する。そして、未検出判定部2020は、変換抽出色テーブルのカウント値が変換非抽出色テーブルのカウント値よりも少ない場合に、この色(Cb’・Cr’)を有する未検出領域が存在すると判断する。この場合、この色を有する画素のうち、ユーザが登録したいと考えて指定した画素の数よりも、非登録にしたいと考えて指定した画素数の方が多い。本実施形態においては、このような色を有する画素は統計的に被写体領域外にある可能性が高いため、被写体領域として抽出されない。しかしながらこの場合、ユーザが被写体として指定した画素については、被写体領域内の未検出画素となる。例えば、図5(G)に示すように、抽出色領域570に対し、非抽出色領域575が重複するときに、未検出領域が生じうる。

本実施形態において未検出判定部2020は、変換抽出色テーブルにおいて、図4(A)に示すように、このような色情報に関連付けられた「状態」フィールドに「未検出」であることを示す情報を登録する。一方、未検出判定部2020は、それ以外の色情報に関連付けられた「状態フィールド」には、被写体抽出のために使用可能であることを示すために、「登録」されていることを示す情報を登録する。

ステップS4030で過検出判定部2030は、変換抽出色テーブルと変換非抽出色テーブルの結果に基づいて、過検出領域の存在を判定する。過検出判定部2030は未検出判定部2020と同様の比較を行い、変換抽出色テーブルのカウント値が変換非抽出色テーブルのカウント値よりも多い場合に、色(Cb’・Cr’)を有する過検出領域が存在すると判断する。本実施形態においては、このような色を有する画素は統計的に被写体領域内にある可能性が高いため、被写体領域として抽出される。しかしながらこの場合、ユーザが被写体ではないと指定した画素については、被写体領域外の過検出画素となる。例えば、図5(G)に示すように、非抽出色領域577に対し、抽出色領域570が重複するときに、過検出領域が生じうる。本実施形態において過検出判定部2030は、変換非抽出色テーブルにおいて、図4(B)に示すように、このような色情報に関連付けられた「状態」フィールドに「過検出」であることを示す情報を登録する。一方、過検出判定部2030は、それ以外の色情報に関連付けられた「状態フィールド」には、被写体抽出のために使用しないことを示すために、「非登録」であることを示す情報を登録する。なお、カウント値が一致する場合は、未検出領域が存在すると判断されてもよいし、過検出領域が存在すると判断されてもよい。

ステップS4040で変換計算部2040は、ステップS4020で判定された未検出領域とステップS4030で判定された過検出領域とが、カメラ画像上で小さくなるような色空間の変換情報を算出する。

下式(2)において、Recallは未検出領域が無い場合に1となるように定義されるパラメータである。式(2)において、TPは、変換抽出色テーブルに含まれる各色情報のカウント値の合計値である。また、FNは、変換抽出色テーブルにおいて状態が「未検出」となっている各色情報のカウント値の合計値である。 Recall = TP/(TP+FN) ……式(2)

また、下式(3)において、Precisionは過検出領域が無い場合に1となるように定義されるパラメータである。式(3)において、FPは、変換非抽出色テーブルにおいて状態が「過検出」となっている各色情報のカウント値の合計値である。 Precision = TP/(TP+FP) ……式(3)

変換計算部2040は、式(2)と式(3)を組み合わせて得られる、未検出領域及び過検出領域がない場合に1となるように定義される、下式(4)のパラメータFに基づいて、色空間の変換情報を算出する。 F = (2・Recall・Precision)/(Recall+Precision) ……式(4)

変換計算部2040は、まず、ステップS4010で取得した変換情報であるパラメータ(θx,θy,θz)を用いて式(4)に従ってF値を得る。そして、変換計算部2040は、F値がより大きくなるように、パラメータ(θx,θy,θz)を変化させる。例えば、変換計算部2040は、最小二乗法を用いてF値が最大となる3軸の回転値(θx,θy,θz)を求める最適化計算を行うことができる。

このように、変換計算部2040は、抽出色を有するが被写体領域として抽出されない画素(未検出領域)、及び非抽出色を有するが被写体領域として抽出される画素(過検出領域)と、の判定結果に基づいて色変換パラメータを導出する。より具体的には、変換計算部2040は、未検出領域及び非検出領域がより少なくなるように、色変換パラメータを導出している。別の観点において変換計算部2040は、変換抽出色テーブルに示される色変換パラメータに基づく変換後の抽出色と、変換非抽出色テーブルに示される色変換パラメータに基づく変換後の非抽出色と、の重複度の判定結果に基づいて色変換パラメータを導出する。より具体的には、変換計算部2040は、変換後の抽出色と非抽出色との重複度がより少なくなるように、色変換パラメータを導出している。

ステップS4050で変換計算部2040は、最適化計算を繰り返すか否かを判定する。例えば変換計算部2040は、前回のループで算出されたF値と、今回のループで算出されたF値との差分が、閾値以上である場合、3軸の回転値(θx,θy,θz)を新しい値に更新することができる。その後、処理はステップS4010に戻る。差分が閾値未満であった場合、変換計算部2040は、最適化計算を終了することができる。この場合、変換計算部2040は、得られた3軸の回転値を、色空間の変換情報としてデータ記憶部1020に記録する。こうして記録された変換情報を用いて、被写体の抽出が行われる。このように、変換算出部1050は、色変換パラメータを繰り返し更新することにより、色変換パラメータを導出することができる。

図6は、こうして得られた変換情報に従う、図5(G)の色空間の変換結果を示す。図6のCb’・Cr’平面において、抽出色領域570と非抽出色領域575,577とは重複していないため、被写体と背景とをより少ないノイズで分離することが可能となる。このように、色空間の変換を行うことにより、抽出色領域と非抽出色領域が重複しないように分離されるため、未検出領域及び過検出領域を減らすことができる。図6の例においては、図5(j)ではノイズとして残っていた過検出領域555,557が消え、被写体(手510)の領域のみを抽出することが可能となる。

一方、色空間変換を行っても、抽出色領域570と非抽出色領域575,577とが分離できず、重複する場合もある。本実施形態において被写体抽出部1060は、色変換パラメータに基づく変換後の画像の着目画素の色が変換後の非抽出色であるか否かにさらに基づいて、着目画素を被写体領域の画素か否か判定することができる。一例において被写体抽出部1060は、色変換パラメータに基づく変換後の画像の着目画素の色が、変換後の抽出色と変換後の非抽出色との双方に含まれる場合、着目画素は被写体領域の画素ではないと判定してもよい。

一方、本実施形態において被写体抽出部1060は、色変換パラメータに基づく変換後の画像の着目画素の色が、変換後の抽出色と変換後の非抽出色との双方に含まれる場合、さらに変換抽出色テーブルに登録された抽出色の「状態」を参照する。上述のとおり、変換後において着目画素の色を有している、抽出色を指定するためにユーザが指定した画素の数(第1の数)が、非抽出色を指定するためにユーザが指定した画素の数(第2の数)より少ない場合、変換後の抽出色は「未検出」状態と判定される。被写体抽出部1060は、変換抽出色テーブルにおいて「未検出」状態であることが登録されている色を有する画素については、被写体領域外と判定することができる。なお、一実施形態において、被写体抽出部1060は、変換非抽出色テーブルにおいて「過検出」状態であることが登録されている色を有する画素については、被写体領域内と判定してもよい。上述のとおり、第1の数が第2の数より多い場合に、変換後の非抽出色は「過検出」状態と判定される。このように、被写体抽出部1060は、このような第1の数及び第2の数に基づいて、着目画素は被写体領域に含まれる又は含まれないと判定することができる。この場合であっても、色空間変換により抽出色領域と非抽出色領域との分離が向上するため、未検出領域及び過検出領域が少なくなり、被写体抽出精度が向上する。

本実施形態の処理によれば、被写体抽出処理において過検出領域と未検出領域が少なくなるように色空間変換を行うため、被写体抽出精度が向上する。また、被写体領域及び被写体外の領域を指定する構成、とりわけ過検出領域及び未検出領域が発生した箇所を指定する構成を用いることにより、抽出精度を向上させる色空間変換が自動的に求められる。このため、従来よりも短時間で過検出領域及び未検出領域を減少させることができる。

[変形例1] ステップS4040における初期パラメータは特に限定されない。また、局所解が得られることを避け、より被写体抽出に適した変換情報を得るために、複数セットの初期パラメータを用いることもできる。例えば、3軸の回転値の初期値として(0,0,0)のみを用いる代わりに、(0.5,0,0)、(1,0,0)、(0,0.5,0)、(0,1,0)、(0,0,0.5)、及び(0,0,1)などの候補から、複数の初期値を選択することができる。この場合、それぞれの初期値を用いて最適化計算を行い、F値が最高になるパラメータを選択することができる。また、既に変換情報が得られている場合には、以前に得られた3軸の回転値(θx,θy,θz)の他に、初期値として(θx+0.5,θy,θz)、(θx+1,θy,θz)、(θx,θy+0.5,θz)、(θx,θy+1,θz)、(θx,θy,θz+0.5)、及び(θx,θy,θz+1)などを用いることができる。このような構成によれば、最適化における繰り返し回数を減らし、より少ない処理負荷で最適解を得ることができる。

[変形例2] 変換計算部2040による色空間の変換情報の算出方法は、上述の方法に限定されない。すなわち、投影後の抽出色領域570と、非抽出色領域575,577と、の分離を向上させる他の方法を用いて、色変換パラメータに基づく変換後の抽出色と、色変換パラメータに基づく変換後の非抽出色と、の重複度を少なくすることができる。例えば、変換計算部2040は、色変換パラメータに基づく変換後の色空間上の抽出色領域と、色変換パラメータに基づく変換後の色空間上の非抽出色領域と、の距離を判定することができる。そして、変換計算部2040は、この距離がより短くなるように、色変換パラメータを繰り返し更新することにより、色変換パラメータを導出することができる。

具体例として、投影面であるCb’・Cr’平面上で、抽出色領域570の輪郭線と、非抽出色領域575,577の輪郭線と、の距離がより大きくなるように、変換情報を求めてもよい。例えば、Cb’・Cr’平面上での、抽出色領域の輪郭線点列の各点における、非抽出色領域の輪郭線点との最短距離を求めることができる。そして、抽出色領域の輪郭線点列の各点について求められる最短距離の平均値が最大となるように、色空間の変換情報を最適化することができる。このような方法によっても、抽出色領域570と、非抽出色領域575,577と、の分離を向上させ、被写体抽出精度を向上させる変換情報を得ることができる。特に、このような方法によれば、別のカメラ画像に基づいて抽出色が追加登録された場合であっても、少ない繰り返し計算量で最適解を得ることができる。

[変形例3] 上記の全ての構成を備えることは、本発明において必須ではない。例えば、一実施形態に係る画像処理装置は、抽出色及び非抽出色に基づいて色変換パラメータを導出する変換算出部1050を有している。また、この画像処理装置は、色変換パラメータによる変換後の画像及び抽出色に基づいて、画像から被写体領域を抽出する被写体抽出部1060を有している。このような構成を有することにより、被写体の色である抽出色を被写体以外の色である非抽出色から区別できるように色変換を行うことが可能となるため、被写体の抽出精度を向上させることができる。

また、一実施形態に係る画像処理装置は、明るさを表す第1の色値(例えばY値)及び色彩を表す第2の色値(例えばCb及びCr値)を含む3次元以上の色情報によって各画素が表現されている画像を取得する画像取得部1010を有している。また、この画像処理装置は、第1の色値と第2の色値との双方を用いて変換後の色情報を導出するように、画像の色情報の次元を下げる(例えばY値が射影結果に寄与するようにCbCr平面以外の投影面へと色値を射影する)変換部1055を有している。このような構成を有することにより、明るさを表す色値を被写体抽出において考慮する一方で、輝度変化の影響が小さくなるように明るさを表す色値の寄与を小さくすることが可能となるため、被写体の抽出精度を向上させることができる。

また、一実施形態に係る画像処理装置は、画像上の被写体領域に属する1以上の抽出色の指定及び画像上の被写体領域に属さない1以上の非抽出色の指定を取得する抽出色取得部1030及び非抽出色取得部1040を有している。この画像処理装置はまた、抽出される被写体領域のうち非抽出色を有さない領域が、非抽出色の指定に応じて変化するように、画像から被写体領域を抽出する被写体抽出部1060を有している。例えば、非抽出色の指定により明示的に被写体領域から除外される、非抽出色を有する画素領域以外においても、非抽出色の指定に応じて被写体領域は変化する。このように、非抽出色を考慮して抽出される色の範囲を変化させる(例えば上述のように非抽出色を考慮して色空間を回転させる)構成により、被写体の抽出精度を向上させることができる。

(その他の実施例) 本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。

1010:画像取得部、1030:抽出色取得部、1040:非抽出色取得部、1050:変換算出部、1055:変換部、1060:被写体抽出部