爪画像合成装置、爪画像合成方法および爪画像合成プログラム

本発明は、爪画像合成装置、爪画像合成方法および爪画像合成プログラムに関し、特に手指の画像にネイルチップを爪に付加した状態の画像を合成する場合に適用して好適な技術に関する。

近年、手や足の爪に装飾を施すネイルアートが普及している。 ネイルアートの１つの手法として、ネイルチップを爪に貼り付けるものがある。 このネイルチップの爪への貼り付けは、接着剤や両面粘着テープを使用して行うため、販売店で簡単に装着して試すことができない。
このため、例えばコンピュータグラフィック（ＣＧ）で用意された手のモデルに、仮想ネイルアートを施して、ネイルチップを爪に貼り付けた状態をＣＧ画像上で確認するアプリケーションが存在する。 しかしながら、手のモデルは、肌の色合いや手指の形状などが、利用者の自分の手とは異なるため、実際にネイルチップを取り付けた状態とは異なった印象に見える可能性がある。

したがって、ネイルチップを装着する利用者の手を撮影して、その撮影した手の画像にネイルチップを合成して、リアルタイムで表示することができれば、利用者はネイルチップの実際の装着状態が確認できるようになる。
このようなネイルチップの装着状態の画像を得るためには、撮影した手指の画像から爪の部分を正確に検出する必要がある。

特許文献１には、手指を撮影した画像から、爪の領域を検出して、その爪の領域にネイルアートを施す手法についての記載がある。

特許文献１に記載されたように、指を撮影してその画像中の指の爪の部分にネイルアートを施すことは従来から提案されているが、これらの従来手法は、指をほぼ真上から撮影した画像中の爪にネイルアートを施すものがほとんどである。
ところが、このようなシステムを利用者が利用する際には、指を曲げたり手を回転させる等の動作を行って、ネイルアートが施された状態を確認したい場合がある。 しかしながら、従来の手法では、このような手の動きに追随したネイルチップの装着状態のリアルタイム画像を得ることは困難であった。

本発明は、手指を撮影した画像にネイルアートを施す際に、手の形状の変化や動きなどに追随したネイルアートの合成画像が得られる爪画像合成装置および爪画像合成方法、ならびに爪画像合成プログラムを提供することを目的とする。

本発明の爪画像合成装置は、手指に重畳するネイルチップの画像および手指画像を取得する画像取得部と、手指画像から指先を検出する指先検出部と、手指画像から爪領域を検出する爪領域検出部と、爪領域検出部で検出した爪領域の重心位置と、指先検出部で検出した指先位置とに基づいて、指の回旋を検出する回旋検出部とを備える。
さらに、回旋検出部で検出した回旋状態に対応して、取得したネイルチップの画像を加工するネイルチップ画像加工部と、ネイルチップ画像加工部で加工されたネイルチップの画像を、爪領域を含む範囲に重畳して、ネイルチップが合成された爪画像を得るネイルチップ合成部とを備える。

本発明の爪画像合成方法は、以下の各ステップを含むものである。
・手指に重畳するネイルチップの画像を取得するネイルチップ画像取得ステップ・手指画像を取得する手指画像取得ステップ・手指画像から指先位置を検出する指先検出ステップ・手指画像から爪領域を検出する爪領域検出ステップ・爪領域検出ステップで検出した爪領域の重心位置と、指先検出ステップで検出した指先位置とに基づいて、指の回旋を検出する回旋検出ステップ・回旋検出ステップで検出した回旋状態に対応して、ネイルチップ画像取得ステップで取得したネイルチップの画像を加工するネイルチップ画像加工ステップ・ネイルチップ画像加工ステップで加工されたネイルチップの画像を、爪領域を含む範囲に重畳して、ネイルチップが合成された爪画像を得るネイルチップ合成ステップ

また本発明の爪画像合成プログラムは、これらの各ステップをコンピュータが実行するプログラムとしたものである。

本発明によると、手指の画像から爪領域を検出すると共に指の回旋を検出して、その検出に基づいてネイルチップを指に適正に合成することができる。 したがって、例えば手首を回したり、指の関節を曲げるなどの動きのある手指を撮影した場合でも、その撮影した動きのある手指にネイルチップを合成した画像が得られる効果を有する。

本発明の一実施の形態による装置構成例を示すブロック図である。

本発明の一実施の形態によるネイルチップ画像生成処理例を示すフローチャートである。

本発明の一実施の形態によるネイルチップ画像の例を示す図である。

本発明の一実施の形態によるネイルチップの重畳処理例を示すフローチャートである。

本発明の一実施の形態による指先検出処理例を示すフローチャートである。

本発明の一実施の形態による指先の検出状態の例を示す図である。

本発明の一実施の形態による爪領域の検出処理例を示すフローチャートである。

本発明の一実施の形態による爪領域の検出処理状態の例を示す図である。

本発明の一実施の形態による爪を含む領域と含まない領域の判定例を示す図である。

本発明の一実施の形態による指の回旋の検出処理例を示すフローチャートである。

本発明の一実施の形態による爪重心と指先の検出状態の例を示す図である。

本発明の一実施の形態による爪領域に設定した楕円の例を示す図である。

本発明の一実施の形態によるネイルチップの重畳処理例を示すフローチャートである。

本発明の一実施の形態によるネイルチップの重畳例を示す図である。

本発明の一実施の形態によるネイルチップの重畳状態の具体例を示す図である。

以下、本発明の一実施の形態の例（以下、「本例」と称する。）を、添付図面を参照して説明する。

［装置構成の例］
図１は、本例の爪画像合成方法を実行する装置の構成例を示す図である。 この図１は、本例の爪画像合成方法を実行する上で必要な処理機能の流れを示した機能ブロック図である。 本例の爪画像合成方法を実行する上で、この図１に示す各処理部をハードウェアとして備えた爪画像合成装置を構成してもよいが、例えばコンピュータが図１に示したそれぞれの処理部の機能を実行する構成でもよい。

図１に示した構成について説明すると、画像の入力部として、ネイルチップ画像入力部１１と手画像入力部１４とを備える。 ネイルチップ画像入力部１１には、ネイルチップを撮影した画像が入力される。 このネイルチップ画像入力部１１に入力されるネイルチップを撮影した画像は、ネイルチップを撮影した１枚の静止画像である。 あるいは、ネイルチップを撮影した動画像から取り出した、１枚の静止画像としてもよい。
ネイルチップ画像入力部１１に入力されたネイルチップの画像は、ネイルチップ画像補正部１２に供給され、ネイルチップの姿勢やサイズを修正する画像の補正処理が行われる。 補正されたネイルチップの画像情報は、ネイルチップ重畳部１３に供給される。

手画像入力部１４には、利用者の手指（掌）を撮影した画像が入力される。 この手画像入力部１４に入力される手指の画像は、動画像と静止画像のいずれでもよい。 手画像入力部１４に入力された手指の画像は、ネイルチップ重畳部１３と爪領域重心検出部１５と指先端位置検出部１６とに供給される。

爪領域重心検出部１５は、供給される手指の画像から爪領域を検出すると共に、その爪領域内の重心位置を検出する。 そして、爪領域重心検出部１５が検出した爪領域と重心位置の情報が、ネイルチップ重畳部１３と指先端位置検出部１６とに供給される。
指先端位置検出部１６は、供給される手指の画像から、指の先端位置を検出する。 指先端位置検出部１６が検出した指の先端位置の情報は、ネイルチップ重畳部１３に供給される。

ネイルチップ重畳部１３は、手指の画像中の爪領域の情報と重心位置の情報と指先端位置の情報とに基づいて、ネイルチップを重畳する位置を判断し、その判断した位置にネイルチップの画像を重畳する合成処理を行う。 このとき、ネイルチップの画像の加工が必要な場合には、ネイルチップ重畳部１３内でネイルチップの画像に対して加工処理を施した上で、手指の画像に合成する処理を行う。
ネイルチップ重畳部１３でネイルチップの画像が重畳された手指の画像は、表示処理部１７に供給されて、表示される。

［ネイルチップ画像生成処理例］
図２は、ネイルチップ画像補正部１２が行うネイルチップの画像の補正処理の例を示すフローチャートである。
まず、ネイルチップ画像入力部１１からネイルチップ画像補正部１２にネイルチップの画像が供給されると（ステップＳ１１）、ネイルチップ画像補正部１２は、画像中のネイルチップ部分の回転角を算出する（ステップＳ１２）。 そして、画像中のネイルチップ部分の長軸を、画像中の縦軸であるＸ軸と平行になるように、ネイルチップ画像補正部１２は画像を回転させる（ステップＳ１３）。 また、このときネイルチップ部分のサイズが予め決められた範囲のサイズ外である場合には、ネイルチップ画像補正部１２は、ネイルチップの画像の拡大または縮小の処理を行う。
さらに、ネイルチップ画像補正部１２は、ネイルチップ部分の重心点を中心とする矩形範囲を切り取り、その切り取った矩形範囲の画像を、加工済みのネイルチップの画像としてネイルチップ重畳部１３に供給する（ステップＳ１４）。

図３は、ネイルチップ画像補正部１２が行うネイルチップの画像の補正状態の例である。
この例では、背景を黒色とし、例えば図３Ａに示すように、ネイルチップが約４５°傾いた画像であるとする。 このとき、ネイルチップ画像補正部１２は、ネイルチップの長手方向の軸である第１主成分軸と、その第１主成分軸に直交する第２主成分軸とを検出する。

この図３Ａに示す画像が入力されたとき、ネイルチップ画像補正部１２は、図３Ｂに示すように、第１主成分軸を縦軸であるＹ軸と一致させ、第２主成分軸を横軸であるＸ軸と一致させる。 そしてネイルチップ画像補正部１２は、この図３Ｂに示す画像から背景を取り除き、ネイルチップの部分だけを取り出す。

ここで、ネイルチップ画像補正部１２が行う具体的な補正処理の例について説明する。 例えば図３Ａに示すように背景が黒色のネイルチップの画像が入力されたとき、ネイルチップ画像補正部１２は、その画像の黒色の領域でない前景領域(ネイルチップ領域)の重心を算出する。 ここでの重心計算式は、ネイルチップが対称性を持つ楕円形であると近似できることから、［数１］式になる。

この［数１］式において、Ｎはネイルチップの画素数であり、Ｘ方向の重心位置ｘ _ＧとＹ方向の重心位置ｘ _Ｇを求める。 ｘ _ｉ ，ｙ _ｉは、それぞれの位置の画素値を示す。
そして、ネイルチップの画像の回転角は、次のように算出する。 ネイルチップの回転角は、ネイルチップ領域の第１主成分軸ベクトルから導出できる。 まず、ネイルチップ領域の画素の座標（ｘ，ｙ）を縦に並べた行列をＸ _{ＣｈｉｐＤａｔａ}とする。
Ｘ _{ＣｈｉｐＤａｔａ}は、次のように示される。 ここで、Ｔは転置を表す。
Ｘ _ｉ ＝（ｘ _ｉ ，ｙ _ｉ ） ^Ｔ （ここで、ｉ＝１，２，・・・，Ｎ）
Ｘ _{ＣｈｉｐＤａｔａ} ＝｛Ｘ _ｉ ｝

次に、分散共分散行列を［数２］式のように生成する。 この［数２］において、Ｅは期待値（平均値）を示す。

この行列を固有値分解すると、２つの固有ベクトルを得られる。 大きな固有値に対応する固有ベクトルが第１主成分軸ベクトルとなる。 第１主成分軸ベクトルをＸ _ｐ１ ＝（ｘ _ｐ１ ，ｙ _ｐ１ ） ^Ｔとすると、ネイルチップの傾きθ _Ｃｈｉｐは、［数３］式で示される。

この［数３］式でｙ _ｐ１にマイナスの符号「−」があるのは、画像の座標が左上を原点としたとき、図３Ａに示すように軸が下向きになっているためである。 ｔａｎ ^−１の値は、左下原点の時の角度が算出される。 ここでｙ軸に平行になるようにネイルチップを補正処理するために回転させるべき角度φは、
φ＝９０−θ _Ｃｈｉｐ ［degree］
となる。 この回転変換は、回転中心が（ｘ _Ｇ ，ｙ _Ｇ ）、回転がφとなるアフィン変換式を立て、元の座標ベクトルにかけ合わせることで行われる。 そして、重心点を中心とする一定の画素数（例えば水平方向３００画素×垂直方向３００画素）の矩形範囲を取り出し、加工済画像として保存する。 ここでの重心点は、先の［数１］式で算出した位置である。

［ネイルチップの重畳処理全体の流れ］
図４は、手画像入力部１４に入力した手指の画像にネイルチップを重畳する処理の全体の流れを示すフローチャートである。
まず、手画像入力部１４に、利用者の手指（掌）を撮影した画像が入力すると（ステップＳ２１）、指先端位置検出部１６が、その画像から指先端位置を検出する（ステップＳ２２）。 また、爪領域重心検出部１５が、画像中の爪の領域と、その爪の領域の重心を検出する（ステップＳ２３）。 爪の領域の重心を検出する処理としては、例えば、手指画像の色情報に基づいて、爪に近い色の領域を抽出して爪の候補領域を検出する。 そして、その爪に近い色の連続性と、爪に近い色である可能性が高い画素の分布密度に基づいて、爪の候補領域から爪領域を検出し、その検出した爪領域から重心位置を検出する。 この爪領域から重心位置を検出する具体的な例については後述する。

そして、ネイルチップ重畳部１３が、爪の重心の位置と指の先端位置とに基づいて、指の回旋状態を検出する（ステップＳ２４）。 この回旋状態の検出に基づいて、ネイルチップ重畳部１３は、ネイルチップの画像を変形させる処理を行う（ステップＳ２５）。
さらに、ネイルチップ重畳部１３は、手指画像中のそれぞれの指の爪の領域に、変形処理が行われたネイルチップの画像を重畳する（ステップＳ２６）。 このネイルチップが合成された画像が、表示処理部１７に供給されて表示される。

入力画像が動画である場合には、ステップＳ２６でのネイルチップの重畳処理が行われた後、ステップＳ２１に戻り、次のフレームの画像が入力することで、同様の処理が繰り返される。
次に、図４のフローチャートに示したそれぞれの処理の詳細について、順に説明する。

［指先端の検出処理例］
図５は、指の先端の検出処理を示すフローチャートである。
手画像入力部１４に、利用者の手指を撮影した画像が入力されると（ステップＳ３１）、指先端位置検出部１６は、入力した手指の画像のノイズ除去処理を行い（ステップＳ３２）、ノイズが除去された手指の画像を得る。

そして、指先端位置検出部１６は、手指の画像中の全ての指の輪郭線を走査する（ステップＳ３３）。 なお、例えば複数の指が重なった画像の場合には、重なった指の内で最も外側になる指から１本ずつ順番に走査することで、それぞれの指の輪郭線が検出できる。 指先端位置検出部１６は、この輪郭線の走査結果から、輪郭線の曲率を見て、指の最も膨らんだ先端を指の先端位置に決定する（ステップＳ３４）。

図６は、手指の画像から指の先端位置が検出される例を示す図である、
図６に示すように、指先端位置検出部１６は、手指を撮影した画像からそれぞれの指の輪郭線を検出して、４本の指Ｆ１，Ｆ２，Ｆ３，Ｆ４を検出する。 なお、図６の画像の場合には、親指は先端が掌で隠れているため、検出されない。

そして、それぞれの指Ｆ１〜Ｆ４の最も膨らんだ先端が先端位置になる。 図６では、それぞれの指Ｆ１〜Ｆ４その先端位置を通過する軸線を示す。 この軸線は、それぞれの指Ｆ１〜Ｆ４の長手方向と平行な線となる。 この先端位置を通過する軸線は、指の回旋の検出時に使用する。

［爪領域の検出処理例］
図７は、指の先端の検出処理を示すフローチャートである。
爪領域重心検出部１５は、手指の画像中のそれぞれの画素の値を、第３主成分軸座標値に変換する（ステップＳ４１）。 爪領域重心検出部１５は、この第３主成分軸座標値の軸を、爪らしい色の度合いを示す指標として使用する。 ここでは、この爪らしい色の度合いを「爪尤度」と称し、この値が高いほど爪らしい色であることを示す。

そして、爪領域重心検出部１５は、その「爪尤度」の指標に基づいて、手指の画像から爪領域の候補を抽出する（ステップＳ４２）。 具体的には、第３主成分軸座標に対して特定の閾値を設定し、その閾値よりも爪尤度が高い画素を抽出する。 そして、取り出した爪尤度が高い画素全体に対して、平滑化やラベリングを行うことにより、爪尤度が高い領域を生成する。 爪尤度が高い領域を、爪領域の候補とする。
さらに、爪領域重心検出部１５は、爪領域の候補に対して、色の連続性と分布密度を用いて、爪でない候補を除外し、爪である領域だけを検出する（ステップＳ４３）。

次に、この色の連続性と分布密度を用いて、爪領域の候補から爪である領域を検出する具体的な処理例について、図８および図９を参照して説明する。
まず、爪領域重心検出部１５は、爪領域の候補を取得すると、その候補の爪領域内に注目点を設定する。 例えば、図８Ａに示すように、×印を付けた画素を注目点とする。
この注目点を設定する際には、爪領域重心検出部１５は、例えば爪尤度の高い上位の所定数の画素（例えば上位の１００画素）を抽出する。 そして、その抽出した所定数の画素の重心点を、注目画素にする。
このようにして選んだ爪領域の候補には、爪の領域の他に、手指内の拇指球，指腹，指の側面などの領域が含まれるため、以下に説明するように、爪の領域だけを正しく判定する処理を行う必要がある。

注目点を設定すると、爪領域重心検出部１５は、注目点の周りに矩形枠上に関心領域(Region of Interest：ＲＯＩ)を設定する。 関心領域ＲＯＩのサイズは、キャリブレーション時に使用するユーザの爪が全て入る大きさに設定する。 そして、爪領域重心検出部１５は、関心領域ＲＯＩを切り取ったＲＯＩ画像を生成する。
このＲＯＩ画像を生成した後、爪領域重心検出部１５は、ＲＯＩ画像内の爪尤度の高い上位の所定数の画素を抽出し、その抽出画素の分布密度を判断する。 例えば、爪領域重心検出部１５は、ＲＯＩ画像内の爪尤度が上位２５％以内の画素を抽出し、その爪尤度２５％以内の画素の分布密度を判断する。
そして、分布密度が判定閾値以上で、爪尤度の高い画素が密集している状態のとき、爪領域重心検出部１５は該当する領域を爪領域の候補に選ぶ。 また、分布密度が判定閾値未満で、爪尤度の高い画素が分散しているとき、爪領域重心検出部１５は、爪以外の肌色の領域であると判断して爪領域の候補から除外する。

さらに、爪領域重心検出部１５は、分布密度に基づいて爪領域の候補となったＲＯＩ画像に対して、さらに色の連続性を利用した爪の判別処理を行う。
ここでは、爪領域重心検出部１５は、図８Ｂに示すように、注目点の周囲の特定範囲の画素を、初期の「類似色集合領域」と定義する。 図８Ｂの例では、初期の「類似色集合領域」である、注目点の周囲の水平５画素×垂直５画素の２５画素を結合領域と呼ぶ。 そして、爪領域重心検出部１５は、その結合領域内の画素の爪尤度の平均値を算出する。

次に、爪領域重心検出部１５は、図８Ｃに示すように、その結合領域の外周位置の１つの画素を、注目画素に設定する。 そして、爪領域重心検出部１５は、図８Ｄに示すように、結合領域の爪尤度の平均値から注目画素の第３主成分軸座標値を減算した値が、予め決めた閾値以上であるとき、注目画素を結合領域に結合する。 爪尤度の平均値と注目画素の第３主成分軸座標値との差分が、閾値未満であるときには、結合領域には加えない。
このようにして結合領域に隣接する外周の全ての注目画素について参照した後、そのときの結合領域内の画素の爪尤度の平均値を更新する。

爪領域重心検出部１５は、この結合領域を拡大する作業を、関心領域ＲＯＩ内で繰り返し行う。 なお、最初の結合領域から１画素以上離れた２周目以降の処理では、隣が拡大された結合領域である場合にだけ、その画素を注目領域として、処理を行う。 そして、探索した注目画素が全て類似色集合領域に連結されない外周が現れた場合、この処理を終了する。
このようにして、爪尤度が高い画素が分布した領域が、類似色集合領域として抽出される。

次に、爪領域重心検出部１５は、このようにして拡大された類似色集合領域が、関心領域ＲＯＩの外周まで拡大されているか否かを判断する。 図９は、関心領域ＲＯＩ内の類似色集合領域の例を示す図である。 例えば、図９Ａに示すように、類似色集合領域（グレーで示す画素）が、関心領域ＲＯＩの外周の画素まで拡大されなかった場合、爪領域重心検出部１５は、該当する領域を爪の領域の候補とする。
また、図９Ｂに示すように、類似色集合領域が、関心領域ＲＯＩの外周部に１画素以上存在する場合、爪領域重心検出部１５は、爪ではない大きな領域であると判断して、爪の領域の候補から除外する。

なお、この探索時には、例えば４つのパターンに分けて探索を行う。 このとき、各パターンの画素は、ｊ番目の関心領域ＲＯＩ内の注目点の座標を（ｍ _ｊ ，ｎ _ｊ ）、注目点からの近傍距離をｉとすると、この距離を持つ外周の画素のパターンは、次の［数４］式に示す４つのパターンで判別できる。

この４つのパターンは、上から順に、左３画素を走査するパターン、下３画素を走査するパターン、右３画素を走査するパターン、上３画素を走査するパターンである。
このような処理を行うことで、爪尤度の高い画素の分布と、爪尤度の高い画素の連続性との２つの要因で、画像中の爪の領域が正確に判別される。
そして、爪領域重心検出部１５は、爪と判別された領域を、爪尤度の高い画素の連続性を利用して領域補正を行い、補正した爪領域の重心を算出する。 爪領域重心検出部１５が算出した重心の情報は、ネイルチップ重畳部１３と指先端位置検出部１６に供給される。

［指の回旋の検出処理例］
上述した図７のフローチャートの処理で、手指画像中の爪領域を検出した後、爪領域重心検出部１５が検出した爪領域の重心情報と、指先端位置検出部１６が検出した指の先端位置の情報とに基づいて、ネイルチップ重畳部１３が指の回旋を検出する。
図１０は、このネイルチップ重畳部１３での手指画像中の指の回旋の検出処理を示すフローチャートである。
まず、ネイルチップ重畳部１３は、爪領域重心検出部１５が検出した爪領域の重心情報と指先とを結ぶ、指の長手方向に平行な直線を引く（ステップＳ５１）。 次に、ネイルチップ重畳部１３は、その直線を長軸とし、長軸の長さを設定する（ステップＳ５２）。 この長軸の長さは、予め適正な長さに設定されている。

また、ネイルチップ重畳部１３は、その長軸と直交する短軸の長さを設定する（ステップＳ５３）。 この短軸と長軸とが直交する位置は、例えば長軸の爪領域の重心位置から指先端位置までの間の中点とする。 短軸の長さは、手指画像中の爪領域の横方向の長さに対応して設定する。
さらに、ネイルチップ重畳部１３は、長軸で左右に分かれた２つの短軸の長さを比較し、その２つの短軸の長さの比率から、指の回旋状態を検出する（ステップＳ５４）。

次に、この図１０のフローチャートに示した指の回旋状態の検出例を、図１１および図１２を参照して説明する。
まず、図１１に示す手指画像から、４つの指の爪領域Ｎ１〜Ｎ４が検出されたとする。 このとき、それぞれの指の長手方向に平行な直線（軸線）Ｌ１〜Ｌ４を引く。 この直線Ｌ１〜Ｌ４は、それぞれの爪領域Ｎ１〜Ｎ４の重心位置を通過する位置とする。 そして、それぞれの直線Ｌ１〜Ｌ４と、それぞれの指の先端とが接する位置を、指先基準点Ｐ１〜Ｐ４とする。

この指先基準点Ｐ１〜Ｐ４は、指の回旋がない状態で、指を真上から撮影した画像のとき、指の先端のほぼ中央の最も膨らんだ先端位置になる。 これに対して、指の回旋があるときには、指の先端の最も膨らんだ箇所が、指先基準点ではなくなる。 ここで、本例の場合には、腕の回旋時に、爪の重心と指先基準点は同じ回転の仕方をするという性質を利用して、指の軸と平行で、爪重心を通る直線と外部輪郭線の交点を、指先基準点に決める。 このため、回旋があっても正確に指先基準点が求まる。

図１２は、このようにして求まった指先基準点を通過する直線の一部である長軸と、その長軸と直交する短軸とを設定する例を示す図である。
図１２の上側に示すように、４本の指と、それぞれの指の爪領域が検出されたとき、それぞれの指の爪領域の重心と指先端位置とを通過する長軸を設定する。

図１２の下側は、１本の指を拡大して示す図で、この指の爪領域の重心位置Ｍ１と、指先基準点Ｐ１とを結ぶ直線Ｘ１を示す。 この直線Ｘ１は、長軸の一部である。 そして、短軸Ｙ１は、その重心位置Ｍ１と指先基準点Ｐ１とを結ぶ直線Ｘ１の中央位置を通過する。 この短軸Ｙ１の長さは、この指の爪領域の横幅に対応する。
図１２では長軸は示していないが、直線Ｘ１を延長した長軸と短軸Ｙ１とで、ネイルチップを重畳する際の基準となる楕円Ｃ１を形成する。 図１０のフローチャートのステップＳ５２で決めた長軸の長さにより、この楕円Ｃ１の長さが決まる。 他の指についても、図１２の上側に示すように、楕円Ｃ２，Ｃ３，Ｃ４が決まる。

ここで、図１２に示すようにほぼ回旋していない指を撮影した画像の場合には、直線Ｘ１と短軸Ｙ１との交点で短軸Ｙ１を２つに区切ったとき、短軸Ｙ１の左側ＹＬの長さと、短軸Ｙ１の右側ＹＲの長さはほぼ等しくなる。
これに対して、指がいずれかの方向に回旋しているときには、短軸Ｙ１の左側ＹＬの長さと、右側ＹＲの長さが異なる。 本例では、この短軸Ｙ１の２つの長さの比率から、ネイルチップ重畳部１３が指の回旋状態を検出する。 すなわち、ネイルチップ重畳部１３は、左側ＹＬの長さと、右側ＹＲの長さの比率が大きい程、回旋角度を大きくする。 また、ネイルチップ重畳部１３は、長さが長い側が左側か右側かにより、回旋した方向を検出する。

［ネイルチップの重畳処理例］
図１３は、このように検出されたそれぞれの指先に、ネイルチップ重畳部１３がネイルチップを重畳する処理例を示すフローチャートである。
まず、ネイルチップ重畳部１３は、それぞれの指の回旋角に合わせて、予め用意されたネイルチップの画像を透視変換する（ステップＳ６１）。 すなわち、指が正面を向いて回旋していない状態の場合には、透視変換が必要ないが、指が回旋している場合には、その回旋角度に応じて、ネイルチップの左右の幅が異なるように透視変換する。

次に、ネイルチップ重畳部１３は、その透視変換されたネイルチップの画像を、それぞれの指のサイズに合うように、拡大または縮小する（ステップＳ６２）。
さらに、ネイルチップ重畳部１３は、指のＸＹ平面に対する回転角度を計算し、その回転角度になるように、ネイルチップ画像を回転させる（ステップＳ６３）。 そして、ネイルチップ重畳部１３は、ネイルチップ画像の重心が、図１２に示した楕円Ｃ１〜Ｃ４の中心と一致するように、それぞれの指の先端にネイルチップの画像を重畳する（ステップＳ６４）。

図１４は、このような処理でネイルチップが合成された手指の画像の例を示す図である。 図１４に示すように、４本の指Ｆ１〜Ｆ４のそれぞれの爪の領域に、それぞれの指に合った形状のネイルチップＮＣ１〜ＮＣ４が重畳される。
図１５は、図１４とは別の３つの手指画像の例を示した図である。 図１５Ａ、図１５Ｂ，図１５Ｃに示すように、それぞれの指の位置や回旋状態に合わせたネイルチップが合成された画像が得られる。

図１４や図１５はネイルチップの合成画像を静止画像として示すが、例えば毎秒３０フレームの手指画像をカメラが撮影して、その撮影した手指画像に対してリアルタイムでネイルチップの合成処理を行うことで、動画としての合成画像を得ることもできる。 このため、例えば手首を回したり、指の関節を曲げるなどの動きのある手指を撮影した場合でも、動きのある手指に対して、的確にネイルチップを合成した画像がリアルタイムで表示されるようになる。

なお、上述した実施の形態では、図１に示した構成の装置でネイルチップを合成した画像を得るようにした。 これに対して、例えばカメラやディスプレイが接続されたパーソナルコンピュータ装置に、本例の処理を実行するプログラム（ソフトウェア）を実装するようにしてもよい。 プログラムは、各種媒体に記録してコンピュータ装置に実装することができる。

１１…ネイルチップ画像入力部、１２…ネイルチップ画像補正部、１３…ネイルチップ重畳部、１４…手画像入力部、１５…爪領域重心検出部、１６…指先端位置検出部、１７…画像表示部