【発明の詳細な説明】

【０００１】 本発明は、顔の変化の部分空間の決定に関する。

【０００２】 顔の変化は概念的に多数の「関数」部分空間；有用な顔の次元を反映する変化の種類に分割することができる［MJ Black, DJ Fleet, and Y. Yacoob. A
framework for modelling appearance change in image sequences, 6th ICCV,
pages 660-667, 1998］。 これらの顔空間の可能な選択として、アイデンティティ、表情（ここでは顔の全ての過渡的塑性変形を含む）、ポーズ、および照明がある。 他の空間を抽出することもでき、最も明白であるのは年齢である。 実用的な顔分析システムを設計するときは、これらの部分空間の少なくとも１つを分離してモデル化しなければならない。 例えば、セキュリティ分野では表情、ポーズ、および照明に関係なく個人を認識する必要があるが、唇読取器は表情のみに集中する。 特定の状況では、例えば一個人の映像シーケンスから顔および頭の動きを別の個人に「転送」して合成シーケンスを作成するときには、全ての部分空間の正確な推定が必要である。

【０００３】 顔画像は、画像を張る出現モデル空間を用いて、適切に当てはめることができるが、異なる部分空間を線形的に分離することはできない［S. Duvdevani-Bar,
S. Edelman, AJ Howell, and Buxton. A similarity-based method for the
generalisation of face recognition over pose and expression, 3rd Face an
d Gesture, pages 118-123, 1998］。 これは、部分空間がある程度の重なり合いを含むからである（例えば「中性」表情は実際には低強度の表情を含む）。

【０００４】 本発明の目的は、顔の部分空間を決定する改善された方法を提供することである。

【０００５】 本発明の第１態様では、顔の部分空間を決定する方法であって、適切な顔群に対する主成分分析を使用して部分空間、例えば照明、ポーズ、アイデンティティおよび表情の初期推定を行い、画像符号化に反復アルゴリズムを適用してこれらの非直交部分空間の符号化の確率を最大にし、各部分空間の射影を得、空間を再計算することを含む方法を提供する。

【０００６】 本発明は、これらの関数空間の初期重なり推定の間で部分空間分散に比例して画像重みを同時に割り当てる。 これにより顔を１組の非直交射影に分割し、１組の純粋であるが重なり合っている空間への反復法が可能になる。 これらは初期空間より特定的であり、アイデンティティ認識が改善される。

【０００７】 本発明の第２態様では、顔の部分空間を決定する方法であって、 ａ． 第１の予め定められた顔属性が変形される第１シリーズの初期画像を生成し、 ｂ． 第２の予め定められた顔属性が変形される第２シリーズの初期画像を生成し、 ｃ． 各シリーズの画像を画像の分散に従って符号化して、各顔属性の推定部分空間を得、 ｄ． 部分空間を連結して単一のオーバイグゾースティブ（over-exhaustive）空間を提供し、 ｅ． オーバイグゾースティブ空間で第１および第２シリーズの各画像を近似して、各々の推定属性部分空間で各画像の近似バージョンを得、 ｆ． オーバイグゾースティブ空間全体で各画像の総合近似バージョンを生成し、
ｇ． 各画像の総合近似バージョンを初期画像と比較して、各画像の誤差値を決定し、 ｈ． 各画像の誤差値を部分空間の分散に比例して各推定属性部分空間の部分誤差に細分し、 ｉ． 各画像の各部分誤差を推定属性部分空間のその画像の近似バージョンと結合して、各画像の属性部分空間で新しい近似バージョンを得、 ｊ． 画像の新しい近似バージョンをそれらの分散に従って符号化して、新しい推定部分空間を得る ことをを含む方法を提供する。

【０００８】 本発明の第２態様による方法は、ステップ´ａ´ないし´ｊ´で述べた新しい推定部分空間で各画像を近似し、次いで部分空間が安定するまでステップ´ｄ´
ないし´ｊ´を繰り返すことをさらに含むことが好ましい。

【０００９】 好ましくは、３つまたはそれ以上のシリーズの画像を生成し、各シリーズで異なる予め定められた顔属性を変形する。

【００１０】 好ましくは、予め定められた顔属性をアイデンティティ、表情、ポーズ、照明および年齢のうちの少なくとも幾つかのカテゴリに分類する。

【００１１】 好ましくは、少なくとも１つのさらなるシリーズの画像を生成し、さらなる予め定められた顔属性をそのシリーズで変形する。

【００１２】 発明の特定の実施形態を今から、単なる例として添付の図面に関連して説明しよう。

【００１３】 顔の符号化には、顔がその上にあると言うことができる多様体または高次元表面の近似が必要である。 これにより、以前には分からなかった例の正確な符号化、認識、および再生が可能になる。 多数の従来の研究［NPCosten, IGCraw,
GJ>Robertson, and S.Akamatsu. Automatic facerecognition: What represent
ation? European Conference on Computer Vision, vol l, pages 504-513, 199
6; GJEdwards, A.Lanitis, CJTaylor, and TFCootes, Modelling the var
iability in face images. 2nd Face and Gesture, pages 328-333, 1996; NP
Costen, IGCraw, T.Kato, G.Robertson, and S.Akamatsu, Manifold caricatu
res: On the psychological consistency of computer face recogniton. 2nd F
ace and Gesture, pages 4-10, 1996］は、形状の無い符号化を使用すると、少なくともポーズ角の範囲が比較的小さく、例えば±２０°である場合［T.Poggio
and D.Beymer. Learning networks for face analysis and synthesis. Face a
nd Gesture, pages 160-165, 1995］、これをすぐに実行できる手段が得られることを示唆した。 発明のこの実施形態では、顔間の対応の問題が最初に、全ての顔に存在する予め選択された弁別点のセット（例えば目または口の隅）を見つけることによって解決される。 これは一般的にトレーニング中に手動で実行される。 このようにして顔の一部として定義された画素は、標準濃度補間技術によって標準形状にワープすることができ、所与の画像の画像ごとの座標と顔ごとの座標が同等になることが確保される。 スケール、場所、および向きの影響を除去するために点位置に剛性変換を実行すると、様々な顔の対応点の同一の値が再び同一の意味を持つようになるので、それらを濃度と同様の方法で処理することができる。

【００１４】 これらの操作で空間は線形化され、顔の対の間の補間が可能になるが、それらから次元の推定は得られない。 したがって、対象の顔としての受入可能性は測定できず、これは認識を低下する［NPCosten, IGCraw, GJRobertson, and S
.Akamatsu. Automatic face recognition: What representation? European Con
ference on Computer Vision, vol 1, pages 504-513, 1996］。 また、特徴点位置と濃度値との間の冗長性を記述することができない。 発明のこの実施形態では、これらの問題を両方とも、主成分分析（ＰＣＡ）によって取り扱う。 これは画像の共分散行列（画素濃度または特徴点位置のいずれか）から１組の直交固有ベクトルΦを抽出する。 これを固有値と組み合わせることにより、顔空間の次元および範囲の推定が得られる。 次いで顔ｑの重みｗ

babilistic matching for face recognition. 3rd Face and Gesture, pages 30

-35, 1998］。 形状と濃度との間の冗長性は、集合の重みを組み合わせて第２Ｐ

ＣＡが実行される単一ベクトルを形成する前に、形状および濃度に別個のＰＣＡ

を実行することによって除去される［GJEdwards, A.Lanitis, CJTaylor, an

d TF Cootes. Modelling the variability in face images. 2nd Face and Ge

sture, pages 328-333, 1996］。

【００１５】 この「出現モデル」により、顔を真の変化つまり１つの顔から次の顔に移動するために必要な歪曲により記述することが可能になる。 次の研究はこの表示内に埋め込んで実行される。 しかし、図１で見ることができるように（左から−２ｓ
：ｄ、平均＋２ｓ：ｄ）、それは我々の画像セットによって規定される空間全体を符号化する。 固有顔はアイデンティティ、表情、ポーズ、および照明によって異なる。 したがって、例えば、２つの画像の表示間の距離はアイデンティティ、
顔の表情、角度、および照明条件の組合わせとなる。 顔の画像の詳細な分析を可能にするためには、これらを分離しなければならない。

【００１６】 部分空間の推定は各種類の変化に関する各顔の外部コードから得ることができるかもしれないが、これらは一般的に入手できない。 むしろ、各々が１つの部分空間のみに関する主要な変化を示す様々なセットを使用した。 セットには次のようなものが含まれた。 １． 固定した中性表情で全て正面から平行に写真撮影された一人の独身男性の５
つの画像から成る照明セット。 ２． 各着席者につき１０画像ずつ、１０名の異なる着席者の１００の画像を含むポーズセット。 着席者は頭を比較的一貫した角度の様々な２次元方向に向けた。
表情および照明の変化は最小限であった。 ３． 各人が７つの基本的表情つまり幸福、悲しみ、恐れ、怒り、驚き、中性、および嫌悪の表情を作り、１９名の異なる着席者の３９７の画像を含む表情セット。 これらの画像は、顕著な個人特定的な照明変化および多少のポーズ変化を示した。 ４．１着席者につき１８８の異なる画像を含むアイデンティティセット。 これらは全て、フラット照明で中性表情を正面から平行に撮ったものであった。 しかし、どんな大個人群でも避けられないように、中性として採用される見かけの表情にはかなりの変化があった。

【００１７】 全ての画像は、手動で見つけた１２２のランドマークの一様なセットを有していた。 ランドマークを含む集合画像の一例を図２に示す。 点に三角測量法を適用し、双一次補間を用いて、一定数の画素を生じる標準形状およびサイズに画像をワープした。 試験目的のために、集合画像を使用して、しかし濃度正規化は行わずに構成された多重解像度アクティブ出現モデルを使用して特徴点を見出した［
TFCootes, GJEdwards, and CJTaylor. Active Appearance Models, Europ
ean Conference on Computer Vision, vol 2, pages 484-498, 1998］。

【００１８】 様々なカメラで画像を集めたので、照明レベルを正規化する必要があった。 所与の画素について、例えば１２８＝２５６の濃度は、１つの形状正規化画像では別の画像とは異なる意味を持つ。 形状の無い濃度パッチｇ _ｉは、ｉ番目の形状正規化画像から標本化した。 大局的照明変化の影響を最小にするため、このパッチを各点ｊで正規化して

_ｊ 、σ

_ｊは平均および標準偏差である。

【００１９】 これらの操作により、各々が顔の領域に１９８２６個の画素を持つ６９０の画像の変化の９９．５％を符号化する出現モデルの構築が可能になった［GJEdwa
rds, A.Lanitis, CJTaylor, and TFCootes. Modelling the variability in
face images. 2nd Face and Gesture, pages 328-333, 1966］。 これには合計で６３６の固有ベクトルが必要であった。

【００２０】 異なる部分空間は線形的に分離できないことが、試験で示された。 他のカテゴリの顔によって定義された空間に顔を連続的に射影して、その後の主成分分析（
ＰＣＡ）のためのデータとして符号化誤差を収集する試みを行ったが、これは成功しなかった。 第４および最後の成分のセットは一貫してノイズ無しになかなか符号化されなかった。 各部分空間がそれ自体のスパン内（一般的に±２５Ｄ）の顔のコードだけを除去した手続により、使用可能な第４セットが生じたが、適用は本質的に任意であり、小さい部分集合を使用して各部分空間を計算しただけであった。

【００２１】 代わりに、相対データをより原則的な方法で、各画像セットに存在する関連変動を使用して抽出した。 基本的問題は、集合によって指定される部分空間の各々が所望の「公式」分散および他の種類の未知の混合の両方を符号化することであった。 この汚染は大部分が関連顔ファクタの制御の欠如に由来しており、したがって例えばアイデンティティセットに見られる「中性」表情は実際ある範囲の異なる低強度表現に含まれた。 開始アイデンティティ固有顔の例を図３に示し、この集合の限定されたアイデンティティスパンを示す（左から−２ｓ：ｄ：、平均＋２ｓ：ｄ：）。 固有顔は主としてアイデンティティおよび照明によって変化する。

【００２２】 部分空間の所望の「純粋な」主成分が相互に直交するという保証は無い。 これは、最終的なリンキングファクタ、特に三次元の顔の形状およびサイズ、ならびに顔の筋肉組織の場所の結果として起こる。 顔画像のシーケンスが辿る顔空間の経路を学習することによって、追跡および認識における著しい改善が可能である［DBGraham and NMAllinson. Face recognition from unfamiliar views: S
ubspace methods and pose dependency.3rd Face and Gesture, pages 348-353,
1998］。 本発明は、これらの関係が二次モデリングに影響されやすく、かつ集合によって与えられる変動のモードの推定が画像の選択によってバイアスされるという認識に由来する。 したがって、本発明は、部分空間の非直交推定から汚染分散を除去すること、および最大可能な画像数を使用することをも可能にする。
これは、様々な集合から抽出される主成分の分散の相違を使用することによって行われる。

【００２３】 集合が主に意図された種類の分散を符号化すると仮定すると、分散の「信号」
成分の固有値は、分散の「ノイズ」成分のそれより大きくなければならない。 分散の「信号」成分はまた相互に、「ノイズ」成分より多少よけいに直交しなければならず、それらを形成する集合の微小な変化にあまり影響されてはならないことも確かである。

【００２４】 本発明は、オーバイグゾースティブ多重部分空間で画像をそれらの分散に比例して符号化し、次いで別個の部分空間で画像を近似し、複数の空間を再計算することによって、分散成分の改善された値を得る。 このプロセスを繰り返して、所望の特徴だけを符号化する１組の安定しかつより多く直交する部分空間を得る。

【００２５】 各々が固有ベクトルφ ^（ｊ）と共に所与のｑの関連固有値λ ^（ｊ）によって記述されるｎ _ｓ個の部分空間を使用する場合、組み合わされた部分空間からの射影は次式：

^{（ｊ＝１，２，．．．）}を連結することによって形成される行列であり、Ｄがλ

^{（ｊ＝１，２，．．．）}の対角行列であるならば、 （６） であり、またこれより顔の射影バージョン （７） が得られ、必要でない部分空間についてはｗ

_ｉ ＝０である。

【００２６】 本発明の実現の第１ステージは、各顔から全体平均を減算して、各部分空間の平均ができるだけ零に近くなることを確実にすることであった。 次に別個の主成分分析（ＰＣＡ）を画像セットに実行して、群平均と全体平均との間のさらなる差を無くした。 アイデンティティおよび照明部分空間の共分散行列を次式：

_ｏは１個人に対する観察回数であり、ｎ

_ｐは個人数であり、 は個人ｉの平均である。 アイデンティティ、照明、および表情セットによって課せられる全ての固有ベクトルを使用したが、ポーズセットから２つの最も変動の大きいものだけを抽出した。

【００２７】 固有値を組み合わせてＭを形成し、方程式６および７を使用して各部分空間の各顔の射影バージョンを見出だして、部分空間ｊの顔ｑの射影ｑ´ _ｊを出した。
この手順により有用な変動が疎になる（loose）。 例えば、表情およびポーズ画像のアイデンティティ成分は、アイデンティティセットだけでは正確に符号化されそうにない。 したがって完全な射影ｑ´を計算し、再符号化画像ｒ _ｊは割当誤り成分を含んだ。

【００２８】 これにより各々６９０の画像を持つ４つの集合を作成した。 再符号化した画像にさらに４回のＰＣＳを実行して、（全て方程式８を使用して）前の照明、ポーズ、および表情部分空間のＰＣＡの場合と同数の成分数、およびアイデンティティ部分空間の全ての非零成分を抽出した。 これらはＭの新しい推定を形成し、部分空間のこの第２レベルの推定にオリジナルの顔を再射影して、第３レベルの推定を出し、以後同様のことをした。 アイデンティティ画像に関する最終結果を図４に示す。 これは、アイデンティティ顔空間の最初の２つの次元を示す（左から−２ｓ：ｄ：、平均＋２ｓ：ｄ：）。 固有顔はアイデンティティによってのみ変化し、その範囲は増加した。 図１の場合と比較すると、顔の次元は同一アイデンティティを持つように見えるが、表情、ポーズおよび照明に対して正規化されない。

【００２９】 アイデンティティ空間は他を固定したままで固有顔の数を変化させることができたので、システムに存在するノイズは必然的にアイデンティティ空間に蓄積する傾向にあり、マハラノービス測定を行った場合、認識性能が低下する。 したがって、ひとたびシステムが安定化すると、完全な画像セットのアイデンティティ射影に

５３に減少することができた。 これらの回転固有顔は、認識のためにだけ使用された。

【００３０】 この方法の収束は、各々の部分空間で全ての画像間のマハラノービス距離を取ることによって推定した。 連続反復の距離間でピアソン積モーメント相関を取り、機械精度まで収束させたが、実際にはわずかに低い値で、処理回数を減少して同じ結果が達成される。 この方法により、図５に示すように比較的滑らかな相関係数のセットが得られ、約７回の繰返しで収束した（図５は、反復ｎとｎ−１との間の複数の空間の全ての画像を分離するマハラノービス距離間の相関の変化を示す）。 集合の分散の９９．９９％だけで数値精度の問題が回避されるので、実際の収束は４回目の反復で達成された。

【００３１】 反復は前の反復時に符号化に失敗した情報を含むので、オリジナルと射影された画像との間の差を減少しなければならないことが予想される。 固有顔がより表示的になるので、これは集合および非集合画像の両方に適用しなければならない。

【００３２】 組み合わされた空間に画像を射影し（方程式６および７を使用して）、誤差の大きさを測定することによって、これを試験した。 これを両方の集合画像および最初に［A.Lanitis, CJTaylor, and TFCootes. An automatic face identif
ication system using flexible appearance models. British Machine Vision
Conference, pages 65-74, 1994］で使用された大きい試験セット（「マンチェスタ」と呼ばれる）にも実行した。 これは、半分に分割された３０名の個人の６
００の画像と、１人当たり１０の画像のギャラリと１人当たり１０のプローブのセットとから成る。 図６に見ることができるように、どちらの場合も、誤りはすぐに無視できるレベルまで低下した（誤りはどちらの場合もすぐに無視できるレベルに低下する。個々の部分空間の誤りは高いままである４，０００ないし１１
，０００）。 比較として、２つのセットは、出現モデルの固有重みで測定して１
１３４５および１１８０７の平均の大きさ（総分散）を持つ。

【００３３】 正規化のレベルをマンチェスタセットで測定し、方程式６を使用してアイデンティティ重みを計算し、個人平均ｗ _ｉを出した。 汚染分散をよりよく除去して、
平均に対して各個人の分散を減少しなければならない。 次式：

これは、この分散を他の部分空間に再分布する機会が無く、次元数が大幅に増加するという点で普通ではない。

【００３４】 顔を他の部分空間に射影した結果を、出現モデルの分散として示す。 予想される通り、これらは全てアイデンティティ部分空間値より高く、反復が進むにつれて顕著な低下を示さない。 実際、ポーズ分散はわずかに増加している。

【００３５】 マンチェスタセットでも画像を最終回転空間で符号化して、認識を試験した。
対応を提供するために使用した出現モデルでは完全に正確な位置が得られず、認識が低下した。 ｗ _ｉに方程式９を使用して、プール共分散行列を見出した。 これにより

_ｏ ｘｎ

_ｐ ）である。 結果を図８に示し（これはユークリッド平均画像整合の認識率を示す）、ベース状態に対して認識は４回目の反復時に約１パーセント改善することを実証する。 また、完成した空間に試験画像を射影して照明−ポーズ−表情正規化バージョンを得、次いで最終回転空間に符号化した場合の効果も示す。 これによる認識の改善は得られない。 ここで、個人の様々な部分空間のパラメータ間に偶発的な非関数相関（例えば上向きまたは下向きの一貫した傾向）がおそらく存在し、その人を抜かすことが理論的に好適な固有顔に対する交換条件になるかもしれないことに注意されたい。

【００３６】 ひとたび顔の正確な符号化システムが達成されると、主要な問題は、符号の有用な部分集合のみを所与の操作または測定に使用することを確実にすることである。 任意の顔のコンフィギュレーションについて多数の非直交説明があるので、
これは著しく困難な作業である。 さらに、必要とされる非常に大規模なデータベースの比較的小さい部分だけが、完全な条件範囲内に存在し、ラベルは単純線形抽出を必要とする場合が一般的である。

【００３７】 本発明は、様々に異なる顔のセットをスパンするように抽出できる部分空間の間の分散および共分散の両方を考慮に入れる、反復再符号化方式を使用することによって、これらの問題を克服する。 これにより、より低い適切な群内分散およびより高い不適切群分散を持つ、「よりきれいな」固有顔が得られる。 これらの事実は両方とも、部分空間の間の直交性がより大きいことを反映する。 また、全く交わらない試験セットの認識も、わずかであるが改善した。 本発明は、追跡、
唇読取、および一個人から別の個人へのアイデンティティの転送に適用することができる。

【図面の簡単な説明】

【図１】 本発明で使用する出現モデルによって定義される第１二次元の顔空間を示す。

【図２】 本発明で使用する表情セットからの全体的画像の一例であり、対応する点を示す。

【図３】 本発明で使用する第１二次元の開始アイデンティティ固有顔を示す。

【図４】 本発明で使用する第１二次元の開始アイデンティティ固有顔を示し、固有顔はアイデンティティに対してだけ変化する。

【図５】 本発明による方法で達成される収束を示すグラフである。

【図６】 本発明による方法の反復の前後における集合および試験画像の平均符号化誤差を示すグラフである。

【図７】 様々な部分空間の平均個人内分散を反復数の関数として示すグラフである。

【図８】 ユークリッド平均画像整合の認識率を示すグラフである。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ )，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ， ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ， ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，Ｃ Ｒ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ，ＥＳ，ＦＩ ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ， ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，Ｋ Ｚ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ， ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，Ｓ Ｋ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ (72)発明者 ギャレス・エドワーズ イギリス、エスケイ17・７ジェイジェイ、 ダービーシャー、バクストン、ウォーター ズウォローズ・ロード、ザ・パドック (72)発明者 ニコラス・ポール・コステン イギリス、チェシャー、セール、セール・ ムーア、ビクトリア・ロード28番 Ｆターム(参考） 5B056 BB00 HH00 5B057 CA12 CA16 DA08 DB02 DC01 DC36 5L096 FA21 FA33 JA11