【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は顔動画像からの表情抽出方法に関し、特に、顔動画像中の連続する画像から表情を抽出するような表情抽出方法に関する。

【０００２】

【従来の技術】人間の表情のうち、６種類の基本表情（怒り，嫌悪，恐れ，悲しみ，幸福，驚き）は人種・文化によらず共通であることが知られている。 基本表情は、それぞれの表情が独立に生成される場合もあるが、
複数の表情が連続して生成される場合もある。

【０００３】たとえば、ジェット機が上空を通過したときに、まず騒音に驚き、次に騒音の継続に対して嫌悪感と怒りを表わし、最後に騒音が終わって幸福感を示すという表情シーケンスが考えられる。 このような表情シーケンスを正しく認識するには、表情の変化を検出し、どの表情に変化したかを認識する必要がある。

【０００４】そこで、本願発明者らは、特願平９−５５
８８６において、顔画像からの表情認識方法を提案した。 この方法では、顔動画像から顔要素の速度ベクトルを算出してフーリエ変換し、そのフーリエ変換係数から特徴ベクトルを抽出し、各表情ごとに連続した出力確率を正規分布を用いて近似した複数の隠れマルコフモデル（ＨＭＭ）を作成し、ＨＭＭによって特徴ベクトルを生成する確率を算出し、算出したＨＭＭに対応する表情を認識結果とするものである。

【０００５】

【発明が解決しようとする課題】上述の提案された方法では、ＨＭＭの動作は初期状態から始まり、終了状態で終わるため、１つの表情しか認識することができない。
また、表情筋が静止している状態は出力される特徴量の分布が類似しているため、ＨＭＭの誤動作が発生してしまうおそれがあった。

【０００６】それゆえに、この発明の主たる目的は、Ｈ
ＭＭにおける出力確率の値を出力確率が割付けられた状態の生起確率に応じて制御することにより、表情が表出された区間を抽出するような表情抽出方法を提供することである。

【０００７】

【課題を解決するための手段】請求項１に係る発明は、
顔動画像から個別の表情を抽出する方法であって、顔動画像中の連続する画像から顔要素の各位置の速度ベクトルを算出し、算出された速度ベクトルの各成分にフーリエ変換を施し、そのフーリエ変換係数を特徴ベクトル列として抽出し、抽出された特徴ベクトルを時間積分することによって表情の移動ベクトルを算出し、算出された表情の移動ベクトルと予め定められる各表情パターンとの照合を行ない、予め各表情ごとに連続した出力確率を正規分布を用いて近似した複数の隠れマルコフモデルを作成し、前述の照合結果に基づいて、特徴ベクトル列が生成される生成確率を複数の隠れマルコフモデルによってそれぞれ算出し、複数の隠れマルコフモデルのうち最大の生成確率を算出した隠れマルコフモデルに対応する表情を認識結果として判断するものである。

【０００８】

【発明の実施の形態】図１はこの発明の一実施形態における顔動画像からの表情変化を検出して抽出し、認識する過程を説明するためのフローチャートである。 図１において、この発明の一実施形態では、前処理部Ｓ１０と表情変化検出部Ｓ２０と抽出・認識部Ｓ３０とからなっている。 前処理部Ｓ１０ではＳ１１において入力された顔動画像から速度ベクトルが算出され、Ｓ１２において算出された速度ベクトルの各成分に２次元フーリエ変換が施され、Ｓ１３において表情の動きに応じた特徴ベクトル列が抽出される。

【０００９】一方、表情変化検出部Ｓ２０では、Ｓ２１
で特徴ベクトルを時間積分することによって表情の移動ベクトルが算出され、Ｓ２２で予め定められた各表情パターンとの照合が行なわれる。 また、抽出認識部Ｓ３０
では、Ｓ３１において予め認識対象の表情カテゴリごとにＨＭＭを学習により作成し、Ｓ３２において前述のＳ
２２で照合された結果に応じて、特徴ベクトル系列の生成される確率がＨＭＭを用いて算出される。 そして、算出された確率が最大となるＨＭＭに対応する表情カテゴリが認識結果とされる。

【００１０】なお、以下においては、表情カテゴリとして怒り，嫌悪，恐れ，悲しみ，幸福，驚きの合計６種類の基本表情を考え、無表情から各基本表情への時系列画像の処理について説明する。

【００１１】図２は状態がループされたＬｅｆｔ−ｔｏ
−Ｒｉｇｈｔ型ＨＭＭの構成を示す図である。 本願発明の一実施形態では、表情ごとに用意したＨＭＭの状態により表情の種類および表情筋の状態（収縮，弛緩など）
が区別され、画像処理により得られる特徴量に基づいて、推定結果（各状態に割付けられた確率分布）が更新される。

【００１２】各表情の時間変化は図２に示すように、Ｌ
ｅｆｔ−ｔｏ−Ｒｉｇｈｔ型のＨＭＭを用いてモデル化される。 各表情は無表情Ｓ ₁から表情筋の収縮Ｓ ₂ ，収縮の終了Ｓ ₃ ，表情筋の弛緩Ｓ ₄を経て無表情Ｓ ₅に戻り、このループが繰返される。 各表情は状態Ｓ _iから単位時間後に状態Ｓ _jに遷移する確率α _ij （遷移確率）
と、状態Ｓ _iにいるときにベクトルＯを出力する確率ｂ
_i （Ｏ）（出力確率密度）より特徴付けられる。 遷移確率と出力確率密度は、各表情を表出する動画像を画像処理して得られる特徴ベクトルの時系列からＢａｕｍ−Ｗ
ｅｌｃｈアルゴリズムを用いて推定される。

【００１３】画像処理は、縦横それぞれ１／８に圧縮した画像を用い、時間軸上で連続する２枚の画像からオプティカルフローが求められる。 オプティカルフローの分布のうち、右眼および口の周期の領域に２次元フーリエ変換が施され、変換係数の低周波成分１５個（右眼領域：７個，口領域：８個）が特徴量とされる。

【００１４】表情抽出処理では、次の第（１）式を用いて表情Ｅ _kにおける状態Ｓ _iの確率Ｐ _i ^(k) （ｔ）を算出し、表情筋の収縮が終了した状態Ｓ ₃の確率Ｐ ₃ ^(k)
（ｔ）があるしきい値Ｐ _aを越えたときに表情Ｅ _kが表出されたものと判定される。

【００１５】

【数１】

【００１６】ここで、Ｎは状態数，ａ _ik ^(k) ，ｂ _i ^(k)
（Ｏ）は表情Ｅ _kの遷移確率，出力確率密度である。 遷移確率ａ _ik ^(k)は図２の矢印で結ばれた状態間のみ０でない値を持つ。 ただし、状態Ｓ ₁ ，Ｓ ₃ ，Ｓ ₅は表情筋が静止した状態であるため、出力確率密度ｂ ₁ （Ｏ），
ｂ ₃ （Ｏ），ｂ ₅ （Ｏ）は類似した関数となり、表情変化の微小なノイズにより状態Ｓ ₁からＳ ₃への遷移が発生する。

【００１７】そこで、このような遷移をなくすために、
状態Ｓ ₃の確率Ｐ ₃ ^(k) （ｔ）を計算する際に、Ｐ ₂
^(k) （ｔ−１）の値があるしきい値Ｐ _bより小さい場合にはＰ ₂ ^(k) （ｔ−１）を０とする。 状態Ｓ ₅の場合も同様である。 また、状態Ｓ ₅の確率があるしきい値Ｐ _c
を越えたときは、無表情に戻ったものと見なして、状態の確率分布を次の第（２）式のように初期化する。

【００１８】

【数２】

【００１９】図３は表情シーケンスを示す図であり、図４は図３の表情シーケンスに対する表情Ｅ _kにおける状態Ｓ ₃の確率Ｐ ₃ ^(k)の変化と抽出された区間（矢印）
を示す。

【００２０】表情シーケンスとしては、約１５秒の間に６種類の基本表情、怒り，嫌悪，恐れ，悲しみ，幸福，
驚きの順に表出されている。 ここで、異なった表情の間に無表情を経由する。 図３より個別表情を精度よく抽出していることがわかる。 また、確率の変化が急峻であるため、抽出結果のしきい値Ｐ _aに対する依存性が少ない。

【００２１】上述のごとく、この実施形態では、表情ごとに用意したＨＭＭの状態により表情の種類および表情筋の状態（収縮，弛緩など）を区別し、画像処理により得られる特徴量に基づいて、推定結果（各状態に割付けられた確率分布）を更新することにより、６種類の表情のシーケンスから個別表情を精度よく抽出できる。

【００２２】なお、上述の実施形態では、無表情から始まりある単一の表情が表出されて無表情に戻るというシーケンスしか抽出することができず、ある表情が表出されている状態から無表情を介さずに別の表情に変化するようなシーケンスを抽出することはできない。

【００２３】そこで、次に、表情ごとに独立に構成されたＨＭＭを基に、任意の２つの表情の直接変化に対応する状態およびそれらの状態と元のＨＭＭの表出状態との間の遷移を付加することにより、ある表情の表出過程における別の表情への変化が発生する場合にも表情を正しく抽出できる実施形態について説明する。

【００２４】図５はこの発明の他の実施形態のＨＭＭの構成を示す図である。 図５において、無表情を介さない表情変化を抽出するために、状態数Ｎが２の場合として、１番目および２番目のカテゴリの表情が単独で表出されるシーケンスを抽出するループＨＭＭ ₁ ，ＨＭＭ ₂
と、１（２）番目のカテゴリから２（１）番目のカテゴリに直接変化する際に遷移する状態Ｓ ₁₂ （Ｓ ₂₁ ）およびＨＭＭ ₁ ，ＨＭＭ ₂の（表情表出）状態Ｓ ₃へのリンクとから構成されている。

【００２５】ＨＭＭのパラメータとしては、ループＨＭ
Ｍ _iに関するものは単一の表情シーケンスから学習されたパラメータが用いられる。 ただし、状態Ｓ ₃からは状態Ｓ _ijへのリンクが追加されているので、元の遷移確率ａ ₃₄を２つの状態への遷移確率ａ ₃₄とａ _3,i,jに２等分される。 状態Ｓ _ijに関するパラメータは、単一の表情シーケンスから学習されたパラメータから算出される。 これにより、すべての組合せの表情変化のシーケンスを用いてパラメータを学習する必要がなくなる。

【００２６】出力確率分布はカテゴリｉの筋肉伸長とカテゴリｊの筋肉収縮とが同時に起こるものと仮定して次の第（３）式より求められる。

【００２７】

【数３】

【００２８】ここで、μ _j ⁽ⁱ⁾ ，σ _j ⁽ⁱ⁾はカテゴリｊ
の状態Ｓ _jの出力分布密度の平均，標準偏差である。 一方、生起確率は第（４），第（５）式に示すように、筋肉伸長と筋肉収縮状態のうち継続時間が長い方の生起確率が選択される。

【００２９】

【数４】

【００３０】図６および図７はこの発明の他の実施形態において、“幸福”から“驚き”に変化するシーケンスの抽出結果例を示す図である。 図７は表情変化が遅い場合であって、ループに沿って状態遷移しているのに対して、図６は表情変化が速い場合であって、筋肉の収縮と伸長が同時に起こる状態を示している。

【００３１】

【発明の効果】以上のように、この発明によれば、ＨＭ
Ｍにおける出力確率の値を出力確率が割付けられた状態の生起確率に応じて制御することにより、表情が表出された区間を抽出することができる。

【図面の簡単な説明】

【図１】この発明の一実施形態における顔動画像から表情変化を検出して抽出し、認識する過程を説明するためのフローチャートである。

【図２】状態がループにされたＬｅｆｔ−ｔｏ−Ｒｉｇ
ｈｔ型ＨＭＭの構成を示す図である。

【図３】表情シーケンスを示す図である。

【図４】表情シーケンスに対する表情の認識結果と抽出された区間を示す図である。

【図５】この発明の他の実施形態のＨＭＭの構成を示す図である。

【図６】この発明の他の実施形態における表情変化が速い場合の抽出結果例を示す図である。

【図７】この発明の他の実施形態における表情変化が遅い場合の抽出結果例を示す図である。

【符号の説明】

Ｓ１０ 前処理部 Ｓ２０ 表情変化検出部 Ｓ３０ 抽出・認識部

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１１年３月１１日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正内容】

【０００７】

【課題を解決するための手段】請求項１に係る発明は、
顔動画像から個別の表情を抽出する方法であって、顔動画像中の連続する画像から顔要素の各位置の速度ベクトルを算出し、算出された速度ベクトルの各成分にフーリエ変換を施し、そのフーリエ変換係数を表情の動きに応
じた特徴ベクトル列として抽出し、抽出された特徴ベクトルを時間積分することによって表情の移動ベクトルを算出し、算出された表情の移動ベクトルと予め定められる各表情パターンとの照合を行ない、 第３のステップと
並行して処理され、予め各表情ごとに連続した出力確率を正規分布を用いて近似した複数の隠れマルコフモデルを作成し、前述の照合結果に基づいて、特徴ベクトル列が生成される生成確率を複数の隠れマルコフモデルによってそれぞれ算出し、複数の隠れマルコフモデルのうち最大の生成確率を算出した隠れマルコフモデルに対応する表情を認識結果として判断するものである。