权利要求

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、人間の顔の表情を画像解析、計算処理する表情のコード化及び情緒の判別装置に関する。

【０００２】

【従来の技術】人間の顔の表情をテクノロジー的に読み取る試みは、これまでにも行われてきたが、いずれもその表情を単なる二次元の画像情報として取り扱っており、解析、保存が困難で、膨大な処理を要求されていた。 また、その表情や情緒の判別は、経験の積み重ねで可能になるものとして、ニューロコンピュータやエキスパートシステムの応用システムで実現している例が多い。 しかし、現状では未だ不十分である。

【０００３】

【発明が解決しようとする課題】一方、医療の分野では、過去、現在、未来とも、その表情の読み取りは日常の診療に欠くことのできない重要な要素であるが、この表情をコミュニケーション手段の情報発信と考える場合、テクノロジー的に読み取る適切な装置、動く画像通信の適切化が強く望まれている。 そして、その研究は、
科学面ばかりでなく、芸術面にも、生活面にも、人間が人間である限り、重要な課題である。 そこで、本発明は、筋肉の動きや神経系接続関係などの医学、生理学的研究に基づいて表情の要素をテクノロジー的に分類し、
コード化することにより、簡潔かつ適切に処理できるようにしようとするものである。 また、上述の人間の顔の表情発生及び情緒発生の医学、生理学的研究により、その表情と情緒との間に明解な対応の法則があることが明らかになったことから、この対応関係に基づいて人間の情緒の判別を行おうとするものであって、コード化された表情に、この対応関係をあてはめることで、人間の情緒の判別を、人間の感覚機能を主とした経験の蓄積による判別ではなしに、極めて機械的に行い得るようにしようとするものである。

【０００４】

【課題を解決するための手段】本発明の基礎的な理論は、発明者による表情の情緒工学的研究成果による。 ここにその理論の概要を説明する。 人間の顔の表情が顔面に現れるまでのメカニズムは、図１のブロック図で表される。 その表情は、顔面神経の支配を受ける表情筋の活動であり、その活動中枢は、顔面神経の中枢となる。 表情筋は、頭部及び前頸部の皮下に存在し、その筋群は、
頭部、頸部に各一対、目の周囲、耳、鼻に各三対づつ、
口唇の周囲に十二対存在する。 その中で、表情に関する主な筋を図２に示す。 これらを表情筋群と呼ぶ。 これらの表情筋は、他の体性運動筋と同じく横紋筋であるが、
顔面骨から直接顔面の皮膚にそれぞれ左右対称的に終着している点が特徴で、応答は左右同時性で速度が極めて速い。 また、その表情は、動的な眼瞼、口唇及びそれに付随する眉、髭などが開閉又は上下左右運動をして、静的な頭部、耳、鼻などの間に相対的な位置変化をすることで生ずる。 したがって、表情の主体性は、動的な部分を活動させる表情筋の機能にあると考えられ、これより表情筋の動的モデルを作ることができる。 つまり、動的な部分を活動させる筋群を抽出し、協同的と拮抗的とに働く筋群をまとめることで表情筋群を次表の６群に分けることができる。 これら６群が表情の認識に必要な最小限の筋群の分類になるのである。

【表１】

この６群の緊張度を数値として表すと、表情が６つの数値からなるコードとして表現できる。 これを「表情要素コード」と呼ぶ。 ところで、筋電図学的研究から、図５

に示すように、前額に皺をつくる前頭筋（Ｆ）と眉を動かす皺眉筋（Ｃ）、この皺眉筋（Ｃ）と口唇を開閉する口輪筋（Ｒ）、口角を上げる頬骨筋群（Ｚ）と眼を閉じる眼輪筋（Ｏ）がそれぞれ協同的神経支配関係にあり、

また、前額に皺をつくる前頭筋（Ｆ）と目を閉じる眼輪筋（Ｏ）、眉を動かす皺眉筋（Ｃ）と口角を上げる頬骨筋群（Ｚ）、口唇を閉じる口輪筋（Ｒ）と下唇を下げる筋群（Ｍ）がそれぞれ拮抗的神経支配関係にあることを、筋電図学的研究で確認した。 これらのことからすると、６つの要素（筋群）を頂点とした八面体を考え、拮抗関係にある要素を対角要素におくことで、表情運動の動的モデルとなる八面体ができる。 それを発明者古川正重は「表情の八面体」と名付けた。 これを図３に示す。

この表情の八面体において、８つの面を構成している一つの主要素と二つの協同的従属要素との３要素を操作すると、極限的な表情が現れる。 これを図４に示す。 この図４で実線は隣接する面、破線は対向する面を意味する。 また、この場合の面が示す表情は、次表及び図６のような情緒と対応している。

【表２】

これらの代表的な情緒と表情要素の対応を次表に示す。

【表３】

この表に従えば、表情要素コードから情緒を判別できる。

【０００５】ここにおいて、本発明は、顔面画像を電気信号として取り込み、「表情の八面体」の法則により知的に符号化して、所定の顔面画像データを得る画像入力装置と、該画像入力装置からの所定の顔面画像データを受けて、特徴部位抽出条件に基づき特徴部位画像を抽出する特徴部位抽出処理手段を有し、その特徴部位画像から所定の表情要素と特徴部位の関連規則に基づき表情要素を抽出して表情要素情報を得る表情要素抽出処理手段を有し、更に、その表情要素情報から所定の表情要素定量化規則に基づき表情要素定量化処理して表情要素コードを算出する表情要素定量化処理手段を有し、また、その表情要素コードを所定の情緒変換式で演算処理して各種の情緒の量をそれぞれに算出するとともに、それらの中から最大値のものを選出して、この最大値のものに応答する情緒の種別を判別する情緒判別手段を有し、かつ、その表情要素コード及び情緒の種別と大きさを記憶する記憶手段を備えた演算処理装置と、該演算処理装置に保有された上記表情要素コード及び情緒の種別と大きさを出力する表情要素コード／情緒情報出力装置と、からなることを特徴とする。

【０００６】

【作用】如上の構成であるから、画像入力装置は、顔面画像を電気信号として入力し、これを次の演算処理装置での処理に適する顔面画像データに符号化して、演算処理装置に送り、その顔面画像データを受けた演算処理装置は、図８のフローチャートに示すように、特徴部位抽出処理手段にて、所定の特徴部位抽出条件に基づきその顔面画像データから特徴部位画像を抽出し、次いで、表情要素抽出処理手段にて、所定の表情要素と特徴部位の関連規則に基づきその特徴部位画像から表情要素を抽出し、更に、表情要素定量化処理手段にて、所定の表情要素定量化規則に基づきその表情要素情報から表情要素定量化処理して、上記６種の筋肉群記号Ｆ，Ｃ，Ｏ，Ｚ，
Ｒ，Ｍに適合する表情要素コードを算出し、かつ、記憶手段にて、その表情要素コードを記憶し、また、情緒判別手段にて、図１４のフローチャートに示すように、所定の情緒変換式でその表情要素コードを演算処理して各種の情緒の量をそれぞれに算出し、それらの算出値の中の最大値のものから情緒の種別を判別して、この情緒の種別と大きさをも、上記表情要素コードに加えてその記憶手段に記憶し、而して、表情要素コード／情緒情報出力装置は、その演算処理装置に保有された表情要素コード並びに情緒の種別と大きさを出力する。

【０００７】

【実施例】図７は、本発明の「表情のコード化及び情緒の判別装置」に係る実施例を示している。 この装置は、
顔面画像を電気信号として取り込み、符号化して、演算処理装置で処理可能な形式とする画像入力装置１と、該画像入力装置からの入力につき、顔面画像の画像解析、
表情筋群の緊張度定量化計算を行って表情要素コード及び情緒情報を求め、かつ、記憶する演算処理装置２と、
該演算処理装置で算出された表情要素コード又は情緒情報を出力する表情要素コード／情緒情報出力装置３とからなる。 画像入力装置１としては、ビデオカメラとこれに接続したビデオフレームメモリ、写真の取り込みに適するイメージスキャナなどを、演算処理装置２としては、顔面画像データから特徴部位抽出条件に基づき特徴部位画像を抽出する特徴部位抽出処理手段と、該特徴部位画像から表情要素と特徴部位の関連規則に基づき表情要素を抽出して表情要素情報を得る表情要素抽出処理手段と、該表情要素情報から表情要素定量化規則に基づき表情要素定量化処理して表情要素コードを算出する表情要素定量化処理手段と、その表情要素コードを情緒変換式で演算処理して各種の情緒の量をそれぞれに算出し、
それらの算出値の中の最大値のから情緒の種別を判別する情緒判別手段と、その表情要素コード及び情緒の種別を記憶する記憶手段とを備えたパーソナルコンピュータ、ワークステーションなどを、また、表情要素コード／情緒情報出力装置３としては、数値・記号表示装置、
並列又は直列のディジタル信号の出力装置などを用いる。 而して、この表情のコード化及び情緒の判別装置は、次の表情要素コード化アルゴリズムと情緒判別アルゴリズムに支配されるものとする。

【０００８】１． 表情要素コード化アルゴリズム 画像入力装置１から演算処理装置２へ、顔面の画像が当該演算処理装置で処理可能な二次元の濃淡データとして供給されるが、このデータは、演算処理装置２の画像記憶領域に顔面画像データとして記憶保持される。 そこで、図８のフローチャートに従い、その顔面画像データ（ａ）を順次に次のように処理することで、表情要素コード（ｇ）を得る。 （１）特徴部位抽出処理 顔面画像データ（ａ）から特徴部位抽出条件に従って、
表情の認識に必要な部位を抽出した特徴部位抽出画像（ｃ）を得る。 具体的処理例としては、特徴部位を次表の〜の６点とし、図９のアルゴリズムの模式図において、次表の特徴部位抽出条件を作用させることにより、固定座標方式で抽出する。 この場合の処理の手順を図１１のフローチャートに示す。 その結果として、図１
０の〜の模式図に示す特徴部位画像（方形画面）を切りだすことができる。

【表４】

（２）表情要素抽出処理 医学的筋電図学的研究から判明した筋肉の運動の相互関係、神経系の接続等に基づいて決定した特徴部位の変化を表情要素に関連付ける条件、すなわち、表情要素と特徴部位の関連規則（ｄ）に従って、特徴部位画像（ｃ）

を表情要素に関連付け、表情要素情報（ｅ）を抽出する。 表情要素と特徴部位の関連規則（ｄ）の具体例を次表に示す。

【表５】

各表情要素の記号と要素ごとの規則Ｎｏ． を合わせて規則コードと呼ぶ。 つまり、規則コードは、筋肉群記号Ｆ，Ｃ，Ｏ，Ｚ，Ｒ，Ｍと規則Ｎｏ． からなるコードで、例えぼ、「眉の動きの条件Ｎｏ．２」なら「Ｃ−

２」となる。 更に、この表５で決定する規則コード別に特徴部位画像（ｃ）の詳細な解析手順を図１２にフローチャートにて示す。 このフローチャートに従って処理を行えば、規則コード別に幾つかの測定値が表情要素情報（ｅ）として決定されることとなる。 また、各表情要素の記号（Ｆ，Ｃ，Ｏ，Ｚ，Ｒ，Ｍ）を総じてｘとし、規則コードｘ−ｎの測定値（表情要素情報）をｐ

_ｘｎと表すと、例えば、Ｃ−２の測定値はｐ

_Ｃ２である。 なお、

表情要素情報ｐ

_ｘｎは、測定値が１つならスカラー、２

つならベクトルを意味する。 （３）表情要素定量化処理 表情要素情報（ｅ）の規則コード別の測定値を表情要素定量化規則（ｆ）に従って計算し、表情要素別の数値である表情要素コード（ｇ）とする。 表情要素定量化規則（ｆ）の具体例として、顔面画像から測定値と筋電図の値をもとに求めた回帰式を使う方法がある。 この回帰式を求める手順を図１３のフローチャートに示す。 すなわち、 サンプリング： ある表情要素、例えば、「Ｆ：前額の動き」に着目し、

最も緊張した状態（額に精一杯皺を作った状態）から、

徐々に緊張を緩めていく。 このとき、筋電図と顔面画像をサンプリングする。 顔面画像は、前記アルゴリズムで表情要素情報（ｅ）まで求めておく。 回帰計算： 規則コードごとに最も緊張した状態を１、緩んだ状態を０として筋電図の値を対応させ、表情要素情報（ｅ）との間で回帰計算を行い、回帰式を求める。 ここでは、規則コードＦ−１，Ｆ−２，……の回帰式をｆ

_Ｆ１， ｆ

_Ｆ２， ……とする。 次に、規則コードごとの回帰式を表情要素別に連結した回帰式にまとめる回帰計算を行う。

こうして求められる表情要素コードＦの回帰式は、

【数１】

なお、上式は一次式だが、高次になることもあり得る。

ここで、規則コードＦ−１からＦ−５の測定値を、全体としてｐ

_Ｆとして表すとする。 この場合、ｐ

_ＦがＦに関する表情要素情報であり、ｆ

_Ｆにｐ

_Ｆを代入して求めた値が次式のＦに関する表情要素コードの値ｆとなる。

【数２】

同様にして、他のＣ，Ｏ，Ｚ，Ｒ，Ｍに関する表情要素コードの回帰式ｆ

_Ｃ ，ｆ

_Ｏ ，ｆ

_Ｚ ， ｆ

_Ｒ ， ｆ

_Ｍも求められる。 各々の回帰式に表情要素情報（ｅ）を代入して、次式の表情要素コードの値を求める。

【数３】

ｐ

_Ｆ， ｐ

_Ｃ， ｐ

_Ｏ， ｐ

_Ｚ ，ｐ

_Ｒ， ｐ

_Ｍ ：各表情要素別の表情要素情報したがって、ｆ，ｃ，ｏ，ｚ，ｒ，ｍが各表情要素の記号Ｆ，Ｃ，Ｏ，Ｚ，Ｒ，Ｍに関する顔面筋肉に対応した表情要素コードの値となるのである。 ２． 情緒判別アルゴリズム 既述の表３には、代表的な情緒と表情要素コードの関係が示されている。 この表は、表情要素コードの重み付けを行うことで、情緒を更に細かく分類することが可能である。 ここでは、情緒判別のアルゴリズムの具体例として、表３をそのまま用いた場合を説明する。 （１）表情要素の重み付け 表情要素に対する重み付けは、係数ｋの関係付けにより次のようにする。 表情要素コードｘに対して、 主要素 ＋＋ ２ｋ・ｘ 《重み付けを強くするときは ３ｋ・ｘ》 従属要素 ＋ ｋ・ｘ 拮抗要素 （−） ｋ・（１−ｘ） ｋ：１／６を意味する。 （２）情緒変換式 上記表情要素の重み付け（１）と表３から、各情緒の量を計算する式が求められる。

【数４】

ｆ，ｃ，ｏ，ｚ，ｒ，ｍ：表情要素コードの値 これを、情緒変換式と呼ぶ。 （３）情緒判別 表情要素コード化のアルゴリズムで、顔面画像から得られた表情要素コードを情緒変換式に代入すると、上述のように各情緒の量Ｅ

_ｈｐ −Ｅ

_ＳＬが算出されるので、それらのＥ

_ｈｐ −Ｅ

_ＳＬの値が最大となっている情緒の種別をもって、その顔面の情緒と判別する。 また、その最大値が情緒の量となる。 この処理過程を図１４にフローチャートで示す。

【００１０】

【発明の効果】本発明によれば、人間の顔面の筋肉の動きや神経系接続関係などの医学、生理学的研究に基づく現実の表情の要素を、テクノロジー的に分類し、コード化することが可能となり、かかる知的コード化により、
無用な情報処理を排して、必要かつ十分なそして少ない情報処理により、簡潔かつ適切に、しかも、迅速に処理でき、所要の表情要素コードを迅速かつ的確に抽出できる。 また、その表情要素コードを磁気記憶装置などに保存するようにすれば、人間の顔の表情につき従来の１０
万倍程度もの大量のデータを保存することができることとなる。 更に、人間の顔の表情と情緒との間に単純な対応があることが情緒工学的研究により解明されたことに基づき、その表情要素コードにこの対応関係をあてはめることで、人間の情緒の判別を極めて機械的合理的に行うことができ、医療面での日常の診療等における表情の読み取りに便利に活用できる。 また、芸術面にも、生活面にも、広く利用でき、所期の目的を達成することができる。 而して、例えば、自動車の運転席にビデオカメラを備えつけて運転者の顔の表情の読み取り、情緒を判別して、眠りの表情になったときに警報を鳴らす自動車用居眠警報装置に応用でき、また、これを更に進めて、直接にブレーキと連動させること、恐怖の表情の検出により、緊急時の非常停止装置とすることも可能でである。
その他、被験者の顔の表情の読み取り、情緒を判別して、質問に対する被験者の情緒変化を監視することなどにも広く応用することができる。

【図面の簡単な説明】

【図１】本発明に係る人間の情緒表現機構内部モデルを示すブロック図である。

【図２】本発明に係る人間の顔の表情筋群を示す図である。

【図３】本発明に係る人間の顔の表情の八面体を示す図である。

【図４】本発明に係る人間の顔の表情のイメージパターンと情緒との関係を示す図である。

【図５】本発明に係る人間の顔の６つの表情筋群の協同・拮抗関係を示す図である。

【図６】本発明に係る人間の顔の表情における八面体のオペレーションと表情の図形化に関する図である。

【図７】本発明に係る表情のコード化及び情緒の判別装置の実施例を示すブロック図である。

【図８】同例の表情要素コード化を示すフローチャートである。

【図９】同例の固定座標方式の特徴部位抽出アルゴリズムに関する説明図である。

【図１０】図９の中から抽出した特徴部位抽出画像を示す説明図である。

【図１１】同例の特徴部位抽出処理についてのフローチャートである。

【図１２】同例の特徴部位画像解析手順例を示すフローチャートである。

【図１３】同例の表情要素定量化回帰計算手順例を示すフローチャートである。

【図１４】同例の情緒判別アルゴリズムを示すフローチャートである。

【符号の説明】

１ 画像入力装置 ２ 演算処理装置 ３ 表情要素コード／情緒情報出力装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 古野 陽一 福岡県北九州市戸畑区中原西２丁目15− 15 日神パレステージ九工大603号 (56)参考文献 特開 平３−252775（ＪＰ，Ａ)