【発明の詳細な説明】 【０００１】本発明は、感情認識の分野に関し、より詳細には、音声信号から感情を検出する方法及び装置に関する。 今日では、例えばマンマシンインターフェースのコミュニケーション手法をより自然且つ直観的なものにするためなど、人間の（又は合成された又は動物の）音声により伝達される感情を検出する技術的手段が必要となるアプリケーションが非常に増えてきている。 例えば、ペット型ロボットやヒューマノイドの行動は、実際の生物のそれに非常に近づいている。 この観点から、ロボットに対して、何らかの基本感情、例えば「平静（ca
lm）」、「喜び（happiness）」、「悲しみ（sadnes
s）」、「怒り（anger）」などを伴った発声を識別することを要求するのは自然なことである。 また、その他のアプリケーションとしては、教育、訓練、スピーチ療法や、装置、乗り物、道具等の人間による制御が挙げられる。 【０００２】現在までこの感情認識分野でなされている研究の殆ど（全てではない）は、人間によって読まれたテキストにおける感情を検出することに傾注しており、
そのテキストは短い発声というよりは一般的にパラグラフというべきものである。 また、その発声（recitatio
n）は、防音室のようなよい環境下でなされたものである。 【０００３】ところで、近年、個人用ロボットの開発が非常に発展してきており、新たな教育技術（Druin A.,H
endler J. (2000) "Robots for Kids: Exploring new t
echnologies for learning", Morgan Kauffman Publish
ers 参照）や、純粋なエンターテイメント（Fujita M.,
Kitano H. (1998) "Development of an autonomous qua
druped robot for robot entertainment", Autonomous
Robots, 5; Kusahara.M. (2000) "The art of creating
subjective reality: an analysis of Japanese digit
al pets, in Boudreau E.,ed., in Artificial Life 7
Workshop Proceedings, pp.141-144 参照）の用途に用いられている。 【０００４】特に、これらのロボットは、犬や猫等の馴染み深いペットを模していたり（ソニー株式会社のＡＩ
ＢＯを参照）、時には人間型のＳＤＲ３−Ｘ（ソニー株式会社）のように、人間の子供を模していたりする。 【０００５】これらの装置とのインタラクションは、人間が従来のコンピュータに対して行ってきたものとは著しく異なる。 従来、人間は、非常に不自然な規則や、キーボード、ダイアログウィンドウといった手段を学習する必要があり、コンピュータを動作させるために膨大な知識を身につけなければならなかった。 【０００６】このような個人用ロボットに必要な機能のうち、最も基本的なものの１つとして、人間の感情を捉えることが挙げられ（Picard R. (1997) "Affective Co
mputing", MIT Press 参照）、特に人間の感情を認識すると共に自身の感情を表現することが必要となる。尤も、人間を理解する際には感情以外も重要であるが、感情は社会規範の中心であり（Halliday M. (1975) "Lear
ning hou to mean: explorations in the development
of language, Elsevier, NY 参照）、特に会話の流れを左右する中心である（orality and gestuality）。 【０００７】ここで、言葉によるものを除けば、人間は主として２つの方法で感情を表現することができる。 すなわち、顔の表情の変化と（Ekman,P. (1982) "Emotion
s inthe human face", Cambridge University Press, C
ambridge 参照）、声のイントネーションの変化とである（Banse,R. and Sherer,KR, (1996) "Acoustic Pro
files in Vocal Emotion Expression, Journal of Pers
onality and Social Psychology, 70(3): 614-636 参照）。 【０００８】顔の表情に表れる感情を自動で認識する研究は、現在非常に多くなされているが（A.Samal,P.Iyen
ger (1992) "Automatic recognition and analysis of
himan faces and facial expression: A survay". Patt
ern Recognition, 25(1):65--77 参照）、自動で生成し機械で認識するための会話のモダリティに関連する研究は、最近になってなされるようになった（Bosh LT (2
000) "Emotions: whatis possible in the ASR framewo
rk ?", in Proceedings of the ISCA Workshop on Spee
ch and Emotion 参照）。 【０００９】この研究の出発点は、感情と、対応する音声信号の音響特性に対するその感情の効果との間の音響的相関を調べるものである（Fairbanks 1940, Burkhard
andSendlemeier 2000, Bense and Sherer 1996 参照）。 【００１０】これらの報告によると、発話は心理学的な条件や幾つかの基本的な情動クラスとの相関があることが判っている。 また逆に驚きと怖れ、退屈と悲しみなどのある特定の感情に関しては違いを見つけることが難しいことなども報告されている。 実際、特定の情動がある身体的な状態と結びついていることはよくあり（Picard
1997 前掲参照）、機械的な（したがって予測可能な）
影響を発話に対してもたらす。 この影響は、特にピッチ（基本周波数Ｆ０）、タイミング、そして声質に対してもたらされる。 例えば、ある人が怒りや怖れや喜びを覚えたときは交感神経系が興奮し、心拍数や血圧が上昇し、口内は乾き、時には筋肉に震えが起こる。 こうしたときには発話は大きく速くなり、高周波成分に強いエネルギーを持つことになる。 またある人が退屈や悲しみを感じているときは、副交感神経系が興奮し、心拍数や血圧が減少し、唾液が多く分泌される。 この結果、発話はゆっくりとしたピッチの遅いものになり、高周波成分のエネルギーは弱くなる（Breazal,C. (2000) Sociable M
achines: "Expressive social exchange between human
s and robots", PhD Thesis, MIT AI Lab. 参照）。 【００１１】さらに、これらの身体的影響は万国共通であるために、基本的な情動と発話の音響的な特性の間には民族や文化に寄らない相関関係が存在すると考えられている。このことは、例えば文献「Abelin A, Allwood
J., (2000) "Cross-linguistic interpretation of emo
tional prosody", in Proceedings of the ISCA Worksh
op on Speech and Emotion」や、文献「Tickle A. (200
0) "English and Japanese speaker's emotion vocalis
ations and recognition: a comparison highlighting
vowel quality", ISCA Workshop on Speech and Emotio
n, Belfast 2000」において詳しく調査されている。 これらの研究では、例えばアメリカ人に対して音響的な情報のみ（発話は意味がないため、意味的な情報はない）
によって他のアメリカ人や日本人の感情を理解させる実験が行われた。 【００１２】同様に、日本人も、他の日本人やアメリカ人がどのような感情を伝えようとしているかを言い当てさせられた。 この結果から、以下の２つの点が明らかにされている。 すなわち、１）同じ言語を話す人か異なる言語を話す人かによって、伝えられる感情の認識率に変化はなく、このことは日本人の被験者についてもアメリカ人の被験者についてもあてはまる。 そして、２）被験者の認識結果は芳しくなく、最高でも６０％程度であった（なお、この結果は、被験者が非常に不自然な意味のない言葉を発するように言われていた事実からある程度は説明がつくが、意味的には中立であるが意味のある文を発するようにした研究によっても、この結果は裏付けられている（Burkhart F., Sendlemeier W.,(2000) "Ve
rification of acoustical correlates of emotional s
peech using formant-systhesis", in Proceedings of
the ISCA Workshop in speech and Emotion 参照））。 【００１３】１つ目の結果は、無意味語によって機械に感情を表現させ、様々な文化的背景を持つ人にその感情を正確に伝達させるという目標が理論的に可能であることを示している。 また、２つ目の結果は、完璧な結果は期待し得ず、機械の成果を人間の成果と関連させて比較すべきでないことを示している。 人間がそれほどよく理解できないという事実は、主として、幾つかの感情が心理学的に非常に相関しているため、音響的にも相関するという事実による。 現実の状況では、人間は発話文の内容、及び／又はその他のモダリティによって、その曖昧さを解決している。 実際、幾つかの実験によって、情動表現のマルチモーダルな性質により感情のマガーク（Mc
Gurk）効果が得られることや（Massaro D., (2000) "Mu
ltimodalemotion perception : analogous to speech p
rocesses", ISCA Workshop on Speech and Emotion, Be
lfast 2000 参照）、内容が異なれば、人間はそれぞれの内容について同じイントネーションであっても異なる感情を表すと解釈する（Cauldwell R. (2000) "Where d
id the anger go ? The role of context in interpret
img emotions in speech" ISCA Workshop on Speech an
d Emotion 参照）ということが示されている。 これらの発見は、機械がより識別可能な言葉を発する必要がないことを示している。 したがって、最も基本的は情動についてのみ調べればよい。 【００１４】ところで、コンピュータ技術を用いた音声処理の実験の多くは、音声のどの特徴が感情を最も正確に反映しているかを調べるものであった（Murray E. an
d Arnott JL (1993) "Towards a simulation of emot
ion in synthetic speech",Speech Communication, 16
(4), pp.1097-1108; Banse R. and Scherer KR (199
6) "Acoustic profiles in vocal emotion expressio
n", Journal of Personality and Social Psycology, 7
0(3):616-636; Burkhardt and Sendlmeier (2000)"Veri
fication of acoustical correlate of emotinal speec
h using Formant-synthesis", Proceedings of the ISC
A Workshop in Speech and Emotion; Williams U. and
Stevens KN (1972) "Emotions in speech: some acou
stical correlates", JASA 52, 1228-1250 参照）。基本的には、最も重要な特徴は、例えばピッチ（ｆ０）及び輪郭（contour）や、強さの輪郭や、発声のタイミングなど、韻律に関係するものであるとして一致している。より最近の研究では、声質（Gobl C. and Chasaide
AN (2000) "Testing affective correlates of voic
e quality through analysis and resynthesis", in Pr
oceedings of the ISCAWorkshop on Emotion and Speec
h 参照）や、ある種の共発声（co-articulatory）現象（Kienast M. and Sendlmeier W. (2000) "Acoustical
analysis of spectral and temporal changes in emoti
onal speech", Proceedings of the ISCAWorkshop on E
motion and Speech 参照）も、ある種の感情とよく相関していることが示されている。 【００１５】人間の感情の検出に関していえば、人間は一般的に内容とモダリティの全てを用いて感情を検出している。 すなわち、言語学的な内容から顔の表情やイントネーションまで全てを用いているが、このような完全なアプローチは、管理されていない環境下の装置では現実的でない。 例えば、そのような状況下でのロバストな音声認識は今日のシステムでは到底無理なものであり、
また、顔の表情の認識にはコンピュータリソース及び映像装置が必要となるが、ロボット生物はこれらを有していないことが多い。 【００１６】このような理由から、本件出願人は、音声の韻律情報のみを用いて、どのように感情検出が実現されるかを調査した。 さらに、関心を持っている発話は、
日々の会話でなされるようなもの、すなわち短いくだけた発話であり、用意されたテキスト、例えば新聞の段落を感情を込めて読むように言われた場合における発話とは異なるものである。 なお、４つの基本的な情動クラス、すなわち「喜び（joy/pleasure）」、「悲しみ（so
rrow/sadness/grief）」、「怒り（anger）」及び「平静（calm/neutral）」について研究を行った。 【００１７】ここで、顔の表情により感情を自動で認識する研究（Samal A. and Iyengar P. "Automatic recog
nition and analysis of human faces and facial expr
ession: a survey", Pattern Recognition, 25(1):65-7
7 参照）とは異なり、発話のモダリティを用いる研究はまだ歴史の浅いものである（Bosh LT (2000) "Emotio
ns: what is possible in the ASR framework ?", Proc
eedings of the ISCAWorkshop on Speech and Emotion,
Belfast 2000 参照）。 最初になされた研究（Murray a
nd Arnott (1993) "Towards a simulation of emotion
in syntheticspeech: a review on the literature of
human vocal emotion",JASA 93(2),pp.1097-1108, 199
3; Williams U. and Stevens KN (1972) "Emotions a
nd speech: some acoustical correlates", JASA 52, 1
238-1250 参照）は、効率的な機械認識装置を作製しようというよりは、寧ろ発話における感情の一般的な質的音響相関（qualitative acoustic correlates）を研究するものであった（例えば、「喜び」は「平静」の文章よりも発話の平均ピッチが高くなるなど）。 より最近では、感情を計算することに産業上の有用性があることが次第に知られるようになったことから（Picard, 199
7）、発話における感情を自動で認識する性能を求める研究が始められてきている（Bosh, 2000）。 【００１８】しかしながら、データマイニング（data m
ining）及び機械学習において発達した近代的なツールを用いて大規模な研究を行った例はない。 実際、多くの場合には、１つか２つの学習スキームを試すのみであったり（例えば Polzin T., Waibel A. (2000) "Emotion-
sensitive Human-computer Interface", in Proceeding
s of the ISCA Workshop on Speech and Emotion; Slan
ey M., McRoberts G.(1998) "Baby Ears: a recognitio
n system for affective vocalization, in Proceeding
s of ICASSP 1998）、非常に少数且つ単純な特徴のみを用いるものであったり（Polzin and Waibel 2000, Slan
ey and McRoberts 1998, Breazal 2000, Whiteside 199
7）、小規模なデータベース（各話者につき１００サンプル以下）を用いるものであったりし（Breazeal; L. A
ryananda (2000) "Recognitionof affective communica
tive intent in robot-directed speech", in proceedi
ngs of the Humanoids conference, 2000; McGilloway
S. et al. (2000) "Aproaching aoutomatic recognitio
n of emotion from voice: a rough benchmark", in Pr
oceedings of the ISCA Workshop on Speech and Emoti
on; Slaney M.,McRoberts G. (1998) "Baby Ears: a re
cognition system for affective vocalisation, in Pr
oceedings of ICASSP 1998）、統計的な学習スキームの有効性を見落としているかのようであった。 【００１９】唯一、前掲した文献「McGilloway S. et a
l. (2000)」において、残りの文献で用いられているような伝統的／標準的な特徴群以上のものを用いて体系的なデータマイニングを行おうとしている。 すなわち、この文献では、ピッチ及び強度分布、並びに音素若しくは音節又はピッチ上昇の長さについての平均値、最大値、
最小値、最大値−最小値、分散を用いている。 【００２０】しかしながら、この研究は実験的な基礎を著しく欠いている。 すなわち、１）この研究では３種類の学習手法（サポートベクターマシン、混合ガウス（Ga
ussian mixtures）、線形判別（linear discriminant
s））しか用いられていない。 これらは、無関係な特徴が多く存在する可能性のあるデータを扱うには決して最適とは言えず、特に少数の特徴群を最適な効率で抽出することができない。 そして、２）この研究は、１つの学習手法を選択してこの特徴群を調査し、クラス分類に有用でない特徴を繰り返し除いていくものであった。 これは、一方には非常に独特の学習スキーム及び選択手順と関連しているため、特定問題（ad hoc）というべきものであるが、他方には適切な特徴群を検出することができない。 また、彼らの研究は、被験者が新聞のテキストを感情を込めて読むように言われてなされた発話に基づくものであり、本発明におけるような制約に対応するものではない。 【００２１】今日まで、日常的な発話を自動認識する装置を開発しようとしてきたのは２つの研究グループのみである（Breazal 2000 and Slaney et al. 1998 前掲）。 しかし、これらのグループは、非常に小規模なデータベースと非常に少数且つ単純な特徴と２つの学習アルゴリズムしか利用することができなかった。 このため、この研究のコーパス（corpus）に対する一般的な見解は、たとえ４種類の基本情動についてのみであっても、話者が数人いる場合には６０パーセントを超える認識率は不可能に近いというものである。 なお、話者によって大きく差があることは、例えば前掲した文献「Slan
ey et al. 1998」に記載されている。 【００２２】そこで、本発明は、感情を正解率よく識別する一方で作業負荷が重くなく、ペット型ロボットやヒューマノイド等の小さなシステムにでも実装可能である、発話に基づく感情認識方法及び装置を提供することを目的とする。 【００２３】本発明の他の目的は、短い発声によって伝達される感情を識別可能とすることである。 【００２４】本発明のさらなる目的は、ノイズが多く及び／又は音響的に悪い環境で発話がなされるような、実際の生活の状況においても処理可能とすることである。 【００２５】特に第１の側面によれば、本発明は、−音声信号に由来する少なくとも１つの特徴からなるセットを抽出し、−抽出された特徴の上記セットを処理してその感情を検出するステップを有し、上記音声信号によって伝達される感情を検出する方法に関連し、上記音声信号から上記セットの少なくとも１つの特徴を抽出する前に、上記音声信号をローパスフィルタで処理するステップを有するものである。 【００２６】このローパスフィルタ処理ステップは、好ましくは、基本的に１５０乃至４００Ｈｚの範囲であるカットオフ周波数（Ｆｃｏ）で上記音声信号の強度をフィルタリングするものである。 このカットオフ周波数（Ｆｃｏ）は、好ましくは２５０乃至３００Ｈｚの範囲であり、好ましいカットオフ周波数（Ｆｃｏ）は２５０
Ｈｚである。 【００２７】さらに、特徴抽出ステップは、以下のパラメータＩ、II及びIII、すなわち−パラメータＩ： ｉ）ローパスフィルタ処理ステップ後の信号強度、 ii）ローパスフィルタ処理を行わない場合の信号強度、 iii）ローパスフィルタ処理を行わない場合の信号のピッチ、及びiv）ローパスフィルタ処理ステップ後の信号のピッチ−パラメータII（音声信号の継続時間に亘って得られたパラメータＩの数値列から）： １）極小値に対応する数値列の値からなる局所極小値の系列、 ２）極大値に対応する数値列の値からなる局所極大値の系列、 ３）局所的な（隣接する）極値を分離する時間値からなる継続時間長（時間間隔）の系列、及び４）数値列の全ての連続するサンプル値からなる系列、
そして、 −パラメータIII（パラメータIIの系列から計算される） １）平均値２）最大値（すなわち全体で最も大きな値） ３）最小値（すなわち全体で最も大きな値） ４）最大値と最小値との差５）分散６）中間値７）第１の四分位数８）第３の四分位数９）第３の四分位数と第１の四分位数との差で定義される四分位数間範囲１０）局所微分の絶対値の平均値の組み合わせで得られた１６０個の特徴から、１以上の特徴を選択的に抽出するステップを有することが有用である。 【００２８】なお、少なくとも１つの特徴は、パラメータＩのｉ）ローパスフィルタ処理ステップ後の信号強度、又はiv）ローパスフィルタ処理ステップ後の信号のピッチに由来する。 【００２９】より具体的には、上記パラメータＩは、以下の特徴、 ｉ）ローパスフィルタ処理ステップ後の信号強度、 ii）ローパスフィルタ処理を行わない場合の信号強度、
及びiii）ローパスフィルタ処理を行わない場合の信号のピッチからなることが好ましい。 【００３０】これにより、組み合わせによって合計で１
２０個の特徴が得られる。 【００３１】なお、少なくとも１つの特徴は、パラメータＩのｉ）ローパスフィルタ処理ステップ後の信号強度に由来する。 【００３２】また、より具体的には、上記パラメータII
Iは、以下の５つのパラメータ、すなわち、 ２）最大値（すなわち全体で最も大きな値） ３）最小値（すなわち全体で最も大きな値） ６）中間値７）第１の四分位数８）第３の四分位数からなることが好ましい。 【００３３】また、上記特徴抽出ステップでは、以下の特徴、 −最大値（すなわち全体で最も大きな値） −最小値（すなわち全体で最も大きな値） −中間値−第１の四分位数−第３の四分位数の少なくとも１つを抽出するのが有益である。 【００３４】これらは、以下の系列、すなわち−音声信号をローパスフィルタで処理した後における信号の強度値の系列、 −音声信号をローパスフィルタで処理しない場合における信号強度の極小値の系列、 −音声信号をローパスフィルタで処理した場合における信号のピッチ値の系列、及び−音声信号をローパスフィルタで処理しない場合における信号のピッチ値の系列から計算される。 【００３５】なお、この特徴抽出ステップでは、ローパスフィルタ処理ステップ後の音声信号とローパスフィルタ処理を行わない場合の音声信号との両方に由来する特徴を抽出することも可能である。 【００３６】また、ローパスフィルタ処理ステップ後の音声信号からのみ特徴を抽出するようにしても構わない。 【００３７】ここで、上記特徴セットには、 １：音声信号をローパスフィルタで処理した後における信号強度の中間値、 ２：音声信号をローパスフィルタで処理した後における信号強度の平均値、 ３：音声信号をローパスフィルタで処理した後における信号強度の第３の四分位数、 ４：音声信号をローパスフィルタで処理した後における信号強度の第１の四分位数、 ５：音声信号をローパスフィルタで処理した後における信号強度の最大値、及び６：音声信号をローパスフィルタで処理した後における信号強度の系列の最大値の少なくとも１つが含まれる。 【００３８】本発明の方法は、上記特徴抽出ステップの前に、上記音声信号から抽出された信号を平滑化するステップを有してもよい。 【００３９】実施例では、本方法は、さらに教師アルゴリズムを用いて感情検出アルゴリズムを生成するステップを有する。 この教師アルゴリズムは、ローパスフィルタ処理後の音声信号から抽出された特徴の少なくとも１
つを利用する。 【００４０】また、本方法は、オフライン感情検出アルゴリズム及び／又はオンライン感情検出アルゴリズムを用いて、感情検出装置をプログラムするステップを有してもよく、これらのアルゴリズムは、ローパスフィルタ処理後の音声信号から抽出された特徴の少なくとも１つを利用する。 【００４１】次に、第２の側面によれば、本発明は、 −上記信号に由来する少なくとも１つ特徴からなるセットを抽出する抽出手段、及び−抽出された特徴の上記セットを処理してその感情を検出する処理手段を備え、音声信号によって伝達される感情を検出する装置に関連し、音声信号から上記セットの少なくとも１つの特徴を抽出する前に、上記音声信号をローパスフィルタで処理する手段を備えるものである。 【００４２】上述した本発明の方法における付加的な特徴は、必要に応じて変更を加えて上述の装置に適用することができるが、簡単のため繰り返して説明しない。 【００４３】続いて、第３の側面によれば、本発明は、
第２の側面における装置に用いられる（又は第１の側面における方法の実現に用いられる）音声信号処理装置に関連し、上記特徴抽出手段にローパスフィルタ処理後の音声信号を供給するためのローパスフィルタ処理手段を備える。 【００４４】本発明及びその利点は、以下に説明する好ましい実施例と添付図面とにより一層明らかにされるであろう。 なお、この実施例は、本発明を限定するものではない。 【００４５】ところで、本発明の好ましい実施例は、感情認識のプロセスを話者依存としたものである。 これは産業上の観点から必ずしも欠点ではない。 すなわち、例えば実施例がペット型ロボットを対象としている場合、
ロボットは飼い主（minder）としか交流しない場合がある。 また、ロボットが飼い主のみしか認識できないという事実も、ロボットと飼い主との協調関係（complicit
y）の源となることから、寧ろ利点となり得る。 但し、
本発明の原理は、さらに概要が説明されるように、話者非依存のアプローチであっても適用可能であることは勿論である。 【００４６】本実施例は、ペット型ロボットへの応用に基づくものであり、このロボットは、人間の声における４つの基本情動、すなわちｉ）「平静（calm）」、ii）
「悲しみ（sad）」、iii）「怒り（angry）」及びiv）
「喜び（happy）」を検出する。 【００４７】Ｆｉｇ.１は、上述した各感情が「感情空間」のどこに位置するのかを示したものである。 この感情空間では、「力価（valence）」及び「奮起（excitem
ent）」のパラメータがそれぞれ垂直軸２及び水平軸４
に沿って表されている。 力価の軸は、ネガティブな値からポジティブな値まで有し、奮起の軸は、低い値から高い値まで有する。 また、交点Ｏは、図の中心にあたり、
「平静（calm）／中立（neutral）」の感情に対応する。 そして、その点から４つの領域が定義され、それぞれが以下に示す感情状態を含む。 すなわち、「喜び（ha
ppy）／賞賛（praising）」（四分円Ｑ１）は、力価がポジティブであり奮起度が高いとして特徴付けられ、
「落ち着き（comfort）／鎮静（soothing）」（四分円Ｑ２）は、力価がポジティブであり奮起度が低いとして特徴付けられる。 また、「悲しみ（sad）」（四分円Ｑ
３）は、力価がネガティブであり奮起度が低いとして特徴付けられ、「怒り（angry）／警告（admonishing）」
（四分円Ｑ４）は、力価がネガティブであり奮起度が高いとして特徴付けられる。 【００４８】ここで、本実施例における制約は、以下のように、 −人間はペット型ロボットに対して非常に自由に話しかけ、 −人間は例えば「アイボ！お前は本当に手に負えないロボットだ！」といったような非常に短い文章で発話し、 −その発話をノイズの多い環境下で検出しなければならず、そして、 −数人がロボットと交流する場合には、話者依存か話者非依存かを選択しなければならないといったものであった。 【００４９】これらの制約の一部は、発話が幼児に対するようなものに制限されることを意味している。 【００５０】最初の段階では、これらの目的に最も沿うために、研究戦略が決定された。 この戦略を要約すれば、 ｉ）単純な特徴、単純なアルゴリズム、そして小規模なデータベースを用いて実験し、 ii）話者依存のケースについて、特徴と学習アルゴリズムとを体系的に調査し、 ａ）一方が男性で他方が女性である２人の話者のサンプルについてのデータベースを用いて、多数の例について、 ｂ）上述の２人の話者のデータベースを用いて、数例についてのみ、そして、 iii）流暢に話すような実際の生活における状況下で実験を行うというものである。 【００５１】 研究のデータベース ２人の話者によるくだけた短い感情語からなる非常に大規模なデータベースを用いて研究が行われた。 なお、全ての実験は無料で利用でき、標準的なデータマイニング技術を満たすデータマイニングソフトウェアであるＷｅ
ｋａを用いて行われた。 このＷｅｋａについての情報は、ウェブページ（http://www.cs/waikato.ac.nz/〜ml
/）で入手可能である。 【００５２】十分に大規模なデータベースを持つために妥協しなければならない点が幾つかあった（Skaney et
al. 1998 或いは Breazal 2000 に記載されている録音条件は悪く非実用的なものである）。 このため、実験的な研究に用いたデータベースでは、２人のプロフェッショナルな話者（男声及び女性）を用意した。 彼らは２人とも、多くのラジオ／ＴＶコマーシャルや、映画の日本語吹き替えやアニメーションで働く声優であった。 彼らは、短い文或いはフレーズで、例えば「ううん、分かりません」、「その通り」、「見て」、「こんにちは」、
「分かりました」、「ご機嫌いかがですか？」、「どんな食べ物が好きですか？」といったような日常的な発話を真似るように言われた。 また、発声毎にそのフレーズを発するような状況を想像しなければならず、その発話は４つの情動クラス、すなわち、「喜び（joy/pleasur
e）」、「悲しみ（sorrow/sadness/grief）」、「怒り（anger）」及び「平静（calm/neutral）」の何れかに対応するものであった。 なお、その文章の意味が幾つかの感情に合うものであれば、各フレーズを対応する感情で発声することができた。 これにより得られたデータベースは、各話者の各感情について２００サンプル、合計で２０００サンプルからなるものであった。 【００５３】なお、このデータベースは、サンプルの音声録音を構成するデジタル形式で保管されたため、任意のときに各サンプルにアクセスして再生することができた。 【００５４】ここで、上述した全ての研究と同様に、イントネーションに関して測定された２つの主要な特徴はピッチと強度とである。 【００５５】Ｆｉｇ.２ａ−２ｃは、２つの物理的なパラメータであるピッチと強度とが、どのように音声信号に由来するかを示したものである。 音声信号は、Ｆｉ
ｇ.２ａに波形エンベロープとして図示されており、これは、マイクロホンの出力から直接、又は音声サンプルを再生して得られる。 この波形は、信号振幅（縦軸）が時間（横軸）の経過に従って変動したものである。 図では、信号強度の中間位置が零に相当し、その位置から負の値（低振幅）又は正の値（高振幅）をとる。 【００５６】ピッチは、音声の主要な性質であり、これにより音階や音声スペクトルでの位置が決定される。 このピッチは、特定の強度を有する純粋なトーンの周波数として測定され、この場合、通常の耳には、音階や音声スペクトルにおいて同じ位置にあるように聞こえる。 Ｆ
ｉｇ.２ｂにピッチの時間変化を図示する。 ここで、ピッチは、特定の時間値における周波数（縦軸）として測定される。 【００５７】一方、強度は、与えられた周波数スペクトルを統合した信号のエネルギーを測定したものである。
Ｆｉｇ.２ｃに強度の時間変化を図示する。 ここで、強度は、デシベル（ｄＢ）で測定される。 【００５８】さらに、本発明の特徴に従い、上記発話を伝えるローパスフィルタ処理後の電気信号（以下、音声信号という）の測定が行われた。 【００５９】ここで、Ｆｉｇ.３は、音声信号をローパスフィルタ処理する可能性がある場合における感情検出の性能を評価するシステム１を概略的に示したものである。 【００６０】音声信号は、マイクロホン６から直接、又は上述した録音した発話についてのデータベース８から得られる。 後者の場合、各サンプルは例えばハードディスクドライブからオーディオフォーマットで選択的に読み出し可能とされており、オーディオ出力端子１０から対応する発話のオーディオ信号を得ることができる。 マイクロホン６又はデータベースのオーディオ出力端子１
０からの信号は、オーディオ増幅ユニット１４のオーディオ入力端子１２に供給され、インピーダンス整合、前置増幅、ゲイン制御処理が行われる。 このように処理されたオーディオ信号は、オーディオ出力端子１４に送られ、そこからローパスフィルタ１８に供給される。 システム１では、ローパスフィルタ１８のカットオフ周波数Ｆｃｏを調節することができ、その値はカットオフ周波数選択ユニット２０によって選択される。 【００６１】Ｆｉｇ.４は、ローパスフィルタ１８の典型的な周波数特性を示す図であり、曲線２２は、周波数範囲に亘って一定の振幅を有する入力について、周波数に対する伝送されるオーディオ信号レベルの種々の例を示したものである。 ここで、カットオフ周波数Ｆｃｏ
は、半分に減衰する周波数軸上の点として表される。 理想的なカットオフ周波数は、その周波数値を超えたときにローパスフィルタが信号を通さなくなるような周波数である。 なお、そのシャープさは、理想的なローパス反応に近づけるための、例えばフィルタの次元などのフィルタ特性に依存する。 【００６２】また、Ｆｉｇ.５は、カットオフ周波数選択ユニット２０によって選択されたカットオフ周波数Ｆ
ｃｏに従って、周波数特性がどのように変化するかを示した図である。 ３つの曲線２２ａ、２２ｂ、２２ｃは、
それぞれＦｃｏの値が２００Ｈｚ、２５０Ｈｚ、３２０
Ｈｚに対応する。 反応曲線の形状は基本的に同じである。 Ｆｉｇ.３に示すシステムでは、ローパスフィルタのカットオフ周波数は、良いレベルとなるように絶えず調節可能とされている。 なお、カットオフ周波数選択ユニット２０は、フィルタ構成、例えば１個或いは数個の可変容量ダイオードを変化させるために電気的に制御される。 【００６３】ここで、ローパスフィルタ１８は、演算増幅器に基づくアナログ回路として構成される。 このようなカットオフ周波数を調節可能なローパスフィルタは、
本技術分野においてよく知られており、ここでは簡単のため説明しない。 勿論、例えばデジタルシグナルプロセッサを用いたデジタルフィルタ技術により、ローパスフィルタ機能を得ることも可能であり、これも本技術分野においてよく知られている。 この場合には、入力オーディオ信号は、フィルタエレクトロニクスで処理するためにデジタル化される。 このフィルタエレクトロニクスでは、適切にデジタル化された形式で反応曲線２２を生成する。 【００６４】ローパスフィルタ１８からの出力は、特徴測定ステーション３０におけるオーディオインターフェース２８の第１の入力端子２８ａに供給される。 この特徴測定ステーション３０は、ＰＣベース制御ユニット３
２と協調して動作する機能ユニットとして表されている。 【００６５】また、オーディオ出力端子１６から特徴測定ステーション３０におけるオーディオインターフェース２８の第２の入力端子２８ｂに直接入力する場合もある。 この２つの入力端子２８ａ、２８ｂによって、分離された入力チャンネルが形成され、これにより特徴測定ステーション３０は、ローパスフィルタで処理されたオーディオ信号とフィルタ処理されていないオーディオ信号とを選択的に扱うことができる。 【００６６】ＰＣベース制御ユニット３２は、本システムのインターフェースを形成するモニタ３４及びキーボード３６と、処理、ドライブ及びデータ格納のためのＰ
Ｃタイプコンピュータ３８とから構成される。 ここで、
特徴測定ステーション３０は、信号入力端子２８に与えられる信号から種々の特徴を抽出するためにプログラム可能とされている。 ここで、特徴測定ステーション３０
における特徴抽出は、デジタル処理技術に基づくため、
信号入力端子２８は、内部のアナログデジタル変換器（ＡＤＣ）４０に接続される。 フィルタ処理されたオーディオ信号は、その後所望の特徴を抽出するため、後述するように２進ワードとして処理される。 【００６７】特徴測定ステーション３０によって生成された種々の特徴についての測定値は、データロガー（da
ta logger）４２に格納され、感情認識アルゴリズムで処理を行う機能ユニット４４によってアクセスされる。
このアルゴリズムは、特徴測定ステーション３０によって抽出された信号特徴に基づいて、音声信号で表現されている感情を識別するものである。 典型的には、ユニット４４で評価されるアルゴリズムによって、識別された感情（平静、喜びなど）と内部パラメータとが示される。 認識ユニット４４は、種々の感情認識アルゴリズムを実行し、それぞれの結果と内部パラメータとを生成することができる。 【００６８】この情報は、結果解析ユニット４６に供給され、様々なアルゴリズム及び／又は特徴の選択が比較され、最適な選択が決定される。 【００６９】なお、特徴測定ステーション３０、データロガー４２、感情認識アルゴリズム実行ユニット４４及び結果解析ユニット４６は、図にジグザグに描かれた両方向矢印で示されるように、ＰＣベース制御ユニット３
２によって物理的に実現することができる。 【００７０】さらにシステムは、得られた最適な結果に基づいて種々の感情認識システムをプログラムするプログラムユニットＰＵを有する。 このため、このプログラムユニットＰＵは、ＰＣベース制御ユニット３２やその他のユニットと共に結果解析ユニット４６にも接続されており、全てのアルゴリズム、パラメータ設定、抽出する特徴、その他の最適条件を記録することができる。 ここで、この情報は、所定のプロトコルに従って記録され、プログラムデータがペット型ロボットのような感情感応性システムの適切なプログラミングインターフェースにダウンロード可能とされている。 プログラムユニットＰＵは、システムの他の部分から分離可能とし、その場でプログラミングするために持ち運びできるように構成され、及び／又はディスクや半導体メモリといった携帯型記録媒体上にプログラミングデータを生成するのに適する。 【００７１】ここで、特徴測定ステーション３０による測定は、ローパスフィルタ１８から得られたローパスフィルタ処理後の音声信号の強度に基づくものであった（ハイパスフィルタを用いたハイパス処理後の音声信号についても独立した実験を行った）。 【００７２】ローパスフィルタ処理では、信号を純粋な韻律成分と純粋なケプストラム成分とに分離するために、カットオフ周波数が典型的には２５０Ｈｚ（この特定値は厳密なものではない）に設定された。 【００７３】そして、データベース８からのサンプルが特徴測定ステーション３０で様々に測定された。 心理音響学的な測定によれば、最も重要な情報は韻律（イントネーション）であり、特にピッチ曲線（ｆ０）（Ｆｉ
ｇ.２ｂ参照）と強度（Ｉ０）（Ｆｉｇ.２ｃ参照）とであった。 【００７４】評価を行う際には、以下の３つの信号、すなわちｉ）ローパスフィルタ処理後の信号強度、 ii）ローパスフィルタ処理を行わない場合の信号強度、
及びiii）ローパスフィルタ処理を行わない場合の信号のピッチが特徴測定ステーション３０で処理された。 【００７５】なお、最初の信号ｉ）は、特徴測定ステーション３０の入力端子２８ａから与えられたものであり、後の２つの信号は、入力端子２８ｂから与えられたものである。 【００７６】ここで、フィルタ処理を行わない信号ii
i）の代わりに、又はそれに加えて（この場合、評価される信号は合計で４つとなる）、ローパスフィルタ処理後の信号のピッチを測定することも可能である。 しかしながら、実験では、ローパスフィルタ処理後の信号についてピッチ解析を行って得られる情報は、フィルタ処理を行わない信号のピッチから得られる情報とそれほど変わらなかった。 したがって、信号ｉ）乃至iii）のみが評価に用いられた。 【００７７】ローパスフィルタ処理後には、得られた信号ｉ）の強度曲線が、フィルタ処理を行わない場合と同様の手法で測定された。 【００７８】そして、完全を期すために、最初の１０次元のＭＦＣＣ（メル周波数ケプストラム成分）の絶対ベクトル導関数のノルム（norm）から計算された信号iv）
について、ケプストラムが測定された。 ここで、音声認識では、各時間ステップでケプストラムが測定されることが多い。 このケプストラムは、蝸牛内の神経群の興奮と等価なパラメータである。 これらは、信号の種々のケプストラム係数に相当する。 測定の際には、ケプストラムのベクトル導関数の局所的な傾きの平均値が求められる。 典型的には、この測定により、時間変化する１０個の値を有する１０個の係数が得られ、連続するベクトル間の差分からベクトルのノルムが得られる。 【００７９】上述したｉ）乃至iv）の全ての測定は、
“Ｐｒａａｔソフトウェア”という名称の無料で利用できる信号処理ツールキットを用いて、０．０１秒の時間フレーム毎に行われた。 このＰｒａａｔソフトウェアについての情報は、ウェブページ（http://www.praat.or
g）で入手可能である。 【００８０】特に、ピッチは、文献「Boersma P. (199
3) "Accurate short-term analysisof the fundamental
frequency and the harmonics-to-noise ratio of as
ampled sound", in Proceedings of the Institute of
Phonetic Sciences of the University of Amsterdam,
17, 97-110, 1993」に記載され、非常に正確であると知られているアルゴリズムを用いて計算された。 【００８１】以下では、ケプストラムを測定した信号（iv）も評価の際に考慮する。 但し、測定に用いられるのは信号ｉ）乃至iii）のみである。 【００８２】これらの測定により、データの異なる観点を与えるように変換された一連の値が得られる。 【００８３】この一連の値を得る手順は、以下の通りである。 データベース８から得られた、典型的には短いフレーズに対応する音声サンプルについて、特徴測定ステーション３０は、入力端子（信号ｉ）、ii）又はiii）
に依存してチャネル２８ａ又は２８ｂ）に与えられた対応する音声信号を記憶する。 この信号は、予め１０Ｈｚ
で平滑化される。 【００８４】そして、この記憶され１０Ｈｚで平滑化された信号から、上述の時間変化する３つの信号ｉ）乃至
iii）が計算される。 【００８５】このように計算された信号ｉ）乃至iii）
のそれぞれは、例えば０．０１秒間隔でデジタル的にサンプリングされる。 なお、各サンプリングでは、強度（信号ｉ）及びii））又はピッチ（信号iii））の瞬間絶対値が得られる。 【００８６】このようにして、サンプリングされた信号のそれぞれについて、連続したサンプル値が得られる。
フレーズが数秒間ある場合、このサンプル値は数百となる。 その連続したサンプル値は、その信号の最初の部分の値から始まって、時間軸に亘って記憶される。 したがって、連続したサンプル値により信号ｉ）、ii）又はii
i）の時間変化が表される。 【００８７】そして、各信号につき以下に示す４つの系列を生成するために、時間軸上の値のシーケンスが解析される。 １）局所極小値の系列。 これは、そのシーケンスのうち極小値に対応する値を決定し、シーケンスの極小値のみからなる系列を構成することによる。 その系列は、その信号の最初の極小値から始まって、時間軸に亘って記憶される。 なお、シーケンスの極小値は、そのシーケンス内においてその直前直後の値よりも小さな値として特定される。 ２）局所極大値の系列。 これは、そのシーケンスのうち極大値に対応する値を決定し、シーケンスの極大値のみからなる系列を構成することによる。 その系列は、その信号の最初の極大値から始まって、時間軸に亘って記憶される。 なお、シーケンスの極大値は、そのシーケンス内においてその直前直後の値よりも大きな値として特定される。 ３）局所的な（隣接する）極値間の継続時間長（時間間隔）の系列（これは信号のリズムの様子をモデル化する）。 ここで、極値とは極小値又は極大値である。 これは、先ず上述の系列１）、２）のように隣接する値を比較して、極小値又は極大値に対応する値をシーケンス内で特定することによる。 そして、特定された極値の時間位置が解析され、連続した極値の時間間隔が決定される。 これらの時間間隔は、その信号の最初の極値と次の極値との間隔から始まって、連続して求められ、時間間隔の系列が得られる。 ４）系列自身。 これは単純に、サンプリングされた信号の最初から始まって、シーケンスの連続したサンプル値全てから系列を構成することによる。 【００８８】Ｆｉｇ.６は、この４つの系列が測定している信号からどのようにして得られるかを図示したものである。 【００８９】ここで、上述した信号ｉ）乃至iii）のそれぞれについて、上述した値の４つの系列が抽出され、
データベースの１つのオーディオサンプルにつき１２系列得られる。 【００９０】最後に、この１２系列のそれぞれについて、以下の１０個の統計的特徴、すなわち、 １）平均値２）最大値（すなわち全体で最も大きな値） ３）最小値（すなわち全体で最も大きな値） ４）最大値と最小値との差５）分散６）中間値７）第１の四分位数８）第３の四分位数９）第３の四分位数と第１の四分位数との差で定義される四分位数間範囲１０）局所微分の絶対値の平均値が計算される。 【００９１】なお、これらの統計的特徴を計算する前に、全てのデータは予め正規化されている。 【００９２】４系列とこれらの１０個の特徴とを組み合わせることで、３＊４＊１０＝１２０個の特徴が得られる。 【００９３】 学習アルゴリズム 各信号についてこれらの値の全てが得られると、次に種々の自動学習方法を用いて実験が行われた。 この自動学習方法は、所定数のサンプル例を学習し、般化できるものである。 なお、そのような方法としては数多く知られているが、それぞれ利点もあれば欠点もある。 本アプローチでは、これらの種々のアルゴリズムを非常に数多く用いている。 【００９４】テストされた各学習アルゴリズムについて、サンプル例の基本セットが入力される。 そして、各基本セットについて、他の基本セットに対する性能がチェックされる。 これにより、各学習アルゴリズムで正しく般化できたパーセンテージが求められる。 【００９５】ここで、この２０年で多くの学習スキームが開発されているが（例えば Witten I., Frank E. (20
00) "Data Mining", Morgan Kaufflan Publishers）、
それらの内容は様々である。 すなわち、あるタイプの分類を他のタイプよりも効率よく行うものもあれば、多くの無関係な特徴（以下説明するように、本件の場合に当てはまる）を扱うのに適したものや、構造化された特徴セット（重要な特徴値の“統語的な（syntactic）”組み合わせ）を扱うのに適したものもある。 データの構造及び／又は特徴の関係性（無関係性）は、当然のことながら分からないため、数少ない学習スキームのみを用いて問題を論じるのは誤りである。 したがって、ニューラルネットワークから規則帰納（rule induction）や回帰による分類（classification by regression）に至るまで、代表的な学習スキームのセットが選択された。 また、最もよいメタ学習スキームの１つであるAdaBoostM1
（Witten and Frank, 2000 前掲）と呼ばれるメタ学習スキームも使用された。 このAdaBoostM1は、決定木（de
cision trees）のような不安定な学習スキームの般化性能を著しく向上させる（不安定な学習スキームでは、学習データベースが僅かに変化しただけで認識マシンが大きく変わることがある）。 Ｗｅｋａソフトウェアを選択した理由の１つは、そのコードと実行可能プログラムとが自由に利用可能であり、大規模ではあるがその実験を容易に再現可能であるためである。 また、このソフトウェアにより、自動クロス確認のような手段が得られ、又は後述するように例えば遺伝的アルゴリズムを用いて特徴空間を探索することができる。 以下の表１に全ての学習アルゴリズムを示す。 【００９６】 【表１】

【００９７】これらのアルゴリズムについての詳細は、

前掲した「Witten and Frank, 2000」から得ることができる。 【００９８】最初の実験では、全てのアルゴリズムが全ての（正規化された）特徴に対して適用されて評価が行われた。 ここで、データベースの９０パーセントを用いて訓練が行われ、残りの１０パーセントを用いてテストが行われた。 そして、これが１０回繰り返され、各回毎に９０／１０パーセントの分け方が変えられた（これにより１０分割クロス確認が行われる）。 【００９９】以下の表２は、種々のアルゴリズムを用いた場合において、１０分割クロス確認で正しく分類された平均のパーセンテージを示したものである。 【０１００】 【表２】 【０１０１】この結果から非常に高い成功率（９２乃至９７パーセント）が得られていることが分かる。 これは、特定のアルゴリズムを用いた他のいかなる文献に記載された結果よりも高いものである。 しかしながら、アルゴリズム間の差は著しい。 すなわち、最もよい結果は“Adaboost”の決定木及び決定則（decision rules）であったが、それよりも１０パーセント低いものや（例えば最近傍識別（nearestneighbor）、ＲＢＦニューラルネット又はサポートベクターマシン。これらは他の研究でよく用いられている。）、２０パーセント低いもの（パーセプトロン群（Committees of perceptrons））

もあった。 このことは、前提知識或いは直観的な知識がないような問題を解決する場合には、多くの学習スキームを用いるべきであることを示している。 【０１０２】

特徴選択 この最初の実験が終了すると、次のステップはどのようにして特徴セットを減らすかということである。 これは、以下の３つの理由、すなわち、 １）特徴セットが小さいと般化性能がよくなると考えられる（前掲した「Witten and Frank, 2000」参照） ２）計算する特徴が少ない場合にはコンピュータを簡易化できる３）もし機械学習アルゴリズムで最も重要な特徴が伝統的に心理音響学の文献で出されているものであれば興味のあることであるという理由による。 【０１０３】特徴を探索する第１の方法は、決定則（Ｐ

ＡＲＴ）のような学習スキームの結果を見ることである。 これは、知識発見（knowledge discovery）装置としてよく用いられている。 【０１０４】本件出願人が作成しテストした特定のルール選択及びパラメータは、以下のようなものである。 例１ If MEDIANINTENSITYLOW＞0.48 且つMINMINIMASPITCH＜＝0.07 且つTHIRDQUARTINTENSITY＞0.42 ＝＝＞平静ELSE If MEANINTENSITYLOW＜＝0.58 且つMEDIANINTENSITYLOW＜＝0.29 ＝＝＞怒りELSE If THIRDQUARTINTENSITYLOW＞0.48 ＝＝＞悲しみELSE ＝＝＞喜び（記号“＜＝”は、未満又はイコールを意味する） 【０１０５】なお、全ての数値は正規化されている。 【０１０６】上述のアルゴリズムで表された変数の定義は、以下の通りである。 −MEDIANINTENSITYLOW：ローパスフィルタ処理後の信号の強度値の系列における中間値−MINMINIMASPITCH：ローパスフィルタ処理を行っていない信号のピッチの最小値の系列における値が最も小さな最小値−THIRDQUARTINTENSITY：ローパスフィルタ処理を行っていない信号の強度値の系列における第３の四分位数値−MEANINTENSITYLOW：ローパスフィルタ処理後の信号の強度値の系列における平均値−THIRDQUARTINTENSITYLOW：ローパスフィルタ処理後の信号の強度値の系列における第３の四分位数値【０１０７】これらの４つの極めて単純な規則により、

話者２のデータベースについて般化による分類で９４パーセントという非常に高いパーセンテージが得られている。 驚くべき事実として、ローパスフィルタ処理された信号の強度に関連する特徴が繰り返し用いられている。 【０１０８】異なる話者／言語について最適の性能を得るために、違ったルールセットを適用することも可能である。 与えられた話者／言語について適切なルールセットは、実験的に選択される。 【０１０９】特徴セットの他の観点は、視覚的に得ることができる。 そのような視覚化の一例をＦＩＧ.７ａ−

７ｃに示す。 このＦＩＧ.７ａ−７ｃは、それぞれ上述した１６０個の特徴から選ばれた特徴ｉ，ｊ，ｋについて測定を行った例を示したものである。 それぞれのラインには長方形のボックス４８ａ−４８ｃ内の空間が定義されており、その内部に数多くの点がプロットされている。 プロットされた各点は、データベース８の音声サンプルに対応する。 また、その点の位置は、その特徴についての関連する測定値に対応する（水平方向に変化する）。 さらに、プロットされたサンプルに対応する感情は、点が「平静」、×印が「悲しみ」、棒線が「怒り」、丸印が「喜び」を表す記号として表されている。

なお、完全な実験では、各特徴につき１つずつで合計１

６０個のラインが生成される。 【０１１０】ＦＩＧ.７ａでは、特定された感情サンプルが全くでたらめに分布しており、生成された特徴ｉ

は、感情を識別する指標となり得ない。 このような分布は、ローパスフィルタ処理されていない音声信号から抽出された特徴の場合によく見られる。 【０１１１】ＦＩＧ.７ｂでは、特定された感情サンプルがより集合して分布しており、生成された特徴は、感情を識別する指標になる可能性がある。 しかしながら、

隣接する集合が若干オーバーラップしている。 このような分布は、ローパスフィルタ処理された音声信号から抽出された特徴の場合によく見られる。 なお、この実験におけるカットオフ周波数（ｆ０）は、２５０Ｈｚである。 【０１１２】最後にＦＩＧ.７ｃでは、特定された感情サンプルがよく集合しているのみならず、それらが空の領域によって分離されている。 このような結果は、その強度がローパスフィルタ処理されたような音声信号から抽出された特徴の場合に得られる。 【０１１３】なお、雑然となるのを避けるために、図では代表的な音声サンプルのみをプロットしている。 【０１１４】強度がローパスフィルタ処理された音声信号について得られた結果は、異なる話者についても確認された。 【０１１５】実験では、感情サンプルをよく集合させ、

それを少なくとも何らかの空領域で隔てるような６個の特徴が特徴グループから選択された。 【０１１６】一般的には、強度がローパスフィルタ処理された音声信号について、以下の特徴、すなわち、 −四分位数、特に第１及び第３の四分位数、 −最大値、 −最小値、及び−平均値を考慮することで、最もよい結果が得られる。 【０１１７】反対に、ローパスフィルタ処理された音声信号の傾きの分散或いは平均値といった特徴では、最も確実でない結果しか得られなかった。 【０１１８】強度をローパスフィルタ処理することが感情の区別に非常に重要であるという本件出願人の直感を確認するために、データベース８のサンプルからの特定された感情をプロットした図をＦＩＧ.８ａ及び８ｂに示す。 これらのプロットでは、感情をよく識別することのできる２つの特徴が、直交する軸のそれぞれで表されている。 すなわち、強度についての第１の四分位数が垂直な（縦座標）軸に分布し、強度についての第３の四分位数が水平な軸（横座標）に分布している。 ここで、４

つの感情を表すための記号は、ＦＩＧ.７ａ−７ｃと同様である。 また、同様にに雑然となるのを避けるために、代表的な音声サンプルのみをプロットしている。 【０１１９】ＦＩＧ.８ａのプロットは、データベースの音声サンプルからローパスフィルタ処理を行わないで生成されたものである。 一方、ＦＩＧ.８ｂのプロットは、同じ音声サンプルではあるが、ＦＩＧ.３のローパスフィルタ１８を用いて、２５０Ｈｚのカットオフ周波数でローパスフィルタ処理を行って生成されたものである。 どちらの場合の音声サンプルも同じ話者（話者２）

から得られている。 なお、同様の際だった効果が第１の話者についても得られているが、面白いことに、その集合は同じ場所に位置していない（「怒り」と「喜び」

は、９０度回転している）。 これは、当初予測していた通り、話者によって非常に差異があることを示したものである。 しかしながら、いくつかの特徴については、各話者で非常に安定している。 【０１２０】ここで、個々の特徴の相関や寄与を定量化するために、予測される情報ゲイン、又はクラスと寄与との間の相互情報という、データマイニングの文献でよく用いられている測定値がある。 これは、エントロピーＨ（クラス）とエントロピーＨ（クラス｜寄与）との差に相当する。 以下の表３は、最も寄与が大きかった２０

個を情報ゲインに従って並べたものである。 【０１２１】 【表３】 【０１２２】この表から、ローパスフィルタ処理された信号の強度分布についての最初の６個のセットに関する特徴が大きな値を示していることが確認できる。 また、

他の驚くべき点も示されている。 すなわち、それぞれ有益な２０個の特徴のうち、心理音響学の研究（Murray

E., Arnott JL, (1995) "Implementation and testin

g of a system for producing emotion-by-rule in syn

thetic speech", Speech Communication, 16(4), pp.36

9-390; Sendlmeier and Burkhardt 2000 前掲;Stevens

and Williams 1972 前掲）で提案されていた標準セットに含まれていたもの、又は実用研究（Slaney et al. 19

98 前掲、Breazal 2000 前掲）で用いられていたものは、３個（表における特徴１２，１６，２０）のみであった。 【０１２３】それにも関わらず、特徴の個々の顕著性はそれほど興味のあることではない。 特徴の組み合わせによって上手くいくことが少なくないからである。 したがって、最初の実験において、本件出願人は、ローパスフィルタ処理された信号の強度に関連する特徴１乃至６のみを含む特徴セット（ＬＰＦ）を、文献「Breazal 200

0」又は文献「Slaney et al. 1998」で用いられている標準特徴（ＳＦ）、すなわち、 １）平均値、 ２）最小値、 ３）最大値、 ４）最大値−最小値、 ５）ローパスフィルタ処理されていない信号のピッチの分散、 ６）ローパスフィルタ処理されていない信号の強度、及び７）音節要素の平均長で構成される特徴セットと比較した。 （時々用いられることがあるように、震え（jitter and tremor）を加えると、結果は同様なものである。） 【０１２４】以下の表４は、これらの実験をまとめたものである（各数値は、１０分割クロス確認で正しく分類された平均のパーセンテージに対応する）。 【０１２５】 【表４】 【０１２６】上述の略号は、以下の通りである。 すなわち、(LPF)sp.1は、話者１の音声サンプルをローパスフィルタ処理した信号を示し、(LPF)sp.2は、話者２の音声サンプルをローパスフィルタ処理した信号を示す。 また、(SF)sp.1は、話者１の音声サンプルをローパスフィルタ処理していない標準的な信号を示し、(SF)sp.2は、

話者２の音声サンプルをローパスフィルタ処理していない標準的な信号を示す。 【０１２７】この表から分かるように、強度をローパスフィルタで処理した信号の四分位数を用いるのみで、従来用いられてきた特徴の組み合わせよりも性能がよくなる。 【０１２８】また、本件出願人は、非常の効率的な小さな特徴セットを見つけるために、遺伝的アルゴリズムの使用に基づく自動探索方法を実行した。 すなわち、特徴集合（３０個までに限定される）を生成し、適応度として２つのアルゴリズム、すなわちナイーブベイズ法（Na

ive Bayes）及び５最近傍識別（主として訓練が容易であるために選択した）を用いて１０分割クロス確認を行った。 なお、遺伝的アルゴリズムは、正確には文献「Go

ldberg,DE (1989) "Genetic algorithms insearch,op

timization and machine learning",MA: Addison-Wesle

y」に記載されている単純なものである。 【０１２９】この実験の結果は、明白なものではなかった。 つまり、選択された特徴セットの中には、ローパスフィルタ処理した信号の強度の四分位数に関連する特徴やピッチの四分位数に関連する特徴もあれば、比較的個々の情報ゲインが小さい特徴、すなわちローパスフィルタ処理されていない平滑化された強度曲線の極小値の四分位数に関連する特徴もあった。 【０１３０】また、機械学習アルゴリズムでは、どのように測定しても、分布の分散や範囲に関連する特徴が常に無視される傾向にある。 【０１３１】最後に、全ての学習アルゴリズムについてこれらの１５個の特徴を用いた実験が行われた（ローパスフィルタ処理した信号の強度の最大値、最小値、中間値、第３の四分位数及び第１の四分位数、ローパスフィルタ処理していない信号のピッチ及び最小値）。 【０１３２】この結果を以下の表５に示す。 【０１３３】 【表５】 【０１３４】表から分かるように、得られた結果は、最初に得られた最もよい結果と非常に似たものであるが、

１０分の１以下の特徴しか用いていない。 さらに面白いことに、学習スキーム間の差は、あまり重要でなく、以前に結果の悪かった最近傍識別やナイーブベイズのようなアルゴリズムも、今回は満足のいく結果が得られている。 【０１３５】

僅かなサンプル例しか入手できない場合 前節では、大規模な訓練用データベースを用いており、

これは特徴及びアルゴリズム空間を探索するのに最適である。 しかしながら、話者依存タスクを扱っている場合、これを現実世界の例えばペット型ロボットに直接適用することはできない。 実際、人間の幼児や現実のペットの場合には起こり得ることであるが、そのようなペット型ロボットの飼い主が数百もの教師サンプルを与え、

基本感情表現を認識する方法を教えるような状況は想像し得ない。 実際、人間は、それほどの長い時間、ペット型ロボットと共に過ごそうとはしない。 【０１３６】したがって、僅かな訓練サンプルしかない場合にどのような結果になるのかという疑問は自然なものである。 【０１３７】このため、本件出願人は、先に与えられた“最適な”特徴セットを用いるものの、各アルゴリズムに対して各クラスにつき１２個のサンプルのみを用いて実験を行った。 なお、データベースの残りのアイテムでアルゴリズムのテストが行われた。 【０１３８】この実験は、それぞれ別の１２サンプルを用いて３０回繰り返され、その結果は平均化された（標準偏差はかなり低く、典型的には１．１程度であった）。 【０１３９】以下の表６は、この実験をまとめたものである。 【０１４０】 【表６】 【０１４１】表から分かるように、アルゴリズムの中には、ある程度の性能（一般的に約８５パーセント）を維持しているものもある。 例えば、非常に簡易なアルゴリズムである１最近傍識別やナイーブベイズである。 これらの結果は、前掲した文献「Breazal,2000」に記載されている結果に匹敵する（実際、僅かに優れている）ものである。 しかしながら、この場合の学習は、数人の女性の話者による大規模なデータベースを用いたオフラインでのものであった。 重要なことは、Breazalが、ペット型ロボットと相互作用するにはこのレベルの成功率で十分であるということを実験を行って示したことである。

また、Breazalは、現実世界で動くような大きな認識アークテクチャに組み込まれた場合に、どのようにしてこの結果を向上させるかを示した。 例えば、この認識モジュールをある種の感情慣性（２分の１秒で「喜び」から「怒り」に変化することは非常に稀である）のあるような人工的な辺縁系（lymbic）／感情システムと接続すると、何らかの追加情報が得られるか、又は結果に不確かさがあることをシステムが知ることができる。 この結果、ロボットは、例えば何が起こっているのか分からないということを示す態度を示す。 これにより、人間は、

より誇張されたイントネーションで発声を繰り返すようになる。 【０１４２】

研究全体の結論 上述の記載より、“現実の状況”のロボットの場合にそうであるように、僅かなサンプルしか与えられない場合であっても、正しい特徴セットを用いれば適度な性能が得られることが分かる。 【０１４３】そこで、目的となるのは、適切な性能レベル、可能であればそれ以上を維持しながら、測定数を減らすことである。 実際、学習アルゴリズムの中には、特に相関がない場合など、多数の測定を行うのに適さないものもある。 また、学習アルゴリズムの中には、構成タイプ（constructive type）のものもある。 それらは、

感情分類を行う開発者が読むことのできる所定数の規則を生成することができるため、興味のあるものである。

例えば、１つ又は２つのデータベースを用いて、単に選択された４つの値についてのみテストを行った多数の測定により、満足いく程度の結果が得られる学習アルゴリズムも存在する。 【０１４４】これにより、重要と思われるものを所定数識別することができる。 これらは、典型的にはローパスフィルタ処理された信号と結びつけられた信号の値である。 より具体的には、それは、その信号の強度の中間値が所定値（例えば２５．７５ｄＢ）よりも大きいか否かを示すものである。 【０１４５】ローパスフィルタ処理された信号の強度の種々の四分位数を学習アルゴリズムに与えるのみで実験が繰り返された。 測定の結果、最もよい学習アルゴリズムの成功率は、典型的には８０乃至８５％であった（完全な分析における９０乃至９５％に匹敵する）。 但し、

ピッチ分析を行っていないことから、その計算は非常に簡略化されている。 【０１４６】また、基礎となるデータとして、伝統的に文献で用いられている値を用いて、全ての値又はローパスフィルタ処理された信号強度と比較して実験が行われた。 この結果、既知の選択値である同じ基礎データを用いた場合の成功率は、７０乃至７５％である。 これは、

単にローパスフィルタ処理後の信号強度を用いる場合の結果よりも、１０％前後低いものである。 【０１４７】また、測定数を少なくすることと、その結果との最善の折衷案を求めるために、所定数の実験が行われた。 この実験は、例えば遺伝的アルゴリズムを用いて多数の測定グループを生成し、空間を解析するものであった。 結論としては、ローパスフィルタ処理後の信号強度の四分位数と、ピッチの四分位数と、通常の（ローパスフィルタ処理していない）信号の極小値の四分位数との組み合わせで得られる１５個のパラメータにより、

最もよい結果が得られた。 これらの成功率は、９０乃至９７％の範囲内にあり、１２０個のパラメータを一緒に用いた場合の成功率と同程度であった。 【０１４８】次の問題は、比較的少数の初期サンプルから、ロボットが比較的よく般化を行うことができるか否かを知ることである。 このため、各クラス１２個のサンプル（合計４８サンプル）のみをアルゴリズムに与え、

どの程度結果が変化するかを調べるために実験が行われた。 この結果、学習アルゴリズム間の差異は、より明白なものとなった。 しかしながら、依然として８５乃至９

０％の成功率を維持している学習アルゴリズムも幾つか存在する。 【０１４９】ここで、研究の一般的な結果をＦＩＧ.９

からＦＩＧ.１３の棒グラフに示す。 これらは、感情を正しく分類できるかという観点から、引用した全ての学習アルゴリズムを比較するものである。 なお、各アルゴリズムについて、データベース８の２人の話者に対応する２つの結果が示されている。 より具体的には、以下の通りである。 【０１５０】すなわち、ＦＩＧ.９は、ローパスフィルタ処理された信号の強度のみを用いて、初期サンプルから般化により正しく分類する性能を示したものである。

用いた特徴は、ローパスフィルタ処理（カットオフ周波数２５０Ｈｚ）された信号の強度である。 【０１５１】また、ＦＩＧ.１０は、いわゆる“Kisme

t”特徴（KismetはＭＩＴで開発されたシステムである）、すなわちピッチ＋強度＋長さ要素についての性能を示したものである。 【０１５２】また、ＦＩＧ.１１は、特徴の最もよい組み合わせ、すなわちローパスフィルタ処理された信号の強度＋ピッチ＋強度の最小値についての性能を示したものである。 【０１５３】また、ＦＩＧ.１２は、僅かなサンプルしか利用できない場合に、１２個／クラスの訓練サンプルに基づいて、般化により正しく分類する性能を示したものである。用いた特徴は、ローパスフィルタ処理された信号の強度＋ピッチ＋強度の最小値である。 【０１５４】そして、ＦＩＧ.１３は、上述した図のそれぞれについて、実験毎の最高スコアをまとめたものである。 【０１５５】

実用的な実装 ＦＩＧ.１４は、本発明の発見をどのようにして感情感応性システム６０に実装するかを概念的に示した図である。この感情感応性システム６０は、ペット型ロボット、ヒューマノイド、或いはインタラクティブコンピュータ等の一部とすることができる。典型的には、このシステムは、感情認識処理に必要となる全ての処理、データ格納、インターフェース機能を有するマイクロコンピュータの中心となる。これらのユニットはそれぞれ知られたものであり、当業者であればアプリケーションの必要性に応じて容易に適用することができるため、簡単のために図示を省略する。 【０１５６】システム６０は、感情を検出するための音声データを受けとる音響入力部を有する。この音声データは、２つのソースから得ることができる。すなわち、

現実の状況のように、周囲の音声を集音し、感情検出を行う近くの人物の発声を検出する内蔵マイクロホン６２

と、オーディオ接続器６４を介してシステム６０と接続されるデータベースとである。 このデータベースは、Ｆ

ＩＧ.３と同じものとすることもでき、それを適用させたものとすることもできる。 このようにして、システムは予め訓練され、調整され、特徴付けられる。 なお、この接続可能性は、ローパスフィルタ特性を含む、全ての内部音声処理パラメータを調整する際に有用である。 【０１５７】２つのソース６２又はソース８からの音声信号は、音響増幅処理ユニット６６に供給され、ここで信号レベルがシステムの電子機器に適応したものになる。 また、音響増幅処理ユニット６６は、マイクロホン６２を用いた場合に、暗騒音を最小とするノイズ削減段階を含んでもよい。 音響増幅処理ユニット６６の音響出力端子６８は、第１及び第２の経路Ｐ１及びＰ２に沿って、特徴抽出ユニット７０の２つのチャンネル入力端子ＩＣ１及びＩＣ２とそれぞれ接続される。 【０１５８】ここで、第１の経路Ｐ１には、音響出力端子６８と第１のチャンネル入力端子ＩＣ１との間に第１

のデジタルアナログ変換器（ＤＡＣ）７２が存在する。

第１のチャンネル入力端子ＩＣ１は、増幅され前処理されたデジタル形式の音声信号を単純に入力する。 【０１５９】一方、第２の経路Ｐ２には、ローパスフィルタ７４が存在し、その入力端子が音響出力端子６８と接続されている。 本具体例では、このローパスフィルタは、適切なカットオフ周波数を有する限り、ＦＩＧ.３

と同じものとすることができる。 典型的には、カットオフ周波数（Ｆｃｏ）は、０乃至２５０Ｈｚの範囲の周波数を通過させ、それ以降では急速に減衰するような値にデフォルトで設定される。 このカットオフ周波数は、カットオフ周波数選択器７６によって様々な値に設定することも可能である。 カットオフ周波数選択器７６は、異なったカットオフ周波数を生成するためにスライダーによって手動で制御可能とされ、及び／又は特徴化フェーズの間、最適な結果を得るための例えばフィードバックシステム内の内部制御回路によって電気的に調整される。 なお、システム６０を異なる話者、言語、環境、検出する種々の感情等に最適化するためには、このカットオフ周波数の調整が必要となる。 【０１６０】また、ローパスフィルタ７４は、さらに減衰変化制御装置７８を有する。 この減衰変化制御装置７

８は、周波数反応曲線（ＦＩＧ.４参照）の傾きを、例えばフィルタの次数を変えることによって変更し、ローパスフィルタ特性の最適化にさらなる自由度を与える。 【０１６１】しかしながら、ローパスフィルタ７４は可変でなくてもよく、傾きを調整できなくてもよい。 単純な実施例は、所定のカットオフ周波数、例えば２５０Ｈ

ｚに固定されたローパスフィルタで実現することができる。 【０１６２】ＦＩＧ.３のシステムについて言えば、ローパスフィルタ７４は、アナログ回路（受動的又は能動的）で、又はデジタルフィルタとして実現することができる。 後者の場合、ＤＡＣ８０は必ずしも必要でないが、デジタルローパスフィルタが独自のデジタルアナログ変換段階を有していない限り、同様のＤＡＣが入力部に設けられる。 実用的な実装では、ローパスフィルタ７

４及びその制御ユニット７６及び７８は、典型的には完全にデジタルなものであり、カットオフ周波数の選択を含むフィルタ特性の制御は、システム６０の中心にあるＰＣベース制御ユニットのインターフェースを介して行われる。 【０１６３】ローパスフィルタ７４から出力されたローパスフィルタ処理後の音声信号（図ではアナログ）は、

第２のアナログデジタル変換器８０に供給され、このアナログデジタル変換器８０により、適切にデジタル化されたローパスフィルタ処理後の信号が、特徴抽出ユニット７０の第２のチャンネル入力端子ＩＣ２に供給される。 【０１６４】この特徴抽出ユニット７０は、入力した音声信号により伝達される感情を検出する処理回路の第１

のリンクを構成する。 【０１６５】処理回路の第１の部分は特徴抽出ユニット７０を有し、この特徴抽出ユニット７０は、デジタル化された信号から選択した特徴を抽出するようにプログラムされている。 なお、特徴の一部は、本発明に従って、

ローパスフィルタ処理後の音声信号（チャンネル入力端子ＩＣ２）から抽出される。 【０１６６】特徴抽出ユニット７０は、ＦＩＧ.３の特徴測定ステーション３０と同様の方法で処理を行う。 特に、特徴抽出ユニット７０は、上述した１２０個の特徴から特徴セットを選択して抽出する。 すなわち、 ｉ）ローパスフィルタ処理後の信号強度（チャンネル入力端子ＩＣ２の信号に由来する）、 ii）ローパスフィルタ処理を行わない場合の信号強度（チャンネル入力端子ＩＣ１の信号に由来する）、及びiii）ローパスフィルタ処理を行わない場合の信号のピッチ（チャンネル入力端子ＩＣ１の信号に由来する）の組み合わせから特徴セットを選択して抽出する。 【０１６７】なお、上述した信号は、１０Ｈｚで平滑化されている。 【０１６８】そして、この記憶され１０Ｈｚで平滑化された信号から、上述の時間変化する３つの信号ｉ）乃至

iii）が計算される。 【０１６９】このように計算された信号ｉ）乃至iii）

のそれぞれは、例えば０．０１秒間隔でデジタル的にサンプリングされる。 なお、各サンプリングでは、強度（信号ｉ）及びii））又はピッチ（信号iii））の瞬間絶対値が得られる。 【０１７０】このようにして、サンプリングされた信号のそれぞれについて、連続したサンプル値が得られる。

フレーズが数秒間ある場合、このサンプル値は数百となる。 その連続したサンプル値は、その信号の最初の部分の値から始まって、時間軸に亘って記憶される。 したがって、連続したサンプル値により信号ｉ）、ii）又はii

i）の時間変化が表される。 【０１７１】そして、これらの３つ信号のそれぞれから得られた各シーケンス、すなわちローパスフィルタ処理後の強度、ローパスフィルタ処理を行わない場合の強度、及びローパスフィルタ処理を行わない場合のピッチについて、特徴抽出ユニット７０は、ＦＩＧ.３の特徴測定ステーション３０に関連して、上述した値の４つの系列、すなわち、 １）局所極小値の系列。 これは、そのシーケンスのうち極小値に対応する値を決定し、シーケンスの極小値のみからなる系列を構成することによる。 その系列は、その信号の最初の極小値から始まって、時間軸に亘って記憶される。 なお、シーケンスの極小値は、そのシーケンス内においてその直前直後の値よりも小さな値として特定される。 ２）局所極大値の系列。 これは、そのシーケンスのうち極大値に対応する値を決定し、シーケンスの極大値のみからなる系列を構成することによる。 その系列は、その信号の最初の極大値から始まって、時間軸に亘って記憶される。 なお、シーケンスの極大値は、そのシーケンス内においてその直前直後の値よりも大きな値として特定される。 ３）局所的な（隣接する）極値（極小値又は極大値）間の継続時間長（時間間隔）の系列（これは信号のリズムの様子をモデル化する）。 これは、シーケンス内で極小値又は極大値に対応する値を特定することによる。 すなわち、先ず上述の系列１）、２）のように隣接する値を比較する。 そして、特定された極値の時間位置を解析し、連続した極値の時間間隔を決定する。 これらの時間間隔は、その信号の最初の極値と次の極値との間隔から始まって、連続して求められ、時間間隔の系列が得られる。 ４）系列自身。 これは、サンプリングされた信号の最初から始まって、シーケンスの連続したサンプル値全てから系列を構成することによる。 を計算することができる。 【０１７２】そして、特徴抽出ユニットは、得られた３

×４（＝１２）個の系列について対応する特徴を生成するために、以下の１０種類、すなわち、 １）平均値２）最大値（すなわち全体で最も大きな値） ３）最小値（すなわち全体で最も大きな値） ４）最大値と最小値との差５）分散６）中間値７）第１の四分位数８）第３の四分位数９）第３の四分位数と第１の四分位数との差で定義される四分位数間範囲１０）局所微分の絶対値の平均値の統計処理を行う。 【０１７３】通常、上述した統計的特徴の中には、特に第１の四分位数、中間値及び第３の四分位数を求めるために、時間軸上の系列を昇順の系列へと、系列の値を並べ替えるものもある。 【０１７４】なお、これらの統計的特徴を計算する前に、全てのデータは予め正規化されている。 【０１７５】この１２０個の特徴のどれを抽出するかは、用いるアルゴリズムに依存し、これはプログラム可能である。 実施例では、特徴抽出ユニット７０は、要求に応じて任意の数の特徴を抽出できるようにプログラムされている。 なお、少なくとも１つの特徴は、感情認識を行う音声信号をローパスフィルタ処理した後の強度に由来する。 【０１７６】具体例として、上述した１０種類の統計的特徴の中から以下の５種類の統計的特徴、すなわち、 −第１の四分位数、 −中間値、 −第３の四分位数、 −最大値、及び−最小値の少なくとも１つを抽出するように、特徴抽出ユニット７０をプログラムすることができる。 【０１７７】ここで、上述した信号ｉ）、ii）及びii

i）の少なくとも１つ又はその組み合わせから上述の抽出が行われ、感情を検出する各音声信号について、特徴抽出ユニット７０によって最大１５個の特徴が抽出される。 なお、少なくとも１つの特徴は、ローパスフィルタ処理された信号の強度から抽出される。 【０１７８】また、特徴抽出ユニット７０が、ローパスフィルタ処理後の音声信号から抽出されたピッチ信号から、上述の１乃至１０の任意の特徴を抽出できるように、追加的にプログラムすることも可能である。 この場合、ローパスフィルタ処理後のピッチについて、上述と同様の１乃至４の系列が得られ、それぞれから上述の１

乃至１０の統計的特徴が得られる。 このように、特徴抽出ユニット７０は、ローパスフィルタ７４によるローパスフィルタ処理後のピッチ信号から、最大で４×１０＝

４０個の任意の数の統計的特徴を抽出するように、さらにプログラムすることができる。 【０１７９】また、特徴抽出ユニット７０は、例えば上述した表３の最初の６つの特徴の少なくとも１つに対応する少数の統計的特徴、すなわち、 １：サンプリングされたローパスフィルタ処理後の信号強度の中間値、 ２：ローパスフィルタ処理後の信号強度の平均値、 ３：サンプリングされたローパスフィルタ処理後の信号強度の系列の第３の四分位数、 ４：サンプリングされたローパスフィルタ処理後の信号強度の系列の第１の四分位数、 ５：サンプリングされたローパスフィルタ処理後の信号強度の系列の最大値、及び６：サンプリングされたローパスフィルタ処理後の信号強度の系列の最小値を抽出するようにプログラムすることも可能である。 【０１８０】さらに、上述した信号ｉ）、ii）及びii

i）、及び場合によってはローパスフィルタ処理後のピッチ信号が、それぞれ例えば１０Ｈｚ（又は他の値）で平滑化されるようにプログラムすることもできる。 なお、平滑化を行わなくても構わない。 【０１８１】抽出された特徴は、データロガー８２に一時的に格納され、他の機能ユニットがその特徴にアクセスする。 【０１８２】ここで、感情感応性システム６０は、２種類のモード、すなわちオフライン訓練感情認識及びオンライン訓練感情認識の何れかを選択して処理するように設計することができる。 【０１８３】オフライン訓練モードでは、例えばＦＩ

Ｇ.３の評価システムを用いて、装置外で感情を検出する訓練が行われる。 この場合、ＦＩＧ.３のプログラムユニットＰＵによって、すぐに用いることのできる完全な感情検出アルゴリズムが準備される。 この感情認識では、そのパラメータ及びプログラムを固定としてもよく（閉じたアルゴリズム）、また、誤りを修正するため、

又は感情認識をコーチするためのユーザのフィードバックに基づいて、パラメータ及びプラグラムをある程度更新可能としてもよい。 【０１８４】一方、オンライン訓練モードでは、感情認識アルゴリズムの初期設定は存在しない。 その代わり、

特徴抽出ユニット７０及びユーザのフィードバックから抽出された特徴を解析する教師アルゴリズム、又は検出すべき感情を示すユーザの指示が与えられる。 この入力から、教師アルゴリズムは、特定のオンライン感情認識アルゴリズムを作成し、ユーザの入力及びフィードバックが増加するにつれて、それが随時変更され、更新され、改善される。 【０１８５】ＦＩＧ.１４では、これら２つのモードのそれぞれについて機能ユニットを辿る経路が存在する。

すなわち、オフラインモード及びオンラインモードについて、それぞれＯＦＦ−Ｌ及びＯＮ−Ｌが存在する。 【０１８６】オフラインモードについては、上述したオフライン感情認識アルゴリズムユニット８４が存在する。 このオフライン感情認識アルゴリズムユニット８４

は、特徴抽出ユニット７０により抽出され、パラメータ及びプログラムに従ってデータロガー８２に存在する特徴を入力し、所定の設定に従って、これらの抽出された特徴から感情を検出する。 なお、このモードでは、音声信号は、通常マイクロホン６２のみから供給される。 【０１８７】一方、オンライン訓練モードについては、

先ず抽出した特徴を格納するデータベース８６が存在し、学習アルゴリズムユニット８８によって、このデータベース８６から様々な特徴が選択される。 このため、

データベース８６はデータロガー８２と接続され、抽出された特徴全てを格納し、抽出された特徴の集合を生成することが可能とされている。 また、学習アルゴリズムユニット８６から特徴抽出ユニット７０へのフィードバック（ループＦＬ１）によって、特徴抽出ユニット７０

は、最適な感情検出アルゴリズムを得るための新たな要求を満たすために、新たな特徴に変え、又は新たな特徴を選択することできるようになる。 なお、教師アルゴリズムユニット８８は、種々の感情を伴った音声メッセージをユーザに入力可能とするプログラムを有してもよく、例えばデータベース８といった音声データベースから受け取ったデータと結びつけられていてもよい。 【０１８８】ここで、教師アルゴリズムユニット８６が要求されたオンライン感情認識アルゴリズムを作成すると、そのオンライン感情認識アルゴリズムは、オンライン感情認識アルゴリズムユニット９０にロードされる。

そして、オンライン感情認識アルゴリズムユニット９０

は、オフライン感情認識アルゴリズムユニット８４と同様の感情認識処理を実行する。 但し、その感情認識処理は、内部的に生成され、ユーザといった特定の話者に特に適合したものである。 【０１８９】感情検出アルゴリズムユニット８４，９０

の何れかで検出される感情タイプは、前述した通り、

「平静」、「悲しみ」、「喜び」、「怒り」である。 なお、他の感情に対応させてもよいことは勿論である。 【０１９０】オフライン処理を行うかオンライン処理を行うかの選択は、選択器９２が行う。 この選択器９２

は、感情検出アルゴリズム８４又は感情検出アルゴリズム９０の何れから検出された感情を取り出すかを選択する。 なお、この選択は、外部からのユーザ入力信号９４

を介して行われる。 【０１９１】ここで、通常、以下のような変更が可能である。 すなわち、−システム６０は、オフライン感情認識アルゴリズム８４のみを有する。 このオフライン感情認識アルゴリズム８４は、完全に固定であり、又はフィードバックに対応してある程度適応化できる。 −システムは、オンライン感情アルゴリズムシステムのみを有する。 このオンライン感情アルゴリズムシステムは、教師アルゴリズムと、後者（ユニット８６乃至９０）によって作成されたオンライン感情認識アルゴリズムとで構成される。 【０１９２】ＦＩＧ.３のプログラムユニットＰＵは、

要求された情報及びコードを種々の機能ユニットに供給することができる。 このことは、プログラミングインターフェースＰＩを介して実現される。 特に、プログラムユニットＰＵ及びそのインターフェースＰＩは、追加サンプル又は相補データとするためにデータベース８６に特徴を供給すると共に、特徴抽出ユニット７０をプログラムし、オフライン感情認識アルゴリズム（ユニット８

４）及び／又は教師アルゴリズム（ユニット８８）をロードさせる。 【０１９３】オフライン感情認識アルゴリズムユニット８４又はオンライン感情認識アルゴリズムユニット９０

の一方又は他方からの出力は、検出感情入力ユニット９

４に供給され、ここで認識された感情が確認される。 そして、全ての感情反応を制御するために、検出された感情は、検出感情入力ユニット９４から感情反応ユニット９６に供給される。 例えばペット型ロボットの場合には、この感情反応ユニット９６は、適切な反応を模すために、種々の電気機械アクチュエータ、光及び音響装置の処理を制御する。 【０１９４】また、反応の１つとしては、人間のユーザ９８、又は制御する人間若しくは装置に検出した情報を示すために、フィードバックを行うことが挙げられる。

これは、検出された感情を示す視覚的、聴覚的、電気的又は機械的な信号を伝達する検出感情指示器１００によって実現することができる。 これにより、正しく同定できたか否かをチェックし、適切に修正測定を行うことが可能となる。 【０１９５】特に、これにより、ユーザ９８は、フィードバック反応ユニット１０２にフィードバック反応を返すことができる。 このフィードバック反応ユニット１０

２は、関連する種々のユニット、例えばオフライン感情認識アルゴリズムユニット８４（柔軟性がある場合）、

教師アルゴリズムユニット８８及びオンライン感情認識アルゴリズムユニット９０に対する適切なフィードバックメッセージを生成する。 【０１９６】以上の記載より、信号から抽出され、その少なくとも１つがローパスフィルタ処理後の信号から抽出された特徴の種々の組み合わせによって、本発明が実現されることは明らかである。 【０１９７】これらの特徴に基づく感情アルゴリズムは、実験的な基礎の下に選択される。 この明細書で引用したアルゴリズムは、その目的に沿う多くのアルゴリズムの１つである。 したがって、教師アルゴリズムと感情検出アルゴリズムとについて、他のアルゴリズムを用いても本発明を実現することができる。

【図面の簡単な説明】 【図１】ＦＩＧ.１は、力価及び奮起を表す直角軸において基本感情が何処に位置するかを示す図である。 【図２】ＦＩＧ.２ａ，２ｂ及び２ｃは、音声信号（Ｆ
ＩＧ.２ａ）、ピッチ（ＦＩＧ.２ｂ）及び強度（ＦＩ
Ｇ.２ｃ）の間の関係を示す信号波形の図である。 【図３】ＦＩＧ.３は、感情を検出する音響信号のローパスフィルタ処理を用いた本発明に係る感情検出アプローチを評価し、特徴付け、最適化するシステムを示すブロック図である。 【図４】ＦＩＧ.４は、ローパスフィルタ反応曲線の典型的な曲線及び理想的な曲線を示す図である。 【図５】ＦＩＧ.５は、ＦＩＧ.３のシステムで用いられる調整可能なカットオフ周波数の反応を示す曲線群を表す図である。 【図６】ＦＩＧ.６は、考慮した信号特徴がどのように由来しているかを示すサンプル信号波形（信号強度対時間）を表す図である。 【図７】ＦＩＧ.７ａ，７ｂ及び７ｃは、感情検出のために種々に抽出された信号特徴に関して分析した場合における音声サンプルの分布を示す図であり、それぞれ情報性の悪い特徴、よい特徴、及びさらによい特徴を用いた場合を示す。 【図８】ＦＩＧ.８ａ及び８ｂは、データ点のグループ特性の観点で正しく感情が検出された度合いを示す、第１及び第３の四分位数によって検出された感情の分布を示す図であり、それぞれローパスフィルタ処理していない信号についての結果とカットオフ周波数２５０Ｈｚでローパスフィルタ処理された信号についての結果とを示す。 【図９】ＦＩＧ.９は、種々の状況下で信号特徴を様々に選択して感情検出を行った複数のアルゴリズムの性能を示す図である。 【図１０】ＦＩＧ.１０は、種々の状況下で信号特徴を様々に選択して感情検出を行った複数のアルゴリズムの性能を示す図である。 【図１１】ＦＩＧ.１１は、種々の状況下で信号特徴を様々に選択して感情検出を行った複数のアルゴリズムの性能を示す図である。 【図１２】ＦＩＧ.１２は、種々の状況下で信号特徴を様々に選択して感情検出を行った複数のアルゴリズムの性能を示す図である。 【図１３】ＦＩＧ.１３は、種々の状況下で信号特徴を様々に選択して感情検出を行った複数のアルゴリズムの性能を示す図である。 【図１４】ＦＩＧ.１４は、本発明に従って音声信号のローパスフィルタ処理を行う感情感応性システムを示すブロック図である。