【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は感情変換装置に関し、特に、人間の音声に含まれる感情に反応して動作するコンピュータキャラクタの構成法に関するものであり、応用分野として、人間にとって使い易いコンピュータを作り出そうとするヒューマンインタフェースの分野や、人間とインタラクションできる機械を用いて娯楽を提供しようとするアミューズメント，エンタティメントの分野さらには人間とインタラクションできる新しいアートを創造しようとするインタラクティブアートの分野などに用いられるような感情変換装置に関する。

【０００２】

【従来の技術】人間のように振る舞い、人間とインタラクションできる機械を作り出そうというのは人間の長い間の夢であった。 昔からからくり人形，操り人形などの形でそれを実現する技術が追求されてきた。 現代に入ってロボットの概念が導入されるとともに、それはさらに現実味を帯びてきた。 日本における「鉄腕アトム」はその代表例であろう。

【０００３】１９７０年代から、コンピュータ科学の分野で人工知能の研究が盛んになってきたのも、この夢を実現しようとする意欲の現れである。 人工知能の分野では、人間の知能をソフトウェア／ハードウェアで代行させることを狙っている。 そして、そのようなソフトウェア／ハードウェアをコンピュータに組込むことによって、人間にとって使い易いコンピュータを作り出すことを狙っている。

【０００４】これらの研究の結果、人間とインタラクションするための基本機能が開発されつつある。 しかしながら、それと同時に、技術の発展とともに人間同士のコミュニケーションやインタラクションでは感情のやり取りが基本的な機能を果たしていることが認識され始めた。 その結果、人間とインタラクションできるコンピュータキャラクタに感情の認識機能を持たせようとする研究が開始され始めた。 その一例として、「音声に反応する表情合成システム「ニューロベビー」（情報処理学会第４４回（平成４年前期）全国大会４Ｎ−９）」に発表されたものがある。

【０００５】図５は上述の文献に記載された構成を示す図である。 このシステムは、人間の音声に含まれる感情を認識する感情認識部１と、認識された感情に対応するキャラクタの反応を生成する反応パターン生成部２とから構成されている。 そして、このシステムは、入力音声が感情認識部１に入力され、感情の認識が行なわれる。
次に認識された感情（以下、認識感情と称する）が反応パターン生成部２に与えられる。 反応パターン生成部２
では、認識感情の個々に応じて予め生成すべき反応パターンが設定されている。 この反応パターンは、たとえば人間が話しかけたときそれに反応するコンピュータキャラクタの顔の表情パターンであったり、動作パターンであったりする。 認識感情が入力されると、反応パターン生成部２では、このような反応パターンがコンピュータグラフィックス技術などを用いて生成される。 生成された結果はディスプレイなどに表示される。 したがって、
たとえばユーザがコンピュータのディスプレイに表示されているキャラクタに話しかけると、声に含まれる感情が認識され、感情に応じてコンピュータキャラクタの反応パターンが変化するので、ユーザはコンピュータキャラクタとのインタラクションを楽しむことができる。

【０００６】

【発明が解決しようとする課題】上述のシステムは、人間と感情でのインタラクションが可能なコンピュータキャラクタの開発という意味では意義があるが、以下に述べるような欠点があった。 すなわち、感情認識結果（認識感情）が直接１対１に反応パターンに対応付けられていることにある。 このような手段を取っているため、同じ感情に対しはキャラクタは同じ反応パターンでしか反応しない。 すなわち、同じ調子の話しかけに対しては同じ反応しか返ってこないため、インタラクションが単調になる。 その結果としてユーザがすぐにこのようなキャラクタとインタラクションすることに飽きてしまうという欠点がある。 このことは人間同士のコミュニケーションを例に取って考えるとわかりやすい。 人間同士の場合は同じ感情で話しかけても、場合によって異なる反応が返ってくる。 これはコミュニケーションの状況や話しかけられた相手の性格によって反応が異なるからである。
別の言葉で言えば、場合によって異なる反応が返ってくることが人間同士のコミュニケーションを人間らしくしている理由である。

【０００７】これに対して、従来の技術はいわば認識結果を単にキャラクタの表情の形で表示しているにすぎない。 したがって、人間とのインタラクションが可能なキャラクタの感情反応機能としては不十分なレベルに留まっていた。

【０００８】それゆえに、この発明の主たる目的は、人間と同様に状況に応じた応答パターンを生成できるような感情変換装置を提供することである。

【０００９】

【課題を解決するための手段】請求項１に係る発明は、
入力された音声を感情に変換する感情変換装置であって、入力された音声に含まれる感情を認識する感情認識手段と、認識された認識感情をそれと同一かもしくは異なる空間配置を有する応答感情に変換する感情変換手段と、応答感情に対応した反応パターンを生成する反応パターン生成手段とを備えて構成される。

【００１０】請求項２に係る発明では、請求項１の感情変換手段は、学習機能を有する写像関数を有し、認識感情を応答感情に写像する。

【００１１】請求項３に係る発明では、請求項１の感情変換手段は、乱数を発生して認識感情を応答感情に不確定に写像する。

【００１２】請求項４に係る発明では、請求項１の感情認識手段は、入力された音声からその特徴量を抽出する特徴抽出手段と、抽出された特徴量から感情を識別するための感情識別手段とを含む。

【００１３】

【発明の実施の形態】図１はこの発明の一実施形態の概略ブロック図であり、図２は図１に示した感情認識部の具体例を示すブロック図である。

【００１４】図１において、前述の図５に示した感情認識部１と反応パターン生成部２との間に感情変換部３が新たに設けられる。 感情認識部１は図２に示すように、
音声特徴抽出部１１と感情識別部１２とから構成される。 音声特徴抽出部１１は入力音声からその特徴量を抽出する。 音声の特徴量としては、種々のものが考えられるが、要するに感情を認識しやすい特徴量を用いればよい。 たとえば、その一例として前述の文献に述べられている特徴を用いる方式が考えられる。

【００１５】音声特徴抽出部１１で抽出された音声特徴は感情識別部１２に入力され、感情が認識される。 感情認識の方法としては種々考えられる。 その一例として、
上述の文献ではニューラルネットを用いる方法が提案されている。 この他にも隠れマルコフモデルを用いる方法も考えられる。 要するに、感情の認識が可能な適当な手法を用いればよいわけであって、特に限定されるものではない。 認識された感情をＥとし、予め定められた感情をＮ個とすると、ＥはＮ個の実数値よりなるベクトル Ｅ＝（ｅ ₁ ，ｅ ₂ ，…，ｅ _N ） として表現される。

【００１６】上述のＥは図１に示した感情変換部３に与えられる。 感情変換部３はＥを反応感情Ｒに変換する機能を持ち、この発明の特徴部分となる。 Ｅが入力音声に含まれる感情、すなわちコンピュータキャラクタに話しかける人間の音声に含まれる感情であるのに対し、Ｒはそれを聞いたコンピュータキャラクタが感じる感情であるということができる。 Ｅから直接キャラクタの反応パターンを生成する従来の技術に比較して、ＥをＲに変換してから反応パターンを生成することは、人間が相手の感情を受取ることによって自分自身の感情を生成する仕組みを模擬しており、より人間同士のコミュニケーションに近い状況を実現していることになる。

【００１７】感情変換部３の具体例として、学習機能を有する写像関数を有し、認識感情を応答感情に写像することが考えられる。 その変換関数は予め与えられた学習データを用いて学習データにチューンする機能を持つものとする。 このような機能を持つ変換関数は種々考えられるが、一例としてニューラルネットを用いる方式が考えられる。

【００１８】図３はそのようなニューラルネットを示すブロック図である。 図３において、入力部３１にＥが与えられると、ニューラルネット３２を通すことによって、出力部３３にＲが得られる。 ＲはＭ個の実数値よりなるベクトル Ｒ＝（ｒ ₁ ，ｒ ₂ ，…，ｒ _M ） として表現される。 ニューラルネット３２の各枝の重みは予め学習データを用いた学習によって学習データにチューンさせておく。

【００１９】次に、感情変換部３に学習を行なわせる効果について説明する。 先に述べたように、人間は相手の感情そのものに対応した反応をするのではなく、相手の感情によって自分の内部に生じた感情に基づいて反応するわけであり、それが人間らしいコミュニケーションの基礎となっている。 したがって、そのような状況を踏まえた学習データの組（Ｅ ₁ ，Ｒ ₁ ），（Ｅ ₂ ，Ｒ ₂ ），
…を予め用意しておけばよい。

【００２０】具体的には、たとえば人間同士のコミュニケーションの様子を観察しておき、ある話者が感情Ｅ _i
を表出したとき、それに応じて相手が表出した感情Ｒ _i
によって１組の（Ｅ _i ，Ｒ _i ）が求められる。 当然、これは話者の個性，人種，さらには話の内容によって異なると考えられるため、実際にコンピュータキャラクタが用いられる場面に応じた学習データを用意しておくことによって、種々の状況に適したコンピュータキャラクタの反応を決定することができる。

【００２１】図４は感情変換部のその他の例を示すブロック図である。 図４において、感情変換部３０は入力部３４と乱数発生部３５とランダム変換部３６と出力部３
７とから構成される。 乱数発生部３５は乱数を生成するものであって、入力部３４にＥが与えられると、乱数発生部３４で生成された乱数を用いて、ランダム変換部３
６はＥをＲにランダムに変換する。 このような機能を有することによって、認識感情が常に一意に反応感情に対応付けられるのではなくランダムに変化するため、人間から見ると常に反応パターンが変化しているように見え、機械的な対応をしているという感覚を持つことがなくなるという利点がある。

【００２２】図１に示した反応パターン生成部２は反応感情Ｒに基づいて、コンピュータキャラクタの表情，動作などの反応パターンをコンピュータグラフィックスなどの手法を用いて生成する。 その具体的な手法は種々考えられるが、一例として反応感情ｒ ₁ ，ｒ ₂ ，ｒ ₃ ，
…，ｒ _Mのそれぞれに対応して典型的な反応パターンｐ
₁ ，ｐ ₂ ，ｐ ₃ ，…，ｐ _Mを用意しておくことが考えられる。 具体的な生成方法としては、ｒ ₁ ，ｒ ₂ ，ｒ ₃ ，
…，ｒ _Mの最大値ｒ _iを求め、それに対応したｐ _iをキャラクタの反応パターンとして表示する方式や、ｒ ₁ ，
ｒ ₂ ，ｒ ₃ ，…，ｒ _Mの実数値をそのまま用いて、
ｐ ₁ ，ｐ ₂ ，ｐ ₃ ，…，ｐ _Mの補間を行ない、求められた反応パターンを表示する方式などが考えられる。 要は、Ｒに基づいてコンピュータキャラクタの反応パターンを生成できればよい。

【００２３】また、この発明では、認識感情をそのまま反応感情とするようにしてもよい。 これは、Ｎ＝Ｍとし、かつ常にｅ _iがｒ _iに対応するように設定すればいいわけであって、これらはニューラルネットの機能の中に含まれる。

【００２４】

【発明の効果】以上のように、この発明によれば、入力された音声に含まれる感情を認識した後、コンピュータキャラクタの反応感情に変換し、その結果によって反応パターンを生成するようにしたので、入力の音声に含まれる感情に直接対応した反応パターンを生成するという従来に比べて、入力音声に含まれる感情をコンピュータキャラクタの感情に変換した後、コンピュータキャラクタの感情に応じた反応パターンを生成しているがゆえに、人間同士のコミュニケーションと同様の現象が人間とコンピュータキャラクタの間に生じることになる。 これにより、従来の機械的なコンピュータキャラクタの反応がより人間的になり、ひいては人間から見ると人間的で付き合いやすいコンピュータキャラクタと感ずることができる。 このようなコンピュータキャラクタは、優れたヒューマンインタフェースの実現，アミューズメントやエンタティメントの分野で大きな役割を果たすことができる。

【図面の簡単な説明】

【図１】この発明の一実施形態の概略ブロック図である。

【図２】図１に示した感情認識部の具体例を示すブロック図である。

【図３】図１に示した感情変換部の具体例を示すブロック図である。

【図４】図１に示した感情変換部の他の例を示すブロック図である。

【図５】従来の感情認識装置を示す概略ブロック図である。

【符号の説明】

１ 感情認識部 ２ 反応パターン生成部 ３ 感情変換部 １１ 音声特徴抽出部 １２ 感情識別部 ３１，３４ 入力部 ３２ ニューラルネット部 ３３，３７ 出力部 ３５ 乱数発生部 ３６ ランダム変換部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 土佐 尚子 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 (72)発明者 葉原 耕平 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内