【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ネットワークに接続された複数の計算機間で３次元仮想世界の情報を共有することにより実現される３次元仮想世界システムに関する。

【０００２】

【従来の技術】本発明に関する従来技術としては、例えば、特開平７−５６４９７号公報の音声仮想定位システムが提案されている。 図１６は、特開平７−５６４９７
号公報に記載されている音声仮想定位システムを示すもので、図において、１１は操作者が仮想する仮想空間を形成するための仮想空間シミュレータ、１２は仮想空間シミュレータ１１が複数設けられたシミュレータ群、１
３は操作者の発する音声が入力されるマイク（音声入力手段）、１４は仮想空間シミュレータ１１同士のデータ伝送を行う通信手段、１５はデータ伝送における所定単位送信時間毎に、仮想空間の位置データ及び状態データと共に音声に基づく所定単位送信時間毎の音声データを送信する音声送出手段、１６はホストコンピュータである。

【０００３】次に、上記の従来例の動作について説明する。 音声仮想定位システムは、シミュレータ群１２を構成する各仮想空間シミュレータ１１毎に共通の仮想空間を形成しており、各仮想空間シミュレータ１１を操作するそれぞれの操作者が同一の仮想空間を共有することができる。 マイク１３は、仮想空間シミュレータ１１を操作する操作者の発する音声を採取する。 採取された音声は、所定単位送信時間毎の音声データとして分割される。 音声送出手段１５は、所定単位送信時間毎に仮想空間の位置データ及び状態データと共に、分割された音声データを送信する。 これにより、音声データを実時間で採取して、実時間で再現することができる。 このようにして、操作者の発した音声は、仮想空間上のしかるべき位置に定位させた上で出力される。

【０００４】

【発明が解決しようとする課題】しかしながら、このシステムでは音声データをそのままの形で計算機間でデータ転送しているため、ネットワークを流れるデータ量が多く、多数の利用者が参加する場合に、ネットワークの過負荷を引き起こしてしまうという問題があった。

【０００５】また、音声データは計算機が言語処理を行うには適していないため、他の言語へ翻訳することが困難であるという問題があった。

【０００６】加えて、音声データはデータ量が多いため、音声データを処理の経時的な記録を行うためのログとして保存するためには、大容量の記憶装置が必要であるという問題があった。

【０００７】本発明は上記課題を解決するためになされたもので、音声データを音声認識処理により文字情報に変換した後、計算機間でデータ転送を行い、音声合成処理により再び文字情報から音声データに変換することにより、ネットワークの負荷を低減し、多数の利用者が音声対話を行う３次元仮想世界システムを提供することにある。

【０００８】

【課題を解決するための手段】第１の発明の次元仮想世界システムは、ネットワークで接続された複数の計算機間で仮想世界の情報を共有し、各計算機の利用者が操作する化身の視点からの視覚情報を各利用者に提供する３
次元仮想世界システムにおいて、利用者の発する音声を入力する音声入力手段と、音声を認識し文字情報に変換する音声認識手段と、発話した利用者の識別情報を設定する識別情報設定手段と、上記文字情報と上記識別情報とからメッセージを生成するメッセージ生成手段と、上記メッセージを各計算機間で共有する情報共有手段と、
他の計算機により生成されたメッセージに含まれる文字情報から音声を合成する音声合成手段と、上記メッセージに含まれる識別情報に基づいて音質を制御する音質制御手段と、上記音声合成手段により合成された音声を出力する音声出力手段を備えるようにしたものである。

【０００９】第２の発明は第１の発明の３次元仮想世界システムにおいて、上記音声合成手段は上記メッセージに含まれる識別情報から特定される他の計算機上で操作される化身と、計算機の利用者自身が操作する化身との相対位置に基づいて、音声データの音質、音量を制御する３次元音声制御手段を備えるようにしたものである。

【００１０】第３の発明は第１の発明の３次元仮想世界システムにおいて、計算機の利用者の音声が到達する範囲を設定する到達範囲設定手段と、上記メッセージに含まれる到達範囲情報に基づいて、計算機の利用者自身が操作する化身が到達範囲に含まれるかどうかを判定する到達範囲判定手段とを備え、上記到達範囲判定手段により到達範囲に含まれると判定される場合には、音声合成処理を行い、到達範囲に含まれないと判定される場合には、音声合成処理を中止するようにしたものである。

【００１１】第４の発明は第１の発明の３次元仮想世界システムにおいて、上記音声認識手段は計算機の利用者の音声の抑揚を認識する抑揚認識手段を備え、上記音声合成手段は上記メッセージに含まれる抑揚情報に基づいて音声データの音質、音量を制御する抑揚制御手段を備えるようにしたものである。

【００１２】第５の発明は第１の発明の３次元仮想世界システムにおいて、システム全体で標準とする言語を設定する標準言語設定手段と、計算機の利用者が使用する言語を設定する言語設定手段と、上記音声認識機構により変換された文字情報を標準言語に翻訳する第１の翻訳手段と、他の計算機により生成されたメッセージに含まれる文字情報を上記言語設定手段により設定された利用者の使用する言語に翻訳する第２の翻訳手段を備えるようにしたものである。

【００１３】第６の発明は第１の発明の３次元仮想世界システムにおいて、計算機の利用者の発話に応じて、利用者の操作する化身の３次元画像を制御する化身画像制御手段を備えるようにしたものである。

【００１４】第７の発明は第１の発明の３次元仮想世界システムにおいて、他の計算機により生成されたメッセージをログとして保存するログ書込手段と、上記ログ書込手段により保存されたログを読み出し、上記音声合成手段にメッセージを送ることによりログを再生するログ読出機構を備えるようにしたものである。

【００１５】第８の発明は第１の発明の３次元仮想世界システムにおいて、音声の再生を開始する時刻を設定する再生時刻設定手段と、他の計算機により生成されたメッセージに含まれる時刻情報に基づいて音声合成処理を開始するタイマを設定するタイマ設定手段を備えるようにしたものである。

【００１６】

【発明の実施の形態】実施の形態１． 本発明の実施の形態１の３次元仮想世界システムについて、図１乃至図４
に基づいて説明する。 図１は本発明の実施の形態１の３
次元仮想世界システムのシステム構成を示すブロック図である。 図２は、図１のメッセージ生成機構７−１が生成するメッセージの例を示す図である。 図２のメッセージは、利用者Ａの識別情報および利用者Ａの発声した音声が上記音声認識機構６−１により変換された文字情報、たとえば、「Ｂさん、こんにちは。」を含み、このメッセージはネットワーク１２を介して計算機１−２へ送信される。 図３は、図１の計算機１−１の利用者Ａが操作する自己の化身２−１の視点からみた仮想世界の視覚情報の例を示す図である。 図４は、図１の利用者Ａが操作する自己の化身２−１の周辺の仮想世界の例を示す俯瞰図であり、たとえば、利用者Ｂがその周辺に見える。

【００１７】図１において、１−１は利用者Ａが利用する計算機、１−２は他の利用者Ｂが利用する計算機、２
−１は計算機１−１の利用者Ａが操作する仮想世界内の化身、２−２は計算機１−２の利用者Ｂが操作する仮想世界内の化身、３−１は複数の計算機間で共有される仮想世界内に化身２−１を生成し、計算機１−１の利用者Ａの入力を受けて化身２−１を移動させ、化身２−１の視点からの視覚情報を利用者Ｂに提供するアプリケーションプログラムである。

【００１８】３−２は複数の計算機間で共有される仮想世界内に化身２−２を生成し、計算機１−２の利用者Ｂ
の入力を受けて化身２−２を移動させ、化身２−２の視点からの視覚情報を利用者Ａに提供するアプリケーションプログラムである。

【００１９】４−１は計算機１−１の利用者Ａの入力を受けて利用者Ａの識別情報を設定する識別情報設定機構、４−２は計算機１−２の利用者Ｂの入力を受けて利用者Ｂの識別情報を設定する識別情報設定機構、５−１
は計算機１−１の利用者Ａの音声を計算機１−１に入力する音声入力装置、５−２は計算機１−２の利用者Ｂの音声を計算機１−２に入力する音声入力装置、６−１は計算機１−１に入力された音声に対して音声認識処理を行い、文字情報に変換する音声認識機構、６−２は計算機１−２に入力された音声に対して音声認識処理を行い、文字情報に変換する音声認識機構である。

【００２０】７−１は音声認識機構６−１により変換された文字情報と、識別情報設定機４−１により設定された識別情報とからメッセージを生成するメッセージ生成機構である。 ７−２は音声認識機構６−２により変換された文字情報と、識別情報設定機４−２により設定された識別情報とからメッセージを生成するメッセージ生成機構である。

【００２１】８−１は他の計算機１−２により生成されたメッセージを検知するメッセージ検知機構、８−２は他の計算機１−１により生成されたメッセージを検知するメッセージ検知機構、９−１はメッセージに含まれる文字情報から音声を合成する音声合成機構、９−２はメッセージに含まれる文字情報から音声を合成する音声合成機構、１０−１はメッセージに含まれる識別情報に基づいて音質を制御する音質制御機構、１０−２はメッセージに含まれる識別情報に基づいて音質を制御する音質制御機構、１１−１は音声を出力する音声出力装置、１
１−２は音声を出力する音声出力装置、１２は複数の計算機１（１−１および１−２等）が接続されるネットワーク、１３−１および１３−２はネットワーク１２に接続された複数の計算機間で情報を交換することにより３
次元仮想世界を共有する情報共有機構である。

【００２２】次に、計算機１−１の利用者Ａが音声を発し、計算機１−２の利用者Ｂが計算機１−１の利用者Ａ
の音声を聞く場合を例にとり、図１に基づいてその動作を説明する。

【００２３】まず、計算機１−１の利用者Ａが操作する化身２−１を選択すると、識別情報設定機構４−１は利用者Ａの識別情報を識別情報設定機構４−１に設定する。 計算機１−１の利用者Ａが音声を発すると、利用者Ａの音声は音声入力装置５−１によって音声データとして計算機１−１に入力される。 音声認識機構６−１は、
音声入力装置５−１から入力された音声データに対して音声認識処理を行い、音声データを文字情報に変換する。 メッセージ生成機構７−１は、上記音声認識機構６
−１により変換された文字情報と上記識別情報設定機構４−１に設定された利用者の識別情報とからメッセージを生成する。 上記メッセージ生成機構７−１により生成されたメッセージは、情報共有機構１３−１およびネットワーク１２を介して接続された他の計算機に送信される。

【００２４】一方、計算機１−２においては、計算機１
−１の情報共有機構１３−１から送出されたメッセージはネットワーク１２および情報共有機構１３−２を介して、メッセージ検知機構８−２によって検知される。 音声合成機構９−２は、メッセージ検知機構８−２から受けたメッセージに含まれる文字情報から音声の合成処理を行い、メッセージを音声データに変換する。 音質制御機構１０−２はメッセージに含まれる利用者Ａの識別情報に基づいて上記音声合成機構９−２により変換された音声データの音質を変更する。 音声出力装置１１−２は上記音声合成機構９−２により変換された音声データを音声として出力し、計算機１−２の利用者Ｂは計算機１
−１の利用者Ａの音声を聞くことができる。

【００２５】音声入力装置５−２からの音声も同様に、
音声認識機構６−２によって音声認識処理が行われ、音声データが文字情報に変換され、メッセージ生成機構７
−２によってメッセージが生成され、情報共有機構１３
−２およびネットワーク１２を介して各計算機に送信される。 その動作は、計算機１−１における動作と計算機１−２における動作とを入れ替えるだけで同様に実行できるので詳細な説明は省略する。

【００２６】実施の形態２． 次に、本発明の実施の形態２の３次元仮想世界システムについて、図５および図６
に基づいて説明する。 図５は本発明の実施の形態２の３
次元仮想世界システムのシステム構成を示すブロック図である。 図６は、図５のメッセージ生成機構７−１が生成するメッセージの例を示す図である。 図６のメッセージは、利用者Ａの識別情報、利用者Ａの発声した音声が上記音声認識機構６−１により変換された文字情報、たとえば、「Ｂさん、こんにちは。」、および化身識別情報、たとえば、利用者Ａの化身番号「化身００１」を含み、このメッセージはネットワーク１２を介して計算機１−２へ送信される。

【００２７】図５において、１４−１は他の計算機１−
２により生成されたメッセージに含まれる識別情報から特定される化身２の位置情報と、計算機１−１の利用者Ａの化身２−１の位置情報から、両化身の相対位置を算出し、相対位置に基づいて、音声データの音質、音量を制御する３次元音声制御機構である。 １４−２は他の計算機１−１により生成されたメッセージに含まれる識別情報から特定される化身２の位置情報と、計算機１−２
の利用者Ｂの化身２−２の位置情報から、両化身の相対位置を算出し、相対位置に基づいて、音声データの音質、音量を制御する３次元音声制御機構である。 実施の形態２においては、実施の形態１のシステム構成に加え、上記の３次元音声制御機構１４（１４−１および１
４−２）を追加したことに特徴がある。 なお、図１と図５中で用いられる同一の番号は同一の構成要素を表わすので説明を省略する。

【００２８】次に、計算機１−１の利用者Ａが音声を発し、計算機１−２の利用者Ｂが計算機１−１の利用者Ａ
の音声を聞く場合を例にとり、図５に基づいてその動作を説明する。

【００２９】まず、計算機１−１の利用者Ａが操作する化身２−１を選択すると、識別情報設定機構４−１は利用者Ａの識別情報を識別情報設定機構４−１に設定する。 計算機１−１の利用者Ａが音声を発すると、利用者Ａの音声は音声入力装置５−１によって音声データとして計算機１−１に入力される。 音声認識機構６−１は、
音声入力装置５−１から入力された音声データに対して音声認識処理を行い、音声データを文字情報に変換する。 メッセージ生成機構７−１は上記音声認識機構６−
１により変換された文字情報と、上記識別情報設定機構４−１により設定された利用者Ａの識別情報と化身２−
１の識別情報とからメッセージを生成する。 上記メッセージ生成機構により生成されたメッセージは情報共有機構１３−１およびネットワーク１２を介して接続された他の計算機に送信される。

【００３０】一方、計算機１−２においては、計算機１
−１の情報共有機構１３−１から送出されたメッセージはネットワーク１２および情報共有機構１３−２を介して、メッセージ検知機構８−２によって検知される。 音声合成機構９−２は、メッセージ検知機構８−２から受けたメッセージに含まれる文字情報から音声の合成処理を行い、メッセージを音声データに変換する。 音質制御機構１０−２はメッセージに含まれる利用者の識別情報に基づいて上記音声合成機構により変換された音声データの音質を変更する。

【００３１】さらに、３次元音声制御機構１４−２はメッセージに含まれる化身２−１の識別情報から特定される化身２−１の位置情報と、計算機１−２の利用者の化身２−２の位置情報から、両化身の相対位置を算出し、
相対位置に基づいて、音声データの音質、音量を制御する。 音声出力装置１１−２は上記音声合成機構９−２により変換された音声データを音声として出力し、計算機１−２の利用者Ｂは計算機１−１の利用者Ａの音声を聞くことができる。

【００３２】音声入力装置５−２からの音声も同様に、
音声認識機構６−２によって音声認識処理が行われ、音声データが文字情報に変換され、メッセージ生成機構７
−２によってメッセージが生成され、情報共有機構１３
−２およびネットワーク１２を介して各計算機に送信される。 その動作は、計算機１−１における動作と計算機１−２における動作とを入れ替えるだけで同様に実行できるので詳細な説明は省略する。

【００３３】実施の形態３． 次に、本発明の実施の形態３の３次元仮想世界システムについて、図７および図８
に基づいて説明する。 図７は本発明の実施の形態３の３
次元仮想世界システムのシステム構成を示すブロック図である。 図８は、図７のメッセージ生成機構７−１が生成するメッセージの例を示す図である。 図８のメッセージは、利用者Ａの識別情報、利用者Ａの発声した音声が上記音声認識機構６−１により変換された文字情報、たとえば、「Ｂさん、こんにちは。」、および到達範囲情報、たとえば、「位置（５，５，０）から距離１０の範囲」を含み、このメッセージはネットワーク１２を介して計算機１−２へ送信される。

【００３４】図７において、１５−１は仮想世界において計算機１−１の利用者Ａの音声が到達する範囲を設定する到達範囲設定機構、１５−２は仮想世界において計算機１−２の利用者Ｂの音声が到達する範囲を設定する到達範囲設定機構、１６−１は他の計算機１−２により生成されたメッセージに含まれる到達範囲情報に基づいて計算機１−１の利用者Ａの化身２−１が到達範囲に含まれるかどうかを判定する到達範囲判定機構、１６−２
は他の計算機１−１により生成されたメッセージに含まれる到達範囲情報に基づいて計算機１−２の利用者Ｂの化身２−２が到達範囲に含まれるかどうかを判定する到達範囲判定機構である。 実施の形態３においては、実施の形態１のシステム構成に加え、上記の到達範囲設定機構１５（１５−１および１５−２）および到達範囲判定機構１６（１６−１および１６−２）を追加したことに特徴がある。 なお、図１と図７中で用いられる同一の番号は同一の構成要素を表わすので説明を省略する。

【００３５】次に、計算機１−１の利用者Ａが音声を発し、計算機１−２の利用者Ｂが計算機１−１の利用者Ａ
の音声を聞く場合を例にとり、図７に基づいてその動作を説明する。

【００３６】まず、計算機１−１の利用者Ａが操作する化身２−１を選択すると、識別情報設定機構４−１は利用者Ａの識別情報を識別情報設定機構４−１に設定する。 また、計算機１−１の利用者Ａは到達範囲設定手段１５−１に仮想世界において計算機１−１の利用者Ａ自身の音声が到達する範囲を設定する。 計算機１−１の利用者Ａが音声を発すると、音声入力装置５−１により音声データが計算機１−１に入力される。 音声認識機構６
−１は入力された音声データに対して音声認識処理を行い、音声データを文字情報に変換する。 メッセージ生成機構７−１は上記音声認識機構６−１により変換された文字情報と、上記識別情報設定機構４−１により設定された利用者Ａの識別情報と、上記到達範囲設定機構１５
−１により設定された到達範囲情報とからメッセージを生成する。 上記メッセージ生成機構７−１により生成されたメッセージは情報共有機構１３−１およびネットワーク１２を介して接続された他の計算機に送信される。

【００３７】一方、計算機１−２においては、計算機１
−１の情報共有機構１３−１から送出されたメッセージはネットワーク１２および情報共有機構１３−２を介して、メッセージ検知機構８−２によって検知される。 メッセージ検知機構８−２がメッセージを検知すると、到達範囲判定機構１６−２は、メッセージに含まれる到達範囲情報に基づいて、計算機１−２の利用者Ｂの化身２
−２が到達範囲に含まれるかどうかの判定を行い、到達範囲に含まれないと判定した場合には、メッセージの音声合成処理は中止し、音声の出力は行わない。 到達範囲に含まれると判定した場合には、音声合成機構９−２にメッセージを出力する。 音声合成機構９−２は受けたメッセージに含まれる文字情報から音声の合成処理を行い、音声データに変換する。 音質制御機構１０−２はメッセージに含まれる利用者Ａの識別情報に基づいて上記音声合成機構９−２により変換された音声データの音質を変更する。 音声出力装置１１−２は上記音声合成機構９−２により変換された音声データを出力し、計算機１
−２の利用者Ｂは計算機１−１の利用者Ａの音声を聞くことができる。

【００３８】音声入力装置５−２からの音声も同様に、
音声認識機構６−２によって音声認識処理が行われ、音声データが文字情報に変換され、メッセージ生成機構７
−２によってメッセージが生成され、情報共有機構１３
−２およびネットワーク１２を介して各計算機に送信される。 その動作は、計算機１−１における動作と計算機１−２における動作とを入れ替えるだけで同様に実行できるので詳細な説明は省略する。

【００３９】実施の形態４． 次に、本発明の実施の形態４の３次元仮想世界システムについて、図９および図１
０に基づいて説明する。 図９は本発明の実施の形態４の３次元仮想世界システムのシステム構成を示すブロック図である。 図１０は、図９のメッセージ生成機構７−１
が生成するメッセージの例を示す図である。 図１０のメッセージは、利用者Ａの識別情報、利用者Ａの発声した音声が上記音声認識機構６−１により変換された文字情報、たとえば、「Ｂさん、元気ですか？」、および抑揚情報、たとえば、「１（０：平調，１：上昇調，３：下降調）」を含み、このメッセージはネットワーク１２を介して計算機１−２へ送信される。

【００４０】図９において、１７−１は計算機１−１の利用者Ａの音声の抑揚を認識する抑揚認識機構、１７−
２は計算機１−２の利用者Ｂの音声の抑揚を認識する抑揚認識機構、１８−１は他の計算機１−２により生成されたメッセージに含まれる抑揚情報に基づいて音声データの音質、音量を制御する抑揚制御機構である。 １８−
２は他の計算機１−１により生成されたメッセージに含まれる抑揚情報に基づいて音声データの音質、音量を制御する抑揚制御機構である。 実施の形態１のシステム構成に加え、上記の抑揚認識機構１７（１７−１および１
７−２）および抑揚制御機構１８（１８−１および１８
−２）を追加したことに特徴がある。 なお、図１と図９
中で用いられる同一の番号は同一の構成要素を表わすので説明を省略する。

【００４１】次に、計算機１−１の利用者Ａが音声を発し、計算機１−２の利用者Ｂが計算機１−１の利用者Ａ
の音声を聞く場合を例にとり、図９に基づいてその動作を説明する。

【００４２】まず、計算機１−１の利用者Ａが操作する化身２−１を選択すると、識別情報設定機構４−１は利用者Ａの識別情報を識別情報設定機構４−１に設定する。 計算機１−１の利用者Ａが音声を発すると、音声入力装置５−１により音声データが計算機１−１に入力される。 音声認識機構６−１は入力された音声データに対して音声認識処理を行い、音声データを文字情報に変換する。 また、抑揚認識機構１７−１は入力された音声データに対して抑揚認識処理を行い、抑揚情報に変換する。 メッセージ生成機構７−１は上記音声認識機構６−
１により変換された文字情報と、上記識別情報設定機構４−１により設定された利用者Ａの識別情報と、上記抑揚認識機構１７−１により変換された抑揚情報とからメッセージを生成する。 上記メッセージ生成機構により生成されたメッセージは情報共有機構１３−１およびネットワーク１２を介して接続された他の計算機に送信される。

【００４３】一方、計算機１−２においては、計算機１
−１の情報共有機構１３−１から送出されたメッセージはネットワーク１２および情報共有機構１３−２を介して、メッセージ検知機構８−２によって検知される。 メッセージ検知機構８−２がメッセージを検知すると、音声合成機構９−２はメッセージに含まれる文字情報から音声の合成処理を行い、音声データに変換する。 音質制御機構１０−２はメッセージに含まれる利用者Ａの識別情報に基づいて上記音声合成機構９−２により変換された音声データの音質を変更する。 さらに、抑揚制御機構１８−２はメッセージに含まれる抑揚情報に基づいて音声データの音質、音量を制御する。 音声出力装置１１−
２は上記音声合成機構により変換された音声データを出力し、計算機１−２の利用者Ｂは計算機１−１の利用者Ａの音声を聞くことができる。

【００４４】音声入力装置５−２からの音声も同様に、
音声認識機構６−２によって音声認識処理が行われ、音声データが文字情報に変換され、メッセージ生成機構７
−２によってメッセージが生成され、情報共有機構１３
−２およびネットワーク１２を介して各計算機に送信される。 その動作は、計算機１−１における動作と計算機１−２における動作とを入れ替えるだけで同様に実行できるので詳細な説明は省略する。

【００４５】実施の形態５． 次に、本発明の実施の形態５の３次元仮想世界システムについて、図１１に基づいて説明する。 図１１は本発明の実施の形態５の３次元仮想世界システムのシステム構成を示すブロック図である。

【００４６】図１１において、１９（１９−１および１
９−２）はシステム全体で標準とする言語を設定する標準言語設定機構、２０−１は計算機１−１の利用者Ａが使用する言語を設定する言語設定機構、２０−２は計算機１−２の利用者Ｂが使用する言語を設定する言語設定機構、２１−１は音声認識機構６−１により変換された文字情報を標準言語に翻訳する翻訳機構、２１−２は音声認識機構６−２により変換された文字情報を標準言語に翻訳する翻訳機構、２７−１は他の計算機１−２により生成されたメッセージに含まれる文字情報を言語設定機構２０−１により設定された利用者Ａの使用する言語に翻訳する翻訳機構である。 ２７−２は他の計算機１−
１により生成されたメッセージに含まれる文字情報を言語設定機構２０−２により設定された利用者Ｂの使用する言語に翻訳する翻訳機構である。 実施の形態５においては、実施の形態１のシステム構成に加え、上記の標準言語設定機構１９（１９−１および１９−２）および言語設定機構２０（２０−１および２０−２）、第１の翻訳機構２１（２１−１および２１−２）、および第２の翻訳機構２７（２７−１および２７−２）を追加したことに特徴がある。 なお、図１と図１１中で用いられる同一の番号は同一の構成要素を表わすので説明を省略する。

【００４７】次に、計算機１−１の利用者Ａが音声を発し、計算機１−２の利用者Ｂが計算機１−１の利用者Ａ
の音声を聞く場合を例にとり、図１１に基づいてその動作を説明する。

【００４８】まず、システムの起動時に標準言語設定機構１９−１によりシステム全体で標準とする言語を設定する。 次に、計算機１−１の利用者Ａが操作する化身２
−１を選択すると、識別情報設定機構４−１は利用者Ａ
の識別情報を識別情報設定機構４−１に設定する。 また、計算機１−１の利用者Ａは言語設定機構２０−１により利用者Ａの使用する言語を設定する。 同様に、計算機１−２の利用者Ｂは言語設定機構２０−２により利用者Ｂが使用する言語を設定する。 計算機１−１の利用者Ａが音声を発すると、音声入力装置５−１により音声データが計算機１−１に入力される。 音声認識機構６−１
は入力された音声データに対して音声認識処理を行い、
音声データを文字情報に変換する。 さらに、翻訳機構２
１−１は上記標準言語設定機構１９−１により設定された標準言語と、上記言語設定機構２０−１により設定された計算機１−１の利用者Ａの使用言語とが異なる場合、上記音声認識機構６−１により変換された文字情報を標準言語に翻訳する。 メッセージ生成機構７−１は上記翻訳機構２１−１により翻訳された文字情報と、上記識別情報設定機構４−１により設定された利用者Ａの識別情報とからメッセージを生成する。 上記メッセージ生成機構により生成されたメッセージは情報共有機構１３
−１およびネットワーク１２を介して接続された他の計算機に送信される。

【００４９】一方、計算機１−２において、計算機１−
１の情報共有機構１３−１から送出されたメッセージはネットワーク１２および情報共有機構１３−２を介して、メッセージ検知機構８−２によって検知される。 メッセージ検知機構８−２がメッセージを検知すると、翻訳機構２７−２は上記標準言語設定機構１９−２により設定された標準言語と、上記言語設定機構２０−２により設定された計算機１−２の利用者Ｂの使用言語とが異なる場合、メッセージに含まれる文字情報を計算機１−
２の利用者Ｂの使用言語に翻訳する。 音声合成機構９−
２は上記翻訳機構２７−２により翻訳された文字情報から音声の合成処理を行い、音声データに変換する。 音質制御機構１０−２はメッセージに含まれる利用者Ａの識別情報に基づいて上記音声合成機構９−２により変換された音声データの音質を変更する。 音声出力装置１１−
２は上記音声合成機構により変換された音声データを出力し、計算機１−２の利用者Ｂは計算機１−１の利用者Ａの音声を聞くことができる。

【００５０】音声入力装置５−２からの音声も同様に、
音声認識機構６−２によって音声認識処理が行われ、音声データが文字情報に変換され、メッセージ生成機構７
−２によってメッセージが生成され、情報共有機構１３
−２およびネットワーク１２を介して各計算機に送信される。 その動作は、計算機１−１における動作と計算機１−２における動作とを入れ替えるだけで同様に実行できるので詳細な説明は省略する。

【００５１】実施の形態６． 次に、本発明の実施の形態６の３次元仮想世界システムについて、図１２に基づいて説明する。 図１２は本発明の実施の形態６の３次元仮想世界システムのシステム構成を示すブロック図である。

【００５２】図１２において、２２−１は計算機１−１
の利用者Ａの発話に応じて化身２−１の３次元画像を制御する化身画像制御機構である。 ２２−２は計算機１−
２の利用者Ｂの発話に応じて化身２−２の３次元画像を制御する化身画像制御機構である。 実施の形態６においては、実施の形態１のシステム構成に加え、上記の化身画像制御機構２２（２２−１および２２−２）を追加したことに特徴がある。 なお、図１と図１２中で用いられる同一の番号は同一の構成要素を表わすので説明を省略する。

【００５３】次に、計算機１−１の利用者Ａが音声を発し、計算機１−２の利用者Ｂが計算機１−１の利用者Ａ
の音声を聞く場合を例にとり、図１２に基づいてその動作を説明する。

【００５４】まず、計算機１−１の利用者Ａが操作する化身２−１を選択すると、識別情報設定機構４−１は利用者Ａの識別情報を識別情報設定機構４−１に設定する。 計算機１−１の利用者Ａが音声を発すると、音声入力装置５−１により音声データが計算機１−１に入力される。 音声認識機構６−１は入力された音声データに対して音声認識処理を行い、音声データを文字情報に変換する。 メッセージ生成機構７−１は、上記音声認識機構６−１により変換された文字情報と、上記識別情報設定機構４−１により設定された利用者Ａの識別情報とからメッセージを生成する。 上記メッセージ生成機構７−１
により生成されたメッセージは情報共有機構１３によりネットワーク１２に接続された各計算機間で共有される。 さらに、化身画像制御機構２２−１は上記音声認識機構６−１により変換された文字情報の長さに基づいて発話の長さを算出し、算出された発話時間中、計算機１
−１の利用者Ａの化身２−１の画像を制御し、化身２−
１の口元を動かす。

【００５５】一方、計算機１−２において、計算機１−
１の情報共有機構１３−１から送出されたメッセージはネットワーク１２および情報共有機構１３−２を介して、メッセージ検知機構８−２によって検知される。 メッセージ検知機構８−２がメッセージを検知すると、音声合成機構９−２はメッセージに含まれる文字情報から音声の合成処理を行い、音声データに変換する。 音質制御機構１０−２はメッセージに含まれる利用者Ａの識別情報に基づいて上記音声合成機構により変換された音声データの音質を変更する。 音声出力装置１１−２は上記音声合成機構９−２により変換された音声データを出力し、計算機１−２の利用者Ｂは計算機１−１の利用者Ａ
の音声を聞くことができる。

【００５６】音声入力装置５−２からの音声も同様に、
音声認識機構６−２によって音声認識処理が行われ、音声データが文字情報に変換され、メッセージ生成機構７
−２によってメッセージが生成され、情報共有機構１３
−２およびネットワーク１２を介して各計算機に送信される。 その動作は、計算機１−１における動作と計算機１−２における動作とを入れ替えるだけで同様に実行できるので詳細な説明は省略する。

【００５７】実施の形態７． 次に、本発明の実施の形態７の３次元仮想世界システムについて、図１３に基づいて説明する。 図１３は本発明の実施の形態７の３次元仮想世界システムのシステム構成を示すブロック図である。

【００５８】図１３において、２３−１は他の計算機１
−２により生成されたメッセージをログとして保存するログ書込機構、２３−２は他の計算機１−１により生成されたメッセージをログとして保存するログ書込機構、
２４−１はログ書込機構２３−１により保存されたログを読み出し、音声合成機構９−１にメッセージを送るログ読出機構２４、２４−２はログ書込機構２３−２により保存されたログを読み出し、音声合成機構９−２にメッセージを送るログ読出機構である。 実施の形態７においては、実施の形態１のシステム構成に加え、上記のログ書込機構２３（２３−１および２３−２）およびログ読出機構２４（２４−１および２４−２）を追加したことに特徴がある。 なお、図１と図１３中で用いられる同一の番号は同一の構成要素を表わすので説明を省略する。

【００５９】次に、計算機１−１の利用者Ａが音声を発し、計算機１−２の利用者Ｂが計算機１−１の利用者Ａ
の音声を聞く場合を例にとり、図１３に基づいてその動作を説明する。

【００６０】まず、計算機１−１の利用者Ａが操作する化身２−１を選択すると、識別情報設定機構４−１は利用者Ａの識別情報を識別情報設定機構４−１に設定する。 計算機１−１の利用者Ａが音声を発すると、音声入力装置５−１により音声データが計算機１−１に入力される。 音声認識機構６−１は入力された音声データに対して音声認識処理を行い、音声データを文字情報に変換する。 メッセージ生成機構７−１は上記音声認識機構６
−１により変換された文字情報と、上記識別情報設定機構４−１により設定された利用者Ａの識別情報とからメッセージを生成する。 上記メッセージ生成機構７−１により生成されたメッセージは情報共有機構１３−１およびネットワーク１２を介して接続された他の計算機に送信される。

【００６１】一方、計算機１−２においては、計算機１
−１の情報共有機構１３−１から送出されたメッセージはネットワーク１２および情報共有機構１３−２を介して、メッセージ検知機構８−２によって検知される。 メッセージ検知機構８−２がメッセージを検知すると、ログ書込機構２３−２はメッセージをログとして保存する。 また、音声合成機構９−２はメッセージに含まれる文字情報から音声の合成処理を行い、音声データに変換する。 音質制御機構１０−２はメッセージに含まれる利用者Ａの識別情報に基づいて上記音声合成機構により変換された音声データの音質を変更する。 音声出力装置１
１−２は上記音声合成機構９−２により変換された音声データを出力し、計算機１−２の利用者Ｂは計算機１−
１の利用者Ａの音声を聞くことができる。

【００６２】また、計算機１−２の利用者Ｂがログ再生の要求を行うと、ログ読出機構２４−２はログ書込機構２３−２により保存されたログを読み出し、音声合成機構９−２にメッセージを送る。 音声合成機構９−２はメッセージを受け取り、メッセージに含まれる文字情報から音声の合成処理を行い、音声データに変換する。 音質制御機構１０−２はメッセージに含まれる利用者Ａの識別情報に基づいて上記音声合成機構により変換された音声データの音質を変更する。 音声出力装置１１−２は上記音声合成機構により変換された音声データを出力し、
計算機１−２の利用者Ｂは計算機１−１の利用者Ａの音声を聞くことができる。

【００６３】音声入力装置５−２からの音声も同様に、
音声認識機構６−２によって音声認識処理が行われ、音声データが文字情報に変換され、メッセージ生成機構７
−２によってメッセージが生成され、情報共有機構１３
−２およびネットワーク１２を介して各計算機に送信される。 その動作は、計算機１−１における動作と計算機１−２における動作とを入れ替えるだけで同様に実行できるので詳細な説明は省略する。

【００６４】実施の形態８． 次に、本発明の実施の形態８の３次元仮想世界システムについて、図１４および図１５に基づいて説明する。 図１４は本発明の実施の形態８の３次元仮想世界システムのシステム構成を示すブロック図である。 図１５は、図１４のメッセージ生成機構７−１が生成するメッセージの例を示す図である。 図１
５のメッセージは、利用者Ａの識別情報、利用者Ａの発声した音声が上記音声認識機構６−１により変換された文字情報、たとえば、「おはようございます。」、および再生時刻情報「６：３０」を含み、このメッセージはネットワーク１２を介して計算機１−２へ送信される。

【００６５】図１４において、２５−１は音声の再生を開始する時刻を設定する再生時刻設定機構、２５−２は音声の再生を開始する時刻を設定する再生時刻設定機構、２６−１は他の計算機１−２により生成されたメッセージに含まれる時刻情報に基づいて音声合成処理を開始するタイマを設定するタイマ設定機構である。 ２６−
２は他の計算機１−１により生成されたメッセージに含まれる時刻情報に基づいて音声合成処理を開始するタイマを設定するタイマ設定機構である。 実施の形態８においては、実施の形態１のシステム構成に加え、上記の再生時刻設定機構２５１４（２５−１および２５−２）およびタイマ設定機構２６（２６−１および２６−２）を追加したことに特徴がある。 なお、図１と図１４中で用いられる同一の番号は同一の構成要素を表わすので説明を省略する。

【００６６】次に、計算機１−１の利用者Ａが音声を発し、計算機１−２の利用者Ｂが計算機１−１の利用者Ａ
の音声を聞く場合を例にとり、図１４に基づいてその動作を説明する。

【００６７】まず、計算機１−１の利用者Ａが操作する化身２−１を選択すると、識別情報設定機構４−１は利用者Ａの識別情報を識別情報設定機構４−１に設定する。 計算機１−１の利用者Ａが音声を発すると、音声入力装置５−１により音声データが計算機１−１に入力される。 音声認識機構６−１は、入力された音声データに対して音声認識処理を行い、音声データを文字情報に変換する。 また、計算機１−１の利用者Ａは再生時刻設定機構２５−１により音声の再生を開始する時刻を設定する。 メッセージ生成機構７−１は上記音声認識機構６−
１により変換された文字情報と、上記識別情報設定機構４−１により設定された利用者Ａの識別情報と、上記再生時刻設定機構２５−１により設定された時刻情報とからメッセージを生成する。 上記メッセージ生成機構７−
１により生成されたメッセージは情報共有機構１３−１
およびネットワーク１２を介して接続された他の計算機に送信される。

【００６８】一方、計算機１−２においては、計算機１
−１の情報共有機構１３−１から送出されたメッセージはネットワーク１２および情報共有機構１３−２を介して、メッセージ検知機構８−２によって検知される。 メッセージ検知機構８−２がメッセージを検知すると、タイマ設定機構２６−２はメッセージに含まれる時刻情報に基づいて、音声合成処理を開始するタイマを設定する。 上記タイマ設定機構２６−２により設定された時刻になると、音声合成機構９−２はメッセージに含まれる文字情報から音声合成処理を行い、音声データに変換する。 音質制御機構１０−２はメッセージに含まれる利用者の識別情報に基づいて上記音声合成機構９−２により変換された音声データの音質を変更する。 音声出力装置１１−２は上記音声合成機構により変換された音声データを出力し、計算機１−２の利用者Ｂは計算機１−１の利用者Ａが再生時刻設定機構により設定した時刻に計算機１−１の利用者Ａの音声を聞くことができる。

【００６９】音声入力装置５−２からの音声も同様に、
音声認識機構６−２によって音声認識処理が行われ、音声データが文字情報に変換され、メッセージ生成機構７
−２によってメッセージが生成され、情報共有機構１３
−２およびネットワーク１２を介して各計算機に送信される。 その動作は、計算機１−１における動作と計算機１−２における動作とを入れ替えるだけで同様に実行できるので詳細な説明は省略する。

【００７０】

【発明の効果】本発明は以上説明したようにして構成されているので、以下に示すような効果を奏する。

【００７１】本発明の第１の発明によれば、音声データを音声認識処理により文字情報に変換した後、利用者の識別情報を付加して計算機間でデータ転送を行い、音声合成処理により再び文字情報から音声データに変換し、
利用者の識別情報により音質を制御するようにしたので、ネットワークの負荷を低減すると同時に、利用者毎に音質を変化させることができるため、多数の利用者が音声対話を行うことが可能となる。

【００７２】本発明の第２の発明によれば、転送データに化身の識別情報を付加し、音声を発した化身と、利用者自身が操作する化身との相対位置に基づいて、音声データの音質、音量を制御するようにしたので、音声の距離、方向を再現することが可能となる。

【００７３】本発明の第３の発明によれば、転送データに音声の到達範囲を付加し、利用者自身が操作する化身が音声の到達範囲に含まれる場合にのみ、音声合成処理を行うようにしたので、到達範囲に含まれない場合の音声合成処理に伴う計算機の負荷を削減することが可能となる。

【００７４】本発明の第４の発明によれば、転送データに音声の抑揚情報を付加し、抑揚情報により音質、音量を制御するようにしたので、文字情報だけでは伝わらない音声の抑揚を再現することが可能となる。

【００７５】本発明の第５の発明によれば、システム全体で標準とする言語を設定し、音声認識処理により変換された文字情報を標準言語に翻訳し、計算機間のデータ転送を行い、標準言語から、利用者の使用する言語に翻訳するようにしたので、利用者がお互いの使用言語を意識することなく対話することが可能となる。

【００７６】本発明の第６の発明によれば、利用者の発話に応じて、音声を発した利用者の操作する化身の３次元画像を制御するようにしたので、視覚情報により発話者を認識することが可能となる。

【００７７】本発明の第７の発明によれば、他の利用者の発話を文字情報のログとして保存し、再生する手段を備えるようにしたので、過去の対話を小容量の記憶装置で保存し、音声として聞くことが可能となる。

【００７８】本発明の第８の発明によれば、転送データに音声の再生を開始する時刻情報を付加し、時刻情報により音声合成処理を開始する手段を備えるようにしたので、利用者が予め音声データを用意し、希望する時刻に再生することが可能となる。

【図面の簡単な説明】

【図１】 本発明の実施の形態１の３次元仮想世界システムのシステム構成例を示す図である。

【図２】 図１のメッセージ生成機構７−１が生成するメッセージの例を示す図である。

【図３】 図１の計算機１−１の利用者が操作する化身２−１の視点からの仮想世界の視覚情報の例を示す図である。

【図４】 図１の化身２−１の周辺の仮想世界の例を示す俯瞰図である。

【図５】 本発明の実施の形態２の３次元仮想世界システムのシステム構成例を示す図である。

【図６】 図５のメッセージ生成機構７−１が生成するメッセージの例を示す図である。

【図７】 本発明の実施の形態３の３次元仮想世界システムのシステム構成例を示す図である。

【図８】 図７のメッセージ生成機構７−１が生成するメッセージの例を示す図である。

【図９】 本発明の実施の形態４の３次元仮想世界システムのシステム構成例を示す図である。

【図１０】 図９のメッセージ生成機構７−１が生成するメッセージの例を示す図である。

【図１１】 本発明の実施の形態５の３次元仮想世界システムのシステム構成例を示す図である。

【図１２】 本発明の実施の形態６の３次元仮想世界システムのシステム構成例を示す図である。

【図１３】 本発明の実施の形態７の３次元仮想世界システムのシステム構成例を示す図である。

【図１４】 本発明の実施の形態８の３次元仮想世界システムのシステム構成例を示す図である。

【図１５】 図１４のメッセージ生成機構７−１が生成するメッセージの例を示す図である。

【図１６】 従来の音声仮想定位システムのシステム構成を示す図である。

【符号の説明】

１−１、１−２ 計算機、２−１、２−２ 化身、３−
１、３−２ アプリケーションプログラム、４−１、４
−２ 識別情報設定機構、 ５−１、５−２音声入力装置、６−１、６−２ 音声認識機構、７−１、７−２
メッセージ生成機構、８−１、８−２ メッセージ検知機構、９−１、９−２ 音声合成機構、１０−１、１０
−２ 音質制御機構、１１−１、１１−２ 音声出力装置、１２ ネットワーク、１３（１３−１、１３−２）
情報共有機構、１４−１、１４−２ ３次元音声制御機構、１５−１、１５−２ 到達範囲設定機構、１６−
１、１６−２ 到達範囲判定機構、１７−１、１７−２
抑揚認識機構、１８−１、１８−２ 抑揚制御機構、
１９（１９−１、１９−２） 標準言語設定機構、２０
−１、２０−２ 言語設定機構、２１−１、２１−２
翻訳機構、２２−１、２２−２ 化身画像制御機構、２
３−１、２３−２ ログ書込機構、２４−１、２４−２
ログ読出機構、２５−１、２５−２ 再生時刻設定機構、２６−１、２６−２ タイマ設定機構、２７−１、
２７−２ 翻訳機構

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. ⁶識別記号 ＦＩ Ｇ１０Ｌ 9/00 Ｇ１０Ｌ 9/00 Ｍ