【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、通信回線を使用し、複数の人間が１つの仮想現実空間を供用することによりコミュニケーションをする仮想現実空間供用システムに関する。

【０００２】

【従来の技術】従来、複数の離れた場所から会議をするとき、会議場にテレビを配置し、遠方の人間をカメラで撮影し、その撮影した画像を通信回線を使い転送し、そして、会議場に配置したテレビに放映する。 他方、会議場の人間をカメラで撮影し、同様に通信回線を使い転送し、遠方の人間のところに配置したテレビに放映する。
これらの動作ににより遠方の人間が会議に参加することができるＴＶ会議システムが知られている。

【０００３】

【発明が解決しようとする課題】しかし、このＴＶ会議システムでは、人間を撮影するカメラや各会場に設置するテレビ等により設備が大型化する。 また、複数の人間のアクセスがあると図１０のように分割されて表示され、臨場感が無くなる。 さらに、画像データを転送しているのでデータ量が膨大な量になる等の問題点があった。 本発明の課題は、カメラや大型テレビを必要とせず、図１１に示すように仮想現実空間に作られた部屋に複数の人間が集ることにより臨場感があり、転送データ量の少ない仮想現実空間供用システムを提供することである。

【０００４】

【課題を解決するための手段】請求項１記載の発明の手段は、仮想現実空間を作成する仮想現実空間作成手段と、通信回線に接続され前記仮想現実空間作成手段を有する複数の端末手段と、前記通信回線に接続され前記複数の端末手段と送受信を行ない、該複数の端末手段から送られてくる情報を１つにまとめ、それぞれの端末手段に該１つにまとめた情報を出力する少なくとも１つの情報供用手段と、を有する。

【０００５】前記端末手段は、さらに、人間の動作を検出する動作検出手段と、前記動作検出手段により検出された動作データを転送する動作データ転送手段と、を有することが望ましい。

【０００６】前記動作検出手段は、さらに、音声を検出する音声検出手段と、前記音声検出手段により検出した音声を認識する音声認識手段と、発音音声に対応した口の動作を記憶している第１の記憶手段と、前記音声認識手段により認識された音声に基づき前記第１の記憶手段に記憶されている口の動作を判別する第１の判別手段と、を有することが望ましい。

【０００７】前記動作検出手段は、さらに、前記音声認識手段により認識された音声に基づいて言語を認識する言語認識手段と、言語に対応した顔の動作を記憶している第２の記憶手段と、前記言語認識手段により認識された言語に基づき前記第２の記憶手段に記憶されている顔の動作を判別する第２の判別手段と、を有することが望ましい。

【０００８】前記動作検出手段は、さらに、体の各部の動作のベクトル量を検出するベクトル量検出手段を有することが望ましい。

【０００９】さらに、請求項６記載の発明の手段は、１
つの仮想現実空間を複数の端末が供用する手段を有する。

【００１０】

【作用】複数の端末から通信回線を使用し、１つの供用空間をアクセスし、情報を供用することにより仮想現実空間でその供用情報再現する。

【００１１】

【実施例】以下、本発明の実施例について図面を参照しながら説明する。 図１は、本発明の仮想現実空間供用システムの概念図である。 図１において、各端末Ｔは、通信回線（ＩＳＤＮ）に接続され、仮想現実空間を作成する装置を有している。 さらに、この通信回線には、ＣＳ
（Community Stage）が接続されていて、このＣＳを各端末Ｔがアクセスすることにより１つの各端末Ｔのそれぞれの情報を供用することができる。 この供用情報を各端末Ｔが仮想現実空間作成装置で再生することによりあたかも複数の人間が１つの場所でコミュニケーションをしているように臨場感のある会議ができる。

【００１２】なお、送受信するデータは、画像データそのものを送受信するのではなく、人間の動作データを送受信する。 つまり、端末Ｔでは、各端末ＴのＩＤに対応した画像データを有していて、その画像データに送信されてきた動作データに基づき動いた画像を合成することにより画像を動いているように見せる。 また、ＩＤを登録してない端末Ｔは、所定フォーマットの画像データを表示する。 さらに、各端末ＴとＣＳの回線接続は、所定の手続に従い行なわれる。

【００１３】図２、３は、本発明の一実施例である。 図１は、端末の一実施例であり、例えば、頭にヘルメット１をかぶり、手にグローブ２をする。 このヘルメット１
には、検出部と報知部とがある。 検出部は、頭の動作を検出するものであり、動作方向と動作量を検出するベクトルセンサと音声を検出するマイクとから成る。 報知部は、通常目で見えるべき画像を表示し、左右の目に別々の画像を表示し、立体感がでるようにしてある表示装置と音声を放音するスピーカとから成る。 また、グローブ２には、検出部であり、手の動作を検出するベクトルセンサと指の動作を検出するベクトルセンサが備えられている。

【００１４】なお、上記表示装置は、例えば、図３のように通常自分の目で見ているような表示になり、あたかも同じ場所で会議をしているように見える。

【００１５】それぞれの検出部及び報知部は、端末本体に接続されており、この端末本体において認識を行い、
検出部により検出されたデータに基づいて動作データと音声データとを作成し、通信回線を通じて接続されているＣＳに送信する。 また、通信回線を通じて受信された動作データと音声データに基づいて画像データと音声データを作成し、報知部に出力している。

【００１６】上記動作データは、検出部により頭の動作、手の動作、指の動作が検出される。 さらに、頭、手の動作に付随して生じる体各部の基本動作も動作データとして作成する。 また、マイクにより検出された音声を音声認識をし、その認識した音声から知識ベース参照することにより口の動作データを作成する。 さらに、音声認識された音声から言語認識をし、その認識した言語から知識ベースを参照することにより顔の動作データを作成する。 これにより動作データとして、体の動作データ、口の動作データ、顔の動作データがそれぞれ作成される。

【００１７】送受信データは、図４に示すようにヘッダー、動作データ、音声データを時分割デジタル多重化装置（ＴＤＭ）を使用して送受信する。 なお、ヘッダーには、各端末ＴのＩＤ、使用者ＩＤ、時間同期データ等が含まれている。

【００１８】図５、６は、仮想現実空間供用システムのブロック図である。 図５は、端末Ｔ側のブロック図で、
ベクトルセンサ１０、マイク１１、スピーカ１２、表示部１３、知識ベース１４、マイコン１５、音声コーディック１６、動作データ圧伸部１７、音声データ圧伸部１
８、ＴＤＭ１９から構成されている。

【００１９】まず、送信について説明する。 ベクトルセンサ１０は、頭、手、指の動作を検出し、それぞれの各部の動作方向と動作量をマイコン１５に出力する。 また、マイク１１からの音声データを受けて音声コーディック１６は、音声をディジタルに変換し、音声データ圧伸部１８に出力すると共にマイコン１５にも出力する。

【００２０】マイコン１５は、ベクトルセンサ１０からの体の各部の動作方向と動作量とに基づき検出された体の各部の動作に付随する他の体の各部の動作方向と動作量とを後述する知識ベース１４を参照することにより推測する。 また、マイク１１を介して取込まれた音声データに基づき後述する知識ベース１４を参照しながら音声認識、言語認識をし、さらに、後述する知識ベース１４
を参照し、音声認識した音声および言語認識した言語に基づき口の動作および顔の動作を推測する。 そして、これらの動作データ（体の各部の動作、口の動作、顔の動作）を動作データ圧伸部１７に出力する。

【００２１】知識ベース１４は、上述したように検出された体の各部の動作に付随する他の体の各部の動作、音声認識、言語認識、これらの認識データに基づく口及び顔の動作を推測するためのデータベースである。

【００２２】マイコン１５からの動作データを受けて動作データ圧伸部１７では、動作データを圧縮し、ＴＤＭ
１９に出力する。 また、音声コーディック１６からの音声データは、音声データ圧伸部１８で圧縮されＴＤＭ１
９に出力される。 これら圧縮された動作データと音声データとをＴＤＭ１９で時分割ディジタル多重化され所定タイミング位置にヘッダーとして端末ＩＤ、使用者Ｉ
Ｄ、時間同期データ等を付けてＩＳＤＮに出力する。

【００２３】次に、受信時の説明をする。 ＩＳＤＮからＴＤＭ１９に時分割ディジタル多重化された図４に示されるようなデータが所定タイミング位置で送られてくる。 このタイミング位置のデータを取り出し、ヘッダー、動作データ、音声データにそれぞれ分離し、ヘッダー及び動作データは、動作データ圧伸部１７に出力され、音声データは、音声データ圧伸部１８に出力される。 動作データ圧伸部１７では、ＴＤＭ１９からのヘッダー及び動作データを伸張し、マイコン１５に出力する。 また、音声データ圧伸部１８では、ＴＤＭ１９からの音声データを伸張し、音声コーディック１６に出力する。

【００２４】マイコン１５では、動作データ圧伸部１７
からのヘッダー及び動作データを受けて、このヘッダーの使用者ＩＤと時間同期データからこの動作データは、
どの使用者のどの時間のデータかを検出する。 送られてきたヘッダーの中で、この時間同期データが同じものを検出し、このヘッダーを有する動作データからそれぞれの使用者の前回画像の動いた部分を書換え表示した画像が立体的に見えるように左右の目に入力する画像を変えて表示部１３へ出力する。 このタイミング（すなわち時間同期データのタイミング）で音声コーディック１６ヘ制御信号を出力し、音声コーディック１６では、音声データ圧伸部１８から送られてきた音声データをアナログ音声データに変換し、マイコン１５からの制御信号のタイミングでスピーカ１２に出力する。

【００２５】次に、ＣＳ側の説明をする。 図６は、ＣＳ
側のブロック図であり、交換機１００で構成されていて、複数の端末に対応する伝送路によりＩＳＤＮに接続されている。 そして、ＩＳＤＮから送られてきたそれぞれの端末のデータ（ヘッダー、動作データ、音声データ）をそのデータが送られてきた伝送路以外の他の伝送路に出力する。 つまり、ある端末のデータを他のそれぞれの端末に出力する。

【００２６】図７、８、９は、仮想現実空間供用システムの動作フローチャートであり、図７、８は、端末Ｔ側の送受信の動作フローチャートであり、図９は、ＣＳ側の動作フローチャートである。

【００２７】なお、以下の動作は、所定手続によりそれぞれの端末をＣＳに接続してから行なわれる。

【００２８】図７は、端末Ｔの送信処理である。 各ベクトルセンサ１０により頭、手、指の動作方向と動作量を検出し（ステップＳ１）、ベクトルセンサ１０により検出された頭、手、指の動作方向と動作量に基づいてその動作に付随する他の体の各部の動作を推測し、それぞれ動作データを作成する（ステップＳ２）。 他方、マイク１１により音声データを検出し（ステップＳ３）、検出した音声データに基づいて音声認識をする（ステップＳ
４）。 音声認識をすることにより認識された音声に対応する口の動作を推測し、口の動作データを作成する（ステップＳ５）。 さらに、ステップＳ５で認識された音声に基づき言語認識を行なう（ステップＳ６）。 言語認識をすることにより認識された言語に対応する顔の動作を推測し、顔の動作データを作成する（ステップＳ７）。
そして、これらの動作データと音声データにヘッダーを付けて時分割ディジタル多重化処理を行なう（ステップＳ８）。 これにより送信される。

【００２９】図８は、一端末の受信処理である。 時分割ディジタル多重化によるそれぞれの他の端末に対応する受信データ（ヘッダー、動作データ、音声データ）を取り出し、それぞれ分離する（ステップＳ１１）。 このそれぞれの端末に対応するデータのヘッダー内の時間同期データに従い時間のマッチングを行ない（ステップＳ１
２）、表示装置に出力する画像を動作データに基づいて作成する（ステップＳ１３）。 さらに、表示装置に画像を出力すると同時に音声コーディック１６からスピーカ１２へ音声データを出力する（ステップＳ１４）。

【００３０】上記動作により図３に示したような画像が使用者の目の前に配置された表示装置により映し出される。

【００３１】図９は、ＣＳ側の処理である。 各端末からＩＳＤＮを介して送信されてきたデータを受信し（ステップＳ２１）、各端末に対応している伝送路から送られてきたデータを他の伝送路にそれぞれ同じタイミングのデータを１まとめにし時分割ディジタル多重化処理を行ない（ステップＳ２２）、送信する。

【００３２】以上説明したように本発明は、あたかも同じ場所で会議をしているような臨場感を有し、また、画像データそのもを転送せず動作データとして転送しているのでデータ量が少なく効率良く転送できる。

【００３３】なお、本実施例では、伝送路をＩＳＤＮにしたがこの限りでない。 また、伝送方式は、時分割ディジタル多重化方式を使用したがこの限りでない。 さらに、本システムは、会議システムに限らずコミニュケーション・システムとして、さらにはゲーム等にも応用できる。

【００３４】

【発明の効果】以上詳細に説明したように、本発明によれば、１つの仮想現実空間を複数の端末がアクセスするようにしたので臨場感のあるコミュニケーションが可能になる。 また、画像データそのものを転送するのではなく人間の動作を検出して、その動作データを転送しているので画像データに対してデータ量が少なく効率良く転送できる。

【図面の簡単な説明】

【図１】本発明の一実施例における構成図である。

【図２】本発明の一実施例の端末の使用例の概念図である。

【図３】本発明の一実施例の端末の表示例を示す概念図である。

【図４】本発明の一実施例の転送データの構成図である。

【図５】本発明の一実施例の端末のブロック図である。

【図６】本発明の一実施例のＣＳのブロック図である。

【図７】本発明の一実施例の端末の送信処理を示す動作フローチャートである。

【図８】本発明の一実施例の端末の受信処理を示す動作フローチャートである。

【図９】本発明の一実施例のＣＳの信号処理を示す動作フローチャートである。

【図１０】従来例を示す概念図である。

【図１１】本発明を示す概念図である。

【符号の説明】

１０・・・ベクトルセンサ １１・・・マイク １２・・・スピーカ １３・・・表示部 １４・・・知識ベース １５・・・マイコン １６・・・音声コーディック １７・・・動作データ圧伸部 １８・・・音声データ圧伸部 １９・・・ＴＤＭ １００・・交換機