【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はネットワークを利用して、複数の使用者が仮想世界を体験した際の使用状況の記録、管理を行う仮想環境記録装置に関するものである。

【０００２】

【従来の技術】従来より、コンピュータ上で現実社会と同じもしくは、それを越える社会（仮想世界）を実現するために、コンピュータ・グラフィックの技法を始めとする様々な技術を利用して様々な観点から仮想世界を実現する方法について議論されてきた。

【０００３】これまでに実現されている例としては、コンピュータ上の仮想世界で表現させるキャラクター（例えば、コンピュータ・グラフィックの技法により作成した仮想人物）の顔の表現方法に関して、対象人物の顔に整合させた３次元モデルを送信側及び受信側で予め知識として共有しておき、送信側では入力信号の分析を行い、受信側ではその分析結果をもとに、画像の合成を行う方式が既に提案されている。 これにより、テキスト情報および感情情報に基づいた顔の表情合成法が既に実現されている。 例えば、森島、岡田、原島：「知的インターフェースのための顔の表情合成法の一検討」、電子情報通信学会論文誌、Ｖol.Ｊ73-D-2、Ｎo.3pp.351-359(1
990)。 また、コンピュータ上の仮想世界で表現させるキャラクターの体の表現方法に関しては、人間の歩行動作を表現するために、実測した歩行動作を周波数分析し、
歩行動作の特徴を表す特徴量成分の抽出を行っている。
この特徴量成分をデータベース化し、基本歩行動作に付加することにより感情のこもった歩行動作、駆け足動作などが特徴量の差し替えだけで表現できる手法が既に提案されている。 例えば、鵜沼、武内：「コンピュータアニメーションにおける感情を伴った人間の歩行動作の生成方法」、電子情報通信学会論文誌、Vol.J76-D-2、No.
8 pp.1822-pp.1831(1993)。

【０００４】さらに、使用者の位置形状の計測とともに、生理・心理状態を反映する生体情報を計測し、それらの情報を仮想世界にフィードバックしたり、予め決められたモデルや望ましいデータと比較することによって、使用者に対して教師となるような信号を与えることができる手法が既に提案されている。 これにより、現実社会での使用者の体の状態を測定することにより、コンピュータ上の仮想世界に存在するキャラクターの挙動に反映させることが可能になった。 例えば、特開平５−４
６５８７号公報が挙げられる。

【０００５】このように、従来の技術では、コンピュータ上の仮想世界で表現されるキャラクターの顔や体の表現方法に関して、前述したようなアプローチで様々な手法が検討されてきた。 また、使用者の脈拍などの生体情報を利用して、仮想世界の様子を再構築する手法が検討されてきた。 したがって、これまでの技術では、コンピュータ上に形成された仮想世界をユーザインターフェースとして利用を行う場合において、作業後や作業中に、
使用者が以前に仮想世界で操作を行った作業の状況を振り返る必要がある場合において、使用者が必要な箇所を自由に検索し、作業状況を再現させる方法については、
ほとんど考慮されていない。 つまり、仮想世界をユーザインターフェースとして利用した場合、使用者が必要な箇所の作業状況を検索するための検索キーの付加方法については考慮されていなかった。 ところで、必要な作業状況を再現させる具体的な用途としては、例えば、双方向ＣＡＴＶや電話回線を使ったパソコン通信において、
コンピュータグラフィックス（必ずしも３次元で表現しなくてもよく、２次元で表現してもよい）を用いた仮想の町とキャラクター（例えば、コンピュータグラフィックを用いて作成した仮想の人間）をユーザインターフェースとして実現し、複数の使用者が実現されたユーザインターフェースを利用して、通信サービスを利用する場合を考える。 複数の使用者が、複数の地点から端末と通信路を介して仮想の町に登場するキャラクターを操作し、英会話の通信サービスを利用する場合、仮想の町で出会ったキャラクターと英会話を楽しみ、後に、復習のために会話の状況を再現させるために、会話の状況を適宜、記録し、容易に検索が可能なように、記録された会話の状況に検索キーを付加して管理する必要がある。

【０００６】

【発明が解決しようとする課題】従来の手法では、コンピュータグラフィックの技法を用いて、仮想社会や仮想人物をコンピュータ上に生成する方法について様々な検討がなされてきた。 しかし、双方向ＣＡＴＶやＢ−ＩＳ
ＤＮを利用した通信サービスの利用を考慮した場合、通信サービスの利用状況を記録し、利用者が必要に応じて、必要な時に、必要な時点を再生する方法についてはほとんど考慮されていなかった（従来からの方法であると、通信サービスの状況をＶＴＲに記録し、必要に応じて、利用者がテープを巻き戻して、該当する箇所を探して再生する程度であった）。 特に、ネットワークを利用して、複数人の使用者が存在する場合の、使用状況の記録方法、記録のタイミング、ネットワーク上での記録データの管理方法について、これまで、考慮されていなかったという課題がある。

【０００７】本発明は、ネットワークを利用して、複数の使用者が仮想世界を体験した際の使用状況の記録、管理を行うことを目的とする。

【０００８】

【課題を解決するための手段】本発明の仮想環境記録装置は、少なくとも１つ以上の入力手段と、前記入力手段から得られる入力情報から入力情報として利用する情報を決定する入力情報決定手段と、情報を出力する出力手段と、情報を伝送する伝送手段と、これら各手段を制御、管理する端末制御手段を具備する端末装置と、少なくとも１つ以上の前記端末装置との間で情報交換を行うための伝送手段と、前記伝送手段を介して、少なくとも１つ以上の前記端末装置を制御、管理する端末支援制御手段を具備する端末支援装置を備えている。

【０００９】また、少なくとも１つ以上の入力手段と、
情報を出力する出力手段と、情報を伝送する伝送手段と、これら各手段を制御、管理する端末制御手段から構成される端末装置と、情報を伝送する伝送手段と、前記伝送手段を通して得られる情報から利用する情報を決定する入力情報決定手段と、これら各手段を管理、制御する端末支援制御手段から構成される端末支援装置が、少なくとも１つ以上の前記端末装置を制御、管理する構成である。

【００１０】

【作用】本発明においては、ネットワークを利用して、
複数の使用者が仮想世界を体験した際の使用状況の記録、管理を行うことが可能である。

【００１１】

【実施例】以下、本発明の一実施例について図面を参照して説明する。 図１は本発明の一実施例における仮想環境記録装置の概略構成図である。 図１の構成は、各端末装置において分散して仮想世界の状況を記録、管理する場合に相当する。

【００１２】端末装置１０１の入力部１１は、カメラ、
スキャナー、キーボード、マウス、デジタイザ、タッチパネル、ライトペン、タブレット、マイク、ジョイステック等の入力装置である。 入力情報決定部１２は、入力部１１から得られる情報から利用する情報を決定する手段である。 出力部１３は、ディスプレイ、スピーカ、プリンタ、ハードディスク、ＶＴＲ、光磁気ディスク等の出力装置である。 伝送部１４は、Ｂ−ＩＳＤＮ、ＬＡ
Ｎ、ＣＡＴＶ、モデム、デジタルＰＢＸ等の伝送装置である。 端末制御部１５は、これら各部を制御、管理する手段である。 端末支援装置１０２は、１つ以上の端末装置１０１を制御、管理するための端末支援制御部１６および伝送部１４から構成される。

【００１３】図２は本発明の他の実施例における仮想環境記録装置の概略構成図である。 図２の構成は、端末支援装置において集中して仮想世界の状況を記録、管理する場合に相当する。 端末装置１０１の入力部２１は、カメラ、スキャナー、キーボード、マウス、デジタイザ、
タッチパネル、ライトペン、タブレット、マイク、ジョイステック等の入力装置である。 出力部２２は、ディスプレイ、スピーカー、プリンタ、ハードディスク、ＶＴ
Ｒ、光磁気ディスク等の出力装置である。 伝送部２３
は、Ｂ−ＩＳＤＮ、ＬＡＮ、ＣＡＴＶ、モデム、デジタルＰＢＸ等の伝送装置である。 端末制御部２４は、これら各部を制御、管理する手段である。 端末支援装置２０
２は、伝送部２３、伝送部２３を通して得られる情報から利用する情報を決定する入力情報決定部２４、１つ以上の端末装置２０１を制御、管理するための端末支援制御部２５から構成される。

【００１４】図３は仮想空間生成部の構成を示す図である。 仮想空間生成部は、仮想空間を構成する映像生成のための情報を管理する映像生成モデル管理部３１と、映像の生成を行う映像生成部３２と、仮想空間での音響生成のための情報を管理する音響生成モデル管理部３３
と、音響の生成を行う音響生成部３４と、仮想空間の空間情報を管理する空間管理部３５と、仮想空間に登場させるキャラクターの情報を管理する登場キャラクター管理部３６の各部を備え、これら各部を制御、管理する仮想空間制御部３７から構成される仮想空間生成部を端末制御部１５（もしくは２４）もしくは端末支援制御部１
６（もしくは２５）に備える。

【００１５】前者の端末制御部１５（もしくは２４）に仮想空間生成部を備える場合は、仮想空間を生成するための情報を各端末装置で分散して管理し、各端末装置で分散して、映像や音響を生成することになる。 従って、
端末支援制御部１６（もしくは２５）を経由して、各端末装置間でやり取りされる情報は、コンピュータ・グラフィックスの形式の情報（例えば、座標情報など）であるため、映像のような情報に比べ、情報の伝送量は比較的、少なくて済む。 反面、各端末装置では、３次元のコンピュータ・グラフィックスを生成するために比較的、
座標計算などのために計算能力が高いコンピュータが必要になる（３次元で仮想空間の状況の管理を行う場合、
各人が視点の位置を自由に変更させることができることが利点である）。

【００１６】後者の端末支援制御部１６（もしくは２
５）に仮想空間生成部を備える場合には、仮想空間を生成するための情報を端末支援装置で集中して管理することになる。 端末支援装置で集中して仮想空間を生成するため、端末支援装置から各端末装置へは生成された仮想空間は映像情報として送信される。 各人が自由な視点から同一の仮想空間を体験することは難しいが、各端末では、高い計算能力は必要としない。 ところで、仮想空間の状況の記録は映像（もしくは静止画）であってもコンピュータ・グラフィックを生成するための形式の情報（例えば、ポリゴンの座標、色情報など）であってもかまわない。

【００１７】図４は入力情報決定部の構成を示す図である。 入力情報決定部は、仮想世界の状況の着目時点を決定する着目時点決定部４１と、記録された仮想世界の状況を管理する記録状況管理部４２と、これら各部を制御、管理する入力情報決定制御部４３から構成される。

【００１８】図５は映像生成モデル管理部の構成を示す図である。 この映像生成モデル管理部は仮想空間に登場させるキャラクターの顔に関する情報を管理する顔情報管理部５１、キャラクターの体に関する情報を管理する体情報管理部５２、仮想空間の背景情報に関する情報の管理を行う背景情報管理部５３、これら各部を制御、管理する映像生成モデル管理制御部５４から構成される。

【００１９】また、顔情報管理部５１は、コンピュータ上でコンピュータ・グラフィックスの技法を用いてキャラクターの顔を実現するために、顔の形状モデルの情報の管理を行う顔の形状モデル管理部５１１、顔の動きのモデルに関する情報を管理する顔の動きモデル管理部５
１２から構成される。 また、キャラクターの体に関する情報を管理する体情報管理部５２に関しても、体の形状の情報を管理する体の形状モデル管理部５２１、体の動きに関する情報を管理する体の動きモデル管理部５２２
から構成される。 さらに、仮想空間の背景情報に関しても、背景の形状モデルの情報を管理する背景の形状モデル管理部５３１、背景の動きの情報を管理する背景の動きのモデル管理部５３２から構成される。

【００２０】図６は顔情報管理部が管理する情報を示す図で、図６（ａ）は顔の動きに関する情報を管理する顔の動きモデル管理部５１２が管理する情報である。 具体的に管理される情報としては、顔の表情名、キャラクターの顔の表情（ＩＤ番号）、顔の表情変化のためのパラメータ（例えば、笑った場合に、時間的な変化を含めて、口もとや目もとのどの位置をどの程度、動かすかを示した数値）を記録したファイル名の各情報が管理されている。

【００２１】また、図６（ｂ）は顔の形状情報を管理する顔の形状モデル管理部５１１が管理する情報を示す図である。 形状モデルとしては、人間の顔の特徴点（例えば、表情の変化により、位置的な情報が変化する目元や口元など）を利用したワイヤフレームモデルが利用できる。 より具体的な実現方法としては、例えば、森島、岡田、原島：「知的インターフェースのための顔の表情合成法の一検討」、電子情報通信学会論文誌、Vol.J73-D-
2、No.3pp.351-359(1990)があげられる。 実現にあたっては、この技法を用いることができる。

【００２２】図７は体情報管理部が管理する情報を示す図で、図７（ａ）は体の動きに関する情報を管理する体の動きモデル管理部５２２が管理する情報を示している。 具体的に管理される情報としては、体の動作の名称、キャラクターの体の動作（ＩＤ番号）、体の動作変化のためのパラメータ（例えば、キャラクターが走る場合に、時間的な変化を含めて足や手のどの位置（関節）
をどの程度、動かすかを示した数値）を記録したファイル名の各情報が管理されている。

【００２３】また、図７（ｂ）は体の形状情報を管理する体の形状モデル管理部５１１が管理する情報を示す図である。 形状モデルとしては、人間の体の特徴点（例えば、動作により、位置的な情報が変化する関節など）を利用したワイヤフレームモデルが利用できる。 より具体的な実現方法としては、例えば、鵜沼、武内：「コンピュータアニメーションにおける感情を伴った人間の歩行動作の生成方法」、電子情報通信学会論文誌、Ｖol.J76
-D-2、No.8 pp.1822-pp.1831(1993)があげられる。 実現にあたっては、この技法を用いることができる。

【００２４】図８は背景情報管理部が管理する情報を示す図で、図８（ａ）は背景の動きに関する情報を管理する背景の動きモデル管理部５３２が管理する情報である。 具体的に管理される情報としては、背景の対象となる物体名、背景の対象となる物体の動きのパラメータ（例えば、時間的な変化を含めて、葉が落ちるのにどのような方向に向かって落ちるか。何ドット分だけ落ちるかといった情報など）を記録したファイル名の各情報が管理されている。

【００２５】図８（ｂ）は背景の形状モデル管理部５３
１が管理する情報を示す図である。 図の例では、２次元で表現される木が背景情報として扱われている。 対象とする木の構造情報としては、木の枝や幹、そして葉の情報が管理される。 形状の情報として管理される情報としては、例えば、葉の大きさ、表示位置、色合いなどである。 これまでの例では、対象とするキャラクターに関しては３次元で表現し、背景情報に関しては、２次元情報で表現し、管理した。 しかし、キャラクター、背景情報とも、２次元のアニメーション、３次元で表現されたコンピュータ・グラフィック、動画といったように、表現内容に応じて使い分けてもよい。

【００２６】図９は空間管理部が管理する情報を示す図である。 仮想空間に存在する壁と木を例に挙げて、空間管理部３５が管理する情報について説明する。 図の例では、コンピュータ上で対象とする仮想空間の大きさは、
（１０００、１０００、５００）である。 なお、各数値は、（横方向（ｘ）、縦方向（ｙ）、高さ方向（ｚ））
である。

【００２７】図９の例では、仮想空間を側面から見た側面の状態と、上から見た上面の状態との対応関係を図９
（ａ）で示している。 図９（ｂ）は仮想空間に存在する壁に関する管理情報を示す図である（この例では、上面から見た場合）。 管理される情報としては、壁のＩＤ番号、壁の始点と終点の座標、壁の厚さに関する情報である。

【００２８】図１０は登場キャラクター管理部が管理する情報を示す図である。 図１０の例では、登場キャラクター管理部３６が管理する仮想空間に存在するキャラクターの情報に関するものである。 図１０（ａ）に示すように、管理される情報としては、キャラクター名、キャラクターＩＤ、キャラクターの大きさ、キャラクターの現在座標（例えば、現在座標はキャラクターを直方体で近似し、その重心位置を求める）、キャラクターの顔の表情（ＩＤ番号）、キャラクターの動作（ＩＤ番号）が挙げられる。

【００２９】また、図１０（ｂ）は、仮想空間でキャラクターＡとキャラクターＢが出会った様子を示している。 それぞれのキャラクターの現在の様子は、図１０
（ａ）で示した情報が登場キャラクター管理部３６にて管理される。

【００３０】図１１は音響生成モデル管理部の構成を示す図である。 音響生成モデル管理部は、音の遅延を実現するためのディレイ生成部１１０１、再生レートを変化させる周波数変換部１１０２、出力レベルを変化させるゲイン変調部１１０３、入力データに対応する出力データを変換する波形加工部１１０４、デジタルフィルターにより音響処理を行うフィルター部１１０５、これら各部を制御、管理する音響生成モデル管理制御部１１０６
から構成される。 これにより、キャラクターなどの配置、建物内の状況、動きなどにあわせて効果音が生成できる。 前述したように、音響生成モデル管理部は、図１、図２で示した構成のうち、端末制御部もしくは端末支援制御部に配置する。

【００３１】図１２は入力情報決定部が管理する情報を示す図である。 図１２（ａ）は着目時点決定部４１が管理する情報を示し、仮想環境の状況で着目すべき時点（利用者にとって検索キーとなる情報）が登録されている。

【００３２】着目すべき時点とは、例えば、（１）仮想世界に登場させるキャラクタの動作の状況に基づいて仮想世界の状況の着目時点を決定する（キャラクター同士が出会う、握手をする、特定の場所へ入る、お金を支払う、音響生成モデル管理部で発生した特定の効果音等）。 （２）使用者の生理状態または心理状態のうち少なくとも一方を反映する生体情報に基づいて仮想世界の状況の着目時点とする（利用者の脈拍が大きく変化した時点（使用者が予め定めた値を越えた時点）を、利用者にとって記憶に残る時点として挙げられる）。 （３）入力部に音声入力部（例えば、電話やテレビ電話など）を備え、使用者が音声の入力を行い、かつ、使用者が仮想世界に登場させるキャラクタを（使用者が定めたある特定の）動作させた時点を、仮想世界を着目すべき時点であるとする（利用者がキャラクターを動作させ、話しをするという状況は、他の利用者の注目を引くという点で、利用者にとって記憶に残る時点として挙げられる）。

【００３３】図１２（ｂ）は記録状況管理部４２が管理する仮想環境の状況が記録された情報に関するものである。 この例では、管理される情報としては、記録された情報のファイル名、記録形式、記録日時である。 なお、
記録される情報の形式としては、映像情報（もしくは静止画）であっても、コンピュータ・グラフィックの技法で扱われる形式の情報（例えば、ポリゴンの座標、色合いの情報など）であってもよい。 ところで、記録の方法としては、大きく分けて、以下の２つの方法が考えられる。 １つ目は、仮想空間の状況を終始、記録を行い、それと併行して、前述した着目すべき時点と合致した場合に、少なくとも合致した時刻と合致した内容を記録し、
仮想空間の状況を記録後、合致内容を検索キーとして仮想空間の状況の検索を行う。 ２つ目は、仮想空間の状況を着目すべき時点に合致した場合に予め使用者が決めた時間の間、仮想空間の状況の記録を行う。

【００３４】図１３は、端末支援制御部の構成を示す図である。 端末支援制御部は、少なくとも１つ以上の仮想空間生成部１３０１を制御、管理する入力情報選択部１
３０２を備える。 図の例では、端末からの要求を分散して処理するために、複数の仮想空間が存在する場合には、仮想空間毎に処理する単位を分割する。 例えば、都市Ａの処理モジュール、都市Ｂの処理モジュールといった単位で仮想空間を管理する処理モジュールを分割する。 処理モジュールの数に対応するだけの仮想空間生成部１３０１を用意し、処理の負荷を分散させる。

【００３５】仮想空間生成部１３０１は、同一の計算機内に複数、すなわち、マルチタスクが可能な計算機でプロセスの形で複数存在していてもよい。 また、仮想空間生成部１３０１が、複数個の計算機にそれぞれ存在し、
計算機間がネットワークで結合されていてもよい。 なお、入力情報選択部１３０２は、利用者の入力要求（例えば、利用者が操作しているキャラクターを「都市Ａ」
から「都市Ｂ」へ移動させる）に応じて、仮想空間に関する処理の対象を更新する（例えば、キャラクターが「都市Ａ」から「都市Ｂ」へ移動すれば、「都市Ａ」に対応する仮想空間生成部１３０２から「都市Ｂ」に対応する仮想空間生成部１３０２へキャラクターの管理に関する処理の対象を移す）。

【００３６】仮想空間生成部１３０２で生成されたコンピュータ・グラフィックの技法を用いて生成された仮想空間は、伝送路を通して、利用者のディスプレイ（出力部）へ渡される。 このように、図１３の構成により、一ヶ所に負荷を集中させずに仮想空間の管理のための処理が可能になる。

【００３７】

【発明の効果】以上のように本発明によれば、ネットワークを利用して複数の使用者が仮想世界を体験した際の使用状況の記録、管理を行うことが可能である。 これにより、仮想空間を体験できるような教育支援システム、
ゲーム、カラオケ、ショッピングといった用途での利用が可能になる。

【図面の簡単な説明】

【図１】本発明の一実施例の仮想環境記録装置（分散管理型）の概略構成図

【図２】本発明の他の実施例の仮想環境記録装置（集中管理型）の概略構成図

【図３】同仮想空間生成部の構成を示すブロック図

【図４】同入力情報決定部の構成を示すブロック図

【図５】同映像生成モデル管理部の構成を示すブロック図

【図６】(a),(b)は同顔情報管理部が管理する情報を示す線図

【図７】(a),(b)は同体情報管理部が管理する情報を示す線図

【図８】(a),(b)は同背景情報管理部が管理する情報を示す線図

【図９】(a),(b)は同空間管理部が管理する情報を示す線図

【図１０】(a),(b)は同登場キャラクター管理部が管理する情報を示す線図

【図１１】同音響生成モデル管理部の構成を示すブロック図

【図１２】(a),(b)は同入力情報決定部が管理する情報を示す線図

【図１３】同端末支援制御部の構成を示すブロック図

【符号の説明】

１１ 入力部 １２ 入力情報決定部 １３ 出力部 １４ 伝送部 １５ 端末制御部 １０１ 端末装置 １０２ 端末支援制御部 １０２ 端末支援装置