【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は頭部装着式視覚表示装置を用いた仮想環境表示装置に係わり、特に、視線計を用いることにより、仮想環境画像の視線方向を変化させ、
あるいは、眼球の動きを検出して視野角を検出したり、
手を用いることなく機器を操作することを可能とする仮想環境表示装置に関する。

【０００２】

【従来の技術】頭部装着式視覚表示装置に３次元映像を表示して仮想環境を与えるシュミレーションシステムとしていわゆるバーチャルリアリティの手法が開発されている。 例えば、車や航空機の操縦の訓練用のシステムでは、体験者のハンドル等の操作により仮想環境を変化させるものが公知である。

【０００３】バーチャルリアリティにおいて、３次元映像は頭部装着式視覚表示装置に写し出される。 頭部装着式視覚表示装置はＨＭＤと称されているが、その基本構造の例を図８に示す。 図に示すボディには両眼と対応する位置に凸レンズが配置される。 左右の凸レンズの後方に夫々左眼用および右眼用の液晶パネル（ＬＣＤ）が配置され、その後方にカバーが取付けられる。 このようなＨＭＤを頭部に装着し両眼に左右の視差のあるＬＣＤの像が拡大して見える。 左右の視差があるため立体像を見ることができる。

【０００４】ＬＣＤの像はコンピュータグラフイックにより作られる。 すなわち、ワールド座標上に設定した背景物体を右眼および左眼の視点から任意の視線方向で見た右眼用および左眼用の画像が算出されて、夫々左眼用および右眼用のＬＣＤに写し出される。 このように、仮想環境の画像を作るためには視線方向を決める必要がある。 従来、頭の動きに応じて仮想世界が見渡せるように、ＨＭＤを外部からリンクにより吊り下げ、リンクに回動角を検出するポテンショメータ等のセンサを取付けセンサの信号により視線方向を決めていた。

【０００５】このように、リンクによりＨＭＤを支持すると、頭を動かすときに違和感が付きまとう。 この違和感をなくすために、磁気誘導を利用した非接触空間位置センサとしてポヒマスセンサ（Polhemus sensor)があるが非常に高価である。

【０００６】また、従来、眼球に赤外線光束を照射してその反射光の位置を検出することにより視線の方向を測定する視線計が実用化されていた。 このような視線計はテレビカメラと併用して、種々の場面での視線の動きを調べるために用いられていたが、仮想環境を与える頭部装着式視覚表示装置に取付けられたものはなかった。

【０００７】

【発明が解決しようとする課題】本発明は上記事情に鑑みてなされたものであり、その目的はバーチャルリアリティにおける頭の姿勢情報を得るためのセンサとして、
拘束感を与えることがなく、しかも、安価な手段を提供することである。

【０００８】本発明の他の目的は、頭部装着式視覚表示装置に視線計を取付け、バーチャルリアリティの画面に応じる視線の動きを検出することにより、視野角の測定や眼球の動きの訓練を行うことができる仮想環境表示装置を提供することである。

【０００９】本発明のさらに他の目的は、頭部装着式視覚表示装置に視線計を取付け、バーチャルリアリティの画面と視線の動きを利用して機器の操作を可能とする仮想環境表示装置を提供することである。

【００１０】

【課題を解決するための手段】本発明の仮想環境表示装置は、仮想環境を与える頭部装着式視覚表示装置と、画像信号を生成して前記頭部装着式視覚表示装置に出力する画像信号生成装置とを備えた仮想環境表示装置において、前記頭部装着式視覚表示装置に視線計を取付け前記視線計からの視線方向を示す信号に応じて仮想環境画像の視線方向を変化させ、画像信号が生成されるように構成したことを特徴とする。

【００１１】さらに、本発明の仮想環境表示装置は、仮想環境を与える頭部装着式視覚表示装置と、画像信号を生成して前記頭部装着式視覚表示装置に出力する画像信号生成装置とを備えた仮想環境表示装置において、前記頭部装着式視覚表示装置にジャイロセンサと視線計を取付け前記ジャイロセンサの姿勢を示す信号と前記視線計からの視線方向を示す信号に応じて仮想環境画像の視線方向を変化させ、画像信号が生成されるように構成したものである。

【００１２】さらに、本発明の仮想環境表示装置は、仮想環境を与える頭部装着式視覚表示装置と、画像信号を生成して前記頭部装着式視覚表示装置に出力する画像信号生成装置とを備えた仮想環境表示装置において、前記頭部装着式視覚表示装置に視線計を取付け頭部装着式視覚表示装置に表示される画像に反応する視線の動きを検出することにより視野角を検出可能としたものである。

【００１３】さらに、本発明の仮想環境表示装置は、仮想環境を与える頭部装着式視覚表示装置と、画像信号を生成して前記頭部装着式視覚表示装置に出力する画像信号生成装置とを備えた仮想環境表示装置において、前記頭部装着式視覚表示装置に視線計を取付け頭部装着式視覚表示装置に表示されるメニューの特定項目または画像中の特定物を注視することにより、機器の操作が行われるように構成したものである。

【００１４】

【作用】視線計は目の近傍に配置され、眼球に向けて赤外線を照射する赤外線照射部と眼球から反射された赤外線を受光する赤外線受光部を備えている。 赤外線受光部で赤外線を受光する位置の情報から視線の方向が検出される。

【００１５】ジャイロセンサのコマは高速で回転し、互いに垂直な軸の回りに傾きうる金属環の内側に支えられているので、本体が傾いてもコマの姿勢は不変である。
従って、コマと本体との相対的な傾きから、固定座標に対する本体の３軸回りの回動角が検出される。

【００１６】本発明の視線計からの視線方向を示す信号に応じて仮想環境画像の視線方向を変化させる仮想環境表示装置によると、例えば、仮想環境画像の右方向を見るとワールド座標上に設定した背景物体を右方向を見た画像が表示され、頭を動かさなくても仮想世界を広く見ることができる。

【００１７】また、本発明の頭部装着式視覚表示装置にジャイロセンサと視線計を取付けジャイロセンサの姿勢を示す信号と前記視線計からの視線方向を示す信号に応じて仮想環境画像の視線方向を変化させる仮想環境表示装置によると、頭を動かすことにより仮想世界を見渡すことができるが、さらに、眼の動きにより頭の動きを越えて視界を広げることができる。

【００１８】さらに、本発明の頭部装着式視覚表示装置に視線計を取付けた仮想環境表示装置では仮想環境画像の中心から所定距離に点滅像等を表示した時の眼の動きを検出することで視野の広さを測定できる。

【００１９】さらに、本発明の頭部装着式視覚表示装置に視線計を取付けた仮想環境表示装置では、頭部装着式視覚表示装置に表示されるメニューの特定項目を注視することにより、メニューを選択して手を使うことなく機器の操作が可能となる。 そして、左右の眼が視差のある立体画像を注視するのでメニューの特定項目等を確実に選択することができる。 また、本発明で使用されるジャイロセンサや視線計はリンクで支持する必要がないので、頭が拘束された感じを受けない。

【００２０】

【実施例】以下、本発明の実施例を図面を参照して説明する。 図１は本発明の実施例である仮想環境表示装置を用いた脳機能障害者に対するリハビリテーションおよび診断装置を示すブロック図である。 図に示す１はＶＲ画像信号生成用コンピュータであり、内部のハードディスクに複数のソフトウエア・パッケージを記憶している。
２はＶＲ画像信号生成用コンピュータ１、光カード記録再生装置３、スペースジョイスティック５、スペースジョイスティック５内のジャイロセンサおよび訓練機６を制御する制御用コンピュータである。

【００２１】制御用コンピュータ２はＲＳ−２３２Ｃケーブル８でＶＲ画像信号生成用コンピュータ１に接続されている。 そして、制御用コンピュータ２は頭部装着式視覚表示装置４内のジャイロセンサおよび視線計、スペースジョイスティック５内のジャイロセンサおよび圧力検出部、訓練機６内の位置・トルク検出部、光カード記録再生装置３からの信号および制御用コンピュータ２が備えた操作部の操作に基づいてＶＲ画像信号生成用コンピュータ１に任意のソフトウエア・パッケージから立体画像の信号を生成させ、また３次元音声信号を生成させる。 その立体画像が頭部装着式視覚表示装置４のディスプレイに表示され、また、３次元音声信号でヘッドホンが駆動される。

【００２２】ソフトウエア・パッケージのデータにはワールド座標上に背景物体が設定されており、任意の視点および視線の方向を与えることにより右眼用および左眼用の背景画像が算出される。 また、背景画像に重畳させる仮想の腕等の画像データも有しており、画像データの像はスペースジョイスティック５内のジャイロセンサの位置および姿勢を示す信号により背景画像上の任意の位置に任意の姿勢で写し出される。

【００２３】頭部装着式視覚表示装置４は立体画像表示用ディスプレイ、ヘッドホンおよびジャイロセンサおよび視線計を備えている。 なお、視線計は右眼および左眼の近傍に対応する位置に取付けられている。 ＶＲ画像信号生成用コンピュータ１から出力される画像のＲＧＢ信号はピンケーブル１２によりスキャンコンバータ１４に送られ、スキャンコンバータ１４で頭部装着式視覚表示装置４のディスプレイ用の画像信号（コンポジット信号）に変換される。 その画像信号は接続器１３を介して頭部装着式視覚表示装置４のディスプレイに入力される。

【００２４】ＶＲ画像信号生成用コンピュータ１から出力される３次元音声信号はピンケーブル１１および接続器１３を介して頭部装着式視覚表示装置４のヘッドホンに入力される。 頭部装着式視覚表示装置４内のジャイロセンサの姿勢を示す信号（３軸回りの回動角を示す信号）および視線計の視線位置を示す信号はデコーダ１５
によりＲＳ−２３２Ｃの信号に変換され、ＲＳ−２３２
Ｃケーブル９を介して制御用コンピュータ２に入力される。

【００２５】スペースジョイスティック５は圧力検出部とジャイロセンサを備えており、圧力検出部から出力される手の握り具合を示す信号およびジャイロセンサからの位置・姿勢を示す信号（ＸＹＺ軸方向の位置および３
軸回りの回動角を示す信号）はデコーダ兼コンバータ１
６によりＲＳ−２３２Ｃの信号に変換され、ＲＳ−２３
２Ｃケーブル９を介して制御用コンピュータ２に入力される。

【００２６】訓練機６の構造は図２に詳しく示されている。 すなわち、ＡＣサーボモータ６１は減速機６２、駆動ベルト６３，６３…、トルクリミッタ７０を介して出力軸６４を回転駆動し、または出力軸６４により駆動される。 出力軸６４にはクランク６５およびペダル６６が取付けられている。 出力軸の回転角度は回転用ポテンシオメータ６７により検出され、また、トルクはトルク用ポテンシオメータ６９を有するトルク検出部６８で検出される。 また、非常停止ボタン７１が訓練機６に設けられている。

【００２７】図１に示すように、訓練機６はパラレルケーブル１７により制御用コンピュータ２と接続されているが、訓練機６と制御用コンピュータ２との間での信号の入出力関係は図２に詳しく示されている。 すなわち、
制御用コンピュータ２内のＤ／Ａコンバータ（Ｄ／Ａ）
から出力されるアナログ信号に基づいてモータドライバはＡＣサーボモータ６１に電流を供給する。 トルク検出部６８からの信号はトルク検出変換部でコンピュータの入力信号に変換され制御用コンピュータ２内のＡ／Ｄコンバータ（Ａ／Ｄ）に入力される。 また、回転用ポテンシオメータ６７からの信号は位置検出変換部でコンピュータの入力信号に変換され制御用コンピュータ２内のＡ
／Ｄコンバータ（Ａ／Ｄ）に入力される。 さらに、非常停止ボタン７１からの信号は制御用コンピュータ２内のインターフェース（Ｐ Ｉ／Ｏ）に入力される。

【００２８】訓練機６は制御用コンピュータ２により制御されて訓練動作するが、その訓練動作にはパッシブモードとアクティブモードがある。 パッシブモードでは設定した速度で回転運動を行う。 また、アクティブモードでは、入力トルクの下限を設定し、設定トルクを入力トルクが越えた場合のみ、そのトルク差で回転を可変させながら回転運動を行う。

【００２９】光カード記録再生装置３はＳＣＳ１ケーブル７を介して制御用コンピュータ２と接続されており、
各患者が所持する光カードの記録内容を読取り、そのデータを示す信号を制御用コンピュータ２に出力し、また、制御用コンピュータ２から出力されるデータの信号を光カードに記録する。

【００３０】光カードの記録内容には担当医の情報（処方、訓練スケジュール）、患者自信の情報（氏名、性別、年齢、病歴、血圧、体重、身長、顔写真等）、機器設定値情報（訓練のモードやトルク等）、
訓練履歴情報、機器からの情報（患者の動作等の情報）がある。

【００３１】次に、上記リハビリテーションおよび診断装置の作用を説明する。 まず、光カードが光カード記録再生装置に挿入されると、その記録情報が読取られ、制御用コンピュータ２へ送られる。 制御用コンピュータ２
は送られた情報により、ソフトウエア・パッケージ番号をＶＲ画像信号生成用コンピュータ１に送信する。 すると、ＶＲ画像信号生成用コンピュータ１はソフトウエア・パッケージを選択して、選択完了信号を制御用コンピュータ２へ送る。

【００３２】次に、制御用コンピュータ２はＶＲ画像信号生成用コンピュータ１へ初期化要求信号を送る。 それに応答してＶＲ画像信号生成用コンピュータ１が了解信号を送ると、制御用コンピュータ２は頭部装着式視覚表示装置４およびスペースジョイスティク５からの位置、
姿勢、視線の方向および握りの強さの情報を得て、その情報を初期化情報としてＶＲ画像信号生成用コンピュータ１へ送る。

【００３３】ＶＲ画像信号生成用コンピュータ１がその初期化情報により初期化を終了させると、初期化完了信号が制御用コンピュータ２へ送られる。 そして、制御用コンピュータ２は訓練スタートボタンが押されるのを待つ。 スタートボタンが押されると、制御用コンピュータ２は仮想環境の画像信号生成の開始を要求する信号をＶ
Ｒ画像信号生成用コンピュータ１へ送る。 そして、ＶＲ
画像信号生成用コンピュータ１は仮想環境の画像を頭部装着式視覚表示装置４に表示させ始める。

【００３４】このようにしてリハビリテーションの動作が開始されるが、リハビリテーションの間において、仮想環境の画像が表示され、また訓練機６のＡＣサーボモータに制御信号が送られる。 そして、訓練機６から回転角度やトルクの信号が制御用コンピュータ２に送られる。 さらに、頭部装着式視覚表示装置４から姿勢、視線の方向を示す情報、また、スペースジョイスティクから位置および姿勢あるいは握りの強さを示す信号が制御用コンピュータ２に送られる。

【００３５】仮想環境の画像の視点の位置は訓練機の出力軸の回転に伴って進行する。 そして視線の方向は頭部装着式視覚表示装置４のジャイロセンサの回動角を示す信号および視線計の視線位置を示す信号に応じて変化する。 例えば、ジャイロセンサの回動角（ワールド座標のＸ軸方向に対する角度）をθ _Jとし、視線位置の画像中心に対する垂直軸回りの角度をθ _Sとすると、仮想世界を見る視線の方向θ _Vはθ _V ＝θ _J ＋αθ _Sで決められる。 但し、αは１より小さい正の定数である。 このように、仮想環境を見る視線方向を決められるため、頭を回すことにより仮想環境を見回すことができる。 そして、
眼の動きにより頭の動きを越えて視界を広げることができる。

【００３６】また、スペースジョイスティクの動きに応じて仮想の手の位置や姿勢が変わる。 さらに、仮想の手が仮想環境のドア等に衝突すると、衝突音がヘッドホンから聞こえる。

【００３７】図３はこの装置が患者がベッドに寝た状態で使用される状況を示す。 この場合は訓練機６のペダルが足で回転される。 図４はこの装置が患者が車椅子に座って使用される状況を示す。 この場合は訓練機６のペダルが足で回転される。 図５はこの装置が患者が車椅子に座って使用される状況を示す。 この場合は訓練機６のペダルが手で回転される。

【００３８】仮想環境が公園である場合に訓練機６を回すことにより、自分が進んでいる状況が見え、また、その環境を見渡すことができる。 訓練機６の回転速度が速くなると進行速度も速くなる。 そして、右側のペダルを強く踏むと患者は右方向に進む。 また、左側のペダルを強く踏むと患者は左方向に進む。

【００３９】仮想環境が室内である場合は患者は室内を進む。 そして、スペースジョイスティック５を動かすことにより、画面内の仮想の手を動かすことができ、画面上のドアのノブを回すことができる。 このような訓練における患者の応答の状況はＶＲ画像信号生成用コンピュータ１に記憶される。

【００４０】図６に訓練中の画像の例（左右両眼の像を１つに示している）を示す。 この場合、点滅像が画面の縁に急に現れる。 そのときの視点の動きがあるか否かを検出して点滅像の位置に対応する視野の広さが測定できる。 このような視野の広さの測定が可能なことにより、
眼球の動きの適切な訓練計画を立てることができ、また、訓練の成果を知ることができる。

【００４１】図７に訓練中の画像の他の例を示す。 図７
（ａ）に示す画像の右下にメニューの表示が現れている。 このメニューの表示を所定期間例えば２秒間注視すると、画面は図７（ｂ）に示すように変わる。 この画面において、例えば『トルク』の表示を２秒間注視すると、画面は図７（ｃ）に示すように変わる。 この画面において、例えば『１０ｋｇ・ｃｍ』の表示を２秒間注視すると訓練機のトルクを１０ｋｇ・ｃｍに設定することができる。 このように、訓練中に手や足を使うことなく、機器の操作をすることが可能である。

【００４２】リハビリテーションの動作が終了すると、
ＶＲ画像信号生成用コンピュータ１は終了信号を制御用コンピュータ２へ送る。 すると、制御用コンピュータ２
は患者の動作状態の情報の送信をＶＲ画像信号生成用コンピュータ１に要求する。 制御用コンピュータ２がその情報を受け取ると、光カード記録再生装置３に指令してその情報を光カードに記録させる。 光カード記録再生装置３は記録終了後、光カードを排出し、次の光カードのセットを待機する。

【００４３】このように光カードに記録された信号を光カード記録再生装置で読み出すことにより、患者の動作を知ることができ、診断が容易に行える。 次回の訓練の条件は担当医が光カードの記録を参照して別のコンピュータを使用して設定することができる。

【００４４】実施例は以上のように構成されているが、
発明はこれに限られず、例えば、頭部装着式視覚表示装置に取付けた視線計からの視線方向を示す信号のみにより仮想環境画像の視線方向を決めることもできる。 この場合は頭を動かすことなく、視界を広げることができる。 さらに、本発明の仮想環境表示装置をリハビリテーション装置以外の機器に接続して、例えば、電話機等の機器の操作に利用することも可能である。 この場合、手足の不自由な人が電話機等を操作することが可能となる。 また、メニューの代りに電話機の像を注視することにより、電話機の操作画面に切換えることも可能である。

【００４５】

【発明の効果】以上説明したように、本発明の視線計からの視線方向を示す信号に応じて仮想環境画像の視線方向を変化させる仮想環境表示装置によると、例えば、仮想環境画像の右方向を見るとワールド座標上に設定した背景物体を右方向を見た画像が表示され、頭を動かさなくても仮想世界を広く見ることができる。

【００４６】また、本発明の頭部装着式視覚表示装置にジャイロセンサと視線計を取付けジャイロセンサの姿勢を示す信号と前記視線計からの視線方向を示す信号に応じて仮想環境画像の視線方向を変化させる仮想環境表示装置によると、頭を動かすことにより仮想世界を見渡すことができるが、さらに、眼の動きにより頭の動きを越えて視界を広げることができる。

【００４７】さらに、本発明の頭部装着式視覚表示装置に視線計を取付けた仮想環境表示装置では仮想環境画像の中心から所定距離に点滅像等を表示した時の眼の動きを検出することで視野の広さを測定できる。

【００４８】さらに、本発明の頭部装着式視覚表示装置に視線計を取付けた仮想環境表示装置では、頭部装着式視覚表示装置に表示されるメニューの特定項目を注視することにより、メニューを選択して手を使うことなく機器の操作が可能となる。 また、ジャイロセンサや視線計はリンクで支持する必要がないので、頭や手が拘束された感じを受けない。

【図面の簡単な説明】

【図１】本発明の仮想環境表示装置を使用した脳機能障害者に対するリハビリテーションおよび診断装置の構成を示すブロック図である。

【図２】同装置に用いられる訓練機の構造を示す図である。

【図３】同装置の使用状態を示す斜視図である。

【図４】同装置の使用状態の他の例を示す斜視図である。

【図５】同装置の使用状態のさらに他の例を示す斜視図である。

【図６】同装置の使用状態での頭部装着式視覚表示装置の画像の例を示す図である。

【図７】同装置の使用状態での頭部装着式視覚表示装置の画像の他の例を示す図である。

【図８】頭部装着式視覚表示装置の構造を示す分解斜視図である。

【符号の説明】

１ ＶＲ画像信号生成用コンピュータ ２ 制御用コンピュータ ３ 光カード記録再生装置 ４ 頭部装着式視覚表示装置 ５ スペースジョイスティック ６ 訓練機 ７ ＳＣＳ１ケーブル ８，９，１０ ＲＳ−２３２Ｃケーブル １１，１２ ピンケーブル １３ 接続器 １４ スキャンコンバータ １５ デコーダ １６ デコーダ兼コンバータ １７ パラレルケーブル