【発明の詳細な説明】

【０００１】

【産業上の利用分野】バーチャルリアリティすなわちコンピュータ上で作り出された仮想的な世界の疑似体験技術を利用した製品あるいは装置にかかわる。

【０００２】

【従来の技術】近年、人工現実感（Artificial Realit
y）・仮想現実感（Virtual Reality）などと呼ばれる技術が関心を集めている（以下、バーチャルリアルティで表現を統一する）。 この技術は、「計算機により作り出された人工の世界を人間の周囲に発生させ、あたかもその内部に自分が存在するかのごとく錯覚させる技術（広瀬：人工現実感はどこまで実現するか：日本機械学会誌,Vol.93,No.863(Oct.1990))」である。

【０００３】図１では、代表的なバーチャルリアリティのシステムを示す。 ユーザはヘッドマウントディスプレー１６およびグローブ型センサ１５を装着する。 ヘッドマウントディスプレー１６およびグローブ型センサ１５
には、それぞれ頭および手の位置を測定するための位置センサ１１の計測部が装着されている。 さらに、グローブ型センサには、手の形状を把握するため各指ごとに曲がりセンサ（例えば、グラスファイバーの屈折率により評価する）の計測部が装着されている。 これらの計測部によって得られた信号は、位置センサ１１あるいは曲がりセンサ１２によって有限ビット長のデジタル信号に変換され、処理装置１３に入力される。 処理装置１３では、人工的な現実感を得るためには、三次元コンピュータグラフィックス（ＣＧ）における形状モデリング技法により、予め設定してある仮想世界の三次元モデルに従って、頭や手の位置や形状をセンサ情報に基づいて解析し、仮想世界における自分の位置・形状を決定（形状モデルを定義）する。 そして、仮想世界での人の視点（目の位置）から見た仮想世界の三次元ＣＧを、全視野型のディスプレー（例えば、ヘッドマウントのディスプレー）上の三次元ＣＧ画像として表示する。 この操作は、
一定の間隔で反復継続的に処理され、人の動きに合った仮想的な現実感が提供される。

【０００４】また、将来的には位置センサ１１および曲がりセンサ１２の代わりに、立体カメラ１４を用い、画像認識によって人の現在位置を決定し、ヘッドマウントディスプレーの代わりに、パノラマディスプレーのような大画面デスプレー用いてリアリティを表現する方法も考えられてる。

【０００５】従来の方法は、このようにセンサから得られたデータと仮想世界の相互関係から、仮想世界の形状モデルの修正および自分の位置を決定する（形状を定義する）作業を行い、その三次元形状モデルに従い三次元ＣＧを描画していた。 従って、センサ入力に対応した画像は、センサの入力後に膨大な計算量の３ＤＣＧの描画計算を実行したため、高度なレンダリング（例えば、レイトレーシング）を施さなくとも、若干の時間遅れは生じる。

【０００６】これに対応する方法として、アルゴリズムを改善することも考えられるが、一般にはハードウェアを改善して（より演算速度を向上させ）対応することが多い。 現在では、グラフィック処理に適したワークステーションも数多く製品化されているが、しかし現状では処理能力が十分とは言えない。 画像処理向けのスーパコンピュータ（並列計算機）などの利用も可能であるが、
それではシステム価格が非常に高価になる問題点が生じることになる。

【０００７】一方、アルゴリズムの改善法としては、例えばバーチャルリアリティと類似の技術として、フライトシミュレータでのイメージ生成法として「コンピュータ・イメージ生成のための予測先読みメモリ管理方式」
（AfGriffen et al.Predictive look ahead memory m
anagement for computer image generation in simulat
ors : United States Patent, Patent-Number 4,952,92
2 Aug. 28,1990）が提案されている。 この方式は、シミュレートしている飛行機の動特性に基づき、その取りうべき飛行経路を（すべて）予測し、その（予測された）
地点について操作者が見る光景を描画するのに必要なデータを二次記憶から先読みする方法である。 当該方式は、特に二次記憶の低速性を補う方法として有効である。 また、当該明細書には明記されていないが、当該方法の簡単な応用として、二次記憶から先読みするステップに代えて、画像そのものを描画することにより高速化することも原理には可能であると思われる。

【０００８】

【発明が解決しようとする課題】上記の従来方法において、次のような問題がある。 すなわち、先に述べたように、三次元コンピュータグラフィックス（ＣＧ）に必要な計算量は膨大であるため、一般的に使用されるグラフィックワークステーションを用いたシステムでは、若干のタイムラグ（時間遅れ）が生じる。 この時間遅れは、
通常の動作ではあまり気にならないことも多いが、人の位置の変位が急に大きく変更された場合、大きな違和感を感じさせることがある。 特に、首を横に大きく振ったような場合、首の回転に画像が付いていかないと、非常な不快感をもたらす。

【０００９】また、フライトシミュレータ等の応用が有効と思われる「コンピュータ・イメージ生成のための予測先読みメモリ管理方式」は、フライトシミュレータのように対象の動特性が明確で、挙動が明確に予測されることが必要であり、人の動きのシミュレーションのように、動作が複雑ですべての事例を予測し尽くすことが不可能な事例では適用できない。 また実際問題として、三次元モデルそのものを二次記憶から頻繁に呼び出す場合はともかく、多くのバーチャルリアルティシステムのように、三次元モデルをメモリ上に置く場合では、あまり効果がない。

【００１０】本発明の目的は、上記の問題点を解決するために、バーチャルリアリティ装置において生じる（特に首振り時における）不快感を解消するための方法を提供することにある。

【００１１】

【課題を解決するための手段】上記目的を達成するために、本発明では「人の頭が回転するときのスクリーン画像の動きの特徴」に着目した。 人の頭の回転は水平方向の回転および垂直方向の回転によって表現できる。 今、
図２のように仰角ψで正面方向を向いた人の頭を左方向にΔθだけ回転させた事例を考える。 図２（ａ）では、
ヘッドマウントディスプレーに係わる前提を示している。 では、スクリーンを示している。 一般にヘッドマウントディスプレーはステレオタイプのディスプレーとなっている。 ここでは、その一方のディスプレーを例にしたが、視点の位置が異なる（＝画像は当然違う）だけで、原理的には共通であるから、ここでは一方について説明する。 は視点とスクリーンの関係（上からの図）
を示している。 一般には、スクリーンの横の長さ（以下スクリーン長）とスクリーンの視差との関係からスクリーンと視点の距離（以下画像距離）は論じられもするが、バーチャルリアリティにおいては、頭（顔）に装着されるため画像距離は、装置固有の定数となる。 も同様に視点とスクリーンの関係（横からの図）を示している。 今、図２（ｂ）のように、上を向いて頭を回転させた場合を考える。 のように水平方向（人の脊髄を中心として）の回転を想定する。 また、ここでの仰角をに示している。

【００１２】この場合、対象物のスクリーン上での像の軌跡は、視点から垂直方向に延ばした線とスクリーン（を含む平面）との交点を中心とする円弧を、自分の回転と反対方向に動く。 これは、ちょうど星が回転するのと同じ（固定された対象を自ら回転して凝視すると、
（首の）回転軸の方向を中心とした円弧を描いて動くように見える）原理に他ならない。 この円弧の曲率半径Ｒ
は

【００１３】

【数１】

【００１４】ただし、ここでＬはスクリーンと視点との距離（画像距離）であり

【００１５】

【数２】

【００１６】すなわち、Ｒ∽1/tanψである。 従って、
ψ→０ ならば Ｒ→∞ であり、ψが十分小さければ、
平行に移動することになる。

【００１７】本発明では、この原理に加えて、人の動態視力が静止視力に比べ劣っていることを勘案し、首の動きのような急な画像の移動に対しては、すでに生成されている画像を現在の入力データによって補正して出力する。

【００１８】そこで、次に本発明の基本的概念を図３を用いて説明する。 図３（ａ）には、通常のバーチャルリアリティシステムにおける取扱いを示している。 首の回転等により、視点Ａから視点Ｂに視点が移動した場合、
対象Ｏは画像３１から画像３２のように変わる。 しかし、現在のグラフィックワークステーションの能力では、正確な描写を行った場合（例えば、３次元ＣＧ技法を用い各種レンダリングを施した場合）ある程度時間遅れが生じる。 この間に視点が視点Ｃへ移動したなら、仮に描写そのものは正確であったとしても、現在の（視点Ｂが生成された時点での）位置関係とは掛け離れたものになってしまう。 実際、人の受ける違和感は、視点Ｃで本来見れるべき画像３３と画像３２のずれにともなって増大し、特に首を高速に回転させた場合など、不快感が大きい。

【００１９】そこで、本発明ではイメージ出力として視点Ｂにおける諸情報で作成した画像をさらに視点Ｃの位置情報によって補正するものである。 図３（ｂ）を例にとって説明すると、視点Ｂにおいて生成されたイメージ画像３２は、平行移動させイメージ画像３３と同じような位置の場所に出力する（画像３４）。 ここでは、図形の形状は視点Ｂのものであるが、全体的な位置関係は視点Ｃのものであるため、視点Ｂの画像をそのまま出力する従来法に比べてより実際に近い（具体的には画像３３
に近い）イメージ画像を得ることができる。

【００２０】もちろん、本発明でも理論上誤差を内包すると言えるであろう。 しかし、計算機の計算時間がある一定以上必要な現状においては、バーチャルリアリティといっても、現在の視点から正確にグラフィックスを生成することは厳密には困難であり、如何に現在の視点からの画像に近い画像を出力するかが重要であるといえる。

【００２１】このようなことから、高速に首が回転する場合にのみ、新たに（センサ入力に対応して修正された形状モデルに基づいて）三次元ＣＧを生成するのでなく、既に生成されている画像をセンサ入力に応じてリニアに移動させた（偏差に比例的に平行移動させた）画像を、（近似的に）現在の出力として利用する手段を用い、これによって従来法より高速に首の動きに追従する方法を実現した。

【００２２】また、特に対象が固定されているシステムに対しては、背景と対象を別々に生成し合成する描画法を採用し、それぞれの移動量を変えることで相対的な位置関係の整合性を確保する。 再び図３を例にして説明すると、視点Ａから視点Ｂに移動した時、背景と対象Ｃとの相対な位置関係は、対象Ｃが右へ移動するように見える。 特に相手が決まっているような場合、視点が動いても見る対象が固定されていることが多いため、対象の画像が精細であることが望ましい場合も多い。

【００２３】そこで、特に対象が明確なシステムでは、
その対象（例えば対象Ｃ）と背景を別々に生成し合成する。 図４は、近接物体と背景の相対関係を示している。
図４（ａ）では、視点移動時における、無限遠方の背景と対象物との視差の変化を示す。 移動前の視点を P1′
とし、移動後の視点を P2 とする。 ここで、移動距離ｒ
および移動前の視差αは既知である。 このとき、移動後の視差γは次のようになる。

【００２４】

【数３】

【００２５】これを一般的に示すと図４（ｂ）に示す。
視点が P1(or P1′) から P2 へ移動した場合、近接対象Ａと背景対象Ｂの視差（スクリーン上の距離は、視差＊画像距離で換算される（図２参照））を考える。 回転前の視差を α とし、回転後の視差を β とする（ここで、背景の対象は近似的に距離 Ｒ にすべてあり、Ｒ＝
∞ のときの回転後の視差を γ、β と γ のずれ γ−
β を δ とする）。 また、P1, P2 から近接対象Ａへ引いた線と背景（を含む平面）との交点を、それぞれ M1,
M2 とする。 また、P2 から背景平面に下ろした足を MH
とする。 このときγは上記の（数３）であり、δは言うまでもなく

【００２６】

【数４】

【００２７】となる。

【００２８】以上により、βはγ−δから導けるが、Δ
θが十分小さく、Ｒが十分大きいければ、sin(Δθ)≒
０， １／Ｒ≒０ となることから、結局βは、

【００２９】

【数５】

【００３０】によって求められる。 対象画像および背景画像の移動距離はα・βによって一意に決定できる（近似的に移動距離は視差に比例する）。

【００３１】

【作用】本発明の作用は、大きな首の回転のように、局所的な画像の整合性よりも大局的な運動との一致が重視される場合には、局所的な画像の整合性より運動との一致に重みを置いた処理が実現される（小さな移動で局所的な画像の整合性が重要な場合の処理では、従来の方法を適用する）。 これは、人間の制約条件を巧妙に利用したもので、実際に不必要な計算処理をしない作用がある。

【００３２】なぜなら、視点の動く速さが小さい場合の人の視力は静止状態に近く識別能力は高く、不完全な描画は好ましくない。 また、一般に時間遅れによる誤差は、視点の動く速さに比例して大きくなるから、時間遅れによる誤差のために生じる不快感は小さく、それに比べて描画の不整合性や描画の粗雑さによる不快感がずっと大きいといえる。 従って、視点の動く速さの小さい場合の処理は。 現状のように多少の時間遅れを伴っても、
センサ入力に応じて形状モデルを修正し、それに基づいて三次元ＣＧを描く方法が適当である。

【００３３】しかし、視点の動く速さが大きい場合（これは、背景の移動で評価する。従って、例えば首の回転などは非常に大きい場合に該当する）人の視力は、静止時の視力に比べて著しく低下する。 このような場合、人は細かな識別をすることが困難であり、時間をかけた緻密な描画は余り意味はない。 ここでは、専ら視点の動きと背景の移動との関連が認識の主な要素であり、時間遅れに伴う不快感には非常に敏感である（特に首の回転に背景が付いていかない場合、もはや現実感とは言い難い不快感である）。 従って、視点の動く速さの大きい場合の処理は、多少画像の完全性は犠牲にしても、動作に素早く追従する画像生成が必要であり、本発明により、すでに生成された画像を利用して、素早い追従が可能となる。

【００３４】尚、本発明で画像の完全性が若干犠牲にされるが、後述する実施例で説明するように、例えば１ステップ前の画像を常に使用するようにすれば、背景の変化は１ステップ遅れで付いてくる。 また、移動の速さによって描画方法が切り替わる場合の整合性は、実施例で示すような補正により十分対処できるため、大きな違和感はない。

【００３５】また、対象画像と背景画像を分離することで、特に対話式のバーチャルリアリティシステムにおいても、高速処理が可能になる。

【００３６】

【実施例】バーチャルリアリティとは、コンピュータによって作りだされた仮想的な世界による現実感のことである。 すなわち、視野のすべてを覆う表示装置と体の動きをモニタするセンサをを用い、三次元ＣＧによって表現された仮想的な世界の中に自分の動きをシミュレーションすることにより、仮想的な世界を疑似体験するものであることは先に述べた通りである（図１）。 このシステムに基づいて本発明の実施例を詳細に説明する。

【００３７】実施例１では、図１のシステムを基本にして、大きな首振りに対し高速に対応するバーチャルリアリティシステムについて説明する。 図２は、首振り時の処理について、簡単に示している。 現在の正面方向を常にθ＝０とし、水平方向の回転をΔθで表す（図２
（ｂ））。 また、水平面と視線の成す角をψとし、垂直方向の回転をΔψとする（図２（ｃ））。 このとき、ψ
が大きければディスプレー上での対象点の移動はあまり大きくないが、θが小さくなるに従って（回転角Δθに比例して）ディスプレー上の移動量は大きくなる。 単位時間に画面上を移動する大きさが大きくなると、少しの時間遅れでも感覚的に大きな不快感をもたらすが、細かい認識をする能力はないため、このような場合、画面の全体的な動きを首の回転にリンクさせれば実用上十分である。 特にψ≒０の場合、図２（ａ）のように対象は左右平行に移動する。 従って、ψが小さいくΔθとΔψが相応な水準であれば、既に生成された描画を平行移動することで、近似的に首の回転を表現できる。

【００３８】そこで、図３に示したように、視点Ｂでの情報に基づいて生成されたＣＧ画像が出力されるとき、
その位置関係を最も新しい位置情報（視点Ｃでの情報）
によって補正することために、図５のような装置を考える。

【００３９】図５では、図１の処理装置１３に対応する装置を具体的に示している。 中央処理装置１０１は、例えば高性能マイクロプロセッサを中心にして、メモリその他を含む、通常のワークステーション（ＷＳ）に相当する部分である。 中央処理装置１０１のメモリ上に仮想世界の形状データが保存されており、中心のＣＰＵでは形状モデリングおよび相互関係シミュレーションを実行する。 描画プロセッサ１０２および主画像描画フレームバッファ７は、三次元ＣＧ作成のための装置であり、これと中央処理装置１０３と組合せたものは、一般にグラフィックスＷＳ（ＧＷＳ）と呼ばれる。 本実施例では、
このようなＧＷＳの基本構成に、副画像フレームバッファ１０４およびアクセス制御装置１０５・出力画像選択装置１０６を付加する。 そして、一定の条件（首が大きく回転する）の入力では、処理を副画像の操作に移す。

【００４０】図５の各装置のうち、中央処理装置１０１
・描画プロセッサ１０２・主画像フレームバッファ１０
３および主画像フレームバッファ１０４、さらにはビデオコントローラ１０７・ディスプレ１６は既に公知の装置を利用すれば足りる。 そこで、アクセス制御装置１０
５および出力画像選択装置１０６の実現例について図６
および図７で説明する。

【００４１】図６はアクセス制御装置１０５の具体例について示す。 本実施例では、副画像フレームバッファはディスプレーの画素数の数倍の画像データを管理する。
そして、与えられた位置情報に基づきアクセスする範囲を決定する。 図６（ｂ）はその基本概念を示している。
今、ディスプレーの縦および横の画素数を Nx, Ny とする。 平行移動原理に基づく場合、それより広範囲の副画像（メモリ上に画像データとして保持する）を生成する。 副画像データは主画像（すなわちディスプレで表示される画像）同じ視野領域（縦および横の画素数を nx,
ny）を中心にし上下左右に伸長させる。 大きな動作が加えられた場合、その動作に応じて平行移動させるが、
これは副画像データから必要なデータを抽出・出力することで実現する。

【００４２】この操作を高速に実行するために、例えば図６（ａ）のような装置構成を考える。 信号線１１１によって伝達された制御情報およびセンサ情報は、主画像アクセス制御回路１１８およびセンサ情報解析装置１２
０に入力される。

【００４３】主画像側アクセス制御回路１１８は、通常の（画素数と対応する量の画像情報を持つ）フレームバッファを制御するものであり、公知の装置を利用できる。 しかし、副画像側フレームバッファにアクセスする場合、アクセスするアドレスが一様にならない。 仮に副バッファのアドレスを左上から順に１，２，…とすると、必要なフレームにアクセスする場合、１から nx まで、少し飛んで Nx+1 からNx+nx までというように、そのままでは連続的にアクセスできない。 通常のフレームバッファは連続的にアドレスが割り振ってあることが前提であるから、通常のフレームバッファに少々手を加える必要がある。 そこで、本実施例では制御回路１１９を同様に公知の装置を利用する場合、ルックアップテーブルによるアドレス変換装置１２１を用いて、実際の飛び飛びのアドレスに変換し、さらにこれと移動情報に基づく画像移動情報を加算器１２２により加算する。 この方式では、通常のフレームバッファと同様に取り扱える。

【００４４】例えば、図６（ｂ）のように横の移動量が
Vx, 縦の移動量が Vy の事例に対しては、アドレス変換装置１２１の出力に、Vx+Nx*Vy を単純に加算することで計算できる（実際は、１画素に必要なデータ量との積になる）。

【００４５】図７は出力画像切替の例について示す。 通常、フレームバッファから画像を出力する場合、一旦シフトレジスタヘ転送し、そこから１ビットづつビデオコントローラへ転送する。 本実施例では、このシフトレジスタからビデオコントローラへの転送経路に画像切替装置を挿入し、出力画像をコントロールする。

【００４６】すなわち、信号線１１５によって伝達された切替情報を、フラグメモリ１２３へ格納する。 信号線１１４によって伝達された制御信号に基づいて、画像情報切替装置１２１は切替制御を行う。 この様子を図７
（ｂ）に示す。 この図では、1/f ごとに新しい画像となるが、画像が更新されるごとに同期をとる（例えば、各画像が更新時に信号をおくり両者の同期をとる）切り替えはこのタイミングで実行する。 この図では、画像が一フレーム更新される時間を k とし、k=0 で副画像である場合を例示している。 k=1 と k=2 との中間でフラグが設定されても、ここでは切り替わらず、k=2 において画像が次のフレームの更新されるタイミングで画像を主画像へ変更する。 すなわち、切替情報は一旦フラグメモリ１２３に格納し、切り替え時に参照してフラグが設定されていた場合にのみ切り替えを実行する（マイコンのリード端子のように、情報が設定されている時に限って出力可能な構成とする）。 実際は、フレーム更新時のキャリー信号を認識して切替処理を実行させることになる。

【００４７】図８には、実施例１の一連の処理ステップを示している。 主プロセッサにおいて、入力されたセンサ情報を解析し（ステップ１３１）、自分の位置を解析する。 そして、その位置情報１２６に基づきモデルを修正する（ステップ１３２）。 これは、一般のバーチャルリアリティシステムと共通である。 さらに、本発明では位置情報を解析し（ステップ１３３）、それに基づき出力する画像を選択（ステップ１３４）し、仮に副画像出力を選択したあ場合、その移動量を決定する（スッテプ１３５）。 描画プロセッサで、ＣＧを作成するのは通常のＧＷＳと同様であるが、主画像・副画像が並列に実行処理される。 これらのデータは、いずれか一方だけが選択されて（ステップ１３７）、画像として出力される（ステップ１３８）。

【００４８】図９では、図８で示した処理ステップのうち、画像選択および出力切り替えの実行ステップに関して、より具体的に示してある。 。 位置情報１２６から、
ステップ１４０で首の回転パラメータであるθとψを入力する。 そして、ステップ１４１においてΔθi, Δψ
i, Δ ² ψ を計算する。 ステップ１４３の首振り条件の判定では、例えば、条件判定のための評価関数ｆ(Δθ
i，Δψi)を設定し、その符号によって判定する。 これらの情報を、ステップ１４２で画像選択装置に入力するが、特に切り替えの判定に関しては、専用のフラグメモリ（図７（ａ）装置１２３）に格納する。 ステップ１４
３では、この専用メモリのフラグをテストすることで出力変更評価を行う。 ステップ１４４でフラグが認識されれば、ステップ１４５のデータバス切り替えを行った後にステップ１３８の選択出力系のバッファアドレス計算を行い、フラグが認識されなければ、そのままステップ１３８を実行する。 このアドレスに基づき画像データ１
３０から必要な情報を取り出して、画像出力１３９を生成する。

【００４９】一連の処理を時系列で見ると図１０ようなになる。 現在を基準にして時間 tをt=kT (k=0,±1,±2・
・・) で表現し、センサ入力 (≡ S(k)) によって更新された形状モデルを M(k) とする。 ここで、サンプリング間隔は、一般に画像更新周期1/f よりも大きい。 つまり、１サンプリング間隔あたり、複数回（一般に十数回）更新されることを想定する。 従来方式（および本発明における通常の実行）では、形状モデル M(-1) をセンサ入力 S(0)［状態１４６］で修正した M(0)［処理１
４７］に基づき画像 M(0)［状態１４８］を生成するが、本発明（首振り対応時）では、形状モデル M(-2)
をセンサ入力 S(-1)［状態１４９］ で修正した M(-1)
［処理１５０］ を利用し、M(-1)［処理１５０］ に基づき生成した画像を、センサ入力 S(0)［状態１５１］
によって修正し、出力画像として利用する（画像出力 P
(0+)［状態１５２］）。 この画像は、バックグラウンドで常に作成し、必要に応じて選択する。 通常実行時の場合、移動に対する時間遅れと形状変化に対する時間遅れとは、共に Ｔ である。 これに対し、首振り対応時（ψ
が大きい場合を除く）では、k=-1 でのセンサ入力に対応する画像出力をバックグラウンドで生成し、k=0 でのセンサ入力で出力画像を移動させ出力する。 この場合、
形状変化の時間遅れは Ｔ＋t′ と大きくなるが、移動に対する時間遅れはt′ となり、相当小さくできる。

【００５０】実施例２では、図１１に示すようなバーチャルリアリティシステムについて説明する。 この例は、
形状処理・主画像描画処理・副画像描画処理・副画像移動解析処理に専用のプロセッサ（中央処理装置２０１・
副画像移動解析用プロセッサ２０２・主画像描画プロセッサ２０３・副画像描画プロセッサ２０５）を割当て、
パイプライン的処理をすることで、センサのサンプリング間隔を短くしている（図１２で詳述する）。 図１２では、この処理処理経過を示してある。 先ほどの例と同様に、現在を基準に時間 t を t=k′T (k′=0,±1,±2・・
・) で表現し、センサ入力(≡ S(k)) によって更新された形状モデルを M(k) とする。 また、t=kTにおける生成画像を P(k) とする。 実施例１と比較すると、サンプリング周波数を２倍にしている。 もっとも計算時間はプロセッサの能力に依存するため、（実施例１と同等のものを利用すると）２ステップ必要となる。 この事例は、時間遅れについては基本的にはかわらないが、画像品質を向上させる（単位時間あたりの画像更新回数が２倍となる）ことが可能である。 このような事例でも、本発明を適用できる。

【００５１】図１３では、通常実行から首振り実行への移行を示している。 k′=0 での位置情報により出力切り替えが指示される（フラグが設定される）場合、その後で来た最初のキャリー信号で切り替えが実行される。 すなわち、本来ならば、プロセス２１８の一連の処理が実行された後には、プロセス２１９の処理が実行されるが、首振り対応時ではプロセス２１８に加え、センサ入力 S(0)［状態２１５］により補正し、画像出力を P(0
+)［状態２２１］を出力する。

【００５２】この場合、切替時にすでにプロセス２１９
の実行は開始されているが、出力画像 P(1)［状態２１
４］は出力しない。 図１４は、この一連の処理を時系列で表現してある。 この図は、それぞれの画像出力が何時のセンサ情報に基づいて生成されたものかを示している。 例えば、画像出力 P(0)［状態２１１］ は動きの情報が S(-2) 形状の情報が S(-2) であるが、これは画像出力 P(0)［状態２１１］が、先に示したプロセス２１
８（図１３）において、S(-2) に基づいて生成されたことを示す。 また、画像出力 P(0+)［状態２２１］ は動きの情報が S(0)形状の情報が S(-2) であるが、これは画像出力 P(0+)［状態２２１］が、先に示したプロセス２２０（図１３）において、S(-2) に基づいて生成された画像がS(0) によって位置の修正されていることを示している。

【００５３】今、画像出力 P(1)［状態２１１］ が出力された場合の整合性について検討する。 この画像は、
k′=-1 の位置および形状を反映しているが、既に出力された画像出力 P(0+)［状態２２１］は、形状は k′=-
2 の情報を反映しているが、位置は、k′=0 の位置情報を反映している。 従って、位置に関しては出力画像 P(0
+) と P(1) との間で逆戻りが生じてしまう。 そこでこの出力を生成せず画像の切り替えを実行する。 この場合、k′=1 の前で既に出力が切り替わっているため、このような不整合は生じない。

【００５４】これとは逆に、図１５では首振り実行から通常実行への移行を示している。 これを時系列で表現すると、図１６のようになる。 この図１６からわかるように、仮に k′=0 での位置情報により出力切り替えが指示された後、すぐに切り替えの実行を行う（P(1)が出力される）と動きで逆戻りが生じる。 そこで、この問題を解決するために、すぐに切り替えを実行せず、さらにあと一度副画像を出力する。 そして、画像出力 P(2) と整合させるために、逆戻りが生じないように P(0+), P(1
+) を補正する。 この補正は、P(2) が S(0) の位置を示していることから、 P(0+), P(1+) を S(0) と S(-1)
の中間の位置を反映するように、移動量を抑制する。 そして、P(1+) が出力された後に出力切り替えを実行する。

【００５５】図１７、図１８では、この処理のステップについて示す。 ステップ１３３およびステップ１３４
は、基本的に実施例１と同じである。 ステップ２２６では切り替えフラグのかわりにセマフォを用い、通常から首振りへの移行には負値（−１）を、首振りから通常への移行切り替えを遅れせる分だけ値を増加させた正値（本実施例では３に設定）を設定する。 ステップ２２７
・２２８およびステップ１３８は、実施例１と共通である。 ステップ２２９は、図１８に詳細を示している。 ステップ２３０では、セマフォ（出力制御変数）をチェックし、２より大きければ、ステップ２３３でセマフォをディクリメントし、ステップ２３４で移動量補正する。
移動量補正はその回数に応じて調整するため、セマフォの関数として定義する。 セマフォが負（通常から首振りへの移行）あるいは１（首振りから通常へ設定回数だけウエイトした）場合、ステップ２３１により出力バスを切り替え、ステップ２３２によってセマフォを初期化する。

【００５６】移動補正量については、さまざまな補正が考えられるが、最も簡単なものとしては、Δ ² θが大きい場合 S(0) に近くし、逆に小さい場合 S(1) に近くなるように補正式を定義する。 なぜなら、図１８（ｂ）に示すように、Δ ² θが大きい場合、すぐにΔθが０になる（動きがとまる）恐れが強く、この場合、P(0+), P(1
+) の画像が P(2) と殆ど同じ方が（動きが抑制された方が）好ましいからである。 しかし、Δ ² θ が小さければ、まだ動き続けることが予想されるために、画像が滑らかに変化することが望ましく、従って P(0+), P(1+)
での画像移動量は抑制される方が望ましいからである。
また、経験を重視してファジイ推論を応用することも可能である（入出力の関係をテーブルにしておくことで、
ＬＵＴにより容易に実現できる）。

【００５７】実施例３では、主な対象の描画と背景の描画を別々に作成し、最後に合成する方式のＶＲシステムの実施例である。 首を回転させた場合、図４に示したように、すぐ近くの物体（以下、近接物体）と遠方の物体（以下、背景物体）とではスクリーン上で物体が見かけ上移動する距離が異なる。 特に、ユーザが特定の対象を凝視続けることの多い対話型システム（特定の相手・対象との関連で意味を持つようなシステム）では、その対象と背景の相対的な関係をより正確に表現することが望まれる。 そこで、このように対象を特定するような利用（例えば、ゲームあるいは訓練とかで、特定の相手・対象を仮定する）に対応するために、特定の対象の描画の質を向上させるためのものである。

【００５８】このように、その特定の相手・対象（以下、主対象）およびその周囲の描写は精細であることが望ましい。 しかし一方、限られた計算機資源でシステムを構築する場合、プロセッサの能力などに限界がある。
そこで、対象のみを精細に描画し（当然計算量は大きくなる）、背景は多少画質をおとしてでも少ない計算の処理を実行し、最後に合成するＶＲシステムも必要となろう。 以下、このようなＶＲシステムに本発明を適用した実施例３を説明する。

【００５９】図１９は、本実施例の処理装置について示してある。 中央処理装置３０１は、先に示した実施例と同様に、センサ入力の処理（位置情報の生成）および形状データの更新を行う。 主対象描画プロセッサ３０２
は、中央処理装置３０１からは対象の形状データを受取り、そこで生成された画像データを主対象画像データバッファ３０５に格納する。 同様に、背景映像描画プロセッサ３０４には、対象以外の全ての形状データを送り、
そこで生成された画像データを背景画像データバッファ３０７に格納する。 一方、映像移動解析プロセッサ３０
３では、ユーザの位置変化に対応する主対象画像および背景画像の移動を解析し、それぞれの移動量を計算する（後述）。 生成されたそれぞれの画像は、出力画像合成装置３０６で合成され、フレームバッファ３０８に送られる。 以下、シフトレジスタ３１０及びビデオコントローラ３０９を経てディスプレーに送られるが、この一連の処理は通常のシステムと同じである。

【００６０】図２０では、実施例３の処理手順を示してある。 主プロセッサでの処理は、実施例１と全く同じである。 しかし、実施例３では描画系そのものを２系統に分け、主対象の画像生成と背景画像の生成のプロセスを分離している。 主対象画像生成３２１では、与えられた形状モデルから主対象の三次元モデルのみを抽出して描画する。 一方、背景画像生成３２２では中央処理装置３
０１で更新された形状モデルから主対象を取り除いたモデルに基づき描画する（あるいは、主対象の影など考慮する場合は影そのものをモデルで表現する）。 中間生成画像データ３２３は、それぞれの画像を別々に保持され（具体的には、主対象画像データバッファ３０５および背景映像画像データ３０７にそれぞれ格納する。）それぞれが画像合成装置３０６に伝送され画像合成３２４が実行される。 ここで合成された画像データはフレームバッファ３０８、シフトレジスタ３１０及びビデオコントローラ３０９を経てデータ伝送線１８経由でヘッドマウントディスプレーに伝送されるが、この一連のプロセスを画像の出力３２５で示す。

【００６１】図２１では、図２０の処理手続きのうち描画処理系に係わる部分をさらに具体的に説明してある。
形状モデルの入力３２７では、中央処理装置３０１からモデルのパラメータを主対象描画プロセッサ３０２および背景映像描画プロセッサ３０４に伝送する。 主対象プロセッサ３０２では、主対象の位置を計算（中央処理装置３０１に計算させた値を確認する方法も可）し、それに基づいて描画データを作成する。 背景描画プロセッサ３０４では、背景の画像を生成する（背景の画像生成ステップ３２２）。 これらは、一旦それぞれのフレームバッファに蓄えられてから、出力合成装置へ伝送される。
ここでは、主対象画像データを各画素ごとに評価（０か否かのビットテストを実行するだけでよい）し、０でなければそのデータを転送し（主対象画像を出力するステップ３３２）、０であれば同じスクリーン上の座標の背景画像の画素データを転送する（背景画像を出力するステップ３３３）ことにより、主対象画像と背景画像を合成する（フレームバッファへの転送のステップ３３
４）。 この転送されたデータはフレームバッファ３０８
に保存され、その後は通常の画像表示装置の例に従ってフレームバッファから出力される（フレームバッファへのアクセス処理３２６）。

【００６２】図２２には、出力合成装置３０６を具体的に示している。 主対象画像バッファあるいは背景画像バッファに格納されている画像データを、データレジスタ３３５ (R0) あるいはレジスタ３３７ (R1) に送り、画像合成演算装置３３６によって両者を合成する。 主対象画像データバッファには、主対象の像がある領域（画素）に関しては各画素の画像データ、主対象の像がない領域（画素）に関しては０が入力されるように実現する。 このように、スクリーン上同じ位置に存在する画素データを比較し適宜選択することで、高速に主対象画像と背景画像の合成が可能である。

【００６３】また、主対象の位置に関しては、背景を基準とした相対関係によって評価する。 図４は、近接物体と背景の相対関係を示している。 図４（ｂ）のように視点がP1(orP1′)から P2 へ移動した場合、近接対象Ａと背景対象Ｂの視差（スクリーン上の距離は、視差＊映像距離で換算される（図２参照））を考える。 回転前の視差を α とし、回転後の視差を β とする（ここで、背景の対象は近似的に距離 Ｒ にすべてあり、Ｒ＝∞ のときの回転後の視差を γ、β と γ のずれγ−β を
δ とする）。 また、P1, P2 から近接対象Ａへ引いた線と背景（を含む平面）との交点を、それぞれ M1, M2 とする。 また、P2 から背景平面に下ろした足を MH とする。

【００６４】図４（ａ）には、β の導出について簡単に説明している。 Ａから直線 P1P2に下ろした足を Ｈ
とする。 回転前の目の位置（P1′）における視差 α は既知であるとして、まずγ（∠ＡP2MH）を求める。 ＡＨ
と P2MH とは平行であるから、∠ＨＡP2＝γ である。
従って(△ＡＨP2 に着目すると）、γは

【００６５】

【数６】

【００６６】となる。 また、δは言うまでもなく

【００６７】

【数７】

【００６８】となる。

【００６９】Δθが十分小さく、Ｒが十分大きいければ、sin(Δθ)≒０， １／Ｒ≒０ となることから、結局β（β＝γ−δ）は、

【００７０】

【数８】

【００７１】によって求められる。 この式は、三角関数および逆三角関数を用いているため、直接（テーラー展開などを用いて）実行すると効率はよくない。 しかし、
α やθ などは、多くの場合８ビット程度で表現されるため、これらを予め計算し配列で定義しても、それほどメモリを必要としない。 従って、式の実行にはあまり負担とはならない。 尚、実際の処理は、実施例１および実施例２と同様に処理（移動量を計算した後に画像を合成する）をすればよい。

【００７２】

【発明の効果】本発明により、従来の処理能力のハードウェアを用いたシステムで、従来以上に高速に動きに追従するシステムの構築が可能となる。

【図面の簡単な説明】

【図１】現在実用化されているバーチャルリアリティ装置の一例を示した図である。

【図２】図１のシステムにおいて頭を回転させた場合の、スクリーン上での対象の移動と頭の動きの関係を説明するための図である。

【図３】本発明の基本原理説明するため、図３（ａ）で画像生成の時間遅れによりずれを生じる様子を示した。
図３（ｂ）で、本発明による補正の原理とその効果を示した図である。

【図４】頭を回転させた場合の近接物体と背景の相対関係（位置のずれ）とその計算方法を説明する図である。

【図５】図１のバーチャルリアリティシステムを前提とした（によって構成した）実施例１に関して、中央処理装置１３を具体的に説明した図である。

【図６】実施例１のアクセス制御装置１０５を具体的に説明した図である。

【図７】実施例１の出力画像切替装置１０６を具体的に説明した図である。

【図８】実施例１の全体的な処理手順を説明した図である。

【図９】実施例１の処理手順のうち、本発明の重要な要素に係わる部分をさらに具体的に説明した図である。

【図１０】実施例１の通常時の処理（従来の処理）と首振り対応時の処理（本発明の処理）との処理手順を比較した図である。

【図１１】図１のバーチャルリアリティシステムを前提とした（によって構成した）実施例２に関して、中央処理装置１３を具体的に説明した図である。

【図１２】実施例２の処理経過（通常時）の説明の図である。

【図１３】実施例２の処理経過（切替時）の説明の図である。

【図１４】実施例２の画像経過（切替時）の説明（その１）図である。

【図１５】実施例２の画像経過（切替時）の説明（その２）図である。

【図１６】実施例２の画像経過（切替時）の説明（その１）図である。

【図１７】実施例２の処理手順のうち、本発明の重要な要素に係わる部分をさらに具体的に説明した図である。

【図１８】図１７の処理手順のうち、本発明の重要な要素に係わる部分をさらに具体的に説明した図である。

【図１９】図１のバーチャルリアリティシステムを前提とした（によって構成した）実施例３に関して、中央処理装置１３を具体的に説明した図である。

【図２０】実施例１の全体的な処理手順を説明した図である。

【図２１】実施例１の処理手順のうち、本発明の重要な要素に係わる部分をさらに具体的に説明した図である。

【図２２】実施例３の出力合成装置３０６を具体的に説明した図である。

【符号の説明】

１１…位置センサ，１２…曲がりセンサ，１３…（情報）処理装置，１４…立体カメラ，１５…グローブ型センサ，１６…ヘッドマウントディスプレー，１７…大画面ディスプレー、１０１…中央処理装置，１０２…描画プロセッサ，１０３…主画像フレームバッファ，１０４
…副画像フレームバッファ，１０５…アクセス制御装置，１０６…出力画像選択装置，１０７…ビデオコントローラ，２０１…中央情報処理装置，２０２…副画像移動解析用プロセッサ，２０３…主画像描画プロセッサ，
２０４…アクセス制御装置，２０５…副画像描画プロセッサ，２０６…主画像フレームバッファ，２０７…出力画像選択装置，２０８…副画像フレームバッファ，３０
１…中央処理装置，３０２…主対象描画プロセッサ，３
０３…映像移動解析プロセッサ，３０４…背景映像描画プロセッサ，３０５…主対象画像データバッファ，３０
６…出力画像合成装置，３０７…背景画像データバッファ，３０８…フレームバッファ，３０９…ビデオコントローラ，３１０…シフトレジスタ