【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、円筒映像球面映像用コントロール装置に関し、特に、頭部の左右の傾き角度を示すロール角の変換出力を仮想的にヨーレートとして使用することにより３６０°の任意方向の映像を観察する円筒映像球面映像用コントロール装置に関する。

【０００２】

【従来の技術】従来例を図５および図６を参照して説明する。 図５（ａ）は円筒映像の例を示す図であり、図５
（ｂ）は球面映像の例を示す図である。 図６はヘッドトラッカーおよびヘッドマウントディスプレイを説明する図である。 １はヘッドトラッカーであり、人体の頭部Ｈ
に取り付けられている。 このヘッドトラッカー１は、頭部Ｈの姿勢を規定するロール角φ、ピッチ角θ、ヨー角ψを計算して頭部の向きを検出する。

【０００３】５はヘッドマウントディスプレイである。
このヘッドマウントディスプレイ５は、観察者の左右両目にＣＲＴ或いは液晶ディスプレイを装着し、観察者に平面映像或いは立体映像を提供するゴーグル型の映像表示装置であり、眼前のディスプレイ５の画面があたかも前方に大きなスクリーン３が存在するかの如くに拡大して表示することができる装置である。 実際には存在しないが存在するのと同等の仮想現実であるバーチュアルリアリティ（Virtual Reality ）においては、一般に、頭部Ｈの動きに対応して変化する頭部Ｈの姿勢を規定する情報をヘッドトラッカー１から得て、これにより頭部Ｈ
の向きに対応した映像をヘッドマウントディスプレイ５
に表示する。 即ち、頭部Ｈの姿勢を規定する情報をヘッドトラッカー１から得てこの情報を図示されない中央処理装置を介してヘッドマウントディスプレイ５に帰還し、頭部Ｈの姿勢を規定する情報に対応する向きの映像をヘッドマウントディスプレイ５に入力する。

【０００４】図７を参照して映像コントロール装置を更に具体的に説明するに、これはヘッドマウントディスプレイ５、このヘッドマウントディスプレイ５と一体構造化された４軸の不可視光線発光器６ａ、スクリーン３、
固定の赤外線カメラ７'、ヘッドマウントディスプレイ５の視線方向のスクリーン座標系を求める表示座標算出器８より成る。 不可視光線発光器６ａを一体構造化したヘッドマウントディスプレイ５の視線方向のスクリーン３上には、不可視光線発光器６ａからの４本の不可視光４１が投光され、スクリーンから４本の光として反射される。 また、赤外線カメラ７'は、予めその撮像範囲をスクリーン３と一致せしめられている。 赤外線カメラ７'はスクリーン上の４点の不可視光４２を検知し、その不可視光を電気信号に変換し、変換後の信号をビデオ信号として表示座標算出器８へ送信する。 表示座標算出器８は、入力されたビデオ信号をもとに４点ある不可視光の中心をスクリーン座標系に置換する。 また、表示座標算出器８は撮像座標系と４点の不可視光の傾きから、
ヘッドマウントディスプレイ５の回転角を算出する。

【０００５】ここで、中央処理装置９は、得られた中心座標と補正回転角に基づいてヘッドマウントディスプレイ用画像発生器４に更新した描画指示を送出する。 そこで、ヘッドマウントディスプレイ用画像発生器４は、この更新描画指示を処理し、処理後の画像をヘヅドマウントディスプレイ５に表示する。 なお、ヘヅドマウントディスプレイ５の拡大率は図示されないヘッドマウントディスプレイユニットから情報を得て可変とすることができる。 以上の通り、ヘッドマウントディスプレイ５を使用して円筒映像或いは球面映像の一部を原寸或いは拡大して観察する映像コントロール装置は、図７により図示説明される如く、不可視光線発光器６ａ、固定の赤外線カメラ７'、表示座標算出器８を具備して頭部Ｈの姿勢を規定する情報を得ることができる。 或いは、図６により図示説明される如く、頭部Ｈの姿勢を規定するロール角φ、ピッチ角θ、ヨー角ψを計算して頭部の向きを検出することができる。 頭部Ｈの姿勢を規定する情報を得る手法としてこれら以外に多種類の手法が開発されている（詳細は、特開２０００−３４８１９８号公報 参照）。 更に、ヘッドマウントディスプレイ５の映像の向きは、以上の通りに自動的に選択する代わりに、手で操作するジョイスティック、方向キーその他のコントローラを使用しても選択することもできる。

【０００６】

【発明が解決しようとする課題】頭部Ｈの動きに対応して変化する頭部Ｈの姿勢を規定する情報を得てこれにより円筒映像或いは球面映像の内の頭部Ｈの向きに対応した一部をヘッドマウントディスプレイ５に表示する円筒映像球面映像コントロール装置は、何れも、観察者が見たい方向の映像を見るには頭部Ｈをその向きに回動しなければならない。 例えば、現在の姿勢の背後の映像を見るには頭部Ｈを実際に後ろに向ける動作をする必要がある。

【０００７】そして、図７により図示説明される円筒映像球面映像コントロール装置は、頭部Ｈの姿勢を規定する情報を得るに、不可視光線発光器６ａ、固定の赤外線カメラ７'、表示座標算出器８を必要とする。 ところで、手で操作するジョイスティック、方向キーその他のコントローラを使用することにより映像の移動方向を入力制御して必要な向きの映像を観察することができるが、ヘッドマウントディスプレイ５を装着した状態でこれらコントローラを操作するのはそれ程容易ではない。
シースルータイプではないヘッドマウントディスプレイ５を装着している様な場合、常にコントローラを把持していないと、コントローラの所在がわからなくなる。

【０００８】この発明は、構成が簡単で頭部の最小限の動作で全方向の映像を観察することができる上述の問題を解消した円筒映像球面映像用コントロール装置を提供するものである。

【０００９】

【課題を解決するための手段】請求項１：画像発生器４
の発生する画像信号をヘッドマウントディスプレイ５に入力して円筒映像或いは球面映像を観察する円筒映像球面映像コントロール装置において、頭部Ｈの前後方向の傾斜角であるピッチ角θを検出し、頭部Ｈの左右の傾き角度を示すロール角φを検出し、検出したロール角φを頭部Ｈの水平面内における回転角速度に対応するヨーレートωに変換出力し、ヨーレートωを積分してヨー軸回りの回転角度であるヨー角ψとして出力し、ピッチ角θ
およびヨー角ψに基づいて映像の表示角度を算出することにより任意方向の映像を観察する円筒映像球面映像コントロール装置を構成した。

【００１０】そして、請求項２：請求項１に記載される円筒映像球面映像コントロール装置において、中央処理装置９を具備し、側頭部にＹ加速度計１０ _Yを取り付けると共に前頭部にＸ加速度計１０ _Xを取り付けた姿勢角検知部７を具備し、Ｘ加速度計１０ _Xの検出する重力加速度信号Ａ _Xに基づいて頭部Ｈの前後方向の傾斜角であるピッチ角θを計算すると共にＹ加速度計１０ _Yの検出する重力加速度信号Ａ _Yに基づいて頭部Ｈの左右方向の傾斜角であるロール角φを計算出力する姿勢角計算部３
０と、ロール角φを入力してヨーレートωに変換出力するφ−ω変換処理部５０と、ヨーレートωを積分してヨー軸回りの回転角度であるヨー角ψを出力する積分処理部６０とを有する表示角度算出器８０を具備し、中央処理装置９は表示角度算出器８０から入力されるロール角φおよびヨー角ψに基づいて画像発生器４に送出する画像信号を更新する円筒映像球面映像コントロール装置を構成した。

【００１１】また、請求項３：請求項２に記載される円筒映像球面映像コントロール装置において、姿勢角計算部３０とφ−ω変換処理部５０の間に不感帯設定部４０
を介在させてロール角φに不感帯を付与する円筒映像球面映像コントロール装置を構成した。 更に、請求項４：
請求項２および請求項３の内の何れかに記載される円筒映像球面映像コントロール装置において、φ−ω変換処理部５０において変換処理結果にヨーレートを調整する定数であるヨーレート調整ゲインＫを積算付与する円筒映像球面映像コントロール装置を構成した。

【００１２】また、請求項５：請求項２ないし請求項４
の内の何れかに記載される円筒映像球面映像コントロール装置において、更にＺ軸ジャイロ７０ _Zを具備し、Ｚ
軸ジャイロ７０ _Zから出力されるヨーレートを積分して求めたヨー角ψをロール角φから変換して求めたヨー角ψに加算部８０１において加算して出力する円筒映像球面映像コントロール装置を構成した。 更に、請求項６：
請求項２ないし請求項５の内の何れかに記載される円筒映像球面映像コントロール装置において、Ｙ加速度計１
０ _YおよびＸ加速度計１０ _Xのそれぞれと姿勢角計算部３０の間に低域フィルタ２０を介在させた円筒映像球面映像コントロール装置を構成した。

【００１３】そして、請求項７：請求項２ないし請求項５の内の何れかに記載される円筒映像球面映像コントロール装置において、更にＸ軸ジャイロ７０ _XおよびＹ軸ジャイロ７０ _Yを具備し、Ｘ加速度計１０ _Xの検出信号に基づいて求めたピッチ角θとＸ軸ジャイロ７０ _Xにより求めたピッチ角θとを加算出力し、Ｙ加速度計１０ _Y
の検出信号に基づいて求めたロール角φとＹ軸ジャイロ７０ _Yにより求めたロール角φとを加算出力する円筒映像球面映像コントロール装置を構成した。

【００１４】

【発明の実施の形態】この発明の実施の形態を図１および図２の第１の実施例を参照して説明する。 ７は姿勢角検知部であり、Ｙ軸方向である側頭部にＹ加速度計１０
_Yを取り付けると共にＸ軸方向である前頭部にＸ加速度計１０ _Xを取り付けて構成されている。 ８０は表示角度算出器であり、Ｘ加速度計１０ _Xの検出する重力加速度信号Ａ _Xに基づいて頭部Ｈの前後方向の傾斜角であるピッチ角θを計算すると共にＹ加速度計１０ _Yの検出する重力加速度信号Ａ _Yに基づいて頭部Ｈの左右方向の傾斜角であるロール角φを計算出力する姿勢角計算部３０
と、ロール角φを入力してヨーレートωに変換出力するφ−ω変換処理部５０と、ヨーレートωを積分してヨー軸回りの回転角度であるヨー角ψを出力する積分処理部６０より成る。

【００１５】これらＹ加速度計１０ _YおよびＸ加速度計１０ _Xにより検出した重力加速度信号Ａ _Yおよび重力加速度信号Ａ _Xは、それぞれの低域フィルタ２０ _Yおよび低域フィルタ２０ _Xを介して姿勢角計算部３０に接続される。 姿勢角計算部３０においては、重力加速度信号Ａ
_Xの大きさに基づいて頭部Ｈの前後方向の傾斜角であるピッチ角θを計算出力する。 この前後方向の傾斜角であるピッチ角θはそのまま出力される。 一方、頭部Ｈの左右方向の傾斜角であるロール角φは、重力加速度信号Ａ
_Yの大きさに基づいて計算出力される。 ここで、左右方向の傾斜角であるロール角φをφ−ω変換処理部５０に入力して変換処理：Ｆ（φ）を施し、得られた変換量を仮想的にヨーレートωとして変換使用し、この仮想的なヨーレートωを積分処理部６０に入力して積分し、これをヨー軸回りの回転角度であるヨー角ψとして出力する。 φ−ω変換処理部５０における変換処理：Ｆ（φ）
は、 ω＝Ｋｓｉｎ（φ） とすることができる。 但し、変換処理結果にヨーレートを調整する定数であるヨーレート調整ゲインＫを積算付与する。 観察者はＫを変更することにより頭部Ｈの傾け角度によるヨーレートを変更調整することができる。

【００１６】４０は不感帯設定部であり、得られたロール角φをφ−ω変換処理部５０に入力するに先だって、
ロール角φに不感帯を付与する部位である。 ロール角φ
に不感帯を付与することにより、ロール角φが０°付近、即ち、静止して画面を注視している場合における意図しないヨーレートの発生に起因する映像の移動を抑制することができる。 これらヨーレート調整ゲインＫおよび不感帯範囲については観察者がこれを設定する構成とし、これを不揮発性メモリに記憶しておくことにより、
円筒映像球面映像用コントロール装置は電源ＯＮ時から観察観自身に最適な設定で直ちに使用することができる。

【００１７】中央処理装置９は、表示角度算出器８０から入力される頭部Ｈの前後方向の傾斜角であるピッチ角θと頭部Ｈのヨー軸回りの仮想的な回転角度であるヨー角ψに基づいて更新した表示画像位置を画像発生器４に送出し、画像発生器４はこの表示画像位置に対応する画像信号を発生してヘッドマウントディスプレイ５に送信することにより、円筒映像および球面映像について任意方向の映像を観察することができる。 第２の実施例を図３を参照して説明する。

【００１８】第２の実施例は、第１の実施例においてヨー軸にＺ軸ジャイロ７０ _Zを追加した円筒映像球面映像用コントロール装置に相当する。 Ｚ軸ジャイロ７０ _Zから出力されるヨーレートを積分することにより、観察観の実際の頭の向きを示すヨー角ψを検出することができるところが第１の実施例とは異なるところである。 このヨー角ψと第１の実施例においてロール角φから変換して求めたヨー角ψとを加算部８０１において加算することにより、観察観がロール角φを伴なわないで水平面内で頭を回転させた場合の動きに対しても対応することができ、観察者にとってより取り扱い易い円筒映像球面映像用コントロール装置とすることができる。

【００１９】第３の実施例を図４を参照して説明する。
第３の実施例は第２の実施例に、更に、Ｘ軸ジャイロ７
０ _XおよびＹ軸ジャイロ７０ _Yを追加した円筒映像球面映像用コントロール装置の相当する。 第１の実施例および第２の実施例においては、傾斜角をＹ加速度計１０ _Y
およびＸ加速度計１０ _Xによる検出信号のみに基づいて計算しているところから、頭部Ｈの動きによる加速度変動がすべて姿勢角に現われ、好ましくない。 これを抑制するに、低域フィルタ２０ _Xおよび２０ _Yを介在させているが、この場合、低域フィルタの介在に起因して応答特性性が低下する。 そこで、第３の実施例は加速度計にジャイロを組み合わせて姿勢角を検出している。 これにより頭部Ｈの周波数の高い速い動きに対してジャイロ７
０が応動して検出し、ジャイロ誤差による角度ドリフトを加速度計による傾斜角で補正する。 これにより、第１
の実施例および第２の実施例と比較して、総合的に応答特性に優れた円筒映像球面映像用コントロール装置を構成することができる。

【００２０】

【発明の効果】以上の通りであって、この発明によれば、加速度計により重力を測定して頭部Ｈの前後方向の傾斜角であるピッチ角θを検出すると共に加速度計により測定した重力を水平面内の回転角速度であるヨーレートωに変換してこれを積分して水平面内の回転角であるヨー角ψを検出することにより、廉価な加速度計を使用した比較的に簡単な構成により任意の方向の映像を観察することができる。 そして、ロール角φをヨーレートに変換するヨーレート調整ゲインＫを調整することにより観察者の意図に最も適した回転速度、即ち、映像の移動速度を簡単に調整することができる。 また、ロール角φ
が０°付近においてヨーレートωを０とする不感帯を設定することにより意図しない映像の移動を抑制することができる。

【００２１】更に、Ｚ軸ジャイロ７０ _Zを具備してこれから出力されるヨーレートを積分して観察観の実際の頭の向きを示すヨー角ψを検出し、これをロール角φから変換して求めたヨー角ψに加算することにより、観察観がロール角φを伴なわないで水平面内で頭を回転させた場合の動きに対しても対応することができ、観察者にとってより取り扱い易い円筒映像球面映像用コントロール装置とすることができる。 また、Ｘ軸ジャイロ７０ _XおよびＹ軸ジャイロ７０ _Yを具備してＹ加速度計１０ _YおよびＸ加速度計１０ _Xに組み合わせて姿勢角を検出することにより、ジャイロ７０が頭部Ｈの周波数の高い速い動きに応動検出し、ジャイロ誤差による角度ドリフトを加速度計による傾斜角で補正する構成を採用することにとり、第１の実施例および第２の実施例と比較して、総合的に応答特性に優れた円筒映像球面映像用コントロール装置を構成することができる。

【図面の簡単な説明】

【図１】第１の実施例を説明する図。

【図２】第１の実施例のブロック図。

【図３】第２の実施例を説明する図。

【図４】第３の実施例を説明する図。

【図５】円筒映像および球面映像を示す図。

【図６】従来例を説明する図。

【図７】他の従来例を説明する図。

【符号の説明】

１ ヘッドトラッカー １０ _X Ｘ加速度計 １０ _Y Ｙ加速度計 ２０ _X低域フィルタ ２０ _Y低域フィルタ ３ スクリーン ３０ 姿勢角計算部 ４ 画像発生器 ４０ 不感帯設定部 ４１ 不可視光 ５ ヘッドマウントディスプレイ ５０ φ−ω変換処理部 ６０ 積分処理部 ６ａ 不可視光線発光器 ７'赤外線カメラ ７ 姿勢角検知部 ７０ _X Ｘ軸ジャイロ ７０ _Y Ｙ軸ジャイロ ７０ _Z Ｚ軸ジャイロ ８ 表示座標算出器 ８０ 表示角度算出器 ８０１ 加算部 ９ 中央処理装置 Ｈ 頭部 Ｋ ヨーレート調整ゲイン θ ピッチ角 φ ロール角 ψ ヨー角 ω ヨーレート

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F105 AA10 BB08 BB17 5B087 BC05 BC12 BC13 DD03 5C082 AA00 AA21 BD01 BD02 CB01 DA87 MM08