首页 / 专利库 / 视听技术与设备 / 运动估计 / Haptic interaction method in augmented reality and system thereof

Haptic interaction method in augmented reality and system thereof

阅读:257发布:2021-08-01

专利汇可以提供Haptic interaction method in augmented reality and system thereof专利检索,专利查询,专利分析的服务。并且PROBLEM TO BE SOLVED: To remove noise in an actual image acquired by an image acquisition device for stable and smooth haptic interaction in an augmented reality. SOLUTION: A system includes: a visual rendering section including a marker detection part for accepting an input of an image for a real environment and detecting a marker, a marker position extraction part for extracting the position of a market, a noise removal part for removing noise from the marker position information, and a virtual object enhancement part for enhancing a virtual object corresponding to the marker at the marker position and outputting it; and a haptic rendering section including a movement estimation part for estimating the movement of the marker according to the time interval for haptic rendering based on the marker position information transmitted from the noise removal part, a collision detection part for detecting whether or not there is a collision between a virtual object corresponding to the marker position and an end point of a haptic device, a reaction force calculation part for calculating the reaction force provided from the haptic device. COPYRIGHT: (C)2009,JPO&INPIT,下面是Haptic interaction method in augmented reality and system thereof专利的具体信息内容。

  • ハプティックインタラクションを含む拡張現実システムであって、
    視覚レンダリング部とハプティックレンダリング部とを備え、
    前記視覚レンダリング部は、
    マーカーを含む現実環境に対する映像の入力を受け、前記映像中に含まれた前記マーカーを検出するマーカー検出部と、
    検出された前記マーカーの位置を抽出するマーカー位置抽出部と、
    前記マーカー位置抽出部によって抽出されたマーカーの位置情報からノイズを除去するノイズ除去部と、
    前記マーカーに対応する仮想オブジェクトを前記マーカーの位置に増強させて出力する仮想オブジェクト増強部とを含み、
    前記ハプティックレンダリング部は、
    前記ノイズ除去部から伝達された前記マーカーの位置情報に基づき、ハプティックレンダリングのための時間間隔に応じて前記マーカーの動きを推定する動き推定部と、
    前記動き推定部により推定された前記マーカーの位置に対応する仮想オブジェクトとハプティック装置のエンドポイント間の衝突有無を検出する衝突検出部と、
    前記衝突検出部の判断に応じ前記ハプティック装置を介して提供される反力を計算する反力計算部とを含んでなる拡張現実システム。
  • 前記ノイズ除去部は、
    初期値から連続的な予測と補正により、前記マーカーの位置情報からノイズをフィルタリングして予測する拡張カルマンフィルタである請求項1に記載の拡張現実システム。
  • 前記拡張カルマンフィルタにおいて、
    前記マーカートラッキングに対するモデルは、位置、速度、および加速度を含む状態ベクトルとマーカートラッキング過程で流入されるシステムノイズで表され、実際測定値に基づいて連続的に予測される請求項2に記載の拡張現実システム。
  • 前記拡張カルマンフィルタは、
    前記状態ベクトルの先験的予測値と誤差共分散の先験的予測値を初期条件から予測した後、カルマン利得を求め、前記実際測定値と前記カルマン利得を利用して前記状態ベクトルの先験的予測値を補正して前記状態ベクトルの経験的予測値を求める請求項2または3に記載の拡張現実システム。
  • 前記動き推定部は、
    以前時間映像に基づいて外挿法を適用して最終的に推定された前記マーカーの位置と、現在時間映像における前記マーカーの実際位置との差に基づいて現在時間以後のハプティックレンダリングのための前記マーカーの位置増加分を決定する適応的外挿法によって前記マーカーの動きを推定する請求項1乃至3のいずれか一項に記載の拡張現実システム。
  • 前記以前時間映像に基づいて最終的に推定された前記マーカーの位置は、映像フレーム毎に連続的にモニターされる請求項5に記載の拡張現実システム。
  • 前記視覚レンダリング部と前記ハプティックレンダリング部のうちのいずれか一つは、視覚レンダリングのための視覚座標系とハプティックレンダリングのためのハプティック座標系の同期化を行う座標系同期化部をさらに含む請求項5に記載の拡張現実システム。
  • ハプティックインタラクションを含む拡張現実提供方法であって、
    (a)マーカーを含む実際環境の映像が入力されるステップと;
    (b)前記映像から前記マーカーを検出し、前記マーカーの位置を抽出するステップと;
    (c)前記マーカーの位置情報に含まれたノイズを除去するステップと;
    (d)前記マーカーの位置情報に基づいてハプティックレンダリングのための時間間隔に応じて前記マーカーの動きを推定するステップと;
    (e)前記マーカーに対応する仮想オブジェクトとハプティック装置のエンドポイント間の衝突有無を検出し反力を計算してハプティック装置に出力するステップ;および (f)前記実際映像の前記マーカー位置に前記仮想オブジェクトを増強して視覚ディスプレイ装置に出力するステップ を含む拡張現実提供方法。
  • 前記ステップ(c)は、初期値から連続的な予測と補正により、前記マーカーの位置情報からノイズをフィルタリングし予測する拡張カルマンフィルタによって行われる請求項8に記載の拡張現実提供方法。
  • 前記ステップ(c)は、
    (c1)前記マーカーの位置、速度、加速度を含む状態ベクトルに対する先験的予測値と誤差共分散の先験的予測値を初期条件から予測するステップと、
    (c2)カルマン利益を求め、実際測定値と前記カルマン利得を利用して前記状態ベクトルの先験的予測値を補正して前記状態ベクトルの経験的予測値を求めるステップとを含む請求項8に記載の拡張現実提供方法。
  • 前記ステップ(d)は、
    以前時間映像に基づいて外挿法を適用して最終的に推定された前記マーカーの位置と、現在時間映像における前記マーカーの実際位置との差に基づいて現在時間以後のハプティックレンダリングのための前記マーカーの位置増加分を決定する適応的外挿法によって前記マーカーの動きを推定する請求項8乃至10のいずれか一項に記載の拡張現実提供方法。
  • 说明书全文

    本発明は拡張現実におけるハプティックインタラクション方法およびそのシステムに関する。 より詳しくは、本発明は、拡張現実における安定で滑らかなハプティックインタラクションのために映像獲得装置によって獲得された実際映像におけるノイズを効果的に除去し、ハプティックインタラクション時に発生するの不連続性を最小化することを特徴とする拡張現実におけるハプティックインタラクション方法およびそのシステムに関する。

    一般的に、拡張現実(Augmented Reality:AR)とは仮想オブジェクト(virtual object)が実際環境と同じ空間に存在する如く表すように支援する技術をいう。 言い換えれば、拡張現実とはユーザが目で見る現実世界と付加情報を有する仮想世界を結合して1つの映像で見せる仮想現実の1つである。 拡張現実に対する研究は、コンピュータで生成した仮想環境(Virtual Environment)内でインタラクションするユーザが実際環境のようなリアリティーを感じるには多くの限界があるために大いに行われている。

    通常のARシステムはカメラから獲得した映像をユーザの仮想環境に登録された仮想オブジェクトと混合する。 従来に医療、軍事、産業、教育、および娯楽などのような様々な応用分野において、ユーザに没入感を与えるインタラクションやディスプレイを提供するためのAR技術が提案されたことがある。 AR技術は視覚、聴覚、触覚、味覚、きゅう覚などの人間の全ての感覚機関に適用される可能性があるにもかかわらず、大部分のARシステムは視覚的な側面に集中しているのが現実である。

    それに対し、AR領域においてユーザにより深い没入感を提供することができ、感覚と共に相互作用的な操作ができるようにするものがハプティック技術である。 ハプティック技術はユーザに力覚(Kinesthetic)と触覚(Tactile)により、仮想または実際環境の様々な情報を提供するようにするのと関連したものである。 「Haptics」という単語はギリシャ語で触覚を意味し、力覚と触覚を両方とも含む概念である。 他の感覚とは異なり、ハプティックの特徴は感覚と共に操作もできるという両方向性である点である。 これにより、最近では、視覚ベースの拡張現実(Vision−based Augmented Reality)システムに対するユーザの没入感を高めるために、音響効果だけでなく、ハプティック装置150の結び付けが試みられている。

    図1はARマーカーとハプティック装置を用いた視覚ベースの拡張現実システムの一例を示す図である。
    図1による視覚ベースの拡張現実システム100は、ARマーカー110、映像獲得装置120、主処理装置130、視覚ディスプレイ装置140、およびハプティック装置150を含む。

    ARマーカー110は特定パターンで表すことができ、1つのARマーカー110は1つの仮想オブジェクトと対応するように設定される。 仮想現実に用いられるマーカー110は特定パターンを有したARマーカー110の他にも2次元または3次元イメージであり得る。
    映像獲得装置120はARマーカー110を始めとする実際環境の映像を獲得する機能を行うものであり、代表的な例としてはカメラが挙げられる。

    主処理装置130は映像獲得装置120から入力された映像を処理し、入力された映像のうちからARマーカー110を認識して、ARマーカー110に対応する仮想オブジェクトを生成する。
    視覚ディスプレイ装置140は主処理装置によって処理された映像を視覚的に出力し、実際環境に対する映像と共にARマーカー110に対応する仮想オブジェクトの映像を2次元または3次元で出力する。
    ハプティック装置150は仮想環境の仮想オブジェクトとのハプティックインタラクションを行い、仮想オブジェクトとの衝突による反力をユーザに提供し、ユーザが仮想オブジェクトを操作できるようにする。

    このような視覚ベースの拡張現実システムの作動を説明すれば、映像獲得装置120にARマーカー110を始めとする実際環境の映像が入力されると、主処理装置は入力された映像を視覚ディスプレイ装置140に出力するが、この時、ARマーカー110に対応する仮想オブジェクトを生成し、実際映像と仮想オブジェクトを視覚ディスプレイ装置140に共に出力する。 一方、主処理装置130は、ハプティック装置150のエンドポイント(またはハプティックインタラクションポイント)が前記仮想オブジェクトと衝突するか否かを検出し、エンドポイントが仮想オブジェクトと衝突する場合、反力を計算してハプティック装置150にその信号を伝達することにより、ユーザが反力を感じるようにする。

    前記視覚ベースの拡張現実技法は映像獲得装置から獲得したライブ映像に仮想オブジェクトを増強する。 しかし、基準となるマーカーのトラッキングノイズによって仮想オブジェクトに視覚的な揺れが生じる問題点がある。 また、ユーザが仮想オブジェクトとハプティックインタラクションをする時、このようなノイズは力の揺れや不安定なハプティックインタラクションを生じさせる。 その上、映像獲得装置の座標がハプティック環境の座標とは異なるため、リアリティーのあるハプティックインタラクションを提供するためにはそれぞれの座標システムを統一する必要がある。 さらに、基準となるマーカー上に登録された仮想オブジェクトが若干速く移動する場合、予測される移動距離はフレーム間に非連続的であり得る。 このような不一致は、視覚的な観点からは十分耐えられる程度であるが、ハプティックインタラクションの観点からは非常に重要な問題となり得る。 これは、映像レンダリングの側面では30Hz程度のフレーム更新で十分安定した情報伝達をすることができるが、ハプティックレンダリングは1KHz程度の更新が伴わないと安定したハプティックインタラクションが不可能であるためである。

    これにより、マーカートラッキングにおけるノイズの最小化、映像とハプティックの座標系(Coordinates)の一致、および滑らかなハプティックインタラクションを達成するための方案が求められている。

    本発明は、前記問題点を解消するために、拡張現実における安定で滑らかなハプティックインタラクションのために、映像獲得装置によって獲得された実際映像におけるノイズを効果的に除去し、ハプティックインタラクション時に発生する力の不連続性を最小化することを特徴とする、拡張現実におけるハプティックインタラクション方法およびそのシステムを提供することをその目的とする。

    本発明は、前記課題を解決するために、ハプティックインタラクションを含む拡張現実システムであって、マーカーを含む現実環境に対する映像の入力を受け、前記映像中に含まれた前記マーカーを検出するマーカー検出部と、検出された前記マーカーの位置を抽出するマーカー位置抽出部と、前記マーカー位置抽出部によって抽出されたマーカーの位置情報からノイズを除去するノイズ除去部と、前記マーカーに対応する仮想オブジェクトを前記マーカーの位置に増強させて出力する仮想オブジェクト増強部と、を含む視覚レンダリング部;および前記ノイズ除去部から伝達された前記マーカーの位置情報に基づき、ハプティックレンダリングのための時間間隔に応じて前記マーカーの動きを推定する動き推定部と、前記動き推定部により推定された前記マーカーの位置に対応する仮想オブジェクトとハプティック装置のエンドポイント間の衝突有無を検出する衝突検出部と、前記衝突検出部の判断に応じ前記ハプティック装置を介して提供される反力を計算する反力計算部と、を含むハプティックレンダリング部を含む拡張現実システムを提供する。
    好ましくは、前記マーカーの位置情報は前記マーカーの3次元位置情報および方位情報を含む。

    一方、前記ノイズ除去部は、ローパスフィルタ、FIRフィルタ、およびIIRフィルタのうちのいずれか1つまたはそれと同等なフィルタで構成されるか、最小二乗予測器、最小平均二乗予測器、最大尤度予測器、Maximun A posteriori予測器、ベイズ予測器、カルマンフィルタ、粒子フィルタ、マルコフ連鎖モンテカルロ予測器、最小分散不偏予測器、および線形不偏予測器のうちのいずれか1つまたはそれと同等な予測器で構成され、ノイズの除去および前記マーカーの動きの予測を同時に行うことができる。

    好ましくは、前記ノイズ除去部は、初期値から連続的な予測と補正により、前記マーカーの位置情報からノイズをフィルタリングし予測する拡張カルマンフィルタで実現される。
    また、前記拡張カルマンフィルタは、前記状態ベクトルの先験的予測値と誤差共分散の先験的予測値を初期条件から予測した後、カルマン利得を求め、前記実際測定値と前記カルマン利得を利用して前記状態ベクトルの先験的予測値を補正して前記状態ベクトルの経験的予測値を求めることを特徴とする。

    好ましくは、前記動き推定部は、以前時間映像に基づいて外挿法を適用して最終的に推定された前記マーカーの位置と、現在時間映像における前記マーカーの実際位置との差に基づいて現在時間以後のハプティックレンダリングのための前記マーカーの位置増加分を決定する適応的外挿法によって前記マーカーの動きを推定することを特徴とする。
    また、前記視覚レンダリング部と前記ハプティックレンダリング部のうちのいずれか1つは、視覚レンダリングのための視覚座標系とハプティックレンダリングのためのハプティック座標系の同期化を行う座標系同期化部をさらに含むことを特徴とする。

    一方、本発明の他の側面によれば、ハプティックインタラクションを含む拡張現実提供方法であって、(a)マーカーを含む実際環境の映像が入力されるステップと;(b)前記映像から前記マーカーを検出し、前記マーカーの位置を抽出するステップと;(c)前記マーカーの位置情報に含まれたノイズを除去するステップと;(d)前記マーカーの位置情報に基づいてハプティックレンダリングのための時間間隔に応じて前記マーカーの動きを推定するステップと;(e)前記マーカーに対応する仮想オブジェクトとハプティック装置のエンドポイント間の衝突有無を検出し反力を計算してハプティック装置に出力するステップ;および(f)前記実際映像の前記マーカー位置に前記仮想オブジェクトを増強して視覚ディスプレイ装置に出力するステップを含む拡張現実提供方法を提供する。

    好ましくは、前記(c)ステップは、(c1)前記マーカーの位置、速度、加速度を含む状態ベクトルに対する先験的予測値と誤差共分散の先験的予測値を初期条件から予測するステップ;および(c2)カルマン利益を求め、実際測定値と前記カルマン利得を利用して前記状態ベクトルの先験的予測値を補正して前記状態ベクトルの経験的予測値を求めるステップを含んでなることを特徴とする。

    好ましくは、前記(d)ステップは、以前時間映像に基づいて外挿法を適用して最終的に推定された前記マーカーの位置と、現在時間映像における前記マーカーの実際位置との差に基づいて現在時間以後のハプティックレンダリングのための前記マーカーの位置増加分を決定する適応的外挿法によって前記マーカーの動きを推定することを特徴とする。

    本発明によれば、ハプティックインタラクションを含む拡張現実システムにおいて、実際映像におけるマーカーの位置および方位情報のノイズを最小化できるため、滑らかで安定したハプティックインタラクションを可能にする。

    また、本発明によれば、ハプティックインタラクションのためのハプティックレンダリング時、マーカーの位置情報をハプティックレンダリングのための時間間隔に応じて予測するにおいて、視覚ディスプレイとハプティックディスプレイ間の遅延を最小化し、仮想オブジェクトのためのマーカーの位置情報を効果的に推測することによって、ハプティックインタラクション時に生じ得る反力ジャークを最小化できる効果がある。

    ARマーカーとハプティック装置を用いた視覚ベースの拡張現実システムの一例を示す図である、

    本発明の好ましい実施形態によるハプティックインタラクションを含む拡張現実システムのブロック図である。

    ハプティックフレームと映像フレームの更新率の不一致による不連続的な反力フィードバックを示す図である。

    従来補間法による反力フィードバックにおけるジャーク(jerk)を示す図である。

    従来外挿法による反力フィードバックにおけるジャークを示す図である。

    本発明の好ましい実施形態による適応的外挿法を説明する図である。

    本発明の好ましい実施形態によるハプティックインタラクションを含む拡張現実提供方法を示すフローチャートである。

    拡張現実システムにおける視覚ディスプレイ座標系とハプティック座標系の差異点および相互同期化のための座標系変換を説明する図である。

    以下、本発明の好ましい実施形態を添付図面に基づいて詳細に説明する。 先ず、各図面の構成要素に参照符号を付加する際、同一構成要素については、他の図面上に示すときにもできるだけ同一符号を与えるようにしていることを留意しなければならない。 また、本発明を説明するにおいて、関連する公知構成または機能に関する具体的な説明が本発明の要旨を濁す恐れがあると判断される場合にはその詳細な説明は省略する。 さらに、以下では本発明の好ましい実施形態を説明するが、本発明の技術的思想はこれに限定または制限されず、当業者によって変形され様々に実施できることは言うまでもない。

    図2は本発明の好ましい実施形態によるハプティックインタラクションを含む拡張現実システムのブロック図である。
    本発明の好ましい実施形態による拡張現実システム200は、マーカー110を含む実際環境を撮影する映像獲得装置120から入力された映像に基づき、マーカー110に対応する仮想オブジェクト202を視覚的に増強して視覚ディスプレイ装置140に出力するための視覚レンダリング部210と、仮想オブジェクト202とハプティック装置150とのハプティックインタラクションを可能にするハプティックレンダリング部260とを含む。

    映像獲得装置120はマーカー110を含む実際環境の映像を取得する機能を行う。 マーカー110は拡張現実システム200において仮想オブジェクト202を表示するための媒介体としての機能を行い、特定パターンを有したARマーカー110を用いることができるが、それに限定されるものではない。 ARマーカーを用いることが最も便利な方法であるが、実際環境における特定イメージがマーカーとして機能することもでき、場合によっては3Dイメージまたは実空間に存在する物体もマーカーとして機能することができる。

    視覚レンダリング部210は、映像獲得装置120によって獲得された映像からマーカー110を検出し、実際環境におけるマーカー110の位置と方位を確認した後、マーカー110に対応する仮想オブジェクト202を実際環境に対する映像に増強させて視覚ディスプレイ装置140に出力する。 本発明において、視覚レンダリング部210は、映像獲得装置120によって獲得された映像に含まれたノイズを除去し、マーカー110の動きを予測することにより、より安定した視覚ディスプレイおよびハプティックディスプレイを可能にすることを特徴とする。

    一方、ハプティックレンダリング部260は、視覚レンダリング部210によって処理されたマーカー110を含む実際環境の映像に基づき、マーカー110に対応する仮想オブジェクト202とハプティック装置150間のハプティックインタラクションを可能にする機能を行う。 このために、ハプティックレンダリング部260は、マーカー110に対応する仮想オブジェクト202とハプティック装置150のエンドポイント間の衝突有無を検出し、衝突が発生する場合に反力を計算する機能を行う。 特に、本発明において、ハプティックレンダリング部260は、映像フレームとハプティックフレーム間の更新率(refresh rate)の差を解決するために、映像フレーム上のマーカー110の位置を推定するにおいて、適応的外挿法(adaptive extrapolation)を適用して映像の遅延や反力の不連続性を最小化することを特徴とする。

    視覚レンダリング部210とハプティックレンダリング部260の具体的な構成を説明すれば次の通りである。
    視覚レンダリング部210は、マーカー検出部220、マーカー位置抽出部230、ノイズ除去部240、および仮想オブジェクト増強部250を含む。

    マーカー検出部220は映像獲得装置120から入力された映像からマーカー110を検出する機能を行う。 マーカー検出部220は、物理的マーカー110で映像ベースのマーカートラッキングを可能にするARToolkitPlus(http://studierstube.icg.tu−graz.ac.at)のようなソフトウェアライブラリーを利用して実現することができる。

    マーカー位置抽出部230は、マーカー検出部220によってマーカー110が検出された後、検出されたマーカー110の位置および方位を演算する機能を行う。 仮想オブジェクトは実際環境におけるマーカー110の位置にマーカー110が占めている空間的位置および方位に応じて増強される。 このために、マーカー位置抽出部230は、マーカー110の位置と共に、マーカー110が空間的にいかなる方位を有しているか(例えば、平方向および垂直方向に対してどれぐらい傾斜しているか)を演算する。

    ノイズ除去部240は、マーカー位置抽出部230によって演算されたマーカー110の位置および方位情報に含まれているノイズを除去する機能を行う。 映像ベースのマーカートラッキングでは必然的に発生するノイズによって増強される仮想オブジェクトの揺れが発生するが、ノイズ除去部240がそれを除去する。 一方、マーカー110トラッキング時に発生するノイズに対してはP. Malbezinらが確認した通りである(P.Malbezin,W.Piekarski,and B.H.Thomas,“Measuring ARToolKit Accuracy in Long Distance Tracking Experiments”,Conf.Proc.IEEE Augmented Reality Toolkit Workshop,pp.28−29,2001)。 また、ノイズ除去部240は、滑らかなハプティックインタラクションのために、マーカー110の位置および方位を予測する機能を行う。 このようなノイズ除去部240は、後述するように拡張カルマンフィルタ(Extended Kalman Filter:EKF)として実現されることができる。

    仮想オブジェクト増強部250は、ノイズ除去部240によってノイズが除去されたマーカー110の位置および方位情報に基づき、マーカー110に対応する仮想オブジェクトを現実環境に対する映像に増強させて視覚ディスプレイ装置に出力する機能を行う。 仮想オブジェクト増強部250が映像獲得装置120から獲得されたライブ映像(live video)に仮想オブジェクトを出力するにおいて、様々な仮想物体のレンダリング方法のうちの好ましい実施形態として、OpenGLの頂点バッファオブジェクト(Vertex Buffer Object:VBO)方法によって仮想オブジェクトをレンダリングすることができる。 VBOはビデオメモリにバッファデータを伝送することによって仮想オブジェクトの視覚レンダリング速度を速くする特徴がある。

    ハプティックレンダリング部260は、動き推定部270、衝突検出部280、および反力計算部290を含む。
    動き推定部270は、ノイズ除去部240から伝達されたマーカーの位置および方位情報に基づいてハプティックレンダリングを行うために、ハプティックレンダリングの更新率に応じてマーカーの動き、すなわちマーカーの位置および方位を推定する機能を行う。 このような動き推定部270のマーカーの動き推定方式は補間法(interpolation)または外挿法(extrapolation)によってなされ得るが、本発明では後述する適応的外挿法(apative extrapolation)によってなされることがより好ましい。

    衝突検出部280は、マーカー110に対応して増強される仮想オブジェクト202とハプティック装置150のエンドポイント間の衝突有無を検出する機能を行う。 このような衝突検出は、ハプティック装置150のエンドポイントまたは仮想空間におけるハプティックインタラクションポイント(Haptic Interaction Point:HIP)が仮想オブジェクトと衝突するか否かによって行われ得る。

    反力計算部290は、ハプティック装置150のエンドポイントが仮想オブジェクトと衝突する場合、適切な反力を計算してハプティック装置150に伝達する機能を行う。
    以上で説明した本発明に係る拡張現実システムの主な特徴はノイズ除去部240と動き推定部270とから把握することができ、ノイズ除去部240と動き推定部270の作動については以下にてより詳細に説明する。

    前述したように、ノイズ除去部240は、視覚ベースのマーカートラッキングから発生するノイズによって生じる仮想オブジェクトの視覚的な揺れおよびハプティックインタラクション時に引き起こされる力の揺れや不安定性を除去するために、ノイズの最小化およびマーカー110の動きを予測する機能を行う。

    ノイズ除去部240の実現方法として、ノイズを除去するためのローパスフィルタ(Low Pass Filter)、FIRフィルタ(Finite Impulse Response Filter)、およびIIRフィルタ(Infinite Impulse Response Filter)のようなフィルタを用いることができる。

    しかし、このようなフィルタは、ノイズの除去には比較的に効果的であるものの、時間遅延が発生し、マーカーの動きを予測してハプティックインタラクション時に発生する不安定性を除去するには物足りない側面がある。 したがって、ノイズ除去部240はノイズの除去と共にマーカーの動きを予測できるように構成することがより好ましい。
    そのために、ノイズ除去部240はノイズの除去と動きの予測を同時に行うことができるように次の予測技法を用いることができる。

    1)最小二乗予測器(Least Square Estimator、LSE):システムモデルと測定されたデータ間のエラーを最小化する方法であり、エラー二乗の和を最小化する予測器である。
    2)最小平均二乗予測器(Minimum Mean Squared Estimator、MMSE):関心のあるパラメータのエラーを最小化するために用いる方法であり、エラー二乗平均を最小化して最適解(optimal solution)を探す予測器である。

    3)最大尤度予測器(Maximum Likelihood Estimator、MLE):最大尤度(Maximum likelihood)を推定する予測器であり、パラメータの正確な値を知らないが固定されていると仮定し、尤度(Likelihood)関数を最大化して観測された値が出る可能性を最大化する最適パラメータを探す予測器である。
    4)Maximum A Posteriori(MAP):最大尤度予測器と類似するが、事前確率(prior probability)を考慮するという点で異なる。 この予測器は事後確率(posterior probability)を設定し、それに基づいて最適パラメータを推定する。

    5)ベイズ予測器(Bayes estimator):MLEではパラメータを固定値とみなすが、これとは異なり、ベイズ予測方法ではパラメータをランダム変数(random variable)と考え、資料集団の分析によってこのランダム変数の分散を事後確率密度(posterior probability density)に変換した後に事後確率(posterior probabilities)を求め、それによってパラメータを予測する予測器である。

    6)カルマンフィルタ(Kalman filter):カルマンフィルタはノイズが混ざっている測定データがある時、ノイズが白色ガウス雑音であるという仮定の下、このようなノイズを発生するシステムのモデルおよび測定モデルを設定して測定された値が事前予測および補正(pre estimation and correction)のステップを繰り返し行って最適値を求めるようにする。 時間変化、非定常(nonstationary)、多重チャネルシステムを含む全ての線形システムに適用可能な最も効果的なフィルタであって、リアルタイム処理に広く活用され、最近、人工衛星航法資料のフィルタリングに広く用いられている。

    7)粒子フィルタ(Particle filter):逐次モンテカルロ法(Sequential Monte Carlo method、SMC)として知られた方法であって、シミュレーションを基盤にする。 この予測器は、測定されたデータに基づき、unknownパラメータのシーケンスを探して最適パラメータを推定する。 この方法はカルマンフィルタと同じように強力な推定方法を提供し、リアルタイム追跡のような応用に広く用いることができる。 特に、粒子(サンプル)の数が多ければ正確な推定結果を得ることができる。

    8)マルコフ連鎖モンテカルロ予測器(Markov chain Monte Carlo、MCMC):マルコフ連鎖の構成に基づいた確率分布から所望の分布の静的分布を有する標本を抽出するアルゴリズムの1類である。 MCMCの典型的な使用は目標分布を近似することであり、このアルゴリズムの最も一般的な適用例は多次元積分を数値的に計算するものである。
    9)最小分散不偏予測器(Minimum Variance Unbiased Estimator、MVUE):不偏性(unbiasedness)を満足する推定量(estimator)のうちの最も小さい分散を有する推定量を付与する予測器をいう。

    10)線形不偏予測器(Best Linear Unbiased Estimator、BLUE):ガウス・マルコフの定理(Gauss−Markov Theorem)により、単純線形回帰モデル(Linear Regression Model)において観測値の線形結合と表現される不偏推定量のうちの不偏推定量を最小化する予測器である。

    上記で例示した様々な予測方法中、本実施形態では拡張カルマンフィルタ(Extended Kalman Filter)を用いたノイズの除去および動きの予測について代表的に説明する。

    拡張カルマンフィルタは、線形的なモデルだけでなく、非線形的なモデルにも適用できるカルマンフィルタの非線形形態として理解することができる。 カルマンフィルタは、連続的な予測と補正により、測定データからノイズをフィルタリングする統計的な予測過程であると言える。 拡張カルマンフィルタはこのような線形的カルマンフィルタを非線形的システムに適用する。 この時、拡張カルマンフィルタで測定しようとするシステムは、信号からノイズを除去するために拡張カルマンフィルタを使えるように線形システムとして記述されなければならない。 拡張カルマンフィルタにおいて、システムモデルと測定モデルの一般的な形態は次の数学式1のように表すことができる。

    (数学式1)

    前記数学式1において、x k+1とx は時間k+1とkにおける状態ベクトルを意味し、y は時間kにおける測定ベクトルを意味する。 また、F とH は各々システムモデルと測定モデルの特徴を決定する時間kにおける係数であり、w とv は各々システムノイズと測定ノイズを示す。 視覚ベースのマーカートラッキングシステムは、物理的マーカーを持ったユーザの動きにより増強された仮想オブジェクトの位置と方位が時間に応じて連続的に変化する非線形動的システムであり、2次テイラー級数を用いた線形化過程により拡張カルマンフィルタを適用することができる。 したがって、視覚ベースのマーカートラッキングシステムは2次テイラー級数を用いて次の数学式2のように線形化することができる。

    (数学式2)

    状態空間表現(state space description)を利用すれば、システムモデルは数学式3のように表すことができる。

    (数学式3)

    3次元位置および方位を考慮すれば、3次元マーカートラッキングのために導き出された数学式3のようなシステムモデルは次の数学式4のように一般化することができる。

    (数学式4)

    数学式4において、状態ベクトルxは3個の位置および度成分、3個の速度および角速度成分、3個の加速度および角加速度成分からなる3×6次元であり、w は位置、速度、加速度、角度、角速度、および角加速度における不確実性によりシステムに流入されるシステムノイズである。 前記ノイズは平均が0(zero mean)であり、関連性のないランダムな値として理解することができる(w 〜N(0,Q ))。

    フィルタリングプロセスのために、マーカー変換行列の位置および方位を測定する。 このようなデータを使えば、マーカーの速度、加速度、角速度、角加速度を抽出することができる。 したがって、システムの測定モデルを数学式5のように表すことができる。

    (数学式5)

    数学式5において、v は位置、速度、加速度、角度、角速度、および角加速度における不確実性による測定ノイズである。 この測定ノイズは平均が0(zero mean)であり、関連性のないランダムな値として理解することができる(v 〜N(0,R )。

    拡張カルマンフィルタの連続的な更新過程は次の通りである。
    ◆初期条件 拡張カルマンフィルタは、最初ステップ(step 0)において、事後状態の予測x と不確実性P に初期化される。

    ◆予測 ステップ毎に、拡張カルマンフィルタは次の数学式6と7を利用して、以前ステップに対する現在ステップにおけるシステムの状態および不確実性に対する予測値を計算する。

    (数学式6)

    ◆補正 拡張カルマンフィルタは、次の補正方程式を利用して、以前状態の予測値を測定値y に修正する。 補正方程式は次の通りである。
    カルマン利得(K )は数学式8のように表すことができ、経験的予測(posteriori estimate)誤差共分散(P k/k )は数学式9のようであり、状態ベクトルの経験的予測値

    は数学式10のようである。

    (数学式8)


    (数学式9)

    (数学式10)

    拡張カルマンフィルタに対する以上の説明から見るように、R のようなノイズの影響が拡張カルマンフィルタの全般的な性能を決定する。 したがって、拡張カルマンフィルタの実際実現において、測定ノイズ共分散(R )は通常フィルタの作動前に測定される。
    測定ノイズ共分散を測定するために、先ずマーカー変換行列(T MARKER )を利用してマーカー110の位置および方位を次の数学式11によって計算する。

    (数学式11)

    数学式11において、R 3×3とT 3×1は各々測定点(finger tip)の回転行列(rotation matrix)と並進行列(translation matrix)を示す。 T 3×1ベクトルはオブジェクトの位置エラーを測定するのに用いられる。 方位エラーを測定する場合、回転変化は世界座標系(world coordinate)に対して三つの連続的な回転に分けられ、これは次の数学式12のように表すことができる。

    (数学式12)

    上記の数学式12において、CとSは各々コサイン(cosine)とサイン(sine)を示し、ψ、θ、φは世界座標系のx、y、z軸に対する回転角を示す。 それぞれの軸に対する回転角は数学式11と12における回転行列と比較する時に数学式13のように決定され得る。

    (数学式13)

    上記で説明した方法によってノイズ共分散(R )をオフラインサンプルに対して測定した結果は次の表1、2に例示した。 表1は位置、速度、および加速度に対しマーカーとカメラとの間の実際距離によるノイズ誤差(mm単位で表示)を示し、表2は角、角速度、角加速度に対しマーカーとカメラとの間の他の角度によるノイズ誤差を示す。

    表1および2の結果から見るように、位置、速度、および加速度に対するノイズは距離に応じて増加し、角度、角速度、および角加速度に対するノイズはカメラがマーカーを正面から見る0°あるいは平行に見る90°に近いほど増加することが分かる。 このようなノイズの分析結果に基づき、ノイズ共分散(R )は表1、2における最大値を選択して適用したものが1つの例として挙げられ、実際環境に応じて適切なノイズ値を選択することができる。

    次は、ハプティックレンダリング部260における動き推定部270の具体的な機能について説明する。
    映像レンダリングは通常30Hz内外で更新されるのに反し、ハプティックレンダリングは1KHz程度で更新されなければユーザに安定したハプティックインタラクションを提供することができない。 しかし、映像に基づいて行われるハプティックレンダリングにおいて、前記のような更新比率の差によって映像フレームが変わる瞬間に反力が急に変わる問題が発生し得る。 大韓民国特許第761022号(深さ映像ベースのハプティックレンダリング方法と装置、およびそれを用いた触覚放送システム)の場合には、補間(interpolation)法を利用しての上記のような問題点を解決しようとした。 しかし、実際には、映像フレームとハプティックフレームの更新率(refresh rate)が一定ではなく若干の誤差を有しており、依然として不連続的な力が生じる。 このような更新率の変動はハプティック装置150で増強された仮想オブジェクトを触る時にさらに増加し得る。

    ユーザがハプティック装置150を利用して仮想オブジェクトとインタラクションするにおいて、フィードバックされる反力計算における問題点をより具体的に説明すれば次の通りである。
    図3はハプティックフレームと映像フレームの更新率の不一致による不連続的な反力フィードバックを示す図であり、図4は従来の補間法による反力フィードバックにおけるジャーク(jerk)を示す図であり、図5は従来の外挿法による反力フィードバックにおけるジャークを示す図である。

    図3〜図5において、図面符号300は仮想環境における仮想オブジェクトを示すものであり、仮想オブジェクトが仮想環境においていかなる状態で位置するかを表すためのものである。
    図3を参照すれば、仮想オブジェクト300が以前位置から未来位置に移動する時、反力計算のための中間地点がなく、ユーザがハプティック装置150によって仮想オブジェクト300とインタラクションするにおいて、突然の反力変化を感じる(点線円弧内の反力参照)。

    図4を参照すれば、補間法(interpolation)によって衝突検出および反力計算をする時の問題点が分かる。 補間法は、映像フレームの現在位置と以前位置の更新時間をハプティックフレーム更新比率で割り算して各ハプティックフレームにおける仮想オブジェクト300の位置を補間して決定し、ハプティック装置150の作用点との衝突有無を検出して反力を計算する。 しかし、補間法を適用するためには、少なくとも1つの映像フレームをバッファに予め格納しなければならないためにハプティックフィードバックの計算時に時間遅延が発生する。 また、映像更新率とハプティック更新率が時間に応じて変動するにつれ、仮想オブジェクト300の補間された位置が実際の仮想オブジェクト300の位置と比較して差が生じ得る。

    図4(a)は、仮想オブジェクト300の補間された位置が現在の実際の仮想オブジェクトの位置と相対的に多くの距離差があって、ユーザが前方向ジャーク(forward jerk)を感じる場合を示す。 その反面、図4(b)は、仮想オブジェクト300の補間された位置が現在の実際の仮想オブジェクト300の位置を過ぎてしまい、ユーザが逆方向ジャーク(backward jerk)を感じる場合を示す。

    図4で言及した問題の他にも、本発明が適用される拡張現実システムは映像、音声、ハプティックなどの様々な情報を提供するためのマルチモーダル(multi modal)アプリケーションに拡張され得、それにより、複数のアプリケーション間の干渉と演算量の増加で上記のような問題点はより深刻であり得る。

    前記のような補間法とは異なり、外挿法(extrapolation)の場合には、過去位置の仮想オブジェクト300と現在位置の仮想オブジェクト300との間の時間間隔を利用して、現在位置以後の仮想オブジェクト300の位置を推定してハプティックレンダリングを行う。 外挿法の場合は、補間法とは異なり、映像遅延の問題は生じない。 しかし、補間法の場合のように、映像更新率とハプティック更新率の変動により、依然として前方向ジャークまたは逆方向ジャークが発生し得る。

    図5を参照すれば、図4の場合と類似するように、外挿法の場合にも前方向ジャーク(aの場合)または逆方向ジャーク(bの場合)が発生し得ることが分かる。
    このような問題点を解決するための方法として、本発明では反力の不連続性を最小化するための適応的外挿法を提案する。

    図6は本発明の好ましい実施形態による適応的外挿法を説明する面である。 図6において、(a)は前方向ジャークを除去することを説明する図であり、(b)は逆方向ジャークを除去することを説明する図面である。
    図6において、t およびt は映像レンダリングおよびハプティックレンダリングの時間間隔を示し、T t−Δt 、T 、T t+△tとR t−Δt 、R 、R t+△tは各々仮想オブジェクト300の以前、現在、未来の位置と回転角を示す。 LEP t−Δtは以前時間ステップにおいて最終的に外挿法によって予測された位置を示し、δTとδRはLEP t−Δtと現在のオブジェクト位置300間の距離および角度差を示す。 これらの関係は次の数学式14のように表すことができる。

    (数学式14)


    数学式14において、



    は以前時間ステップにおいて計算された最後に予測された地点における位置および回転角を示す。

    適応的外挿法の適用において、LEP t−Δtは映像フレーム毎に連続的にモニターされる。 LEP t−Δtと現在の仮想オブジェクト位置間に差がある場合には、その後の外挿法の適用のための増加分を計算するためにδTとδRを考慮する。
    これにより、ハプティックレンダリングにおける仮想オブジェクト300の位置および角度に対する増加分は次の数学式15によって決定され得る。

    (数学式15)

    動き推定部270は、前記のような方式によって衝突検出と反力計算のために仮想オブジェクトの位置を推定することにより、推定された仮想オブジェクトの位置と実際の映像フレームにおける仮想オブジェクトの位置を一致させ、映像フレームの更新によって生じ得るジャークを最小化することができる。
    以上で説明した拡張現実システムを用いたハプティックインタラクションを含む拡張現実提供方法を説明すれば次の通りである。

    図7は本発明の好ましい実施形態によるハプティックインタラクションを含む拡張現実提供方法を示すフローチャートである。
    拡張現実の提供のためにマーカー110を含む実際環境の映像が映像獲得装置120を介して入力される(S700)。
    映像獲得装置のマーカー検出部220は実際環境に対する映像からマーカー110を検出する(S702)。

    次に、マーカー位置抽出部230は、マーカー110が実際映像のいかなる位置にいかなる方位に位置するかを確認して、マーカー110の位置および方位を抽出する(S704)。
    マーカー110の位置および方位情報には映像獲得装置120そのもののノイズを始めとする様々な環境要因によるノイズが含まれ得るため、ノイズ除去部240はマーカー110の位置および方位情報からノイズを除去し、好ましくは、マーカー110の位置および方位情報を連続的に予測する(S706)。 ノイズが除去されたマーカーの位置および方位情報は仮想オブジェクト202の増強および仮想オブジェクト202とハプティック装置150のインタラクションのために用いられる。

    仮想オブジェクト増強部250は実際環境におけるマーカー110の位置に仮想オブジェクト202を増強して視覚ディスプレイ装置140に伝達し(S708)、視覚ディスプレイ装置140はそれを視覚的に出力する(S710)。
    一方、ノイズ除去部240ではノイズが除去されたマーカー110の位置および方位情報をハプティックレンダリング部260に伝達し、ハプティックレンダリング部260の動き推定部270はハプティックレンダリングのためにハプティックレンダリング時間間隔に応じたマーカー110の動きを推定する(S712)。 本発明において、好ましくは、動き推定部270は適応的外挿法によりマーカー110の動きを推定することによって、新しい映像フレームの更新時に生じ得る反力ジャークを除去できるようにする。

    衝突検出部280は動き推定部270によって推定されたマーカー110の位置に対応して増強される仮想オブジェクト202とハプティック装置150のエンドポイント間の衝突有無を検出する(S714)。
    反力計算部290は仮想オブジェクト202とハプティック装置150のエンドポイント間に衝突が発生する場合、反力を計算し、それをハプティック装置150に伝達し(S716)、ハプティック装置150はこのような反力をユーザに提供する(S718)。

    一方、拡張現実システムにおいて、仮想オブジェクトの増強と獲得された映像イメージは、OpenGLをベースにカメラプロジェクション行列とマーカー変換行列を利用して視覚的にレンダリングされる。 しかし、視覚的にレンダリングされる実際環境および仮想オブジェクトに対する映像は、実際環境の座標系とは異なる状態、すなわち反対方向の座標系を有することが一般的である。 例えば、映像獲得装置としてピンホールカメラが用いられる場合に映像はカメラ内部の映像平面に置かれるようになり、これに対する座標系は実際環境の座標系を180度回転させた状態と同様である。 その反面、ハプティックレンダリングのための座標系は実際環境の座標系と実質的に同一である。 このような座標系の不一致は、ハプティックレンダリング時にユーザが仮想オブジェクトと正確なハプティックインタラクションをすることを阻害する要素となる。

    図8は拡張現実システムにおける視覚ディスプレイ座標系とハプティック座標系の差異点および相互同期化のための座標系の変換を説明する図である。
    このような視覚レンダリングとハプティックレンダリング時の座標系の不一致を解決するために、映像に対する座標系をハプティックレンダリングに対する座標系と一致するように回転させる。 このような回転はマーカー変換行列を活用して行うことができる。 マーカー変換行列は、マーカー110に対応する仮想オブジェクト202が実際環境に対する映像のマーカー110の位置に増強されるように変換させる。 それにより、視覚レンダリング時に用いられる座標系を次の数学式16のように座標系同期化行列(T' MARKER )を利用して変換させれば、視覚レンダリングに対する座標系とハプティックレンダリングに対する座標系を同期化することができる。 数学式16におけるT MARKERはマーカー変換行列を示す。

    (数学式16)

    これにより、図2に示した本発明の好ましい実施形態による拡張現実システムは、座標系同期化部をさらに備え、前記のような座標系の変換を行うことによって視覚座標系とハプティック座標系が同期化するようにできる。
    一方、上記説明では視覚座標系を変換させてハプティック座標系と同期化させる構成を説明したが、本発明の実施においては逆にハプティック座標系を変換させて視覚座標系と同期化させることもできることは言うまでもない。

    以上の説明は本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野で通常の知識を有した者であれば、本発明の本質的な特性から逸脱しない範囲内で様々に修正、変更、および置き換えすることができるはずである。 したがって、本発明に開示された実施形態および添付図面は本発明の技術思想を限定するものではなく説明するためのものであって、このような実施形態および添付図面によって本発明の技術思想の範囲が限定されるものではない。 本発明の保護範囲は請求範囲によって解釈すべきであり、それと同等範囲内にある全ての技術思想は本発明の権利範囲に含まれると解釈しなければならない。

    100:従来拡張現実システム 110:マーカー 120:映像獲得装置 130:主処理装置 140:視覚ディスプレイ装置 150:ハプティック装置 200:拡張現実システム 202,300:仮想オブジェクト 210:視覚レンダリング部 220:マーカー検出部 230:マーカー位置抽出部 240:ノイズ除去部 250:仮想オブジェクト増強部 260:ハプティックレンダリング部 270:動き推定部 280:衝突検出部 290:反力計算部

    高效检索全球专利

    专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

    我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

    申请试用

    分析报告

    专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

    申请试用

    QQ群二维码
    意见反馈