【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は仮想環境におけるマルチモードのジェスチャ方式対話法に関する。

【０００２】

【発明の背景】この発明は単一または複数のオペレータ間にあるジェスチャ方式の相互作用の手段、およびジェスチャ方式の対話が例えば手のジェスチャまたは空間における手の位置に基づいている装置から成る仮想環境に特に適用できる。

【０００３】

【従来の技術】市場内に、ジェスチャを認知し空間内で例えばオペレータの手の位置を定めるシステムが出現したことにより、マン−マシンの相互作用にジェスチャ方式の対話を導入することができるようになった。 手のジェスチャを認知する場合、ジェスチャ方式の通信は当業者に周知のディジタル式グローブすなわちデータグローブの手段により行なわれている。 これらのシステムでは例えば数十ミリセカンドの規則的な時間間隔で手の位置、方向、形に関する情報が一般に与えられている。 手の位置はデカルト座標系（ｘ，ｙ，ｚ）により直交した固定基準に基づいて認知され、手の方向は３つの角度ψ、θ、φにより基準が定められ、手の形は５本の指の２つの関節の屈曲の角度により判断される。 更に、ある種のシステムでは、関節の屈曲度と、認知すべき姿勢を定める予め記録された表とを比較することにより姿勢を認知する能力を有している。 これらのシステムにより認知された姿勢のコードが与えられる。

【０００４】

【発明が解決しようとする課題】しかし、この姿勢を認知することによってはある種の応用に十分に活用できるジェスチャ方式の対話を準備できない。 実際、この種の通信のモードはかなり制限されるが、これは例えば手順の黙認、停止、または変更、更には幾つかの代表的な数を表すことができる姿勢の可能数が制限されているからである。

【０００５】この発明の目的は特に瞬時に選択できる幾つかのモードの動作により標準的なシステムのジェスチャ方式の対話を与えることによりこの欠点を解決することであり、このジェスチャはここではオペレータの体の一部または全部の空間における移動、姿勢、または位置として考えられている。

【０００６】このため、この発明の対象はジェスチャ方式による通信手段を用いて仮想環境におけるジェスチャ方式の対話を行なう方法であり、通信手段の状態は、相互に排他的であり更に優先度の順序が割り当てられている少なくとも２つの動作モードを前記の方法が使用している一組のパラメータにより定められ、１つのモードから他のモードへのパスはジェスチャ方式による通信の手段により境界を横切るステップにより行なわれ、この境界は単一または複数のパラメータの値により定められることを特徴とする。

【０００７】この発明の主な利点は特にジェスチャ方式の対話をより多方面にしかもより自然にすることによりマン−マシン相互作用のシステムの一般的な人間工学性および効率を改善することであり、通信に対するジェスチャ方式の手段から成る全ての仮想システムに適用できることであり、適用するソフトウエアの大きさを極端に増加させないことであり、更に経済的に使用できることである。

【０００８】

【実施例】図１には従来の技術によるジェスチャの認知に対する標準的なシステムを示している。 認知されるジェスチャは一般に人間工学的な理由から手１、姿勢および行動の可能な数である。 手１の姿勢はセンサー２により参照番号が付けられる。 このセンサーには当業者に周知であるディジタルグローブが特にあり、このグローブの中で手の位置が定まる。 このタイプのセンサー２には例えば手首に置かれた電磁気的な送信機と同タイプの受信機から成る空間的位置決めシステムが更にある。 このグローブは指の曲がりを測定するため光ファイバで覆われている。 制御ユニットはデータを処理するが、このデータは指の曲がりの他に例えば手１の位置と方向を記載したメッセージ４を相互作用処理ユニットに提供するジェスチャ認知システム３に加えられる。 手の位置は直交系の３つの空間座標ｘ，ｙ，ｚにより参照番号が与えられる。 方向は方向ψ、θ、φの周知の角度により定められるが、これらの角度はそれぞれヨーイング、ピッチング、ローリングを表している。 これから指の10個の関節、すなわち指一本あたり２個の関節に沿った光ファイバによりそれぞれの関節に対し屈曲α1、α2、α3、α4、α
5、α6、α7、α8、α9、α10の角度が与えられる。 手１の姿勢を認知することは、例えば関節の屈曲度と認知すべき姿勢を定める予め記憶された表とを比較することにより行なわれるが、この認知システム３では例えば認知される姿勢に対応したコード番号が与えられている。 この種のジェスチャ方式の対話システムは可能性、すなわち認知できる姿勢の数が特に制限されるので極端に制約を受ける。

【０００９】図２はこの発明によるジェスチャ方式の対話法を図示している。 例えば、ジェスチャの通信手段１
は手を表している。 しかし、センサー２に適用できる他の手段も利用できる。 センサー２に接続されるジェスチャ認知システムにより伝達されるメッセージ４は例えば前述のものと同じである。 これらのメッセージは例えば少なくとも16個の独立パラメータを与える前述のパラメータ、すなわち３つの空間座標ｘ，ｙ，ｚと、方向ψ、
θ、φの３つの角度と、α1 からα10までの10個の屈曲度により手１の状態を示している。 これらのパラメータにより相互に排他的である少なくとも２つの異なる動作モードに属する機能５を選択でき、更に優先度の順序が割り当てられる。 例えば、対話をできるだけ広範囲にしかも自然にするため図２に示す対話の方法には次の４つの動作モードがある：一番目の仮想コマンドモード、仮想物体または機能の選定のための二番目のモード、メニューを選択する三番目のモード、および四番目の姿勢認知モード、更に優先度の順序は例えば一番目のモードから四番目のモードに向かい減少する。 １つのモードから他のモードへのパスは手により境界６を横切るステップにより行なわれるが、この境界は手１が動く空間で１つのパラメータまたは複数のパラメータの組合せの値により定められる。 この境界は例えば距離、角度、表面、体積または姿勢により定められるが、モードは横断の距離、表面または体積により、または角度または姿勢の変化により選択される。 所定のモードにおいて、選択された機能は手１の状態を定めるパラメータｘ，ｙ，ｚ，
ψ、θ、φ、α1 からα10の他に予め定められた境界に関する位置によっても定まり、あるモードから他のモードへのパスはこれらの境界の一つを横切ることにより行なわれる。 手以外の他のジェスチャの通信手段を使用する場合において、この境界はオペレータが動く空間内でより広範囲に定めることができる。 境界を定めるこれらのパラメータはオペレータの動く空間内のオペレータの位置に関係している。 例えば、オペレータが数人いる場合に応用すれば、境界により定められる領域はそれぞれのオペレータに割り当てられる。 これらの境界は例えば時間の関数として修正され変化する。

【００１０】図3aと図3bは体積７を示す境界の例を示している。 図3aにおいて、手１は体積７の外にあり、方向８に沿いビジュアルフィードバック９により例えば物体
11が表されるスクリーン10の点に示される。 このスクリーンは相互作用を及ぼすと呼ばれるが、これはオペレータに相互作用を及ぼすからである。 この体積７の外では手は所定のモードにあるので、手の姿勢に関係なく例えば物体11を仮想的に捕まえることができない。 例えば、
点９または物体11は指定することができる。 反対に手１
が図3bに示すように体積７の中にあれば、所定の姿勢により物体11を仮想的に捕まえることができるが、この場合の機能は仮想制御モードを構成している。

【００１１】前述のように仮想制御モードは優先度の一番高いモードであり、優先度の一番低いモードは姿勢認知モードである。 このモードは当業者に周知である。 このモードにより例えば記憶された姿勢を識別するコード番号が与えられる。

【００１２】図４には優先度が前述のものより若干高いモード、すなわちメニュー選択モードの動作を図示している。 このモードの１つの関数には指12の一番内側の指骨の屈曲角α _indexが使用されているが、この指は例えば人差し指でありスクリーンの上に表示されるメニューを選択するためである。 ビジュアルフィードバックは例えば色を変えることによりこれが選択されたことを示す。 例えば０度から90度までの指12の角度の変化量の間隔はメニュー内の選択のポイント14と同じ角度ゾーン13
に分割されている。 これらの角度ゾーンは例えば等しい。

【００１３】図４には選択が５つのメニューで指12の位置が３箇所である例を図示しているが、この３箇所には２つの極端な位置、例えば１つは０度で他の１つは90度である位置が含まれている。 三番目の位置は例えば三番目の選択による。 簡単な関係式により例えば指12の屈曲角α _indexの関数として次のように選択することができる：

【００１４】

【数１】

【００１５】ここにＮ _selectedは選択数を表し、Ｎ _zone
は角度ゾーンの数を表している。

【００１６】１つの同一のメニュー内で行なわれる選択数の最大数は、角α _indexを測定するシステムの分解能により制限されるが、例えばこのシステムはディジタルグローブである。

【００１７】図５には優先度が前述のモードより若干高い動作モード、すなわち物体の選定のモードまたは関数を示している。 このモードの１つの関数は手１から出る架空の線15とスクリーン10との交点の位置を計算し与えるためのものであるが、ビジュアルフィードバック９は例えばスクリーン10の上で選定される点を示している。
線15の始点は軸Ｘ，Ｙ，Ｚの系の座標により表される空間内の手１の位置であり、この始点は例えば軸Ｙ，Ｚで定められる平面内にあるスクリーン10に属している。 線
15の方向は前に定めた角度ψ、θ、φにより表わされる空間内の手１の方向の関数であり、例えばこのψは軸Ｚ
の回りの回転を示しており、θは軸Ｙの回りの回転を示しており、更にφは軸Ｘの回りの回転を示している。 軸Ｙ，Ｚの系の座標ｙ，ｚは次の関係式により定められる：

【００１８】 ｙ＝ｙ _hand ＋ｘ _hand ×ｔａｎ（Ψ） （２） ｚ＝ｚ _hand ＋ｘ _hand ×ｔａｎ（Φ） （３）

【００１９】ｘ _hand ，ｙ _hand ，ｚ _handは軸Ｘ，Ｙ，Ｚの系の手の座標である。

【００２０】前述の例の優先度の一番高いモード、すなわち仮想制御モードにより手１の状態の変化が順次生ずる。 仮想制御を得ることが１以上のパラメータの一連の状態の変化から生ずる。 従って、例えば物体の図形の処理に関するハイ−レベルのコマンド、すなわち特に“取出し”、“シフト”、“置く”、“投げる”、“増加”、“減少”のようなコマンドを定めることができる。 仮想コマンドの成分である種々のシーケンスはペトリ(Petri) ネットワークにより記載できる。

【００２１】図６にはこの発明によるジェスチャ方式の対話法の応用例を示している。 手１を覆っているディジタルグローブはこの手の状態を例えば直列リンクにより相互作用処理ユニットに送っている。 このディジタルグローブは例えば商品名が“データグローブ”であり、VP
L Reserch 商会により販売されているものである。 規則的な時間間隔、例えば30ms毎にこのディジタルグローブは処理ユニットに、例えば認知した姿勢の数、空間座標Ｘ，Ｙ，Ｚによる手の位置、角度ψ、θ、φおよび手の曲げの10個の角度α1、…，α10による手の方向から成るメッセージを与えている。

【００２２】境界16はスクリーン10の平面に平行な平面により定められ、オペレータとスクリーンの間でこのスクリーンから距離Xfに位置している。 スクリーン10の平面には座標軸の軸Ｙ，Ｚが含まれ、このスクリーンまでの距離は軸Ｘに沿った座標により定められる。 同様に、
角度境界17は基準角０とπ/2から定まる方向φf により決定される。 これらの角度は例えばアームの回り、すなわち軸Ｘの回りの回転運動による手１の方向の角である。 例えば、距離Xfは50cmであり角度φf はπ/4である。

【００２３】図７には動作モードの選択に対するアルゴリズムの例を図示しているが、試験パラメータは手１からスクリーン10までの距離、確認された手の姿勢の数Ｐ，および前述の方向角φに沿った手の方向である。 アルゴリズムの一番目のステップ71では手からの距離Ｘと距離Xfを比較している。 ＸがXfより小さければ手は境界
16とスクリーン10の間にあり、選択モードは仮想コマンドモード72である。 小さくなければ、二番目のステップ
73により姿勢の判定数Ｐが試験され、Ｐが伸ばした人差し指を示していれば、選択モードは選定モード74である。 パラメータＸとφの値Xfとφf のように、伸ばされた人差し指の姿勢Ｐは境界を示している。 この姿勢が手１の姿勢でなければ、三番目のステップ75では方向φの角度が試験される。 φが境界角φf とπ/2とから外れると、例えば相互作用のスクリーン10の上でメニュー選択モード76は選定される。 このモードは手を平らに、手のひらを下に更にオープンに置くことにより得られるが、
この手はXfで定められる境界平面16の上にあり、その座標ＸはXfより大きい。 小さければ姿勢認知モード77が選択される。

【００２４】姿勢認知モード77は不履行モードである。
このモードには例えば手順の黙認、停止、スクリーン削除、数字１、２、３を示すジェスチャの語彙がある。

【００２５】前述のメニュー選択モード76は例えば人差し指を特に曲げることにより幾つかの確認メニューから選択される。

【００２６】選定モード74により特にボタン、窓、または電位差計カーソルのような物体を図的に選定することができ、またはスクリーンのあらゆる領域を全く簡単にできる。 動作のこのモードは“伸ばした人差し指”の姿勢を生ずることにより得られるが、この手は境界平面16
の上にある、すなわち座標ｘはXfより大きい。

【００２７】手１の状態の変化を継続することにより仮想コマンドモードは仮想図形物体の上に種々の動きを生ずるが、このモードはこれらの動きを例えば次の１つにすることができる： −物体の取出しとシフト； −物体の大きさの増加； −物体の大きさの減少； −物体を下に置くこと； −物体を投げ出すことと破壊すること。

【００２８】これらの動きを生ずる種々のシーケンス、
姿勢、および運動は図８の例に示すように例えばペトリネットワークの形で記載することができる。 このネットワークは例えばプログラム可能なオートメーションを用意するため特に使用することができる。 例えば、窓をシフトする場合、図８のペトリネットワークにより次のシーケンスが記載できる。

【００２９】−ステップ0 81から出発すると、手は境界
16の後に行くように前に動かされ、ＸはXfより小さくなる；選定された十字線は例えば相互作用を及ぼすスクリーンの上に表われる。 この十字線は窓に表われシフトされる。 取出しの動作を示す姿勢“取出し”が生ずる。

【００３０】−ステップ1 82では、仮想コマンド“取出し”が用意される。

【００３１】−ステップ2 83では、仮想コマンド“シフト”が用意される。 窓がシフトされ姿勢“取出し”が無くなる。

【００３２】−ステップ5 84では仮想コマンド“下に置く”が用意される。 手は戻され境界を横切る、すなわちＸはXfより大きくなる。 選定された十字線は無くなり手の状態はステップ０に戻る。

【００３３】他の応用例では、ステップ０から窓を破壊するため手は境界の後に行き、ＸはXfより小さくなり、
従って選定された十字線は例えば相互作用を及ぼすスクリーンの上に表れる。 このスクリーンは窓まで取り出されシフトされる。 取出しの動作を示す姿勢“取出し”が生ずる。

【００３４】−ステップ1 82では仮想コマンド“取出し”が用意される。

【００３５】−ステップ2 83では仮想コマンド“シフト”が用意される。 従って手は境界を横切るため戻されＸはXfより大きくなる。 選定された十字線は無くなる。
姿勢“取出し”が無くなる。

【００３６】−ステップ6 85では仮想コマンド“投出し”が用意され、手の状態はステップ０に戻る。

【００３７】他の応用例では、窓の大きさを大きくするため、ステップ０から出発し、手は境界の後に行くが、
ＸはXfより小さくなり、更に選定された十字線は例えば相互作用を及ぼすスクリーンの上に表れる。 この十字線は窓の所に来てシフトされる。 取出しの動作を示す姿勢“取出し”が生ずる。

【００３８】−ステップ1 82では仮想コマンド“取出し”が用意される。

【００３９】−ステップ2 83では仮想コマンド“シフト”が用意される。 従って手はπ/6以上右に曲がる。

【００４０】−ステップ3 86では仮想コマンド“増加”
が用意される。

【００４１】−ステップ2 83では仮想コマンド“シフト”が用意される。 従って姿勢“取出し”が無くなる。

【００４２】−ステップ5 84では仮想コマンド“下に置く”が用意される。 従って手は後に行き境界16を横切り、ＸはXfより大きくなるが、手の状態はステップ０に戻る。

【００４３】窓の大きさを減少する応用は例えばステップ3 86が仮想コマンド“減少”を用意するためステップ
4 87と入れ替わる点を除いて前の例に等しい。

【図面の簡単な説明】

【図１】従来の技術によるジェスチャの認知に対する標準的なシステム

【図２】この発明によるジェスチャ方式の対話法

【図3a】境界の例

【図3b】他の境界の例

【図４】この発明に基づくジェスチャ方式の対話法の動作モード

【図５】この発明に基づくジェスチャ方式の対話法の他の動作モード

【図６】この発明によるジェスチャ方式の対話法の応用例

【図７】この発明による方法の動作モードの選択のアルゴリズム

【図８】この発明による方法の動作モードの動作の発生を示すペトリネットワーク

【符号の説明】

１ 手 ２ センサー ３ ジェスチャ方式の認知システム ４ メッセージ ５ 機能 ６ 境界 ７ 体積 ８ 方向 ９ ビジュアルフィードバック 10 スクリーン 11 物体 12 指 13 角度ゾーン 14 メニューの選択点 15 架空の線 16 境界 17 角度境界

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジャン−ノエル ペルベ フランス国， 33320 エイシネ， アレ デ フォンデフロワド ９番地 (72)発明者 ブルーノ バルビエ フランス国， 33110 ル ブスカ， リ ュ エルネスト ロワイエ， 21番地 (72)発明者 パトリ ラシェ フランス国， 33200 ボルドー， リュ ド ラ ダウフィン 45番地