【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ペンやマウスなどで入力されたジェスチャと呼ばれる軌跡のパタンを認識し、
認識したジェスチャに対応するコマンドを実行させるコンピュータのユーザインタフェースに係り、特に前記ジェスチャの認識方法および該認識方法を用いたユーザインタフェース方法に関する。

【０００２】

【従来の技術】コンピュータのユーザインタフェースの新しい方法として、マウスでメニューを指したり、キーボードからコマンドを打ち込む代わりにジェスチャと呼ばれるペンやマウスなどで描いた軌跡のパタンを認識し、あらかじめ定義したジェスチャのパタンが現れたときに対応するコマンドを実行させるペンＯＳやペンシステムなどと呼ばれるものが開発されてきた。 これらのシステムで用いられる従来のジェスチャ認識方法としては、例えば、特開平３−７１３２２号公報に記載されているように、座標入力装置から得た座標、移動速度、持つ指の圧力をニューラルネットワークに与えパタン認識を行い、ジェスチャのパタンに対応するコマンドを実行するようになっていた。

【０００３】

【発明が解決しようとする課題】前記従来技術では、ニューラルネットワークを用いているので、重みを計算するためには多量の学習データを必要とする。 また、座標入力装置を持つ指の圧力、座標、移動速度を特徴量としているので利用者にとっては同じジェスチャにもかかわらず速度や、動作の大きさによって希望した認識結果を得られないことがある。 本発明の目的は、多量の学習データを与えず、利用者が設定したジェスチャを認識できるジェスチャ認識方法を提供することにある。 本発明の他の目的は、ジェスチャの速度や大きさが変化した場合も正しい認識結果を得ることが可能なジェスチャ認識方法を提供することにある。 本発明のさらに他の目的は、
上記ジェスチャ認識方法を用いたユーザインタフェース方法を提供することにある。

【０００４】

【課題を解決するための手段】上記目的達成のため、本発明では、予め設定した標準ジェスチャを一定時間毎の座標の時系列で表現し、該座標値の時系列から速度ベクトル時系列を計算し、該速度ベクトル時系列中のあらかじめ設定した一定時間間隔だけ離れた２個の速度ベクトルのなす角度を計算し、角度変位時系列を求め、該角度変位時系列を貯蔵しておく。 未知のジェスチャの座標値が入力される度に、該座標値と予め設定した一定時間前の座標値とから速度ベクトルを計算し、該速度ベクトルと予め設定した一定時間前の速度ベクトルとから角度変位を計算し、全ての標準ジェスチャに対して、入力したジェスチャと各標準ジェスチャの角度変位時系列を特徴ベクトルとしてＤＰマッチングを行い距離を計算し、該距離が最小である標準ジェスチャを認識結果とするようにしている。 また、未知のジェスチャの座標値が入力される度に、前記速度ベクトルに代えて、入力した座標値の時系列を曲線で補間し、一定時間間隔の各時点で該曲線の接線ベクトルを計算し、該接線ベクトルから角度変位を計算するようにしている。 また、距離が最小である標準ジェスチャを認識結果とすることに代えて、該距離が最小である時間が予め定めた一定時間以上連続する標準ジェスチャを認識結果とするようにしている。 また、
距離が最小である標準ジェスチャを認識結果とすることに代えて、未知のジェスチャの入力座標の個数が増加するにつれて、該距離が減少し、再び増加する標準ジェスチャの中で該距離が最小であるものを認識結果とするようにしたものである。 また、距離が最小である標準ジェスチャを認識結果とすることに代えて、該距離が最小であり、かつ予め設定した値以下である標準ジェスチャを認識結果とするようにしている。 さらに、予め標準ジェスチャに対応するコマンドを貯蔵しておき、ジェスチャ認識方法を用いて認識結果を得、該認識結果に対応するコマンドを実行するようにしている。

【０００５】

【作用】標準ジェスチャと入力したジェスチャの速度ベクトルから計算した角度変位時系列を特徴ベクトルとしてＤＰマッチングを行い、求めた距離が最小である標準ジェスチャを認識結果とするようにしたので、多量の学習データを必要とせず、利用者が設定したジェスチャを認識できる。 また、角度変位はジェスチャの速度や大きさが変化した場合も変化が少ないので、正しい認識結果を得ることが可能である。 また、入力された未知のジェスチャとの距離が最小である時間が予め定めた一定時間以上連続する標準ジェスチャ、または未知のジェスチャの入力座標の個数が増加するにつれて、該距離が減少し、再び増加する標準ジェスチャ、または、距離が最小であり、かつ予め設定した値以下である標準ジェスチャを認識結果とするようにしたので、距離の絶対値よりさらに一層速度や大きさの影響が少なく、正しい認識結果を得ることが可能である。 さらに、上記認識結果が得られたとき、該認識結果に対応するコマンドを実行するため、ユーザインタフェースを早く、容易にとることができる。

【０００６】

【実施例】以下、本発明の一実施例を図面に基づいて詳細に説明する。 図１は、本発明をワークステーションのコマンド入力処理に適用した場合の処理手順の一実施例を示すフローチャートであり、図２は、マウスを用いたコマンド入力処理の一実施例に適用される装置の構成図である。 図３は、次頁表示を表す標準ジェスチャ、図４
は、前頁表示を表す標準ジェスチャ、図５は、処理終了を表す標準ジェスチャであり、それぞれワークステーションのコマンドである「次頁表示」、「前頁表示」、
「処理終了」に対応する。 図６は速度ベクトルの計算方法を説明するための図であり、図７は角度変位の計算方法を説明するための図であり、図８は入力された未知のジェスチャを表す図である。 図９と図１０はＤＰマッチングの処理手順の一例を示すフローチャートであり、図１１は入力時刻に対する入力ジェスチャと標準ジェスチャ間の距離の推移を示す図であり、図１２は、本発明のジェスチャ認識方法において認識結果が得られたときに表示する認識結果の表示例である。

【０００７】図２において、２はワークステーションのコマンド入力処理を利用している利用者であり、４は、
利用者２が手に持ち、机の上を前後左右に移動したときに直行する２座標軸に沿った座標値を任意の時間に入力するマウスである。 ６は、図３から５の標準ジェスチャの座標値、角度変位時系列、速度ベクトル、角度変位、
ＤＰマッチングの途中結果を蓄える記憶部である。 ８はマウス４から入力された座標値から速度ベクトルと角度変位を計算し、入力されたジェスチャの速度ベクトルと角度変位を得、記憶部６の標準ジェスチャの角度変位時系列とマッチングを行い、標準ジェスチャと入力ジェスチャの間の距離を計算し、認識結果を判定する計算部である。 １０は、計算部で得られた結果の標準ジェスチャを表示する表示部であり、１２は、一定時間間隔で割込みを発生するタイマ、１４は、コマンドを入力するキーボードである。

【０００８】図３乃至図５は、本実施例を説明するための標準ジェスチャの座標とそれらを線分で結んだものであり、左から右向きにＸ座標、上から下向きにＹ座標とする。 図３において、３０から３９は次頁表示を指示するため予め定められた標準ジェスチャを一定時間毎の座標の時系列で表現したときの座標であり、４０から４９
は、座標３０から３９を結んだ線分である。

【０００９】図４において、５０から５９は前頁表示を指示するため予め定められた標準ジェスチャを一定時間毎の座標の時系列で表現したときの座標であり、６０から６９は、座標５０から５９を結んだ線分である。 図５
は７０から７９は処理終了を指示するため予め定められた標準ジェスチャを一定時間毎の座標の時系列で表現したときの座標であり、８０から８９は、座標７０から７
９を結んだ線分である。

【００１０】本実施例のコマンド入力処理は、標準ジェスチャに対応するコマンドを入力する以外はキーボードやスイッチなどマウス以外の装置を操作する必要がないことを特徴とする。

【００１１】以下、図１に示すフローチャートに基づき実施例の動作を説明する。 処理が開始される（ステップ１００）と、利用者２はマウス４を操作し、図３乃至図５の３個の標準ジェスチャの座標を入力し、それら座標値を入力された順に記憶部６に記憶し、対応させるコマンドをキーボード１２から入力し、コマンドを記憶部６
に記憶する（ステップ１０２）。 ステップ１０２において、表１乃至表３の座標値を入力したとする。 表１乃至表３において、時刻はタイマ１２で数えた一定時間の経過回数を示し、ＸとＹは、それぞれ座標のＸ成分とＹ成分である。

【００１２】

【表１】

【００１３】

【表２】

【００１４】

【表３】

【００１５】次に、計算部８は３個の標準ジェスチャの座標値から速度ベクトル時系列を計算する（ステップ１
０４）。

【００１６】以下、速度ベクトル時系列の計算方法を図６を用いて説明する。 図６において、３０から３２と４
０から４２はそれぞれ図３の座標３０から３３と線分４
０から４３である。 図６において座標３０のＸ成分が０、Ｙ成分が０であり、座標３１のＸ成分が６５、Ｙ成分が−４０であり、座標３２のＸ成分が１１０、Ｙ成分が−１３であるとする。 ある時刻ｉの速度ベクトルの２
成分であるＶＸｉとＶＹｉは、それぞれ数１と数２を用いて計算する。

【００１７】

【数１】ＶＸ _i ＝Ｘ _i −Ｘ _i-1 ‥‥‥（数１）

【００１８】

【数２】ＶＹ _i ＝Ｙ _i −Ｙ _i-1 ‥‥‥（数２） 例えば、図３の次頁表示を表す標準ジェスチャの時刻１
における速度ベクトルは、時刻１に対応する座標３１のＸ座標＝６５とＹ座標＝−４０と、時刻０に対応する座標３０のＸ座標＝０とＹ座標＝０を式１と２に代入してＶＸ＝６５、ＶＹ＝−４０となる。 以上の処理を３個のジェスチャについて時刻０から９まで行い、速度ベクトル時系列を得る。 ステップ１０４で得た結果を表４から表６に示す。 表４から６において時刻は表１から３の時刻であり、ＶＸとＶＹは、それぞれ速度ベクトルのＸ成分とＹ成分である。

【００１９】

【表４】

【００２０】

【表５】

【００２１】

【表６】

【００２２】次に、速度ベクトル時系列から角度変位時系列を計算する（ステップ１０６）。

【００２３】以下、図７を用いて、角度変位時系列の計算を説明する。 図７において３０から３２は図３の座標３０から３２であり、４１と４２は図３の線分４１と４
２であり、７００は座標３２を通り線分４１と平行な直線で、７０２は座標３０を通り線分４２と平行な直線であり、７０４は線分４１と直線７０２のなす角度である。 時刻ｉの角度変位は時刻ｉの速度ベクトルと時刻（ｉ−１）のなす角度とする。 ここで、角度変位の絶対値は数３に示すように速度ベクトルの内積の余弦の逆関数から計算し、符号は数４に示す２個の速度ベクトルの外積と等しくする。

【００２４】

【数３】

【００２５】

【数４】 角度変位の符号＝ＶＸ _i・ＶＹ _i-1 −ＶＸ _i-1・ＶＹ _i ‥‥（数４） 例えば、時刻２の角度変位は、次頁表示を表すジェスチャの時刻２の速度ベクトルの２成分が、それぞれＶＸ＝
４５とＶＹ＝２７であり、時刻１の速度ベクトルの２成分が、それぞれＶＸ＝６５とＶＹ＝−４０であるから、
これを数３に代入して角度の絶対値は１．０９２となり、数４から符号は、マイナスとなり、合わせて角度変位は−１．０９２となる。

【００２６】以上の処理を３個のジェスチャについて時刻１から９まで行い、角度変位時系列を得る。 ステップ１０６で得た結果を表７から表９に示す。 表７から９において時刻は表１から６の時刻であり、Ｔは角度変位である。

【００２７】

【表７】

【００２８】

【表８】

【００２９】

【表９】

【００３０】以上の処理（ステップ１０２から１０６）
で得た結果は記憶部６に蓄える。

【００３１】次に、タイマ１２で時刻が１だけ経過する度（ステップ１０８）に、利用者２が操作するマウス４
の座標値を１個だけ入力する（ステップ１１０）。 ここで、座標の入力は時刻１００から開始されるとする。 また、以下の処理において時刻１００から時刻１１３の各時点で入力するジェスチャを図８とし、その座標は表１
０であるとする。 図８において、左から右向きにＸ座標、上から下向きにＹ座標とし、１０００から１０１３
は入力ジェスチャを一定時間毎の座標の時系列で表現した座標であり、１０２０から１０３３は、座標１０００
から１０１３を結んだ線分である。

【００３２】

【表１０】

【００３３】また、表１０において時刻は一定時間の経過回数を示し、ＸとＹは、それぞれ入力ジェスチャの座標のＸ成分とＹ成分である。

【００３４】ステップ１１０で座標を入力すると、２個以上の座標を入力したか否かを判定し、２個以上の座標を入力したときはステップ１１４へ進み、そうでないとき、つまり初めて入力ジェスチャの座標を入力したときはステップ１０８へ戻る（ステップ１１２）。 ここでは、時刻１００で初めて入力ジェスチャの座標を入力したので、ステップ１０８へ戻る。 次にステップ１０８で時刻が１だけ経過して時刻１０１になったとし、ステップ１１０で利用者２が操作するマウス４の座標値を１個だけ入力する。 するとステップ１１２ですでに１個以上の座標を入力しているので、ステップ１１４へ進み速度ベクトルを計算する。 速度ベクトルはステップ１０４と同様に、入力された座標値と、その時刻より１だけ以前に入力された時刻の座標値を数１と数２に代入して得る。 例えば、時刻１００の入力ジェスチャの座標のＸ成分は６０であり、Ｙ成分は３であり、時刻１０１のＸ成分は７０であり、Ｙ成分は２３であるから、時刻１０１
の速度ベクトルのＶＸは６０であり、ＶＹは３となる。
次に、入力座標をすでに３個以上入力しているか否かを判定し、３個以上入力しているならばステップ１１８へ進み、そうでないならばステップ１０８へ戻る（ステップ１１６）。 ここでは、時刻１００と１０１で２個だけ入力しているのでステップ１０８へ戻る。 再びステップ１０８で時刻が１だけ経過して時刻１０２になったとし、ステップ１１０で利用者２が操作するマウス４の座標値を１個だけ入力し、ステップ１１２ですでに１個以上の座標を入力しているので、ステップ１１４へ進み速度ベクトルを計算し、ステップ１１６で３個座標を入力しているのでステップ１１８へ進む。

【００３５】ステップ１１８では、ステップ１０６と同様の方法で速度ベクトルから角度変位を計算する。 角度変位の絶対値は数３を用いて計算し、符号は数４に示す２個の速度ベクトルの外積と等しくする。 例えば、時刻１０２の角度変位は、時刻１０２の速度ベクトルのＶＸ
が５６であり、ＶＹが３８であり、時刻１０１のＶＸ＝
６０であり、ＶＹが３であるので、角度変位Ｔは−０．
５４６となる。 次に、ステップ１１８で得えた角度変位と記憶部６に蓄えた標準ジェスチャの角度変位時系列からＤＰマッチングを行い、各標準ジェスチャと入力したジェスチャ間の距離を計算する（ステップ１２０）。

【００３６】ＤＰマッチングは中川聖一著、「音声認識における時系列パターン照合アルゴリズムの展開」 人工知能学会誌、第３巻第４号（１９８８年）、４１１頁から４２３頁 に記載されているように、入力した音声とあらかじめ記憶した音声の比較において、両者をそれぞれ一定時間間隔毎の特徴量の時系列であるパタンで表してとき、時間軸に非線形な変換を施すことによりパターン長の差の影響をできるかぎり吸収した距離を計算しようとする方法である。 以下、一般的なＤＰマッチングを詳細に説明する。 ２つのパタンＡとＢ間の距離を数５
に示すように成分ベクトル間の距離の荷重平均の最小値で距離を定義する。

【００３７】

【数５】

【００３８】数５において、ＦはＡとＢ両パタンの時間の対応を表した点列であり、ｃ（ｋ）はＦを構成する点列のｋ番目の点であり、Ｋは点列Ｆを構成する点の数であり、ｄ（ｃ（ｋ））は点ｃ（ｋ）に対応するパタンＡ
とＢの要素の差の絶対値であり、ｗ（ｋ）は重み係数である。 また、分母は点列Ｆを構成する点の数によるパタンＡとＢ間の距離の差を補正するための正規化係数である。 ２個のパタンの各成分の対応の選択によって最小値は変化するので、最小値は、すべての対応について数５
の分子、分母を計算する必要がある。 ここで、分母を系列Ｆに依存しないようにすると数６のような加法的になるので、その最小化は動的計画法の手法で効率的に計算できる。

【００３９】

【数６】

【００４０】数６においてＮは数５の分母である。

【００４１】以下、動的計画法を用いた数６の最小化について説明する。 まず、部分点列に対する部分和ｇ（ｃ
（ｋ））を考えると、数７のように記述できる。

【００４２】

【数７】

【００４３】数７において、ｉ（ｋ）は点ｃ（ｋ）のＡ
の要素番号であり、ｊ（ｋ）はｃ（ｋ）のＢの要素番号であり、ｃ（ｍ）…ｃ（ｋ−１）はｍ番目からｋ−１番目までのＦを構成する部分点列を表す。 さらに、数７を変形すると数８のようになる。

【００４４】

【数８】

【００４５】ここで、ｗ（ｋ）を数９とすると、

【００４６】

【数９】 ｗ（ｋ）＝｛ｉ（ｋ）−ｉ（ｋ−１）｝＋｛ｊ（ｋ）−ｊ（ｊ−１）｝ ‥‥（数９） 点列に対する単調連続性の条件、つまり常にｉとｊの少なくともいずれか一方が１だけ増加することから、ｃ
（ｋ−１）は（ｉ（ｋ），ｊ（ｋ）−１）、（ｉ（ｋ）
−１，ｊ（ｋ））、（ｉ（ｋ）−１，ｊ（ｋ）−１）のいずれかであるとすると、数８は３通りのｃ（ｋ−１）
のうちｇ（ｃ（ｋ−１））とｄ（ｃ（ｋ））ｗ（ｋ）の和が最小になるｃ（ｋ−１）を選択して代入すれば良いので、数８は数１０のようになる。

【００４７】

【数１０】

【００４８】数１０においてｉとｊは、それぞれｉ
（ｋ）とｊ（ｋ）である。 従って、数６の最小化問題は数１０を繰り返し計算することによって解ける。 ＡＢ両パタンの距離Ｄ（Ａ，Ｂ）は数１１であるから、数１０
を繰り返し計算すれば良い。

【００４９】

【数１１】 Ｄ（Ａ，Ｂ）＝ｇ（Ｉ，Ｊ）／Ｎ ‥‥（数１１） 数１１において、ＩとＪは、それぞれパタンＡとＢの特徴ベクトルを構成する成分ベクトル最後の要素の番号、
つまりパタンの長さであり、Ｎは数６のＮと同じである。

【００５０】数１０の３個の式で１番の式が最小である場合は、パタンＡのｉ番目の要素に対してパタンＢのｊ
番目とｊ−１番目の要素を対応させたこと、つまり１個のＡの要素に対してパタンＢの２個の要素を対応させることであり、同様に３番目の式が最小である場合は、１
個のパタンＢの要素にパタンＡの２個の要素を対応させるていることを示している。 これはｉとｊを等時間間隔で取った場合に時間軸に非線形な変換を行い、パターン長の差の影響を吸収したときのパタンＡとＢの距離を求めることに他ならない。 本発明はこのＤＰマッチングを標準ジェスチャと入力ジェスチャの両角度変位時系列間の距離の計算に用いたものである。

【００５１】以下、ステップ１２０で行うＤＰマッチングの計算手順を図９と図１０に基づいて説明する。 図９
と図１０において、ｉとｊはそれぞれ入力ジェスチャと標準ジェスチャの角度変位の順番であり、０から開始する。 ｉ＝０は、入力ジェスチャの時刻１０２に対応し、
ｊ＝０は、標準ジェスチャの時刻２に対応するとする。
また、ｉとｊは角度変位の順番なので、それぞれ１ずつ増加する毎に時刻も１ずつ増加する。 また、ｇは距離を計算するために用いる２次元配列であり、ｄ（ｉ，ｊ）
は入力したジェスチャのｉ番目の角度変位と、ある一つの標準ジェスチャのｊ番目の角度変位の差の絶対値を表す関数である。 Ｌ（ｉ，ｊ）は計算途中での重みｗ
（ｋ）に相当する値の和を記憶する２次元配列である。
なお、以下では表７で表される標準ジェスチャに対して入力ジェスチャとの距離を求める処理を例とするが、他の２個の標準ジェスチャについても同様の処理を行う。

【００５２】処理が開始される（ステップ２００）と初期状態であるかを判定し、初期状態であるならば、ステップ２０４へ進み、そうでないならば、ステップ２２０
へ進む（ステップ２０２）。 ここでは、時刻１０２が初期状態であるとする。 このときｉを０とする。 初期状態であるので、ステップ２０４へ進み、ｇ（０，０）にｄ
（０，０）に２を乗じた値を代入し、Ｌ（０，０）に２
を代入する。 ここでｄ（０，０）は、入力ジェスチャの０番目の角度変位である−０．５４６と次頁表示を表す標準ジェスチャの０番目の角度変位である−１．０９２
の差の絶対値０．５４６となり、ｇ（０，０）は１．０
９２となる。

【００５３】次にｊを１とし（ステップ２０６）、ｊが標準ジェスチャの時刻の最大値から最小値を減じた値に１を加えた標準ジェスチャ長であれば、ステップ２１４
へ進み、等しくなければステップ２１０へ進む（ステップ２０８）。 ここでは、ｊ＝１であり、標準ジェスチャ長は９から２を減じた７に１を加えた８であるからステップ２１０へ進み、ｇ（０，ｊ）へｄ（０，ｊ）に２を乗じた値とｇ（０，ｊ−１）を代入し、Ｌ（０，ｊ）にＬ（０，ｊ−１）に１だけ加えた値を代入する（ステップ２１０）。 ここで、ｉは０であり、ｊは１であり、ｇ
（０，０）は時刻１０２の入力ジェスチャの角度変位である−０．５４６と次頁表示を表わす標準ジェスチャ−
のｊ＝１に対応する角度変位である−０．９６０の差の絶対値０．４１４であるからｇ（０，１）には１．０９
２と０．４１４の和、１．５０６を代入し、Ｌ（０，
１）に２と１の和である３を代入する。

【００５４】次にｊを１だけ増加し（ステップ２１
２）、ｊが標準パタン長になるまでステップ２０８から２１２を繰り返し、ステップ２１４へ進み、ｇ（ｉ、ｊ
−１）をＬ（ｉ，ｊ−１）で除し、これを距離とする（ステップ２１４）。 ここで、ｉは０であり、ｊはステップ２１２で１ずつ増加したので８であり、ｊ−１は７
となり、ステップ２１０を繰り返すとｇ（０，７）は、
３．３５５となり、Ｌ（０，７）は、９となるから、距離は０．３７３となる。

【００５５】次に、ｉを１だけ増加させ（ステップ２１
６）、終了し（ステップ２１８）、ステップ１２２へ進む。 ステップ１２２において、認識条件を満たすときはステップ１２４へ進み、満たさないときはステップ１０
８へ戻る（ステップ１２２）。 ここでは、距離が０．３
未満であった回数が連続して２回続くことを認識条件とする。 すると、距離は０．３７３であるので認識条件を満たさず、ステップ１０８へ戻る。 次にステップ１０８
で一定時間が経過したとし、その時刻を１０３とする。
ここで、ステップ１１０で時刻１０３の入力座標値としてＸ＝１４８、Ｙ＝１２１を入力し、上述のようにステップ１１４で速度ベクトルのＶＸを２２とし、ＶＹを６
０とし、ステップ１１８で角度変位−０．６２３を得たとする。

【００５６】次に、ステップ１２０からステップ２００
へ進み、ステップ２０２において、初期状態でないので、ステップ２２０へ進み、ＤＰマッチング２の処理（図１０）を行う。 処理が開始すると（ステップ２２
２）、変数ｄ１にｇ（ｉ−１，０）とｄ（ｉ，０）の和をＬ（ｉ−１，０）に１を加えた値で除した値を代入し、ｄ２にｄ（ｉ，０）に２を乗じた値を代入する（ステップ２２４）。 ここで、ｉは１であり、ｇ（０，０）
は、１．０９２であり、ｄ（１，０）は０．４６９であり、Ｌ（０，０）は２であるから、ｄ１は０．５２０となり、ｄ２は０．９３８となる。 次にｄ１とｄ２の大小関係を判定し、ｄ１がｄ２より小であるならば、ステップ２２８へ進み、そうでないならばステップ２３０へ進む（ステップ２２６）。 ここでは、ｄ１がｄ２より小さいのでステップ２２８へ進み、ｇ（ｉ，０）にｇ（ｉ−
１，０）とｄ（ｉ，０）の和を代入し、Ｌ（ｉ，０）にＬ（Ｉ−１，０）に１を加えた値を代入する。 ここで、
ｉは１であり、ｇ（０，０）は、１．０９２であり、ｄ
（１，０）は０．４６９であるからｇ（１，０）は１．
５６１となり、Ｌ（０，０）は２であるから、Ｌ（１，
０）は３となる。

【００５７】次に、ｊを１とし（ステップ２３２）、ｊ
が標準パタン長であるならばステップ２４６へ進み、そうでないならばステップ２３６へ進む。 ここではｊが１
であるからステップ２３６へ進む。 次に、ｄ１にｇ（ｉ
−１，ｊ）とｄ（ｉ，ｊ）の和を代入し、ｄ２にｇ（ｉ
−１，ｊ−１）とｄ（ｉ，ｊ）に２を乗じた値の和を代入し、ｄ３にｇ（ｉ，ｊ−１）とｄ（ｉ，ｊ）の和を代入する（ステップ２３６）。 ここではｉとｊは共に１であり、ｄ（１，１）は表１１からｉが１に対応する時刻１０３の角度変位は−０．６２３であり、表７からｊが１に対応する時刻３の次頁表示の標準ジェスチャの角度変位は−０．９６０であり、ｇ（０，１）は、１．５０
６、ｇ（０，０）は１．０９２、ｇ（１，０）は１．５
６１であったからｄ１は１．８４３となり、ｄ２は１．
７６６となり、ｄ３は１．８９３となる。

【００５８】次にｄ１、ｄ２、ｄ３の中から最小値を求め、ｄ１が最小値であるときはステップ２４０へ進み、
ｄ２が最小値であるときはステップ２４２へ進み、ｄ３
が最小値であるときはステップ２４４へ進み（ステップ２３８）、ステップ２４０へ進んだ場合はｇ（ｉ，ｊ）
にｄ１を代入し、Ｌ（ｉ，ｊ）には、Ｌ（ｉ−１，ｊ）
に１を加えた値を代入し、ステップ２４２へ進んだ場合はｇ（ｉ，ｊ）にｄ２を代入し、Ｌ（ｉ，ｊ）には、Ｌ
（ｉ−１，ｊ−１）に２を加えた値を代入し、ステップ２４４へ進んだ場合はｇ（ｉ，ｊ）にｄ３を代入し、Ｌ
（ｉ，ｊ）には、Ｌ（ｉ，ｊ−１）に１を加えた値を代入する。 ここではｄ２が最小値であるからステップ２４
２へ進み、ｇ（１，１）に１．７６６を代入し、Ｌ
（１，１）にＬ（０，０）＋２、つまり４を代入する。
ステップ２４０、２４２、２４４いずれの場合も、次に２４６へ進み、ＤＰマッチング２の処理を終了し、ステップ２１４へ進む。 次に、上記と同様にステップ２１６
を経てステップ２１８へ進み、ＤＰマッチングの処理を終了しステップ１２２へ進む。

【００５９】以上のステップ１０８から１２０を時刻１
０９まで行ったとする。 このときの速度ベクトルと角度変位をそれぞれ表１１と表１２に示す。 また、ステップ２１４で得た各標準ジェスチャに対する距離の変化の様子を図１１に示す。 表１１において時刻は表１０の時刻であり、ＶＸとＶＹは速度ベクトルの２成分であり、Ｓ
は角度変位である。 図１１において、横軸はｉの増加する方向であり縦軸は入力ジェスチャと各標準ジェスチャとの距離を表す。 また、３種類の折線は、それぞれ次頁表示と前頁表示と処理終了を表すジェスチャに対する距理をプロットし、線分で結んだものである。

【００６０】

【表１１】

【００６１】

【表１２】

【００６２】次にステップ１２２へ進み、次頁表示の時刻１０８での距離が０．２３であり、時刻１０９の距離が０．２４であるので、上述の認識条件を満たすので、
ステップ１２４へ進む。 ステップ１２２では、既に得られている速度ベクトルの大きさを調べ、その大きさが予め定めた値を越えたときのみ認識結果を出力するようにしてもよい。 このようにすることにより、マウス操作者の入力操作には関係のない手の小さな動きにより、不用な認識結果が出力されることを防止することができる。
ステップ１２４では、距離が最小の標準ジェスチャを認識結果とし、その座標値を曲線で結んだ線画を表示部１
０へ表示する。 ここでは、次頁表示に対応する標準パタンが認識結果となるので、図１２に示す図形を表示する。 図１２において３０から３９は図３の座標３０から３９であり、８００は座標３０から３９を滑らかに結んだスプライン曲線である。 認識結果が得られない場合には、標準パターンの表示は行なわない。 また、各標準ジェスチャの軌跡を貯蔵しておき、認識結果の標準ジェスチャの軌跡を表示するようにしてもよい。 次に、ステップ１２６へ進み、次頁表示のコマンドを実行し、ステップ１０８へ戻る。 再び他のジェスチャを入力し、上述の処理によって、それが処理終了を表すジェスチャであると認識されるとステップ１２６で処理終了のコマンドが実行されると処理を終了する。

【００６３】上記実施例によれば、速度ベクトルの角度変位を用いているのでジェスチャの大きさとマウスを動かす速度よって認識結果が変化することが少なく、認識率を高めるために多量のジェスチャデータを学習させる必要がない。 さらに、ＤＰマッチングは局所的な距離が最小になるように時間の伸縮を行っているのでジェスチャの時間間隔が伸び縮みしても認識率が大きくは変化しない。 また、本実施例では、ジェスチャの開始点や終了点を入力する処理を行わないので、開始と終了を指示するためのボタンなどを備えた座標入力装置を用いる必要がない。 また、本実施例では、認識したとき標準ジェスチャの軌跡を表示するので利用者は認識されたことを容易に知ることができる。 さらに、通常は軌跡を表示しないので人間の反応知覚に影響を与えず、利用者の動作が遅くならない。 また、ジェスチャの認識によってコマンドを実行するのでキーボードの操作やメニューの選択などの操作を少なくでき、操作性を向上することが可能である。

【００６４】以上の実施例では、ステップ１２２の認識条件を認識条件を距離が０．３未満であった回数が連続して２回続くこととし、この条件を満たした標準ジェスチャを認識結果としたが、これに代えて入力ジェスチャの入力座標の個数が増加するにつれて距離が減少し、再び増加する標準ジェスチャの中で該距離が最小のものを認識結果としても良い。 また、該距離が最小で、かつ予め設定した値以下のものを認識結果としても良い。 認識条件をこのように代えると、例えば図１１に示したように、入力ジェスチャと３個の標準ジェスチャの距離は共に時刻１０６まで減少し、時刻１０５で増加し、最小の距離となる標準ジェスチャは次頁表示の表わす標準ジェスチャであるから、時刻１０５でステップ１２２の条件を満たし、ステップ１２４へ進む。 この実施例では、上記の「０．３未満」のような認識条件として予め標準ジェスチャが満たすべき距離を数値で設定する必要がない。 また、認識条件を認識条件を距離が０．３未満であった回数が連続して２回続き、かつ入力ジェスチャの入力座標の個数が増加するにつれて距離が減少し、再び増加する標準ジェスチャが存在する場合としてもよいことはいうまでもない。 この実施例では、距離が増加することは入力ジェスチャのパタンが標準ジェスチャのパタンからずれはじめたことを意味し、入力ジェスチャの入力途中にコマンドが実行されず、次の異なるジェスチャが入力した場合にコマンドが実行されるようにできる。 さらに、ステップ１２２の認識条件に速度ベクトルの絶対値が予め設定した一定値以上であることを加えても良い。 速度ベクトルの絶対値は数１２で計算する。

【００６５】

【数１２】

【００６６】本実施例によれば、利用者の無意識の動作では速度ベクトルの絶対値が小さく、意図したジェスチャ以外で誤動作することがない。

【００６７】以上の実施例では数１と数２で速度ベクトルを入力された時点と、それより１度だけ前に入力された座標から計算したが、数１３と数１４に示すように２
度前の時点で入力された座標を用いても良い。

【００６８】

【数１３】ＶＸ _i ＝Ｘ _i −Ｘ _i-2 ‥‥（数１３）

【００６９】

【数１４】ＶＹ _i ＝Ｙ _i −Ｙ _i-2 ‥‥（数１４） このとき速度ベクトルは入力ジェスチャの座標値を３個以上入力した場合でないと計算できないので、ステップ１１２では、すでに２個以上の座標を入力したか否かを判定することに代えて、３個以上の座標を入力したか、
否かを判定するようにする。 また、ステップ１１６でも同様に３個以上の座標を入力したか否かを判定することに代えて、４個以上の座標を入力したか否かを判定するようにする。 この場合、座標値の１個が他と大きく異なるような場合にも角度変位は滑らかになるので、認識率を高めることができる。

【００７０】以上の実施例では、入力された座標値だけを用いて速度ベクトルと角度変位を計算したが、ステップ１１２で入力した座標値から速度ベクトルを求めると共に得た座標を曲線で補間し、時刻が連続する２個の座標から等しい距離だけ離れた直線と曲線の交点での接線を求め、その接線の方向ベクトルを速度ベクトルとしても良い。 以下、図１３を用いてこの実施例を説明する。
図１３において、３０から３２と４１と４２は、それぞれ図３および図６の座標３０から３２と４１と４２である。 また、９００は座標３０から３２を通２次曲線であり、９０２は線分４２を垂直に２分する直線であり、９
０４は２次曲線９００と直線９０２との交点であり、９
０６は交点９０４で曲線９００で接する接線の方向ベクトルである。

【００７１】まず、座標３０から３２の各Ｘ成分とＹ成分を数１５に代入し、これを解いて２次曲線９００の３
個の係数ａ、ｂ、ｃを得る。 未知数がａ、ｂ、ｃの３個で、連立方程式が３個であるからガウスの消去法などで解くことができる。

【００７２】

【数１５】

【００７３】例えば、座標３０のＸ成分とＹ成分が、共に０であり、座標３１のＸ成分とＹ成分が、それぞれ６
５と−４０であり、座標３２のＸ成分とＹ成分が、それぞれ１１０と−１３であるので、ａは０．０１１０５、
ｂは−１．３３４、ｃは０となる。 次に、座標のＸ成分がＸ０でＹ成分がＹ０である点と座標のＸ成分がＸ１でＹ成分がＹ１である点を結んだ線分を垂直に２分する直線９０２は数１６のように表わすことができるので、座標３１と３２の各Ｘ成分とＹ成分を数１６に代入し、線分４２を垂直に２分する直線９０２を得る。 ここで、数１６に座標３１のＸ成分とＹ成分の値である、６５と−
４０と座標３２のＸ成分とＹ成分の値である１１０と−
１３を代入し、数１７を得る。

【００７４】

【数１６】

【００７５】

【数１７】 Ｙ＝−１．６６７Ｘ＋１１９．３ ‥‥（数１７） 次に数１５にａ、ｂ、ｃを代入し、この式と数１７の連立方程式を解き、交点の座標を得る。 ここでは、ａは０．０１１０５、ｂは−１．３３４、ｃは０であるから数１７は数１８のようになり、連立方程式を解くとＸ成分とＹ成分が８９．９２と−３０．６である点と−１２
０．１と３１９．４である点を得る。

【００７６】

【数１８】

【００７７】得た点のうち数１５にａ、ｂ、ｃを代入した曲線上で座標３１と座標３２の間に存在するものを二次曲線９００と直線９０２との交点９０４とする。 ここでは、Ｘ成分とＹ成分が８９．９２と−３０．６である点が交点９０４となる。 次に、座標のＸ成分がＸ３でＹ
成分がＹ３である点で接する数１５で表わされる曲線の接線は数１９で表わすことができる。 この接線の方向ベクトルのＸ成分は数１９の係数から数２０で表わすことができ、Ｙ成分は１であるから、数２０に上述の処理で得たａ、ｂ、Ｘ３を代入して方向ベクトル９０６を得る。

【００７８】

【数１９】 Ｙ−Ｙ ₃ ＝（２ａ・Ｘ ₃ ＋ｂ）（Ｘ−Ｘ ₃ ） ‥‥（数１９）

【００７９】

【数２０】 並行ベクトルのＸ成分＝２ａ・Ｘ ₃ ＋ｂ ‥‥（数２０） ここでは、Ｘ３は８９．９２であり、ａは０．０１１０
５、ｂは−１．３３４、であるから方向ベクトル９０６
のＸ成分は０．６５３２となる。 次に、得た方向ベクトル９０６を速度ベクトルとし、時刻的な順番を座標３１
を入力したときの速度ベクトルと座標３２を入力したときの速度ベクトルの間にする。 この実施例によれば、座標が入力された時刻における速度ベクトルだけでなく、
加えて入力した座標値の補間を行い、補間した点における速度ベクトルを求めるので、ステップ１１８で入力座標数より多くの角度変位を計算でき、入力した座標の個数が少ない場合でも認識を行うことができる。

【００８０】

【発明の効果】本発明では、速度ベクトルの角度変位を用いているのでジェスチャの大きさよって認識結果が変化することが少ない。 さらに、ＤＰマッチングを用いているのでジェスチャの時間間隔が伸び縮みしても認識率が大きく変化しない。 また、一定時間ごとに座標値を入力し、その度にＤＰマッチングを行っているのでマッチングに用いるデータ数を適切に設定すれば、データ数が少ない短時間の動作やデータの変化が少ない長い動作は異なった時系列データとなるので認識されず、利用者の意図しない動作で誤動作することがない。 また、ボタンなどの開始と終了を指示する装置を備えない座標入力装置を用いた場合においても開始点と終了点を指示する必要がない。 さらに、入力した座標値の補間を行い、角度変位を計算するので、入力した座標の個数が少ない場合でも認識を行うことができる。 また、認識したとき標準ジェスチャの軌跡を表示するので利用者は認識されたことを容易に知ることができる。 さらに、標準ジェスチャを時間をパラメタとする関数で記述するので、標準ジェスチャを表示するときに装置にあわせた適当な倍率で表示できる。 さらに、通常は軌跡を表示しないので人間の反応知覚に影響を与えず、利用者の動作が遅くならない。 また、ジェスチャの認識によってコマンドを実行するのでキーボードの操作やメニューの選択などの操作を少なくでき、操作性を向上することが可能である。

【図面の簡単な説明】

【図１】本発明の一実施例を示すフローチャートである。

【図２】本発明の一実施例に適用される装置構成を説明する図である。

【図３】次頁表示を表す標準ジェスチャの例を示す図である。

【図４】前頁表示を表す標準ジェスチャの例を示す図である。

【図５】処理終了を表す標準ジェスチャの例を示す図である。

【図６】速度ベクトルの計算方法を説明するための図である。

【図７】角速度の計算方法を説明するための図である。

【図８】入力するジェスチャの例を示す図である。

【図９】ＤＰマッチングのフローチャートである。

【図１０】ＤＰマッチング２のフローチャートである。

【図１１】入力時刻に対する入力ジェスチャと標準ジェスチャ間の距離の推移を示す図である。

【図１２】認識結果の表示例を示す図である。

【図１３】ジェスチャの補間を説明するための図である。

【符号の説明】

２ 利用者 ４ マウス ６ 記憶部 ８ 計算部 １０ 表示部 １２ タイマ １４ キーボード

───────────────────────────────────────────────────── フロントページの続き (72)発明者 広瀬 正 神奈川県川崎市麻生区王禅寺1099番地 株 式会社日立製作所システム開発研究所内