【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータ制御装置およびコンピュータ制御システムに関し、特に、スクリーン上のグラフィカルキャラクタの動き等を制御するためのスクリーン上のキャラクタ制御システムに関する。

【０００２】

【従来の技術】１９９４年９月１３日にトウヘイ・ニッタに付与された米国特許第５，３４７，３０６号には、
会議出席者または会議参加者がスクリーン上のキャラクターを制御し、そのキャラクターの制御を通して互いに対話するという電子的な会議システムについて記載されている。 この特許に記載された会議システムは、フルフレームビデオ・テレビ会議に関する問題を回避するために、アニメのキャラクターまたはアイコンを使用している。 しかしながら、スクリーン上にキャラクターを描写するにあたり、個々の会議参加者のパーソナリティ（特徴）、または、雰囲気や表情等をこのキャラクターに与えることが必要である。 この特許においては、そのようなスクリーン上のキャラクターに関するパーソナリティ（特徴）等の制御を、キーボードやボックススイッチを用いて行うことが提案されている。

【０００３】しかしながら、一般に、キーボードやボックススイッチ等は、会議システムを構成しているホストコンピュータとは別体に構成されて、ホストコンピュータと接続ラインを介して接続されているため、このような別体のキーボードやボックススイッチを用いて、スクリーン上のキャラクターを制御するのには、種々の厄介な問題がある。 従来のコンピュータマウスを使用すれば、キャラクターの動きを或る程度制御することはできるが、このようなシステムは不慣れな人にとっては使用しにくく、また、第一に、ユーザーがコンピュータ端末の前に常に居る必要がある。 また、コンピュータマウスを使用すると、それの操作のために、テレビ会議の際に、深々と椅子にもたれたり或いは動きまわったりすることができず、会議参加者はその意味で環境に縛られ、
操作が長時間に及ぶと疲労感を覚えてしまうといった負担を与えることになる。

【０００４】より詳細に説明すると、周知のように、コンピュータマウスを使用してコンピュータスクリーン上のカーソルの位置の制御を行うことが近年よく行われるようになってきているが、カーソルの位置を動かすために、通常は、いわゆるマウスパッドのような固定面にコンピュータマウスのローラボールを回転接触させて制御を行う。 コンピュータ制御におけるコンピュータマウスの使用は、コンピュータオペレーションを制御するための有効な方法ではあるが、アイコンまたはスクリーン上のキャラクターの表情や動きを制御するのには使用されていない。 コンピュータマウスは、例えば、スクリーン上のキャラクターやオブジェクトをクリックし、次いでマウスパッド上でコンピュータマウスを移動させることによって、コンピュータマウスのマウスパッド上の実際の移動距離に比例する移動長さだけ、スクリーン上のキャラクターやオブジェクトを、現在の位置から他の位置に移動させるのに単に使用されている。 したがって、従来のコンピュータマウスは、電子会議システムまたは他の環境において、他人と交流または対話する際に、スクリーン上に表示されるアニメまたは他のキャラクターの表情や動作等を制御することはできない。

【０００５】特に、グラフィカルオブジェクトをスクリーン上に登場させてコンピュータマウスで所定方向に移動させるためには、グラフィカルオブジェクトをクリックし、次いでコンピュータマウスを動かし、所望位置に沿って各位置を規定することによってグラフィカルオブジェクトをドラッグしなければならない。 従って、グラフィカルオブジェクトを、経路に沿って各箇所を規定することなしに所望方向に移動させることはできない。 このように、グラフィカルオブジェクトを所望方向に差し向けるだけでは、グラフィカルオブジェクトを移動させることができないので、簡単に移動を規定するのには不十分であり、かつ、グラフィカルオブジェクトに所望のパーソナリティを授けるのにも不十分である。

【０００６】従来技術によれば、上述の特許において示されているように、特定の人を表す個々のキャラクターの動きは、データグローブ、データスーツ、椅子入力装置などによって制御することができる。 これらの装置は、或る意味では厄介であるため、したがって、個々のキャラクターの動き、ならびに、スクリーン上のキャラクターに与えようとする雰囲気またはパーソナリティーを制御するための便利で且つ好ましいコンピュータ制御装置を提供することが望まれている。

【０００７】上述のように、本発明では、テレビ会議に必要な帯域幅を大幅に小さくさせるために、アニメ・キャラクターが予め記憶されている。 テレビ会議の際には、会議に参加する人は、自分が他の会議出席者にどのように提示されるかを制御することができることが必要である。 これは、キャラクターの制御に関連したキャラクターコマンドを提供することによって、具体的には、
例えば、配置されたテレビ会議ネットワークにおける各参加者の各端末にボックススイッチ等の物理的スイッチを提供することによって、達成することができる。

【０００８】しかしながら、個々のボックススイッチの使用、或いは、スクリーンメニュー上でカーソルを移動させるコンピュータマウスの使用は、自分以外の他の会議出席者が、個々の会議出席者を見つけるのを制御するのに用いるには厄介な方法である。 したがって、データスーツ又はデータグローブを装着することなしに、また、高度でかつ処理時間のかかる光学認識技術による手や身体の位置検出を必要とすることなしに、そして、手又は指の位置を検知するための固定構造体への物理的な接触なしに、個々の会議出席者が便利に操作してキャラクターを制御することができる、テーブル又は他の平らな面との接触から解放された、非接触のコンピュータ制御装置に対する要請がある。

【０００９】また、従来技術によれば、聾者のためのコミュニケーションシステムに手振りが利用されており、
米国特許第５，０４７，９５２号には、歪センサを使用して手の形体に対応した信号を出すグローブが記載されている。 また、いわゆる輪郭抽出器による動画化されたアニメ状の図に画像を変換するためのシステムが、米国特許第４，５４６，３８３号に記載されている。 米国特許第４，８８４，９７２号は、動画化されたキャラクターのためのワードを選定するためにマウスを使用しており、同第４，９０６，９４０号は、機械制御についての特徴および画像を抽出するためのシステムを記載している。 さらに、同第５，００８，９４６号は、車を制御するために瞳（瞳孔）および口の動きを検知するシステムを記載しており、同第４，４１４，５３７号は、データグローブを使用するマンマシーン・インターフェースを記載している。 同第４，５６７，６１０号は、パターン認識のための基準ヒストグラムを記載しており、以下の物品および論文は、手振りによる認識システムおよび手振りに関連したインターフェースを記載している。

【００１０】「手振りインターフェース装置を使用する実験に基づく手振りのコーディング」（トモイチ・タカハシおよびフミオ・キシノ、ＳＩＧＣＨＩ公報、１９９
１年４月）、「サイン言語の翻訳」（ＩＥＥＥコンピュータグラフィックス・アンド・アプリケーションズ、３
６頁〜３７頁、１９９４年１月）、「３次元コンピュータアートスペースにおけるヒューマン・インターフェース」（ジェニファー・Ａ・ホール、マサチューセッツ工科大学メディア・ラボ、ＭＳＶＳ論文、１９８５年１０
月１８日）、および、「ニューラル・ネットワークに関するビルディング適応インターフェース」（Ｓ・シドニー・フェルズ、トロント大学コンピュータ科学部グローブ・トーク・パイロット・スタディ、技術レポートＣＲ
Ｇ−ＴＲ−９０−１、１９９０年２月）。

【００１１】手振りの認識に関する種々の方法があるが、これらの方法は、コンピュータ制御を多数の手振りによるサインに基づいて行っている。 手振りによるサインの認識は機械制御するには複雑すぎるので、種々の手振りのサインの形の相違を機械で認識するのは困難であり、また、手振りのサインに関連した言語は機械制御するには複雑すぎる。

【００１２】アーケードゲームに関しては、ジョイスティック等が、歪ゲージおよびスイッチの使用によってグラフィカルオブジェクトを制御しており、固定構造体とジョイスティックとの間でその歪が測定される。 これらは、歪ゲージの波形を分析せず、或いは、グラフィカルオブジェクトの波形を合成しない簡単なシステムである。 このように、所定の身振り又は一連の身振りの存在を確立するのに使用することができるテンプレートについて類似または相関関係はない。 その結果、テレビゲーム制御装置では、一般に、人間を表すグラフィカルオブジェクトの人物を制御するのに十分洗練されたレベルの技術は現在提供されていない。

【００１３】

【発明が解決しようとする課題】以上のように、従来においては、スクリーン上のグラフィカルオブジェクトの動きの制御を、キーボードや別のボックススイッチまたはコンピュータマウスといったホストシステムに接続されている別体のスイッチで制御を行っていたため、ユーザーは操作を行っている間は、端末の前に座っていなければならず、また、深々と椅子にもたれ掛かったり、動き回ったりすることができず、その意味で環境に縛られてしまい、操作が長時間に及ぶと疲労感を感じてしまうという問題点があった。

【００１４】また、従来のコンピュータマウス等は、例えば、スクリーン上のキャラクターや他のグラフィカルオブジェクトを、現在の位置から他の位置に移動させるのに単に使用されており、したがって、従来のコンピュータマウスにおいては、電子会議システムまたは他の環境において、スクリーン上に表示されるキャラクターや他のグラフィカルオブジェクトの表情や複雑な動作等を制御することはできないという問題点があった。

【００１５】この発明は、かかる問題点を解決するためになされたものであり、ユーザーが手に持ってそれを所定のパターンで動かすことにより、容易に、スクリーン上のグラフィカルオブジェクトの表情や複雑な動作等の制御が行え、ユーザーを環境に縛らずに楽に操作ができるスクリーン上のキャラクター制御システムを提供することを目的とする。

【００１６】

【課題を解決するための手段】上記の目的に鑑み、この発明は、コンピュータ駆動されたディスプレイによって提供されたスクリーン上に動画化されたキャラクターの動きを制御するスクリーン上のキャラクター制御システムであって、ディスプレイが結合されたコンピュータと、少なくとも１つの加速度計を有する卵形のハンドヘルド式コンピュータ制御装置と、上記加速度計の出力を上記コンピュータに送信する伝送手段と、上記加速度計の送信された出力を受けて加速度計の出力の特徴に従って前記キャラクターの動きを制御する手段と、を備え、
上記キャラクターの動きを制御する制御手段が、上記出力の所定の特徴に対応したテンプレートを提供する手段と、上記出力をテンプレートにマッチングさせる手段と、出力がテンプレートにマッチングした時にスクリーン上の上記キャラクターを所定の方法で制御する手段と、を含み、上記所定の方法が感情的内容をもたらす動きのパターンを含むことを特徴とするスクリーン上のキャラクター制御システムにある。

【００１７】また、上記出力の特徴がスタイルを反映するような所定のパターンに関する特徴を含むことを特徴とする請求項１に記載のスクリーン上のキャラクター制御システムにある。

【００１８】また、上記制御装置におけるに局所的な重力場に対して上記出力を参照する手段をさらに備えることを特徴とする請求項１に記載のスクリーン上のキャラクター制御システムにある。

【００１９】また、上記参照手段が高域フィルタを有し、上記制御装置が向きに関係なく機能するように重力成分をフィルタをかけて除去することを特徴とする請求項３に記載のスクリーン上のキャラクター制御システムにある。

【００２０】また、上記制御装置が上記コンピュータに接続されていないことを特徴とする請求項１に記載のスクリーン上のキャラクター制御システムにある。

【００２１】また、上記加速度計に直交する方向に向けられた別の加速度計をさらに備えることを特徴とする請求項１に記載のスクリーン上のキャラクター制御システムにある。

【００２２】また、上記出力が上記キャラクターの動きを制御する手段に直接接続され、この制御手段がキャラクターのための一般化された動きを特定する手段を含み、上記直接接続された出力が上記キャラクターの特定された一般化された動作のスタイルを制御することを特徴とする請求項１に記載のスクリーン上のキャラクター制御システムにある。

【００２３】また、複数の上記テンプレートを含み、各テンプレートが上記制御装置およびキャラクターの双方の異なる動きに対応することを特徴とする請求項１に記載のスクリーン上のキャラクター制御システムにある。

【００２４】また、上記キャラクターの動きを制御する手段が、上記スクリーン上のキャラクターを制御するための１つ以上のテンプレートに合わせるように応答する手段をさらに備えたことを特徴とする請求項８に記載のスクリーン上のキャラクター制御システムにある。

【００２５】また、上記キャラクターの動きを制御する手段が、上記出力が異なる幾つかのテンプレートに連続して適合することを検出し、これらの連続する適合に応答して上記動きを制御する手段を含むことを特徴とする請求項９に記載のスクリーン上のキャラクター制御システムにある。

【００２６】また、上記キャラクターの動きを制御する手段が、上記制御装置の加速度の方向を判定する手段と、上記判定された加速度の方向に上記スクリーン上のキャラクターを動かす手段と、を含むことを特徴とする請求項１に記載のスクリーン上のキャラクター制御システムにある。

【００２７】

【発明の実施の形態】実施の形態１． 図１は、本発明のコンピュータ制御装置を用いた電子会議システムによる会議の様子を示した斜視図である。 図１において、１０
は、パーソナルコンピュータ等から構成されたホストシステムであり、アニメ（動画）化されたキャラクター（または、グラフィカルオブジェクト）１６が示されているスクリーン１４を備えたディスプレイまたはモニタ１２を有している。 ２０は、本発明のコンピュータ制御装置であり、全体が略々卵形の形状であるハンドヘルド式（手握式）のコンピュータ制御装置（以下、装置２０
とする。 ）である。 ２２は、装置２０を使用しないときに保持して転ばないように固定するためのホルダであり、中央部分に装置２０を載せるための凹部が形成されている。 使用時には、装置２０を図１に示すように手２
１で把持して、ホルダ２２から取り上げ、図１中の矢印Ａ、Ｂ、Ｃ、Ｄ、Ｅ及びＦで示した方向に装置２０を動かすことにより、その動かした方向に基づいてキャラクター１６の動き又は表情等の制御を行うことができる。

【００２８】上述のキャラクター１６の動きに関連して本発明の装置２０について説明すると、装置２０の運動により、キャラクター１６の様々な異なる動き又は表情を制御することが可能である。 しかしながら、図示した実施例では、説明を容易にするために、例えば、装置２
０の最初の静止位置２４から一点鎖線による矢印Ａの方向に装置２０を動かすと、それに基づいて、キャラクター１６がスクリーン１４上で一点鎖線による矢印Ａ１の方向に移動するものとする。 このように、装置２０を手２１により把持して静止位置２４から右方に動かすと、
キャラクター１６は、所定の速度で、かつ、所定時間の間、すなわち、所定距離だけ矢印Ａ１の方向に右方へ移動する。

【００２９】同様に、装置２０を一点鎖線による矢印Ｂ
で示す方向に左方へ動かすと、キャラクター１６は、スクリーン１４上で一点鎖線による矢印Ｂ１で示した方向に後方に移動する。

【００３０】同様にして、装置２０を静止位置２４から一点鎖線による矢印Ｃで示すような上方に動かすと、キャラクター１６は、一点鎖線による矢印Ｃ１に示すようなスクリーン１４の面から遠去かる方、すなわち、後方へ移動する。 また逆に、装置２０を静止位置２４から一点鎖線による矢印Ｄで示すような下方に動かすと、キャラクタ１６は、一点鎖線による矢印Ｄ１に示す方向にスクリーン１４の面の方、すなわち、手前側に、移動する。

【００３１】装置２０を一点鎖線による矢印Ｅで示すように円形に弧を描くように移動させると、キャラクター１６は、スクリーン１４上で一点鎖線による矢印Ｅ１により示すように、くるっと一回転だけ回転する。

【００３２】上述のことはキャラクター１６の動きに関するものであるが、たとえば、装置２０を一点鎖線による矢印Ｆの方向に前後方向に振り動かすように運動させると、キャラクタ１６は、スクリーン１４上で図のように腕を曲げて、手を矢印Ｆ１で示すように前後方向に動かす。

【００３３】本発明の装置２０は、上述したように、空中で装置２０を動かしてスクリーン１４上のキャラクター１６の制御を行うようにしたので、従来のように、装置２０をホストシステム１０やモニタ１２に接続する必要もなく、かつ、装置２０をマウスパッドのような固定構造体に接触させる必要もなく、スクリーン１４上のキャラクター１６に所定の動きをさせたり、所定の表情を示させたりすることができる。

【００３４】図２は、本発明の装置２０およびホストシステム１０の構成を示したブロック図である。 図２に示すように、装置２０には、装置２０の動きを検知するための加速度計３０及び３２が内部に設けられており、加速度計３０及び３２からの出力から装置２０の加速度を測定する。 また、装置２０に、必要に応じて、誤操作を防止するための誤動作防止手段として、ユーザーの親指２８で押すことができるようなスイッチ２６を設けるようにして、スイッチ２６を押している間に生ずる装置２
０の運動のみが加速度計３０及び３２により検出されるようにしてもよい。 スイッチ２６が押されている間は、
図２に示すように、スイッチ２６から後述するアナログ／デジタル変換部３６に加速度検出の開始信号ＳＴが入力され、アナログ／デジタル変換部３６はその開始信号ＳＴが入力されている間だけ、後述する正規化部３４を介して入力される加速度計３０及び３２からの出力の処理を行う。

【００３５】上述においては、加速度計３０及び３２を用いる例について説明したが、その場合に限らず、装置２０の動きを検知するものであれば、他のいかなる運動検出手段または加速度検出手段を用いるようにしてもよい。 また、そのようないかなる運動検出手段や加速度検出手段を用いる場合においても、装置２０のスイッチ２
６による誤動作防止手段を設けることができる。

【００３６】装置２０に設けられた、加速度計３０及び３２について、さらに詳細に説明すれば、これらは、Ｘ
方向とＹ方向にそれぞれ配向された２つの直交配向加速度計から構成されている。 また、それらの加速度計３０
及び３２の出力を、装置２０の向きと無関係なものにするために、装置２０には、図２に示すように、加速度計３０及び３２の出力を局所的な重力場ベクトルＧに対して正規化するための正規化部３４が設けられている。 また、装置２０には、図２に示すように、正規化部３４によって正規化された加速度をアナログ信号からデジタル信号に変換するためのアナログ／デジタル変換部３６が設けられている。 さらに、アナログ／デジタル変換部３
６の出力をホストシステム１０に送信するための電磁波による信号に変換するための送信部３８、および、送信部３８により生成された電磁波による該信号を送信するためのアンテナ４０が設けられている。

【００３７】また、ホストシステム１０内には、図２に示すように、装置２０からの信号を受信するためのアンテナ４２および受信器４４が設けられている。 また、検出した加速度を識別するために用いられる参照加速度データを予め格納している参照加速度データ格納部４８が設けられている。 さらに、受信器４４の出力を複合するとともに、その複合した信号と参照加速度データ格納部４８の参照加速度データとの比較を行うための比較照合部４６が設けられている。 ５０は、復号された信号と参照加速度データとが一致した場合に、比較照合部４６からその複合された信号が入力されて、それに基づいて、
モニタ１２のスクリーン１４を駆動するための駆動信号を出力するためのグラフィカルオブジェクト制御部である。 ５２は、グラフィカルオブジェクト制御部５０からの駆動信号に基づいて、モニタ１２のスクリーン１４の駆動を行うためのスクリーン駆動部である。

【００３８】ここで、加速度計３０及び３２が、装置２
０にユーザーが与えた動きにより発生する加速度を検出するための加速度測定手段を構成している。 また、送信部３８及びアンテナ４０が、加速度測定手段により検出された加速度をホストシステム１０に伝達するための加速度信号伝達手段を構成している。 また、ホストシステム１０側のアンテナ４２と受信器４４とが、加速度信号伝達手段からの加速度を受信するための加速度信号受信手段を構成している。 参照加速度データ格納部４８、比較照合部４６及びグラフィカルオブジェクト制御部５０
が、加速度信号受信手段により受信された加速度に基づいて、グラフィカルオブジェクトの動きを制御するための制御信号を生成するための制御信号生成手段を構成している。 スクリーン駆動部５２が、制御信号生成手段からの制御信号に基づいて、ディスプレイ１２を制御してキャラクター１６等のグラフィカルオブジェクトに所定の動きを与えるためのディスプレイ制御手段を構成している。

【００３９】また、制御信号生成手段を構成している参照加速度データ格納部４８は、コンピュータ制御装置に与えられる動きの複数の所定のパターンに対応した参照加速度データを格納しているものであり、比較照合部４
６は、参照加速度データと、加速度信号受信手段により受信された加速度とを、比較照合して、装置２０の動きを所定のパターンの中から特定するものであり、グラフィカルオブジェクト制御部５０は、比較照合部４６からの出力に基づいて、特定された所定のパターンに対応する所定の動きをキャラクター１６等のグラフィカルオブジェクトに与えるための制御信号を生成するものである。

【００４０】また、図１に示した動作の例の場合においては、加速度計３０及び３２、および、正規化部３４
が、装置２０の加速度の方向を測定するための方向測定部を構成しており、比較照合部４６、参照加速度データ格納部４８及びグラフィカルオブジェクト制御部５０
が、加速度の測定された方向に対して、グラフィカルオブジェクトを移動させるための制御信号を生成するための方向対応制御信号生成部を構成している。

【００４１】また、正規化部３４が、装置２０の加速度測定手段により検出された加速度を、装置２０の位置における局所的な重力場に対して正規化するための正規化手段を構成している。 なお、正規化手段は、後述する図７および図２１に示されるような重力検知用低域フィルタ１１０、高域フィルタ機能部１１２および重力正規化部１１４から構成するようにしてもよい。 なお、その場合には、重力検知用低域フィルタ１１０および高域フィルタ機能部１１２が、装置２０がホストシステム１０に対する向きに無関係に機能するように、加速度測定手段により測定された加速度から局所的な重力場の重力成分を除去するための重力成分除去部を構成している。

【００４２】動作について説明する。 ユーザーの手２１
の動きによって動かされた装置２０の加速度は加速度計３０及び３２によって測定される。 該加速度は、正規化部３４によって局所的な重力場ベクトルＧに対して正規化された後に、アナログ／デジタル変換部３６によってアナログ信号からデジタル信号に変換される。 アナログ／デジタル変換部３６の出力は、送信部３８およびアンテナ４０を介して、ホストシステム１０に設けられたアンテナ４２および受信器４４に送信される。 受信器４４
の出力は、比較照合部４６で復号され、受信器４４に装置２０から伝達された加速度と参照加速度データ格納部４８内の参照加速度データとの比較が行われ、それによって、装置２０の動きが特定される。 装置２０により検出された加速度と参照加速度データとが一致すると、その結果として、比較照合部４６において復号された加速度がグラフィカルオブジェクト制御部５０に入力され、
グラフィカルオブジェクト制御ユニット５０が駆動信号を生成して、スクリーン駆動部５２に送る。 スクリーン駆動部５２は、その駆動信号に基づいて、図１を用いて説明したように、スクリーン１４上でのキャラクター１
６の動きの制御を行う。

【００４３】以上のように、本発明においては、装置２
０の動きによる加速度を空中で検出することによって、
キャラクター１６の動き又は表情等を制御するためのワイヤレスの非接触式のコンピュータ制御装置２０、および、装置２０とホストシステム１０とか構成されたコンピュータ制御システム１０及び２０を得ることができる。

【００４４】本発明の装置２０は、上述したように、ユーザーの手２１の中で、装置２０の向きを自動的に確立する卵形を有している。 この環境で許容される運動は、
スクリーン１４の平面と平行に置かれた平面内でのものであり、Ｘ方向およびＹ方向の加速度が、局所的な重力場ならびにスクリーン１４と平行な平面に対して正規化されるため、ユーザーは使用時に装置２０の向きを考慮する必要はない。

【００４５】また、Ｚ軸のようなＸ方向およびＹ方向と直交する方向における付加的な３つ目の加速度計を設けるようにすれば、それぞれの加速度計により検出される加速度に基づいて、３つの要素を含む加速度ベクトルが生成され、これにより、装置２０およびコンピュータ制御システム１０及び２０が認識することができるユーザーの手２１の運動パターンの種類を拡張することができる。

【００４６】図３は、キャラクター１６を制御するのに使用される図１の装置２０の動きを破線矢印で示したものである。 この例においては、図１に示した装置２０の６つの動きが、それぞれ、キャラクター１６に異なる動作を実施させるための制御を実行するためのものとして装置２０及びコンピュータ制御システム１０及び２０において認識される。

【００４７】次に、図４に示すように、装置２０を連続していろいろに動かすことにより、複雑な動作をスクリーン１４上のキャラクター１６に行わさせることができるようになる。 たとえば、装置２０を用いて、図４に示されるように、キャラクター１６を、座らせたり、泣かせたり、声高に泣かせたりすることができる。 具体的に説明すれば、この例においては、例えば、装置２０を右方に所定速度で移動させた場合には、それがキャラクター１６に対する着席制御信号を表すものとする。 装置２
０の第１番目の運動は、一般的に、キャラクター１６の動きを表すものである。 装置２０を右方に移動させることにより、キャラクター１６をスクリーン１４上で座らせた後に、装置２０を今度は図４に示すように下方に移動させて固定面６０をたたき、これにより幾らかの不減衰過渡電流を生じさせて、それにより、キャラクター１
６を泣かせる信号を出す。 泣き声の強さは、装置２０の第２番目の運動で示される泣くという所作をより強くするための矢印６２によって示される揺動運動で装置２０
を動かすことによって制御することができる。 例えば、
揺動運動が行われる回数に応じて強度を増すように設定しておけばよい。 この装置２０の揺動運動は、泣く動作以外の他のいかなる所作に対しても、その所作の強度の制御に用いることができる。

【００４８】したがって、上述の例では、装置２０の第１番目の動きがキャラクター１６の移動の方向を規定するものであり、装置２０の第２番目の動きがキャラクター１６の所作を規定する（この場合はスクリーン上のキャラクターの眼から涙を流させつつ泣かせる）ものであって、そういった装置２０の動きを連続して行うことにより、グラフィカルオブジェクト１６の連続した複雑な動作を実現することができる。 また、さらに加えて、装置２０の第３番目の動きを用いて、所作（この場合には、泣くこと）の強さを制御するようにしてもよい。

【００４９】このような操作の他の例を図５に示す。 図５に示すように、装置２０を矢印６４及び６６で示されるように上下に運動させるとキャラクター１６が動き、
引き続いて次に、装置２０を矢印７０及び７２で示されるように迅速に回転させるとスクリーン１４上のキャラクター１６が歩く。 最後に、図５の一番下の図に示すように装置２０を揺動運動させると、上述したように所作の強度が増すため、この場合には、歩行が素早くなる。

【００５０】装置２０の一連の運動によって、種々の所作および表現をスクリーン１４上のキャラクター１６に与えることができる。

【００５１】以上のように、本発明の装置２０は、ユーザーがそれを手２１の中に持って、容易に覚えられるような簡単な一連の動作パターンでそれを動かすだけで、
スクリーン１４上のキャラクター１６、すなわち、グラフィカルオブジェクトの制御を容易に行えるコンピュータ制御装置である。 装置２０は、卵形の外形を有しており、内部には、直交配向された複数の加速度計３０及び３２が設けられ、それにより検知された加速度が、図２
に示すアナログ／デジタル変換部３６によってデジタル信号に変換されて、ホストシステム１０に伝達される。
異なる手振り、即ち、ユーザーの手２１の動きによって得られる加速度は、認識すべきパターンのヒストグラムを提供する参照加速度データ格納部４８の参照加速度データを用いることによって、容易に識別することができる。 加速度計３０及び３２による検知データと参照加速度データとの比較により、スクリーン１４上のキャラクター１６の制御を行うための制御信号が生成され、それによって、ユーザーが所望した所作をキャラクター１６
に容易に行わせることができる。

【００５２】実施の形態２． 図６は、本発明の装置２０
の内部構成の他の実施の形態について示したものである。 しかしながら、図６に示した構成をすべて装置２０
内に設ける必要はなく、必要に応じて、加速度計３０及び３２以外のものであれば、例えば、後述する前処理部８６以降の下段の一部をホストシステム１０内に設けるようにしてもよい。 この実施の形態においては、加速度計３０及び３２として、例えば、信号調節を備えたモノリシック加速度計を用いることとする。 これらの加速度計３０及び３２は、例えば、米国マサチューセッツ州ノーウッドのアナログ・デバイシィズ社のモデルＡＤＸＬ
５０を用いればよい。 この型式の加速度計は、出力電圧０〜５ボルトで±５０Ｇの加速度を生成するエアバッグシステム等に用いられている。 これらの加速度計の周波数応答は、直流で１キロヘルツである。 ２４４ヘルツのサンプリング速度では、ナイキスト限度は１２２ヘルツである。 強力なシステムを提供するために、この実施の形態においては、図６に示すように、低域フィルタ７４
及び７６が設けられており、それにより、一般的に検出不能である７２ヘルツ以上の応答を阻止し、かつ、６０
サイクルのＡＣ電源による１２０ヘルツのノイズを阻止するようになっている。 低域フィルタ７４及び７６により濾過された加速度のアナログ出力は、例えば、図６
（ｂ）及び（ｃ）のグラフａ及びｂのようになる。

【００５３】低域フィルタ７４及び７６の出力は、アナログ／デジタル変換部７８及び８０に入力される。 これらのアナログ／デジタル変換部７８及び８０は、一般的に米国アリゾナ州、スコッツデイルのモトローラ社によってモデルＭＣ６８ＨＣ１１として製造されている、フォーマッティング・マイクロプロセッサの一部として入手できる８ビット、０〜５ボルトのデジタル・サンプリング装置を用いればよい。 また、フォーマッティング部８２はそのフォーマッティング・マイクロプロセッサから構成するようにすればよい。 アナログ／デジタル変換部７８及び８０において、ａ及びｂで示されるような低域フィルタ７４及び７６からのアナログ出力をデジタル信号に変換し、その後に、フォーマッティング部８２により、後述するレコードに対応させた信号に変換する。
レコードは４バイト長であり、そのうち、各加速度計３
０及び３２にそれぞれ１バイトずつ、保存に１バイト、
レコードの開始と終了のタイムスタンプとフェーズ（位相）情報に１バイトである。

【００５４】フォーマッティング部８２の出力は、前処理部８６に送られる。 前処理部８６には、図６に示すように、複数の予備処理機能８８〜９２が設けられている。 予備処理機能の第１は、重力正規化機能部８８である。 重力正規化を達成するために、データは高域濾過を受け、０．１ヘルツ以上と０．１ヘルツ以下に分離される。 ０．１ヘルツ以下のデータは重力データであるとみなされ、０．１ヘルツ以上のデータはユーザーデータであるとみなされる。 その際、ユーザーデータから重力成分を引いて重力場に対して正規化されたデータを提供することが可能である。 全てのデータは、重力情報が所定の方向にあり、ユーザーデータが他の方向にあって、
Ｘ、Ｙベクトルとして表すことができる。 これらの２つのベクトルを合成すると１つの角度が得られ、この角度に従って、装置２０の座標から重力ベクトルによって規定されている現実世界の座標に移動させるように、ユーザーデータを回転させることができる。 このようにして、ユーザーの手２１の中の装置２０の向きとは無関係に、キャラクター１６の制御を行うことができる。

【００５５】直交配向された加速度計については、ユーザーの手２１の中の装置２０の向きに依存しないものであることが認識されるであろう。 しかしながら、上述の２つの加速度計３０及び３２の方向に対して互いに直交する方向に配置した第３の加速度計を使用したときには、装置２０の長手方向に延びた縦軸線を軸とした回転運動を、重力によらずに規定することができる上方向を定めることができるという点が重要である。

【００５６】本発明のコンピュータ制御装置２０の形状に関して、卵形形状または他の非対称の形状が重要である理由は、そのような形状は、ユーザーの知覚における上方向または下方向あるいは任意の他の方向がいずれの方向であるかに関する情報のフィードバックをユーザーに与えることができるということである。 上述の装置２
０は、装置２０の向きをユーザーが予め認識しておく必要はないが、ユーザーが手２１を動かす際、ユーザーにとって、自分が手２１の中に保持している装置２０が、
上下左右に対して対称の形状でなく、方向性に関する形状の相違（非対称）を有しているということは便利なことである。 従って、非対称な卵形である装置２０が、ユーザーに所定の方向をホストシステム１０に指示する手段を提供している。

【００５７】また、前処理部８６は、全てのユーザーによる手振りが時間目盛り（たとえば、２秒）に対して正規化される時間拡張機能部９０を備えている。 例えば、
手振りが２秒よりも短い場合には、その有効長さは、比較する目的のために、２秒まで延長される。 時間拡張を達成するためには、手振りの開始と終了を表示するため、０．５Ｇ以下のポーズが検出され、開始と終了との間の加速度は、正規化された時間スロットまで拡張される。

【００５８】前処理部８６は、さらに、重力の正規化および時間拡張の前に、０〜２５５の数をＧによる実際の加速度に変換するためのスケーリング機能部９２を備えている。 スケーリング機能部９２による加速度の変換の結果、０〜２５５の数は、＋３．３Ｇ〜−３．３Ｇになる。

【００５９】前処理部８６による予備処理の結果は、図２の復号部４６の一部に相当するパターン認識回路部９
４に入力される。 パターン認識は、予備処理された加速度を、参照加速度データ格納部４８（図示省略、図２参照）に予め記憶されている参照加速度データと照合することによって行われ、その結果、適切なパターン認識を示す出力コマンドが、コマンド出力部９６を介して、グラフィカルオブジェクト制御部５０（図示省略、図２参照）を介してスクリーン駆動部５２（図示省略、図２参照）に送信される。

【００６０】本実施の形態におけるパターン認識は、例えば、データが１２８次の空間で計算されるような、予め記憶された全てのサンプル間の距離と比較した１２８
項目として出力される、Ｋ最近接アルゴリズム（K Near
est Neighbor Algorithm）を利用している。 ここで、相互関係はユークリッド距離で示される。 例えば、データ箇所が１２８次の空間における単一の箇所に対応する１
２８の異なるサンプルを有しているとすると、先に記録されたサンプルは各々、１２８次の空間で表され、したがって、この１２８次の空間における新しい箇所に到達すると、このデータは、先に記録された全ての手振りに対して、この１２８次の空間の箇所として比較される。
ここで、上記のＫは、先に記録された手振りに最も近接している箇所の組に対応する身振りを見つけ出すように選択された任意の数である。 Ｋの値として、最も適している数は、利用される箇所の全数の平方根であることが経験的に分かっている。 見つけ出したＫの箇所に関して、検出された手振りは、Ｋ最近接において量的に表れるものである。

【００６１】Ｋ最近接アルゴリズムを使用して、特別に記録された手振りに一致させるように新しい制御装置の動きを分類するのに必要とされるパターン認識計算を行う。 データベース即ち手振りについて覚える組は、まず、人の手振りすなわちクラスの各々を１０回反復し、
各事例をクラスの要素として記録することによって形成される。 各要素は、１２８の実数のベクトルによって表される。 新しく入力した手振りを分類しようとするときには、新しく入力した手振りと覚える組の各クラスの各要素とのユークリッド距離を計算する。 次いで、これらの距離を昇順に並べる。 次いで、「パターン認識理論および応用」（デビジャーおよびキトラー、ニューヨーク、スプリンガー・フェアラグ、１９８７年）によって推奨されているように、覚えられる組のサイズの平方根としてＫ値を計算し、第１のＫ距離値において最も大きなクラスが一致する手振りであると決定される。

【００６２】ここで、２つの１２８次のベクトル間のユークリッド距離は、各値の差の二乗の総和（（Ａ１−Ｂ
１）2＋（Ａ２−Ｂ２）2 ＋・・・＋（Ａ１２８−Ｂ１
２８）2）の平方根として定義される。

【００６３】動きのポーズを識別するための簡単なアルゴリズムを使用して、パターン認識のための手振りを分離する。 １つのポーズは、０．４秒の最少継続時間について５．０ｍ／ｓ2 以下の動きとして定義される。 手振りは、２つのポーズの間の動きから構成され、２秒間に限定されている。 ２秒以上要する手振りは無視される。

【００６４】この実施の形態においても、上述した実施の形態１と同様の効果を奏することができる。

【００６５】実施の形態３． 図７は、本発明の装置２０
及びコンピュータ制御システム１０及び２０の内部構成を示したブロック図である。 図７において、１００は、
図２及び図６の加速度計３０及び３２に相当する２つの直交配向加速度計からなる加速度計であり、検知した加速度を示すアナログ信号１０２を出力するものである。
１０４は、ＤＡＣ／ＵＡＲＴ（デジタル／アナログ変換器および直列／並列変換器）から構成され、アナログ信号１０２をデジタルシリアル信号に変換して、２４４ヘルツのシリアル出力１０６を出力するための信号変換部である。 信号変換部１０４は、例えば、上述のＭＣ６８
ＨＣ１１のマイクロプロセッサから構成されている。 １
０８は、上述のホストシステム１０に設けられたシリアル読み込みポートであり、そこからシリアル出力１０６
が読み込まれる。 １１０は、シリアル読み込みポート１
０８の出力を、装置２０が置かれた位置における局所的な重力を検知するために濾過し高域のものを阻止するための重力検知用低域フィルタである。 １１２は、シリアル出力１０６から重力検知用低域フィルタによって検知された重力を差し引くための高域フィルタ機能部である。 １１４は、高域フィルタ機能部１１２によって取り出された加速度を、局所的な重力場と対比して、重力ベクトルで規定された現実の座標に移動するように回転させる重力正規化部である。 １１６は、２４４ヘルツでサンプリングされたこのデータを、３０ヘルツで再びサンプリングするための可動平均フィルタである。 １１８
は、可動平均フィルタからの出力を、将来の手振りの認識のために格納するための、データ記録部である。

【００６６】１２０は、可動平均フィルタ１１６からの出力に基づいて、ユーザーの手振りの動作を区切るポーズ（小休止）を探すことによって、例えば、０．５Ｇ以下について０．５秒のポーズを探すことによって、手振りの検出を正規化しようとするためのポーズ検出部である。 １２２は、ポーズ検出部１２０からの出力を、手振り認識の分析のために、任意長さである２秒以下のセグメントに分割するためのデータ分割部である。 １２４
は、データ分割部１２２によって分割されたデータを、
２秒間隔で正規化された補間法およびリサンプリングを介して、時間拡張を行うための時間拡張部である。 ９４
は、上述の図６のパターン認識回路部９４と同等のパターン認識回路部である。

【００６７】動作について説明する。 図７に示すように、加速度計１００から出力されたアナログ信号１０２
は、低域フィルタ（図示せず、図３の７４及び７６参照）により濾過されて、高域のものが阻止された後、信号変換部１０４に入力される。 信号変換部１０４は、上述のホストシステム１０のシリアル読み込みポート１０
８に接続されていて、２４４ヘルツのシリアル出力１０
６を生成する。 シリアル読み込みポート１０８の出力は、重力検知用低域フィルタ１１０により重力を検知するために濾過されて高域のものは阻止される。 その後、
その検知された重力が、高域フィルタ機能部１１２により差し引かれて、その結果、取り出された加速度は、重力正規化部１１４において、局所的な重力場と対比されて、重力ベクトルで規定された現実の座標に移動するように回転される。 ２４４ヘルツでサンプリングされたこのデータは、可動平均フィルタ１１６を介して３０ヘルツで再びサンプリングされ、その出力は、将来の手振りの認識のために、データ記録部１１８に格納される。

【００６８】可動平均フィルタ１１６の出力は、手振りを区切るポーズを探すことによって、例えば、０．５Ｇ
以下について０．５秒のポーズを探すことによって、手振り検出を正規化しようとするポーズ検出部１２０に入力される。 その後に、データは、データ分割部１２２により、身振り認識の分析のために、任意長さである２秒以下のセグメントに分割される。 次に、分割されたそれらのデータは、時間拡張部１２４により、２秒間隔で正規化された補間法およびリサンプリングを介して、時間拡張が達成される。 その結果、３２ヘルツで２つのセンサによって２秒間でサンプリングされた、１２８のデータ箇所のベクトルが得られる。 そのベクトル出力は、パターン認識回路部９４に入力され、それにより、出力コマンド即ちコマンド列１５６が出力される。

【００６９】この実施の形態においても、上述したように、装置２０が種々に動くと、それによって、キャラクター１６がスクリーン１４上で種々に動くこととなる。
例えば、図８に示すように、装置２０を右方、次いで左方に素早く動かすと、キャラクター１６の右回転が要求されていることがホストシステム１０に指示される。 ここで、図８においては、○はユーザーの各手振り動作の開始点と終了点を示している。 逆に、装置２０を左方、
次いで右方に動かすと、左回転が指示される。 一方、速度の増加は、装置２０を上方、次いで下方に動かすことによって示され、減速は、装置２０を下方、次いで上方に動かすことによって示される。 リセットの動作は、図示されているように、装置２０の正方形状の移動である。 また、キャラクター１６を、複数の所定の位置の間で横方向に往復運動させるには、矢印で示されるように、装置２０を横方向に４度ふる。 装置２０を上方向に４度ふると、キャラクター１６を飛び上がらせることとなる。 さらに、装置２０を図示されているように８の字に動かすと、キャラクター１６は、スクリーン１４上で８の字を描く。 装置２０を、図示するように、揺動運動させると、キャラクター１６がスクリーン１４上で上述したような所望の動きを保持（継続）する。 最後に、装置２０を円形運動させると、キャラクター１６はくるっと回転する。

【００７０】このように、本発明の装置２０によれば、
予め規定されたユーザーの動き、即ち、手振りによって、その手振りによって特定され制御される動きをスクリーン１４上のキャラクター１６に与えることができる。

【００７１】次に、図９乃至図１８は、それぞれ、装置２０のこれらの動きに対応する、直交配向された２つの加速度計３０及び３２（図２または図６参照）から構成された加速度計１００からの合成出力から得られる加速度を示したグラフである。 各波形の第１の部分は第１の加速度計３０の出力に対応しており、各波形の第２の部分は第２の加速度計３２の出力に対応している。 図９乃至図１８には、規定された方向に装置２０を動かした結果、得られる特有の波形がそれぞれ示されている。 上述の技術によって或いは標準的なカーブマッチングを用いることにより、これらの各装置２０の運動を区別することが可能であり、かつ、それにより、スクリーン１４上のキャラクター１６の制御を行うことが可能である。 キャラクター１６の動きを減速させる場合の速度波形が図９の１３０で示され、増速させる場合の速度波形が図１
１の１３４で示され、右回転の場合の波形が図１２の１
３６で示され、左回転の場合の波形が１３８で示され、
横方向の往復運動の波形が図１５の１４２で示され、くるっと回る場合の波形が図１６の１４４で示され、８の字に動く場合の波形が図１７の１４６で示され、動作保持（継続）の場合の波形が図１８の１４８で示される。

【００７２】上述のことから分かるように、スクリーン１４上のキャラクター１６の所作を特定することができるように、検出された加速度計１００による波形を参照加速度データ格納部４８の参照加速度データの波形と一致させることにより、ユーザーの手振りがいずれの指示を示すものであるかの認識を容易に行うことが可能である。

【００７３】また、別の実施の形態（変形例）として、
後述する図２１に示すようなパラメータ／スタイル選択部１５２および正規化部１５４をさらに設けて、動きが決定された後に、動きのスタイル又は感情的な表情の変化等を、参照加速度データとの比較判定を行わずに、加速度計１００の出力から直接規定するようにしてもよい。 なお、ここで、スタイルとは、図２０に示されるパラメータ／スタイル要素に記載されている、例えば、速度、膝の屈伸の度合い、身体の傾斜、および、歩幅長等の所定の動きに付加的に加えられる要素のことをいう。
なお、この別の実施の形態（変形例）では、加速度計１
００の出力は、スクリーン１４上のキャラクター１６が示す多数の感情的な表情の変化を選定するのに使用される一定のパラメータに対して、直接マッピングされる。

【００７４】次に、図１９は、人の感情の範囲をグラフに示したものである。 図１９に示すように、縦座標に誘意性をとり、横座標に強度をとって、誘意性の“良”と“不良”との範囲が、強度に対してグラフ化されている。 それによって、幸福と悲哀、驚愕と嫌悪、怒りと悲しみのような感情を横座標の強度と縦座標の誘意性によって規定することができる。 感情を特定するために、２
つの加速度計の出力を直接使用して、誘意性の値と強度の値とを規定し、かくして所定の感情を選択することができる。

【００７５】上述したように、図１９のように、強度と誘意性によって、種々の感情的内容を規定できることがわかったが、それらの感情的内容は、図２０に示すような、キャラクター１６の複数の動作の組み合わせによる予め定められた所定の感情スタイルに従って表現される。 また、別の実施の形態（変形例）として、上述したように、異なる組の出力パラメータを、加速度計１００
の出力によって直接制御するようにしてもよい。 図２０
に示されるように、“移動”又は“停止まで移動”のような距離所作を、例えば、所作速度、膝の屈伸の度合い、身体の傾斜、歩幅長等のスタイルを表すパラメータ／スタイル要素によって変更することができる。 その結果、キャラクター１６の動きを、例えば、行進から、散歩、駆け足、走り、よろめき等へ、制御できるような所定の動きのスタイルが得られる。

【００７６】このように、本発明においては、キャラクター１６の動きを制御するのみならず、キャラクター１
６がスクリーン１４上で示す感情スタイルも制御することが可能である。 図２１は、キャラクター１６の動きのスタイルを制御するための内部構成を示したものである。 従って、必要に応じて、図２、図６および図７等に示した構成と図２１の構成とを併用するようにすればよい。 図２１において、図７等と同等の構成については、
同一符号により示し、ここではその説明を省略する。 １
５０は、歩行や走りのような特定の所作が規定された時に、その規定された特定の所作を出力するための所作入力部である。 １５２は、上述した可動平均フィルタ１１
６からの出力と所作入力部１５０からの出力とが入力されて、それらの値に基づいて、加速度計１００からの出力を直接使用することにより、パラメータ又はスタイルを選定するためのパラメータ／スタイル選定部である。
１５４は、パラメータ／スタイル選定部１５２により選定されたパラメータ又はスタイルを、特定のパラメータ範囲に正規化（スケーリング）して、コマンド列１５６
を生成するための正規化部である。 １５８は、その生成されコマンド列が入力されて、それに基づいて、現在規定された所作のパラメータを修正するためのパラメータ修正部である。

【００７７】従って、パラメータ／スタイル選定部１５
２は、加速度信号受信手段を構成している加速度計１０
０により受信された加速度に基づいて、装置２０の所定のパターンに対応する所定の動きをキャラクター１６等のグラフィカルオブジェクトに与えるための制御信号を生成するものである。

【００７８】動作について説明する。 歩行や走りのような特定の所作が規定されると、可動平均フィルタ１１６
からの出力と、その規定された特定の所作を出力する所作入力部１５０からの出力とが、パラメータ／スタイル選定部１５２に入力される。 パラメータ／スタイル選定部１５２は、それらの値に基づいて、加速度計１００からの出力を直接使用して、パラメータ又はスタイルを選定する。 その選定されたパラメータ又はスタイルは、正規化部１５４により、特定のパラメータ範囲に正規化（スケーリング）されて、コマンド列１５６が生成される。 パラメータ修正部１５８は、その生成されコマンド列が入力されて、それに基づいて、現在規定された所作のパラメータを修正する。

【００７９】このことは、歩くという所作が規定された所作であると仮定すると、装置２０を単に動かすことによって、参照加速度データの波形とのマッチングをすることなしに、加速度計１００の出力を直接処理することができ、それにより、規定した所作の強度或いは便利な他のパラメータを制御するのに使用することができるということを意味している。

【００８０】次に、本発明の他の実施の形態を示した図２２を参照すると、所作入力部１５０から出力される規定された動き即ち所作を変更するために、パラメータ／
スタイル制御部１６０の出力に基づいて、変更されるパラメータの種類は、飛び上がり１６０ａ、接続部（関節）の結合の度合い１６０ｂ、動きの速度１６０ｃ、バランスの中心位置１６０ｄ、歩幅長１６０ｅ、往復運動（よろめき）の度合い１６０ｆ、および、他の種類のパラメータ等である。 かくして、所作が規定され、グラフィカルオブジェクト制御部５０が適当な入力値を備えている場合には、スクリーン駆動部５２が、スクリーン１
４上のキャラクター１６が規定された動き即ち所作を行うばかりでなく、参照加速度データの波形とのマッチングをさせることなしに、加速度計１００の出力の直接的に使用して規定した特定のスタイル又はパラメータに従って規定された動き又は所作を行うように、スクリーン駆動部５２がモニタ１２を駆動させる。

【００８１】かくして、装置２０は、参照加速度データの波形とのマッチングによってスクリーン１４上のキャラクター１６の所望の動きを規定するのに使用することができ、或いは、特定の動きが選定されると、スクリーン１４上のキャラクター１６の動きに対するスタイルを簡単に規定することができる。

【００８２】参考資料として同時に提出したプログラムリストは、Ｃ言語で記述した本発明の装置２０のための具体的な動作プログラムの一例である。

【００８３】以上、本発明の好ましい実施の形態について説明してきたが、その場合に限らず、キャラクター１
６の動きの種類や、装置２０の動きとキャラクター１６
の動作の関係等は上述においては単に一例を挙げたに過ぎず、他のいずれのものに設定してもよい。 また、本実施の形態においては、キャラクター１６を制御する例について述べたが、その場合に限らず、アイコン等のスクリーン１４上の他のグラフィカルオブジェクト全般に対して適用することができる。

【００８４】以上のように、本発明の装置２０は、ユーザーがそれを手２１の中に持って、容易に覚えられるような簡単な一連の動作パターンでそれを動かすだけで、
スクリーン１４上のキャラクター１６、すなわち、グラフィカルオブジェクトの制御を容易に行えるコンピュータ制御装置である。 装置２０は、卵形の外形を有しており、内部には、直交配向された複数の加速度計３０及び３２が設けられ、それにより検知された加速度が、図２
に示すアナログ／デジタル変換部３６によってデジタル信号に変換されて、ホストシステム１０に伝達される。
異なる手振り、即ち、ユーザーの手２１の動きによって得られる加速度は、認識すべきパターンのヒストグラムを提供する参照加速度データ格納部４８の参照加速度データを用いることによって、容易に識別することができる。 加速度計３０及び３２による検知データと参照加速度データとの比較により、スクリーン１４上のキャラクター１６の制御を行うための制御信号が生成される。 ここで、本発明のシステムは、当該グラフィカルオブジェクトの制御について所望している特定のパターンに関して参照加速度データを生成するためのトレーニング・セッションを有している。 トレーニング・セッションの後、加速度計３０及び３２を使用して、キャラクター１
６を動かし、或いは、キャラクター１６に与えようとする特定の表情またはムードを示す所作をキャラクター１
６に提供するように、スクリーン１４上キャラクター１
６を制御する。

【００８５】また、キャラクター１６は、装置２０の動きに従う簡単な動作を行うように形成されている。 キャラクター１６がスクリーン１４上の或る位置に既に置かれているので、ユーザーの手２１の動きが特定のグラフィカルオブジェクトの所作であると認識されると仮定すると、スクリーン１４上の所定方向の運動の増加は、装置２０の所望方向への運動によって行われる。

【００８６】また、スクリーン１４上のキャラクター１
６に対して特定の運動が選択されると、未処理の加速度計出力を直接使用してこのスクリーン１４上のアイコンまたはキャラクター１６の動きの強度／スタイルを制御することができる。

【００８７】また、装置２０が卵形の形状であるので、
手２１で把持したときに自然な配向を有している。 これは、例えば所望の運動方向を得るために装置２０をどのように運動させるのかに関する知覚的または触覚的なフィードバックをユーザーに与えることができる。 装置２
０に卵形を使用した場合、ボール形の装置または点対称な装置と比較すると、ユーザーの手の動きについて、他の方向を自然に規定する知覚的な配向が得られる。

【００８８】また、加速度計３０及び３２は、直交配置され、それらの間の角度を用いて加速度が検出されるので、手の中の装置２０の向きにかかわらず、加速度計の分析に対する固定した基準を提供し、かつ、１８０度の両義性を解決して装置の配向を無関係にするため、局所的な重力場ベクトルＧに対して正規化されている。

【００８９】別の実施例では、コンピュータ制御システムの誤作動を除去するため、スイッチ２６が装置２０に（卵形の実施例では、加速度検出の開始信号ＳＴを出力させるために親指２８によって操作できる卵の頂部のところに）配置されている。 親指２８でそのスイッチ２６
を押していない間の操作による加速度は全て無視され、
親指２８でスイッチ２６を押している間の加速度データのみが、アナログ／デジタル変換部３６から送信部３８
に出力され、そこから、ホストシステム１０に伝達される。

【００９０】本発明によれば、上述したように、空中で非束縛状態で動作し、マウスパッド等の固定構造体との物理的接触をも必要とせずに、グラフィカルオブジェクトの動き等のための制御情報を提供するためのハンドヘルド式の装置２０が提供される。 本発明の装置２０は、
非接触形のものであり、装置２０は手２１の中に容易に収まり、ホストシステム１０に直接連結されておらず、
ワイヤレスデータトランスミッションを介してホストシステム１０に対する信号の送信を行っている。

【００９１】このような人間工学的に設計された装置２
０は、電子会議システムにおいて、会議参加者が自分に関連したキャラクター１６を制御するのを容易にするものである。 たとえば、会議の際、制御する人が自由に、
キャラクター１６により表された着席している人を立腹しているかのように席から立ち上がらせ歩行させることができ、或いは、そのキャラクター１６をうんざりさせたり、逆に、討論に積極的に参加させたりすることができる。 かくして、一定の手２１の動きによるキャラクター１６の制御、すなわち、グラフィカルオブジェクトの制御を行うのに、手２１の中の装置２０の向きに依存しないハンドヘルド式の装置２０を使って、キャラクター１６の動きとキャラクター１６の表情等を容易に制御することができる。

【００９２】本発明の一部として、所定の順序で手振りを示したとき、特定の型式のコンピュータ制御に対して対比されるように、一連の身振りが言語とみなされる。
かくして、グラフィカルオブジェクトの制御についてシステムを説明したが、一連の検知された動きに関する言語によるコンピュータ制御は、本発明の範囲内にある。

【００９３】要約すると、加速度計３０、３２および１
００に基づく上述の実施の形態においては、非拘束のハンドヘルド式の装置２０を使用して、ホストシステム１
００により駆動されているディスプレイ１２上のグラフィカルオブジェクトが制御されるが、コンピュータマウスのように、位置を入力するのに固定面に接触するローラボールを必要とせずに、コンピュータ制御が行われるように、グラフィカルオブジェクトの動き及び表情は、
装置２０の動き及びその加速度によって制御される。 ある実施の形態では、容易に覚えられる一連の手２１の動き又は手振りが、対応するグラフィカルオブジェクトの制御を行うが、１つ以上の手振り即ち動きが、スクリーン１４上のグラフィカルオブジェクトの適当な動き又は表情を得る言語として連続して検出される。 装置２０の配向と無関係に装置２０の動きを認識させるために、好ましい実施の形態では、Ｘ方向とＹ方向の加速度が局所的な重力ベクトルＧに関連付けられ、認識可能な手２１
の動き及び手振りを提供するために手動操作装置の配向を確保するのを不要にする。 上述した実施の形態では、
装置２０は、手２１の中で装置２０を選択的に配向させ、これにより、装置２０の全体的な上方向を規定することができるように、卵形である。 別の実施の形態では、Ｚ方向の加速度計が、認識することができる手２１
の動き又は手振りの種類を増加させ、卵の頂部にスイッチ２６を備えた更に別の実施の形態では、加速度検出の開始信号ＳＴを出力して誤作動を防止する。 好ましい上述した実施の形態では、装置２０は、使用を容易にするためにワイヤレス式のものであるが、装置２０に棒を設けて、棒の頂部に取付けられた加速度計とプロセッサとを設け、棒の底部にはホストシステムに接続された電気接続部を設けるようにしてもよい。 また、装置２０が視覚的なフィードバックをディスプレイ１２で提供しながら所要の全般的なコンピュータ制御を提供するように、
グラフィカルオブジェクトを制御することができる。

【００９４】

【発明の効果】本発明のコンピュータ制御装置およびコンピュータ制御システムによれば、コンピュータ制御装置が、コンピュータ制御装置に与えられた動きにより発生する加速度を検出するための加速度測定手段と、加速度測定手段により検出された加速度をホストシステムに伝達するための加速度信号伝達手段とを有し、ホストシステムが、加速度信号伝達手段からの加速度を受信するための加速度信号受信手段と、加速度信号受信手段により受信された加速度に基づいて、グラフィカルオブジェクトの動きを制御するための制御信号を生成するための制御信号生成手段と、制御信号生成手段からの制御信号に基づいて、ディスプレイを制御してグラフィカルオブジェクトに所定の動きを与えるためのディスプレイ制御手段とを有しているので、例えば、ユーザーが手に持つ等して、コンピュータ制御装置を所定のパターンで動かすことにより、容易に、ディスプレイ上のグラフィカルオブジェクトの表情や複雑な動作等の制御を行うことができ、かつ、ユーザーは環境に縛られずに、楽に操作することができるという効果を奏する。

【００９５】また、制御信号生成手段が、コンピュータ制御装置に与えられる動きの複数の所定のパターンに対応した参照加速度データを格納している参照加速度データ格納部と、参照加速度データと、加速度信号受信手段により受信された加速度とを、比較照合して、コンピュータ制御装置の動きを所定のパターンの中から特定するための比較照合部と、比較照合部からの出力に基づいて、特定された所定のパターンに対応する所定の動きをグラフィカルオブジェクトに与えるための制御信号を生成するためのグラフィカルオブジェクト制御部とを有しているので、参照加速度データと検出した加速度とを比較することにより、容易に、ユーザーが意図したグラフィカルオブジェクトに対する動作を特定することができる。

【００９６】また、グラフィカルオブジェクトを動画化されたキャラクターから構成して、ユーザーの手振りによる所定のパターンに対応するキャラクターの所定の動きが、感情的な内容を表す動きをも含むようにしたので、従来のコンピュータマウスにおいては出来なかったキャラクターの表情の制御も容易に行うことができる。

【００９７】また、グラフィカルオブジェクトを動画化されたキャラクターから構成して、ユーザーの手振りによる所定のパターンに対応するキャラクターの所定の動きが、それらの所定の動きの種々のスタイルをも含むようにしたので、従来のコンピュータマウスにおいては出来なかったキャラクターの複雑な動作の制御も容易に行うことができる。

【００９８】また、加速度測定手段により検出された加速度を、コンピュータ制御装置の位置における局所的な重力場に対して正規化するための正規化手段をさらに備えたので、ユーザーはホストシステムに対するコンピュータ制御装置の向きを気にせずに用いることができるため、扱いたすく、操作をより容易にすることができる。

【００９９】また、正規化手段が、コンピュータ制御装置のホストシステムに対する向きに無関係に機能するように、加速度から局所的な重力場の重力成分を除去するための重力成分除去部を有しているので、ユーザーはホストシステムに対するコンピュータ制御装置の向きを気にせずに用いることができるため、扱いたすく、操作をより容易にすることができる。

【０１００】また、加速度信号伝達手段は、ホストシステムに対して、非接触で、電磁波により、検出された加速度を伝達するようにしたので、ユーザーは操作中に、
椅子に深々と座ったり、動き回ったりすることができ、
その意味で環境に縛られることなく操作ができるので、
疲労感を感じずに長時間の操作も容易に行うことができる。

【０１０１】また、加速度測定手段が、直交配向された少なくとも２つの加速度計から構成されているので、ユーザーはホストシステムに対するコンピュータ制御装置の向きを気にせずに用いることができるため、扱いたすく、操作をより容易にすることができる。 さらに、３つの直交配向された加速度計を用いた場合には、重力に依存せずに、Ｚ軸を規定することができ、システムが認識できるユーザーの手振りによるコンピュータ制御装置の動きの種類を拡張することができる。

【０１０２】また、制御信号生成手段が、加速度信号受信手段により受信された加速度に基づいて、所定のパターンに対応する所定の動きをグラフィカルオブジェクトに与えるための制御信号を生成するためのパラメータ／
スタイル選定部を有し、グラフィカルオブジェクトが動画化されたキャラクターから構成されているとともに、
所定のパターンが、キャラクターの所定の動きの種々のスタイルを含んでいるようにしたので、キャラクターの所定の動きが特定された後に、その所定の動きに対する種々のスタイルを選定して、キャラクターに複雑な動作を行わせることができる。

【０１０３】参照加速度データが、コンピュータ制御装置とグラフィカルオブジェクトとの両方の種々の動きに対応しているようにしたので、参照加速度データと検出した加速度とを比較することにより、容易に、ユーザーが意図したグラフィカルオブジェクトに対する動作を特定することができる。

【０１０４】制御信号生成手段が、加速度が連続した複数個の上記所定のパターンに対応するものであるときに、複数個の所定のパターンを区切っているポーズを検出するためのポーズ検出部を有して、複数個の所定のパターンのそれぞれに対応した連続した制御信号を出力するようにしたので、キャラクターに複雑な連続した動作を行わせることができる。

【０１０５】ディスプレイ制御手段が、制御信号生成手段から出力される連続した制御信号に基づいて、グラフィカルオブジェクトに連続した複数の所定の動きを与えるようにしたので、キャラクターに複雑な連続した動作を行わせることができる。

【０１０６】また、制御信号生成手段が、コンピュータ制御装置の加速度の方向を測定するための方向測定部と、加速度の測定された方向に対して、グラフィカルオブジェクトを移動させるための制御信号を生成するための方向対応制御信号生成部とを有するようにしたので、
ユーザーはコンピュータ制御装置を手に持って、グラフィカルオブジェクトを移動させたい方向に、コンピュータ制御装置を動かすだけで、容易にグラフィカルオブジェクトをディスプレイ上で所望の方向に移動させることができる。

【図面の簡単な説明】

【図１】 本発明のコンピュータ制御装置を用いた電子会議システムによる会議の様子を示した斜視図である。

【図２】 本発明の実施の形態１におけるコンピュータ制御装置及びコンピュータ制御システムの内部構成を示したブロック図である。

【図３】 キャラクターを制御するのに使用される、図１のコンピュータ制御装置の動きを破線矢印で示した図である。

【図４】 キャラクターを制御するのに使用される、図１のコンピュータ制御装置の連続した一連の動きを示した図である。

【図５】 キャラクターを制御するのに使用される、図１のコンピュータ制御装置の連続した一連の動きを示した図である。

【図６】 本発明の実施の形態２におけるコンピュータ制御装置及びコンピュータ制御システムの内部構成を示したブロック図である。

【図７】 本発明の実施の形態３におけるコンピュータ制御装置及びコンピュータ制御システムの内部構成を示したブロック図である。

【図８】 キャラクターを制御するのに使用される、本発明のコンピュータ制御装置の動きを示した図である。

【図９】 図１のコンピュータ制御装置内の直交配向された加速度計から得られた合成加速度波形を示した図である。 波形は、表示されたスクリーン上のキャラクターを制御するコンピュータ制御装置の所定の動きに対応している。

【図１０】 図１のコンピュータ制御装置内の直交配向された加速度計から得られた合成加速度波形を示した図である。

【図１１】 図１のコンピュータ制御装置内の直交配向された加速度計から得られた合成加速度波形を示した図である。

【図１２】 図１のコンピュータ制御装置内の直交配向された加速度計から得られた合成加速度波形を示した図である。

【図１３】 図１のコンピュータ制御装置内の直交配向された加速度計から得られた合成加速度波形を示した図である。

【図１４】 図１のコンピュータ制御装置内の直交配向された加速度計から得られた合成加速度波形を示した図である。

【図１５】 図１のコンピュータ制御装置内の直交配向された加速度計から得られた合成加速度波形を示した図である。

【図１６】 図１のコンピュータ制御装置内の直交配向された加速度計から得られた合成加速度波形を示した図である。

【図１７】 図１のコンピュータ制御装置内の直交配向された加速度計から得られた合成加速度波形を示した図である。

【図１８】 図１のコンピュータ制御装置内の直交配向された加速度計から得られた合成加速度波形を示した図である。

【図１９】 スクリーン上のキャラクターの感情的内容を制御する一連のパラメータを誘意性と強度によるグラフで示した図である。

【図２０】 スクリーン上のキャラクターを所定の動きに関するスタイルに関連して制御するための、動きとスタイルとの関係を示したテーブル図である。

【図２１】 本発明の実施の形態３の変形例におけるコンピュータ制御装置及びコンピュータ制御システムの内部構成を示したブロック図である。

【図２２】 本発明の他の実施の形態におけるコンピュータ制御装置及びコンピュータ制御システムの内部構成を示したブロック図である。

【符号の説明】

１０ ホストシステム、１２ ディスプレイまたはモニタ、１４ スクリーン、１６ キャラクター、２０ コンピュータ制御装置、２２ ホルダ、３０，３２，１０
０ 加速度計、３６，７８，８０ アナログ／デジタル変換部、３８送信部、４０，４２ アンテナ、４４ 受信器、４６ 比較照合部、４８ 参照加速度データ格納部、５０ グラフィカルオブジェクト制御部、５２ スクリーン駆動部、７４，７６ 低域フィルタ、８２ フォーマッティング部、８６ 前処理部、９４ パターン認識回路部、１０４ 信号変換部、１０８ シリアル読み込みポート、１１０ 重力検知用低域フィルタ、１１
２ 高域フィルタ機能部、１１４ 重力正規化部、１１
６ 可動平均フィルタ、１２０ ポーズ検出部、１５２
パラメータ／スタイル選定部。

───────────────────────────────────────────────────── フロントページの続き (71)出願人 597067574 201 ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩ ＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ 02139， Ｕ． Ｓ． Ａ. (72)発明者 トウヘイ・ニッタ アメリカ合衆国、マサチューセッツ州、ニ ュートン、マーラ・サークル 15 (72)発明者 ダーリン・ビー・ジェウェル アメリカ合衆国、マサチューセッツ州、サ マービル、ジャクソン・ロード 22 (72)発明者 マリリン・エイ・ウォーカー アメリカ合衆国、マサチューセッツ州、ボ ストン、モンゴメリー・ストリート 36