Method, system and program for tracking range of user's body movement

本発明は、一般に、改良された３Ｄ身体運動追跡を提供することに関する。 特に、本発明は、１つまたは複数の画像取り込み装置によって取り込まれた経時的なユーザ運動の３次元画像ストリームからユーザによる計画運動（projected movement）を予測することに関する。

エクササイズは、多くの人の毎日または毎週の定型作業の一部である。 健康状態の改善、傷害からのリハビリ、スポーツ、または設定目標を達成するための練習のいずれであるかを問わず、人がエクササイズをするときには、人がモーションの強さおよび可動域を改善できる方法が数多く存在するが、可動域を改善する際に人が負傷するかまたは挫折を経験する可能性がある方法も数多く存在する。 トレーナまたは理学療法士が人の運動をモニターしていても、依然として傷害が発生する可能性がある。

したがって、上記を考慮すると、第１の時点で３次元のユーザ運動をモニターし、他の時点で３次元のユーザ運動の追加選択をモニターし、第１のセットのユーザ運動およびユーザ運動のその他の選択から運動または運動能力の計画変化を自動的に予測して、ユーザが傷害を回避し、傷害からのリハビリを行い、または健康状態目標を達成するのを支援するためのコンピュータによって実行される方法、システム、およびプログラムが必要である。

したがって、本発明は、改良された人の身体運動範囲の追跡を提供する。 特に、本発明は、１つまたは複数の画像取り込み装置によって取り込まれた経時的なユーザ運動の３次元画像ストリームからユーザによる計画運動を予測することを可能にする。

一実施形態では、コンピュータによって実行される方法、システム、およびプログラムは、ユーザの第１の３次元運動を取り込み、ユーザの身体に向けられた少なくとも１つの画像取り込み装置を使用して３次元運動が決定され、ユーザの少なくとももう１つの３次元運動を取り込み、ユーザの身体に向けられた少なくとも１つの画像取り込み装置を使用して少なくとももう１つの３次元運動が決定される運動処理システム（movement processing system）を含む。 計画運動システム（projected movement system）は、ユーザの第１の３次元運動に基づいて運動基本線（movementbaseline）を予測し、ユーザの少なくとももう１つの３次元運動に基づいて少なくとも１つの後続運動範囲を予測する。 運動基本線と少なくとも１つの後続運動との比較に基づいて、計画運動システムはユーザの計画運動を予測し、それによりユーザが傷害を回避し、傷害からのリハビリを行い、またはエクササイズ機器を適切に使用するのを支援するための調整を推奨することができ、それによりユーザが健康状態の進行状況を追跡することができ、それにより他の出力信号が生成され、ユーザ、モニター部員（monitoringagent）、および医療職員に出力される。

運動処理システムは、ユーザの少なくとも１つの身体部位の少なくとも１つの特定のタイプの３次元運動を識別して追跡するために立体画像装置を使用してユーザの３次元運動を取り込むことができる。 さらに、運動処理システムは、顔の表情、眼球運動、筋収縮、または皮膚表面特性の変化などの微細細分性運動を含む身体運動の少なくとも１つの特性を取り込み３次元運動で識別することができる。

計画運動システムは、運動基本線から少なくとも１つの後続運動範囲までのユーザの身体運動の範囲の減少または増加を示す計画運動を予測することができる。 加えて、計画運動システムは、ユーザの身体運動の今後の予測範囲を指定して計画運動を予測することができる。

計画運動システムは、計画運動を、出力装置またはその他のシステムのユーザに出力するためまたは他のシステムのモニター部員に出力するための少なくとも１つの出力信号に変換する。 加えて、計画運動システムは、選択された出力装置およびシステムへの出力信号の出力を制御する。

本発明に特有と思われる新規の特徴は特許請求の範囲に規定されている。 しかし、本発明そのもの、ならびにその好ましい使用態様、その他の目的および利点は、添付図面に併せて読んだときに例示的な一実施形態に関する以下の詳細な説明を参照することにより最も良く理解されるであろう。

次に図１に関して説明すると、このブロック図は、運動処理方法、システム、およびプログラムにおける情報の流れを例示している。 図１は、ユーザの運動の画像ストリームを取り込み、これらの画像ストリームを処理して、１つまたは複数の身体部分の運動、可動域、ならびにユーザによる運動のその他の特性を検出することを含むがこれに限定されない、モニター対象ユーザの運動を予測するための情報の流れの一実施形態を提供することが理解されるであろう。 他の実施形態では、取り込みデータを処理し、ユーザによる運動を予測するためにその他の情報の流れも実現可能である。

本明細書全体を通して使用する「運動（movement）」という用語は、腕、脚、背中、足、手、首、または頭などを含むがこれらに限定されない身体部位の任意のタイプの運動を含むことができ、ユーザが着用する衣服、ユーザが所持するオブジェクト、および代用身体部分の運動も含むことができることは留意すべき重要なことである。 ユーザ運動は、ジェスチャおよび顔の表情、不随意の震えを含む筋緊張または筋収縮の変化、身体姿勢の変化、眼球運動、色、温度、トーン、および発汗レベルなどの皮膚表面特性の変化などの微細細分性運動を含むことができる。 加えて、ユーザ運動は、可動域、速度、および強さなどのユーザ運動の特性を含むことができる。

加えて、本明細書全体を通して使用する「ユーザ（user）」という用語は、エクササイズ環境内のモニター対象者、動物、またはその他の移動エンティティを指すことができることは留意すべき重要なことである。 ユーザまたはモニター部員は、以下に詳述する通り、ユーザ運動および計画運動をモニターすることができ、「モニター部員（monitoringagent）」は、トレーナなど他のユーザの運動をモニターする人またはユーザ運動をモニターする自動化システムを指すことができる。 「エクササイズ環境（exerciseenvironment）」は、ユーザが何らかの点で身体的にアクティブである任意の環境を含むことができる。 エクササイズ環境の例としては、競技場、練習会場、ジム、トラック、および屋外エリアを含むことができるが、これらに限定されない。

この例では、運動処理システム１００は３次元（３Ｄ）オブジェクト検出器１０４を含む。 ３Ｄオブジェクト検出器１０４は、移動オブジェクトおよび静止オブジェクトに関する画像およびその他のデータを取り込み、取り込みデータを簡素化（streamline）し、取り込み運動内の特定のオブジェクトを追跡し、特定のオブジェクトのプロパティをストリーム化（stream）し、３Ｄオブジェクト・プロパティ１１０によって例示されている通り、ストリーム化プロパティを取り込みオブジェクトの３Ｄ特性の３次元表現に結合するための複数のシステムを表している。 ３Ｄオブジェクト・プロパティ１１０としては、ユーザ運動を表す位置、色、サイズ、および向きを含むことができるが、これらに限定されない。

この例では、３Ｄオブジェクト検出器１０４は、検出可能運動１０２として表される焦点領域（focus area）内の画像を取り込む。 加えて、３Ｄオブジェクト検出器１０４は、焦点領域内のその他のタイプのデータを検出することができる。 特に、３Ｄオブジェクト検出器１０４は、ビデオ画像の取り込み、１つまたは複数の特定の身体部分の運動の検出、皮膚テクスチャの検出、眼球運動の検出、皮膚表面特性の検出、熱画像の取り込みを含むが、これらに限定されない複数のタイプの画像およびデータ検出により検出可能運動１０２を検出する。 複数のタイプの画像およびデータ検出をサポートするために、３Ｄオブジェクト検出器１０４は、立体鏡ビデオ画像取り込み用に配置された１つまたは複数のビデオ・カメラを含む、複数のタイプの画像取り込み装置と、熱身体画像センサ、皮膚テクスチャ・センサ、レーザ感知装置、サウンド・ナビゲーションおよびレンジング（ＳＯＮＡＲ）装置、または合成レーザまたはソナー・システムなど、１つまたは複数のオブジェクトの少なくとも１つの他の特性を取り込むためのその他のタイプのセンサとを含むことができる。 特に、センサは、個別のセンサ・ユニットを使用して実現される場合もあれば、取り込み画像ストリームについて操作する論理装置により実現される場合もある。 たとえば、論理装置は、取り込み画像ストリームを処理して、焦点領域内の滑らかな壁またはざらざらした葉などの皮膚以外のテクスチャから区別可能な顔面皮膚テクスチャを検出することができる。

検出可能運動１０２のいくつかの部分は、ユーザによる実際の運動を表す画像およびその他のデータを含むことができ、検出可能運動１０２のその他の部分は、運動を表さない画像およびデータを含むことができる。 一実施形態では、３Ｄオブジェクト検出器１０４は、検出可能運動１０２を検出されたオブジェクトの３Ｄプロパティのストリームに変換し、３Ｄオブジェクト・プロパティ１１０のストリームを運動インタープリタ（movement interpreter）１０６に渡す。 運動インタープリタ１０６は、３Ｄオブジェクト・プロパティ１１０のどのストリームが１つまたは複数のユーザ運動にマッピングされるかを判断し、３Ｄオブジェクト・プロパティ１１０のストリームからユーザ運動のタイプを予測し、３Ｄオブジェクト・プロパティ１１０のストリームからユーザ運動の特性を検出し、検出可能運動１０２内の実際の運動が運動インタープリタ１０６によって正しく予測される確率を計算する。 他の実施形態では、３Ｄオブジェクト検出器１０４は、ユーザ運動を表さない検出オブジェクトの３Ｄプロパティをフィルタで除去することができる。

運動インタープリタ１０６は、特性ならびにその運動が予測運動出力１０８として正しく予測される確率百分率とともに、ユーザ運動の各予測タイプを出力する。 運動インタープリタ１０６は、１つまたは複数のシステムの１つまたは複数の運動対応アプリケーション（movement-enabled application）に予測運動出力１０８を渡すことができる。 一例では、以下に詳述する通り、本発明の１つの利点によれば、運動インタープリタ１０６は、あるユーザに関する基本線運動を追跡する計画運動システムに予測運動出力１０８を渡し、そのユーザのある範囲の追加運動にアクセスし、そのユーザの計画運動を予測する。 しかし、加えて、運動インタープリタ１０６は、予測運動を解釈する１つまたは複数のその他のタイプの運動対応アプリケーションに予測運動出力１０８を渡すことができる。

特に、検出可能運動１０２を処理し、予測運動出力１０８を生成する際に、３Ｄオブジェクト検出器１０４および運動インタープリタ１０６は、事前に蓄積し保管した運動定義の定義データベース１１２にアクセスして、３Ｄオブジェクト・プロパティ１１０内でユーザによる運動を表すこれらのモニター対象オブジェクトをより適切に追跡して検出し、運動のタイプおよび運動の特性をより適切に予測することができる。

さらに、検出可能運動１０２を処理し、予測運動出力１０８を生成する際に、３Ｄオブジェクト検出器１０４および運動インタープリタ１０６は、特定のユーザによる運動を表すオブジェクトを識別し、その運動が行われた相互作用全体を考慮して運動のタイプおよび運動の特性を予測しようと試みる。 したがって、３Ｄオブジェクト検出器１０４および運動インタープリタ１０６は、運動だけでなく、運動のタイプおよび特性をもたらすと思われる運動に含まれる重要性のレベル、運動のタイプおよび特性をもたらすと思われる運動を行うユーザの背景、運動のタイプおよび特性をもたらすと思われるユーザが運動を行う環境、各運動のタイプおよび特性をもたらす同時に行われた複数運動の組み合わせ、ならびに運動のタイプおよび特性をもたらすその他の検出可能な要因をも判断しようと試みる。 加えて、定義データベース１１２は、ユーザ、エクササイズ機器、運動のタイプ、および特定のモニター対象エクササイズ環境で最も一般的なその他の項目をより正確に識別するように調整することができる。

加えて、検出可能運動１０２を処理する際に、画像取り込み装置およびその他のセンサからなる複数の個別システムはそれぞれ、異なる角度から分離した焦点領域または重なっている焦点領域について画像およびデータを取り込むことができる。 画像取り込み装置およびその他のセンサからなる複数の個別システムは、無線接続または有線接続を介して通信可能に接続することができ、データの組み合わせにより運動インタープリタ１０６がより正確に運動を解釈できるように、３Ｄ運動検出器間または運動インタープリタ間で取り込み画像およびデータを相互に共用することができる。

次に図２を参照すると、この例示的な図は、３Ｄオブジェクト検出器が取り込み、取り込まれたユーザ運動を表す３Ｄオブジェクト・プロパティを生成する環境の一例を描写している。 検出可能運動環境２００は、図１の運動処理システム１００に関して記載した通り、３Ｄオブジェクト検出器１０４が検出可能運動１０２を表す画像およびデータを検出する環境の一例であることが理解されるであろう。 より具体的には、以下に詳述する通り、図１０は、複数のユーザの運動が検出され処理されるエクササイズ環境を例示している。

この例では、検出可能運動環境２００は、結合された３Ｄ焦点領域２２０内でユーザ運動と非ユーザ運動の両方を表す１つまたは複数のオブジェクトの運動を検出するようにそれぞれが位置決めされた画像取り込み装置２０２と画像取り込み装置２０４とを含む立体画像装置を含む。 描写されている実施形態では、３Ｄ焦点領域２２０によって表される領域が絶えず焦点が合った状態に保持されるように、画像取り込み装置２０２および画像取り込み装置２０４はそれぞれ、１つの固定軸または別々の固定軸上に位置決めすることができる。 加えて、描写されている実施形態では、画像取り込み装置２０２および画像取り込み装置２０４ならびに任意のその他のセンサは、３Ｄ焦点領域２２０内の画像の範囲を制御し、画像を取り込むために、平行に、接線上に、または任意のその他の角度に位置決めすることができる。

他の実施形態では、３Ｄ焦点領域２２０によって表される領域を再位置決めできるように、画像取り込み装置２０２および画像取り込み装置２０４がそれぞれ位置調整可能軸（position adjustable axis）上に位置決めされる場合もあれば、画像取り込み装置２０２および画像取り込み装置２０４の実際の焦点が調整可能である場合もある。 一例では、画像取り込み装置２０２および画像取り込み装置２０４のそれぞれは、広い領域内の熱画像ベースの運動を検出する１つまたは複数の熱画像装置（thermalimaging device）と結合することができ、各カメラの焦点領域内の熱運動（thermal movement）を追跡するように画像取り込み装置２０２および画像取り込み装置２０４のそれぞれの焦点領域の再位置決めを誘導する。

一例では、画像取り込み装置２０２および画像取り込み装置２０４は、エクササイズ環境のすべてまたは一部分を取り込むことを含むがこれに限定されない特定の３Ｄ焦点領域２２０を取り込むように固定することができる。 加えて、この実施形態では、画像取り込み装置２０２および画像取り込み装置２０４は、ユーザまたはモニター部員によって所持または装着される装置に固定することができる。 たとえば、メガネを装着しているモニター部員が動くにつれて３Ｄ焦点領域２２０が変化するように、画像取り込み装置２０２および画像取り込み装置２０４をモニター部員によって装着されるメガネまたはその他のヘッドウェアに固定することができる。

描写されていないが、他の実施形態では、画像取り込み装置２０２などの単一ビデオ・カメラのみを立体画像装置として実現することができる。 この単一ビデオ・カメラは軌道またはその他の調整可能軸上に置かれ、コントローラが軌道に沿って単一ビデオ・カメラの位置を調整し、その場合、単一ビデオ・カメラは軌道に沿って種々の位置決め点で焦点領域内のビデオ画像ストリームを取り込み、３Ｄ運動検出器１０４はその画像ストリームを検出可能オブジェクトのプロパティの３Ｄオブジェクト・プロパティ・ストリームに結合する。 一例では、カメラの位置が変化するにつれて、輝度の変化を比較し、フレーム全域でシャドーイングを行うことにより、３Ｄオブジェクト・プロパティ・ストリームを生成することができる。 代わって、奥行きを検出するセンサに結合された単一固定カメラを使用して、立体画像装置を実現することができる。 さらに代わって、画像を処理し、定位置から奥行きを検出できるようになっている単一カメラも立体画像装置として機能することができる。 たとえば、この単一カメラは、光源の移動を検出し、輝度の変化を比較し、取り込み画像フレーム全域でシャドーイングを行うことにより、画像を処理し、奥行きを検出することができる。 特に、この単一カメラ・システムは、まず目、口、および鼻に焦点を合わせてモニター対象顔面モデルをマッピングし、次に輝度の変化を検出し、画像フレーム全域でシャドーイングを行って、顔面の奥行き特性を検出することができる。 その他の例では、システムが取り込まれたビデオ画像ストリームを処理して、画像ストリームのその他の特性から奥行きを抽出することができる。

例のために、３Ｄ焦点領域２２０は、画像取り込み装置２０２によって取り込まれた第１の取り込み面（capture plane）２０６と、画像取り込み装置２０４によって取り込まれた第２の取り込み面２０８とを含む。 第１の取り込み面２０６は参照番号２１４によって例示された平面内の運動を検出し、第２の取り込み面２０８は参照番号２１６によって例示された平面内の運動を検出する。 したがって、たとえば、画像取り込み装置２０２はあるオブジェクトの左右または上下の運動を検出し、画像取り込み装置２０４は３Ｄ焦点領域２２０内のあるオブジェクトの前後の運動を検出する。 オブジェクトの運動が微細細分性で追跡されると、筋肉の震えまたはしわが寄った眉毛などのユーザの身体運動の小さい調整さえ追跡され、震えの程度を指定する特性を有する筋肉運動または眉毛の通常の位置から区別された眉毛のしわの程度を指定する特性を有する顔の表情という１つのタイプのユーザ運動として解釈できることは留意すべき重要なことである。

この例では、３Ｄ焦点領域２２０内の手２１０は移動オブジェクトを表し、ボックス２１２は静止オブジェクトを表している。 この例では、手２１０は３Ｄ焦点領域２２０内のユーザの手の一部分である。 モニター対象ユーザは、手２１０を動かす際に可動域、速度、および強さを変化させるという任意の数の運動を行うことができる。

ユーザが３Ｄ焦点領域２２０内で手２１０を動かすにつれて、画像取り込み装置２０２および画像取り込み装置２０４のそれぞれは、取り込み面２０６および取り込み面２０８内で手２１０の運動のビデオ・ストリームを取り込む。 このビデオ・ストリームから３Ｄオブジェクト検出器１０４は、手２１０を３Ｄ焦点領域２２０内の移動オブジェクトとして検出し、ある期間中の手２１０について３Ｄオブジェクト・プロパティ１１０を表す３Ｄプロパティ・ストリームを生成する。

加えて、ユーザは、ボックス２１２または他のオブジェクトに対して手２１０を動かすことができる。 たとえば、ユーザは、ボックス２１２を指すかまたはボックス２１２に向けられた他のタイプの運動を行うことができる。 他の例では、ユーザはボックス２１２を持ち上げることもできる。 ユーザが３Ｄ焦点領域２２０内で手２１０を動かすにつれて、画像取り込み装置２０２および画像取り込み装置２０４によって取り込まれたビデオ・ストリームは、手２１０およびボックス２１２の運動を含む。 このビデオ・ストリームから３Ｄオブジェクト検出器１０４は、手２１０を移動オブジェクトとして検出し、ユーザがボックス２１２を動かさない限り、ボックス２１２を３Ｄ焦点領域２２０内の静止オブジェクトとして検出し、ある期間中のボックス２１２の３Ｄプロパティならびにボックス２１２に対する手２１０の３Ｄプロパティを示す３Ｄオブジェクト・プロパティ・ストリームを生成する。

複数のカメラを使用して３Ｄ焦点領域２２０内の異なる運動面（plane of movement）を取り込むことにより、典型的な静止単一カメラによって行われると思われるものより多くの運動点（pointof movement）が取り込まれることは留意すべき重要なことである。 ２つ以上の角度からより多くの運動点を取り込むことにより、３Ｄオブジェクト検出器１０４は、３Ｄ焦点領域２２０内のユーザ運動を含む、静止オブジェクトおよび移動オブジェクトの３Ｄ表現をより正確に検出して定義することができる。 加えて、３Ｄオブジェクト検出器１０４が移動オブジェクトの３Ｄ表現をより正確に定義するほど、運動インタープリタ１０６はより正確にその３Ｄモデルからユーザ運動を表すこれらのオブジェクトを検出し、運動のタイプおよび特性を予測することができる。 たとえば、ある運動は、ユーザが２次元フレーム内で取り込むことができないと思われるモーションをビデオ・カメラ２０２およびビデオ・カメラ２０４のうちの一方に向かってまたはそれから離れて行うことから構成される可能性があり、３Ｄ運動検出器１０４はその運動の３Ｄ表現を移動オブジェクトとして検出して定義し、運動インタープリタ１０６はその運動の３Ｄモデルからビデオ・カメラに向かうかまたはそれから離れる運動によって行われた運動を予測する。

加えて、図２は動いている手２１０と静止ボックス２１２を例示しているが、代替諸実施形態では、画像取り込み装置２０２および画像取り込み装置２０４が複数のユーザの運動の画像を取り込み、３Ｄオブジェクト検出器１０４がそれぞれのユーザのそれぞれの運動を個別オブジェクトとして検出するように、３Ｄ焦点領域２２０が複数のユーザを含むことができることは留意すべき重要なことである。 特に、３Ｄオブジェクト検出器１０４は、画像取り込み装置２０２および画像取り込み装置２０４から取り込まれたビデオ画像から、手によって行われた運動などのモーションの多い運動と、顔の表情などのモーションの少ない運動を検出し、エクササイズ環境内のユーザの運動の３Ｄオブジェクト・プロパティを正確に生成することができる。

この例では、検出可能運動環境２００内で焦点領域２２０内の画像を取り込むことに加えて、他のセンサが焦点領域２２０外のエクササイズ環境に関する情報を検出することができる。 たとえば、センサ２４０は、センサ領域２４２内の情報を検出することができる。 センサ領域２４２は、焦点領域２２０の上に部分的に重なるか、焦点領域２２０内に組み込まれるか、焦点領域２２０を組み込むか、または焦点領域２２０から分離している可能性がある。 ３Ｄオブジェクト検出器１０４は、感知情報を取り込み画像と結合し、３Ｄオブジェクト・プロパティ１１０をより正確に生成し、環境に関する追加情報を計画運動システムに提供する。

一例では、センサ２４０は、取り込み画像ストリームから顔面認識またはその他の識別認識を実行することができる。 一例では、センサ２４０は、ユーザに関する顔面マッピングのデータベースにアクセスし、そのデータベースから特定の顔面マッピングと一致する特定のユーザ顔面マッピングを識別することができる。 他の例では、センサ２４０は、ユーザを識別可能なテキストについて取り込み画像ストリームを分析することができる。 たとえば、センサ２４０は、ユーザが装着しているバッジの取り込み画像ストリームからバッジ番号を検出することができる。 センサ２４０がユーザＩＤを検出することにより、オブジェクト検出器１０４は３Ｄオブジェクト・プロパティをより正確に生成することができ、運動インタープリタ１０６は定義データベース１１２内に識別されたユーザについて指定された定義からユーザ運動のタイプをより正確に予測することができる。

さらに、他の例では、センサ２４０は、センサ領域２４２内の項目上に置かれたＲＦＩＤチップから同報された情報を検出することにより、ユーザ認識を補足することができ、その場合、ある項目のＲＦＩＤは、その項目に関連する項目タイプ、項目位置、および任意の警告条件を同報する。 たとえば、競技場内の各選手など、エクササイズ環境内の各ユーザは、各ユーザに関する固有のＩＤを同報するＲＦＩＤチップを装着することができる。 他の例では、１台のエクササイズ機器は、エクササイズ機器のタイプならびにそのエクササイズ機器の使用に関する指定を同報するＲＦＩＤチップを含むことができる。 特定のユーザまたは項目の位置に関する感知情報をそこから画像が識別される取り込み画像と結合することにより、オブジェクト検出器１０４は３Ｄオブジェクト・プロパティ１１０をより正確に生成することができ、運動インタープリタ１０６は３Ｄオブジェクト・プロパティ１１０内からユーザ運動を表すオブジェクトをより正確に検出し、ユーザ運動のタイプおよび特性をより正確に予測することができる。 加えて、センサ２４０が位置情報にアクセスすることにより、運動インタープリタ１０６は、計画運動システムが複数のユーザの運動を追跡し計画できるようにする運動レコードとともにユーザ識別データを含むことができる。

さらに他の例では、センサ２４０は、特定のタイプのオブジェクト、特定のタイプの運動、またはその他の指定のタイプのデータを検出することに焦点を合わせることができる。 たとえば、センサ２４０は、特定の身体部分または特定のタイプの身体運動を検出し、マッピングすることに焦点を合わせることができる。 他の例では、センサ２４０は、皮膚ベース以外のテクスチャから分離した皮膚テクスチャを検出することまたは皮膚の表面特性の変化を検出することに焦点を合わせることができる。 特に、特定のタイプのオブジェクト、特定のタイプの運動、またはその他の指定のデータに焦点を合わせることにより、センサ２４０によって収集されたデータが画像取り込み装置２０２および画像取り込み装置２０４によって取り込まれた画像と結合され、あるオブジェクトの３Ｄ画像のマッピングおよびオブジェクトの識別の際に追加の詳細度および粒度がもたらされる。

運動処理システム１００は、同じかまたは異なるセンサ領域から種々のタイプのデータを検出するための複数のセンサを実現できることは留意すべき重要なことである。 加えて、センサ２４０および任意の他の実現センサが、あるセンサ領域に関するデータを独立して収集し処理する場合もあれば、画像取り込み装置２０２および画像取り込み装置２０４によって取り込まれた画像を処理する場合もあることは留意すべき重要なことである。

次に図３に関して説明すると、このブロック図は、運動インタープリタが３Ｄオブジェクト・プロパティからユーザ運動のタイプおよび特性を解釈できるようにするために３Ｄオブジェクト・プロパティを生成するための３Ｄオブジェクト検出器システムの一実施形態を例示している。 ３Ｄオブジェクト検出器１０４内に描写されている複数のコンポーネントは、単一システム内に組み込まれるか、あるいはネットワーク、その他の通信媒体、またはその他の転送媒体を介して複数のシステム全域に分散される可能性があることは留意すべき重要なことである。 加えて、画像およびデータを取り込み、３Ｄオブジェクト・プロパティ１１０のストリームを生成するために、例示されているものとは異なる追加または代替コンポーネントを３Ｄオブジェクト検出器１０４内で実現可能であることは留意すべき重要なことである。

初めに、画像取り込み装置２０２、画像取り込み装置２０４、およびセンサ２４０などの複数の画像取り込み装置は、３Ｄ焦点領域２２０およびセンサ領域２４２などの３Ｄ焦点領域およびセンサ領域内の検出可能運動１０２を表すデータを取得するための立体画像装置またはその他の画像取り込みシステムを表す。 前に記載した通り、画像取り込み装置２０２および画像取り込み装置２０４は、ビデオ画像を取り込むためのビデオ・カメラを表すことができる。 加えて、画像取り込み装置２０２および画像取り込み装置２０４は、カメラまたはその他の静止画像取り込み装置を表すことができる。 加えて、画像取り込み装置２０２および画像取り込み装置２０４は、検出可能運動１０２を表すデータを取り込むことができるその他のタイプの装置を表すことができる。 画像取り込み装置２０２および画像取り込み装置２０４は、同じタイプの画像取り込みシステムまたは異なるタイプの画像取り込みシステムを使用して実現することができる。 加えて、画像取り込み装置２０２および画像取り込み装置２０４のそれぞれによって取り込まれた取り込み領域および取り込み面の範囲、サイズ、および位置は様々になる可能性がある。

センサ２４０は、３Ｄオブジェクト・プロパティ１１０を作成するための３Ｄオブジェクト検出器１０４の能力を高める、特定のセンサ領域内のオブジェクトに関する情報を検出する。 前に述べた通り、センサ２４０は、ＲＦＩＤ読み取り装置、熱身体画像センサ、皮膚テクスチャ・センサ、レーザ感知装置、サウンド・ナビゲーションおよびレンジング（ＳＯＮＡＲ）装置、または合成レーザまたはソナー・システムを含むがこれらに限定されない１つまたは複数の異なるタイプのセンサを表すことができる。 加えて、センサ２４０は、特定のタイプの身体部分、特定のタイプの身体運動、または皮膚ベース以外のテクスチャから分離した皮膚を示すテクスチャを検出するセンサを含むことができる。

画像取り込み装置２０２、画像取り込み装置２０４、およびセンサ２４０のそれぞれは、初めに取り込み画像およびデータを受信してバッファに入れることができるようになっている１つまたは複数のコンピューティング・システムに取り込み画像およびデータを送信する。 この例では、画像取り込み装置２０２は画像取り込みサーバ３０８に取り込み画像を送信し、画像取り込み装置２０４は画像取り込みサーバ３１０に取り込み画像を送信し、センサ２４０はセンサ・サーバ３１２に取り込みデータを送信する。 画像取り込みサーバ３０８、画像取り込みサーバ３１０、およびセンサ・サーバ３１２は、１つまたは複数のサーバ・システム内に実現することができる。

画像取り込みサーバ３０８、画像取り込みサーバ３１０、およびセンサ・サーバ３１２のそれぞれは、バッファに入れた画像およびデータを、画像取り込み装置２０２、画像取り込み装置２０４、およびセンサ装置２４０から１つまたは複数のプロセッサにストリーム化する。 この例では、画像取り込みサーバ３０８はビデオ・プロセッサ３１６に画像をストリーム化し、画像取り込みサーバ３１０はビデオ・プロセッサ３１８に画像をストリーム化し、センサ・サーバ３１２はセンサ・プロセッサ３１９に感知データをストリーム化する。 ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９は１つまたは複数のコンピュータ・システム内の１つまたは複数のプロセッサ内に実現できることは留意すべき重要なことである。

一例では、画像取り込みサーバ３０８および画像取り込みサーバ３１０はそれぞれビデオ・プロセッサ３１６およびビデオ・プロセッサ３１８に画像をストリーム化し、その場合、画像はフレーム単位でストリーム化される。 各フレームは、画像取り込み装置のカメラＩＤ、フレーム番号、タイム・スタンプ、および画素数を含むことができるが、これらに限定されない。

ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９は、画像フレーム内のオブジェクトを検出して追跡するようにプログラミングされる。 特に、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９は複合データのストリームを受信し、そのデータを処理し、３次元オブジェクトならびにその３次元オブジェクトの特性を識別するので、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９は、セル・ブロードバンド・エンジン（Ｃｅｌｌ ＢＥ：Cell Broadband Engine）アーキテクチャを実現することができる（セル・ブロードバンド・エンジンはソニー・コンピュータ・エンタテインメント社の登録商標である）。 Ｃｅｌｌ ＢＥアーキテクチャは、共同処理エレメント（ＳＰＥ：SynergeticProcessing Element）とも呼ばれ、プロセッサ・エレメント間の効率的な通信のための１組のＤＭＡコマンドを実現する複数の追加プロセッサ・エレメントに接続されたパワー・アーキテクチャベースの制御プロセッサ（ＰＰＥ：PowerArchitecture-based control processor）などの基本プロセッサ・エレメントを含むプロセッサ・アーキテクチャを指す。 特に、ＳＰＥは、特定のタイプの処理タスクを他のものより効率的に処理するように設計することができる。 たとえば、ＳＰＥは、フレーム・ストリーム内のユーザ身体運動などの移動オブジェクトの点を識別してマッピングするためにビデオ・ストリームの処理をより効率的に処理するように設計することができる。 加えて、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９は、ビデオ画像の効率的な処理により、そこからユーザの運動を識別し、その運動のタイプおよび特性を予測できるビデオ画像内の移動オブジェクトおよび静止オブジェクトを３次元で識別できるようにする、他のタイプのプロセッサ・アーキテクチャを実現することができる。

この例では、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９はそれぞれ、検出されたオブジェクトの位置、色、サイズ、形状、および向きを含むプロパティを作成し、それを形状プロセッサ３２０にストリーム化する。 一例では、形状プロセッサ３２０にストリーム化された各処理済みフレームは、カメラＩＤ、フレーム番号、タイム・スタンプ、ならびに、Ｘ軸座標（ｘ＿ｌｏｃ）、Ｙ軸座標（ｙ＿ｌｏｃ）、およびＺ軸座標（ｚ＿ｌｏｃ）のうちの２つまたはそれ以上の組み合わせを含むことができるが、これらに限定されない。 ｘ＿ｌｏｃ、ｙ＿ｌｏｃ、およびｚ＿ｌｏｃはそれぞれ、あるオブジェクトのすべてのプロパティを識別する複数組の点およびその他のデータを含むことができることは留意すべき重要なことである。 単一フレーム内で複数のオブジェクトが検出され追跡された場合、各オブジェクトに関するＸ軸座標およびＹ軸座標は、単一ストリーム化オブジェクト・プロパティ・レコードに、または複数の個別ストリーム化オブジェクト・プロパティ・レコードに含めることができる。 加えて、ＳＯＮＡＲ検出位置に関するセンサ・プロセッサ３１９からのフレームなどのストリーム化プロパティ・フレームは、たとえば、ｚ＿ｌｏｃとしてリストされるＺ軸位置座標を含むことができる。

形状プロセッサ３２０は、ビデオ・プロセッサ３１６およびビデオ・プロセッサ３１８から２Ｄストリーム化オブジェクト・プロパティを受信し、センサ・プロセッサ３１９からその他のオブジェクト・データを受信する。 形状プロセッサ３２０は、ストリーム化２Ｄオブジェクト・プロパティとその他のデータを組み合わせ、ストリーム化２Ｄオブジェクト・プロパティとその他のデータから３Ｄオブジェクト・プロパティ１１０を構築する。 特に、形状プロセッサ３２０は、あるオブジェクトの奥行きを含む３Ｄオブジェクト・プロパティ１１０を構築する。 一例では、形状プロセッサ３２０によって構築された各３Ｄオブジェクト・プロパティ・レコードは、タイム・スタンプ、オブジェクトまたはユーザ運動ラベル、Ｘ軸座標（ｘ＿ｌｏｃ）、Ｙ軸座標（ｙ＿ｌｏｃ）、およびＺ軸座標（ｚ＿ｌｏｃ）、ならびにセンサから収集された追加情報を含むことができる。 たとえば、センサから収集された追加情報としては、ＲＦＩＤから受信した位置またはユーザＩＤを含むことができる。

ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、センサ・プロセッサ３１９、および形状プロセッサ３２０のいずれでも、プロパティ・レコードは、オブジェクトを追跡する際の永続性を可能にするために少なくとも１つのＩＤを含むことができる。 たとえば、このＩＤは、オブジェクトそのものに関する固有のＩＤと、ユーザ運動として識別されたオブジェクトを含む、オブジェクトのクラスまたはタイプのＩＤと、より具体的にはユーザ運動のタイプとを含むことができる。

特に、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９がオブジェクト・プロパティを識別して分類することにより、それぞれのプロセッサは、前に処理された入力ならびに運動マッピングおよび項目マッピングにアクセスするために定義データベース１１２にアクセスし、より正確に２Ｄオブジェクト・プロパティを識別して分類し、ストリーム化２Ｄオブジェクト・プロパティを検出して、それをオブジェクトと一致させることができる。 加えて、形状プロセッサ３２０は、定義データベース１１２からアクセスされたオブジェクトについて前に一致させ構築された３Ｄプロパティに基づいて、ストリーム化２Ｄオブジェクト・プロパティに基づくオブジェクトの３Ｄプロパティをより正確に構築することができる。 さらに、オブジェクト・データベース１２２は、今後の参照のためにストリーム化２Ｄオブジェクト・プロパティおよび３Ｄオブジェクト・プロパティを保管することができる。

加えて、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、およびセンサ・プロセッサ３１９がオブジェクト・プロパティを識別して分類し、形状プロセッサが３Ｄオブジェクト・プロパティ１１０を構築することにより、それぞれのプロセッサは、ユーザ運動を含む、検出オブジェクトを識別することができる。 たとえば、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、センサ・プロセッサ３１９、および形状プロセッサ３２０は、顔の表情およびその他の身体運動をマッピングし、顔面その他の身体運動認識を実行し、運動を表すオブジェクトを識別するための追加処理を実行する際に使用するための指定を含む定義データベース１１２にアクセスすることができる。 加えて、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、センサ・プロセッサ３１９、および形状プロセッサ３２０は、検出オブジェクトおよび背景に基づいてユーザが位置する特定の環境を識別する際に使用するための種々のタイプの環境に関する指定を含む定義データベース１１２にアクセスすることができる。 さらに、３Ｄオブジェクト・プロパティ１１０を構築する際に、ビデオ・プロセッサ３１６、ビデオ・プロセッサ３１８、センサ・プロセッサ３１９、および形状プロセッサ３２０は、その環境内のその他のユーザまたは項目を識別することができ、したがって、複数の項目およびその他のユーザと相互作用する１人のユーザの運動を識別することができる。

次に図４を参照すると、このブロック図は、運動インタープリタ・システムの一実施形態を例示している。 運動インタープリタ１０６内に描写されている複数のコンポーネントは、単一システム内に組み込まれるか、あるいはネットワークを介して複数のシステム全域に分散される可能性があることは留意すべき重要なことである。 この例では、３Ｄプロパティ・レコード４０２および４０６は、「タイム・スタンプ」、「ｘ＿ｌｏｃ」、「ｙ＿ｌｏｃ」、および「ｚ＿ｌｏｃ」データ・エレメントを含む。 ３Ｄプロパティ・レコード４０２および４０６は、図３の形状プロセッサ３２０によって決定される追加または代替データ・エレメントを含むことができることが理解されるであろう。 たとえば、３Ｄプロパティ・レコード４０２は、ユーザの特定の位置または相対位置、特定の身体部分、特定の運動、または３Ｄオブジェクト検出器１０４内の画像取り込み装置およびセンサによって収集されたその他のデータを識別する追加情報を含むことができる。

運動インタープリタ１０６は運動インタープリタ・コントローラ４０４を含み、運動インタープリタ・コントローラ４０４は、運動解釈を実行するようにプログラミングされた１つまたは複数のプロセッサを含むことができる。 たとえば、運動インタープリタ・コントローラ４０４は、Ｃｅｌｌ ＢＥアーキテクチャを備え、３Ｄオブジェクト・プロパティ・データ・ストリームを効率的に処理し、３Ｄオブジェクト・プロパティ・データ・ストリームからユーザの運動を予測し、ユーザ運動のタイプおよび特性を予測するようにプログラミングされたプロセッサを含むことができる。 加えて、運動インタープリタ・コントローラ４０４は、そこでソフトウェアが実行されるプロセッサを含むことができ、そのソフトウェアは、３Ｄオブジェクト・プロパティ・ストリームの処理を指示し、３Ｄオブジェクト・プロパティ・データ・ストリームからユーザ運動を予測し、ユーザ運動のタイプおよび特性を予測する。

３Ｄプロパティ・レコード４０２および４０６のストリームなどの３Ｄオブジェクト・プロパティ・ストリームを処理し、ユーザ運動に関連するオブジェクトまたはユーザ運動を表すオブジェクトを予測し、ユーザ運動のタイプおよび特性を予測する際に、運動インタープリタ・コントローラ４０４は、ストリーム化３Ｄオブジェクト・プロパティがマッピングされた運動定義を表す確率百分率ならびに予測運動が正しく予測される確率百分率で、３Ｄオブジェクト・プロパティを１つまたは複数の運動定義にマッピングする。 特に、運動インタープリタ・コントローラ４０４は、１つまたは複数のユーザ運動に関する１つまたは複数の運動定義にアクセスし、３Ｄオブジェクト・プロパティが運動定義のうちの１つまたは複数に定義された１つまたは複数の運動の１つまたは複数の特性と一致するかどうかを判断する。 運動定義は、１つまたは複数のタイプのユーザ運動についてマッピングされた３Ｄモデルを含むことができる。 加えて、運動定義は、可動域、表面特性、形状、運動速度、運動の強さ、運動の頻度、運動の奥行き、および温度を含むがこれらに限定されない運動の特性を識別するパラメータを定義することができる。

加えて、３Ｄオブジェクト・プロパティ・ストリームを処理する際に、運動インタープリタ・コントローラ４０４はユーザ運動の予測に関連する１つまたは複数の項目定義に３Ｄオブジェクト・プロパティをマッピングし、１つの項目は、ユーザが装着する項目、ユーザが所持する項目、エクササイズ機器、ならびにエクササイズ環境内のその他の項目を含むことができる。 加えて、項目定義は運動定義に統合することができる。

３Ｄオブジェクト・プロパティ・ストリームを解釈する際に、運動インタープリタ・コントローラ４０４は１つまたは複数の運動処理システムによって特定の焦点領域について識別された１つまたは複数の３Ｄオブジェクト・プロパティ・ストリーム内のすべての追跡オブジェクトの集合分析を実行することは留意すべき重要なことである。 一例では、運動インタープリタ・コントローラ４０４は、特定の焦点領域および特定のセンサ領域について３Ｄオブジェクト・プロパティ・ストリームを集合させる。 他の例では、運動インタープリタ・コントローラ４０４は、焦点領域およびセンサ領域に重なる領域から複数の３Ｄオブジェクト・プロパティ・ストリームを受信し、類似性、位置標識、および向き標識について３Ｄオブジェクト・プロパティ・ストリームを分析し、ある領域の３Ｄ集合表現内に３Ｄオブジェクト・プロパティ・ストリームを構築することができる。

一実施形態では、運動インタープリタ・コントローラ４０４は、追跡オブジェクトの集合を単一運動定義に直接マッピングすることができる。 他の実施形態では、運動インタープリタ・コントローラ４０４は、複数の集合追跡オブジェクトを複数の運動定義にマッピングする。 たとえば、あるユーザは、ランニング中に顔面運動を同時に実行する可能性があり、運動のタイプおよび運動の特性のそれぞれを予測する際に、運動インタープリタ・コントローラ４０４は、ランニングに関連する運動の３Ｄオブジェクト・プロパティと相関関係にある顔面運動の３Ｄオブジェクト・プロパティを分析し、運動のタイプのそれぞれの予測を可能にし、顔面運動とランニング運動の組み合わせによって示される総合的タイプの運動の予測を可能にするために運動定義にアクセスする。 さらに、運動インタープリタ・コントローラ４０４は、ある環境内の複数の人による運動を表す追跡オブジェクトを集合させることができる。

特に、動作中のモニター・システムに出力するための運動を予測する際に、定義データベース１１２内の運動定義および項目定義は、ユーザの身体能力および身体能力の変化に潜在的に関連する運動に運動インタープリタ・コントローラ４０４が焦点を合わせ、それを区別できるように指定される。 この例では、定義データベース１１２は、一般運動定義４１２、環境固有定義４１４、アプリケーション固有定義４１６、およびユーザ固有運動定義４１８を含む。 定義データベース１１２が追加または代替タイプの運動定義および項目定義を含むことができることが理解されるであろう。 加えて、この例に例示されている定義のグループ化のそれぞれが単一データベース内に存在する場合もあれば、ネットワークを介して複数のデータベースおよびデータ記憶システムからアクセスされる場合もあることは留意すべき重要なことである。 さらに、特定のシステムに存在する定義データベース１１２内の定義のグループ化のそれぞれが、安全および傷害予防規格の変更、新たに学習した運動、ならびにその他の要因に応答して調整または更新できることは留意すべき重要なことである。

一般運動定義４１２は、一般的な運動の特性を判断するための一般的な運動および要因に関する運動定義を含む。 たとえば、一般運動定義４１２は、ユーザのランニング、ウォーキング、ストレッチ、または多種多様なエクササイズ環境で典型的なその他の運動の実行を指定する運動定義を含むことができる。 加えて、一般運動定義４１２は、複数のエクササイズ環境間で一般的な各タイプの運動ごとに、その運動の可動域、速度、強さレベル、およびその他の特性を判断するための要因を指定する。

環境固有定義４１４は、ある運動が検出されるコンテキストに固有の運動定義と、項目定義と、およびその運動を判断するための要因との組み合わせを含む。 コンテキストの例としては、具体的なタイプのエクササイズ環境、時刻、エクササイズ環境内のユーザの技能レベル、ならびにその運動が解釈される可能性のあるコンテキストに影響を及ぼすその他の要因を含むことができるが、これらに限定されない。 現行エクササイズ環境は、ある期間中のユーザ運動をもたらす可能性のあるフィールドまたはアリーナのサイズおよびタイプの指定を含む、ジムまたはスポーツ・イベントなどの一般的なコンテキストあるいはジム内の特定の１台の機器または特定のスポーツなどのより具体的なコンテキストを含むことができる。 各エクササイズ環境に関する項目定義は、それぞれの具体的なエクササイズ環境内で一般的な機器、衣服、およびその他の項目のタイプを指定することができる。 運動インタープリタ・コントローラ４０４は、ユーザの位置を識別するＧＰＳ標識にアクセスすること、特定のタイプのエクササイズ環境を示す画像データ内の項目を検出すること、あるいはエクササイズ環境をモニターしている他のシステムからの追加データを受信することにより、現行コンテキストを検出することができる。 加えて、あるユーザのモニター部員は、ユーザ・インターフェースにより現行エクササイズ環境を指定することができる。

アプリケーション固有定義４１６は、予測運動レコードが出力される特定の計画運動システムまたはその他の運動対応システムに固有の運動定義および項目定義を含む。 一例では、予測運動レコードを処理し、計画運動を生成し、リアルタイムでユーザまたはモニター部員に計画運動を通知する計画運動システムに出力される予測運動レコードについて、アプリケーション固有定義４１６は、機器の使い方など、運動を矯正するための命令を計画運動システムが生成することを容易にする項目と相関関係にある運動のタイプについて指定された運動定義および項目定義を含む。 他の例では、経時的に予測運動レコードを追跡し、ユーザまたはモニター部員がトレーニング・セッションが終了した後でユーザの身体能力の統計的変化を定期的にモニターできるようにする計画運動システムに出力される予測運動レコードについて、アプリケーション固有定義４１６は、次のトレーニング・セッション中の能力を計画するための命令を計画運動システムが生成することを容易にする項目と相関関係にある運動のタイプについて指定された運動定義および項目定義を含む。

ユーザ固有運動定義４１８は、ユーザの身体タイプ、前に検出した運動、およびその他のユーザ特性に応じて定義を指定することにより、現在のモニター対象ユーザまたはユーザ・グループに固有の運動定義を含む。 一例では、運動インタープリタ・コントローラ４０４は、３Ｄオブジェクト検出器１０４によって検出されたユーザの属性をユーザ属性のデータベースと比較することにより、ユーザに関するＩＤにアクセスする。 たとえば、運動インタープリタ・コントローラ４０４は、顔面または音声認識を実行することができる。 他の例では、ユーザ・インターフェースにより、ユーザまたはモニター部員は、あるユーザまたはユーザ・グループに関するＩＤを指定することができる。 さらに、ユーザは、ユーザが読み取り機に通すかまたはＲＦＩＤを含む識別装置あるいはそこからユーザのＩＤが検出されるその他の無線伝送媒体を所持することができる。 特定のユーザについて指定された運動定義に基づいて、その特定のユーザが１台のエクササイズ機器を使用するかまたはエクササイズ環境に入ることを許可するために、運動インタープリタ・コントローラ４０４がユーザについてその他のタイプのＩＤアクセスおよび認証を実行できることは理解されるであろう。

特に、図７に関して以下に詳述する通り、計画運動システムは、ユーザの年齢、体重、身長、ダイエット、体脂肪、傷害、または病気などの属性と、特定のユーザについて確立された予測運動レコードからのマッピングを含む、ユーザに関する基本線運動プロファイルを確立することができる。 計画運動システムは、その基本線運動プロファイルならびにユーザ固有運動定義４１６によって収集され解釈された追加運動マッピングにより、ユーザ固有運動定義４１６を更新することができる。 加えて、計画運動システムは、運動インタープリタ・コントローラ４０４がユーザによる今後の運動のタイプおよび特性をより効率的に検出し予測できるようにするために、ユーザ固有運動定義４１６で更新可能な計画運動マッピングを予測する。

さらに、使用可能な運動定義内で、ある運動定義を特定の運動領域または３Ｄ焦点領域内の特定の運動の奥行きに関連付けることができる。 特に、運動が検出される３次元焦点領域を複数の３次元部分に分割することができ、それぞれの部分で行われる運動は、種々の運動定義選択に基づいて解釈することができる。 たとえば、焦点領域の１つの３次元部分は「アクティブ領域」と見なされる可能性があり、その領域内で検出された運動は、その特定のアクティブ領域に関連する運動定義選択と比較される。

運動インタープリタ・コントローラ４０４は、運動レコード４２０などの１つまたは複数の運動レコードの形で予測運動出力１０８を出力することができる。 運動レコード４２０は、「ユーザＩＤ」、「運動タイプ」、「運動特性」、「運動としての確率％」、エクササイズ環境、および時間範囲を示す。 加えて、運動レコード４２０は、「ｓｔａｒｔ＿ｘ＿ｐｏｓ」、「ｅｎｄ＿ｘ＿ｐｏｓ」、「ｓｔａｒｔ＿ｙ＿ｐｏｓ」、「ｅｎｄ＿ｙ＿ｐｏｓ」、「ｓｔａｒｔ＿ｚ＿ｐｏｓ」、「ｅｎｄ＿ｚ＿ｐｏｓ」としてリストされ、運動の位置、運動方向、および運動速度を決定する際にマッピングされる点を示す、検出運動の開始ＸＹＺ軸プロパティおよび終了ＸＹＺ軸プロパティを含む。 さらに、運動レコード４２０は、ＲＦＩＤデータ、ＧＰＳ座標、皮膚表面特性、およびその他の感知データなど、センサから取得された追加情報を含むことができ、特定の運動レコードに関連付けるかまたは個別オブジェクト・レコードに含めることができる。

運動レコード４２０を渡す際に、運動インタープリタ・コントローラ４０４は、特定のタイプの運動レコードをフィルタで除去することができる。 たとえば、運動インタープリタ・コントローラ４０４は、あるタイプの運動の予測確率が特定の百分率より低いレコードを渡さない可能性がある。

次に図５に関して説明すると、このブロック図は、本発明を実現可能なコンピューティング・システムの一実施形態を描写している。 本発明のコントローラおよびシステムは、ネットワーク５０２などのネットワークに通信可能に接続された、コンピュータ・システム５００などの様々なコンピューティング・システムを含む、様々なシステムで実行することができる。

コンピュータ・システム５００は、コンピュータ・システム５００内で情報を伝達するためのバス５２２またはその他の通信装置と、情報を処理するためにバス５２２に結合されたプロセッサ５１２などの少なくとも１つの処理装置とを含む。 バス５２２は好ましくは、ブリッジおよびアダプタによって接続され、複数のバス・コントローラによりコンピュータ・システム５００内で制御される低待ち時間および高待ち時間パスを含む。 サーバとして実現される場合、コンピュータ・システム５００は、ネットワーク・サービス能力を改善するように設計された複数のプロセッサを含むことができる。 複数のプロセッサがバス５２２を共用する場合、バス・アクセスおよびロックを管理するための追加コントローラ（描写されていない）を実現することができる。

プロセッサ５１２は、通常動作中に、オペレーティング・システム５６０、アプリケーション・ソフトウェア５７０、ミドルウェア（描写されていない）、ならびに、ランダム・アクセス・メモリ（ＲＡＭ）５１４などの動的記憶装置、読み取り専用メモリ（ＲＯＭ）５１６などの静的記憶装置、大容量記憶装置５１８などのデータ記憶装置、またはその他のデータ記憶媒体からアクセス可能なその他のコードの制御下でデータを処理するＩＢＭのＰｏｗｅｒＰＣ（Ｒ）プロセッサなどの汎用プロセッサにすることができる。 一例では、プロセッサ５１２は、３Ｄの複合データ・ストリームをより効率的に処理するようにＣｅｌｌ ＢＥアーキテクチャをさらに実現することができる。 プロセッサ５１２が他のタイプのプロセッサ・アーキテクチャを実現可能であることは理解されるであろう。 加えて、プロセッサ５１２は、ローカルにまたはネットワークを介して接続され、効率的に処理タスクを分散できるようになっている複数のプロセッサ・チップを表すことができることは留意すべき重要なことである。

一実施形態では、プロセッサ５１２によって実行される動作は、エクササイズ環境内の取り込み画像およびデータからの３Ｄ運動検出および予測、運動のタイプおよび特性の予測、ユーザ運動の基本線プロファイルの確立、身体能力の変化を示す追加のユーザ運動の収集、ユーザの計画運動の予測、ならびに図１１〜図１４の流れ図の動作および本明細書に記載されているその他の動作に描写されている計画運動を示す信号の出力を制御することができる。 プロセッサ５１２によって実行される動作は、オペレーティング・システム５６０、アプリケーション・ソフトウェア５７０、ミドルウェア、またはその他のコードによって要求される場合もあれば、本発明の諸ステップは、その諸ステップを実行するためのハードワイヤード・ロジックを収容する特定のハードウェア・コンポーネントによるかまたはプログラム式コンピュータ・コンポーネントとカスタム・ハードウェア・コンポーネントの任意の組み合わせによって実行される可能性もある。

本発明は、コンピュータ・システム５００上で実行されたときに本発明によるプロセスをコンピュータ・システム５００に実行させるコンピュータ可読プログラムの実行可能命令がそこに保管されているコンピュータ可読媒体または機械可読媒体上に含まれるコンピュータ・プログラムとして提供することができる。 本明細書で使用する「コンピュータ可読媒体」または「機械可読媒体」という用語は、実行のためにプロセッサ５１２またはコンピュータ・システム５００のその他のコンポーネントへの命令の提供に関与する任意の媒体を含む。 このような媒体は、不揮発性媒体および揮発性媒体などの記憶タイプの媒体ならびに伝送媒体を含むがこれらに限定されない多くの形を取ることができる。 不揮発性媒体の一般的な形としては、たとえば、フロッピー（登録商標）・ディスク、フレキシブル・ディスク、ハード・ディスク、磁気テープまたは任意のその他の磁気媒体、コンパクト・ディスクＲＯＭ（ＣＤ−ＲＯＭ）または任意のその他の光学媒体、パンチ・カードまたは穿孔パターンを有する任意のその他の物理的媒体、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的ＥＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、任意のその他のメモリ・チップまたはカートリッジ、あるいはそこからコンピュータ・システム５００が読み取ることができ、命令を保管するのに適した任意のその他の媒体を含む。 この実施形態では、不揮発性媒体の一例は、描写されている通り、コンピュータ・システム５００の内部コンポーネントである大容量記憶装置５１８であるが、外部装置でも提供されるものであることが理解されるであろう。 揮発性媒体としては、ＲＡＭ５１４などのダイナミック・メモリを含む。 伝送媒体としては、バス５２２を有するワイヤを含む、同軸ケーブル、銅線、または光ファイバを含む。 また、伝送媒体は、電波通信または赤外線データ通信中に発生するものなどの音波または光波の形を取ることもできる。

その上、本発明はコンピュータ・プログラムとしてダウンロードまたは配布することができ、その場合、コンピュータ可読プログラム命令は、ネットワーク５０２を介してネットワーク・リンク５３４（たとえば、モデムまたはネットワーク接続）ならびにバス５２２に結合された通信インターフェース５３２への搬送波またはその他の伝送媒体に実施されたデータ信号によりサーバ５４０などのリモート・コンピュータから要求側コンピュータ・システム５００に伝送することができる。 プロセッサ５１２が複数のプロセッサ・エレメントを含む一例では、プロセッサ・エレメント間で分散される処理タスクは、ローカルであるかネットワークを介するかにかかわらず、コンピュータ・プログラムを表すことができ、その処理タスクは、プロセスを実行するためのプログラム命令またはＪａｖａ（Ｊａｖａはサン・マイクロシステムズ社の登録商標である）オブジェクトにアクセスするためのプログラム命令あるいはプロセスを実行するためのその他の実行可能プログラムを含む。 通信インターフェース５３２は、たとえば、ローカル・エリア・ネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、またはインターネット・サービス・プロバイダ（ＩＳＰ）に直接接続可能なネットワーク・リンク５３４に結合する双方向データ通信を可能にする。 特に、ネットワーク・リンク５３４は、ネットワーク５０２などの１つまたは複数のネットワークへの有線または無線あるいはその両方のネットワーク通信を可能にすることができる。 さらに、描写されていないが、通信インターフェース５３２は、デバイス・ドライバなどのソフトウェア、アダプタなどのハードウェア、ならびに通信を可能にするその他のコントローラを含むことができる。 サーバとして実現された場合、コンピュータ・システム５００は、たとえば、入出力コントローラに接続された複数の周辺装置相互接続（ＰＣＩ）バス・ブリッジを介してアクセス可能な複数の通信インターフェースを含むことができる。 このように、コンピュータ・システム５００は複数の個別ポートを介して複数のクライアントへの通信を可能にし、各ポートは複数のクライアントへの複数の接続もサポートすることができる。

ネットワーク・リンク５３４およびネットワーク５０２はいずれも、デジタル・データ・ストリームを運搬する電気信号、電磁信号、または光学信号を使用する。 様々なネットワークを通る信号と、ネットワーク・リンク５３４上ならびに通信インターフェース５３２を通る信号であって、コンピュータ・システム５００との間でデジタル・データを運搬する信号は、情報を転送する搬送波の形にすることができる。

加えて、コンピュータ・システム５００は、入力および出力を容易にする複数の周辺装置を含むことができる。 これらの周辺装置は、バス５２２の複数レベルの１つに結合された、入出力（Ｉ／Ｏ）インターフェース５２６などの複数のコントローラ、アダプタ、および拡張スロットに接続されている。 たとえば、入力装置５２４は、入力を制御する入出力インターフェース５２６を介してバス５２２上で通信可能に使用可能になっているマイクロホン、ビデオ・キャプチャ装置、身体走査システム、キーボード、マウス、またはその他の入力周辺装置を含むことができる。 加えて、たとえば、出力を制御するために入出力インターフェース５２６を介してバス５２２上で通信可能に使用可能になっている出力装置５２０は、１つまたは複数の図形表示装置、オーディオ・スピーカ、および触覚検出可能出力インターフェースを含むことができるが、その他の出力インターフェースも含むことができる。 本発明の代替諸実施形態では、追加または代替入出力周辺装置を追加することができる。

当業者であれば、図５に描写されているハードウェアが様々になる可能性があることが分かるであろう。 さらに、当業者であれば、描写されている例が本発明に関するアーキテクチャ上の制限を示すためのものではないことが分かるであろう。

次に図６を参照すると、このブロック図は、運動対応計画運動方法、システム、およびプログラムを実現可能な分散ネットワーク環境の一例を描写している。 分散ネットワーク環境６００は、運動対応計画運動方法、システム、およびプログラムを実現可能な、あるタイプのネットワーク環境の例証となるものであるが、運動対応計画運動方法、システム、およびプログラムは他のネットワーク環境でも実現可能であることは留意すべき重要なことである。 加えて、分散ネットワーク環境６００内のシステム分散はシステム分散の例証となるものであるが、ネット枠環境内の他のシステム分散も実現可能であることは留意すべき重要なことである。 さらに、この例で描写されているシステムは、運動処理システムおよび運動対応計画運動システムを実現する際にアクセスされるかまたはアクセスを要求する可能性のあるタイプのシステムおよびサービスを表していることは留意すべき重要なことである。 あるネットワーク環境内のその他のタイプのシステムおよびサービスならびにシステムおよびサービスのその他のグループ化も運動処理システムおよび運動対応計画運動システムを実現可能であることが理解されるであろう。

例示されている通り、分散ネットワーク環境６００内の複数のシステムはネットワーク５０２を介して通信可能に接続することができ、そのネットワークは、通信可能に接続された様々な装置とコンピュータとの間の通信リンクを提供するために使用される媒体である。 ネットワーク５０２は、たとえば、ワイヤまたは光ファイバ・ケーブルなどの永続接続ならびに電話接続および無線伝送接続によって行われる一時接続を含むことができる。 ネットワーク５０２は、パケット交換ベースと電話ベースの両方のネットワーク、ローカル・エリア・ネットワークおよび広域ネットワーク、公衆網および私設網を表すことができる。 図６は、運動処理システムおよび運動対応計画運動システムをサポートするための分散通信ネットワークの一例を表すものであるが、その他のネットワーク構成およびネットワーク・コンポーネントも実現可能であることが理解されるであろう。

図６に描写されているネットワーク環境は、複数タイプのネットワーク・アーキテクチャを実現することができる。 一例では、このネットワーク環境は、クライアント／サーバ・アーキテクチャを使用して実現することができ、データまたはプロセスを要求するコンピューティング・システムはクライアントと呼ばれ、データ要求およびプロセスを処理するコンピューティング・システムはサーバと呼ばれる。 クライアント／サーバ・アーキテクチャ内では、クライアント・システムはクライアントとサーバの両方として実行することができ、サーバ・システムはクライアントとサーバの両方として実行できることが理解されるであろう。 加えて、その他のタイプのネットワーク・アーキテクチャおよびネットワーク・アーキテクチャの組み合わせも実現可能であることが理解されるであろう。

この例では、分散ネットワーク環境６００は、画像取り込みシステム６０４を有するクライアント・システム６０２と、画像取り込みシステム６０８を有するクライアント・システム６０６とを含む。 一例では、画像取り込みシステム６０４および６０８は、画像取り込み装置２０２および２０４などの１つまたは複数の画像取り込み装置を実現する立体画像装置であり、センサ２４０などの１つまたは複数のセンサを含むことができる。 立体鏡画像取り込みシステム６０４および６０８は、画像およびその他のデータを取り込み、処理のためにネットワーク５０２を介して画像およびその他のデータを他のシステムにストリーム化する。 加えて、立体鏡画像取り込みシステム６０４および６０８は、図３に関して記載したビデオ・プロセッサ３１６およびビデオ・プロセッサ３１８などのオブジェクト・プロパティを追跡するためのビデオ・プロセッサと、図３に関して記載した形状プロセッサ３２０などの３Ｄオブジェクト・プロパティのストリームを生成するための形状プロセッサとを含むことができる。

一例では、クライアント・システム６０２およびクライアント・システム６０６のそれぞれは、取り込み画像フレームを１つまたは複数のオブジェクト検出サービスにストリーム化することができる。 一例では、運動処理サービス・プロバイダ・サーバ６２０は、ストリーム化画像およびその他のデータを処理するための３Ｄオブジェクト検出器１０４などのオブジェクト検出器サービスと、ユーザ運動のタイプおよび特性を予測し、取り込み画像が予測タイプのユーザ運動を表す確率を予測し、ネットワーク５０２を介してアクセス可能な１つまたは複数の他のシステムへの予測運動レコードの出力を制御するための運動インタープリタ１０６などの運動インタープリタ・サービスの両方を含むサービスを提供する。

運動処理サービス・プロバイダ・サーバ６２０については、種々のエンティティが運動処理サービスを実現することができ、種々のエンティティが運動処理サービスにアクセスすることができる。 一例では、クライアント・システム６０２またはクライアント・システム６０６の一方にログインしたユーザは、動作処理サービスに加入することができる。 他の例では、画像取り込みシステムまたは運動処理を要求する特定のアプリケーションは、取り込み画像およびデータを自動的に動作処理サービスにストリーム化することができる。

他の例では、クライアント・システム６０２およびクライアント・システム６０６のそれぞれは、取り込みフレームを３Ｄオブジェクト検出器サーバ６２４にストリーム化することができる。 ３Ｄオブジェクト検出器サーバ６２４は、画像取り込みシステム６０４または画像取り込みシステム６０８などの画像取り込みシステムから取り込み画像およびその他のデータを受信し、その画像およびその他のデータを処理し、運動インタープリタ・サーバ６２２または運動処理サービス・プロバイダ・サーバ６２０などの運動インタープリタ・システムに出力するために検出運動の３Ｄオブジェクト・プロパティを生成する。 追加または代替諸実施形態では、オブジェクト検出器サービスは１つまたは複数の他のシステム内で実現することができ、１つまたは複数の他のサービスはこれらのシステム内で実行される。 特に、追加または代替諸実施形態では、オブジェクト検出器サービスは、画像およびその他のデータが取り込まれるクライアント・システム内で実現することができる。

記載されているサーバ・システムのそれぞれは１つまたは複数のシステム全域で分散させることができる。 加えて、サーバ・システムのそれぞれは、効率的な３Ｄデータ処理を実行するようにプログラミングされたＣｅｌｌ ＢＥアーキテクチャを有するプロセッサを含む、３Ｄ画像処理能力を有するシステム全域で分散させることができる。 一例では、企業またはサービス・プロバイダなどのエンティティは、オブジェクト検出および運動解釈のために個別のサーバ・システムを実現することができ、種々のタイプの３Ｄオブジェクト・プロパティを処理する各運動インタープリタ・サーバによって複数の運動インタープリタ・サーバが実現される。

運動処理サービス・プロバイダ・サーバ６２０、運動インタープリタ・サーバ６２２、および３Ｄオブジェクト検出器サーバ６２４は、生画像、３Ｄ運動プロパティ、運動定義、および項目定義について、定義データベース１１２などの定義データベースをローカルに保管することができる。 加えて、運動処理サービス・プロバイダ・サーバ６２０、運動インタープリタ・サーバ６２２、および３Ｄオブジェクト検出器サーバ６２４は、定義データベース１１２を容易にする運動データベース・サービス・サーバ６２６にアクセスすることができる。

加えて、運動データベース・サービス・サーバ６２６は運動学習コントローラ６３０を含む。 運動学習コントローラ６３０は、特定のタイプの運動のサンプルを提供するよう、ユーザにプロンプトを出し、予測タイプの運動がユーザの実際の運動と一致するかどうかを示すよう、ユーザにプロンプトを出す。 加えて、運動学習コントローラ６３０は、オブジェクト検出器サービスおよび運動インタープリタ・サービスによってアクセスされたときに、これらのサービスによる３Ｄオブジェクト・プロパティ生成の正確さと、これらのサービスによる３Ｄオブジェクト・プロパティからのユーザ運動のタイプおよび特性の予測の正確さを増すような、運動データベース１１２内の運動定義および項目定義を運動学習コントローラ６３０が学習し維持できるようにするその他の情報を収集する。

さらに、運動処理サービス・プロバイダ・サーバ６２０、運動インタープリタ・サーバ６２２、３Ｄオブジェクト検出器サーバ６２４、または運動データベース・サービス・サーバ６２６は、特定のユーザについて指定された運動定義、その特定のユーザについて予測された前の運動、そのユーザに関する予測運動計画、クライアント・プロファイル・サービス・サーバ６４０からのその他のユーザ・データを含むユーザに関する追加のコンテキスト情報にアクセスすることができる。

運動処理サービス・プロバイダ・サーバ６２０および運動インタープリタ・サーバ６２２は、運動レコード４２０などの予測運動レコードをネットワーク５０２を介して運動対応計画運動システムにストリーム化する。 この実施形態例では、あるエクササイズ環境内で実現されたコンピュータ・システムなどのクライアント・システム６０６は、クライアント・システム６０６が経時的にユーザの身体能力の変化を追跡し、計画ユーザ運動を予測できるようにする、運動対応計画運動システム６１０を含む。

加えて、この実施形態例では、クライアント・サービス・プロバイダ・サーバ６１２は、クライアント・サービス・プロバイダ・サーバ６１２が加入ユーザについて予測運動レコードを追跡し、経時的にユーザの身体能力の変化を追跡し、そのユーザの計画運動を予測できるようにするための運動対応サービスである運動対応計画運動システム６１４を含む。 特に、クライアント・サービス・プロバイダ・サーバ６１２は、１つまたは複数の加入クライアント・システムあるいは１人または複数の加入ユーザに計画運動サービスを提供するサーバを表している。

次に図７に関して説明すると、このブロック図は、それにより運動対応計画運動システムがユーザの計画運動を予測するユーザ運動を予測するための運動インタープリタ・システムの実現の一例を例示している。 計画運動システム７００は運動処理システム１００から予測運動レコード４２０などの予測運動レコードを受信する。 この例では、予測運動レコード４２０は、ユーザＩＤ、運動タイプ、運動特性、運動タイプおよび運動特性が正しく予測される確率百分率、検出されたエクササイズ環境、識別された運動タイプおよび運動特性についてマッピングされたｘｙｚ座標位置の変化、ならびにその座標位置に関するタイム・スタンプ範囲に関する項目を含む。 予測運動レコードが追加または代替タイプの項目を含むことができることが理解されるであろう。

この実施形態では、初めに、計画運動システム７００のインターフェース・コントローラ７１２は、ユーザに関する予測運動レコードおよび追加のユーザ情報を基本線運動データベース７０２に収集する。 一例では、計画運動コントローラ７１０は、それによりユーザ・プロファイル情報が入力されるインターフェースを使用可能にするか、またはユーザ・プロファイル情報を含む他のデータ記憶システムにアクセスすることができる。 一例では、ユーザ・プロファイル・レコード７１８は、現在の年齢、身長、体重、ダイエット、体脂肪、傷害状況、および病気状況を含む。 計画運動コントローラ７１０によってアクセスされるユーザ・プロファイル情報のユーザ・プロファイル・レコードは、ユーザ・プロファイル・レコード７１８に例示されている項目からの追加または代替タイプのユーザ・プロファイル情報を含むことができることが理解されるであろう。 たとえば、ユーザ・プロファイル情報は、ユーザに関するエクササイズ目標または制約事項も含むことができる。

一例では、計画運動コントローラ７１０は、予測運動レコードとユーザ・プロファイル情報を基本線運動データベース７０２内のユーザに関する運動基本線に結合することができる。 他の例では、計画運動コントローラ７１０は、計画運動レコードとユーザ・プロファイル情報を、エクササイズ環境のタイプ、運動のタイプ、またはその他の基準に応じてソートされたユーザに関する個別運動基本線に結合することができる。 たとえば、基本線運動データベース７０２は、屋外のランニング環境に関する第１の基本線項目と、屋内のウェイト・リフティング環境に関する第２の基本線項目とを含むことができる。 さらに、計画運動コントローラ７１０は、種々の期間における同じタイプの基本線に関する複数の項目を含む場合もあれば、経時的に１つの基本線項目を更新する場合もある。

特に、あるユーザに関する運動基本線は、各身体部分または各タイプの身体運動について、その運動の可動域、最高速度、最大強さ、またはその他の特性を指定することができる。 たとえば、あるユーザに関する運動基本線は、ユーザの首が回転または伸長可能な可動域を度数で指定することができる。 他の例では、あるユーザに関する運動基本線は、ユーザが持ち上げることができる重量およびユーザの筋肉に何らかの震えを検出する前に持ち上げる反復数を指定することができる。

次に、計画運動コントローラ７１０は、あるユーザに関する後続予測運動レコードを収集し、運動範囲データベース７０４にユーザに関する後続予測運動レコードを保管することができる。 後続予測運動レコードに基づいて、計画運動コントローラ７１０は、計画ユーザ運動を予測し、その計画運動を計画運動データベース７０６に保管することができる。

一例では、計画ユーザ運動は、運動基本線が確立されたときから次の予測運動レコードが受信されるまでの時間の長さの時間ＩＤを表す。 また、計画ユーザ運動は、運動基本線が確立されたときと次の予測運動レコードが特定のタイプの運動の変化を示すときとの間の時間の長さに基づいて、特定のタイプの次の予測運動が検出されるまでの計画時間長も表すことができる。 たとえば、ユーザがウェイトを持ち上げていて、ユーザの第１のリフトとユーザの第２のリフトとの間の時間が５秒であるが、第１のリフトと第３のリフトとの間の時間が１５秒である場合、計画運動コントローラ７１０は、基本線リフトから１５秒後の第３のリフトを示す計画運動を出力するか、またはリフト間の時間が増加することを示し、第１のリフトから３０秒後の次のリフトを予測する計画運動を出力することができる。

他の例では、計画ユーザ運動は、後続予測運動レコードを運動基本線と比較することにより検出された運動特性の任意の変化を表し、その場合、運動特性の変化としては、特定のタイプのユーザ運動の可動域、速度、または強さの変化を含む。 加えて、計画ユーザ運動は、運動の変化が進歩または衰退、傷害のリスク、あるいは運動特性の変化のその他の属性を表すかどうかによって示される運動特性の変化を表すことができる。

さらに他の例では、計画ユーザ運動は、それに沿ってユーザ運動が計画していた経路またはそれに沿ってユーザ運動が続行される計画経路を表す。 たとえば、計画ユーザ運動は、ユーザの強さ、年齢、および傷害の運動基本線を、ユーザの腕の強さの変化を指定する運動を予測する後続運動レコードと比較することに基づいて、ユーザの腕の予測強さを指定することができる。 加えて、一例では、計画運動コントローラ７１０は、運動基本線および後続予測運動レコードをプログラム・データベース７０７に指定された１つまたは複数のプログラムと比較することにより、計画運動を予測することができる。 特に、プログラム・データベース７０７内の各プログラムは、ユーザ運動の変化のタイプを測定するための基準を指定し、ユーザ運動の変化の予想タイプを指定し、進歩を示すユーザ運動の変化のタイプを指定し、衰退を示すユーザ運動の変化のタイプを指定することができる。 加えて、各プログラムは、基本線運動項目について収集されたユーザの年齢、身長、傷害履歴、またはその他の情報などのユーザ情報に基づく種々の指定を含む。 特定のユーザまたはユーザ・グループについて、特定のタイプのエクササイズ環境について、またはその他の基準により、プログラムを指定することができる。

一例では、あるプログラムは、連携してまたはチームとして実行するユーザ・グループについて予想運動を指定することができる。 たとえば、そのプログラムは、計画運動コントローラ７１０に関連する予想運動、ポジション、およびタイミングを含む、特定の競技のためのチームの選手の予測運動を指定することができる。

この例では、計画運動に基づいて、インターフェース・コントローラ７１２は、計画運動を１つまたは複数の装置またはシステムへの出力信号に変換する。 特に、インターフェース・コントローラ７１２は、出力変換データベース７０８において、装置ごと、計画運動タイプごと、またはその他の基準により、出力のために指定された規則に基づいて、計画運動を出力信号に変換する。

この例では、インターフェース・コントローラ７１２は、触覚フィードバック装置７２４、オーディオ・フィードバック装置７２６、および表示フィードバック装置７２８を含むがこれらに限定されない１つまたは複数の出力装置に対し、計画運動に基づいて、進歩または衰退標識７２０などの進歩または衰退を示す出力信号を生成することができる。 触覚フィードバック装置７２４はユーザまたはモニター部員に触覚検出可能出力を提供し、オーディオ・フィードバック装置７２６はユーザまたはモニター部員に音響出力を提供し、表示フィードバック装置７２８はユーザまたはモニター部員に表示可能フィードバックを提供する。

加えて、この例では、インターフェース・コントローラ７１２は、エクササイズ・マシン・モニター・システム７３０、緊急ディスパッチ・システム７３２、およびモニター部員システム７３４を含むがこれらに限定されない１つまたは複数の出力装置に対し、計画運動レコード７２２など、１人または複数のユーザに関する１つまたは複数の計画運動レコードの出力信号を生成することができる。 エクササイズ・マシン・モニター・システム７３０は、一例では、計画運動レコード７２２を適切な運動マッピング、目標マッピング、またはマシンの使用説明と比較することにより、エクササイズ・マシンを適切に使用してエクササイズ・マシンで目標を達成するようにユーザが運動を調整するための推奨を提供するか、またはその他の命令または推奨を提供することができる。 緊急ディスパッチ・システム７３２は、一例では、傷害を示す計画運動レコードの受信に基づいて、ユーザに医療支援を提供するためのディスパッチ要求を自動化する。

モニター部員システム７３４は、以下に詳述する通り、計画運動レコード７２２および計画運動レコードから解釈された情報をモニター部員に提供する。 一例では、モニター部員は、医師、理学療法士、トレーナ、またはその他の医療専門家であり、その医療専門家はモニター部員システム７３４からの患者の計画運動をモニターできるようになっている。 他の例では、モニター部員は、ユーザの進歩または衰退をモニターすることをユーザが許可した企業である。

追加または代替諸実施形態では、インターフェース・コントローラ７１２が計画運動およびその他の運動レコードを１つまたは複数の他のタイプの出力信号に変換できることが理解されるであろう。 加えて、その他の諸実施形態では、インターフェース・コントローラ７１２が追加または代替タイプの出力装置またはシステムへの計画運動の出力を制御できることが理解されるであろう。

計画運動システム７００は、１人または複数の特定のユーザまたは１つまたは複数のユーザ・グループについて、予測運動レコードの保管、計画運動の予測、ならびに計画運動レコードおよびその他の標識の出力を制御できることは留意すべき重要なことである。 たとえば、計画運動システム７００は、連携してまたはチームとして練習している複数のユーザについて予測運動レコードをモニターし、個々のユーザの計画運動およびユーザ全体の計画運動を予測することができる。 一例では、計画運動コントローラ７１０は、練習中に受信した予測運動レコードから各ユーザまたはユーザ・チームに関する基本線運動データベース７０２に基本線運動項目を収集することができる。 試合中に、計画運動コントローラ７１０は、試合中に受信した後続予測運動レコードをユーザ・チームの基本線運動と比較して、各ユーザおよびユーザ・チームが練習中の運動をどの程度綿密に追跡したかを判断する。 たとえば、計画運動コントローラ７１０は、試合中に受信した後続予測運動レコードを特定の競技に関する基本線運動と比較することにより、ユーザがチームとして試合中に特定の競技をどの程度綿密に実行するかを判断することができる。

次に図８を参照すると、このブロック図は、モニター部員システムに計画運動報告を提供する一例を例示している。 この例では、インターフェース・コントローラ７１２は、特定のユーザまたはモニター部員がモニター部員システム７３４により、特定のユーザについてトレーニング・プログラム、基本線レコード・セット、および複数レコードのレコード範囲を選択し、そのトレーニング・プログラムを考慮して特定のユーザの計画運動を示す進行状況報告を受信できるようにする。

この例では、進行状況インターフェース８００は、参照番号８０２に例示されている複数の選択可能なトレーニング・プログラム・オプションと、参照番号８０４に例示されている複数の選択可能な運動基本線項目セットと、参照番号８０６に例示されている複数の選択可能な後続運動レコードとを含む。 カーソル８１０を位置決めすることにより、特定のユーザまたはモニター部員は、オプションから選択し、次に選択可能ボタン８０８を選択して、特定のユーザに関する計画運動を生成するために計画運動コントローラ７１０を起動する。

この例では、モニター部員システム７３４に出力される計画進行状況運動報告８２０内に例示されている通り、計画運動コントローラ７１０は、「２００６年１０月３０日」の「ランニング」および「２００６年１１月２日」の「ウェイト」という後続予測運動の範囲と比較した「２００６年１０月２０日」の「ランニング」に関連する予測運動の運動基本線とともに、「膝のリハビリ」というトレーニング・プログラムに関し、「ジョン・スミス」のための計画運動を生成する。 この例では、選択した運動基本線項目と選択した範囲レコードならびに選択したトレーニング・プログラムで確立された標準との比較に基づいて、計画運動コントローラ７１０は、膝に関する可動域が５度増加し、膝の強さが４ポンド（約１．８キログラム）増加したことを指定し、その場合、度数およびポンドの測定値は選択したトレーニング・プログラムで運動を計画するための標準に基づいて検出される。 加えて、この例では、計画運動コントローラ７１０は、計画運動がランニング・ルートに５分追加することを含むことを指定する。

次に図９を参照すると、この例示的な図は、計画運動から触覚フィードバックを受信する触覚検出可能フィードバック装置の一例を例示している。 例示されている通り、ユーザはリストバンド９０４および９０８を装着することができ、そのそれぞれは、触覚検出可能出力を制御するためのコントローラと、触覚検出可能出力を作成するように制御可能なハードウェアとを含む。 触覚検出可能出力の例としては、検出可能圧力パルス、リストバンドの表面の検出可能変化、ならびにリストバンド９０４および９０８を装着しているユーザによって感知可能なその他の調整を含むことができる。 加えて、触覚検出可能出力は、頻度、強度、持続時間、ならびにリストバンド９０４および９０８を装着しているユーザによって感知可能なその他の特性について調整することができる。

この例では、リストバンド９０４は無線送信機９０２を含み、リストバンド９０８は無線送信機９０６を含む。 無線送信機９０２および無線送信機９０６のそれぞれは、触覚フィードバック・コントローラ９５０への無線ネットワーク伝送を介して通信する。 触覚フィードバック・コントローラ９５０は、計画運動システム７００から触覚信号を受信し、それぞれの無線送信機９０２および９０６に信号を送信して、リストバンド９０４およびリストバンド９０８からの触覚出力を指示する。 触覚フィードバック・コントローラ９５０および計画運動システム７００は、１つのコンピュータ・システム内で通信する場合もあれば、たとえば、ネットワーク５０２を介して通信可能に接続する場合もある。

有利なことに、ユーザによって装着されたリストバンド９０４およびリストバンド９０８への計画運動信号の出力を制御することにより、そのユーザと競争する他のユーザではなく、そのユーザのみが触覚出力信号を検出する。 加えて、有利なことに、ユーザによって装着されたリストバンド９０４およびリストバンド９０８への計画運動信号の出力を制御することにより、そのユーザは、計画運動が同じく取り込まれた現在のユーザ運動から予測され、予測運動レコードとして計画運動システム７００にリアルタイムで提供されたときに、計画運動システム７００からリアルタイム・フィードバックを受信する。

特に、計画運動システム７００は、各リストバンドの周辺で出力のパルス・パターン、位置、力、持続時間、頻度、およびタイミングを制御するために無線送信機９０２および９０６のそれぞれに触覚信号を送信する。 参照番号９１０に例示されている一例では、計画運動システム７００はバンド９１２を制御するための触覚信号を送信し、各触覚信号はｘｙ座標と力を含む。 パルスのパターンおよび位置は、ｙ位置からｘ位置へなどの幅ならびにリストバンドの周りを時計回りに回転するパルスなどの方向の点で変動する可能性がある。

さらに、無線送信機９０２および９０６のそれぞれは、重力と比較したリストバンド９０４および９０８のそれぞれの相対位置をモニターするためのセンサを含むことができる。 参照番号９１０に例示されている例を参照すると、バンド９１２を装着しているユーザが自分の腕を回転するにつれて、ユーザの腕の現在位置に基づいて描写されている軸の周りに触覚信号が再位置決めされるように、触覚出力を制御するためのｙ位置は重力に対して常に上に保持され、−ｙ位置も下に保持されると思われる。

一例では、計画運動システム７００は、計画運動を、進歩または衰退などの一般的な計画運動指標を明確に示す触覚出力に変換することができる。 他の例では、計画運動システム７００は、計画運動を、計画運動レコードとともに運動のタイプ、特性の変化、およびその他のタイプの情報を明確に示す触覚出力に変換することができる。 加えて、計画運動システム７００は、計画運動を、ユーザの運動を指示する触覚出力に変換することができる。

リストバンド９０４および９０８が２つの定位置に位置するあるタイプの触覚フィードバック装置の例であり、代替諸実施形態では、他のタイプの触覚フィードバック装置を実現することができ、１つまたは複数の触覚装置を実現することができ、触覚装置を１つまたは複数の位置で検出可能なものにすることができることは留意すべき重要なことである。 他の例では、ユーザは、グローブの指先に触覚調整可能インターフェースとともに点字（Braille）装置または３Ｄ「感触（feel）」装置として機能する触覚検出可能グローブを装着することができる。

加えて、触覚出力と同様に、計画運動システム７００は、ユーザが装着するヘッドホンなどへのオーディオ出力であって、ユーザに計画運動を音響的に通知するかまたはユーザの運動を音響的に指示するオーディオ出力を制御できることは留意すべき重要なことである。 触覚フィードバック・コントローラおよびオーディオ・フィードバック・コントローラを統合し、現行エクササイズ環境で検出されたノイズ・レベルに基づいてオーディオ装置または触覚検出可能装置のいずれに出力を送信するかを選択できるようにすることができる。

次に図１０に関して説明すると、このブロック図は、複数のユーザの計画運動を同時にモニターし予測する計画運動システムの一例を例示している。 この例では、１つまたは複数の画像取り込み装置およびセンサを含むことができる画像取り込みシステム１００４は、エクササイズ環境１０１０内のユーザ１０１２およびユーザ１０１４の運動の３Ｄ画像ストリームを取り込む。 画像取り込みシステム１００４は運動処理システム１００に取り込み３Ｄ画像ストリームを渡す。 運動処理システム１００は、取り込み３Ｄ画像ストリームから生成された３Ｄオブジェクト・プロパティ内のユーザ１０１４による運動からユーザ１０１２による運動を区別し、ユーザ１０１２およびユーザ１０１４のそれぞれに関する予測運動レコードを生成する。 この例では、計画運動システム７００はユーザ１０１２およびユーザ１０１４のそれぞれに関する予測運動レコードを受信し、計画運動システム７００はユーザ１０１２およびユーザ１０１４のそれぞれに関する計画運動を予測する。 運動処理システム１００および計画運動システム７００は、１つのコンピュータ・システム内で通信する場合もあれば、たとえば、ネットワーク５０２を介して通信可能に接続する場合もある。

この例では、計画運動システム７００は、ユーザ１０１２に関する計画運動レコード１０３２およびユーザ１０１４に関する計画運動レコード１０３４のモニター部員システム７３４への出力を制御する。 一例では、モニター部員システム７３４は、ジムまたはその他のエクササイズ環境内のユーザの計画運動をリアルタイムで追跡することができる。 モニター部員システム７３４で計画運動を追跡することにより、モニター部員システム７３４は、特定のユーザの運動が障害のリスクまたは機器の不適切な使用を示す場合にその特定のユーザを支援するよう、トレーナまたはその他の部員に警報することができる。 加えて、モニター部員システム７３４は、計画運動レコードから、検出運動および計画運動に基づいて傷害を隠匿しているかまたは傷害に気づいていないエクササイズ環境１０１０内のユーザを追跡することができる。

加えて、この例では、計画運動システム７００は、ユーザ１０１２またはユーザ１０１４が装着している出力装置への計画運動信号の出力を制御する。 たとえば、計画運動システム７００は、触覚フィードバック信号１０３０により強さの減少計画を示す信号の出力を制御する。

次に図１１を参照すると、この高レベル論理流れ図は、運動処理システムが所定の確率百分率で運動タイプおよび運動特性を予測するためのプロセスおよびプログラムを描写している。 この例では、プロセスはブロック１１００から始まり、その後、ブロック１１０２に移行する。 ブロック１１０２は、焦点領域内で立体画像装置を介して複数の画像ストリームを取り込み、センサを介してセンサ・データを取り込むことを描写している。 次に、ブロック１１０４は、画像およびセンサ・データ内のオブジェクトを追跡することを例示している。 その後、ブロック１１０６は、追跡オブジェクトについて３Ｄオブジェクト・プロパティのストリームを生成することを描写している。 その後、ブロック１１０８は、それぞれの追跡オブジェクトについて３Ｄオブジェクト・プロパティを集合させることを描写している。 特に、集合３Ｄオブジェクト・プロパティは、少なくとも１人のモニター対象ユーザに関連して追跡され、少なくとも１人のモニター対象ユーザの運動を表す１つまたは複数のオブジェクトを表している。 次に、ブロック１１１０は、ある確率百分率で３Ｄオブジェクト・プロパティの集合ストリームと一致する１つまたは複数の運動定義からの３Ｄオブジェクト・プロパティの集合ストリームから特定のユーザの少なくとも１つのタイプの運動ならびにその運動の特性を予測することを例示している。 その後、ブロック１１１２は、各予測タイプの運動ならびに特性、確率百分率、ユーザＩＤ、エクササイズ環境、追跡位置などのその他のメタデータを計画運動システムに送信することを描写し、プロセスは終了する。

次に図１２に関して説明すると、この高レベル論理流れ図は、画像ストリームおよびその他の感知データ内のオブジェクトを追跡し、運動を表す追跡オブジェクトに関する３Ｄオブジェクト・プロパティを生成することによりオブジェクト検出コントローラが運動を検出するためのプロセスおよびプログラムを描写している。 例示されている通り、プロセスはブロック１２００から始まり、その後、ブロック１２０２に移行する。 ブロック１２０２は、オブジェクト検出器システムが立体画像装置を介して複数の画像ストリームを受信し、１つまたは複数のセンサおよび画像取り込み装置を介して感知データを受信することを描写している。 次に、ブロック１２０４は、オブジェクト検出器システムがメタデータを画像フレームおよび感知データに付加することを例示し、プロセスはブロック１２０６に移行する。 一例では、メタデータは、カメラＩＤ、フレーム番号、タイム・スタンプ、および画素数などのデータを含むが、これらに限定されない。

ブロック１２０６は、オブジェクト検出器システムが各画像ストリームおよび感知データを処理し、オブジェクトを検出し追跡することを描写し、オブジェクトとしては、物理的オブジェクトならびに運動を示すユーザ運動を含むことができる。 次に、ブロック１２０８は、各画像ストリームからのメタデータとともに追跡オブジェクト・プロパティのストリームを生成することを例示している。 その後、ブロック１２１０は、３Ｄオブジェクト・プロパティを生成するための追跡オブジェクト・プロパティをメタデータと結合することを描写している。 次に、ブロック１２１２は、３Ｄ追跡オブジェクト・プロパティを運動インタープリタ・システムに送信することを例示し、プロセスは終了する。

次に図１３を参照すると、この高レベル論理流れ図は、追跡３Ｄオブジェクト・プロパティからの運動予測のためのプロセスおよびプログラムを描写している。 この例では、プロセスはブロック１３００から始まり、その後、ブロック１３０２に移行する。 ブロック１３０２は、運動インタープリタ・システムが３Ｄオブジェクト・プロパティを受信するかどうかの判断を描写している。 運動インタープリタ・システムが３Ｄオブジェクト・プロパティを受信すると、プロセスはブロック１３０４に移行する。 ブロック１３０４は、ある範囲の適用可能運動定義にアクセスすることを描写し、プロセスはブロック１３０６に移行する。

ブロック１３０６は、運動インタープリタ・システムが追跡オブジェクトに関する３Ｄオブジェクト・プロパティを適用可能運動定義と比較することを例示している。 次に、ブロック１３０８は、運動インタープリタ・システムが１つまたは複数セットの３Ｄオブジェクト・プロパティに最も一致している少なくとも１つの運動定義を検出することを描写している。 その後、ブロック１３１０は、３Ｄオブジェクト・プロパティが予測運動定義と一致する確率百分率を計算することを例示している。 次に、ブロック１３１２は、１つまたは複数の一致運動定義によって指定されたタイプの運動の少なくとも１つの特性を予測することを描写している。 その後、ブロック１３１４は、任意の予測タイプの運動、その予測運動が正しい確率百分率、その運動の特性、およびその他の感知メタデータを含む少なくとも１つの予測運動レコードを生成することを例示している。 次に、ブロック１３１６は、予測運動レコードを１つまたは複数の計画運動システムに送信することを描写し、プロセスは終了する。

次に図１４に関して説明すると、この高レベル論理流れ図は、計画運動システムがユーザの計画運動を予測するためのプロセスおよびプログラムを描写している。 例示されている通り、プロセスはブロック１４００から始まり、その後、ブロック１４０２に移行する。 ブロック１４０２は、基本線運動データベースにユーザに関するユーザ・プロファイル情報を確立することを描写している。 一例では、計画運動システムは、ユーザ・プロファイル情報を求めてユーザまたはモニター部員にプロンプトを出すことができる。 他の例では、計画運動システムは、ユーザ・プロファイル情報を取得するその他の装置およびシステムからのユーザ・プロファイル情報にアクセスすることができる。 次に、ブロック１４０４は、計画運動システムがユーザに関する予測運動レコードを受信するかどうかの判断を描写している。 計画運動システムがそのユーザに関する予測運動レコードを受信した場合、プロセスはブロック１４０６に移行する。

ブロック１４０６は、基本線運動データベースに予測運動レコードを保管することを描写している。 次に、ブロック１４０８は、計画運動システムがそのユーザに関する後続予測運動レコードを受信するかどうかの判断を描写している。 計画運動システムがそのユーザに関する後続予測運動レコードを受信すると、プロセスはブロック１４１０に移行する。

ブロック１４１０は、後続運動レコードをそのユーザに関する基本線プロファイルおよび運動レコードと比較し、変化を検出することにより、そのユーザの計画運動を予測することを例示している。 加えて、計画運動システムは、後続運動レコードならびに基本線プロファイルおよび運動レコードを、あるユーザまたはエクササイズ環境に関するモデル運動を指定するプログラムと比較することもできる。 次に、ブロック１４１２は、計画運動をある装置またはその他のシステムに関する少なくとも１つの出力信号に変換することを描写している。 その後、ブロック１４１４は、選択された装置およびシステムへの出力信号の出力を制御することを例示し、プロセスは終了する。

好ましい一実施形態に関して本発明を詳しく示し記載してきたが、当業者であれば、本発明の精神および範囲を逸脱せずに、形式および詳細について様々な変更が可能であることが理解されるであろう。

運動処理方法、システム、およびプログラムにおける情報の流れを例示するブロック図である。

３Ｄオブジェクト検出器が取り込み、取り込まれたユーザ運動を表す３Ｄオブジェクト・プロパティを生成する環境の一例を描写する例示的なブロック図である。

運動インタープリタが３Ｄオブジェクト・プロパティからユーザ運動のタイプおよび特性を解釈できるようにするために３Ｄオブジェクト・プロパティを生成するための３Ｄオブジェクト検出器システムの一実施形態を例示するブロック図である。

運動インタープリタ・システムの一実施形態を描写するブロック図である。

本発明を実現可能なコンピューティング・システムの一実施形態を例示するブロック図である。

運動対応計画運動方法、システム、およびプログラムを実現可能な分散ネットワーク環境の一例を描写するブロック図である。

それにより運動対応計画運動システムがユーザの計画運動を予測するユーザ運動を予測するための運動インタープリタ・システムの実現の一例を例示するブロック図である。

モニター部員システムに計画運動報告を提供する一例を描写するブロック図である。

計画運動から触覚フィードバックを受信する触覚検出可能フィードバック装置の一例を例示する例示的な図である。

複数のユーザの計画運動を同時にモニターし予測する計画運動システムの一例を描写する例示的な図である。

運動処理システムが所定の確率百分率で運動タイプおよび運動特性を予測するためのプロセスおよびプログラムを例示する高レベル論理流れ図である。

画像ストリームおよびその他の感知データ内のオブジェクトを追跡し、運動を表す追跡オブジェクトに関する３Ｄオブジェクト・プロパティを生成することによりオブジェクト検出コントローラが運動を検出するためのプロセスおよびプログラムを描写する高レベル論理流れ図である。

追跡３Ｄオブジェクト・プロパティからの運動予測のためのプロセスおよびプログラムを例示する高レベル論理流れ図である。

計画運動システムがユーザの計画運動を予測するためのプロセスおよびプログラムを描写する高レベル論理流れ図である。

符号の説明

１００：運動処理システム １０２：検出可能運動 １０４：３Ｄオブジェクト検出器 １０６：運動インタープリタ １０８：予測運動出力 １１０：３Ｄオブジェクト・プロパティ １１２：定義データベース