Method and device for measuring motion performance

本発明は運動を含む動作を測定するための方法及び測定装置に関する。

人体の動作及び位置は例えばスポーツ動作を改良するため、正確な作業エゴノミックス（ergonomics）を学習するため、または身体的障害者のリハビリのために測定され解析されることができる。 例えばスポーツ動作の期間中、トレーナーは運動している人の動作（performance）を視覚的に観察して、その動作を改良または強化する方法および／またはその動作についての欠点が何であるかをその人に伝えるだけである。

トレーナーはまた種々の測定装置にたよることができ、動作は例えばビデオに記録されることができる。 測定装置は画像データを解析し、動作から種々の簡単な特性を決定でき、それによってトレーナーは自分の判断で訓練している人にさらに良好な動作になるように助言しようとする。 画像化のために手足、胴体および随意選択的なスポーツ装置にはマーカーが取付けられ、これは動作の検出を容易にする。

本発明の目的は、改良された方法と、その方法を実行する測定装置を提供することである。

この目的は運動を含めた動作を測定するための方法により達成される。 その方法は各動作に画像データを提供するように少なくとも２つの異なる方向から動作を行うそれぞれの人を画像化し、各動作を表す予め定められたパラメータ値について画像データを測定し、測定データを提供し、先に測定された動作に関して測定データに基づいて少なくとも１つの動作を提示するステップを含んでいる。

本発明はさらに運動を含む動作を測定するための測定装置に関する。 その測定装置は各動作について画像データを提供するように少なくとも２つの異なる方向から動きを行うそれぞれの人を画像化するための少なくとも２つのカメラと、各動作を表す予め定められたパラメータ値を各画像から測定し、それによって測定データを提供し、先に測定された動作に関する測定データに基づいて少なくとも１つの動作を提示するように構成された画像処理装置を具備している。

本発明の好ましい実施形態は従属請求項で開示されている。

幾つかの利点は本発明の方法およびシステムにより実現される。 パラメータ値は動作を行っている人へマーカーを取付けずに画像データから抽出されることができる。 測定結果を解析し、または動作を改良する方法について助言するトレーナーは必要ないが、運動を行っている人はそれぞれの動作の直後に自分の動作についての容易に理解可能なフィードバックを受信する。 そのフィードバックはトレーナーの主観的な意見ではなく測定結果単独に基づいて客観的である。

以下、本発明を添付図面を参照して好ましい実施形態と共により詳細に説明する。
図１は室内または室外の所望位置に置かれることのできる測定装置を示している。 その測定装置は少なくとも２つのカメラ100-106を具備している。 カメラはビデオカメラであってもよく、これらは運動を含めた動作を捕捉するように自由に位置されることができる。 例えばカメラ100-104は水平方向での動作を捕捉するように位置されることができ、少なくとも１つのカメラ、この場合ではカメラ106は垂直方向で動作を捕捉することができる。 画像化は上から斜めに行われることもできる。

図１では運動を含めた動作は例えばゴルフのストロークであるが、より一般的な用語では運動を含めた動作は幾つかの他のスポーツのショット、即ち打つ、投げる、跳ねる、ステップする、蹴る等であることができる。 殴打が測定されることのできるその他のスポーツの例として、訓練が手で相手を撃つことを含んでいるボクシング及び他のスポーツ、訓練がスティックまたはラケットでスポーツの対象物を打つことを含んでいるアイスホッケーおよびその他のスポーツ（バンディ、野球、ホッケー、テニス、卓球等）、対象物を投げることが訓練される投げ槍及び他のスポーツ（例えばハンマー投げ、砲丸投げ、ダーツ、野球、バレーボール、バスケットボール等）、ジャンプが訓練される高跳及び他のジャンプするスポーツ（例えば棒高跳び、種々の飛び込み、体操のジャンプ等）、訓練がステップする動作を含んでいるハードル及び他の陸上競技（例えば障害競走）、効率的な蹴りが訓練されるフットボール及び他のこのようなスポーツ（例えば空手、キックボクシング等）を含むことができる。

例えばゴルフのストロークが測定され解析されるとき、測定装置はゴルフのコースの所望位置に設置されることができる。 全ての必要とされる構造を有する測定装置は静止または可動であってもよく、反復的な組立て及び解体を可能にする。 したがってカメラ100-106はカメラ100-106のターゲットである動作サイト108の種々の側面上のラック（図１では示さず）に取り付けられることができる。 動作サイト108は例えば高さ２乃至３ｍで半径が１乃至２ｍの円錐形のスペースであってもよい。 したがって、動作を行っている人は動作中に正確に特定のスポットにいる必要はない。 動作サイト108は異なる形状及び大きさを有することもできる。 測定装置はカメラ100-106からの画像データを含んでいる信号が入力される画像処理装置110も具備している。

測定サイトは測定装置のための付加的な装置として、壁112と少なくとも１つの照明具114-118を具備することができる。 これらは不可欠ではないが、良好な照射と良好な品質の画像データを提供するため、照明具114-116は壁112を照明することができ、そこからの光および／または他の光学的放射は運動中の人120を拡散するように反射する。 壁112は人が測定サイトに出入りすることのできる開口122を具備することができる。 随意選択的なスポーツの対象物も行われる運動の結果として開口122を通って測定サイトを離れることができる。 壁112に加えて、測定サイトはまた屋根（図１では示さず）、照明を変更するため照明状態に影響する天蓋124、必要なときに開口122を閉めるための少なくとも１つのドア126-128も具備することができる。

画像処理装置110は画像データをカメラ100-106へ時間調節するためにクロック信号を与えることができる。 したがって異なるカメラの画像データは同期して処理されることができる。 クロック信号は発生される照射を制御し、したがって画像化に適切にするために照明具114-116に与えられることができる。

ゴルフのストロークが測定されると仮定する。 測定は例えば次の方法で行われることができる。 動作を行う人120は動作サイト108へ入る。 その人がストロークを行うとき、測定装置は運動を検出し、自動的に運動を含むその動作を測定できる。 その代わりに測定装置は動作前に自動的に測定状態に設定され、動作が行われ、測定装置は動作後に測定状態から取り出されることができる。 運動を含めた動作を測定する前に、動作を行う人とクラブについての予め定められたデータを測定装置の画像処理装置110へ入力することができる。 これらのデータは人の体つき（例えば身長および／または手足の長さ）、クラブの品質（例えば長さおよび／または剛性度）、スポーツの対象物の品質（例えばボールの構造）を含むことができる。 これらのデータもまた測定で使用されるための予め定められたパラメータであることができる。

運動を含めた動作が少なくとも２つのカメラ100-106で捕捉されることができるとき、画像処理装置110は測定データを与えるために運動を含めた動作についての予め定められたパラメータ値を決定できる。 パラメータは動作期間中に全てこれらが動作サイト108で見られるならば、動作する人、クラブ、ボールのようなスポーツの対象物の数十点で測定されることができる。 これらのパラメータは例えば打つ人及び随意選択的なクラブの種々の部分の位置、速度および／または加速度を含むことができる。 種々の部分の最大の測定された値は相互に比較されることができ、および／または所定の動作の種々の部分について測定された値は相互に比較されることができる。 パラメータは例えばボール134との衝突におけるクラブ130のヘッド132の速度、肩の最大の回転角度、腰の最大の回転角度、腕の最大の回転角度、肩の最大速度、腰の最大速度、腕の最大速度、肩と腰と腕とクラブの相互関係、速度の変化、即ち加速及び減速、ボールの初期速度と初期角度および回転等である。 速度は角速度（゜／ｓまたはｒａｄ／ｓ）或いは線形速度（ｍ／ｓ）として測定されることができる。 同様に、加速度は角加速（゜／ｓ ^２またはｒａｄ／ｓ ^２ ）或いは線形加速（ｍ／ｓ ^２ ）として測定されることができる。 パラメータはまた他のパラメータから得られるパラメータであることもできる。

画像処理装置では、個々のカメラにより提供される物体を提示するシルエットの点の３次元セットが発生される。 種々の身体部分がこの点のセットにより形成される図形に位置付けられ相互接続される。 位置付け及び相互接続は人体の既知の関節で連結されたモデルとカメラにより生成された情報との差を最少にすることにより行われることができる。

画像処理装置110は例えば以下の方法でパラメータの値を決定できる。 例えば、ゴルフボールの最初の速度／方向が取られる。 ビデオフレームでは、画像情報の一時的な変化を検査することによって動いている物体をサーチすることが可能である。 複数のフレームを検査することにより、ビデオの動いている物体において各カメラにより検出されたボールの軌道を弁別することが可能である。 較正され（カメラの位置、配向、内部特性が知られている）同期されている（同時検出）幾つかのカメラによって同じ物体が検出されるので、ボールの三次元位置は異なる時間的瞬間における打点に関連して決定されることができる。 このことから、例えばカメラのフレーム速度が知られているので、ボールの初期速度を容易に得ることが可能である。 初期角度は対応して決定されることができる。 ボールが自由に飛ぶ前に、例えばクラブのヘッドの動作を監視することにより、それに影響する要因を決定することも可能である。

画像処理装置110は予め定められたパラメータの値に対する各動作を測定し、視覚化に適することができる教師なし学習による投影方法を使用してパラメータ手段により各動作を解析する。 画像処理装置110は例えば各結果的な測定点を投影方法動作マップに位置付けて、異なる動作を相互に釣り合わせることができる。 使用される動作マップは例えばニューロコンピューティングの自己組織マップ、サモンマッピング方法に基づいて形成されたマップ、ＧＴＭ（ゼネラル・トポグラフィック・マッピング）のマップ、ＬＬＥ（局部的な線形埋設）マッピングのマップ、イソマップまたは主要なコンポーネント解析に基づくマップであってもよい。

サモンマッピングは多次元データを釣り合わせるのに適した非線形投影方法であり、データ中のパターンの検出用のツールとして使用されることができる。

自己組織マップ（ＳＯＭ）は大きな多次元データの解析及び視覚化に使用されることができる。 自己組織マップは１以上の次元のマッピングユニット、即ちニューロンにおいて、使用される計量にしたがう相互距離及び方向を含んでいる。 自己組織マップは教師による教育を必要としないが、教育の過程で種々のニューロンは類似のデータがマップ上の特定の領域にクラスタを形成する傾向があるように種々の教育データに対して敏感になる。

通常、自己組織マップはディスプレイ上に容易な視覚用提示を許容し、人間の理解に快適であるので、二次元であり長方形であるが、マップは例えば三次元またはトロイドであってもよい。 より多次元のデータは知覚が不可能では無くてもかなり困難である。

画像処理装置110は測定点を測定データにしたがって自己組織マップ上に位置付け、測定結果が示されるとき、それは自己組織マップの少なくとも１つのニューロンに関連して提示されることができる。

図２は自己組織マップを示している。 このマップはニューロンに関連する連続的な測定の測定点200-208をマップ上に示している。 各測定点200-208は１つのニューロンに対応することができ、したがって測定点200-208は１ニューロンの正確度でマップ上にマークされることができる。 図２のマップ上には２つの異なるクラスタ210と212が存在し、そのうちのクラスタ212は訓練で実現されるショットのニューロンを含んでおり、クラスタ210は訓練の初期段で実行されるショットのニューロンを含んでおり、測定点200は最初に実現されたショットを表している。

第１のショット200はしたがって所望のショットから異なって行われた。 画像処理装置110はプレーヤにショット200の実時間のフィードバックを与えることができ、そのフィードバックはストロークの良好に行われた特性と、所望のショットを実現するために進歩された特性を示す。 フィードバックは例えばスタンス、バックスイング、右側から打つプレーヤの手が右側の腿上に下ろされる動作までのストロークの開始が所望のショットの特性に対応していることを示すことができる。 ここから衝突点までと衝突後との、右肩に対するプレーヤの手の関連は所望のストロークの対応する特性からかなり逸れる。 フィードバックに基づいて、プレーヤはストロークの最初の段階に自信を持ち、偏差特性を修正することに集中し、結果として全体としての所望の状態を実現し、所望のショット212のクラスタ内に到達する。

ゴルフのストロークの訓練では、所望のショットはしばしば例えば低いアーチ、フェーードタイプのショットのようにゲームの状態に最良に適するショットと呼ばれる。 例えば自己組織マップ上で、ある体つきのゴルファーによる特定のタイプのクラブにより行われるこれらのショットは同じクラスタで現れ、これはクラスタ212により表されることができる。 そのサイトのゴルファーは行われたショットについての特性のリストをフィードバックとして受取り、このリストは例えばクラスタ210で現れる実現されたショットと所望のショットとの特性の差を明らかにする。 実現されたショットから所望のショットへの変化は成功した特性では自信を持ちその他を進歩させながら、反復的に行われる。

平坦な表面では、ユークリッドマップで相互に近い２つの動作は多くの面で類似している。 したがって所望の動作に近づく特性もまた所望の動作クラスタ212に対して動作的に近い。 対応して、所望の動作から逸れる動作の所定の特性は偏差動作クラスタ210に対して線形的に近い。 この種のフィードバックは独立した訓練が予め定められたターゲットに近づくことを可能にする。

画像処理装置110のメモリには、実現された動作と所望の動作との間の種々の偏差についての多数の逐語の通知が記憶されることができる。 各偏差はディスプレイ140上で文字数字としてまたは高声器142を通して可聴音として提示されることのできる１つの言葉による通知に関連されることができる。 対応して、動作の所望の特性に関連される逐語告知は画像処理装置110のメモリ中に記憶されることができる。 したがって動作を行う人は所望の特性を維持し、他の特性を良好に発展させるように動機付けられることができる。

第１のストローク200の偏差は常識にしたがって、例えば肩が十分に回転しないこと、回転において肩から腰の関係が測定時に正しくないことを含むことができる。 したがってフィードバックはゴルファーにこの正しくない回転について通知する。 テキストフォーマット中でフィードバックがスクリーン上に表示されることができる。 さらに動作の位置及び品質を示す動作マップがゴルファーに対して表示されることができる。 例えば自己組織マップは動作をマップ上のニューロンに釣り合わせ、したがって各動作後、運動を含めた動作を行う人は自分の動作において何が所望であり何が偏差を有しているかを実時間でマップ上で見ることができる。

動作する人のショットは実時間で１ショットずつ、例えば１ニューロンとしてショット200を、または組合されたショット200〜208の特性のような幾つかのショットのセットを１ニューロンとして提示することによって監視されることができる。 この文脈では、多くて２〜３秒の遅延は実時間として考えられる。 複数のショット後、個々のショット200-208のラインまたは複数のショットの組合された特性のラインを提示することが可能であり、これはフィードバック後のショットの発展を明示する。 理想的なショットの達成にはショット200がショット202、204、206から所望のショットのクラスタ212内のショット208まで発展することができる数百のセッションにわたる数千の反復を要する。

図３の（Ａ）は動作についてのデータが記憶されることができるデータバンクを示している。 種々の動作サイト300-302から動作データはデータネットワーク304上でデータバンク306へ送信されることができる。 データネットワーク304は局部的に生成されたデータを送信するためのローカルネットワーク304であってもよく、またはインターネットであってもよく、それにおいて世界の異なるコーナーにおける動作サイト300-302からの動作データはグローバルデータバンク306へ送信されることができる。 したがって、データバンク306は数百万の動作を記憶することができる。 データバンク306の入来するデータは教師なしの方法で構成されることのできるニューラルネットワークシステムの訓練データとして作用することができる。 したがってデータバンクの自己組織マップは測定データの量が増加するほど正確になる動作モデルを構成する。 受信されたデータから、例えば所望の動作および／または所定の面で所望の動作から逸れた動作を決定することも可能である。 動作のために、データバンク306はプロセッサ308とメモリ310を具備することができる。

全ての集められたデータは種々の動作サイト300-302の基準として戻すことのできる自己組織マップ上に位置されることができる。 したがって各動作サイト300-302の動作は他の測定された動作に対して例示的に関連されることができる。 特別に識別可能なニューロンは各人の各動作から形成されることができ、それによって動作は少なくとも自身の従来の動作と比較されることができ、或いは人の動作は対応して別の人の動作と比較されることができる。

データバンク306では異なるレベルの動作者にしたがって種々の自己組織マップを生成することが可能である。 したがって例えば同じ自己組織マップ上でＮ人の最良の動作者の最良の動作を選択することが可能であり、Ｎは２よりも大きい整数である。 Ｎは例えば１００であってもよい。 例えばゴルフでは、最良の動作者はこのようなストローク、即ちボール（スポーツの対象物）の進路が例えば高さと長さ及びストレートなターゲットラインからのスライスに関して予め定められた所望の進路を実現する特性の組み合わせを最良に行ったプレーヤを指している。 同様に例えば１０００人の平均的な動作者の自己組織マップを生成することが可能である。 優秀な動作者（例えばトップレベルのゴルファー）である人が動作サイトにいるとき、彼の動作は最良の動作のみの結果を使用して生成される自己組織マップ上に示されることができる。 対応して、平均的な能力の人が動作サイトにいるとき、彼の動作は対応するレベルの動作者のセットを使用して生成される自己組織マップ上に示されることができる。 これは人がその人自身のスケールのマップに置かれることを可能にする。 したがって、与えられるフィードバックは関係する人にも理解可能であり、彼らは改良された動作を得ようと良好に努力することができる。

画像処理装置110とデータバンク306は１つの動作サイトに位置され、種々の測定点の間に多くの接続が存在しないことも可能である。 この場合、画像処理装置110とデータバンク306は、測定し、解析し、測定されたデータから自己組織マップを生成する１つのコンピュータによって構成されることができる。 どこにデータバンク306が置かれても、中央化されたデータベースは物理的位置及び距離にかかわりなく訓練および指導を可能にする。

図３の（Ｂ）は大規模なシステムとして測定装置を示している。 スポーツクラブ322は１以上の動作サイト320を有するゴルフコースのような１以上のトラック／フィールド322を有することができる。 各動作サイト320上のカメラ100-106は運動を含む動作を撮影することを意図されている。 カメラ100-106により生成されたビデオ画像は例えば動作サイトの画像処理装置110へ送信されることができ、これはトラック、フィールドまたはコース322上のサーバとして作用することができる。 運動を含めた動作に関連され画像処理装置110により生成されるデータはディスプレイ140上に提示されることができる。

サーバとして作用する画像処理装置110はプロセッサ及びメモリを具備し、ＰＣのようなコンピュータであってもよく、ＬＡＮ（構内網）またはＷＬＡＮ（無線ＬＡＮ）にわたって少なくとも１つのスポーツクラブ324のサーバ326と通信することができる。 各画像処理装置110は運動を含む動作に関連されるデータをスポーツクラブ324の少なくとも１つのサーバ326へ送信することができる。 スポーツクラブ324のサーバ326はスポーツクラブ324外の接続にかかわりなく受信及び送信されたデータに関するデータバンク306のように作用することができ、またはスポーツクラブ外に接続がない小さいシステムの場合、スポーツクラブ324のサーバ326は図３の（Ａ）に示されているようにデータバンク306として明白に作用することができる。

しかしながらスポーツクラブ324のサーバ326はデータネットワーク304により光学的なファイヤウォール328を通してスポーツクラブ324外と通信できる。 中央化されたサーバとして作用でき、複数のスポーツクラブから集められた動作データを含むことができるデータバンク306は、データネットワーク304によって随意選択的なファイヤウォール330を通って各スポーツクラブ324のサーバ326と通信することができる。 データは各スポーツクラブ324のサーバ326からデータバンク306へ送信されることができるので、データバンク306は例えば地元地域、州、国、大陸または世界中でさえもカバーする動作データを含むことができる。

データネットワーク304によって、随意選択的なファイヤウォール336、338を通して測定装置はカメラ100-106で撮影される運動を含む所望の動作を実時間またはほぼ実時間で提供することのできる１以上のコンピュータ332、334を具備することもできる。 この提供は動作サイトのディスプレイ140を使用するときと同じ方法で実行されることができる。 各コンピュータ332、334はシステムで記録され、例えば画像処理装置110、スポーツクラブ324のサーバ326またはデータバンク306により制御されることができる。 各ユーザまたはコンピュータ332、334はデータ及びシステムを使用する予め規定された権利を有する。 したがって例えばトレーナーは運動を含む特定の動作に適するように画像処理装置110を構成でき、それは動作のより良好な評価を可能にする。 動作の提供について、各コンピュータ332、334はディスプレイ140を制御する画像処理装置110と同じコンピュータプログラムを含むことができる。 トレーナーに加えて、管理者または関係されるスポーツに興味を有する人は所望の動作を見ることができる。

データネットワーク304は例えばインターネットであってもよく、ファイヤウォールの目的は干渉するデータトラフィックを測定装置から取り除くことである。 しかしながら、説明されたどのファイヤウォールを使用することも不可欠ではない。

部分100-106、110、140、306、326、332、334を具備することができる測定装置はしたがって図１で示されているようなローカル（小型）システムでもよく、或いは図３の（Ａ）と（Ｂ）に示されているような世界規模（大型）のシステムであってもよく、或いはその中間のものであってもよい。

図４は本発明の方法のフローチャートである。 ステップ400で運動を行う人100は動作についての画像データを提供するために少なくとも２つの異なる方向から捕捉される。 ステップ402で、予め定められたパラメータ値が測定データを提供するために動作から測定される。 ステップ404で測定データに基づいた少なくとも１つの動作は従来測定された動作と関係して提示される。

本発明の方法はプロセッサ、メモリ、適切なコンピュータプログラムにより実行されることができる。 代わりに画像処理装置110とデータバンク306が別々の論理コンポーネントまたは１以上の用途特定集積回路（ＡＳＩＣ）によりハードウェア構造として少なくとも部分的に構成されることができる。

図４の方法は画像処理装置110のためにインストールされるコンピュータプログラムプロダクトとして実行されることができ、これは運動を含む動作を測定するためのコンピュータプロセスを符合化する。 コンピュータプログラムプロダクトはコンピュータプログラムの分配手段に記憶されることができる。 コンピュータプログラムの分配手段はコンピュータ（画像処理装置）の実行プログラムで読取り可能である。 分配手段は例えば画像処理装置により読取り可能な媒体、プログラム記録媒体、画像処理装置により読取り可能なメモリ、データ信号または製造業者／販売業者によりエンドユーザ（または画像処理装置）に割当てられる圧縮されたコンピュータプログラムパッケージであることができる。

本発明を添付図面の実施例を参照して前述したが、本発明はそれに限定されないことは明白であり、特許請求の範囲に記載された技術的範囲内で種々の方法で変更されることができる。

測定構造を示す図。

自己組織マップを示す図。

測定データの集収と測定装置を示す図。

方法のフローチャート。