本発明は、スポーツ等の動作の模倣を支援するための技術に関する。

従来、VR技術を用いて、スポーツ等の動作の模倣を支援するための装置が知られている。例えば、特許文献1には、模倣者の頭部に装着されるヘッドマウントディスプレイ(以下、「HMD」と呼ぶ。)であって、被模倣者が動作する映像を表示するHMDが記載されている。

特開2016−131782号公報

しかし、特許文献1に記載の発明には、模倣者と被模倣者の体格が異なり両者の目線の高さが異なる場合に、模倣者が自身の動作と被模倣者の動作の一致度を把握しづらいという問題があった。

本発明はこのような事情に鑑みてなされたものであり、模倣者が自身の動作と被模倣者の動作の一致度を把握しやすくすることを目的とする。

上記の課題を解決するため、本発明に係る動作模倣支援システムは、被模倣者の動作を表す、3次元の仮想空間の座標の第1時系列データを取得する第1取得部と、前記被模倣者の身体のサイズを特定する第1特定部と、模倣者の身体のサイズを特定する第2特定部と、前記被模倣者の身体のサイズと前記模倣者の身体のサイズの差異に基づいて、前記第1時系列データにより表される動作が前記模倣者の身体のサイズに応じたものとなるように、前記第1時系列データを補正する補正部と、前記補正された第1時系列データにより表される動作を前記仮想空間内において行う人物の画像のうち、前記仮想空間に設定される仮想カメラにより撮影される部分を、前記模倣者が装着する頭部装着型表示装置において現実空間の景色に重ねて表示させる表示制御部とを備え、前記仮想カメラの撮影方向は、前記頭部装着型表示装置の向きに応じて変化し、前記仮想空間における前記人物の頭部の高さは、前記仮想カメラの高さと略同一であることを特徴とする。

上記の動作模倣支援システムにおいて、前記仮想空間における前記人物の頭部の水平方向の位置は、前記仮想カメラの水平方向の位置と略同一であってもよい。

上記の動作模倣支援システムは、前記補正された第1時系列データより表される動作を模倣する前記模倣者の身体の動きを表す、前記仮想空間の座標の第2時系列データを取得する第2取得部と、前記補正された第1時系列データを構成する第1座標と、前記第2時系列データを構成し、前記第1座標に対応する第2座標の差分を算出する算出部と、 前記算出された差分が所定の閾値よりも大きい場合に、前記模倣者に対して所定の通知を行う第1通知部とをさらに備えてもよい。

上記の動作模倣支援システムにおいて、前記第1通知部は、前記模倣者に対して所定の力覚を提示してもよい。

上記の動作模倣支援システムは、前記被模倣者が、前記第1時系列データにより表される動作を行う際の呼吸又は心拍間隔の波形を取得する第3取得部と、前記呼吸又は心拍間隔の波形において接線の傾きの絶対値が所定の閾値以上となるタイミングを特定する第3特定部と、前記補正された第1時系列データにより表される動作を模倣する前記模倣者に対して、前記特定されたタイミングの到来を通知する第2通知部とをさらに備えてもよい。

また、本発明に係る動作模倣支援装置は、被模倣者の動作を表す、3次元の仮想空間の座標の第1時系列データを取得する第1取得部と、前記被模倣者の身体のサイズを特定する第1特定部と、模倣者の身体のサイズを特定する第2特定部と、前記被模倣者の身体のサイズと前記模倣者の身体のサイズの差異に基づいて、前記第1時系列データにより表される動作が前記模倣者の身体のサイズに応じたものとなるように、前記第1時系列データを補正する補正部と、前記補正された第1時系列データを、前記模倣者が装着する頭部装着型表示装置に対して送信する送信部とを備え、前記頭部装着型表示装置は、前記補正された第1時系列データにより表される動作を前記仮想空間内において行う人物の画像のうち、前記仮想空間に設定される仮想カメラにより撮影される部分を、現実空間の景色に重ねて表示させ、前記仮想カメラの撮影方向は、前記頭部装着型表示装置の向きに応じて変化し、前記仮想空間における前記人物の頭部の高さは、前記仮想カメラの高さと略同一であることを特徴とする。

本発明によれば、模倣者が自身の動作と被模倣者の動作の一致度を把握しやすくなる。

動作模倣支援システム1の構成の一例を示す概略図

動作模倣支援システム1の機能構成の一例を示すブロック図

モデル属性データの一例を示す図

3次元の仮想空間の一例を示す図

モデル動作データの一例を示す図

呼吸波形データの一例を示す図

ユーザ属性データの一例を示す図

ユーザ動作データの一例を示す図

3次元の仮想空間の一例を示す図

動作模倣支援システム1の処理の一例を示すシーケンスチャート

動作ズレ判定処理の一例を示すフローチャート

1.実施形態 1−1.動作模倣支援システム1の構成 本発明の一実施形態に係る動作模倣支援システム1について説明する。動作模倣支援システム1は、VR技術を用いて、被模倣者によるスポーツ等の動作を、模倣者が模倣することを支援するためのシステムである。言い換えると、模倣者の当該動作の上達を支援するためのシステムである。

図1は、動作模倣支援システム1の構成の一例を示す概略図である。図2は、動作模倣支援システム1の機能構成の一例を示すブロック図である。これらの図に示す動作模倣支援システム1は、模倣者が装着するHMD2及び複数のウェアラブル端末3と、HMD2の動作を支援するサーバ4を備える。HMD2とサーバ4は、無線LANやインターネット等の通信回線5を介して通信可能に接続される。

1−2.サーバ4の構成 サーバ4は、CPU等のプロセッサと、HDD等の記憶装置と、HMD2と通信するためのネットワーク通信部を備える。サーバ4の記憶装置は、図2に示す各データベースを記憶する。

モデル属性DB41は、被模倣者の属性データを格納するデータベースである。図3は、モデル属性DB41に格納されるモデル属性データの一例を示す図である。同図に示すモデル属性データは、被模倣者の識別情報であるモデルIDと、被模倣者の名称であるモデル名と、被模倣者の身長及び体重と、被模倣者の標準関節位置座標と、被模倣者のモデル動作データの識別情報である動作IDにより構成される。ここで、被模倣者の標準関節位置座標とは、3次元の仮想空間の座標であって、標準姿勢(例えば、直立不動の姿勢。以下同じ。)にある被模倣者の各関節(例えば、首、肩、肘、手首、腰、股関節、膝、足首。以下同じ。)の位置を示す座標である。図4は、3次元の仮想空間の一例を示す図である。同図に示す3次元の仮想空間は、被模倣者Pの左右方向をx軸とし、前後方向をy軸とし、高さ方向をz軸とし、被模倣者Pの頭部を原点oとする仮想空間である。このような仮想空間の座標である標準関節位置座標は、例えば、被模倣者がHMD2とウェアラブル端末3を装着して測定する。

モデル動作DB42は、被模倣者のモデル動作データを格納するデータベースである。図5は、モデル動作DB42に格納されるモデル動作データの一例を示す図である。同図に示すモデル動作データは、所定の動作を行う被模倣者の各関節の位置座標の時系列データ(以下、「関節座標時系列データ」という。)と、所定の動作を行う被模倣者の呼吸波形データと、所定の動作時において呼吸量が変化するタイミング(言い換えると、集中すべきタイミング)を示す呼吸フラグデータと、所定の動作時において模倣者に対してアドバイスを通知すべきタイミングと通知すべきアドバイスの識別情報とを示すアドバイスデータにより構成される。ここで、被模倣者の関節座標時系列データとは、3次元の仮想空間の座標の時系列データであって、所定の動作を行う被模倣者の各関節の動きを示すデータである。3次元の仮想空間の一例は、図4に示す通りである。この関節座標時系列データは、例えば、被模倣者がHMD2とウェアラブル端末3を装着して、所定の動作を行うことで測定される。次に、被模倣者の呼吸波形データは、このデータも、例えば、被模倣者がHMD2とウェアラブル端末3を装着して、所定の動作を行うことで測定される。そして、モデル動作DB42に格納される。次に、呼吸フラグデータは、呼吸波形データが示す波形において接線の傾きの絶対値が所定の閾値以上となるタイミングを示すデータである。言い換えると、同波形について2階微分した値が所定の閾値以上となるタイミングを示すデータである。図6は、呼吸波形データの一例を示す図である。同図に示す波形では、時間「t1」が、集中すべきタイミングとして特定される。特定されたタイミングは、変数「1」と対応付けられ、それ以外のタイミングは変数「0」と対応付けられる。この呼吸フラグデータは、呼吸波形データに基づいてサーバ4において生成される。最後に、アドバイスデータは、被模倣者により生成される。アドバイスの内容は、動作時の注意事項である。

ユーザ属性DB43は、模倣者の属性データを格納するデータベースである。図7は、このユーザ属性DB43に格納されるユーザ属性データの一例を示す図である。同図に示すユーザ属性データは、模倣者の識別情報であるユーザIDと、模倣者の名称であるユーザ名と、模倣者の身長及び体重と、模倣者の標準関節位置座標と、模倣者のユーザ動作データの識別情報である動作IDにより構成される。ここで、模倣者の標準関節位置座標とは、3次元の仮想空間の座標であって、標準姿勢にある模倣者の各関節の位置を示す座標である。3次元の仮想空間の一例は、図4に示す通りである。模倣者の標準関節位置座標は、例えば、模倣者がHMD2とウェアラブル端末3を装着して測定する。

ユーザ動作DB44は、模倣者の動作データを格納するデータベースである。図8は、このユーザ動作DB44に格納されるユーザ動作データの一例を示す図である。同図に示すユーザ動作データは、被模倣者の所定の動作を模倣する模倣者の関節座標時系列データと、被模倣者の関節座標時系列データと模倣者の関節座標時系列データの間の座標距離の時系列データ(以下、「動作ズレデータ」という。)と、被模倣者の所定の動作を模倣する模倣者の呼吸波形データにより構成される。ここで、模倣者の関節座標時系列データとは、3次元の仮想空間の座標の時系列データであって、被模倣者の所定の動作を模倣する模倣者の各関節の動きを示すデータである。3次元の仮想空間の一例は、図4に示す通りである。この関節座標時系列データは、模倣者がHMD2とウェアラブル端末3を装着して、所定の動作を模倣することで測定される。次に、動作ズレデータは、各関節について、被模倣者と模倣者の対応する関節位置座標間の距離を時系列で並べたデータである。例えば、図8に示す距離「d101」は、首についての、被模倣者と模倣者の、時間「t1」に対応する関節位置座標間の距離を示している。この動作ズレデータは、後述するように、HMD2において生成される。最後に、模倣者の呼吸波形データは、このデータも、模倣者がHMD2とウェアラブル端末3を装着して、所定の動作を模倣することで測定される。

サーバ4のプロセッサが、記憶装置に記憶されているプログラムを実行すると、図2に示す各機能が実現される。なお、このプログラムは、インターネット等のネットワークや非一時的な記録媒体を介して頒布可能なプログラムである。

モデル属性データ抽出部45は、HMD2を装着する模倣者により選択されたモデルIDを検索キーとして、モデル属性DB41から被模倣者の標準関節位置座標を抽出する。

モデル動作データ抽出部46は、HMD2を装着する模倣者により選択された動作IDを検索キーとして、モデル動作DB42からモデル動作データを抽出する。

ユーザ属性データ抽出部47は、HMD2から送信されるユーザIDを検索キーとして、ユーザ属性DB43から模倣者の標準関節位置座標を抽出する。

キャリブレーション部48は、モデル属性データ抽出部45により抽出される被模倣者の標準関節位置座標と、ユーザ属性データ抽出部47により抽出される模倣者の標準関節位置座標の比較結果に基づいて、モデル動作データ抽出部46により抽出されたモデル動作データ(具体的には、関節座標時系列データ)を、当該データにより表される動作が模倣者の身体のサイズに応じたものとなるように補正する。言い換えると、抽出されたモデル動作データを、被模倣者が模倣者と同じ体型を有すると仮定した場合に、当該被模倣者が所定の動作を行ったときに測定されるであろうデータとなるように補正する。具体的には、キャリブレーション部48は、関節座標時系列データが示す各関節の位置座標を、隣接する関節の位置座標間の距離が、被模倣者に対する模倣者の同関節の標準位置座標間の距離の比率を乗じた値となるように補正する。例えば、首と右肩の位置座標を補正する場合には、まず、被模倣者の首と右肩の標準位置座標間の距離を第1距離として算出し、模倣者の首と右肩の標準位置座標間の距離を第2距離として算出する。そして、関節座標時系列データが示す首と右肩の位置座標を、これらの位置座標間の距離が、当該距離に第1距離に対する第2距離の比率を乗じた値となるように補正する。キャリブレーション部48により補正されたモデル動作データ(以下、「補正動作データ」という。)は、HMD2に送信される。

スコア判定部49は、HMD2から送信されるユーザ動作データをユーザ動作DB44に格納する。また、ユーザ動作DB44に格納したユーザ動作データ(具体的には、動作ズレデータ)に基づいて、模倣者の動作のスコアを算出する。スコアの算出方法としては、例えば、所定の値から、動作ズレデータが示す距離の総計を減算する方法がある。この方法の場合、模倣者の動作が被模倣者の動作と乖離しているほどスコアの値が小さくなる。このように算出されたスコアは、HMD2に通知される。

1−3.HMD2の構成 HMD2は、CPU等のプロセッサと、フラッシュメモリ等のメモリと、ユーザの両眼の前方を覆うように配置される光学透過型のディスプレイと、タッチパネル等の入力装置と、モーションセンサと、呼吸音センサ(具体的には、マイクロフォン)と、スピーカと、サーバ4と通信するためのネットワーク通信部と、ウェアラブル端末3と通信するための近距離無線通信部を備える。HMD2のプロセッサが、メモリに記憶されているプログラムを実行すると、図2に示す各機能が実現される。なお、このプログラムは、インターネット等のネットワークや非一時的な記録媒体を介して頒布可能なプログラムである。

重畳映像生成部21は、サーバ4から提供される補正動作データ(具体的には、関節座標時系列データ)を取得し、模倣者により動画の再生が指示されると、取得した関節座標時系列データにより表される動作を行う人物(例えば、棒人間や、ポリゴンの人物モデル)の動画を、ディスプレイにおいて現実空間の景色に重ねて表示させる。より具体的には、取得した関節座標時系列データにより表される動作を3次元の仮想空間内で行う人物の動画のうち、当該仮想空間に設定される仮想カメラにより撮影される部分をディスプレイに表示させる。図9は、3次元の仮想空間の一例を示す図である。同図に示す3次元の仮想空間は、図4に示す仮想空間と同様に直交座標系により定義され、仮想カメラCの撮影地点を原点oとする仮想空間である。この仮想空間は、仮想カメラCの撮影地点を原点oとするため、仮想カメラCの仮想空間内の位置は、図4に示す被模倣者Pの頭部と重なる。すなわち、仮想カメラCの仮想空間内の高さと水平方向の位置は被模倣者Pの頭部と同一又は略同一となる。そのため、重畳映像生成部21により表示される映像は、被模倣者Pの頭部位置から見た映像(すなわち、被模倣者Pの本人視点の映像)となる。この仮想空間に設定される仮想カメラCの撮影方向は、モーションセンサにより検出される向きに応じて変化する。すなわち、HMD2の向きに応じて変化する。したがって、例えば、HMD2を装着する模倣者が右方向を向くと、仮想空間においてx軸の正方向を向いた仮想カメラCにより撮影された動画がディスプレイに表示され、同模倣者が左方向を向くと、仮想空間においてx軸の負方向を向いた仮想カメラCにより撮影された動画がディスプレイに表示される。

音声出力制御部22は、サーバ4から提供される補正動作データ(具体的には、呼吸フラグデータとアドバイスデータ)を取得し、重畳映像生成部21により動画の再生が開始されると、取得した呼吸フラグデータとアドバイスデータに基づいてスピーカから音声メッセージを出力させる。具体的には、取得した呼吸フラグデータに基づいて、集中タイミングが到来する直前に、当該タイミングが到来することを通知する音声メッセージをスピーカから出力させる。出力される音声メッセージは、模倣者に集中を促すメッセージとなっており、当該メッセージの出力が完了するタイミングで集中タイミングが到来するように出力される。また、音声出力制御部22は、取得したアドバイスデータに基づいて、アドバイス通知タイミングが到来する直前に、アドバイスを通知する音声メッセージをスピーカから出力させる。アドバイスを通知する音声メッセージは、当該メッセージの出力が完了するタイミングでアドバイス通知タイミングが到来するように出力される。

動作ズレ判定部23は、重畳映像生成部21により動画の再生が開始されると、各ウェアラブル端末3に対して測定開始指示を送信する。そして、各ウェアラブル端末3から順次送信される関節位置座標を時系列で動作テーブル24に記録する。すなわち、模倣者の関節座標時系列データを生成する。同時に、動作ズレ判定部23は、ウェアラブル端末3から関節位置座標を受信すると、被模倣者の関節座標時系列データにおいて、当該受信時のタイミングと、当該端末が装着されている関節とに対応付けられている位置座標を特定し、特定した位置座標と、受信した関節位置座標との距離を算出して、当該タイミングと対応付けて動作テーブル24に記録する。すなわち、動作ズレデータを生成する。例えば、首に装着されたウェアラブル端末3から、動画の再生後「t1」のタイミングで関節位置座標を受信した場合には、タイミング「t1」と関節「首」とに対応付けられている被模倣者の位置座標を特定し、特定した位置座標と、受信した関節位置座標との距離を算出して、タイミング「t1」と対応付けて動作テーブル24に記録する。さらに、動作ズレ判定部23は、算出した位置座標間の距離が所定の閾値以上である場合には、処理対象となった位置座標を送信してきたウェアラブル端末3に対して振動発生指示を送信する。その際、算出した距離と閾値との差分に比例する振動の強さ又は長さを指定するようにしてもよい。なお、振動を発生させるか否かを決定する所定の閾値は、模倣者により任意に設定されてよい。動作ズレ判定部23は、重畳映像生成部21による動画の再生が終了されると、各ウェアラブル端末3に対して測定終了指示を送信する。

呼吸波形記録部25は、重畳映像生成部21により動画の再生が開始されると、動画の再生が終了するまでの間、呼吸音センサにより順次出力される測定値を時系列で動作テーブル24に記録する。すなわち、模倣者の呼吸波形データを生成する。

スコア画像生成部26は、重畳映像生成部21による動画の再生が終了すると、動作テーブル24に格納されている関節座標時系列データと動作ズレデータと呼吸波形データを、模倣者のユーザIDと対応付けて、ユーザ動作データとしてサーバ4に送信する。このユーザ動作データに対する応答としてサーバ4からスコアを受信すると、受信したスコアを通知するスコア画面をディスプレイに表示させる。

1−4.ウェアラブル端末3の構成 ウェアラブル端末3は、本体部と、本体部が取り付けられるバンド部を備える。本体部は、CPU等のプロセッサと、フラッシュメモリ等のメモリと、モーションセンサと、振動装置と、HMD2と通信するための近距離無線通信部を備える。バンド部は、模倣者の関節に巻きつけられて、ウェアラブル端末3を当該関節に固定する。

このウェアラブル端末3は、HMD2から測定開始指示を受信すると、測定終了指示を受信するまでの間、モーションセンサにより測定された位置座標をHMD2に対して定期的に送信する。その際、端末IDも送信し、HMD2はこの端末IDに基づいて、どの関節に装着されたウェアラブル端末3から送信された位置座標かを判別する。送信される位置座標のセンサ座標系から図9に示す座標系への変換は、ウェアラブル端末3で行われてもよいし、HMD2で行われてもよい。また、ウェアラブル端末3は、HMD2から振動発生指示を受信すると、振動装置を所定の期間、振動させることで、模倣者に対して力覚を提示する。

1−5.動作模倣支援システム1の動作 図10は、動作模倣支援システム1により実行される処理の一例を示すシーケンスチャートである。 HMD2は、入力装置を用いて模倣者によりモデルIDと動作IDが選択されると、選択されたモデルIDを、模倣者のユーザIDとともにサーバ4に送信する(S1)。

サーバ4のモデル属性データ抽出部45は、模倣者により選択されたモデルIDを検索キーとして、モデル属性DB41から被模倣者の標準関節位置座標を抽出する(S2)。サーバ4のモデル動作データ抽出部46は、模倣者により選択された動作IDを検索キーとして、モデル動作DB42からモデル動作データを抽出する(S3)。サーバ4のユーザ属性データ抽出部47は、HMD2から送信されるユーザIDを検索キーとして、ユーザ属性DB43から模倣者の標準関節位置座標を抽出する(S4)。サーバ4のキャリブレーション部48は、ステップS2で抽出された被模倣者の標準関節位置座標と、ステップS4で抽出された模倣者の標準関節位置座標の比較結果に基づいて、ステップS3で抽出されたモデル動作データ(具体的には、関節座標時系列データ)を補正する(S5)。具体的な補正方法については上述した通りである。補正後、キャリブレーション部48は、補正動作データをHMD2に対して送信する(S6)。

HMD2は、サーバ4から補正動作データを受信し、入力装置を用いて模倣者により動画の再生が指示されると、動作模倣支援処理を実行する(S7)。 具体的には、重畳映像生成部21は、取得した関節座標時系列データにより表される動作を行う人物の動画を、ディスプレイにおいて現実空間の景色に重ねて表示させる。より具体的には、取得した関節座標時系列データにより表される動作を3次元の仮想空間内で行う人物の動画のうち、当該仮想空間に設定される仮想カメラにより撮影される部分をディスプレイに表示させる。仮想カメラの撮影方向は、モーションセンサにより検出される向きに応じて変化する。

また、音声出力制御部22は、取得した呼吸フラグデータとアドバイスデータに基づいてスピーカから音声メッセージを出力させる。具体的には、取得した呼吸フラグデータに基づいて、集中タイミングが到来する直前に、当該タイミングが到来することを通知する音声メッセージをスピーカから出力させる。また、取得したアドバイスデータに基づいて、アドバイス通知タイミングが到来する直前に、アドバイスを通知する音声メッセージをスピーカから出力させる。

また、動作ズレ判定部23は、各ウェアラブル端末3に対して測定開始指示を送信する。そして、ウェアラブル端末3から関節位置座標を受信すると、リアルタイムで動作ズレ判定処理を実行する。図11は、動作ズレ判定処理の一例を示すフローチャートである。

動作ズレ判定部23は、ウェアラブル端末3から受信した関節位置座標を、当該受信時のタイミングと、当該端末が装着されている関節とに対応付けて、動作テーブル24に記録する(S71)。例えば、首に装着されたウェアラブル端末3から、動画の再生後「t1」のタイミングで関節位置座標を受信した場合には、タイミング「t1」と関節「首」とに対応付けて、受信した関節位置座標を動作テーブル24に記録する。

記録後、動作ズレ判定部23は、被模倣者の関節座標時系列データにおいて、上記受信時のタイミングと、上記端末が装着されている関節とに対応付けられている位置座標を特定し、特定した位置座標と、記録した関節位置座標との距離を算出して、当該タイミングと対応付けて動作テーブル24に記録する(S72)。例えば、首に装着されたウェアラブル端末3から、動画の再生後「t1」のタイミングで関節位置座標を受信した場合には、タイミング「t1」と関節「首」とに対応付けられている被模倣者の位置座標を特定し、特定した位置座標と、受信した関節位置座標との距離を算出して、タイミング「t1」と対応付けて動作テーブル24に記録する。

記録後、動作ズレ判定部23は、算出した位置座標間の距離が所定の閾値以上であるか否かを判定する(S73)。この判定の結果、算出した距離が所定の閾値以上でない場合には(S73のNO)、動作ズレ判定部23は本処理を終了する。一方、この判定の結果、算出した距離が所定の閾値以上である場合には(S73のYES)、動作ズレ判定部23は、ウェアラブル端末3に対して振動発生指示を送信する(S74)。この振動発生指示を受信したウェアラブル端末3は、振動装置を所定の期間、振動させる。 以上が、動作ズレ判定処理についての説明である。

また、動作模倣支援処理では、呼吸波形記録部25は、呼吸音センサにより順次出力される測定値を時系列で動作テーブル24に記録する。

動作支援処理が終了すると、HMD2のスコア画像生成部26は、動作テーブル24に格納されている関節座標時系列データと動作ズレデータと呼吸波形データを、模倣者のユーザIDと対応付けて、ユーザ動作データとしてサーバ4に送信する(図10のS8)。

サーバ4のスコア判定部49は、HMD2から送信されたユーザ動作データをユーザ動作DB44に格納する。また、ユーザ動作DB44に格納したユーザ動作データ(具体的には、動作ズレデータ)に基づいて、模倣者の動作のスコアを算出する(S9)。スコアを算出後、算出したスコアをHMD2に対して通知する(S10)。

HMD2のスコア画像生成部26は、サーバ4から受信したスコアを通知するスコア画面をディスプレイに表示させる(S11)。 以上が、動作模倣支援システム1の処理についての説明である。

以上説明した動作模倣支援システム1では、被模倣者のモデル動作データが模倣者の体型に合わせてキャリブレーションされ、かつ、被模倣者と模倣者の頭部の高さ及び目線の向きが等しくなるようにモデル動作が表示される。そのため、模倣者にとって、自身の動作と被模倣者の動作の一致度の把握が容易になる。さらに本システムでは、被模倣者の頭部位置から見たモデル動作が光学透過型のディスプレイに表示される。そのため、模倣者は、モデル動作を自身の身体に重ねて見ることで、モデル動作と自身の動作の一致度をより容易に把握することができる。また、本システムでは、動作中に集中すべきタイミングが模倣者に通知されるようになっている。そのため、模倣者は、被模倣者の精神面も模倣することができる。また、本システムでは、模倣者と被模倣者の関節位置のズレが所定の閾値以上となると、当該関節に装着されたウェアラブル端末3が振動するようになっている。そのため、模倣者は、自身の足首等の見えづらい位置であっても、被模倣者との一致度を把握することができる。

2.変形例 上記の実施形態は下記のように変形してもよい。なお、以下に記載する2以上の変形例は互いに組み合わせてもよい。

2−1.変形例1 動作模倣支援システム1は、野球やゴルフ等のスポーツの動作の模倣を支援することを主に想定しているが、演技や工芸等の技芸や、料理や工事等の作業の動作の模倣支援に使用されてもよい。

2−2.変形例2 サーバ4のキャリブレーション部48は、上記の実施形態とは異なる方法でモデル動作データを補正してもよい。例えば、被模倣者に対する模倣者の関節間の距離の比率に代えて、被模倣者に対する模倣者の身長の比率に基づいてモデル動作データを補正してもよい。その場合、モデル属性データ抽出部45は、モデル属性DB41から被模倣者の身長を抽出し、ユーザ属性データ抽出部47は、ユーザ属性DB43から模倣者の身長を抽出する。そして、キャリブレーション部48は、関節座標時系列データが示す各関節の位置座標を、隣接する関節の位置座標間の距離が、被模倣者に対する模倣者の身長の比率を乗じた値となるように補正する。

また別の例として、被模倣者に対する模倣者の身体重心の高さの比率に基づいてモデル動作データを補正してもよい。身体重心の高さは、例えば、身長に「0.56」を乗じて算出する。この場合、キャリブレーション部48は、関節座標時系列データが示す各関節の位置座標を、隣接する関節の位置座標間の距離が、被模倣者に対する模倣者の重心の高さの比率を乗じた値となるように補正する。

2−3.変形例3 サーバ4に記憶されるモデル動作データは、呼吸波形データに代えて、心拍間隔の波形データを含んでもよい。その場合、モデル動作データは、呼吸フラグデータに代えて、所定の動作時において心拍間隔が変化するタイミング(言い換えると、集中すべきタイミング)を示す心拍間隔フラグデータを含むことになる。心拍間隔フラグデータは、心拍間隔の波形データが示す波形において接線の傾きの絶対値が所定の閾値以上となるタイミングを示すデータである。言い換えると、同波形について2階微分した値が所定の閾値以上となるタイミングを示すデータである。この心拍間隔フラグデータがHMD2に提供された場合、HMD2の音声出力制御部22は、取得した心拍間隔フラグデータに基づいて、集中タイミングが到来する直前に、当該タイミングが到来することを通知する音声メッセージをスピーカから出力させる。

また別の例として、モデル動作データは、呼吸波形データに代えて、脳波波形データを含んでもよい。その場合、モデル動作データは、呼吸フラグデータに代えて、所定の動作時において脳波が急激に変化するタイミング(言い換えると、集中すべきタイミング)を示す脳波フラグデータを含むことになる。脳波フラグデータは、脳波波形データが示す波形において接線の傾きの絶対値が所定の閾値以上となるタイミングを示すデータである。言い換えると、同波形について2階微分した値が所定の閾値以上となるタイミングを示すデータである。この脳波フラグデータがHMD2に提供された場合、HMD2の音声出力制御部22は、取得した脳波フラグデータに基づいて、集中タイミングが到来する直前に、当該タイミングが到来することを通知する音声メッセージをスピーカから出力させる。

2−4.変形例4 サーバ4が実行する処理の一部又は全部をHMD2側で実行するようにしてもよい。具体的には、モデル属性データ抽出部45、モデル動作データ抽出部46、ユーザ属性データ抽出部47、キャリブレーション部48及びスコア判定部49が実行する処理の一部又は全部をHMD2側で実行するようにしてもよい。

2−5.変形例5 HMD2が備えるディスプレイは、ビデオ透過型のディスプレイであってもよい。すなわち、被模倣者のモデル動作を、HMD2のカメラにより撮影された景色の画像に重ねて表示してもよい。

2−6.変形例6 HMD2の重畳映像生成部21は、上記の被模倣者の本人視点の映像を、模倣者の指示に応じて、第三者視点の映像に切り替えてもよい。ここで、第三者視点の映像とは、被模倣者のモデル動作を離れた位置から見た映像である。第三者視点の映像を表示する際には、仮想空間に設定される仮想カメラC(図9参照)の位置が、原点oから水平方向に移動させられる。

2−7.変形例7 HMD2の動作ズレ判定部23は、模倣者と被模倣者の関節位置のズレが所定の閾値以上となった場合に、振動以外の方法で模倣者にその旨を通知するようにしてもよい。例えば、ズレが検出された関節を通知するメッセージをスピーカから出力させたり、ディスプレイに表示させたりしてよい。

2−8.変形例8 HMD2の動作ズレ判定部23は、模倣者と被模倣者の間で関節位置のズレを判定するのに加えて、足裏の重心位置のズレを判定するようにしてもよい。その場合、サーバ4からHMD2に提供されるモデル動作データには、所定の動作を行う被模倣者の足裏の重心位置の時系列データ(以下、「重心時系列データ」という。)を含める。また、模倣者の両足の靴には、足裏の重心位置を測定するために、複数の圧力センサ、振動装置及び近距離無線通信装置を備える中敷が挿入される。そして、動作ズレ判定部23は、中敷から順次送信される圧力値から足裏の重心位置を算出して、時系列で動作テーブル24に記録する。足裏の重心位置の算出方法については、例えば特開2012−011136号公報を参照のこと。同時に、動作ズレ判定部23は、足裏の重心位置を算出すると、取得した重心時系列データにおいて、当該算出時のタイミングに対応付けられている重心位置を特定し、特定した重心位置と、算出した重心位置との距離を算出して、当該タイミングと対応付けて動作テーブル24に記録する。さらに、動作ズレ判定部23は、算出した重心位置間の距離が所定の閾値以上である場合には、中敷に対して振動発生指示を送信する。振動発生指示を受信した中敷は、振動装置を所定の期間、振動させる。その結果、模倣者は、自身の足裏の重心位置が被模倣者とズレていることを知ることができる。

2−9.変形例9 HMD2の動作ズレ判定部23が実行する処理をサーバ4側で実行するようにしてもよい。その場合、ウェアラブル端末3は、サーバ4と直接データのやり取りを行ってもよいし、HMD2を介してサーバ4とデータのやり取りを行ってもよい。

2−10.変形例10 HMD2は、上記の実施形態とは異なる方法で呼吸波形データを生成してもよい。例えば、HMD2に呼吸音センサを備えさせる代わりに、模倣者の身体に圧電フィルム等の周知の呼吸センサを装着させ、呼吸波形記録部25は、この呼吸センサから順次出力される測定値を時系列で動作テーブル24に記録するようにしてもよい。

2−11.変形例11 ウェアラブル端末3は、模倣者の関節以外の部位(例えば、頭部やつま先)に装着されてもよい。その場合、サーバ4からHMD2に提供される関節座標時系列データには、ウェアラブル端末3が装着される、関節以外の部位の時系列データが含まれてよい。

2−12.変形例12 ウェアラブル端末3は、振動装置として、方向性のある外力が加わっているかのような感覚を模倣者に提示する擬似力覚提示装置を備えてもよい。この擬似力覚提示装置については、雨宮智浩他,“指でつまむと引っ張られる感覚を生み出す装置「ぶるなび3」”,NTT技術ジャーナル,2014年9月,Vol. 26,No. 9,pp. 23-26.を参照のこと。ウェアラブル端末3がこの擬似力覚提示装置を備える場合には、HMD2の動作ズレ判定部23は、関節位置を修正すべき方向に外力が加わっているような感覚を模倣者に提示するように当該装置を制御するようにしてもよい。例えば、模倣者の右手首の位置が被模倣者の右手首の位置よりも低かった場合には、上方向に外力が加わっているような感覚を模倣者に提示するように、模倣者の右手首に装着されているウェアラブル端末3を制御するようにしてもよい。

1…動作模倣支援システム、2…HMD、3…ウェアラブル端末、4…サーバ、5…通信回線、21…重畳映像生成部、22…音声出力制御部、23…動作ズレ判定部、24…動作テーブル、25…呼吸波形記録部、26…スコア画像生成部、41…モデル属性DB、42…モデル動作DB、43…ユーザ属性DB、44…ユーザ動作DB、45…モデル属性データ抽出部、46…モデル動作データ抽出部、47…ユーザ属性データ抽出部、48…キャリブレーション部、49…スコア判定部