本発明は、処理システム、サーバーシステム、動作推定方法及びプログラム等に関する。

近年、携帯電話等の携帯型の電子機器(携帯端末装置)が広く用いられるようになっている。また、手首に装着するバンド型(腕時計型)の機器や、メガネ型の機器のように、使用者の身体に装着されるウェアラブル型の電子機器(ウェアラブル装置)も広く知られるようになってきた。

このように、使用者により携帯或いは装着される電子機器は、使用者の移動に伴って当該機器の利用される場所も変化することになる。そのため、特定の箇所に固定して利用される機器に比べて、使用者の不注意或いは盗難等による紛失の可能性が高い。

それに対して、特許文献1では、GPSや携帯電話の電波を利用して、電子機器の位置を推定することで、電子機器紛失時の発見を支援する手法が開示されている。また、GPSや携帯電話の電波を利用して、電子機器の位置を推定する点は同様であるが、特許文献2には、当該推定結果を用いて、主として子供や老人等の行方を確認する手法が開示されている。

特開2005−197820号公報

特開2006−153695号公報

特開2013−017131号公報

特許文献1及び特許文献2は、ともにGPSや携帯電話の電波を利用するものである。しかしGPS等は室内では充分な精度が出ないこと、消費電力が大きいこと、比較的高価であるため電子機器に搭載されない場合もあること等を考慮すると、GPS等を用いない紛失時の発見支援機能の重要性は高い。

また、モーションセンサーを用いて機器の位置を推定するデッドレコニング等の手法は広く知られたものであるが、モーションセンサーからロスト前の使用者の動作を推定する手法は、従来見られるものではない。

本発明の一態様は、携帯型又はウェアラブル型の電子機器に設けられたモーションセンサーにより検出された使用者の動作情報を取得する動作情報取得部と、前記使用者の前記動作情報を時系列データとして格納する動作情報格納部と、時系列の前記動作情報に基づいて処理を行う処理部と、を含み、前記処理部は、前記電子機器が携行状態から非携行状態へ移行したタイミングより前、又は装着状態から非装着状態へ移行したタイミングより前の前記使用者の動作を、前記動作情報に基づいて推定する動作推定処理を行う処理システムに関係する。

本発明の一態様では、携帯型又はウェアラブル型の電子機器により取得された動作情報に基づいて、電子機器が非携行状態又は非装着状態へ移行したタイミングより前の使用者の動作を推定する。電子機器が非携行状態又は非装着状態へ移行したタイミングとは、電子機器が紛失された等、電子機器自体或いは電子機器の使用者に何らかの異常が発生したタイミングであると考えられるため、当該異常発生前の使用者の行動を推定することで、異常の解決等を適切に行うことが可能になる。

また、本発明の一態様では、前記処理部は、前記動作推定処理により、ロスト状態となった前記電子機器又は前記使用者の捜索情報を生成してもよい。

これにより、動作推定処理に基づいて捜索情報を生成することが可能になる。

また、本発明の一態様では、前記処理部は、前記動作推定処理により推定した前記動作と、前記動作情報格納部に格納された時系列の前記動作情報とに基づいて、前記捜索情報を生成してもよい。

これにより、推定された動作と、時系列の動作情報を用いて捜索情報を生成することが可能になる。

また、本発明の一態様では、前記処理部は、前記動作推定処理により推定した前記動作と、時系列の前記動作情報との比較処理に基づいて、前記動作に類似する類似動作が行われたタイミングを特定し、特定された前記タイミングを含む情報を前記捜索情報として生成してもよい。

これにより、類似動作が行われたタイミングを含む情報を、捜索情報として生成することが可能になる。

また、本発明の一態様では、前記処理部は、前記類似動作が行われたタイミングを表す時間情報を表示する表示画面の表示処理を行ってもよい。

これにより、類似動作が行われたタイミングを表示画面で表示することで、捜索情報を提示すること等が可能になる。

また、本発明の一態様では、前記捜索情報を他の電子機器に通信する通信部をさらに含んでもよい。

これにより、生成した捜索情報を他の機器に送信することが可能になる。

また、本発明の一態様では、前記通信部は、前記電子機器又は前記使用者を捜索する捜索者からの捜索情報提供命令を受信し、前記処理部は、前記捜索情報提供命令に基づいて前記捜索情報を生成し、前記通信部は、生成された前記捜索情報を、前記捜索者に送信してもよい。

これにより、捜索情報提供命令をトリガーとして、捜索情報の生成、送信を行うこと等が可能になる。

また、本発明の一態様では、前記モーションセンサーは、3軸加速度計、3軸角速度計、地磁気計及び高度計の少なくとも1つを含むセンサーであってもよい。

これにより、3軸加速度計、3軸角速度計、地磁気計、高度計等をモーションセンサーとして用いることが可能になる。

また、本発明の一態様では、前記処理部は、時系列の前記動作情報に対して過去方向に順次探索を行い、前記使用者が非動作状態であると判定された期間をスキップし、前記使用者が動作状態であると判定された期間に基づいて、前記電子機器が前記携行状態から前記非携行状態へ移行した前記タイミング又は、前記装着状態から前記非装着状態へ移行した前記タイミングを推定してもよい。

これにより、時系列の動作情報を過去方向に探索することで、電子機器が非携行状態又は非装着状態に移行したタイミングを推定すること等が可能になる。

また、本発明の他の態様は、上記の処理システムを含むサーバーシステムに関係する。

本発明の他の態様では、携帯型又はウェアラブル型の電子機器により取得された動作情報に基づいて、電子機器が非携行状態又は非装着状態へ移行したタイミングより前の使用者の動作を推定する。電子機器が非携行状態又は非装着状態へ移行したタイミングとは、電子機器が紛失された等、電子機器自体或いは電子機器の使用者に何らかの異常が発生したタイミングであると考えられるため、当該異常発生前の使用者の行動を推定することで、異常の解決等を適切に行うことが可能になる。また、処理をサーバーシステムで行うことで、動作推定処理の高速化や、格納される動作情報のデータ量の向上等が期待される。

また、本発明の他の態様は、携帯型又はウェアラブル型の電子機器に設けられたモーションセンサーにより検出された使用者の動作情報を取得することと、前記使用者の前記動作情報を時系列データとして格納することと、時系列の前記動作情報に基づいて、前記電子機器が携行状態から非携行状態へ移行したタイミング又は、装着状態から非装着状態へ移行したタイミングより前の前記使用者の動作を推定することと、を含む動作推定方法に関係する。

本発明の他の態様では、携帯型又はウェアラブル型の電子機器により取得された動作情報に基づいて、電子機器が非携行状態又は非装着状態へ移行したタイミングより前の使用者の動作を推定する。電子機器が非携行状態又は非装着状態へ移行したタイミングとは、電子機器が紛失された等、電子機器自体或いは電子機器の使用者に何らかの異常が発生したタイミングであると考えられるため、当該異常発生前の使用者の行動を推定することで、異常の解決等を適切に行うことが可能になる。

また、本発明の他の態様は、携帯型又はウェアラブル型の電子機器に設けられたモーションセンサーにより検出された使用者の動作情報を取得する動作情報取得部と、前記使用者の前記動作情報を時系列データとして格納する動作情報格納部と、時系列の前記動作情報に基づいて処理を行う処理部として、コンピューターを機能させ、前記処理部は、前記電子機器が携行状態から非携行状態へ移行したタイミング又は、装着状態から非装着状態へ移行したタイミングより前の前記使用者の動作を、前記動作情報に基づいて推定する動作推定処理を行うプログラムに関係する。

本発明の他の態様では、携帯型又はウェアラブル型の電子機器により取得された動作情報に基づいて、電子機器が非携行状態又は非装着状態へ移行したタイミングより前の使用者の動作を推定する処理をコンピューターに実行させる。電子機器が非携行状態又は非装着状態へ移行したタイミングとは、電子機器が紛失された等、電子機器自体或いは電子機器の使用者に何らかの異常が発生したタイミングであると考えられるため、当該異常発生前の使用者の行動を推定することで、異常の解決等を適切に行うことが可能になる。

このように、本発明の幾つかの態様によれば、電子機器等がロスト状態になったと判定されたタイミングに対応する動作を推定することで、紛失等の問題に対して適切な対応を可能とする処理システム、サーバーシステム、動作推定方法及びプログラム等を提供することができる。

本実施形態に係る処理システムの構成例。

本実施形態に係る処理システムの詳細な構成例。

図3(A)、図3(B)は動作情報格納部に格納される動作情報のデータ構造の例。

本実施形態に係る電子機器の構成例。

図5(A)、図5(B)は本実施形態に係る処理システムを含むシステムの構成例。

本実施形態に係る電子機器の詳細な構成例。

電子機器の機能ブロック図。

本実施形態に係るサーバーシステムの構成例

サーバーシステムの機能ブロック図。

本実施形態の処理を説明するフローチャート。

図11(A)〜図11(C)はロストタイミング及びロスト直前動作の推定手法の説明図。

図12(A)〜図12(C)は動作情報及び当該動作情報から推定される使用者の状態の例。

図13(A)、図13(B)は捜索情報を表示する表示画面の例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

1.本実施形態の手法 まず本実施形態の手法について説明する。上述したように、携帯型又はウェアラブル型の電子機器(以下、本明細書では特に断りなく「電子機器」と記載した場合には、携帯型電子機器又はウェアラブル型電子機器を指すものとする)は、紛失した場合の発見支援が重要となる。或いは、子供や老人が事件、事故に巻き込まれた場合等のように、電子機器の使用者の状態或いは所在を確認したいとの要求があり、その場合にも電子機器からの情報は有用である。

特許文献1及び特許文献2からもわかるように、従来手法ではGPSや携帯電話の電波を利用して電子機器の位置を推定することで、紛失時の発見支援を行っていた。しかし、GPSや携帯電話のアンテナ、通信回路等は比較的高価なものとなるため、電子機器によってはGPS等が搭載されない場合があり得る。また、GPSは基本的に室内では充分な電波が届かず、正確な位置推定が困難である。さらにGPS等の動作は消費電力が大きいという課題もある。以上の点を考慮すると、そもそもGPS等が非搭載であるために特許文献1や特許文献2の手法を用いることができないケース、或いは、GPS等は搭載されているが、何らかの事情によりGPSによる位置推定を行えないケースは充分考えられる事態である。

そこで本出願人は、モーションセンサーを用いた手法を提案する。モーションセンサーはGPSや携帯電話のアンテナ、通信回路等に比べて安価であるため、電子機器に搭載されることが多い。また、室内であるか否か等、環境の変化によらずセンサー信号の取得が可能である。さらに、GPS等に比べて消費電力が小さいため動作頻度を高くする(狭義には常時動作する)ものとしても、バッテリーの問題が起こりにくい。なお、モーションセンサーを用いた位置推定としてはデッドレコニング(慣性航法)等の手法が知られているが、本出願人の提案する手法はこれとは異なる。本出願人は、モーションセンサーの情報を用いて使用者の動作を推定することで、紛失時の発見支援等に有用な情報を生成する手法を提案するものであり、位置自体を直接的に推定する手法を用いるわけではない。

具体的には、本実施形態に係る処理システム100は、図1に示したように、携帯型又はウェアラブル型の電子機器に設けられたモーションセンサー10により検出された使用者の動作情報を取得する動作情報取得部110と、使用者の動作情報を時系列データとして格納する動作情報格納部120と、時系列の動作情報に基づいて処理を行う処理部130を含む。そして、処理部130は、電子機器が携行状態から非携行状態へ移行したタイミングより前、又は装着状態から非装着状態へ移行したタイミングより前の使用者の動作を、動作情報に基づいて推定する動作推定処理を行う。

ここで、モーションセンサー10とは、使用者の(狭義には使用者により携行或いは装着された電子機器の)動きを検出するセンサーであり、例えば後述するように3軸加速度センサー等であってもよい。また、動作情報とはモーションセンサー10により検出された情報であり、モーションセンサー10のセンサー情報そのものであってもよいし、センサー情報に対して何らかの信号処理が行われた結果であってもよい。

また、動作情報を時系列データとして格納するとは、例えば動作情報に対して、当該動作情報が取得されたタイミングを時間情報として関連づけて記憶することに対応する。

また、電子機器(特に携帯型の電子機器)が携行状態から非携行状態へ移行したタイミング、又は、電子機器(特にウェアラブル型の電子機器)が装着状態から非装着状態へ移行したタイミング(以下、説明を簡略化するためにロストタイミングと記載する)とは、使用者が電子機器を置き忘れる等のように紛失した場合や、電子機器を携行、装着していた使用者が事件や事故に巻き込まれることで電子機器の携行、装着を継続できなくなった場合に対応する。すなわち、ロストタイミングとは、電子機器又は使用者に何らかの異常事態が発生したと推定されるタイミングである。なお、電子機器が紛失された状態、或いは使用者の行方(安否)がわからなくなった状態を、本明細書では「ロスト状態」と表記する。つまりロストタイミングとは、ロスト状態に移行したタイミングと推定されるタイミングと言える。

このようにすると、ロストタイミングよりも前の使用者の動作を、動作情報に基づいて推定することが可能になる。つまり、ロスト状態へ移行する前(狭義には直前)の使用者の動作を推定できるため、電子機器の紛失前にこのような動作を行っていた、或いは使用者が事件等に巻き込まれる前にこのような動作を行っていたという情報が取得できる。

なお、動作推定処理により推定される使用者の動作とは、「オフィスでの仕事(長時間座位状態)」、「ランニング(走行状態)」という特定の運動状態を表すものに限定されず、モーションセンサー10から取得されたセンサー値の信号の時系列変化等により表現されてもよい。この場合、推定された動作はモーションセンサーの信号波形等となるため、直感的にどのような運動状態にあったかを把握することは難しい。しかし、それ単体での直感的な把握が困難でも、信号波形等が特定されるのであるから、当該動作を比較処理に用いることは可能である。推定されたロスト状態直前の信号波形と、さらにそれ以前の信号波形との比較処理を行えば、例えば推定された動作は、毎週金曜日の20時頃に行われる動作と類似する動作であるといった特定の仕方が可能になる。その場合、電子機器の使用者やそれに近しい人間であれば、使用者が過去の特定のタイミングでどのような動作を行っていたかを知ることができるため、動作内容を具体的に知ることが可能となる。

これらの情報は、紛失した電子機器の捜索や、使用者の安否の照会等において非常に有用である。そのため、処理部130は、動作推定処理により、ロスト状態となった電子機器又は使用者の捜索情報を生成してもよい。具体的には、上述したようにロストタイミング前の動作をそのまま捜索情報としてもよく、例えばいすに座る動作を継続していたという情報や、走行歩行を繰り返す激しい運動を行っていたという情報を捜索情報としてもよい。この場合、捜索情報を受け取った捜索者は、仕事中に紛失したということだから電子機器はオフィスのデスクにある、或いは使用者は公園で遊んでいたときに何らかの事件に巻き込まれた、といったように、電子機器や使用者の状態を推定することが可能になる。ただし、動作推定処理により推定される動作の内容や、動作推定処理の結果として生成される捜索情報は、種々の変形実施が可能である。詳細については後述する。

以下、本実施形態に係る処理システム100や、サーバーシステム300等の構成例について説明した後、本実施形態の処理を図10のフローチャート等を用いて詳細に説明する。

2.システム構成例 図2に本実施形態に係る処理システム100の詳細な構成例を示す。処理システム100は、動作情報取得部110と、動作情報格納部120と、処理部130と、通信部140とを含み、処理部130は、ロストタイミング推定部131と、ロスト前動作推定部133と、類似動作タイミング推定部135と、捜索情報生成部137を含む。ただし、処理システム100は図2の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

動作情報取得部110は、上述したようにモーションセンサー10から動作情報を取得する。図2に示したように、モーションセンサー10は、3軸加速度計11(3軸加速度センサー)と、3軸角速度計13(ジャイロセンサー)と、地磁気計15と、高度計17を含んでもよい。各センサーについては広く知られたものであるため、詳細な説明は省略する。なお、モーションセンサー10についても種々の変形実施が可能であり、例えば、モーションセンサー10は、3軸加速度計11、3軸角速度計13、地磁気計15及び高度計17の少なくとも1つを含むセンサーであってもよい。或いは、図2に示した4つのセンサーの一部又は全部を省略した上で、上記4つのセンサーのいずれとも異なるセンサーを追加してもよい。

動作情報格納部120の機能は、RAM等のメモリーやHDD(ハードディスクドライブ)などにより実現できる。動作情報格納部120は、動作情報を時系列データとして格納するが、例えば図3(A)に示したように、時間情報とモーションセンサー10からの信号値(図3(A)の例では3軸加速度計で取得される3つの加速度値)を関連づけて記憶してもよい。この場合、動作情報格納部120は、図11(A)〜図11(C)に示したグラフのように、モーションセンサー10からの信号の時系列的な変化を表す情報を記憶することになる。或いは、図12(A)〜図12(C)を用いて後述するように、動作情報として使用者の状態を表す情報を用いてもよく、動作情報格納部120は図3(B)に示したように、所与の時間情報と使用者の状態の情報を関連づけて記憶してもよい。この場合、動作情報格納部120は、図12(A)〜図12(C)の上部に示したように使用者の状態の時系列的な変化を記憶することになる。また、動作情報格納部120に格納される情報は、図3(A)、図3(B)に示したデータ構造に限定されず、種々の変形実施が可能である。

処理部130のロストタイミング推定部131は、時系列的な動作情報に基づいて、電子機器又は使用者がロスト状態となったタイミングであるロストタイミングを推定する。ロスト前動作推定部133は、ロスト状態となる前の使用者の動作を推定する。類似動作タイミング推定部135は、ロスト前動作推定部で推定された動作と類似する類似動作が、ロストタイミング以前のどのようなタイミングで行われていたかを推定する。捜索情報生成部137は、処理部130に含まれる各部の処理結果に基づいて捜索情報を生成する。処理部130の各部において行われる処理の詳細については後述する。

通信部140は、生成された捜索情報を他の電子機器に通信する。ここで他の電子機器とは、例えば捜索者が使用する機器であり、PCや携帯電話等、種々の機器が考えられる。具体的には、通信部140は、電子機器又は使用者を捜索する捜索者からの捜索情報提供命令を受信し、処理部130は、捜索情報提供命令に基づいて捜索情報を生成する。その後、通信部140は、生成された捜索情報を、捜索者に送信する。ここで捜索者とは、電子機器を紛失した使用者本人でもよいし、使用者の安否情報を知りたい使用者の家族等であってもよい。なお、この場合は捜索情報の作成を開始するトリガーを捜索者からの捜索情報提供命令としているが、トリガーはこれに限定されず、他の条件、タイミングで捜索情報の作成を開始してもよい。

また、本実施形態の手法は、図4に示したように、図1や図2等の処理システム100を含む電子機器200(携帯型の電子機器又はウェアラブル型の電子機器)に適用できる。図4に示したように、電子機器200は、例えばモーションセンサー10と、動作情報取得部110と、動作情報格納部120と、処理部130と、通信部140を含む。

この場合、電子機器200、或いは電子機器200を使用していた使用者はロスト状態となっているが、図5(A)に示したように捜索者はネットワーク20を介して電子機器200に対して捜索情報提供命令を送信し、電子機器200は当該命令に対して捜索情報を生成、返信することになる。つまり、処理システム100が電子機器200に含まれる場合、電子機器200は動作を継続している必要がある。

なお、ネットワーク20は、移動通信網、インターネット網等の公衆網、或いは固定電話網等を含むことができる。移動通信網は、CDMA(Code division multiple Access,登録商標)方式やPDC(personal Digital Cellular)方式等の移動電話網や、PDC−P(PDC-Packet)方式等の移動データ通信網を含むことができる。また、ネットワーク20はWAN(Wide Area Network)やLAN(Local Area Network)などにより実現することができ、有線・無線を問わない。

図6に処理システム100を含む電子機器200の詳細な構成例を示す。電子機器200は、CPU210と、主記憶220と、副記憶230と、バッテリー240と、モーションセンサー250と、通信装置260を含む。図1等の処理部130はCPU210により実現できる。動作情報格納部120は主記憶220(及び副記憶230)により実現できる。通信部140は、通信装置260により実現できる。また、モーションセンサー250は、図1等に示したモーションセンサー10に対応する。

図7に電子機器200の機能ブロック図を示す。電子機器200は、通信機能と、捜索情報生成機能と、通常機能とに分けることができる。通常機能とは、本実施形態の手法とは直接関係ないオリジナル機能であり、電子機器200が脈波計に対応するウェアラブル装置であれば、脈波(脈拍数、心拍数)の測定処理等を行うものである。

通信機能は、捜索情報提供命令を他の電子機器から受信する機能と、当該捜索情報提供命令に対して、作成された捜索情報を返信する機能を有する。捜索情報生成機能は、ロストタイミングの推定機能と、捜索情報生成機能とを有する。

また、本実施形態の処理システム100は電子機器200に含まれるものに限定されない。例えば、図8に示したように、サーバーシステム300が処理システム100を含むものとしてもよい。この場合、動作情報取得部110は、使用者が携行又は装着する電子機器200等のモーションセンサー10から動作情報を取得する。

この場合のシステム構成例が図5(B)であり、サーバーシステム300(クラウドシステム)と、電子機器200と、他の電子機器30(例えば捜索者の使用するPC)が、ネットワーク20を介して相互に接続されることになる。電子機器200は、モーションセンサー10により計測した動作情報を随時、もしくは所与のタイミングで、サーバーシステム300に対して送信する。ここで所与のタイミングとは、ユーザーが指定した時間間隔であってもよいし、電子機器200が充電モードに入ったタイミングであってもよい。サーバーシステム300(狭義にはサーバーシステム300の動作情報格納部120)は、取得した動作情報を格納する。

そして、電子機器200或いは使用者がロスト状態となった場合には、サーバーシステム300は、捜索者が他の電子機器30等を用いて送信した捜索情報提供命令を受信し、後述する処理により捜索情報を生成し、当該捜索情報を捜索者に返信する。この場合、電子機器200はロスト状態となるまでの動作情報をサーバーシステム300に対して送信しておけば、その後動作を停止してしまったとしても捜索情報の生成が可能である。

これにより、サーバーシステム300(クラウドシステム)のスケーラブルな演算リソースや記憶装置を利用することができるため、電子機器200の限られた演算リソースや記憶装置容量に縛られることなく、より高度で柔軟なモーション解析処理によるより高精度なヒント情報(捜索情報)の生成を実現することができる。

例えば、数年や十数年といった長期間の動作情報を蓄積し、その長期間データを活用することで、電子機器200単体では不可能なより高度なヒント情報の生成をおこなうことができるようになる。具体的には、「最近はほとんど行かなくなったけれど、10年前まではよく行っていた場所がある」という場合、電子機器200単体ではそのような長期間のデータ保存ができないため、10年前の動作情報を考慮した捜索情報の生成はできない。しかしながら、クラウドシステムであれば、例えば「10年前の毎週金曜日の22時前後に、同じような動作をよくおこなっていた」という捜索情報を生成することができ、ユーザーは「昔よく通っていた飲食店に先日久々に行ったが、そこで電子機器を紛失した可能性がある」といったように、紛失場所を推測することができる。

なお、処理システム100がサーバーシステム300に含まれる場合の機能ブロック図を示したものが図9である。動作情報を外部の電子機器200から受信するため、通信機能に動作情報受信機能が追加されることになるが、その他については図7の場合と同様であるため、詳細な説明は省略する。

或いは、処理システム100の機能が、電子機器200とサーバーシステム300に重複して設けられてもよい。この場合、紛失者は、図5(A)に示したように電子機器200に対して捜索情報を要求することもできるし、図5(B)に示したようにサーバーシステム300に対して、捜索情報を要求することもできる。

つまり、電子機器200とサーバーシステム300が機能を二重化して備えていることで、例えば紛失した電子機器200のバッテリーが切れてしまったり、もしくは通信がおこなえないような場所で紛失してしまったような場合であっても、サーバーシステム300が捜索情報を生成することができるため、ユーザーによる紛失機器発見等の可能性をより高めることができる。

3.処理の詳細 次に本実施形態の処理の詳細を図10のフローチャートに沿って説明する。本実施形態の処理が開始されると、処理システム100はユーザーからの通信待ち状態に入り(S101)、ユーザーからの通信があった場合に、当該通信が捜索情報提供命令であるか否かを判別する(S102)。S102で、捜索情報提供命令を受信した場合(S102でYes)には、S103に遷移する。それ以外の通信を受信した場合(S102でNo)には、S101に戻る。なお、図10のフローチャートには不図示であるが、S102でNoとなるような捜索情報提供命令以外の通信があった場合には、当該通信についての処理を行ってもよい。例えば処理システム100が脈波計の機能を有するウェアラブル型の電子機器200に含まれ、且つユーザーからの通信が心拍数の情報要求であれば、計測した心拍数の情報をユーザーに返信する処理等を行ってもよい。

捜索情報提供命令を受信した場合には、処理システム100はロストタイミングの推定を行う(S103)。ロストタイミングとは、上述したように電子機器200又は使用者がロスト状態に移行したと考えられるタイミングである。ロストタイミングの推定手法は種々考えられるが、例えば、処理部130は、時系列の動作情報に対して過去方向に順次探索を行い、使用者が非動作状態であると判定された期間をスキップし、使用者が動作状態であると判定された期間に基づいて、電子機器が携行状態から非携行状態へ移行したタイミング又は、装着状態から非装着状態へ移行したタイミング(ロストタイミング)を推定してもよい。

通常、電子機器200等がロスト状態になったとしても、電子機器200の使用者が置き忘れに気づかない等の理由により、捜索情報提供命令がロスト状態となった直後に送信されるケースはまれである。よって、捜索情報提供命令の受信時をロストタイミングとするのではなく、格納された時系列データとしての動作情報を用いて、ロストタイミングを探索するとよい。

具体例を図11(A)〜図11(C)を用いて説明する。図11(A)〜図11(C)ではモーションセンサー10に3軸加速度計11が含まれ、動作情報として3軸の加速度値が取得される場合を想定している。ここでは使用者の体幹部(胸や腹等)に加速度計を装着し、当該センサーの第1の軸を使用者の頭頂部と足先を結ぶ方向(使用者が直立している状態における重力方向に対応)とした例である。また、他の2軸は、使用者が直立した状態での水平方向の面に含まれ、第2の軸が使用者の正面方向(前後方向)であり、第3の軸が使用者の左右方向となるものである。第1の軸での加速度値の変化を示したものが図11(C)であり、第2の軸での加速度値の変化が図11(B)、第3の軸での加速度値の変化が図11(A)である。

まず動作情報格納部120から、時系列データとして格納された動作情報を取得する。そして時系列データを、時間軸で過去方向に探索開始する。探索開始位置は捜索情報提供命令を受信した位置(時点)としてもよいし、ユーザーが指定可能にしてもよい。図11(A)〜図11(C)ではA1に示した時点を探索開始位置とする。

ロスト状態となった後、捜索情報提供命令を受信するまでは、電子機器200は基本的には、置き忘れられた場所や、使用者が事件に巻き込まれ電子機器200の携行等が不可能になった場所に放置されることになる。その間は、モーションセンサー10からの動作情報は動きのない状態となる。例えば、モーションセンサー10が3軸加速度計11であれば、重力加速度以外の加速度を検出しない状態となる。よってロストタイミングの推定においては、動作情報を過去方向に探索し、「動きのない区間」、すなわち電子機器200が静止していた区間はスキップし、ロストタイミングの探索を継続する。そして、「動きのない区間」に続いて「動きのある区間」が出現した位置、すなわち最後に電子機器200に動きがあったその時点をロストタイミングと判定し、探索を終了する。

なお、電子機器200が放置状態にあったとしても、3軸加速度計11では重力加速度が検出されたり、地磁気計15で特定の方位が検出されたり、高度計で特定の高度が検出される等、モーションセンサー10の信号値が0になるとは限らない。よって、「動きのない区間」か否かの判定は、信号の絶対値を用いることが可能なケースもあるが、信号の変化量を用いる、或いは静止状態を表す特定の基準信号波形との比較処理を行う等、モーションセンサー10に含まれるセンサーに応じて判定処理の内容を決定するとよい。

図11(A)〜図11(C)の例であれば、A1から過去方向に探索した場合、A2までは信号値に変化がないため、A1〜A2の区間が「動きのない区間」となる。そしてA2より前のタイミングでは(例えばA2〜A3の区間では)動きがあるため、A2の時点をロストタイミングとすればよい。

なお、電車等の乗り物に電子機器200を置き忘れた場合のように、電子機器200が放置状態にあったとしても、モーションセンサー10の信号に変化が生じる場合が考えられる。よって、上記の「動きのない区間」とは、電子機器200自体の動きがない区間ではなく、使用者の動作に起因する電子機器200の動きがない区間に拡張して考えてもよい。なお、乗り物に乗っている状態か否かという判定については、特許文献3に開示された手法等、いくつかの手法が知られており、本実施形態ではこれらを広く適用可能であるため、詳細な説明は省略する。

ロストタイミングが推定されたら、次にロストタイミング前の(狭義には直前の)動作(以下、「ロスト直前動作」と呼ぶ)に基づいて、捜索情報を生成する(S104)。ここでロスト直前動作は、動作推定処理により推定される。なお、捜索情報とは、紛失された電子機器200を発見するためのヒントとなりうる情報、或いは電子機器200の使用者の状態(安否)を推定する際のヒントとなり得る情報を意味する。

上述したように、動作推定処理により推定されるロスト直前動作は、特定の運動状態(動作状態)を表すものであってもよい。例えば、図12(A)〜図12(C)は使用者の状態を種々変化させた場合の3軸加速度計のセンサー情報の変化を示す図である。なお、図12(A)〜図12(C)の各軸の設定については図11(A)〜図11(C)と同様である。

図12(A)〜図12(C)からわかるように、使用者が移動している状態(歩行状態又は走行状態)では、使用者が移動していない状態に比べて、各軸の信号値が容易に識別可能な程度に大きい。また、走行状態では、歩行状態に比べて各軸の信号値が大きく、信号値を比較することで、歩行状態と走行状態の識別も容易である。

また、立位状態では、重力方向と第1の軸が対応することになるため、第1の軸に重力加速度に近い値が表れ、第2,第3の軸は重力方向に直交する方向に対応するため0Gに近い値となる。それに対して、臥位では、重力方向と第1の軸が対応しなくなる。そのため、図12(A)〜図12(C)の例では、図12(B)に示したように第2の軸に大きな加速度が現れる一方、図12(A)、図12(C)に示したように第1、第3の軸では比較的小さい加速度となる。以上のことから、立位と臥位は加速度に基づいて識別できる。

また、床面に座っている床上座位や、いす等に座っている座位においても、第1の軸が重力方向に近くなる点は同一であるため、床上座位状態と臥位状態の識別、及び座位状態と臥位状態の識別も可能となる。

さらに、座位状態では、第1の軸の加速度が1Gに比べやや小さくなる他、第2,第3の軸についても0.2〜0.5G程度の値を取る点で、床上座位状態や立位状態と異なる。また、床上座位状態と立位状態は類似度が高いものの、床上座位状態では各軸の値の変動幅が比較的小さく値が安定しているのに対して、立位状態では信号値が必ずしも狭い範囲に集中するのではなく変動幅が大きい。そのため、床上座位状態と立位状態の識別も可能である。また、寝返り状態は単発的且つ比較的大きな値の変動が検出されるため、以上の全ての状態とは明確に識別可能である。

以上の例からわかるように、加速度計を用いることで、使用者の種々の状態を識別することが可能である。よって本実施形態では、例えば上記の状態を用いてロスト直前動作を表現してもよく、その場合の動作推定処理とは、ロストタイミングに基づき設定された区間(図11(A)〜図11(C)の例であればA2〜A3の区間)のセンサー情報に基づいて、使用者の動作状態を特定する処理となる。また、S104の処理で生成される捜索情報とは、ロスト時の使用者の動作状態を知らせる情報となる。例えば、「電子機器はランニング中(走行状態)に紛失された」といった情報を捜索情報とすればよい。或いは、単純に座位状態、立位状態といった情報ではなく、これらの状態変化等を組み合わせて捜索情報を生成してもよい。例えば、所与の区間において、閾値以上の割合で座位状態にあり、ある程度の間隔で立位状態、歩行状態が検出されたという場合には、オフィスでの仕事中であるといった推定が可能である。その場合、「電子機器は仕事中に紛失された」といったよりわかりやすい捜索情報を生成可能となる。

以上では、動作推定処理において、ロスト直前動作として具体的な動作内容を推定するものとしたが、上述したように動作推定処理はこれに限定されない。具体的には、動作推定処理とは、時系列データである動作情報の中から、ロスト直前動作に対応する区間を推定し、当該区間のモーションセンサー10の信号値をそのままロスト直前動作とする処理であってもよい。図11(A)〜図11(C)の例であれば、推定されるロスト直前動作とは、A2〜A3の区間の信号波形となる。この場合、上述したような状態の推定処理が不要となるため、動作推定処理の処理負荷を軽減することが可能である。

ただしこの場合、当該信号波形をそのまま捜索情報として捜索者に提供したとしても、捜索者はロスト直前動作の具体的な動作内容を直感的に理解することが難しく、ヒントとして適切とは言えない。よって処理部130は、動作推定処理により推定した動作(ロスト直前動作)と、動作情報格納部120に格納された時系列の動作情報とに基づいて、捜索情報を生成するとよい。具体的には、処理部130は、動作推定処理により推定した動作と、時系列の動作情報との比較処理に基づいて、推定した動作に類似する類似動作が行われたタイミングを特定し、特定されたタイミングを含む情報を捜索情報として生成することが考えられる。

このようにすれば、「m月d日のh時頃に行われた動作と同じ動作を行っているときに電子機器を紛失した」、或いは「毎週p曜日のq時頃に行われる動作と同じ動作を行っているときに電子機器を紛失した」といった捜索情報を生成できる。捜索者は使用者本人や使用者と親しい人物であることが想定されるため、上記のような捜索情報が提供されれば、電子機器200や使用者の捜索において充分なヒントとなる。

この場合、ロストタイミング以降の動作情報は、電子機器200が放置されていたと推定される区間の情報であるから、ロスト直前動作との比較処理の対象となる動作情報は、必然的にロストタイミングよりも時間的に過去の情報であり、さらに言えばロスト直前動作よりも時間的に過去の情報(図11(A)〜図11(C)の例であればA3よりも過去の情報)となる。この際、ロスト直前動作が1日のうちに何回か繰り返される動作であれば、比較処理の対象となる動作情報は1日分のものでもよい。しかし、ロスト直前動作が1日に1回しか行われない動作のこともあれば、1週間に1回しか行われないこともあり、その場合には1週間や1ヶ月といった期間の動作情報を比較処理の対象とすることが望ましい。また、サーバーシステム300の説明において上述したように、年単位の動作情報を記憶しておき比較処理の対象としてもよく、この点は種々の変形実施が可能である。なお、ロスト直前動作と過去の動作情報の比較処理は、一般的な信号波形同士の比較処理となり、種々の比較手法を広く適用可能であるため、詳細な説明は省略する。

以上の処理により、ロスト直前動作と類似する動作が行われたタイミングが特定できる。例えば、y1年m1月d1日h1時、y2年m2月d2日h2時、・・・といった形式で、1又は複数の類似動作が行われたタイミングの情報を取得できるため、このような時間情報を捜索情報とすればよい。

捜索情報が取得されたら、当該捜索情報を捜索者に対して返信する(S105)。具体的には、「電子機器はランニング中(走行状態)に紛失された」といったようなテキスト情報を提示してもよい。また、捜索情報に類似動作が行われた時間情報が含まれる場合、y1年m1月d1日h1時、y2年m2月d2日h2時といった時間情報をテキスト形式や一覧表として提示してもよいが、より視認性の高い画像情報として提示してもよい。この場合、処理部130は、類似動作が行われたタイミングを表す時間情報を表示する表示画面の表示処理を行う。なお、ここでの表示処理とは、実際に表示部に表示する処理には限定されず、表示画面を生成する処理や、生成した表示画面を表示部を有する他の機器に対して送信する処理等を含むものである。

表示画面の例を図13(A)、図13(B)に示す。図13(A)等の表示画面を用いることで、ロスト直前動作に類似した動作が発生している時間帯や日の表示色を変化させることで、類似動作の発生日時をわかりやすく表示することが可能になる。

図13(A)は、スケジュール表形式の表示画面である。類似動作が発生した日と、当該日の中での発生時間帯を一覧できるため、図13(A)の例であれば、「平日の朝7時と、土日の朝8時、さらに土日は夜の19時にも類似動作をしている」というように、捜索情報を容易に解釈できる。この場合、捜索者は「時間帯的には食事時である。しかも、会社で夕食をとる平日の夜は類似動作をしていないから、自宅のダイニングで紛失した可能性が高い」ということを推測することができる。

また、図13(B)は、カレンダー形式の表示画面である。類似動作が発生した日及び曜日を一覧できるため、図13(B)の例であれば、捜索者は「毎週金曜日の22時〜24時に類似動作をしているため、行きつけの飲食店で紛失した可能性が高い」ということを推測することができる。

なお、表示画面の表示処理においては、類似動作の類似度に応じて、表示色を変化させる等の変形実施が可能である。例えば、モノクロ表示の場合、類似度が高いほど濃い黒にし、類似度が低いほど薄いグレーになるように表示色を変化させてもよい。また、カラー表示の場合、類似度が高いほど赤色に、類似度が低いほど青色になるように表示色を変化させるようにしてもよい。

なお、本実施形態の処理システム100等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、CPU等のプロセッサーがプログラムを実行することで、本実施形態の処理システム100等が実現される。具体的には、非一時的な情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをCPU等のプロセッサーが実行する。ここで、情報記憶媒体(コンピューターにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(DVD、CD等)、HDD(ハードディスクドライブ)、或いはメモリー(カード型メモリー、ROM等)などにより実現できる。そして、CPU等のプロセッサーは、情報記憶媒体に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピューターに実行させるためのプログラム)が記憶される。

また、本実施形態の処理システム100等は、プロセッサーとメモリーを含んでもよい。ここでのプロセッサーは、例えばCPU(Central Processing Unit)であってもよい。ただしプロセッサーはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサーを用いることが可能である。またプロセッサーはASICによるハードウェア回路でもよい。また、メモリーはコンピューターにより読み取り可能な命令を格納するものであり、当該命令がプロセッサーにより実行されることで、本実施形態に係る処理システム100等の各部が実現されることになる。ここでのメモリーは、SRAM、DRAMなどの半導体メモリーであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサーのハードウェア回路に対して動作を指示する命令であってもよい。

なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また処理システム100、サーバーシステム300の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

10 モーションセンサー、11 3軸加速度計、13 3軸角速度計、 15 地磁気計、17 高度計、20 ネットワーク、30 電子機器、 100 処理システム、110 動作情報取得部、120 動作情報格納部、 130 処理部、131 ロストタイミング推定部、133 ロスト前動作推定部、 135 類似動作タイミング推定部、137 捜索情報生成部、140 通信部、 200 電子機器、210 CPU、220 主記憶、230 副記憶、 240 バッテリー、250 モーションセンサー、260 通信装置、 300 サーバーシステム