情報処理装置、情報処理方法、及びプログラム

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

通信技術の進歩や各種デバイスの小型化に伴い、所謂情報処理装置と呼ばれる機器の種別も多様化してきており、PC(Personal Computer)等に限らず、スマートフォンやタブレット端末のように、ユーザが携行可能に構成された機器も普及してきている。また、近年では、ユーザが身体の一部に装着することで携行しながら使用可能に構成された、所謂ウェアラブル端末も提案されている。

このように、ユーザが携行可能に構成された情報処理装置の普及に伴い、当該情報処理装置を利用したサービスも検討されている。例えば、特許文献1には、ユーザが保持する端末が、所定の範囲内に存在する他の端末と通信を行うことで、同じ場を共有している他のユーザを認識可能とする技術の一例が開示されている。

国際公開第2007/105436号

一方で、特許文献1に開示された技術では、各ユーザが保持する端末が、他のユーザが保持する端末との間で通信が可能であることが前提となるため、当該通信を行うための設定や、所定のサービスへの登録等のような事前の手続きが必要となる。このような状況下では、同じ場を共有したことを認識することが可能なユーザが、当該事前の手続きが行われたユーザに制限される場合が想定され得る。そのため、事前の手続き等のような煩雑な手順を踏むことなく、より広い範囲のユーザについて、場を共有したことを認識することが可能な仕組みが求められている。

そこで、本開示では、煩雑な手順を介すことなく、場を共有したユーザを認識することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。

本開示によれば、端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識する認識部と、前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録する記録部と、前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定する判定部と、前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行する処理部と、を備える、情報処理装置が提供される。

また、本開示によれば、プロセッサが、端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識することと、前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録することと、前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定することと、前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行することと、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータに、端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識することと、前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録することと、前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定することと、前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行することと、を実行させる、プログラムが提供される。

以上説明したように本開示によれば、煩雑な手順を介すことなく、場を共有したユーザを認識することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理装置を適用したシステムの概略的なシステム構成の一例について説明するための説明図である。

同実施形態に係る情報処理装置の機能構成の一例を示したブロック図である。

リアルグラフの一例について説明するための説明図である。

同実施形態に係る情報処理装置によるリアルグラフの生成または更新に係る動作の一例について説明するための説明図である。

同実施形態に係る情報処理装置によるリアルグラフの生成または更新に係る動作の一例について説明するための説明図である。

同実施形態に係る情報処理装置によるリアルグラフの生成または更新に係る動作の一例について説明するための説明図である。

同実施形態に係る情報処理装置によるリアルグラフの生成または更新に係る動作の一例について説明するための説明図である。

同実施形態に係る情報処理装置による、リアルグラフに基づく動作の一例について説明するための説明図である。

変形例1に係る情報処理装置について説明するための説明図である。

変形例1に係る情報処理装置について説明するための説明図である。

変形例1に係る情報処理装置について説明するための説明図である。

変形例1に係る情報処理装置について説明するための説明図である。

変形例2に係る情報処理装置について説明するための説明図である。

変形例2に係る情報処理装置について説明するための説明図である。

変形例3に係る情報処理装置について説明するための説明図である。

同実施形態に係る情報処理装置のハードウェア構成の一例を示した図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。 1.システム構成 2.機能構成 3.リアルグラフの作成または更新 4.リアルグラフに基づく動作の一例 5.変形例 5.1.変形例1:機械学習を利用した判定方法 5.2.変形例2:サーバを介した情報共有の例 5.3.変形例3:リアルグラフの変形例 6.ハードウェア構成 7.まとめ

<1.システム構成> まず、図1を参照して、本開示の一実施形態に係る情報処理装置を適用したシステムの概略的なシステム構成の一例について説明する。図1は、本実施形態に係る情報処理装置を適用したシステムの概略的なシステム構成の一例について説明するための説明図である。

図1において、情報処理装置10m及び10aは、例えば、スマートフォン、タブレット端末、または、ウェアラブル端末等のように、ユーザが携行可能に構成された機器を示している。例えば、情報処理装置10mは、ユーザUmが保持する機器(即ち、携行する機器)の一例を示している。同様に、情報処理装置10aは、ユーザUaが保持する機器の一例を示している。なお、以降の説明では、情報処理装置10m及び10aのように、各ユーザが保持する情報処理装置を特に区別しない場合には、単に「情報処理装置10」と称する場合がある。

情報処理装置10は、複数の端末間が無線の伝搬経路を介して直接通信を行う無線通信の信号を検出可能に構成されている。当該無線通信としては、例えば、Bluetooth(登録商標)、BLE:Bluetooth Low Energy、Wi−Fi(登録商標):Wireless Fidelity等の規格に基づく無線通信が挙げられる。また、BLEを利用した無線通信の技術としては、例えば、iBeacon(登録商標)等が挙げられる。なお、以降の説明では、単に「無線通信」と記載した場合には、上記に説明した、複数の端末間が無線の伝搬経路を介して直接通信を行う無線通信を示すものとする。

図1において、参照符号N1mは、情報処理装置10mの無線通信の通信範囲を示している。同様に、参照符号N1aは、情報処理装置10aの無線通信の通信範囲を示している。

例えば、図1に示す例では、情報処理装置10aは、通信範囲N1a内に位置する他の端末(例えば、不特定多数の他の情報処理装置10)に対して、無線通信のための信号を送信している(例えば、ブロードキャストしている)。このような状況下において、情報処理装置10mは、通信範囲N1a内に進入すると、情報処理装置10aから送信される無線通信の信号を検出することとなる。このとき、情報処理装置10mは、検出した情報処理装置10aからの無線信号から、当該情報処理装置10aに関する情報を抽出し、抽出した当該情報に基づき情報処理装置10aを認識する。

同様に、情報処理装置10aは、通信範囲N1m内に進入した場合に、情報処理装置10mから送信される無線通信の信号を検出し、検出した当該信号から情報処理装置10mに関する情報を抽出することで、当該情報処理装置10mを認識してもよい。

そして、情報処理装置10mは、情報処理装置10aの認識結果をデータとして記録しておき、過去に記録した当該データを利用することで、自身のユーザUmと、情報処理装置10aのユーザUaとが同じ場を共有したことを認識可能とする。

そこで、以降では、情報処理装置10mが、自身のユーザUmと、情報処理装置10aのユーザUaとが同じ場を共有したことを認識可能とするための仕組みの一例について、情報処理装置10の構成の一例とあわせて、詳しく説明する。

<2.機能構成> 図2を参照して、本実施形態に係る情報処理装置10の機能構成の一例について説明する。図2は、本実施形態に係る情報処理装置10の機能構成の一例を示したブロック図である。なお、本説明では、本実施形態に係る情報処理装置10の特徴をよりわかりやすくするために、ユーザUmが保持する情報処理装置10mが、ユーザUaが保持する情報処理装置10aを認識する場合を例に、当該情報処理装置10aを外部デバイスと称して説明する。

図2に示すように、情報処理装置10は、無線信号検出部101と、デバイス認識部103と、検知部105と、データ記録部107と、解析部109と、処理実行部111と、報知部113と、入力部115と、記憶部31とを含む。また、情報処理装置10は、通信部117を含んでもよい。

通信部117は、情報処理装置10内の各構成が、外部装置(例えば、サーバ等)との間でネットワークを介した通信を確立し、当該外部装置との間で各種情報(各種データ)を送受信するための構成である。なお、以降の説明では、情報処理装置10内の各構成が、ネットワークを介して外部装置と情報の送受信を行う場合には、特に記載が無い場合においても、通信部117を介して情報の送受信を行うものとする。

無線信号検出部101は、例えば、無線通信のためのアンテナのように、当該無線通信の信号を検出可能に構成されている。例えば、無線信号検出部101は、外部デバイスから送信される無線信号を検出すると、当該無線信号の検出結果をデバイス認識部103に出力する。

デバイス認識部103は、無線信号検出部101から無線信号の検出結果を取得し、当該無線信号に含まれる情報に基づき、当該無線信号の送信元である外部デバイスを認識する。具体的な一例として、デバイス認識部103は、RF(Radio Frequency)回路やベースバンドプロセッサ等を含み、無線信号検出部101により検出された無線信号を復調する。そして、デバイス認識部103は、無線信号の復調結果から、外部デバイスに関する情報(例えば、外部デバイスの識別情報)を抽出することで当該外部デバイスを認識する。なお、このときデバイス認識部103は、無線信号が検出された複数の外部デバイスを認識してもよい。

また、デバイス認識部103は、無線信号の検出結果に基づき、当該無線信号の信号強度を示す情報を、当該無線信号の送信元である外部デバイスの認識結果を示す情報として取得してもよい。

そして、デバイス認識部103は、無線信号が検出された1以上の外部デバイスの認識結果を示す情報を、後述するデータ記録部107に出力する。また、デバイス認識部103は、外部デバイスの認識結果を示す情報を、後述する処理実行部111に出力してもよい。

検知部105は、外部デバイスが認識されたときの状況に関する情報(もしくは、当該状況を認識するための情報)を取得する。

例えば、検知部105は、GPS(Global Positioning System)等のデバイスを含み、当該デバイスにより、情報処理装置10の位置情報(ひいては、当該情報処理装置10を保持するユーザの位置情報)を取得してもよい。

また、検知部105は、ユーザの外部環境(換言すると、情報処理装置10の外部環境)の各種情報を取得してもよい。具体的な一例として、検知部105は、カメラ等のような撮像デバイスを含み、当該撮像デバイスにより撮像された情報処理装置10の外部環境の画像(即ち、ユーザの周囲の画像)を取得してもよい。また、他の一例として、検知部105は、マイクロフォン等のような集音デバイスを含み、当該集音デバイスにより集音された情報処理装置10の外部環境の音響(例えば、音声や環境音)を取得してもよい。

また、検知部105は、情報処理装置10の状態、または、情報処理装置10のユーザの状態を示す各種情報を取得してもよい。具体的な一例として、検知部105は、加速度センサや角速度センサ等のような検知デバイスを含み、当該検知デバイスにより検知された情報処理装置10の位置や向きの変化を示す情報を取得してもよい。

また、他の一例として、検知部105は、情報処理装置10のユーザの身体のうち、少なくとも一部の部位の位置や向きの変化を示す情報を取得してもよい。この場合には、例えば、検知部105は、ユーザの当該部位に装着されたウェアラブルデバイスから、当該ウェアラブルデバイスにより検出された当該部位の位置や向きの変化を示す情報を取得すればよい。

なお、上記に説明した例はあくまで一例であり、外部デバイスが認識されたときの状況に関する情報を検知部105が取得可能であれば、当該情報の種別、当該情報の取得方法、及び、当該情報を取得するための構成(デバイス)は特に限定されない。

また、検知部105が上記に説明した各種状況を示す情報を取得する契機は特に限定されない。例えば、検知部105は、所定のタイミングごとに上記各種状況を監視し、当該状況に関する情報を取得してもよい。また、他の一例として、検知部105は、所定の動作をトリガとして、上記各種状況に関する情報を取得してもよい。例えば、検知部105は、上述したデバイス認識部103が外部デバイスを認識したことをトリガとして、上記各種状況に関する情報を取得してもよい。また、他の一例として、検知部105は、上記各種状況の変化を検出した場合に、当該変化の検出をトリガとして、変化後の上記状況に関する情報を取得してもよい。

以上のようにして、検知部105は、外部デバイスが認識されたときの状況に関する情報を取得し、取得した情報をデータ記録部107に出力する。

データ記録部107は、1以上の外部デバイスの認識結果を示す情報を、デバイス認識部103から取得する。また、データ記録部107は、当該外部デバイスが認識されたときの状況に関する情報を、検知部105から取得する。データ記録部107は、外部デバイスの認識結果を示す情報と、上記状況に関する情報とを、外部デバイスが認識されたときの時間情報(例えば、日付や時刻)と関連付けて、低レベルデータとして記憶部31に記録する。なお、データ記録部107は、上記時間情報を、例えば、所定の計時部(図示を省略する)から取得すればよい。また、記憶部31は、情報処理装置10が各種処理を実行するための各種データを、一時的または恒常的に記憶するための記憶領域である。

そして、データ記録部107は、時系列に沿って記憶部31に蓄積された低レベルデータに基づき、情報処理装置10と、認識された各外部デバイスとの間の関係を示すデータを生成または更新する。なお、以降では、当該データを、「リアルグラフ」と称する場合がある。

例えば、図3は、リアルグラフの一例について説明するための説明図である。図3に示すリアルグラフd1は、情報処理装置10を示すノードd10に対して、認識された各外部デバイスを示すノードd11が、リンクd13により関連付けられている。また、各外部デバイスに対応するノードd11には、状況リストd20と、属性情報d30とが関連付けられている。

状況リストd20は、ノードd11が示す外部デバイスが認識されたときの状況を示す状況データd21が、当該外部デバイスが認識されたタイミングごとにリストとして記録されている。なお、状況データd21に含まれる情報としては、例えば、外部デバイスが認識された時刻、当該外部デバイスが認識された位置(または、場所)、当該外部デバイスが動いているか否か、当該外部デバイスが認識されたときの外部環境、等の情報等のように、低レベルデートして記録された情報が含まれていてもよい。また、状況データd21には、当該低レベルデータを解析することで取得された情報として、例えば、他のユーザの顔や声の検出結果、外部デバイスのユーザの行動、当該ユーザとの会話の内容、等の情報が含まれていてもよい。なお、状況データd21が、「履歴情報」の一例に相当し、当該履歴情報に含まれる各種状況を示す情報が「第1の情報」に相当し得る。

属性情報d30は、ノードd11が示す外部デバイス、または、当該外部デバイスのユーザに関する情報を示している。属性情報d30として記録される外部デバイスに関する情報としては、例えば、外部デバイスを人が保持しているか否かを示す情報が含まれていてもよい。また、当該外部デバイスのユーザに関する情報としては、外部デバイスの認識時に検出された当該ユーザの顔や声の候補を示すデータ、名前等のような当該ユーザのプロフィール、情報処理装置10及び当該外部デバイスそれぞれのユーザ間の関係性や親密度を示す情報等が含まれていてもよい。なお、属性情報d30が、「第2の情報」の一例に相当し得る。

なお、データ記録部107は、状況データd21や属性情報d30として記録される各種情報のうち、少なくとも一部の情報を、解析部109に、低レベルデータや状況データd21として取得された各種情報に基づき取得または推定させてもよい。

また、データ記録部107は、入力部115を介したユーザからの指示に基づき、属性情報d30として記録される各種情報のうち少なくとも一部の情報を更新してもよい。

また、データ記録部107は、サーバ等の外部装置から、属性情報d30として記録される各種情報のうち少なくとも一部の情報を取得し、取得した情報に基づき、対応する外部デバイスの属性情報d30を更新してもよい。また、データ記録部107は、各外部デバイスについて取得した属性情報d30のうち少なくとも一部の情報を、サーバ等の外部装置にアップロードしてもよい。また、データ記録部107は、生成または更新したリアルグラフd1自体を、サーバ等の外部装置にアップロードしてもよい。なお、本動作については、変形例として詳細を別途後述する。

そして、データ記録部107は、生成または更新したリアルグラフd1を、記憶部31に記憶させる。なお、データ記録部107及び解析部109の動作(特に、リアルグラフd1の生成または更新係る処理)のより詳細な内容については、リアルグラフd1に記録される各種情報の取得方法の具体的な一例とあわせて別途後述する。

入力部115は、情報処理装置10に対してユーザが各種情報を入力するための入力インタフェースである。入力部115は、例えば、ボタン、スイッチ、及びタッチパネル等のように、ユーザが情報を入力するための入力デバイスを含んでもよい。また、入力部115は、所謂マイクロフォン等のように、ユーザが発話した音声を音響情報として集音する集音デバイスを含んでもよい。

報知部113は、情報処理装置10がユーザに対して各種情報を提示するための出力インタフェースである。報知部113は、例えば、所謂ディスプレイ等のように、静止画像や動画像のような画像情報を出力するデバイスを含んでもよい。また、報知部113は、例えば、スピーカ等のように音響情報を出力する音響デバイスを含んでもよい。

処理実行部111は、情報処理装置10が提供する各種機能(例えば、アプリケーション)を実行するための構成である。特に、本開示に係る処理実行部111は、過去に記録された外部デバイスの属性情報d30に基づき所定の処理を実行してもよい。

例えば、処理実行部111は、外部デバイスが認識されたときに、当該外部デバイスについて既に属性情報d30が取得されている場合(即ち、過去に当該外部デバイスが認識されている場合)には、報知部113に所定の情報を報知させてもよい。これにより、情報処理装置10のユーザは、認識された外部デバイスのユーザと、過去に場を共有したことがあることを認識することが可能となる。なお、処理実行部111の動作の詳細については、リアルグラフに基づく処理の具体的な一例とあわせて別途後述する。

以上、図2及び図3を参照して、本実施形態に係る情報処理装置10の機能構成の一例について説明した。なお、上記に説明した例はあくまで一例であり、上記に説明した情報処理装置10の各機能を実現可能であれば、当該情報処理装置10の機能構成は必ずしも図2に示す例には限定されない。具体的な一例として、情報処理装置10の各構成のうち、少なくとも一部の構成が、例えば、サーバや、当該情報処理装置10と連携して動作する他の装置等のような外部装置に設けられていてもよい。

<3.リアルグラフの作成または更新> 次に、図4〜図7を参照して、本実施形態に係る情報処理装置10の動作のうち、特に、リアルグラフの生成または更新に係る動作の詳細について、一連の処理の流れの一例とあわせて説明する。図4〜図7は、本実施形態に係る情報処理装置10によるリアルグラフの生成または更新に係る動作の一例について説明するための説明図である。なお、本説明では、図4に示した、フローチャートに沿って説明を行うものとする。

(ステップS101:低レベルデータの記録) まず、データ記録部107は、前述したように、デバイス認識部103による1以上の外部デバイスの認識結果を示す情報と、検知部105により検知された状況に関する情報とを、外部デバイスが認識されたときの時間情報と関連付けて、低レベルデータd40として記憶部31に記録する。これにより、図5に示すように、低レベルデータd40が、時系列に沿って記憶部31に蓄積される。

(ステップS105:蓄積されたデータをデバイスごとに分類) 所定の第1の期間が経過すると(S103、YES)、データ記録部107は、当該第1の期間中に蓄積された低レベルデータd40を記憶部31から抽出し、抽出された低レベルデータd40中の各種情報を、認識された外部デバイスごとに分類する(S105)。

(ステップS107:状況データの生成) 次いで、データ記録部107は、第1の期間中に認識された外部デバイスごとに、当該外部デバイスが認識されたときの状況を示す情報を、低レベルデータd40から分類された情報に基づき取得する。例えば、データ記録部107は、低レベルデータd40から分類された情報に基づき、外部デバイスが認識された時刻、当該外部デバイスが認識されたときの位置、または、当該外部デバイスが認識されたときの外部環境の検知結果(映像や音響)を、当該状況を示す情報として取得する。

また、データ記録部107は、低レベルデータd40から分類された情報に基づき、更に詳しい状況を示す情報を解析部109に取得させてもよい。

(動いているか否かの判定) 例えば、解析部109は、低レベルデータd40に外部デバイスの認識結果として記録された、当該外部デバイスからの無線信号の電波強度の変化に基づき、当該外部デバイスの位置が変動しているか否かを推定する。そして、解析部109は、当該外部デバイスの位置が変動しているか否かの推定結果と、低レベルデータd40として記録された情報処理装置10の位置情報の変化とに基づき、当該外部デバイスが動いているか否かを示す情報を取得してもよい。例えば、図6は、外部デバイスが動いているか否かを判定するための方法の一例について説明するための説明図である。

図6に示すように、例えば、解析部109は、情報処理装置10(自デバイス)が静止中であり、かつ、対象となる外部デバイス(対象デバイス)の位置が変動していない場合には、当該外部デバイスが動いていないものと認識する。

また、解析部109は、情報処理装置10(自デバイス)が静止中であり、かつ、対象となる外部デバイス(対象デバイス)の位置が変動している場合には、当該外部デバイスが動いているものと認識する。なお、この場合には、当該外部デバイスが人に保持されることで移動しているか、もしくは、当該外部デバイス自体が移動可能に構成されている状況が想定され得る。

また、解析部109は、情報処理装置10(自デバイス)が移動中であり、かつ、対象となる外部デバイス(対象デバイス)の位置が変動していない場合には、当該外部デバイスが動いているものと認識する。なお、この場合には、当該外部デバイスが、情報処理装置10のユーザに保持されているか、もしくは、当該ユーザと共に行動する他のユーザに保持されている状況が想定され得る。

なお、情報処理装置10(自デバイス)が移動中であり、かつ、対象となる外部デバイス(対象デバイス)の位置が変動している場合には、当該外部デバイスが動いているか否かを判定することが困難な場合がある。この場合には、解析部109は、当該外部デバイスが動いているか否かは不明であるものと認識してもよい。なお、解析部109は、情報処理装置10の移動量の変化と、外部デバイスからの無線信号の信号強度の変化とが連動している場合には、当該外部デバイスが動いていないものと認識してもよい。

(場所を示す情報の取得) また、解析部109は、低レベルデータd40として記録された位置情報に基づき、外部デバイスが認識された場所(例えば、会社、学校、ライブ会場等)を示す情報を、上記情報を示す情報として取得してもよい。

なお、各位置情報と当該位置情報が示す情報との間を関連付ける方法は特に限定されない。具体的な一例として、ユーザが、各位置情報に対して、当該位置情報に対応する場所を示す情報を関連付けてもよい。

また、他の一例として、情報処理装置10(例えば、解析部109)が、検出したユーザの行動の履歴に基づき、各位置情報が示す場所を推定してもよい。この場合には、例えば、情報処理装置10は、取得された位置情報と、当該位置情報が取得された時刻との関係に基づき、当該位置情報が示す場所を推定してもよい。より具体的には、情報処理装置10は、深夜などのようにユーザが睡眠する時刻に取得された位置情報が、当該ユーザの「自宅」を示しているものと推定してもよい。また、他の一例として、情報処理装置10は、ユーザの通勤時間中に取得された位置情報が、当該ユーザの「通勤路」を示しているものと推定してもよい。同様に、情報処理装置10は、通勤路の到達点を示す位置情報や、昼間などのようにユーザが職務に従事している時刻に取得された位置情報が、当該ユーザの「会社」を示しているものと推定してもよい。

また、情報処理装置10は、サーバ等の外部装置から、各位置情報(緯度や経度の情報)と、当該位置情報が示す場所(例えば、図書館やライブハウス等のスポット)との対応関係を示す情報を取得し、当該情報を利用してもよい。

(周囲に存在するユーザに関する情報の取得) また、解析部109は、低レベルデータd40として記録された、当該外部デバイスが認識されたときの外部環境の検知結果(映像や音響)から、その当時に周囲に存在した他のユーザに関する情報(例えば、顔や音声)を取得してもよい。具体的には、解析部109は、取得された映像を顔認識技術に基づき解析することで、その当時に周囲に存在した他のユーザの顔の情報を取得してもよい。また、解析部109は、取得された音響(例えば、音声や環境音)に対して音響解析を施すことで音声区間を検出し、当該音声区間中の音響情報(即ち、音声情報)を、その当時に周囲に存在した他のユーザの音声情報として取得してもよい。また、このとき解析部109は、事前に登録された情報処理装置10のユーザの音声の特徴を示す情報に基づき、当該ユーザの音声情報と、他のユーザの音声情報とを識別してもよい。

(会話内容の取得) また、他の一例として、解析部109は、周囲に存在する他のユーザの音声情報や、情報処理装置10のユーザの音声情報の取得結果を、会話内容を示す情報として取得してもよい。また、このとき解析部109は、当該音声情報に対して音声認識技術に基づく解析を施すことで文字情報に変換し、当該文字情報を、会話内容を示す情報として取得してもよい。

なお、上記に示した例は、あくまで一例であり、低レベルデータd40として記録された情報に基づき取得可能な情報であれば、上記状況に関する情報の種別や、当該情報の取得方法は特に限定されない。

以上のようにして、データ記録部107は、図5に示すように、第1の期間中に認識された外部デバイスごとに、当該外部デバイスが認識されたときの状況を示す情報を取得し、当該情報に基づき状況データd21を外部デバイスごとに生成する。

(ステップS109:状況リストへの状況データの追加) そして、データ記録部107は、図5に示すように、外部デバイスごとに生成した状況データd21を、リアルグラフ中において、当該外部デバイスを示すノードd11に関連付けられた状況リストd20に追加する。これにより、状況リストd20には、対象となる外部デバイスが認識されたときの状況を示す情報(即ち、状況データd21)が、時系列に沿って記録されることとなる。

このようにして、データ記録部107は、上記第1の期間ごとに、当該第1の期間中に認識された外部デバイスについて、当該第1の期間中に記録された低レベルデータd40に基づき、状況リストd20を更新する。

(ステップS113:状況リストに基づき属性情報を更新) 次いで、第1の期間よりも長い所定の第2の期間が経過すると(S111、YES)、データ記録部107は、リアルグラフに記録された外部デバイスごとに、当該外部デバイスに対応する状況リストd20を解析部109に解析させる。そして、データ記録部107は、外部デバイスごとの状況リストd20の解析結果に基づき、当該外部デバイスに対応する属性情報d30を更新する。

(人が保持しているか否かの判定) 例えば、図7は、属性情報d30の更新に係る処理の一例について説明するための説明図である。図7に示す例では、解析部109は、状況リストd20中の各状況データd21に記録された、対象となる外部デバイスが動いているか否かを示す情報に基づき、当該外部デバイスが人に保持されたデバイスか否かを判定する。

より具体的には、解析部109は、状況リストd20に蓄積された各状況データd21に基づき、動くデバイスであると判定された回数または頻度が閾値を超える場合には、対象となる外部デバイスが、人が保持しているデバイスであると判定する。

また、解析部109は、動くデバイスであると判定された回数または頻度が閾値以下の場合(ひいては、常に動かないデバイスと判定されている場合)には、状況データd21に記録された他の情報と組み合わせて判定することで、人が保持しているデバイスか否かを判定する。

より具体的には、動くデバイスであると判定された回数または頻度が閾値以下の場合においても、対象となる外部デバイスが認識された場所が異なる場合には、対象となるデバイスが、人が保持しているデバイスか否かを判定することが困難である。この場合には、解析部109は、その時点では、判定を保留してもよい。

また、動くデバイスであると判定された回数または頻度が閾値以下であり、かつ、対象となる外部デバイスが認識された場所が常に同じ場合には、対象となる外部デバイスは、当該場所に固定されたデバイス(例えば、Wi−Fiのアクセスポイント等)と推測され得る。そのため、この場合には、解析部109は、対象となる外部デバイスを、人が保持していないデバイスと判定してもよい。

また、このとき解析部109は、複数の外部デバイス間における、位置情報の変化や認識された時間帯等の状況を示す情報の相関性から、相関の高い複数の外部デバイスを特定してもよい。この場合には、解析部109は、より相関の高い複数の外部デバイスを、同一のユーザが保持している外部デバイスや、同じ場所に設置されている外部デバイスとして、当該複数の外部デバイス間を関連付けてもよい。また、解析部109は、情報処理装置10とより相関の高い外部デバイス(例えば、1日のうち所定の期間を超えて相関が高い外部デバイス)を、情報処理装置10のユーザが保持する外部デバイスと判定してもよい。

なお、過去に人が保持していないと判定した外部デバイスについても、その後に追加された状況データd21に基づき、人が保持しているデバイスと判定される場合もあり得る。具体的な一例として、状況データd21の追加に伴い、対象となる外部デバイスが、上記に説明した人が保持するデバイスであると判定するための条件を満たした場合には、解析部109は、当該外部デバイスを、人が保持するデバイスと判定してもよい。この場合には、データ記録部107は、解析部109の判定結果に基づき、対象となる外部デバイスの属性情報d30を更新することとなる。

また、上記に説明したような処理の特性から、蓄積された各状況データd21の数が多いほど、解析部109は、より正確な判定(より実態に近い判定)を行うことが可能となる。このような特性から、解析部109は、対象となる外部装置に対応する状況データd21の数が閾値よりも少ない場合(即ち、正確な判定が困難な場合)には、当該外部デバイスが人に保持されているか否かについては未判定として取り扱ってもよい。

(ユーザに関する情報の絞り込み) また、解析部109は、状況リストd20中の各状況データd21に記録された、周囲に存在する他のユーザに関する情報に基づき、対象となる外部デバイスのユーザに関する情報の候補を絞り込んでもよい。具体的な一例として、解析部109は、状況リストd20中の各状況データd21に記録された他のユーザの顔の認識結果を、当該状況データd21間で比較することで、対象となる外部デバイスのユーザの顔の候補を絞り込んでもよい。同様に、解析部109は、状況リストd20中の各状況データd21に記録された他のユーザの音声の認識結果を、当該状況データd21間で比較することで、対象となる外部デバイスのユーザの音声の候補を絞り込んでもよい。

(ユーザ間の関係性の取得) また、解析部109は、状況リストd20中の各状況データd21に記録された、場所または位置を示す情報に基づき、情報処理装置10のユーザと、対象となる外部デバイスのユーザとの間の関係性を示す情報を取得してもよい。具体的な一例として、解析部109は、「会社」で認識される回数や頻度が閾値を超える外部デバイスのユーザについては、情報処理装置10のユーザとの関係が、「職場に関係する人」であるものと認識してもよい。また、他の一例として、解析部109は、「自宅」で認識される回数や頻度が閾値を超える外部デバイスのユーザについては、上記関係が「家族」であるものと認識してもよい。同様に、解析部109は、「子供の学校」で認識される回数や頻度が閾値を超える外部デバイスのユーザについては、上記関係が「子供の学校に関係する人」であるものと認識してもよい。

(親密度の算出) また、解析部109は、状況リストd20中の各状況データd21に基づき、情報処理装置10のユーザと、対象となる外部デバイスのユーザとの間の親密度を算出してもよい。具体的な一例として、解析部109は、対象となる外部デバイスのユーザとの会話の有無や行動の一致度等に応じて親密度を算出してもよい。また、解析部109は、場を共有したときの状態や状況(例えば、外部デバイスが認識された場所等)に応じて親密度を算出してもよい。より具体的には、解析部109は、通勤路や通勤電車において場を共有したユーザよりも、レストラン等のように、コミュニケーションをよりとりやすい場を共有したユーザの親密度をより高く設定してもよい。

(名前等のプロフィールの入力) データ記録部107は、対象となる外部デバイスのユーザの、名前等のようなプロフィールに関する情報を取得可能な場合には、取得した情報を属性情報d30に登録してもよい。

具体的な一例として、サーバ等の外部装置やネットワークサービス(例えば、SNS)において、対象となる外部デバイスに対して、当該外部デバイスのユーザのプロフィールに関する情報が関連付けられて管理されているような場合が想定され得る。このような場合には、データ記録部107は、当該外部装置やネットワークサービスにアクセスすることで、対象となる外部デバイスのユーザのプロフィールに関する情報を取得してもよい。

また、データ記録部107は、ネットワークサービスが提供する機能への入力情報から、対象となる外部デバイスのユーザのプロフィールに関する情報を取得してもよい。より具体的な一例として、データ記録部107は、ネットワークサービスが提供する日記等に入力される記事に、名前等のユーザのプロフィールと推定される情報が含まれる場合には、当該情報を、対象となる外部デバイスのユーザのプロフィールに関する情報として抽出してもよい。なお、データ記録部107は、外部デバイスのユーザのプロフィールに関する情報を取得した場合に、当該情報を属性情報d30に対して登録するか否かを、ディスプレイ等の報知部113を介してユーザに対して問い合わせてもよい。

また、データ記録部107は、入力部115を介したユーザ入力に基づき、対象となる外部デバイスのユーザのプロフィールに関する情報を取得してもよい。なお、データ記録部107は、第2の期間中に認識された外部デバイスのユーザのプロフィールに関する情報の入力を、情報処理装置10のユーザに促してもよい。

より具体的な一例として、データ記録部107は、「今日、誰と昼食を食べた?」等の質問をユーザに提示し、その応答として入力されたユーザの情報(例えば、名前)に基づき、当日の昼に認識された外部デバイスの属性情報d30に登録してもよい。また、他の一例として、データ記録部107は、認識された外部デバイスに関する情報を、ディスプレイ等の報知部113を介して情報処理装置10のユーザに提示することで、当該ユーザが対面している他のユーザが保持する外部デバイスであることを通知し、当該他のユーザのプロフィールに関する情報の入力を促してもよい。なお、データ記録部107は、上記に説明した、情報処理装置10のユーザに対して、外部デバイスのユーザのプロフィールに関する情報の入力を促す動作を、特定の条件を満たす場合(例えば、親密度が閾値を超える場合等)についてのみ実行してもよい。

このようにして、データ記録部107は、上記第2の期間ごとに、リアルグラフに記録された各外部デバイスについて、状況リストd20の解析結果に基づき、当該外部デバイスに対応する属性情報d30を更新する。

以上のようにして、情報処理装置10は、一連の処理の終了が指示されない限り(ステップS115、NO)、低レベルデータd40の記録、状況リストd20への状況データd21の追加、及び属性情報d30の更新に係る各処理を適宜実行する。そして、情報処理装置10は、ユーザから一連の処理の終了が指示された場合には(ステップS115、YES)、上記に説明した各種処理の実行を終了する。

以上、図4〜図7を参照して、本実施形態に係る情報処理装置10の動作のうち、特に、リアルグラフの生成または更新に係る動作の詳細について、一連の処理の流れの一例とあわせて説明した。

<4.リアルグラフに基づく動作の一例> 次に、図8を参照して、本実施形態に係る情報処理装置10の動作のうち、特に、外部デバイスが認識された場合における、リアルグラフに基づく動作の詳細について、一連の処理の流れの一例とあわせて説明する。図8は、本実施形態に係る情報処理装置10による、リアルグラフに基づく動作の一例について説明するための説明図である。

(ステップS201:外部デバイスの認識) 処理実行部111は、デバイス認識部103から外部デバイスの認識結果を取得する。これにより、処理実行部111は、情報処理装置10の周囲に位置する外部デバイス(即ち、情報処理装置10のユーザと場を共有する他のユーザの外部デバイス)を認識することが可能となる。

(ステップS203:認識された外部デバイスの属性情報の確認) 次いで、処理実行部111は、記憶部31に記憶されたリアルグラフを参照し、認識した外部デバイスに対応する属性情報d30を抽出する。

(ステップS205:処理の実行) 処理実行部111は、属性情報d30が抽出でき(ステップS205、YES)、かつ、当該属性情報d30中の情報が所定の条件を満たす場合(ステップS207、YES)には、当該条件に応じてあらかじめ決められた処理を実行する。なお、このとき、処理実行部111は、人が保持している外部デバイスについてのみ、当該処理を実行してもよい。

(情報の報知) 具体的な一例として、処理実行部111は、属性情報d30が抽出できた外部デバイスについて、当該属性情報d30に記録された、当該外部デバイス、または、当該外部デバイスのユーザに関する報知情報を報知部113に報知させてもよい。また、このとき処理実行部111は、属性情報d30に記録された、当該外部デバイスのユーザとの関係を示す情報に応じて、報知情報を報知部113に報知させてもよい。より具体的には、処理実行部111は、当該外部デバイスのユーザとの間の親密度が閾値を超える場合に、報知情報を報知部113に報知させてもよい。これにより、情報処理装置10のユーザは、周囲に存在する外部デバイスが認識された場合に、当該外部デバイスのユーザと過去に場を共有したことがあることを認識することが可能となる。

また、処理実行部111は、状況リストd20中の各状況データd21に記録された情報を、報知部113を介して、情報処理装置10のユーザに提示してもよい。より具体的な一例として、処理実行部111は、情報処理装置10のユーザが、外部デバイスのユーザとの間で交わした会話の内容を示す情報を、状況リストd20中の状況データd21から抽出し、抽出した情報を、報知部113を介して情報処理装置10のユーザに提示してもよい。これにより、情報処理装置10のユーザは、過去に会ったことがあるユーザと対面した場合に、過去に会ったときに当該ユーザと交わした会話の内容を想起することが可能となる。

(各種機能の制御) また、処理実行部111は、抽出された属性情報d30中の情報が所定の条件を満たす場合に、当該条件に応じてあらかじめ決められた機能(例えば、アプリケーション)の動作を制御してもよい。具体的な一例として、処理実行部111は、親密度の高いユーザと場を共有していることを認識した場合には、音声通話等のような当該ユーザとは異なる他のユーザとコミュニケーションをとるための機能の動作を抑制してもよい。また、処理実行部111は、親密度の高いユーザと場を共有していることを認識した場合には、SNS等のネットワークサービスが提供するメッセージ機能において、取り込み中であることを示す情報が提示されるように、当該機能の動作を制御してもよい。

また、他の一例として、処理実行部111は、情報処理装置10と相関の高い外部デバイス(即ち、情報処理装置10のユーザが保持する外部デバイス)とは異なる他の外部デバイスが認識された場合に、周囲に他のユーザが存在するものと認識してもよい。このような場合には、例えば、処理実行部111は、オープンスピーカ等の音響デバイスからの音響の出力を抑制してもよい。

なお、上記に説明した例はあくまで一例であり、情報処理装置10(処理実行部111)が、属性情報d30等のようにリアルグラフに記録された情報に応じて、所定の処理を実行可能であれば、当該処理の内容や当該処理が実行されるタイミングは特に限定されない。

具体的な一例として、情報処理装置10は、生成したリアルグラフ(例えば、図3参照)を表示情報として可視化し、ディスプレイ等の報知部113を介して当該表示情報をユーザに提示してもよい。また、情報処理装置10は、リアルグラフに基づき、自身のユーザに対して、その日に認識された外部デバイスのユーザに関する情報を提示しもよい。これにより、情報処理装置10のユーザは、場を共有したことのある他のユーザ、特に、場を共有したことを認識していなかった他のユーザ(例えば、面識のないユーザ)を認識することが可能となる。

また、情報処理装置10は、ユーザからの指示に基づき、リアルグラフに登録された情報を、他の機能を実行するための入力情報として使用してもよい。より具体的な一例として、情報処理装置10は、リアルグラフに登録された情報を基に、SNS等のネットワークサービスが提供する日記機能等への入力情報として、「いつ」、「誰と」、「何をしていたか」等の情報が提示された記事(または、当該記事のテンプレート)を自動生成してもよい。

以上、図8を参照して、本実施形態に係る情報処理装置10の動作のうち、特に、外部デバイスが認識された場合における、リアルグラフに基づく動作の詳細について、一連の処理の流れの一例とあわせて説明した。

<5.変形例> 次に、本実施形態に係る情報処理装置10の変形例について説明する。

[5.1.変形例1:機械学習を利用した判定方法] まず、変形例1として、図9〜図12を参照して、情報処理装置10が、低レベルデータや状況データ等のように蓄積された情報を入力として、機械学習に基づき、状況、外部デバイス、及び、当該外部デバイスのユーザ等に関する、より詳しい情報を取得する例について説明する。図9〜図12は、変形例1に係る情報処理装置10について説明するための説明図である。なお、本説明では、情報処理装置10が、機械学習に基づき、対象となる外部デバイスを人が保持しているか否かについて判定する場合を例に説明する。また、本説明では、当該判定の主体を「認識器」と称する場合がある。なお、上記に説明した解析部109は、認識器の一例に相当する。

(教師データの蓄積) まず、認識器に対して、対象となる外部デバイスを人が保持しているか否かを判定するための参考とされる教師データを事前に入力することで、当該認識器に、当該教師データを蓄積させておく。例えば、図9には、認識器に入力する教師データの一例が示されている。

図9に示す例では、教師データは、時系列データと正解データとが関連付けられて生成される。時系列データは、「加速度」、「位置」、「電波強度」等のような、対象となる外部デバイスを人が保持しているか否かを判定するための情報が、「時刻」を示す情報と関連付けられ、時系列に沿って蓄積されることで形成される。即ち、時系列データは、「加速度」、「位置」、「電波強度」等の時系列に沿った変化を示していることとなる。なお、時系列データとして蓄積される、「加速度」、「位置」、「電波強度」等の情報は、認識器が、対象となる外部デバイスを人が保持しているか否かを判定する際に使用する入力情報(例えば、所定の検知部により検知される情報)に相当し得る。

このような時系列データに対して、当該時系列データを入力とした場合における、当該外部デバイスを人が保持しているか否かの判定結果を示す正解データが関連付けられることで教師データが生成され、当該教師データが認識器に入力される。これにより、認識器は、どのような情報が入力された場合に、当該入力に対してどのような判定(即ち、人が保持しているか否か)がなされたかを学習することとなる。

なお、上記に説明した教師データは、過去の実験等の結果に基づきあらかじめ生成されてもよい。また、他の一例として、認識器が、入力として取得した時系列データと、当該時系列データに基づく自身の判定結果とを基に、当該教師データを生成してもよい。

(学習結果に基づく判定) 次に、認識器が、入力として取得した時系列データに対して、学習結果に基づき、対象となる外部デバイス(例えば、認識された外部デバイス)を人が保持しているか否かを判定する場合の動作について説明する。なお、本説明では、認識器が、時系列データとして取得した、情報処理装置10(自デバイス)の移動量(即ち、位置や加速度の変化)と、外部デバイスからの無線信号の電波強度の変化とに基づき、当該外部デバイスを人が保持しているかを判定する場合を例に説明する。

まず、図10を参照して、認識器による、学習結果に基づく判定に係る動作の概要について説明する。図10に示すように、認識器は、対象となる外部デバイスごとに、当該外部デバイスが認識されたときの時系列データを、入力情報として取得する。そして、認識器は、取得した時系列データと、事前の学習結果(換言すると、事前に蓄積された教師データ)とに基づき、対象となる外部デバイスを人が保持しているか否かを判定する。

ここで、図11及び図12を参照して、認識器による上記判定に係る処理について、具体的な例を挙げてさらに詳しく説明する。例えば、図11は、事前に蓄積された教師データ(即ち、学習結果)に基づく、情報処理装置10の移動量及び外部デバイスからの信号の電波強度と、当該外部デバイスを人が保持しているか否かの判定結果との間の関係を模式的に示している。即ち、図11に示す例では、特に、情報処理装置10の移動量が小さく(もしくは、移動しておらず)、かつ、外部デバイスからの信号の電波強度の変化が大きい場合に、当該外部デバイスを人が保持しいていると判定されている傾向が強いことを示している。

また、図12は、認識器に対して入力された時系列データの一例を示している。図12に示す例では、説明をよりわかりやすくするために、当該時系列データを、情報処理装置10(自デバイス)の移動量と、認識された外部デバイスからの無線信号の信号強度とのそれぞれの時系列に沿った変化として模式的に示している。なお、図12に示す例では、外部デバイス「AAA」、「BBB」、及び「CCC」のそれぞれについて、当該外部デバイスからの無線信号の信号強度の変化を示している。

ここで、図12において、参照符号T1で示された期間に着目する。期間T1において、情報処理装置10の移動量に変化が無いのに対して、外部デバイスAAAからの無線信号の信号強度に変化がある。この場合には、認識器は、取得した外部デバイスAAAに関する時系列データと、蓄積された教師データとを照合し、当該教師データに基づく傾向(例えば、図11参照)から、当該外部デバイスAAAが、人が保持しているデバイスであるものと判定する。より具体的には、認識器は、期間T1においては、情報処理装置10が移動していないのに対して、外部デバイスAAAからの無線信号が徐々に減衰していることから、情報処理装置10から外部デバイスAAAが徐々に離間するように移動しているものと認識してもよい。

一方で、期間T1においては、外部デバイスBBB及びCCCについては、無線信号の信号強度の変化が検出されていない。そのため、認識器は、蓄積された教師データに基づく傾向(例えば、図11参照)から、外部デバイスBBB及びCCCについては、人が保持していないデバイスであるものと判定してもよい。

なお、上述したように、認識器は、入力情報として取得した時系列データと、当該時系列データと事前の学習結果とに基づく判定結果と、に基づき新たな教師データを生成し、学習結果として蓄積してもよい。

以上、変形例1として、図9〜図12を参照して、情報処理装置10が、機械学習に基づき、状況、外部デバイス、及び、当該外部デバイスのユーザ等に関する、より詳しい情報を取得する場合の例について説明した。

[5.2.変形例2:サーバを介した情報共有の例] 次に、変形例2として、図13及び図14を参照して、サーバ(例えば、クラウド)等の外部装置を利用することで、複数の情報処理装置10間において、リアルグラフとして蓄積された各種情報(例えば、外部デバイスごとに取得された属性情報)を共有する場合の一例について説明する。図13及び図14は、変形例2に係る情報処理装置10について説明するための説明図である。

例えば、図13は、変形例2に係る情報処理装置10を適用したシステムの一例を示している。図13に示すように、変形例2に係るシステムは、複数の情報処理装置10m、10a、及び10bのそれぞれと、サーバ50とが、ネットワークN2を介して情報を送受信可能に接続されている。ネットワークN2としては、例えば、インターネット、専用線、LAN(Local Area Network)、または、WAN(Wide Area Network)のように、異なる装置間を接続する電子的なネットワークが想定され得る。

次に、図14を参照して、変形例2に係るシステムの動作の概要について、特に、情報処理装置10mとサーバ50との間の関係に着目して説明する。

例えば、情報処理装置10mは、自身が外部デバイスごとに取得した属性情報のうち少なくとも一部の情報を、ネットワークN2を介してサーバ50にアップロードしてもよい。

より具体的な一例として、情報処理装置10mは、属性情報として取得された、対象となる外部デバイスを人が保持しているか否かの判定結果を示す情報を、サーバ50にアップロードしてもよい。また、他の一例として、情報処理装置10mは、対象となる外部デバイスのユーザのプロフィールに関する情報を、サーバ50にアップロードしてもよい。また、他の一例として、情報処理装置10mは、生成または更新したリアルグラフ自体を、サーバ50にアップロードしてもよい。この場合には、サーバ50は、各情報処理装置10からアップロードされたリアルグラフを統合してもよい。

なお、上記に説明した動作は、情報処理装置10mに限らず、サーバ50に接続された他の情報処理装置10a及び10bについても同様である。このような構成により、各情報処理装置10においてリアルグラフとして蓄積された各種情報(または、リアルグラフ自体)が、サーバ50に集約されることとなる。

また、情報処理装置10mは、サーバ50に集約された情報に基づき、自身が保持するリアルグラフを更新してもよい。より具体的な一例として、情報処理装置10mは、リアルグラフに登録されていない新たな外部デバイスを認識した場合に、当該外部デバイスに関する属性情報(例えば、当該外部デバイスのユーザのプロフィールに関する情報)を、サーバ50から取得してもよい。また、他の一例として、情報処理装置10mは、サーバ50により統合されたリアルグラフを、当該サーバ50から取得してもよい。

以上のような構成により、変形例2に係るシステムに依れば、各情報処理装置10は、サーバ50に集約された情報を利用することで、リアルグラフの生成または更新を行うことが可能となる。また、各情報処理装置10により取得または認識された各外部デバイスの情報がサーバ50に集約されるため、一部の情報処理装置10による認識に誤りが含まれていたとしても、他の情報処理装置10による認識結果により当該誤りを自浄的に修正することが可能となる。以上、変形例2として、図13及び図14を参照して、サーバ等の外部装置を利用することで、複数の情報処理装置10間において、リアルグラフとして蓄積された各種情報を共有する場合の一例について説明した。

[5.3.変形例3:リアルグラフの変形例] 次に、変形例3として、図15を参照して、リアルグラフの変形例について説明する。図15は、変形例3に係る情報処理装置10について説明するための説明図であり、リアルグラフの変形例について示している。なお、以降の説明では、図15に示した変形例3に係るリアルグラフを、図3を参照して前述したリアルグラフd1と区別する場合には、「リアルグラフd1’」と称する場合がある。

図15に示すように、リアルグラフd1’は、複数の外部デバイスに対応するノードd11間を関連付けるリンクd15と、当該リンクd15に関連付けられた属性情報d35とを含む点で、図3を参照して説明したリアルグラフd1と異なる。

具体的な一例として、情報処理装置10は、同時期に認識された外部デバイス「AAA」及び「BBB」それぞれに対応する状況リストd20を照合することで、当該外部デバイス「AAA」及び「BBB」間の相関性を判定する。より具体的には、情報処理装置10は、過去に同時に認識された回数や、同時期に認識された頻度が閾値以上の場合には、外部デバイス「AAA」及び「BBB」間の相関が高いものと判定する。

次いで、情報処理装置10は、外部デバイス「AAA」及び「BBB」間の相関が高いと判定した場合には、当該外部デバイスそれぞれに対応するノードd11間をリンクd15に基づき関連付ける。また、情報処理装置10は、当該外部デバイス双方の状況リストd20に含まれる各状況データd21に基づき、当該外部デバイスの双方に関連し得る情報を取得する。より具体的な一例として、情報処理装置10は、外部デバイス「AAA」及び「BBB」間の関係性(例えば、「家族」、「職場に関係する人」等)を示す情報を取得してもよい。また、他の一例として、情報処理装置10は、外部デバイス「AAA」及び「BBB」の認識時に取得された会話の内容を示す情報を取得してもよいし、当該会話の内容を解析することで話題(トピック)に相当する情報を取得してもよい。

そして、情報処理装置10は、取得した情報に基づき属性情報d35を生成し、外部デバイス「AAA」及び「BBB」間を関連付けるリンクd15に関連付ける。なお、当該リンクd15に対して既に属性情報d35が関連付けられている場合には、情報処理装置10は、取得した情報に基づき、当該属性情報d35を更新してもよい。

また、前述したように、情報処理装置10は、図15に示すリアルグラフd1’を表示情報として可視化し、ディスプレイ等の報知部113を介して当該表示情報を自身のユーザに提示してもよい。これにより、情報処理装置10のユーザは、外部デバイス「AAA」及び「BBB」間、または、外部デバイス「AAA」及び「BBB」それぞれのユーザ間の関係を認識することが可能となる。

なお、図15に示すリアルグラフd1’の例はあくまで一例であり、相関の高い複数の外部デバイスに対して、当該複数の外部デバイス双方に関係し得る情報を関連付けることが可能であれば、その方法や、リアルグラフd1’のデータ形式は特に限定されない。具体的な一例として、図15に示す例において、属性情報d35を、外部デバイス「AAA」及び「BBB」それぞれに対応するノードd11双方に関連付けてもよい。

以上、変形例3として、図15を参照して、リアルグラフの変形例について説明した。

<6.ハードウェア構成> 次に、図16を参照して、本開示の一実施形態に係る情報処理装置10のハードウェア構成の一例について説明する。図16は、本開示の一実施形態に係る情報処理装置10のハードウェア構成の一例を示した図である。

図16に示すように、本実施形態に係る情報処理装置10は、プロセッサ901と、メモリ903と、ストレージ905と、操作デバイス907と、報知デバイス909と、検知デバイス911と、通信デバイス915と、集音デバイス917と、バス919とを含む。また、情報処理装置10は、撮像デバイス913を含んでもよい。

プロセッサ901は、例えばCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)又はSoC(System on Chip)であってよく、情報処理装置10の様々な処理を実行する。プロセッサ901は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述したデバイス認識部103、データ記録部107、解析部109、及び処理実行部111は、プロセッサ901により実現され得る。

メモリ903は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み、プロセッサ901により実行されるプログラム及びデータを記憶する。ストレージ905は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。例えば、前述した記憶部31は、メモリ903及びストレージ905の少なくともいずれか、もしくは、双方の組み合わせにより実現され得る。

操作デバイス907は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス907は、例えば、タッチパネルとして構成され得る。また、他の一例として、操作デバイス907は、例えばボタン、スイッチ、及びキーボードなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ901に供給する入力制御回路などから構成されてよい。なお、前述した入力部115のうち少なくとも一部の構成が、操作デバイス907により実現されていてもよい。

報知デバイス909は、出力デバイスの一例であり、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、有機EL(OLED:Organic Light Emitting Diode)ディスプレイなどのデバイスであってよい。この場合には、報知デバイス909は、画面を表示することにより、ユーザに対して所定の情報を報知することができる。また、報知デバイス909は、スピーカ等のように、所定の音響信号を出力することで、所定の情報をユーザに報知するデバイスであってもよい。

なお、上記に示した報知デバイス909の例はあくまで一例であり、ユーザに対して所定の情報を報知可能であれば、報知デバイス909の態様は特に限定されない。具体的な一例として、報知デバイス909は、LED(Light Emitting Diode)のように、点灯又は点滅のパターンにより、所定の情報をユーザに報知するデバイスであってもよい。なお、前述した報知部113は、報知デバイス909により実現され得る。

検知デバイス911は、各種状態を検知するためのデバイスである。検知デバイス911は、例えば、タッチセンサ、圧力センサ、照度センサ、湿度センサ等のような各種状態を検知するためのセンサにより構成さえ得る。また、検知デバイス911は、静電センサ等のように、所定の対象の接触や近接を検知するためのセンサにより構成されていてもよい。また、検知デバイス911は、加速度センサや角速度センサ等のように、所定の筐体の位置や向きの変化を検出するためのセンサにより構成されていてもよい。また、検知デバイス911は、所謂光学センサ等のように、所定の対象を検知するためのセンサにより構成されていてもよい。なお、前述した検知部105のうち少なくとも一部の構成は、検知デバイス911により実現され得る。

撮像デバイス913は、CMOS(Complementary Metal-Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子を含む。即ち、撮像デバイス913は、プロセッサ901の制御に従い、レンズ等の光学系を介して静止画像又は動画像を撮影する機能を有する。撮像デバイス913は、撮像した画像をメモリ903やストレージ905に記憶させてもよい。なお、前述した検知部105のうち少なくとも一部の構成が、撮像デバイス913により実現されていてもよい。

集音デバイス917は、マイクロフォン等のような、ユーザから発せられた音声や周囲の環境の音響を集音し、音響情報(音響信号)として取得するためのデバイスである。また、集音デバイス917は、集音された音声や音響を示すアナログの音響信号を示すデータを音響情報として取得してもよいし、当該アナログの音響信号をデジタルの音響信号に変換し、変換後のデジタルの音響信号を示すデータを音響情報として取得してもよい。なお、なお、前述した検知部105のうち少なくとも一部の構成が、集音デバイス917により実現されていてもよい。

通信デバイス915は、情報処理装置10が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス915は、有線または無線用の通信インタフェースである。通信デバイス915を、無線通信インタフェースとして構成する場合には、当該通信デバイス915は、通信アンテナ、RF(Radio Frequency)回路、ベースバンドプロセッサなどを含んでもよい。

通信デバイス915は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ901に供給することが可能である。なお、前述した通信部117は、通信デバイス915により実現され得る。

バス919は、プロセッサ901、メモリ903、ストレージ905、操作デバイス907、報知デバイス909、検知デバイス911、及び通信デバイス915を相互に接続する。バス919は、複数の種類のバスを含んでもよい。

また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した情報処理装置10が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。

<7.まとめ> 以上説明したように、本実施形態に係る情報処理装置10は、複数の端末間が無線の伝搬経路を介して直接通信を行うための無線信号の検出結果に基づき、当該無線信号の送信元である外部デバイスを認識する。また、情報処理装置10は、外部デバイスが認識されたときの各種状況を示す情報を取得し、取得した当該情報と、当該外部デバイスの認識結果とを、当該外部デバイスが認識されたときの時間情報と関連付けて、低レベルデータとして記録する。

また、情報処理装置10は、時系列に沿って蓄積された低レベルデータに基づき、自身と、認された他各外部デバイスとの間の関係を示すリアルグラフを生成または更新する。このようにして生成されたリアルグラフには、情報処理装置10により自動で認識された外部デバイスごとに、当該外部デバイスが認識されたときの状況を示す情報や、当該外部デバイス、または、当該外部デバイスのユーザに関する情報が記録される。

そして、情報処理装置10は、外部デバイスが認識されたときに、リアルグラフに記録された当該外部デバイスに関する情報(または、当該外部デバイスのユーザに関する情報)に基づき、所定の処理を実行する。

このような構成により、情報処理装置10は、例えば、過去に場を共有したことがあるユーザの外部デバイスが認識された場合に、このことを、自身のユーザに報知する。また、このとき情報処理装置10は、認識された外部デバイスのユーザに関する情報を、自身のユーザに提示してもよい。これにより、情報処理装置10のユーザは、事前の手続き等のような煩雑な手順を介すことなく、過去に場を共有した他のユーザ、特に、過去に場を共有したことを認識していなかった他のユーザ(例えば、面識のないユーザ等を含むより広い範囲のユーザ)を認識することが可能となる。

また、情報処理装置10は、過去に場を共有したことがあるユーザの外部デバイスが認識された場合に、過去に場を共有した際の状況を示す情報を自身のユーザに提示してもよい。これにより、情報処理装置10のユーザは、過去に会ったことがある他のユーザと対面した場合に、そのときの状況(例えば、そのとき交わした会話の内容等)を想起することが可能となる。

また、情報処理装置10は、自身のユーザと、認識された外部デバイスのユーザとの間の関係性に応じて、所定の処理を実行してもよい。このような構成により、情報処理装置10は、例えば、自身のユーザが親密度の高い他のユーザと対面していることを認識した場合に、自身のユーザが取り込み中であることを、対面中のユーザとは異なる他のユーザに対して報知してもよい。これにより、情報処理装置10のユーザは、煩雑な操作を介することなく、親密度の高いユーザとの対面中に、当該ユーザとは異なる他のユーザからの連絡により、対面中のユーザとのコミュニケーションを阻害されるといった事態を防止することも可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。 (1) 端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識する認識部と、 前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録する記録部と、 前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定する判定部と、 前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行する処理部と、 を備える、情報処理装置。 (2) 前記判定部は、前記第1の期間ごとに前記端末が動いているか否かを判定し、前記第2の期間中における当該判定結果に基づき、当該端末をユーザが保持しているか否かを判定する、前記(1)に記載の情報処理装置。 (3) 前記記録部は、前記第1の期間ごとの前記端末が動いているか否かを示す判定結果を、前記履歴情報として記録する、前記(2)に記載の情報処理装置。 (4) 前記処理部は、認識された前記端末のうち、ユーザが保持していると判定された前記端末について、前記所定の処理を実行する、前記(1)〜(3)のいずれか一項に記載の情報処理装置。 (5) 前記記録部は、前記第1の期間ごとに、前記端末が検出されたときの状況を示す第1の情報を取得し、当該第1の情報を当該端末に対応する前記履歴情報として記録する、前記(1)〜(4)のいずれか一項に記載の情報処理装置。 (6) 前記第1の情報は、所定の検知部により検知された、前記情報処理装置のユーザの外部環境に関する情報を含む、前記(5)に記載の情報処理装置。 (7) 前記第1の情報は、所定の検知部により検知された、前記情報処理装置のユーザの周囲に位置する他のユーザに関する情報を含む、前記(5)または(6)に記載の情報処理装置。 (8) 前記記録部は、前記端末または当該端末のユーザに関する第2の情報を、当該端末に関連付けて記録し、当該端末に対応する前記履歴情報に基づき、前記第2の情報を更新する、前記(5)〜(7)のいずれか一項に記載の情報処理装置。 (9) 前記記録部は、前記端末をユーザが保持しているか否かを示す前記判定結果を、前記第2の情報として記録する、前記(8)に記載の情報処理装置。 (10) 前記記録部は、前記情報処理装置のユーザと、認識された前記端末のユーザと、の間の関係を示す情報を、前記第2の情報として取得する、前記(8)または(9)に記載の情報処理装置。 (11) 前記処理部は、認識された前記端末に関連付けられた前記第2の情報に基づき、所定の処理を実行する、前記(8)〜(10)のいずれか一項に記載の情報処理装置。 (12) 前記記録部は、前記端末に関連付けられた前記第2の情報を、外部装置により当該端末に関連付けられた他の前記第2の情報に基づき更新する、前記(8)〜(11)のいずれか一項に記載の情報処理装置。 (13) 前記処理部は、前記端末に関連付けられた前記第2の情報に基づき、前記情報処理装置と当該端末との関係を提示した表示情報を、生成または更新する、前記(8)〜(12)のいずれか一項に記載の情報処理装置。 (14) 前記処理部は、前記情報処理装置を示す第1のオブジェクトと、前記端末を示す第2のオブジェクトとをリンクにより関連付け、前記第2のオブジェクトに対して、当該端末に対応する前記第1の情報及び第2の情報を関連付けることで、前記表示情報を生成する、前記(13)に記載の情報処理装置。 (15) 前記処理部は、過去に前記履歴情報が記録された前記端末が認識された場合に、所定の報知情報を報知部に報知させる、前記(8)〜(14)のいずれか一項に記載の情報処理装置。 (16) 前記処理部は、認識された前記端末に関連付けられた前記第2の情報に応じて、前記所定の報知情報を前記報知部に報知させる、前記(15)に記載の情報処理装置。 (17) 前記記録部は、互いに異なる複数の前記端末それぞれに対応する前記第1の情報に基づき、当該複数の端末に共通して関連する第3の情報を、当該複数の端末、または、当該複数の端末間の関係を示す情報に関連付ける、前記(5)〜(16)のいずれか一項に記載の情報処理装置。 (18) プロセッサが、 端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識することと、 前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録することと、 前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定することと、 前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行することと、 を含む、情報処理方法。 (19) コンピュータに、 端末間が無線の伝搬経路を介して直接通信を行うための無線通信の信号の検出結果に基づき、当該信号の送信元である端末を認識することと、 前記端末の認識結果と、所定の検知部により検知された当該端末をユーザが保持しているか否かを判別するための情報と、を含む履歴情報を、第1の期間ごとに記録することと、 前記第1の期間よりも長い第2の期間中に記録された前記履歴情報に基づき、前記端末をユーザが保持しているか否かを判定することと、 前記端末の認識結果と、前記判定結果とに基づき、所定の処理を実行することと、 を実行させる、プログラム。

10 情報処理装置 101 無線信号検出部 103 デバイス認識部 105 検知部 107 データ記録部 109 解析部 111 処理実行部 113 報知部 115 入力部 117 通信部 31 記憶部 50 サーバ