自律走行車において拡張仮想現実コンテンツを提供するシステム及び方法

本出願の実施形態はコンテンツ検索及び配信に関する。より具体的に、本出願の実施形態は自律走行車におけるコンテンツ検索及び配信に関する。

自律モード(例えば、無人運転又は自動運転)で運転される車両は乗員、特に運転者を運転関連作業から解放することを可能にする。自律モードで運転する場合、車両は車載センサを利用して様々な位置導かれることができ、それによって、ヒューマンインタラクションが最小化である場合、または乗員がない状況で車両走行を可能にする。従って、自律走行車は、乗員、特に車両を運転するすべきな人が走行中にほかのことをすることを可能にする。様々な運転関連作業に集中する代わり、運転者やその他の乗員は自律走行車に乗る時に映画やその他のメディアコンテンツを自由に見ることができる。

通常、自律走行車に乗ることによる興奮は、初めて乗る搭乗者に対しても極めて短い時間しか持続できず、その後で非常につまらない体験になる。また、少なくとも初期段階において、自律走行車の応用前景は共有経済に基づく可能性が高い。従って、一台の車両には、少数ではなく、多数のつまらない搭乗者が乗っていることになる。

しかしながら、自律走行車における通常のコンテンツ配信システムは、通常、自律走行車が運転しているリアルタイム交通環境にかかわらず、ユーザに静的コンテンツを提供する。配信されたコンテンツには、自律走行車に乗るユーザにとって興味があるものもあれば、興味がないものもある。

一つの様態において、自律走行車にコンテンツ配信を行うためのコンピュータ実施方法を提供し、この方法は、サーバにおいて第一自律走行車からコンテンツ配信に対する要求を受信するステップと、前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元(3D)位置決め情報を決定するステップと、前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識するステップと、前記画像の3D位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に拡張させて拡張画像を生成するステップと、前記第一自律走行車に前記拡張画像を伝送するステップと、を含んでおり、ここで、前記拡張画像が仮想現実の方式で前記自律走行車内の表示装置に表示される。

別の一つの様態において、命令を記憶した非一時的機械読取可能媒体を提供し、プロセッサに実行される時に前記命令が前記プロセッサに自律走行車に対してコンテンツ配信操作を実行させ、前記操作は、第一自律走行車からコンテンツ配信に対する要求を受信することと、前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元(3D)位置決め情報を決定することと、前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識することと、前記画像の3D位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に拡張させて、拡張画像を生成することと、前記第一自律走行車に前記拡張画像を伝送し、前記拡張画像を仮想現実の方式で前記自律走行車内の表示装置に表示することと、を含む。

別の一つの様態において、サーバとして動作するデータ処理システムを提供し、このデータ処理システムは、プロセッサと、前記プロセッサに接続されて、前記プロセッサにより実行される時に前記プロセッサに操作を実行させる命令を記憶するメモリと、を含んでおり、前記操作は、第一自律走行車からコンテンツ配信に対する要求を受信することと、前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元(3D)位置決め情報を決定することと、前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識することと、前記画像の3D位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に拡張させて、拡張画像を生成することと、前記第一自律走行車に前記拡張画像を伝送し、前記拡張画像を仮想現実の方式で前記自律走行車内の表示装置に表示することと、を含む。

別の一つの様態において、自律走行車においてメディアコンテンツを表示するコンピュータ実施方法を提供し、この方法は、ネットワークを介して、自律走行車からクラウドサーバに、メディアコンテンツに対する自律走行車の車両識別子(ID)と前記自律走行車に乗るユーザのユーザIDとを含む要求を伝送するステップと、前記クラウドサーバからストリーミングされて前記クラウドサーバによりレンダリングされた第一ストリームメディアコンテンツと第二ストリームメディアコンテンツとを受信するステップと、前記自律走行車の第一ウィンドウに相当する第一位置に配置される第一表示装置において前記第一ストリームメディアコンテンツを表示するステップと、前記自律走行車の第二ウィンドウに相当する第二位置に配置された第二表示装置において前記第二ストリームメディアコンテンツを表示するステップと、を含む。

本出願の実施形態は、図面の各図に例として非限定的に示され、図面における同一符号は、類似の構成要素を示す。

本出願の一実施形態に係るネットワーク化システムを示すブロック図である。

本出願の一実施形態において自律走行車でエンターテイメントコンテンツを提供する処理フローを示す図である。

本出願の一実施形態に係るコンテンツレンダリングシステムの一例を示すブロック図である。

本出願の一実施形態に係るコンテンツ処理プロセスフローを示す図である。

本出願の一実施形態に係る自律走行車のコンテンツ処理プロセスを示すフローチャートである。

本出願の別の実施形態に係る自律走行車のコンテンツ処理プロセスを示すフローチャートである。

一実施形態に係るデータ処理システムを示すブロック図である。

以下、説明の詳細を参照しながら、本出願の様々な実施形態および方法を説明し、図面は、前記様々な実施形態を示す。以下の説明および図面は、本出願を説明するためのものであり、本出願を限定するものではない。本出願の様々な実施形態を完全に把握するために、多数の特定の詳細を説明する。なお、いくつかの例では、本出願の実施形態に対する簡単な説明を提供するために、周知または従来技術の詳細について説明していない。

本明細書では「一つの実施形態」または「実施形態」とは、当該実施形態について組み合わせて説明された特定特徴、構造または特性が、本出願の少なくとも一つの実施形態に含まれてもよい。語句「一つの実施形態では」は、本明細書全体において同一実施形態を指すとは限らない。

いくつかの実施形態によれば、車載情報とエンターテイメントシステムを利用して、仮想現実(VR)の方式で自律走行車での表示に適するコンテンツを提供する。自律走行車の搭乗者の情報(例えば、ナビゲーション、推薦)やエンターテイメント(例えば、勉強及びゲーム)アプリケーションに応じてコンテンツを認識してレンダリングすることができ、それによって、拡張現実及び/又は仮想現実をクラウドレンダリング及びストリーミングとを組み合わせて、前記自律運転環境用コンテンツでの可用性に焦点を当てる。

本出願の一様態によれば、サーバ(例えば、クラウドサーバ)は第一自律走行車からコンテンツ配信に対する要求を受信する。当該要求に応答して、要求から取得された画像に視覚分析を実行して画像の三次元(3D)位置決め情報を決定する。第一自律走行車に乗るユーザのユーザプロファイルに応じて、第一自律走行車の現在の車両情報に基づきコンテンツアイテムリストを認識する。画像の3D位置決め情報に基づき、コンテンツアイテムリストから選択された第一コンテンツアイテムを画像に拡張させて拡張画像を生成する。第一自律走行車に当該拡張画像を伝送し、拡張画像を仮想現実の方式で自律走行車内の表示装置に表示する。

拡張画像は、サーバから自律走行車にストリーミングされるストリーム(例えば、拡張ビデオストリーム)における複数の拡張画像のうちの一つであってもよい。サーバはネットワーク(例えば、クラウドネットワーク)を介してサーバに通信接続される複数の自律走行車に情報とエンターテイメントコンテンツを提供するように配置されることができる。車両情報は速度と移動方向、位置と経路情報、地図とポイントオブインタレスト(MPOI)、及び/又は自律走行車に関連するリアルタイム交通情報を含むことができる。複数のデータソース及び自律走行車から定期的に車両情報を受信することができる。ユーザのユーザプロファイル及び前記時点での車両情報に基づきコンテンツアイテムを認識することができる。

本出願の別の様態によれば、自律走行車は、ネットワークを介してクラウドサーバに自律走行車の車両識別子(ID)及び自律走行車に乗るユーザを認識するユーザ認識子(ID)を含んでメディアコンテンツに対する要求を伝送する。クラウドサーバから、クラウドサーバによりレンダリングされた第一ストリームメディアコンテンツと第二ストリームメディアコンテンツをストリーミングする。第一ストリームメディアコンテンツを、自律走行車の第一ウィンドウに相当する第一位置に配置された第一表示装置に表示する。第二ストリームメディアコンテンツを、自律走行車の第二ウィンドウに相当する第二位置に配置された第二表示装置に表示する。

図1は本出願の一実施形態に係るネットワーク構成を示すブロック図である。図1に示されるように、ネットワーク構成100は、ネットワーク103を介して集中型サーバ102に通信接続された自律走行車を含む。一台の自律走行車が示されたが、複数台の自律走行車をネットワーク103を介してサーバ102に接続し、サーバ102によってこれら車両を管理してもよい。各自律走行車は自律走行車101と同じ又は類似した構造を有してもよい。ネットワーク103は、例えば、有線又は無線ローカルエリアネットワーク(LAN)、例えばインターネット、セルラーネットワーク、衛星ネットワークなどの広域エリアネットワーク(WAN)、又はこれらの組合せのいずれでもよい。サーバ102は、例えばネットワーク又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ又はこれらの組合せなどのサーバ又はサーバクラスターのいずれでもよい。

一実施形態において、自律走行車101はセンサシステム115とデータ処理システム110を含むがこれらに制限されない。センサシステム115は、自律走行車101が様々な状況下で各種の道路や場所でナビゲーションすることを可能にするのに必要な複数のセンサ又は感知装置を含む。例えば、センサシステム115は一つ又は複数のカメラ、マイクロホン、全地球測位システム(GPS)、慣性計測装置(IMU)、レーダーシステム及び/又は光検出測距(LIDAR)システムを含むことができる。データ処理システム110は、例えばバス、インターコネクト又はネットワークを介してセンサシステム115に通信接続される。データ処理システム110は、センサシステム115から受信された任意のデータを処理し且つセンサシステム115を管理したり制御したりするように作動可能である。データ処理システム110は、センサシステム115から受信された情報を処理して自律走行車101の運転と制御に必要なソフトウェア及びハードウェアを備える専用コンピュータであってもよい。

一実施形態において、データ処理システム110は、行程モジュール121A、コンテンツレンダリングシステム122A、コンテンツ表示モジュール123、通信モジュール124及びデータ記憶部125を含むが、これらに制限されない。モジュール121A〜124は、ソフトウェア、ハードウェア又はこれらの組合せに実装されることができる。例えば、モジュール121A〜124はシステムメモリーにロードされてデータ処理システム110の一つの又は複数のプロセッサに実行されてもよい。行程モジュール121Aはユーザの行程に関連する任意のデータを管理する。ユーザは例えばユーザインタフェースを介してログインして行程の出発地と目的地を指定することができる。行程モジュール121Aは行程関連データを取得するために自律走行車101のその他の構成要素と通信する。例えば、行程モジュール121Aは位置サーバ106及び地図とPOI(MPOI)サーバ105から位置と経路情報を取得することができる。位置サーバ106は位置サービスを提供し、MPOIサーバ105は地図サービスとある位置のPOIを提供する。自律走行車101が経路に沿って走行する時、行程モジュール121Aは交通情報システム又はサーバ(TIS)104からリアルタイム交通情報を取得することができる。なお、サーバ104〜106は第三者エンティティによって操作されてもよい。あるいは、サーバ104〜106の機能はサーバ102と統合することができる。行程モジュール121Aはこれらのタイプの情報を分析してネットワーク103を介してサーバ102に伝送する。

データ記憶部125は持続的記憶装置(例えば、ハードディスクである不揮発性記憶装置)に保存されることができ、前記持続的記憶装置は複数のデータを記憶し、当該データはコンテンツデータベース(例えば、マルチメディアコンテンツ)、ユーザプロファイル、行程相関情報(例えば、位置や経路情報、POI情報)を含むが、これらに制限されない。データ記憶部125に記憶されたデータは例えばサーバ102、交通情報サーバ104、地図とPOIサーバ105、並びに位置サーバ106等の複数種のデータソースから取得することができる。例えば、コンテンツデータとユーザプロファイルはサーバ102のデータ記憶部130におけるコンテンツデータベース131とユーザプロファイル132から提供されキャッシュされることができる。データ処理システム110は、その他の部品、例えば一つ又は複数のプロセッサ(例えば、中央処理ユニット又はCPU)、システムメモリー又は通信インターフェース(例えば、無線通信インターフェース)等を含んでもよい。

コンテンツレンダリングシステム122Aは、例えばデータ記憶部125に記憶されたコンテンツに対してローカルコンテンツレンダリング操作を実行する。一実施形態において、コンテンツレンダリングシステム122Aは、前記コンテンツをレンダリングすることでコンテンツ表示モジュール123によって自律走行車101の一つ又は複数の表示装置120において仮想現実方式で表示可能な仮想現実コンテンツにする。例えば、自律走行車101のウィンドウとして、実際の車窓の一般的な形状として成形又は曲げられた表示装置で代替する仮想ウィンドウを配置する。ユーザが表示装置に表示されたコンテンツを見ることは、透明なウィンドウを介して見るのようである。別の例として、仮想現実及び/又は拡張現実コンテンツは個人的にカスタマイズされて、それぞれ各搭乗者のヘッドセットに配信することによって、カスタマイズされた実体験のようなユーザエクスペリエンスを提供することを可能にする。

表示されるコンテンツは自律走行車101の一つ又は複数のカメラによってリアルタイムに捕捉された、自律走行車101の実際の物理的環境を示す画像又はビデオであってもよい。或いは、表示されるコンテンツは自律走行車101の周囲環境と完全に異なり又は無関係のコンテンツであってもよい。具体的には、ユーザは、リアルタイムに捕捉されるリアルタイムな実体コンテンツ、又は例えばデータ記憶部125から検索されて表示装置に表示しようとするレンダリングされたコンテンツを選択することができる。例えば、自律走行車101が雪の降る日にニューヨーク市で走行する場合、ユーザは表示装置を切り替えてハワイの晴れた環境を表示し、自律走行車101が晴れている日に旅しているようにすることができる。協同又は協力方式(すなわち仮想現実方式)を利用して複数の表示装置(例えば、複数のウィンドウ)においてコンテンツを表示することが可能である。

一実施形態によれば、ローカルにコンテンツをレンダリングする代わり、自律走行車101はネットワーク103を介して複数種の通信プロトコルを利用してサーバ102と通信するための通信モジュール124を含む。より高い処理能力又はサーバ102においてより多くの利用可能な処理リソースを使用して、サーバ102においてコンテンツレンダリングを実行することができる。この例では、コンテンツレンダリングシステム122Aの一部又はすべての機能は、例えばコンテンツレンダリングシステム122Bの一部としてサーバ102において実現することができる。同様に、自律走行車101の行程モジュール121Aの一部又はすべての機能は、例えば行程モジュール121Bの一部としてサーバ102に保存することができる。また、サーバ102は複数のクラウドコンピューティングノード又はクラウド処理ノードに通信接続されて、分散型方式でレンダリングタスクを配分することができる。その他、別の一実施形態によれば、コンテンツレンダリングシステムの一部の機能は自律走行車101のコンテンツレンダリングシステム122Aとサーバ102のコンテンツレンダリングシステム122Bの間で分かれてもよい。

次に、レンダリングされたコンテンツ(例えば、仮想現実コンテンツ)はサーバ102から動的に自律走行車101にストリーミングされ、よりよい性能を取得するために、前記コンテンツは、データ記憶部125にバッファされたりキャッシュされたりすることができる。リアルタイム車両情報(例えば、位置や経路、MPOI、交通状况)及び自律走行車101に乗るユーザのユーザプロファイル132のコンテキストにおけるその他の情報に基づき認識して選択することができる特定のコンテンツ(例えば、スポンサー付きコンテンツ、広告)を利用して、仮想現実コンテンツを更に拡張させることもできる。従って、レンダリングされたコンテンツは、予めコンパイルされたメディアコンテンツに基づく純粋な仮想現実コンテンツであってもよい。或いは、コンテンツは、自律走行車101のカメラによってリアルタイムに捕捉されてその他のコンテンツ(例えば、スポンサー付きコンテンツ、その他のデータソース又はコンテンツプロバイダーから取得された補充又は関連コンテンツ)を拡張させた画像又はビデオに基づきレンダリングされた拡張仮想現実(AVR、拡張現実/仮想現実又はAR/VRコンテンツとも呼ばれる)コンテンツであってもよい。予めコンパイルされたコンテンツにこのような拡張を実行することもできる。例えば、スポンサー付きコンテンツ(例えば、Ad)を、予め収集された従来の画像又はビデオに拡張する。

図2は本出願の一実施形態において自律走行車でエンターテイメントコンテンツを提供する処理フローを示す図である。プロセス200は図1のシステム100によって実行することができる。図2に示されるように、自律走行車101は経路201を介してクラウドサーバ102にコンテンツ配信に対する要求を送信する。当該要求は仮想現実コンテンツ又は拡張仮想現実コンテンツを要求することができる。普通の仮想現実コンテンツが要求されるとき、要求は自律走行車101を標識する車両ID、自律走行車に乗るユーザを標識するユーザID及びユーザにより選択可能な特定コンテンツを標識するオプションコンテンツIDのみを含んでもよい。拡張仮想現実コンテンツが要求されるとき、要求は自律走行車101の一つ又は複数のカメラによってリアルタイムに捕捉される画像を更に含んでもよい。当該画像は自律走行車101の周囲環境を表示する。要求は、自律走行車101の車両情報、例えば、位置及び経路情報、速度、移動方法等を含んでもよい。

当該要求に応答して、ブロック202において、サーバ102は画像に視覚分析を実行して3D位置決め又は視聴情報を決定する。この操作は受信された要求が拡張現実コンテンツを要求する場合にしか実行しない。ブロック203において、サーバ102はサーバ102において利用可能な情報、例えば車両情報、MPOI情報、リアルタイム交通情報及び/又はユーザのユーザプロファイルの一部又はすべてに基づいて別のコンテンツを検索して認識する。前記仮想現実コンテンツが普通の仮想現実コンテンツか拡張仮想現実コンテンツかに関わらず、ブロック204において、仮想現実コンテンツをレンダリングする。次に、経路205を介してレンダリングされたコンテンツをサーバ102から自律走行車101に伝送する。その後、ブロック206において仮想現実の方式で自律走行車101内の一つ又は複数の表示装置にレンダリングされたコンテンツを表示する。

図3は本出願の一実施形態に係るコンテンツレンダリングシステムの一例を示すブロック図である。コンテンツレンダリングシステム122は図1のコンテンツレンダリングシステム122A及び/又は122Bを示す。図3を参照して、コンテンツレンダリングシステム122は視覚分析モジュール301、コンテンツ選択モジュール302、コンテンツランキングモジュール303、拡張モジュール304、VRレンダリングモジュール305及び画像再生ストリーミングモジュール306を含むが、これらに制限されない。自律走行車からコンテンツ配信に対する要求を受信したとき、当該要求を検査して当該要求が仮想現実(VR)コンテンツを要求するか拡張仮想現実(AVR)コンテンツを要求するかを決定する。

当該要求がAVRコンテンツを要求することを決定した応答として、視覚分析モジュール301は画像に視覚分析を実行して画像の3D位置決め情報と視角情報を決定する。画像は自律走行車の一つ又は複数のカメラによってリアルタイムに捕捉される。視覚分析モジュール301への入力ストリームは、車両からのオリジナルな捕捉画像及び位置/方位に関する情報を含む。視覚分析モジュール301においてコンピュータ視覚関連カーネルARアルゴリズムを実施して、更に当該コンピュータビジョンに関連するコアARアルゴリズムにより、当該入力に基づいて回復された捕捉画像の3D位置決め情報を生成する。言い換えると、視覚分析モジュール301の出力は、アノテーションレンダリングの位置、角度及び手段を正確に把握するが、どうやってレンダリングするかが不明である。

一実施形態において、コンテンツ選択モジュール302はその他の情報、例えばユーザID及びその他の車両関連情報を分析する。次に、コンテンツ選択モジュール302は、ユーザIDに基づいてユーザプロファイル132を問い合わせてユーザプロファイル情報(例えば、ユーザ嗜好)を取得し、行程モジュール121によって複数のデータソース(例えば、図1のサーバ104−106)から取得できる例えば地図、登録企業等のその他の関連情報を組み合わせて、コンテンツデータベース131からコンテンツアイテムリストを認識する。コンテンツランキングモジュール303は、複数種のランキングアルゴリズム又はランキングモデル310(例えば、ユーザ嗜好、前のインタラクション履歴)を使用してコンテンツアイテムをランキングする。次に、前記ランキングに基づいてコンテンツアイテムの一つを選択する。言い換えると、このような出力は、どんな情報を表示するかを正確に把握するがどうやって表示するかが不明である。

拡張モジュール304は、例えば視覚分析モジュール301が提供する3D位置決め情報に基づき、選択されたコンテンツアイテムを自律走行車から受信した実画像に拡張させる。その後、VRレンダリングモジュール305は拡張モジュール304が提供する拡張画像に基づい、また、状況に応じて視覚分析モジュール301が提供する3D位置決め/視聴情報に基づいてVRコンテンツをレンダリングする。拡張モジュール304及びVRレンダリングモジュール305は単一モジュールとして集積されることができる。次に、ネットワークを介してレンダリングされたAVRコンテンツを、例えばクラウドサーバから自律走行車にストリーミングして、仮想現実方式で自律走行車において表示する。なお、実際の設定に応じて、かかるカメラセンサとウィンドウモニター対が複数存在する可能性があり、更に、現実的なユーザエクスペリエンスを提供するために、捕捉された画像と表示される画像との対応性及び同期性を確保することを必要とする場合がある。

一実施形態において、視覚分析モジュール301は画像に画像認識を実行して画像によって表示されるコンテンツを導出又は理解する。例えば、視覚分析モジュール301は画像又はPOIを説明する一つ又は複数のキーワードを導出できる。画像によって表示される一つ又は複数のキーワード又はPOIに基づき、コンテンツアイテムリストを更に認識することができる。次に、拡張モジュール304は選択されたコンテンツアイテムを画像に拡張させて拡張画像を生成し、ここで、コンテンツアイテムが画像に重ねてもよい。それから、自律走行車の表示装置において拡張画像が表示される。

例えば、カメラは、例えば小売店等の道端の対象を捕捉することができる。更に、位置及び経路情報、MPOI情報及び/又は自律走行車のリアルタイム交通データに基づき、画像を分析して認識する。認識された小売店に関連するその他の情報、例えば認識された小売店のユーザ評価、近傍におけるその他の店舗(店舗の名称又はタイプ、ユーザ評価及び/又は小売店との距離を含む)を取得することができる。当該情報を、ストリーミングされた自律走行車の拡張画像に注釈を付けることができる。

自律走行車では、実際のウィンドウ又は物理的なウィンドウがない場合がある。むしろ、「ウィンドウ」(本出願では仮想ウィンドウと呼ばれる)は表示装置(すなわち車窓の形状に成形された平坦な又は曲面を有する画面表示装置)によって表示又は代替することができる。表示装置は、ユーザが透明ウィンドウを介して実際の物理的コンテンツを見る又は目にするように、適切なカメラによってリアルタイム且つ動的に捕捉される画像又は画像ストリーム(例えば、ビデオ)を表示する。それぞれの「ウィンドウ」(例えば、表示装置)に対して、リアルタイムに表示されて、拡張現実システム(例えばデータ処理システム110)によって集中処理可能な対応コンテンツをストリーミングする表示チャネルが存在する。この場合、仮想現実方式(拡張現実方式とも呼ばれる)によって拡張画像を表示する。

別の一実施形態によれば、要求が普通の仮想現実コンテンツに対する要求である場合、コンテンツ選択モジュール302は前記複数種の要素(例えば、現在の車両情報やユーザプロファイル等)に基づいてコンテンツデータベース131を検索してコンテンツアイテム(例えば、既存のビデオ)のリストを認識する。コンテンツランキングモジュール303は、複数種のランキングアルゴリズム又はランキングモデル310を使用してコンテンツアイテムをランキングし、前記ランキングに基づき、コンテンツアイテムのうちの一つを選択する。更に、VRレンダリングモジュール305によって、選択されたコンテンツアイテムをレンダリングする。次に、画像再生ストリーミングモジュール306はレンダリングされたコンテンツを再生して当該コンテンツを自律走行車にストリーミングする。

一実施形態において、コンテンツランキングモジュール303は、複数種のランキングアルゴリズムを使用してリストにおけるコンテンツアイテムをランキングする。ユーザのユーザプロファイルに基づきコンテンツアイテムをランキングすることができ、例えば、ユーザプロファイルから導出可能なユーザ嗜好に基づいてコンテンツアイテムをランキングする。ユーザのユーザ操作履歴に基づいてユーザプロファイルをコンパイルすることができる。一実施形態において、コンテンツランキングモジュール303はコンテンツアイテム中のそれぞれに一つ又は複数のコンテンツランキングモデル310を適用して、それぞれのコンテンツアイテムのランキングスコアを決定する。ランキングスコアが所定閾値より高いコンテンツアイテムを選択することができる。以前の類似走行環境又は交通状況を示す複数群の既知特徴を使用してコンテンツランキングモデル310をトレーニングすることが可能である。更に類似したユーザのユーザプロファイルに基づいてコンテンツランキングモデル310をトレーニングしてもよい。

VR配置では、カメラ入力に依存せず、且つARアノテーションに基づく必要があっても、ユーザIDと車両情報をネットワークを介して自律走行車からクラウドサーバに送信するだけである。クラウドサーバにおける再生画像データベースにおいて車両に表示される画像を直接検索し、この検索はユーザ嗜好に応じて車両の周囲現実と関係がある場合もあって、関係がない場合もある。ARアノテーションが必要であれば、クラウドサーバにおけるVRレンダリングモジュール305はそれぞれの再生画像に対する3D位置決め情報を検索し、更にユーザのIDを使用してユーザプロファイルを問い合わせて関連情報、例えばユーザのサービス嗜好を取得する。最後に、画像の3D位置に基づいて前記画像に具体的にカレントユーザに用いられるARアノテーションをレンダリングし、且つレンダリングされた画像を通信モジュールによって車両に返送してモニターの適切な側面に表示する。再生メディアコンテンツのソースとして、商用コンテンツプロバイダー又は以前の行程についてのユーザ自分の記録であってもよい。どちらにしても、適切な録音及び再生は全体的なユーザVRエクスペリエンスを改善することに大きく貢献できる。

図4は本出願の一実施形態に係るコンテンツ処理プロセスフローを示す図である。処理フロー400は図1のデータ処理システム110又はサーバ102によって実行することができる。図4に示されるように、自律走行車から取得された車両情報401をコンテンツ選択モジュール302に提供する。車両情報401及びその他の情報(例えば、位置及び経路情報411、リアルタイム交通情報412、MPOI情報413、ユーザプロファイル132)に基づき、コンテンツ選択モジュール302はコンテンツデータベース131を検索してコンテンツアイテムリストを認識する。コンテンツランキングモジュール303によってコンテンツアイテムをランキングし、更に前記ランキングに基づいてコンテンツアイテム403を選択する。自律走行車から受信された要求が普通の仮想現実コンテンツに対する要求である場合、選択されたコンテンツアイテム403は更にVRレンダリングモジュール305によってレンダリングされて自律走行車にストリーミングされる。

前記要求が拡張仮想現実コンテンツに対する要求である場合、視覚分析モジュール301によって、自律走行車のカメラによってリアルタイムに捕捉された画像を分析して、3D位置又は視角情報415を決定する。拡張モジュール304は3D位置決め/視聴情報415に基づいて選択されたコンテンツアイテム(例えば、スポンサー付きコンテンツ又は広告)403を画像402に拡張させて拡張画像420を生成する。更に拡張画像420はVRレンダリングモジュール305によってレンダリングされて自律走行車に伝送されて自律走行車において表示する。

図5は本出願の一実施形態に係る自律走行車のコンテンツ処理プロセスを示すフローチャートである。プロセス500はソフトウェア、ハードウェア又はこれらの組合せを含む処理ロジックによって実行されることができる。例えば、プロセス500は図1のデータ処理システム110によって実行されることができる。図5に示されるように、ブロック501において、処理ロジックは自律走行車の一つ又は複数のカメラを使用して自律走行車の外部に表示される一つ又は複数の対象(例えば、建物、標識)の画像ストリームを受信する。ブロック502において、処理ロジックはネットワークを介してクラウドサーバに画像を伝送し、状況に応じて自律走行車に乗る一つ又は複数のユーザの一つ又は複数のユーザIDの伝送を含む。

ブロック503において、処理ロジックはクラウドサーバから拡張画像ストリームを受信する。クラウドサーバは、クラウドサーバに送信された画像に基づいて拡張画像に対して処理、拡張及びレンダリングを行う。ブロック504において、仮想現実方式で自律走行車の一つ又は複数の表示装置に拡張画像を表示する。拡張画像における一部はすべてのユーザが共用する表示装置に表示できるが、その他の拡張画像はそれぞれのユーザの個人用表示装置(例えば、携帯電話、タブレットPC)にストリーミングされる。個人用表示装置は、無線ローカルエリアネットワークを介して自律走行車に通信接続されることができる。特定ユーザのユーザプロファイルに基づいて認識されるコンテンツの一部は個人コンテンツとされるのに対して、その他のコンテンツは通常、自律走行車に乗るすべてのユーザにとって面白いと思われる。

図6は本出願の別の実施形態に係る自律走行車のコンテンツ処理プロセスを示すフローチャートである。プロセス600はソフトウェア、ハードウェア又はこれら組合せを含む処理ロジックによって実行されることができる。例えば、プロセス600は図1のサーバ102に実行されることができる。図6に示されるように、ブロック601において、処理ロジックはネットワークを介して自律走行車から画像及び自律走行車に乗るユーザの一つ又は複数のユーザID(状況に応じて)を受信する。ブロック602において、処理ロジックは画像に視覚分析を実行して3D位置決め又は視聴情報を決定する。ブロック603において、処理ロジックは車両情報(例えば、位置及び経路、MPOI、リアルタイム交通データ)及びユーザのユーザプロファイルに基づいてコンテンツアイテムリストを検索して認識する。ランキングアルゴリズム又はランキングモデルを使用してコンテンツアイテムをランキングすることができる、前記ランキングに基づきコンテンツアイテムのうちの一つを選択する。ブロック604において、処理ロジックは、3D位置決め/視聴情報に基づいて選択されたコンテンツアイテムを画像に拡張させて拡張仮想現実画像を生成する。ブロック605において、拡張画像を自律走行車に伝送して仮想現実方式で自律走行車において表示する。

本出願の全体にわたって説明される技術は、時点における行程の経路に沿った走行環境(例えば、位置および経路情報、リアルタイム交通情報および地図と興味点)に基づき、自律走行車に乗るユーザに特定のスポンサー付きコンテンツ(例えば、広告またはAd)を提供することに用いられてもよい。リアルタイムにキャプチャされた自律走行車の周辺環境の1つまたは複数の画像にスポンサー付きコンテンツを追加し、それにより拡張現実コンテンツの配信環境を構築する。

上記自律走行車とは、車両が運転者からの入力が非常に少なくまたはない場合でもナビゲーションして環境を通過するように自律走行モードに設定できる車両である。このような自律走行車は、車両走行環境に関連する情報を検出するための1つまたは複数のセンサを含むセンサシステムを備えてもよい。前記車両およびそれに関連するコントローラは、検出された情報を用いてナビゲーションして前記環境を通過できる。前記センサシステムは、1つまたは複数のカメラ、マイクロホン、全地球測位システム(GPS)、慣性計測ユニット(IMU)、レーダーシステムおよび/または光検出および距離測定(LIDAR)システムを備えてもよい。

GPSシステムは、自律走行車の地理的位置を推定できる。GPSシステムは、送受信機を備えてもよく、前記送受信機は、自律走行車の位置に関連する情報を提供するように動作できる。IMUユニットは、慣性加速度に基づいて自律走行車の位置および方位変化を感知できる。レーダーユニットは、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、感知対象以外に、レーダーユニットはさらに対象の速度および/または前進方向を感知できる。LIDARユニットは、レーザで自律走行車が位置する環境における対象を感知してもよい。他のシステムの構成要素以外に、LIDARユニットはさらに1つまたは複数のレーザ光源、レーザスキャナーおよび1つまたは複数の検出器を備えてもよい。カメラは、自律走行車の周辺環境の画像をキャプチャするための1つまたは複数の装置を備えてもよい。カメラはスチルカメラまたはビデオカメラであってもよい。カメラは、カメラが取り付けられたプラットフォームを回転および/または傾斜させるように機械的に移動してもよい。マイクロホンは、自律走行車の周辺環境から音声をキャプチャするように構成されてもよい。

自律走行車は、自律走行車環境における対象および/または特徴を識別するように1つまたは複数のカメラによりキャプチャされた画像を処理して分析するためのコンピュータビジョンシステムをさらに備えてもよい。前記対象は、交通信号、車道境界、他の車両、通行人および/または障害物等を含んでもよい。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオ追跡および他のコンピュータビジョン技術を用いてもよい。いくつかの実施形態において、コンピュータビジョンシステムは、環境地図の描画、対象追跡、対象速度の推定等を行うことができる。

自律走行車は、自律走行車の走行経路を決定するためのナビゲーションシステムをさらに備えてもよい。例えば、ナビゲーションシステムは、自律走行車が大体最終目的地に到着する車道経路に沿って前進するとともに、感知した障害物を基本的に回避するように一連の速度および所定の前進方向を決定してもよい。目的地はユーザインタフェースによるユーザ入力に基づいて設定されてもよい。ナビゲーションシステムは自律走行車が走行していると同時に走行経路を動的に更新してもよい。ナビゲーションシステムは、GPSシステムおよび1つまたは複数の地図からのデータを合併して自律走行車用の走行経路を決定する。

自律走行車は、自律走行車環境における潜在的障害物を識別し、評価し且つ回避して、または他の方式で迂回するための衝突防止システムをさらに備えてもよい。例えば、衝突防止システムは、制御システムにおける1つまたは複数のサブシステムが旋回動作、方向転換動作、ブレーキ動作等を行うように操作することによって自律走行車のナビゲーション中の変更を実現してもよい。衝突防止システムは、周囲の交通モード、道路状況等に基づいて実現可能な障害物回避動作を自動的に決定してもよい。衝突防止システムは、他のセンサシステムにより自律走行車が旋回して入る隣接領域に位置する車両、建築障害物等を検出した場合に旋回動作を行わないように構成されてもよい。衝突防止システムは、利用可能で自律走行車の搭乗者の安全性を最大化する動作を自動的に選択してもよい。衝突防止装置は、自律走行車の車室に最小の加速度をもたらすように、予測した回避動作を選択してもよい。

自律走行車は、その周辺環境内に位置する外部システム(例えば装置、センサ、他の車両等)および/またはコントローラ、サーバ等との通信を可能にする無線通信システムをさらに備えてもよく、前記外部システムおよび/またはコントローラ、サーバ等は、車両の周辺環境に関連する有用な情報、例えば交通情報、天気情報等を提供できる。例えば、無線通信システムは、直接的にまたは通信ネットワークによって1つまたは複数の装置と無線で通信できる。無線通信システムは、任意のセルラ通信ネットワークまたは無線LAN(WLAN)、例えばWiFiを用いてもよい。無線通信システムは、例えば赤外リンク、ブルートゥース(登録商標)等を用いて装置と直接的に通信できる。

なお、上記の構成要素の一部または全部は、ソフトウェア、ハードウェアまたはそれらの組合せにより実現できる。例えば、このような構成要素は、永久記憶装置にインストールされ且つ記憶されたソフトウェアとして実現でき、前記ソフトウェアは、プロセッサ(図示せず)でメモリにおいてロードされ且つ実行されることにより、本出願の全体にわたって説明されるプロセスまたは操作を実行する。あるいは、このような構成要素は専用ハードウェア(例えば集積回路(例えば、専用集積回路またはASIC)、デジタル信号プロセッサ(DSP)またはフィールドプログラマブルゲートアレイ(FPGA))にプログラミングされまたは組み込まれた実行可能なコードとして実現されてもよく、前記実行可能なコードは対応するドライバーおよび/またはオペレーティングシステムによってアプリケーションからアクセスできる。また、このような構成要素は、プロセッサまたはプロセッサコアにおける特定ハードウェアロジックとして実現されてもよく、ソフトウェア構成要素が1つまたは複数の特定命令によってアクセスされる命令セットの一部となる。

図7は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム1500は、上記プロセスまたは方法のいずれかを実行する上記任意のデータ処理システム、例えば図1のデータ処理システム110またはサーバ102を示してもよい。システム1500は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路(IC)、集積回路の一部、分散型電子装置または回路基板に適用された他のモジュール(例えばコンピュータシステムのマザーボードまたはアドインカード)、または他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現できる。

さらに、システム1500は、コンピュータシステムの多数の構成要素の詳細ビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素を要してもよいことを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム1500は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント(PDA)、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータまたはハブ、無線アクセスポイント(AP)またはリピーター、セットトップボックス、またはそれらの組合せを示してもよい。また、単一の機器またはシステムのみを示したが、用語「機器」または「システム」は、さらに、独立または共同で1つ(または複数)の命令セットを実行することにより本明細書に説明される任意の1種または複数種の方法を実行する機器またはシステムの任意のセットを含むことを理解すべきである。

一実施形態において、システム1500は、バスまたは相互接続部材1510によって接続されたプロセッサ1501、メモリ1503および装置1505〜1508を備える。プロセッサ1501は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサを備えてもよい。プロセッサ1501は、マイクロプロセッサ、中央処理装置(CPU)等のような1つまたは複数の汎用プロセッサであってもよい。より具体的には、プロセッサ1501は、複雑命令セット計算(CISC)マイクロプロセッサ、縮小命令セットコンピュータ(RISC)マイクロプロセッサ、超長命令語(VLIW)マイクロプロセッサ、または他の命令セットを実現するプロセッサ、または命令セットの組合せを実現するプロセッサであってもよい。プロセッサ1501は、さらに、専用集積回路(ASIC)、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような1つまたは複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。

プロセッサ1501(超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい)は、前記システムの各種構成要素と通信するための主処理ユニットおよび中央ハブとして機能できる。このようなプロセッサは、システムオンチップ(SoC)として実現できる。プロセッサ1501は、本明細書に説明される操作およびステップを実行するための命令を実行ように構成される。また、システム1500は、選択可能なグラフィックサブシステム1504と通信するグラフィックインターフェースをさらに含み、グラフィックサブシステム1504は、表示コントローラ、グラフィックプロセッサおよび/または表示装置をさらに備えてもよい。

プロセッサ1501は、メモリ1503と通信してもよく、メモリ1503は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ1503は、ランダムアクセスメモリ(RAM)、動的RAM(DRAM)、シンクロナスDRAM(SDRAM)、静的RAM(SRAM)または他のタイプの記憶装置のような1つまたは複数の揮発性記憶(またはメモリ)装置を備えてもよい。メモリ1503は、プロセッサ1501または任意の他の装置により実行される命令列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア(例えば、入力出力基本システムまたはBIOS)および/またはアプリケーションの実行可能なコードおよび/またはデータはメモリ1503にロードされてもよく、且つプロセッサ1501により実行される。オペレーティングシステムは、Microsoft(登録商標)会社からのWindows(登録商標)オペレーティングシステム、アップル会社からのMac OS(登録商標)/iOS(登録商標)、Google(登録商標)会社からのAndroid(登録商標)、Linux(登録商標)、Unix(登録商標)または他のリアルタイムまたは組み込みオペレーティングシステム(例えばVxWorks)のような任意のタイプのオペレーティングシステムであってもよい。

システム1500は、I/O装置、例えば装置1505〜1508をさらに備えてもよく、ネットワークインターフェース装置1505、選択可能な入力装置1506および他の選択可能なI/O装置1507を備える。ネットワークインターフェース装置1505は、無線送受信機および/またはネットワークインターフェースカード(NIC)を備えてもよい。前記無線送受信機は、WiFi送受信機、赤外送受信機、ブルートゥース(登録商標)送受信機、WiMax送受信機、無線セルラーホン送受信機、衛星送受信機(例えば、全地球測位システム(GPS)送受信機)または他の無線周波数(RF)送受信機またはそれらの組合せであってもよい。NICはイーサネット(登録商標)カードであってもよい。

入力装置1506は、マウス、タッチパッド、タッチスクリーン(それは表示装置1504と一体化されてもよい)、ポインタデバイス(例えばスタイラス)および/またはキーボード(例えば、物理キーボードまたはタッチスクリーンの一部として表示された仮想キーボード)を備えてもよい。例えば、入力装置1506は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーンおよびタッチスクリーンコントローラは、例えば複数種のタッチ感度技術(容量、抵抗、赤外および表面音波の技術を含むが、それらに限定されない)のいずれか、およびタッチスクリーンの1つまたは複数の接触点を決定するための他の近接センサアレイまたは他の素子を用いてそのタッチ点および移動または断続を検出できる。

I/O装置1507は音声装置を備えてもよい。音声装置は、スピーカおよび/またはマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録および/または電話機能のような音声サポートの機能を促進する。他のI/O装置1507は、汎用シリアルバス(USB)ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ(例えば、PCI−PCIブリッジ)、センサ(例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ)またはそれらの組合せをさらに備えてもよい。装置1507は、結像処理サブシステム(例えば、カメラ)をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能(例えば、写真およびビデオ断片の記録)を促進するための電荷カップリング装置(CCD)または相補型金属酸化物半導体(CMOS)光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ(図示せず)によって相互接続部材1510に接続されてもよく、キーボードまたは熱センサのような他の装置は、組み込みコントローラ(図示せず)により制御されてもよく、これはシステム1500の特定配置または設計により決められる。

データ、アプリケーション、1つまたは複数のオペレーティングシステム等のような情報を永久記憶するために、大容量記憶装置(図示せず)をプロセッサ1501に接続させてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現し且つシステムの応答能力を向上させるために、このような大容量記憶装置は、主にソリッドステート装置(SSD)によって実現できる。なお、他の実施形態において、大容量記憶装置は、主にハードディスクドライブ(HDD)で実現されてもよく、少量のSSD記憶量は、SSDキャッシュとして停電イベント期間にコンテキスト状態および他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現できる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース(SPI)によってプロセッサ1501に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムの基本入力/出力ソフトウェア(BIOS)および他のファームウェアを備える。

記憶装置1508は、任意の1種または複数種の本明細書に記載の方法または機能を体現する1つまたは複数の命令セットまたはソフトウェア(例えば、モジュール、ユニットおよび/またはロジック1528)が記憶されるコンピュータアクセス可能な記憶媒体1509(機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる)を備えてもよい。モジュール/ユニット/ロジック1528は、上記した検索エンジン、エンコーダ、インタラクションログ記録モジュール、コンテンツレンダリングシステムのような上記構成要素のいずれかを示してもよい。モジュール/ユニット/ロジック1528は、さらにデータ処理システム1500により実行される期間にメモリ1503内および/またはプロセッサ1501内に完全または少なくとも部分的に存在してもよく、メモリ1503およびプロセッサ1501も、機器アクセス可能な記憶媒体を構成する。モジュール/ユニット/ロジック1528は、さらにネットワークによってネットワークインターフェース装置1505を経由して送受信されてもよい。

コンピュータ可読記憶媒体1509は、以上に説明されたいくつかのソフトウェア機能を永続的に記憶してもよい。コンピュータ可読記憶媒体1509は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記1つまたは複数の命令セットが記憶される単一の媒体または複数の媒体(例えば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバ)を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶またはコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機器により実行され且つ前記機器に本出願の任意の1種または複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリおよび光学媒体と磁気媒体または任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。

本明細書に記載のモジュール/ユニット/ロジック1528、構成要素および他の特徴は、ディスクリートハードウェアコンポーネントとして実現されてもよく、またはハードウェアコンポーネント(例えばASICS、FPGA、DSPまたは類似装置)の機能に統合されてもよい。さらに、モジュール/ユニット/ロジック1528は、ハードウェア装置内のファームウェアまたは機能回路として実現されてもよい。また、モジュール/ユニット/ロジック1528は、ハードウェア装置およびソフトウェアコンポーネントの任意の組合せで実現されてもよい。

なお、システム1500は、データ処理システムの各種の構成要素を有するように示されているが、任意の具体的な構造または構成要素の相互接続方式を限定するものではないことに注意すべき、それは、このような詳細が本出願の実施形態に密接な関係がないためである。また、より少ない構成要素またはより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび/または他のデータ処理システムは、本出願の実施形態と共に使用されてもよい。

上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムおよび記号表現で示される。これらのアルゴリズムの説明および表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した操作列(sequence of operations)と考えられる。これらの操作とは、物理量に対して物理的操作を行う必要となるステップを指す。

ただし、これらの全ておよび類似の用語は、いずれも適切な物理量に関連付けられ、且つただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語(例えば、添付している特許請求の範囲に説明された用語)による説明とは、コンピュータシステムまたは類似の電子計算装置の動作および処理であり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリに物理(例えば、電子)量としてデータを示し、且つ前記データをコンピュータシステムメモリまたはレジスタまたは他のこのような情報メモリ、伝送または表示装置内において類似に物理量として示される他のデータに変換する。

本出願の実施形態は、さらに本明細書における操作を実行するための装置に関する。このようなコンピュータプログラムは、非一時的コンピュータ可読媒体に記憶される。機器可読媒体は、機器(例えば、コンピュータ)可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読(例えば、コンピュータ可読)媒体は、機器(例えば、コンピュータ)可読記憶媒体(例えば、読み出し専用メモリ(「ROM」)、ランダムアクセスメモリ(「RAM」)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ)を備える。

上記図面に示されるプロセスまたは方法は、ハードウェア(例えば、回路、専用ロジック等)、ソフトウェア(例えば、非一時的コンピュータ可読媒体に具現化される)、または両方の組合せを含む処理ロジックにより実行されてもよい。前記プロセスまたは方法は、本明細書において特定の順序に応じて説明されるが、説明された操作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの操作は、順番ではなく並行に実行されてもよい。

本出願の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本出願の実施形態の教示を実現できることを理解すべきである。

以上の明細書では、本出願の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本出願のより広い趣旨および範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書および図面を理解すべきである。