関連出願

本出願は、2012年4月25日に出願されたJacobsenらによる米国仮特許出願第61/638,419号(代理人整理番号0717.2161−000)、発明の名称「Improved Headset Computer」;2012年5月31日に出願されたJacobsenらによる米国仮特許出願第61/653,474号(代理人整理番号0717.2163−000)、発明の名称「Headset Computer (HSC) As Auxiliary Display With ASR And HT Input」;2013年1月2日に出願されたParkinsonらによる米国仮特許出願第61/748,444号(代理人整理番号0717.2204−000)、発明の名称「Smartphone API For Processing VGH Input」;および2013年1月4日に出願されたParkinsonらによる米国仮特許出願第61/749,155(代理人整理番号0717.2203−000)、発明の名称「Smartphone Application Programming Interface (API) For Controlling HC Differently From Smartphone Display」の利益を請求する、2013年3月13日に出願された米国継続特許出願第13/799,570号の優先権を主張する出願である。

本出願は、2009年5月8日に出願された米国仮特許出願第61/176,662号、発明の名称「Remote Control of Host Application Using Tracking and Voice Commands」(代理人整理番号0717.2096−000);および2009年8月28日に出願された米国仮特許出願第61/237,884号、発明の名称「Remote Control of Host Application Using Motion and Voice Commands」(代理人整理番号0717.2098−000)の利益を請求する、2010年5月5日に出願されたJacobsenらによる米国特許出願第12/774,179号(代理人整理番号0717.2098−001)、発明の名称「Remote Control Of Host Application Using Motion And Voice Commands」に関する。

上記出願の全ての内容は、参照により本願明細書に組み込まれる。

本出願は、ヒューマン/コンピュータインターフェースに関し、より具体的には、ボイスコマンドを受け入れ、頭部動作を追跡して、リモートホストコンピューティングデバイス上で実行されるソフトウェアアプリケーションにコマンド入力を提供し、該ソフトウェアアプリケーションから表示情報を受信する、ヘッドセットコンピューティングディスプレイデバイスに関する。

ノートパソコン(PC)、スマートフォン、タブレットコンピューティングデバイスなどのモバイルコンピューティングデバイスは、現在、ビジネスと私生活の両方において、データを生成、分析、伝達および消費するために用いられる一般的なツールとなっている。高速ワイヤレス通信技術のユビキタス化とともに、デジタル情報へのアクセスの容易さが増すにつれて、消費者は、モバイルデジタルライフスタイルを受け入れ(lembrace)続けている。モバイルコンピューティングデバイスの一般的な用途は、多くの場合ワイヤレスでデバイスにストリーム配信される大量の高解像度のコンピュータグラフィックス情報および(動画)映像コンテンツの表示を含む。これらのデバイスは、典型的には、表示画面を含むが、そのようなデバイスの物理的な大きさが、可動性の向上のために制限されるため、高解像度の大きいフォーマット表示の好ましい視覚体験はそのようなモバイルデバイスでは容易に再現され得ない。上述のデバイスのタイプの別の欠点は、ユーザインターフェースが、手に依存するものであり、典型的には、ユーザが、キーボード(物理的もしくは仮想)またはタッチスクリーンディスプレイを用いてデータ入力や選択を行う必要があることである。結果として、消費者は、現在、手に依存するモバイルデバイスを拡張するまたはこれに取って代わる、ハンズフリーの高品質で携帯可能なカラー表示のソリューションを求めている。

最近開発されたマイクロディスプレイは、非常に小さなフォームファクタで、大きいフォーマットの高解像度カラーピクチャおよびストリーミング映像を提供できる。そのようなディスプレイの1つの適用例は、眼鏡、オーディオヘッドセット、またはビデオアイウェアと同様のフォーマットの、ユーザの視野内に置かれたディスプレイを有する、ユーザの頭部に着用されたワイヤレスヘッドセットコンピュータに統合できる。「ワイヤレスコンピューティングヘッドセット」デバイスは、(静止)画像を拡大する1つ以上の小型高解像度マイクロディスプレイおよびオプティクスを含む。WVGAマイクロディスプレイは、super video graphics array(SVGA)(800×600)解像度またはextended graphic arrays(XGA)(1024×768)またはさらに高い解像度を提供できる。ワイヤレスコンピューティングヘッドセットは、データおよびストリーミング映像能力を可能にする1つ以上のワイヤレスコンピューティングおよび通信インターフェースを含み、手に依存するデバイスより高い利便性および可動性を提供する。

そのようなデバイスに関するさらなる情報については、2009年1月5日出願されたParkinsonらによる同時係属中の米国特許出願第12/348,646号、発明の名称「Mobile Wireless Display Software Platform for Controlling Other Systems and Devices」;2009年3月27日に出願されたJacobsenらによるPCT国際出願第PCT/US09/38601号、発明の名称「Handheld Wireless Display Devices Having High Resolution Display Suitable For Use as a Mobile Internet Device」;および2012年4月25日に出願されたJacobsenらによる米国特許出願第61/638,419号、発明の名称「Improved Headset Computer」を参照されたい。これら全てはその全体が参照により本明細書に組み込まれる。

本発明の例示的な実施形態は、スマートフォンまたはPCにネイティブであるアプリケーションをスマートフォンまたはPC上で実行することを含む、スマートフォンまたはPCアプリケーションを操作する方法およびこれに対応するシステムを含む。本発明の方法およびシステムは、スマートフォンまたはPC画面およびヘッドセットコンピューティングディスプレイデバイスを介して同時に表示するための、ネイティブアプリケーションの出力を生成する。一実施形態では、ヘッドセットコンピューティングデバイスのための表示出力は、マークアップ言語で行われる。ヘッドセットコンピューティングデバイスは、スマートフォンまたはPCによって生成された表示出力を要求し受信することに応じて、受信された表示出力をヘッドセットディスプレイを介して描画するために翻訳する。音声認識および頭部追跡ユーザインターフェースモードで動作しているヘッドセットコンピューティングデバイスは、ヘッドセットコンピューティングデバイスを装着しているエンドユーザからの認識されたユーザ音声(ボイスコマンド)および頭部追跡コマンド(頭部動作)をモニタする。受信された音声認識および頭部追跡コマンド−エンドユーザ入力−に応じて、ヘッドセットコンピューティングデバイスは、受信された音声認識および頭部追跡コマンドを等価のスマートフォンコマンドまたはPCコマンド(例えば、タッチスクリーン、キーボード、および/またはマウスコマンド)に翻訳して、当該等価のコマンドをスマートフォンまたはPCに送信してネイティブアプリケーションを制御する。

本発明のさらなる例示的な実施形態は、スマートフォン上でネイティブ画像および/または映像視聴用アプリケーションを実行することを含む、スマートフォン(またはPC)を操作する方法およびこれに対応するシステムを含む。本実施形態は、音声認識および頭部追跡ユーザインターフェースモードでヘッドセットコンピューティングデバイスを動作させ、ヘッドセットコンピューティングデバイスにおいてエンドユーザからのユーザ音声認識および頭部追跡コマンドをモニタする。本実施形態は、受信された音声認識および頭部追跡コマンドに応じて、ヘッドセットコンピューティングデバイスにおいて該受信された音声認識および頭部追跡コマンドを等価のスマートフォンコマンドに翻訳する。等価のスマートフォンコマンドは、ヘッドセットコンピューティングデバイスのディスプレイ上の画像または映像を取り込むことと、等価のスマートフォンコマンドをスマートフォンに送信してネイティブ画像および映像視聴用アプリケーションを制御することと、取り込まれた画像および/または映像をヘッドセットコンピューティングディスプレイデバイスを介しておよびスマートフォンディスプレイを介して同時に表示することとを含む。

例示的な実施形態は、生成された表示出力に含まれるハイパーテキストマークアップ言語5(HTML5)などのマークアップ言語の使用をさらに含んでよい。例示的な実施形態は、音声認識および頭部追跡コマンドにより、可聴的および視覚的プロンプトなどのメニュー選択肢およびプロンプトをエンドユーザに提示してもよい。ホストスマートフォンまたはPCとヘッドセットコンピューティングデバイスとの間のワイヤレス通信リンクは、Bluetooth(登録商標)またはWi−Fiワイヤレス規格などのワイヤレス通信リンクを使用してよい。

さらなる例示的な実施形態は、スマートフォンまたはPC上で実行されるネイティブアプリケーションの制御、音声認識およびハンズフリーユーザインターフェースをさらに効果的に可能にしてよい。

スマートフォンアプリケーションからの出力をヘッドセットコンピュータ上に表示するさらなる例示的な方法、およびこれに対応するデバイスについて述べる。実施形態は、スマートフォン上でアプリケーションを実行し、ヘッドセットコンピュータを介して表示するための実行されたアプリケーションの出力を生成する。スマートフォンは、実行されたアプリケーションの出力をヘッドセットコンピュータが表示するためのアクションを示す記述言語による指示を構成し送信する。実施形態では、構成された指示をヘッドセットコンピュータにおいて低帯域幅で受信し、これに応じて、ヘッドセットコンピュータが、行うべき前記示されたアクションに基づいて上記生成された出力の表示を形成する。アクションは、オンスクリーン通知、メッセージ、グラフィック要素、および、複数の予め定義された音声シーケンスのうちの1つを再生しヘッドセットコンピュータの構成要素を制御する要求、のうちのいずれかを含む。

それぞれの要素タイプのアクションは、そして、各要素タイプについて、指示はヘッドセットコンピュータに関して予め定義された複数のスタイルのうちの1つを示してよい。記述言語は、HTML5または他のマークアップ言語であってよい。ヘッドセットにおいてヘッドセットドメインで描画される形成された表示は、音声認識/頭部追跡ユーザインターフェースによって提示されるメニュー選択肢およびプロンプトを含んでよい。メニュー選択肢および出力は、可聴的におよび視覚的にユーザに提示されてよい。ヘッドセットコンピュータによる受信、およびスマートフォンによる送信は、ワイヤレス通信リンクを介して行われ得る。ワイヤレス通信リンクは、Bluetooth(登録商標)、Wi−Fi、または他のプロトコルのいずれであってもよい。

例示的な方法は、ヘッドセットコンピュータにおいて音声認識/頭部追跡ユーザインターフェースからの入力をモニタすることをさらに含むことができる。受信された音声認識/頭部追跡コマンド入力に応じて、ヘッドセットコンピュータは、受信された音声認識/頭部追跡コマンドを等価のスマートフォンコマンドに翻訳し、等価のスマートフォンコマンドをスマートフォンに送信して実行されたアプリケーションを制御する。ヘッドセットコンピュータによる表示は、スマートフォンとの音声およびハンズフリーユーザインタラクションを効果的に可能にすることができる。

上記は、以下の本発明の例示的な実施形態のさらに具体的な説明からさらに明らかになるであろう。添付図面において、異なる図全体にわたり、同じ部分は同じ参照符号で示す。図面は必ずしも原寸に比例しておらず、本発明の実施形態の説明に重点が置かれている。

本発明の原理による、ホストコンピューティングデバイス(例えば、スマートフォン、PCなど)と通信中のヘッドセットコンピューティングデバイスの例示的な実施形態を示す図である。

ヘッドセットコンピュータの例示的な実施形態の斜視図である。

本発明の原理による図1Aおよび1Bの例示的な実施形態のデータおよび制御通信を示すブロック図である。

本発明の原理による、ヘッドセットコンピューティングデバイスを使用してホストコンピューティングデバイス(スマートフォンまたはPC)上でネイティブアプリケーションを実行する例を示す図である。

本発明の原理による、ヘッドセットコンピューティングデバイスを使用してホストコンピューティングデバイス(スマートフォンまたはPC)上でネイティブアプリケーションを実行する例を示す図である。

本発明の原理による、ヘッドセットコンピューティングデバイスを使用してホストコンピューティングデバイス(スマートフォンまたはPC)上でネイティブアプリケーションを実行するさらなる例を示す図である。

本発明の原理による、ヘッドセットコンピューティングデバイスを使用してホストコンピューティングデバイス(スマートフォンまたはPC)上でネイティブアプリケーションを実行するさらなる例を示す図である。

本発明の原理による、ヘッドセットコンピュータを使用してホストアプリケーションを操作する例示的な方法を示すフローチャートである。

音声認識および頭部追跡ユーザインターフェースを使用してヘッドセットコンピューティングデバイスがどのようにホストコンピューティングデバイス上で実行されるアプリケーションを制御するために使用され得るかを示す例示的な実施形態の高レベルソフトウェアダイアグラムである。

本発明の実施形態のフローチャートである。

以下に、本発明の例示的な実施形態を説明する。

少なくとも補助ディスプレイおよびエンドユーザ入力デバイスとして使用されるのに十分な計算能力および演算能力を有するヘッドセットコンピュータ(HSC)が、「ホスト」(あるいは「メイン」または「コントローラ」)コンピューティングデバイスに動作可能に接続され、ホスト上で実行される従来のソフトウェアアプリケーションを、ホストおよびHSCを介して同時に表示させると共に、HSCで受信されたエンドユーザ入力を使用して制御されることが可能になる。ホストコンピューティングデバイスは、スマートフォン、タブレット、またはパーソナルコンピュータ(PC)を含んでよい。HSCおよびホストは、有線でまたは好ましくは無線で動作可能に結合され得る。

本発明の例示的な方法によれば、スマートフォンまたはPCは一次(またはメイン)コンピューティングデバイスであってよく、HSCは、スマートフォンまたはPCコンピューティングデバイスに対する補助ディスプレイおよびユーザインターフェースであってよい。スマートフォンまたはPCは、従来の通例の様式で自己のディスプレイを使用して、自己のネイティブソフトウェアを実行することができる。HSCだけでは、タッチスクリーン、キーボード、および/またはマウスなどの従来のユーザインターフェースハードウェアがないため、そのようなソフトウェアアプリケーションを実行できない。したがって、ハンズフリーコンピューティングを行うために、スマートフォンまたはPCは、セカンドクラスのアプリケーションを実行できる。このセカンドクラスのアプリケーションは、スマートフォンまたはPC上で直接動作しつつ、ネイティブアプリケーションのための表示出力としてHSCを使用し、かつHSCユーザ入力デバイスに機能的に内蔵された自動音声認識装置(ASR)および頭部追跡装置(HT)を使用するように、特別に設計されている。

本発明の例示的な実施形態では、HSCは、以下を行うために少なくとも十分な計算および演算能力を含む:(i)フルスクリーン(screen-full)の情報を表示する;(ii)頭部ジェスチャ追跡をモニタし、頭部動作情報をメインコンピュータ(例えばスマートフォンまたはPC)にフィードバックする;および(iii)音声をモニタおよび処理し、音声認識結果をメインコンピュータにフィードバックする。HSCとメインコンピュータ(スマートフォンまたはPC)をペアリングすることで、メインコンピュータは、メインコンピュータ上で主に動作するがHSCのディスプレイおよびHSCからの拡張入力を使用する、特別に作成されたハンズフリーアプリケーションを効果的に維持できる。

一実施形態では、HSCは、2011年2月1日に出願された、Jacobsenらによる同時係属中の米国特許出願第13/018,999号、発明の名称「Wireless Hands-Free Computing Headset With Detachable Accessories Controllable By Motion, Body Gesture And/Or Vocal Commands」(これは全体が参照により本願明細書に組み込まれる)に記載されるHSCの形態をとってもよい。

図1Aおよび図1Bは、高解像度(VGA以上)マイクロディスプレイ要素1010と以下に述べる他の特徴とを組み込んだ、ワイヤレスコンピューティングヘッドセットデバイス100(本明細書においてヘッドセットコンピュータ(HSC)ともいう)の例示的な実施形態を示す。HSC100は、以下を含むオーディオ入力および/または出力デバイスを含んでよい:ヘッドセットに組み込まれおよび/もしくは統合され、ならびに/もしくは1つ以上の周辺機器ポート(図1Bでは詳細に図示せず)を介してデバイスに取り付けられた、1つ以上のマイク、スピーカ、地理測位センサ(GPS)、3軸〜9軸自由度方位センサ、大気センサ、健康状態センサ、デジタルコンパス、圧力センサ、環境センサ、エネルギーセンサ、加速度センサ、位置、姿勢、運動、速度用センサおよび/もしくは光センサ、カメラ(可視光、赤外線など)、複数のワイヤレス無線、補助照明、距離計など、ならびに/またはセンサのアレイ。ヘッドセットコンピューティングデバイス100の筐体内に典型的に配置されているのは、マイクロコンピュータ(シングルまたはマルチコアプロセッサ)を含む様々な電子回路、1つ以上の有線および/またはワイヤレス通信インターフェース、メモリまたは記憶装置、様々なセンサ、ならびに「ホットシュー」などの周辺機器マウントである。

HSC100の例示的な実施形態は、ボイスコマンドの認識、頭部動作110、111、112の検知、およびハンドジェスチャ113、またはこれらの組み合わせを通して、ユーザ入力を受信できる。HSC100に動作可能に結合または好ましくは統合されたマイク(複数可)を使用して音声(ボイス)コマンドをとらえることができ、次いで、この音声コマンドは、自動音声認識(ASR)技術を使用してデジタル化および処理される。ジャイロスコープ、加速度計、および他のマイクロ電気機械的システムセンサを、HSC100に統合し、ユーザの頭部動作の追跡に使用して、ユーザ入力コマンドを提供できる。カメラまたは他の動作追跡センサを使用して、ユーザ入力コマンドのためのユーザのハンドジェスチャをモニタできる。ボイスコマンドの自動認識や頭部動作追跡機能(features)など、そのようなユーザインターフェースは、他のモバイルデバイスの手に依存するフォーマットに打ち勝つ。

ヘッドセットコンピューティングデバイス100は、リモートホストコンピューティングデバイス200(図1Aに示す)から受信したストリーミング映像信号用のリモート補助ディスプレイとして使用できる。ホスト200は、例えば、HSC100と通信し、ネイティブアプリケーションを実行し、出力表示フィードを生成送信しHSC100からユーザ入力コマンドを受信するのに十分な計算能力を有する、ノートブックPC、スマートフォン、タブレットデバイス、または他のコンピューティングデバイスであってよい。ホストは、さらに、インターネットなどの他のネットワーク210に接続可能であってもよい。HSC100およびホスト200は、Bluetooth(登録商標)、Wi−Fi、WiMAX、または他のワイヤレス無線リンク150などの1つ以上のワイヤレスプロトコルを介してワイヤレス通信可能である。(Bluetooth(登録商標)は、98033ワシントン州カークランドレイクワシントンブールバード5209のBluetooth Sig, Inc.の登録商標である。)

図1Bは、ヘッドセットコンピュータ100の例示的な実施形態を幾分詳細に示した斜視図である。例示的な実施形態のHSC100は、概して、フレーム1000と、ストラップ1002と、後部筐体1004と、スピーカ1006と、内蔵マイク(複数可)を有するカンチレバー(あるいはアームまたはブームともいう)1008と、マイクロディスプレイサブアセンブリ1010と、周辺機器ポート1020とを含む。

頭部装着フレーム1000およびストラップ1002は、概して、ユーザが自己の頭部にヘッドセットコンピュータデバイス100を装着できるように構成されている。筐体1004は、一般に、ロープロファイルユニットであり、例えばマイクロプロセッサ、メモリもしくは他の記憶装置、低電力ワイヤレス通信デバイス(複数可)などのエレクトロニクスを、他の関連する回路と共に収容する。スピーカ1006は、例えばマルチメディア提示のオーディオ部分、またはユーザコマンドの認識を知らせるオーディオプロンプト、アラート、もしくはフィードバックなどの情報がユーザに聞こえるように、オーディオ出力をユーザに提供する。

マイクロディスプレイサブアセンブリ1010は、ユーザに対して画像や映像などの視覚情報を描画するために使用される。マイクロディスプレイ1010は、アーム1008に結合されている。アーム1008は、一般に、ユーザの視野内、好ましくはユーザの目の前、または好ましくは目の少し下もしくは少し上の周辺視野内にマイクロディスプレイサブアセンブリが位置づけられるように、物理的支持を提供する。アーム1008はまた、マイクロディスプレイサブアセンブリ1010と筐体ユニット1004内に収容された制御回路との間の電気接続または光接続を提供する。

以下にさらに詳細に説明する局面によれば、マイクロディスプレイ1010を有するHSCディスプレイデバイス100によって、エンドユーザは、仮想ディスプレイ400で定義される非常に大きい領域内の視野300(図1A)を選択できる。ユーザは、典型的には、位置、程度(X−Yもしくは3Dレンジなど)および/または視野300の倍率を制御できる。

図1A、図1Bに示すHSC100の例示的な実施形態は、カンチレバーブームでユーザの顔の前の視野内に支持される単一の固定表示要素を提供する単眼マイクロディスプレイであるが、補助ディスプレイデバイスHSC100のための他の機械的構成も可能であることを理解されたい。

図2は、HSCデバイス100、ホスト200、およびその間を行き来するデータをより詳細に示すブロック図である。双方向通信リンク150を、HSC100とホストコンピューティングデバイス200との間に確立することができる(そのような通信リンクのさらなる詳細については、2013年1月15日発行の米国特許第8,355,671号、発明の名称「Method And Apparatus For Transporting Video Signal Over Bluetooth Wireless Interface」(この全体が参照により本明細書に組み込まれる)を参照のこと)。

本発明の例示的な実施形態では、外部の「スマート」デバイス200(本明細書において「ホスト」デバイスまたは「コントローラ」ともいう)をHSC100と結合して、情報およびハンズフリー制御をユーザに提供する。例示的な実施形態では、ホスト200とHSC100との間の少量のデータの送信を使用し、したがって、リアルタイム制御のためのより信頼性の高いデータ転送方法および制御方法を提供する。

好ましい実施形態は、2つのデバイスを協働させることを含み、そのうちの一方がHSC100である。他方のデバイス(コントローラまたはホスト)はスマートデバイス200であり、スマートデバイス200は、アプリケーションを実行し、データを処理し、ユーザに機能性を提供するデバイスである。例示的なコントローラは、スマートフォン、タブレット、ラップトップを含むが、これらに限定されない。

コントローラ200とHSC100は、適切なトランスポート、典型的にはBluetooth(登録商標)などのワイヤレス双方向通信リンクを介して、ペアリングすることができる。そのような適切なプロトコルによって転送されるデータ量は少ないので、転送において、より高帯域幅を必要とする他のアクティビティとシェアできる。

コントローラ200は、セカンドクラスのアプリケーションなどのソフトウェアを実行することができる。このソフトウェアは、ソフトウェアスタックの最上位層で動作し、コントローラ200がHSC100に指示を送れるようにするものである。HSC100上での全画面コンテンツをアウトラインするデータを送らなければならないことを避けるために、コントローラ200は、その代わりに、HSC100がHSC100上で機能するソフトウェアを使用して解釈できる指示を、送ることができる。コントローラ200から送られた指示は、オンスクリーン通知、メッセージ、および他のグラフィック要素を含む、行うべきアクションを記述できる。そのような指示は、予め設定された(予め定義された)音声シーケンスのセットのうちの1つを再生するまたはHSC100の他の構成要素を制御する要求を、含むこともできる。

上記指示はさらに、予め設定された「スタイル付けされた要素」を含むことができる。スタイル付けされた要素は、表示画面のレイアウトの仕方、どのテキストを表示するか、テキストフォント、フォントサイズ、ならびに、例えば矢印の描画、矢印スタイルおよびサイズ、背景および前景カラー、含むべき画像または除外すべき画像などの他のスタイル要素情報に関する、ショートハンド指示またはコードを含むことができる。したがって、各要素タイプ(通知、メッセージ、テキストボックス、ピクチャボックスなど)について、複数の表示スタイルがある。スタイル付けされた要素により、コントローラ200は、HSC100上での情報の表示の仕方において、高度の柔軟性を有することができる。このように、所与の情報について、HSC100に表示される視覚要素は、コントローラ200のディスプレイに表示された視覚要素とは異なり得る。

双方向通信プロトコルが表示指示を転送している間に、より高帯域幅のアクティビティを要求することができる。より高帯域幅のトラフィックは、本発明の低帯域幅のトラフィックと分けることができる。例えば、HSC100を映像呼出しのために利用することができ、それによって要求を送り、ディスプレイ、カメラ、ならびにオーディオ通信周辺機器(マイクおよびスピーカ)に対するアクセスおよび制御を得ることができ、そしてHSC100上でライブ映像を表示しライブオーディオを再生することができる。そのような要求は、補助プロトコル(例えば、HSC100のための低帯域幅指示)の一部であってよいが、高帯域幅の映像呼出しトラフィックは、その外側にあってよい。

スタイル付けされた要素の送信では、接続150を介して送信されるデータ量は、画面のレイアウトの仕方、どのテキストを表示するか、ならびに、例えば矢印の描画、背景カラー、含むべき画像などの他のスタイル情報に関する、小さな単純な指示の量である。コントローラ200によって要求された場合、映像ストリームなどの追加のデータは、同じリンク150または他の接続を介してストリームでき、画面1010に表示できる。

他の実施形態では、双方向通信リンクが確立された後、ホストコンピューティングデバイスにネイティブであるソフトウェアアプリケーションが、ホスト200プロセッサによって実行され得る。ネイティブアプリケーションは、表示用の出力画像のフィードを生成できる。出力画像がマルチスクリーン表示用に使用され得るように、セカンドクラスのアプリケーションがホストによって実行されて、ハイパーテキストマークアップ言語5(HTML5)などのマークアップ言語を出力画像に追加することができる。ホストは、ホストデバイス200およびHSC100の両方のディスプレイを介して、しかしそれぞれのフォーマット、レイアウト、ユーザインターフェースで、アプリケーション出力を同時に表示するために、マークアップされた表示データをHSC100に送信できる。HSC100は、マークアップされた表示データを処理して、利用可能なメニュー選択肢およびプロンプトをHSC100のエンドユーザに提示してもよい。それによって、エンドユーザは、ホスト200上で動作中のアプリケーションと、HSC100を介してハンズフリーでインターフェースをとることができるようになる。例えば、視覚プロンプトは、認識された言語コマンドを示す1つ以上のテキストボックス、および/もしくは頭部追跡(ならびに/または手の動作)コマンドを示す矢印もしくは他の動作インジケータを含んでよい。オーディオプロンプトは、例えば、認識された言語コマンドのテキストから音声への機械朗読を含んでよい。

HSCデバイス100は、マイクを介してユーザから音声入力を、位置および方位センサ、カメラまたは光センサ(複数可)を介して手の動作またはボディジェスチャを、3軸〜9軸自由度方位検知などの頭部追跡回路を介して頭部動作入力を、受信できる。これらのコマンド入力は、HSCデバイス100内のソフトウェアによって等価のホストデバイス200用コマンド(例えば、タッチジェスチャ、キーボードおよび/またはマウスコマンド)に翻訳され、そしてこれらのコマンドは、Bluetooth(登録商標)または他のワイヤレスインターフェース150を介してホスト200へ送られ得る。そして、ホスト200は、ホストオペレーティングシステムおよび実行されたネイティブアプリケーションソフトウェアに従って、翻訳された等価のコマンドを解釈し、様々な機能を実施することができる。

等価のコマンドの中には、仮想ディスプレイ400内の視野300(図1A)を選択し、選択された画面データをHSCデバイス100に返すコマンドが含まれ得る。したがって、非常に大きなフォーマットの仮想ディスプレイ領域が、ホスト200上で動作中のアプリケーションソフトウェアまたはオペレーティングシステムと関連づけられ得ることを理解されたい。しかし、視野300内における大きな仮想ディスプレイ領域400の一部分だけをHSCデバイス100のマイクロディスプレイ1010に返し、HSCデバイス100のマイクロディスプレイ1010によって実際に表示してもよい。

図3Aおよび図3Bは、本発明の原理による、ヘッドセットコンピューティングデバイス100を使用してホストコンピューティングデバイス200(スマートフォンまたはPC)上で地理測位システム(GPS)地図ベースのネイティブアプリケーションを実行する例を示す。

例示的な本実施形態では、少なくとも説明の目的で、HSCは、表示データを処理し、ユーザ音声および動作入力をモニタし、そのような入力を等価のコマンドに翻訳するだけのために十分な処理装備および能力を備えることができる。図3Aおよび図3Bに示した例示的な実施形態において、HSC100は、GPSレシーバモジュールを備えず、直接のインターネット接続を有さない。

ホストコンピューティングデバイス200(例えば、スマートフォン、またはGPSレシーバを備える他の一次(primary)コンピューティングデバイス)は、自己の現在の座標に基づいて地図画面画像を生成できる。典型的には、スマートフォン200は、スマートフォン200が自己の現在の位置を提供できるように、GPSレシーバおよび関連づけられた処理ソフトウェアを備える。さらに、スマートフォン200は、通常、関連する地図グラフィックをダウンロードできるようにインターネット接続を備える。地図グラフィックは、スマートフォン上で動作中のセカンドクラスのアプリケーションによって後処理されることができ、それによって、後処理されたマークアップ済グラフィックデータが、視野300を介してユーザに対して描画および表示されるためにHSC100に送られる。後処理されたデータは、図3Aに示すように、「衛星」、「パン」、「ズームイン」、および「終了」などの、テキスト形式でHSC100に送られた認識されるべき音声コマンド3030の組を含むことができる。HSC100は、マークアップされたデータを受信して処理した後、ユーザがコマンド3030のうちの1つを選択してそれを話す/発音することで聞くことを開始できる。

地図が視野300を介してHSC100上に表示されている間に、頭部ジェスチャ動作が、HSC100によってモニタされ、等価のタッチスクリーンまたはキーボード(物理的もしくは仮想)コマンドに翻訳され、GPS地図ベースのアプリケーションに従って処理するために双方向通信リンク150を介してスマートフォン200へ直接フィードバックされ得る。例えば、ユーザの頭部が左に動くと、スマートフォン200は地図を左にパンし、更新されたグラフィックをHSCディスプレイ1010に送ってもよい。このように、スマートフォン200はそうした処理ワークを行うことができ、その一方でHSC100は補助ディスプレイおよびユーザインターフェースを提供できる。

同時に、ユーザは、「衛星」などの認識される有効なコマンド3030を話してよい。ユーザは、「衛星」が有効なコマンドであることを、HSC100を介して視覚的にまたは可聴的にプロンプトされることによって気づかされてもよい。これは、HSC100がスマートフォンアプリケーションから生成されたマークアップされたデータを処理し、HSC100によって処理された時に該データが、有効なコマンド3030を聞くようにHSC100に指示することによって、行われる。コマンドワード「衛星」を認識する際、HSC100は、話し言葉を等価のデジタルコマンドに置き換え、デジタルコマンドをスマートフォン200に送り返すことができる。そして、スマートフォン200は、新しい地図ビューを生成し、この新しい生成されたビューを、図3Bに示すようにマイクロディスプレイ1010の視野300を介して表示するためにHSC100に送ることにより、受信した等価のデジタルコマンドに応答できる。したがって、スマートフォン200はボイス認識能力を有する必要がない。この機能はHSC100によって行われる。

HSC100のエンドユーザが、ハンズフリー操作のためにスマートフォン200のメモリまたは他の記憶装置に記憶されているネイティブアプリケーションのアレイから選択を行えることも、さらに想定される。HSC100ユーザは、オンスクリーン(HSC画面300)メニューおよび関連づけられたボイスコマンドを介して、操作すべきアプリケーションを選択できるであろう。そのようなメニューはセカンドクラスのアプリケーションによって生成され得、上述のようにしてスマートフォン200からHSCへ送られ得る。セカンドクラスのアプリケーションは、一旦実行されると、どのネイティブアプリケーションが互換性を有しHSC100でアクセス可能であるかを判断できる。

HSC100の全ての動作中、ホストコンピューティングデバイス200(スマートフォンまたはPC)の通常の機能性は継続できる。このような手法により、HSC100は、エンドユーザが認識するようないかなる機能性も諦めることなく、既知の(HSCの)実施形態におけるよりもさらに単純なデバイスとすることができる。計算知能は主にホスト200によって提供される。しかし、頭部追跡および音声コマンドなどと組み合わせて頭部追跡および入力コマンドを使用してハンズフリー操作およびナビゲーションを提供するような、HSC100の進歩した点の全てが、依然として利用可能であることを理解されたい。

図4Aおよび図4Bは、本発明の原理による、ヘッドセットコンピューティングデバイス100を使用してホストコンピューティングデバイス(スマートフォンまたはPC)200上で例えばeメールアプリケーションなどのネイティブアプリケーションを実行する、他の例を示す。

図4Aおよび図4Bの例では、少なくとも説明の目的で、HSC100は、主に、表示データを処理し、ユーザ音声および動作入力をモニタし、そのような入力を等価のコマンドに翻訳するのに十分な処理装備および能力を備える。HSC100はインターネット接続を備えない。

ここではiPhone(登録商標)として描かれているホストコンピューティングデバイス200は、自己のネイティブeメールアプリケーションに基づき画面画像を生成する。(iPhoneはカリフォルニア州クパチーノのApple Inc.の登録商標である)。典型的には、iPhone(またはスマートフォン)200は、iPhone200がインターネット接続を介してeメールサーバーにアクセスできるように、eメールアプリケーションおよび関連づけられた処理および通信能力を備える。eメールアプリケーション表示出力2010aのグラフィックフィードは、スマートフォン200上で動作中のセカンドクラスのアプリケーションによって後処理され、それによって、後処理されたマークアップ済グラフィックデータは、視野300を介してユーザに対して描画および表示されるためにHSC100へ送られる。後処理されたデータは、図4Bに示すように、「返信」、「全員に返信」、「破棄」、「次へ」、「受信箱」、および「終了」など、HSC100へテキスト形式で送られた認識される音声コマンド3030の組を含むことができる。HSC100は、マークアップされたデータを受信して処理すると、ユーザが(1つ以上の)コマンド3030を話す(発音する)のを聞き始めることができる。

eメールアプリケーションが視野300を介してHSC100上に表示されている間、頭部ジェスチャ動作が、HSC100によってモニタされ、等価のタッチスクリーンまたはキーボード(物理的もしくは仮想)コマンドに翻訳され、eメールアプリケーションに従って処理するためにスマートフォン200に直接フィードバックされる。例えば、矢印3031でプロンプト表示されているようにユーザの頭部が左に動くと、HSC100は、対応するスマートフォン200の互換性コマンドを生成し送信する。これに応じて、スマートフォン200は「受信箱」に戻り、更新されたグラフィックをディスプレイ1010で提示するためにHSC100に送る。このように、スマートフォン200はそうした処理ワークを実行でき、その一方で、HSC100は補助ディスプレイおよびユーザインターフェースを提供できる。

同時に、ユーザは、前述したように「返信」などの有効な認識されるコマンド3030を話してもよい。HSC100は、「返信」などのコマンドワードを認識すると、この話し言葉を等価のデジタルコマンドに変換し、生成したコマンドをスマートフォン200に送り返すことができる。そして、スマートフォン200は、返信メッセージを表す更新グラフィックを生成することにより、受信した等価のコマンドに応答し、(HSC100ドメイン用に修正した)返信メッセージ画面ビュー2010bをマイクロディスプレイ1010の視野300を介して表示するためにHSC100へ送ることができる。

図5は、本発明の原理に従った、ホストコンピューティングデバイス200のアプリケーションを操作する方法500の高レベルのフローチャートである。最初のステップにおいて、本方法が開始する(ステップ501)。その後、ホストデバイス200は、ネイティブアプリケーションを実行できる(ステップ511)。そして、ネイティブアプリケーションは、表示出力ともいう出力画像のフィードを生成できる(ステップ513)。生成された出力画像のフィードは、適切なフォーマットでホスト表示画面を介して表示され得る(ステップ519)。次に、ユーザ指示(例えば、制御コマンド)がネイティブアプリケーションによって実行され得るように、デバイス200におけるユーザ入力がモニタされ得る(ステップ521)。タッチスクリーン入力またはタイプ入力などのユーザコマンドが検出されると、そのようなコマンドは、ネイティブアプリケーションに従って実行され得る(ステップ511)。そうでない場合は、ホスト200処理が完了しているか否かが判断される(ステップ523)。該処理が完了していない場合、ネイティブアプリケーションに従い、実行を継続できる(ステップ511)。処理が完了している場合、本方法は終了できる(ステップ530)。

ステップ511および513と並行して(または続けて順番に、前後して)、双方向通信リンクがホストデバイス200とHSC100との間で確立され得る(ステップ505)。また、ステップ511、513、および505と並行して(または続けて順番に、前後して)、HSC100は、自動音声認識(ASR)および頭部追跡(HT)動作モードで動作され得て、その間、エンドユーザ入力(例えば、話し言葉コマンドおよび/または頭部動作)がユーザコマンドとしてモニタされ認識される(ステップ512)。ASR/HTモードで動作開始(ステップ512)後、HSC100は、ホスト200上で実行中のネイティブアプリケーションの、ホスト200からの表示出力を要求できる(ステップ514)。

セカンドクラスのアプリケーションであるHSC補助アプリケーションは、HSC100からの入力要求と、実行されたネイティブアプリケーションによって生成された表示出力とを受信し、次いで、表示出力データにマークアップ指示を追加できる(ステップ515)。そして、追加されたマークアップ済表示データは、確立された通信リンク(図2の150)を介してHSC100に送信され得る(ステップ517)。HSC100は、次いで、(ホスト200によって修正/マークアップされた)表示出力が受信されたか否かを判断できる(ステップ518)。該出力が受信されていない場合、再度、要求することができる(ステップ514)。該出力が受信されている場合、受信された表示出力データは、マイクロディスプレイ1010を介して描画するために翻訳され得る(ステップ520)。

次に、翻訳されたデータは、HSCディスプレイ(例えば、マイクロディスプレイ1010)を介して描画および表示される(ステップ522)。ホストディスプレイ(ステップ519)およびHSCディスプレイ(ステップ522)を介した、ネイティブアプリケーションによって生成された上記出力の表示は、略同時に、しかしそれぞれのドメイン/フォーマットで行われ得る。ネイティブアプリケーションによって生成された上記出力をHSCディスプレイ(ステップ522)を介して表示した後、HSC100は、HSCにおけるユーザ入力(ASR/HT)が認識されているか否かを判断する(ステップ524)。HSC100におけるエンドユーザ入力(ASR/HT)が(ステップ524において)検出されていると、そのような入力は、等価のホストデバイス200のコマンドに翻訳されて、ユーザ入力としてホストデバイスに送信され得る(ステップ526)。HSC100におけるエンドユーザ入力がないと判断された場合、HSC100は、HSC100の処理が完了したか否かを判断する(ステップ528)。HSC100における処理が完了していない場合、処理は、ASR/HTモードに従って動作し続けることができる(ステップ512)。HSC100処理が完了している場合、本方法は終了できる(ステップ530)。

図6は、音声認識および頭部追跡ユーザインターフェースを使用するHSC100が、ホストコンピューティングデバイス200上で実行されるアプリケーションを制御するためにどのように使用され得るかを示す、高レベルのソフトウェアダイアグラムである。HSCソフトウェアスタック6100は、リナックス(登録商標)カーネル(Linux (登録商標)kernel)6101などのオペレーティングシステム(OS)のカーネル(kernel)と;ライブラリ/ランタイムスタック6102におけるような、アプリケーションの実行時にプログラミング言語に埋め込まれてその機能を実装するためのライブラリおよびランタイムライブラリと;アプリケーションフレームワーク6103などのアプリケーションの標準構造を実装するためのアプリケーションフレームワークと;OSカーネル、ライブラリ、およびフレームワークの上位で動作できる、HSCディスプレイアプリケーション6104などのアプリケーションとを含み得る。HSCディスプレイアプリケーション6104は、エンドユーザが、補助ディスプレイおよびハンズフリーユーザインターフェースとしてHSC100を使用できるようにし、アイコンおよびメニューインターフェースを含み得る。

HSCディスプレイアプリケーション6104のコンテキスト内で動作するアプリケーションは、音声認識入力6121と、頭部追跡入力6122と、(ホスト200からの)マークアップされた表示出力を翻訳するための、および(HSC100における)ASR/HT入力を等価のホスト200のコマンドに翻訳するための翻訳モジュール6123と、HSC100とホストデバイス200との間の双方向通信リンクを確立可能とする仮想ネットワーク接続6124とを含み得る。

ホストソフトウェアスタック6200は、リナックス(登録商標)カーネル6201などのオペレーティングシステム(OS)のカーネルと;ライブラリ/ランタイムスタック6202におけるような、アプリケーション実行時にプログラミング言語に内蔵されてその機能を実装するためのライブラリおよびランタイムライブラリと;アプリケーションフレームワーク6203などのアプリケーションの標準構造を実装するためのアプリケーションフレームワークと;OSカーネル、ライブラリ、およびフレームワークの上位で動作できる、ネイティブアプリケーション6204などのアプリケーションと;スタックおよびネイティブアプリケーション6204の上位で動作するHSC補助ディスプレイインターフェースアプリケーション6205などのセカンドクラスのアプリケーションとを含み得る。上記で詳述したように、HSC補助ディスプレイインターフェースアプリケーション6205は、エンドユーザが、補助ディスプレイおよびハンズフリーユーザインターフェースとしてHSC100を使用できるようして、ホスト200を実行するネイティブアプリケーション6204を制御できるようにする。HSC補助ディスプレイインターフェースアプリケーション6205のコンテキスト内で動作するアプリケーションは、ホストデバイス200とHSC100との間の双方向通信リンクを確立可能とする、仮想ネットワーク接続6124を含み得る。ホストソフトウェアスタック6200は、HSCソフトウェアスタック6100よりも広範囲かつ複雑であり得る。

図7は、本発明の例示的な実施形態の高レベルのフローチャートを示す。図7は、スマートフォンアプリケーションからの出力をヘッドセットコンピュータ上に表示する代替方法700のステップを示す高レベルのフローチャートである。スマートフォンアプリケーション700からの出力をヘッドセットコンピュータ上に表示する方法700は、スマートフォン上でアプリケーションを実行することと(ステップ710);ヘッドセットコンピュータを介して表示するための実行されたアプリケーションの出力を生成し、該生成は、上記実行されたアプリケーションの出力をヘッドセットコンピュータが表示するためのアクションを示す記述言語による指示を、スマートフォンが構成し送信することを含むことと(ステップ720);構成された指示をヘッドセットコンピュータにおいて低帯域幅通信リンクを介して受信し、受信された構成されるべき指示に応じて、ヘッドセットコンピュータが、示された行うべきアクション(該指示)に基づいて上記生成された出力の表示を形成および描画し、該アクションは、オンスクリーン通知、メッセージ、グラフィック要素、および、複数の予め定義された音声シーケンスのうちの1つを再生しヘッドセットコンピュータの構成要素を制御する要求、のうちのいずれかを含むことと(ステップ730)、を含み得る。

アクションはそれぞれの要素タイプであってよく、各要素タイプについて、指示は、ヘッドセットコンピュータに関して予め定義された複数のスタイルのうちの1つを示してよい。スタイルは、スタイル要素であってよい。ヘッドセットドメインにおいて描画され形成された表示は、音声認識/頭部追跡ユーザインターフェースによって提示されたメニュー選択肢およびプロンプトを含んでよい。そのようなメニュー選択肢および出力は、視覚的におよび可聴的にユーザに提示されてよい。スマートフォンとヘッドセットコンピュータとの間の通信リンクは、例えばBluetooth(登録商標)、Wi−Fi、または他の通信プロトコルなどのワイヤレス通信リンクであってよい。

図7に示す代替例の処理は、ヘッドセットコンピュータにおいて音声認識/頭部追跡ユーザインターフェースからの入力をモニタすることと;音声認識/頭部追跡コマンド入力を受信することに応じて、ヘッドセットコンピュータにおいて該受信した音声認識/頭部追跡コマンドを等価のスマートフォンコマンドに翻訳することと;該等価のスマートフォンコマンドをスマートフォンに送信して、実行されたアプリケーションを制御することと、をさらに含んでよい。そのような方法により、実行されたアプリケーションの音声(ボイスコマンド)およびハンズフリー(頭部動作追跡)によるユーザ制御が効果的に可能になる。

本発明のさらに例示的な実施形態が、コンピュータプログラム製品を用いて構成されてもよい。例えば、制御が、本発明の例示的な実施形態を実施するためのソフトウェアにプログラム化されてもよい。本発明のさらに例示的な実施形態が、プロセッサによって実行され得て、かつ、実行される際、当該プロセッサに本明細書中に記載の方法を完了させる命令を含む非一時的でコンピュータ読み取り可能な媒体を含んでもよい。本明細書中に記載したブロック図およびフローチャートの要素は、ソフトウェア、ハードウェア、ファームウェア、または将来決定される他の類似する実装形式で実装されてもよいことが理解されるべきである。また、本明細書中に記載したブロック図およびフローチャートの要素は、ソフトウェア、ハードウェアまたはファームウェアにおいて、任意の方法で組み合わされてよくまたは分割されてもよい。ソフトウェアで実施される場合、当該ソフトウェアは、本明細書中に記載した例示的な実施形態をサポートし得る任意の言語で記述されてもよい。ソフトウェアは、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、コンパクトディスクリードオンリーメモリ(CD−ROM)などの任意の形態のコンピュータ読み取り可能な媒体に記憶されていてもよい。作動中、汎用またはアプリケーションに特化したプロセッサが、当該技術分野でよく理解された方法で、ソフトウェアをロードして実行する。ブロック図およびフローチャートが、より多いまたはより少ない要素を含み、配置または向きが異なり、または表現が異なっていてもよいことがさらに理解されるべきである。本発明の実施形態の実行を説明するブロック図、フローチャート、および/もしくはネットワーク図、ならびにブロック図ならびにフローチャートの数を、実装の際に規定されてもよいことが理解されるべきである。

本明細書で引用した全ての特許、公開された出願、および参考文献の教示は、その全体が参照により本明細書に組み込まれる。

本発明をその例示的な実施形態を参照して詳細に示して説明してきたが、添付の特許請求の範囲に包含される本発明の範囲を逸脱することなく、さまざまな形の変更および詳細化がなされ得ることが当業者によって理解されるであろう。