表示領域エッジでのユーザ入力の検知

本開示は、コンピューティング装置に関する。

モバイル環境でユーザに利用可能にされる機能を増やすよう、モバイル(移動式)コンピューティング装置の開発が進められている。例えば、ユーザは、携帯電話、タブレットコンピュータ、又はその他のモバイルコンピューティング装置とインタラクトして、電子メールをチェックしたり、ウェブサーフィンしたり、文章を作成したり、アプリケーションと対話したりすることができる。伝統的なモバイルコンピューティング装置は、しばしば、ユーザが様々なデータ又は要求をコンピューティング装置に入力することを可能にするよう、タッチスクリーン機能を備えたディスプレイを採用している。しかしながら、そのような伝統的なモバイルコンピューティング装置では、或る一定のユーザ入力を認識することが困難であり、苛立たしくて使いにくい体験をユーザに与えてしまい得る。

表示領域エッジでユーザ入力を検知する技術(表示領域エッジユーザ入力センシング技術)を開示する。

1つ以上の実装形態において、ユーザ入力に関する入力データが受信される。この入力データは、装置のアクティブ表示領域内でのユーザ入力の少なくとも一部に関するデータと、装置のアクティブ表示領域の外側の領域内でのユーザ入力の少なくとも一部に関するデータとの双方を含む。受信された入力データに基づいて、このユーザ入力が決定される。

1つ以上の実装形態において、コンピューティング装置は、手で持てるフォームファクタで構成された筐体と、筐体によって支持された表示装置とを含む。表示装置は、アクティブ表示領域と、1つ以上のセンサとを有し、該1つ以上のセンサは、アクティブ表示領域に物体が近接していることに少なくとも部分的に基づき且つアクティブ表示領域の外側の領域に物体が近接していることに少なくとも部分的に基づくユーザ入力、を検知するように配置される。

この概要は、以下の詳細な説明にて更に説明される概念の一部を簡略化した形態で紹介するためのものである。この概要は、特許請求に係る事項の主要な特徴又は本質的な特徴を特定することを意図したものではなく、また、特許請求に係る事項の範囲を決定する助けとして使用されることを意図したものでもない。

添付図面を参照して詳細な説明を記述する。図面において、参照符号のうちの一番左の数字は、その参照符号が最初に現れる図を特定している。説明及び図面中の複数の異なる例における同じ参照符号の使用は、同様あるいは同一のアイテムであることを指し示す。図中に表されるエンティティは、1つ以上のエンティティを指し示していることがあり、故に、説明中では、単数形又は複数形のそのエンティティが置き換え可能に参照されることがある。

ここに記載の技術を使用するように動作可能な一実装例における環境を例示する図である。

ここに記載の技術を使用するように動作可能な他の一実装例における環境を例示する図である。

フレキシブルヒンジを更に詳細に示すように図2の入力装置の一実装例を描いた図である。

機械結合用突起と複数の通信コンタクトとを含んだ図3の接続部の斜視図を示す一実装例を描いた図である。

表示領域ユーザ入力センシング技術を実装した表示装置の一例を示す図である。

表示領域ユーザ入力センシング技術を実装した表示装置の一例の断面図を示す図である。

表示領域ユーザ入力センシング技術を実装した表示装置の他の一例の断面図を示す図である。

ここに記載の技術を使用するように動作可能な一実装例におけるシステムを例示する図である。

ユーザ入力の一例とともに図5の表示装置例を示す図である。

ユーザ入力の他の一例とともに図5の表示装置例を示す図である。

ユーザ入力の他の一例とともに図5の表示装置例を示す図である。

ユーザ入力の他の一例とともに図5の表示装置例を示す図である。

1つ以上の実施形態に従ってここに記載の技術を使用するプロセスの一例を示すフローチャートである。

ここに記載の技術の実施形態を使用するように図1−13を参照して説明された何らかの種類のコンピューティング装置として実装されることが可能な装置の一例の様々なコンポーネントを含んだシステムの一例を示す図である。

概説 表示領域エッジでユーザ入力を検知する技術(表示領域エッジユーザ入力センシング技術)が記載される。アクティブ表示領域内でのユーザ入力を検知するとともに、アクティブ表示領域の外側の拡張領域におけるユーザ入力を検知するよう、1つ以上のセンサが配置される。例えばジェスチャなどのユーザ入力に関するデータは、アクティブ表示領域及びその外側のどちらで検知されたユーザ入力からのデータをも含み得る。故に、ユーザ入力は、アクティブ表示領域の外側で開始且つ/或いは終了することができる。

以下の説明においては、先ず、ここに記載の技術を使用し得る環境例を説明する。その後、その環境例だけでなくその他の環境でも実行され得る手順例を説明する。従って、その手順例の実行はその環境例に限定されるものではなく、また、その環境例もその手順例の実行に限定されるものではない。

環境及び手順の例 図1は、ここに記載の技術を使用するように動作可能な一実装例における環境100を例示するものである。例示の環境100は、一例に係るコンピューティング装置102を含んでいる。コンピューティング装置102は様々に構成され得る。例えば、コンピューティング装置102は、例えば携帯電話及びタブレットコンピュータなど、モバイル用に構成され得る。しかしながら、ここに説明される技術は、モバイル用の装置以外の多くの種類の装置にも適用可能であり、表示領域の上又は中の入力センサを使用する多様な異なる装置のうちの何れとともに使用されてもよい。例えば、コンピューティング装置102は、デスクトップコンピュータ、店頭キオスク端末、(例えば、病院内、空港内、モール内などの)対話式ディスプレイ若しくはモニタなどであってもよい。コンピューティング装置102は、十分なメモリ資源及びプロセッサ資源を備えた完全リソース装置から、限られたメモリ資源及び/又はプロセッシング資源を低リソース装置にまで及び得る。コンピューティング装置102はまた、コンピューティング装置102に1つ以上の処理を実行させるソフトウェアにも関係し得る。

コンピューティング装置102は、例として、入力/出力モジュール108を含むものとして図示されている。入力/出力モジュール108は、コンピューティング装置102の入力の処理及び出力の描写に関する機能を表すものである。多様な異なる入力が、入力/出力モジュール108によって処理されることができ、例えば、コンピューティング装置102に結合された入力装置のキー若しくは表示装置110によって表示される仮想キーボードのキーに対応する機能に関する入力や、表示装置110のタッチスクリーン機能を介して認識されるジェスチャであって、そのジェスチャに対応する処理を実行させる入力などが処理され得る。このように、様々な入力センシング技術のうちの何れかを介してユーザ入力を受信する能力を表示装置が有することから、表示装置110のことをインタラクティブ表示装置としても参照する。入力/出力モジュール108は、キーの押下げやジェスチャなどを含む複数種類の入力間の区別を認識して利用することによって、多様な異なる入力技術をサポートし得る。

図2は、ここに記載の技術を使用するように動作可能な他の一実装例における環境200を例示するものある。例示の環境200は、フレキシブルヒンジ206を介して入力装置204に物理的且つ通信的に結合された一例に係るコンピューティング装置202を含んでいる。コンピューティング装置202は、図1のコンピューティング装置102と同様に、様々に構成され得る。コンピューティング装置202もまた、コンピューティング装置202に1つ以上の処理を実行させるソフトウェアにも関係し得る。

コンピューティング装置202は、例として、入力/出力モジュール208を含むものとして図示されている。入力/出力モジュール208は、コンピューティング装置202の入力の処理及び出力の描写に関する機能を表すものである。多様な異なる入力が、入力/出力モジュール208によって処理されることができ、例えば、入力装置204のキー若しくは表示装置210によって表示される仮想キーボードのキーに対応する機能に関する入力や、表示装置210のタッチスクリーン機能を介して認識されるジェスチャであって、そのジェスチャに対応する処理を実行させる入力などが処理され得る。このように、様々な入力センシング技術のうちの何れかを介してユーザ入力を受信する能力を表示装置が有することから、表示装置210のことをインタラクティブ表示装置としても参照する。入力/出力モジュール208は、キーの押下げやジェスチャなどを含む複数種類の入力間の区別を認識して利用することによって、多様な異なる入力技術をサポートし得る。

図示した例において、入力装置204は、クワーティ(QWERTY)配列のキーを有するキーボードとして構成されているが、その他の配列のキーも企図される。また、例えばゲームコントローラや楽器を模した構成など、その他の非従来型の構成も企図される。故に、入力装置204及びそれに組み込まれたキーは、多様な異なる機能をサポートする多様な異なる構成を想定し得る。

先述のように、入力装置204は、この例ではフレキシブルヒンジ206の使用により、コンピューティング装置202に物理的且つ通信的に結合されている。フレキシブルヒンジ206は、ヒンジによって支持される回転動作が、ピンによって支持されるような機械的な回転(そのような実施形態も企図されるが)とは対照的に、ヒンジを形成する材料の屈曲(例えば、曲げ)によって達成されるという点でフレキシブルである。また、このフレキシブル回転は、1つの方向(例えば、図中の縦方向)での動きを支援するが、例えばコンピューティング装置202に対する入力装置204の横方向の動きなどの、その他の方向の動きを制限するように構成され得る。これは、例えば、電力状態やアプリケーション状態などを変化させるために使用されるセンサを位置合わせするためなどの、コンピューティング装置202に対する入力装置204の一貫したアライメントを支援するために使用され得る。

フレキシブルヒンジ206は、例えば、1層以上の織物を用いて形成されることができ、入力装置204をコンピューティング装置202に通信可能に結合し且つその逆の結合も行うフレキシブル配線として形成された導電体を含み得る。この通信は、例えば、キー押下げの結果をコンピューティング装置202に伝達すること、コンピューティング装置202から電力を受け取ること、認証を実行すること、補助電力をコンピューティング装置202に供給することなどのために使用され得る。フレキシブルヒンジ206は様々に構成されることができ、その更なる説明を後続の図との関連で行うこととする。

図3は、フレキシブルヒンジ206を更に詳細に示すように図2の入力装置204の一実装例300を示している。この例では、入力装置の接続部302が、入力装置204とコンピューティング装置202との間の通信的且つ物理的な接続を提供するように構成されて示されている。この例においては、接続部302は、コンピューティング装置202の筐体内の溝に受容されるように構成された高さ及び断面を有しているが、この構成はその精神及び範囲を逸脱することなく逆にされてもよい。

接続部302は、フレキシブルヒンジ206の使用を介して、キーを含んだ入力装置204の一部にフレキシブルに接続されている。故に、接続部302がコンピューティング装置に物理的に接続されると、接続部302とフレキシブルヒンジ206との組み合わせが、書籍の背貼り(ヒンジ)に類似したコンピューティング装置202に対する入力装置204の動作を支援する。

例えば、入力装置204が、コンピューティング装置202の表示装置210に接して置かれ、それによりカバーとして作用し得るように、フレキシブルヒンジ206によって回転動作が支援され得る。入力装置204はまた、コンピューティング装置202の背部に接して(例えば、コンピューティング装置202上の表示装置210とは反対側に配置されたコンピューティング装置202の後部筐体に接して)配置されるように回転されてもよい。

当然に、多様なその他の位置付けも支援される。例えば、コンピューティング装置202及び入力装置204は、これら双方が図2に示された表面に対してフラットに置かれるような配置を想定し得る。他の例においては、タイプ打ちを支援し得るように、入力装置204は表面に対してフラットに置かれ、コンピューティング装置202は、例えば、コンピューティング装置202の背面に置かれるスタンドを使用するなどして、表示装置210を眺めることを可能にする角度に配置される。例えば三脚型配置、ミーティング用配置、及びプレゼンテーション用配置など、その他の例も企図される。

接続部302は、この例では、磁気結合デバイス304、306と、機械結合用突起308、310と、複数の通信コンタクト312とを含むものとして示されている。磁気結合デバイス304、306は、1つ以上の磁石の使用により、コンピューティング装置202の相補的な磁気結合デバイスと磁気的に結合するように構成される。斯くして、入力装置204は、磁力を使用して、コンピューティング装置202に物理的に取り付けられ得る。

接続部302はまた、入力装置204とコンピューティング装置202との間に機械的な物理接続を形成するための機械結合用突起308、310を含んでいる。機械結合用突起308、310は、次の図にて更に詳細に示されている。

図4は、機械結合用突起308、310と複数の通信コンタクト312とを含んだ図3の接続部302の斜視図を示す実装例400を示している。図示のように、機械結合用突起308、310は、接続部302の表面から離れる方向に延在するように構成されており、この例においては垂直であるが、その他の角度も企図される。

機械結合用突起308、310は、コンピューティング装置202の上記溝内の相補的なキャビティ(穴)内に受容されるように構成される。そのように受容されるとき、機械結合用突起308、310は、これら突起の高さ及びキャビティの深さに対応するように定められる軸に整列されない力が加えられるときの、これら装置間の機械的な結び付きを促進する。

例えば、突起の高さ及びキャビティの深さに従う先述の縦軸に一致する力が印加されるとき、ユーザは、磁石のみによって与えられる力に打ち勝って、入力装置204をコンピューティング装置202から分離する。しかしながら、その他の角度では、機械結合用突起308、310がキャビティ内で機械的に結び付き、それにより、入力装置204をコンピューティング装置202から取り外すことに耐える力が、磁気結合デバイス304、306の磁力に加えて生み出される。斯くして、機械結合用突起308、310は、書籍からページを破り取るのをまねるようにコンピューティング装置202から入力装置204を取り外すことにバイアスを掛けることができるとともに、装置を分離しようとするその他の試みを制限し得る。

接続部302はまた、複数の通信コンタクト312を含むものとして示されている。複数の通信コンタクト312は、コンピューティング装置202の対応する通信コンタクトと接触して、装置間の通信結合を形成するように構成される。通信コンタクト312は、例えば、入力装置204とコンピューティング装置202との間の一貫した通信接点を提供するように構成された複数のばね仕掛けのピンを用いた形成によるなど、多様な手法で構成され得る。故に、通信接点は、装置のぶつかり合いなどの小さい動き中にもそのままであるように構成され得る。コンピューティング装置202上にピンを配置し且つ入力装置204上にコンタクトを配置することを含め、多様なその他の例も企図される。

表示領域エッジユーザ入力センシング技術は、アクティブ表示領域の外側でのユーザ入力を検知するために、拡張センサ領域に配置された1つ以上のセンサを使用する。また、アクティブ表示領域内でのユーザ入力を検知するために1つ以上のセンサが配置される。拡張センサ領域は、アクティブ表示領域の近傍(例えば、5ミリメートル以内)にあり、典型的にはアクティブ表示領域に隣接している。

図5は、表示領域ユーザ入力センシング技術を実装した表示装置500の一例を示している。表示装置500は、様々なデータ及び情報がコンピューティング装置によって表示され得るアクティブ表示領域502を含んだインタラクティブ表示装置である。表示領域502は、表示されるデータ及び情報が、場合によりコンピューティング装置によって受信されたユーザ入力に応答して、時間とともに変更されることができるので、アクティブ表示領域として参照される。表示装置500はまた、アクティブ表示領域502を囲み且つそれに隣接した、平行線模様で図示された拡張センサ領域504を含んでいる。例えばユーザの手の指、スタイラス及びペンなどの物体が、アクティブ表示領域502の表面及び/又は拡張センサ領域504の表面に触れているとき及び/又はこれら表面に近接しているとき、ユーザ入力を受け取ることができる。拡張センサ領域504は、アクティブ表示領域502のエッジに沿ったユーザ入力を検知することの助けとなる。アクティブ表示領域502のエッジとは、拡張センサ領域504に最も近いアクティブ表示領域502の部分であるアクティブ表示領域502の外縁を意味する。

拡張センサ領域504は、例えば、アクティブ表示領域502の外側に2ミリメートル延在することができるが、その他の延在量も企図される。拡張センサ領域504は、アクティブ表示領域502の周囲全体でアクティブ表示領域502の外側に同じ量だけ延在してもよいし、それに代えて、異なる量だけ延在してもよい。例えば、拡張センサ領域504は、縦方向に2ミリメートルだけ、そして横方向に4ミリメートルだけ、アクティブ表示領域502の外側に延在することができる。拡張センサ領域504はまた、異なる種類の装置で様々にされてもよく、また、特定の種類の装置に対してカスタマイズされてもよい。例えば、より遠くから入力を受け取ることができるインタラクティブ装置(例えば、10センチメートルほど離れても入力を検知することができるインタラクティブディスプレイ及び店頭キオスク端末)は、より近くでのインタラクションから入力を受け取る装置(例えば、タッチを検知するタブレット)より、より遠くまで(例えば、2−4ミリメートルではなく10−15センチメートル)表示領域を超えて延在する拡張センサ領域を有し得る。

表示領域エッジユーザ入力センシング技術を実装する表示装置は、多様なアクティブディスプレイ技術を使用することができる。それらのアクティブディスプレイ技術は、例えば、フレキシブルディスプレイ技術、電子書籍リーダディスプレイ技術、液晶ディスプレイ(LCD)技術、発光ダイオード(LED)ディスプレイ技術、有機発光ダイオード(OLED)ディスプレイ技術、及びプラズマディスプレイ技術などを含み得る。ディスプレイ技術の例がここに説明されているが、その他のディスプレイ技術も企図される。

表示領域エッジユーザ入力センシング技術を実装する表示装置は、多様な異なる入力センシング技術を使用することができる。それらの入力センシング技術は、タッチを検知する容量式(キャパシティブ)システム及び/又は抵抗式(レジスティブ)システムを含み得る。それらの入力センシング技術はまた、ペン(又はその他の物体)入力を検知する誘導式(インダクティブ)システムを含み得る。それらの入力センシング技術はまた、例えばセンサ・イン・ピクセル(SIP)システム、赤外線システム、及び光イメージングシステムなど、表示装置の表面に触れている(あるいはその近くの)物体からの光の反射又は途絶を検知する光ベースのシステムを含み得る。例えば表面音響波システム、音響パルス認識システム、及び分散信号システムなど、その他の種類の入力センシング技術も使用されることができる。入力センシング技術の例がここに説明されているが、その他の入力センシング技術も企図される。また、これらの入力センシング技術は、例えば拡張容量式センサを備えた圧電センサなど、他の触覚入力を実現するように共に組み合わされてもよい。

表示装置に使用される入力センシング技術に応じて、ユーザ入力は、物体(例えば、ユーザの手の指、スタイラス、及びペンなど)が表示領域の表面に触れているとき及び/又は表示装置の表面に近接しているときに、受け取られることができる。この近接性は例えば5ミリメートルとし得るが、様々な近接性が企図され、また、表示装置が実装される手法に応じて変わり得る。表示装置に対する物体の近接性は、表示装置の平面に垂直な方向に沿った、表示装置からの物体の距離を参照するものである。

図6は、表示領域ユーザ入力センシング技術を実装した一例に係る表示装置600の断面図を示している。表示装置600は、アクティブ表示層602とその上に配置された入力センシング層604とを含んでいる。なお、これらの層602及び604は個別の層として図示されているが、層602及び604の各々それ自体が複数の層で構成されてもよい。入力センシング層604及びアクティブ表示層602は、上述のように、多様な異なる技術を用いて実現されることができる。なお、図6には示されていないが、何らかの数の更なる層が表示装置600に含められ得る。例えば、ガラス又はプラスチックからなる更なる保護層を入力センシング層604の上に配設することができる。

入力センシング層604に接触あるいは近接しているユーザの指606(又はその他の物体)が、入力センシング層604によって検知される。ユーザの指606(又はその他の物体)が層604によって検知された位置が、検知物体位置として層604によって提供され、より詳細に後述するように、ユーザ入力を特定するために使用される。

入力センシング層604は、複数のセンサを含むとともに、アクティブ表示領域602の外側に、拡張センサ領域608、610まで延在している。センサの個数及びセンサの配置され方は、実装と入力センシング層604に使用される入力センシング技術とに基づいて様々となり得る。入力センシング層604は、部分612と部分614及び616とを含んでいる。

部分612内で、アクティブ表示層602の上方の入力センシング層604に1つ以上のセンサが配置され得る。層602の上方に配置されたこれらのセンサは、ユーザの指606(又はその他の物体)がアクティブ表示層602の上方で層604に接触あるいは近接していることを検知するものであり、故に、アクティブ表示領域内及び/又は上のユーザ入力を検知するもの、及びアクティブ表示領域内に配置されているものとしても参照される。

また、部分614、616内で、それぞれ、拡張センサ領域608、610の上方の入力センシング層604にも1つ以上のセンサが配置され得る。拡張センサ領域608、610は、図6に例示されるように、アクティブ表示層602の上ではない。拡張センサ領域608、610の上方に配置されたこれらのセンサは、ユーザの指606(又はその他の物体)が拡張センサ領域608、610の上方で層604に接触あるいは近接していることを検知するものであり、故に、拡張センサ領域608、610内及び/又は上のユーザ入力を検知するものとしても参照される。拡張センサ領域608、610はアクティブ表示層602の上ではないので、拡張センサ領域608、610の上方に配置されたこれらのセンサはまた、アクティブ表示領域の外側の領域内のユーザ入力を検知するもの、及びアクティブ表示領域の外側の領域内に配置されているものとしても参照される。

他の例では、センサは、例えば、入力センシング層604の外縁(周縁)に沿ってや、入力センシング層604のコーナー部になど、他のやり方で入力センシング層604に配置されてもよい。そのようなセンサもなお、アクティブ表示領域内及び/又は上のユーザ入力と、アクティブ表示領域の外側の領域内のユーザ入力とを検知し得る。

図7は、表示領域ユーザ入力センシング技術を実装した他の一例に係る表示装置700の断面図を示している。表示装置700は、アクティブ表示層702とその上に配置された入力センシング層704とを含んでいる。入力センシング層704及びアクティブ表示層702は、上述のように、多様な異なる技術を用いて実現されることができる。これらの層702及び704は、下部パネル層706と上部パネル層708との間に配置されている。パネル層706、708は、例えばガラスやプラスチックなど、様々な材料で製造され得る。なお、層702、704、706及び708は個別の層として図示されているが、層702、704、706及び708の各々それ自体が複数の層で構成されてもよい。これらの層はまた、フレキシブルな層であってもよく、3次元(3D)インタラクティブ装置に適用されてもよい。

必要に応じて、図7中に平行線模様で示されるように、パネル層706と708との間に更なる支持材料714、716が含められる。支持材料714、716は、層702及び704が延在していないパネル層間の領域に対する追加の支持を提供する。支持材料714、716は、例えばガラス、プラスチック及び接合接着剤などの様々な材料とすることができる。

入力センシング層704に接触あるいは近接しているユーザの指606(又はその他の物体)が、入力センシング層704によって検知される。ユーザの指606(又はその他の物体)が層704によって検知された位置が、検知物体位置として層704によって提供され、より詳細に後述するように、ユーザ入力を特定するために使用される。

入力センシング層704は、複数のセンサを含むとともに、アクティブ表示領域702の外側に、拡張センサ領域710、712まで延在している。しかしながら、入力センシング層704は、図示のように、パネル層706、708ほど遠くまで延在する必要はない。入力センシング層704に含められるセンサの個数及びセンサの配置され方は、実装と入力センシング層704に使用される入力センシング技術とに基づいて様々となり得る。入力センシング層704は、部分718と部分720及び722とを含んでいる。

部分718内で、アクティブ表示層702の上方の入力センシング層704に1つ以上のセンサが配置される。層702の上方に配置されたこれらのセンサは、ユーザの指606(又はその他の物体)がアクティブ表示層702の上方でパネル層708に接触あるいは近接していることを検知するものであり、故に、アクティブ表示領域内及び/又は上のユーザ入力を検知するもの、及びアクティブ表示領域内に配置されているものとしても参照される。

また、部分720、722内で、それぞれ、拡張センサ領域710、712の上方の入力センシング層704にも1つ以上のセンサが配置される。拡張センサ領域710、712は、図7に例示されるように、アクティブ表示層702の上ではない。拡張センサ領域710、712の上方に配置されたこれらのセンサは、ユーザの指606(又はその他の物体)が拡張センサ領域710、712の上方でパネル層708に接触あるいは近接していることを検知するものであり、故に、拡張センサ領域710、712内及び/又は上のユーザ入力を検知するものとしても参照される。拡張センサ領域710、712はアクティブ表示層702の上ではないので、拡張センサ領域710、712の上方に配置されたこれらのセンサはまた、アクティブ表示領域の外側の領域内のユーザ入力を検知するもの、及びアクティブ表示領域の外側の領域内に配置されているものとしても参照される。

他の例では、センサは、例えば、入力センシング層704の外縁(周縁)に沿ってや、入力センシング層704のコーナー部になど、他のやり方で入力センシング層704に配置されてもよい。そのようなセンサもなお、アクティブ表示領域内及び/又は上のユーザ入力と、アクティブ表示領域の外側の領域内のユーザ入力とを検知し得る。

なお、図6及び7の入力センシング層は、アクティブ表示層の上方に配置されるものとして示されているが、その他の構成も企図される。例えば、入力センシング層は、アクティブ表示層の内部や下方にあってもよい。入力センシング層はまた、複数の構成を有していてもよい。入力センシング層は、プラスチック及び/又はガラスの基板の両側にあってもよいし、あるいはプラスチック層、ガラス層及び/又はその他の光学的に透明な層の同じ側にあってもよい。

図8は、ここに記載の技術を使用するように動作可能な一実装例におけるシステム800を例示するものである。システム800は、入力データ収集モジュール802と入力ハンドラーモジュール804とを含んでいる。システム800は、例えば、図1のコンピューティング装置102又は図2のコンピューティング装置202内に実装され得る。なお、モジュール802と804とがシステム800内に示されているが、1つ以上の更なるモジュールがシステム800に含められてもよい。また、モジュール802の機能及び/又はモジュール804の機能は、複数のモジュールに分離されることができる。

入力データ収集モジュール802は、検知物体位置のインジケーション806を受信する。これらの検知物体位置インジケーション806は、表示装置の入力センシング層によって検知された物体(例えば、ユーザの指又はペン)の位置を指し示すものである。必要に応じて、入力センシング層によって検知された位置に関連付けられたタイミング情報も、検知物体位置インジケーション806の一部として含められることができる。このタイミング情報は、或る特定の位置がいつ検知されたかを指し示し、様々な形態を取り得る。例えば、このタイミング情報は、不変のタイムフレーム又はクロックに対するものであってもよいし、先行する位置が検知されてからの時間量であってもよい。他の例では、タイミング情報は、検知物体位置インジケーション806の受信のタイミングに基づいて、入力データ収集モジュール802によって生成され得る。

入力データ収集モジュール802は、検知物体位置インジケーション806を用いて入力データ808を生成する。入力データ808は、ユーザ入力の位置及び動きを記述する。入力データ808は、検知物体位置インジケーション806と、モジュール802によって受信且つ/或いは生成された、それらの位置に関する何らかの関連タイミング情報とであってもよい。

さらに、ユーザ入力は、関連存続続期間を有することができ、これは、或る物体が表面に接触(あるいは近接)していることが検知されるときに開始して、その物体がもはや表示装置の表面に接触(あるいは近接)しているものとして検知されなくなるときに終了する時間期間を表すものである。この関連存続期間は、入力データ収集モジュール802によって特定されて入力データ808の一部として含められ得る。

ユーザ入力はまた、関連速度を有することができ、これは、検知されている物体が移動している速さを表すものである。この速さは、特定の距離を特定の時間量で割ったものであり、例えば、秒当たりのインチ数やミリ秒当たりのミリメートル数などである。この関連速度は、入力データ収集モジュール802によって特定されて入力データ808の一部として含められてもよいし、その他の手法で使用されてもよい(例えば、より詳細に後述するように、入力データ808を入力ハンドラーモジュール804にいつ提供すべきかを決定するため)。

入力データ収集モジュール802は、入力データ808を入力ハンドラーモジュール804に提供し、入力ハンドラーモジュール804が、その入力が何であるかを決定する。ユーザ入力は、例えばジェスチャ又はマウス移動など、様々な形態を取ることができる。ジェスチャは、コンピューティング装置の1つ以上の機能を起動するために物体(例えば、ユーザの指)によって取られる動作又は経路を表す。例えば、ジェスチャは、ユーザの指を特定の方向にスライドさせることや、ユーザの指で特定の文字又は記号(例えば、円、文字“Z”、等々)を描くことなどとし得る。ジェスチャはまた、コンピューティング装置の1つ以上の機能を起動するために複数の物体(例えば、ユーザの複数の指)が特定の動作又は経路を取るマルチタッチ入力を含んでもよい。マウス移動は、表示装置上で何か(例えば、カーソル若しくはポインタ、ドラッグアンドドロップされる物体、等々)を動かすために物体(例えば、ユーザの指)によって取られる動作又は経路を表す。ジェスチャとマウス移動とがここに説明されているが、様々なその他の種類のユーザ入力も企図される。

入力ハンドラーモジュール804は、多様な公開技術及び/又は専有技術のうちの何れかを用いて、ユーザ入力が何であるかを入力データ808に基づいて決定し得る。例えば、入力ハンドラーモジュール804は、ユーザ入力が特定のジェスチャや特定のマウス移動などであることを決定することができる。入力ハンドラー804はまた、入力の特徴(例えば、入力の大きさ及び/又は入力の速度)を分析して、カスタマイズされたユーザ体験用にディスプレイ又はその他の出力を設定してもよい。例えば、小さい指での小さい入力を処理して、子供に好適な、フォント、色、及びアプリケーションなどを調整することができる。

入力ハンドラーモジュール804はまた、決定したユーザ入力に基づいて、様々なアクションを起こしてもよい。例えば、入力ハンドラーモジュール804は、要求された機能又は動作を実行するために、決定したユーザ入力を指し示すものを、コンピューティング装置の1つ以上のその他モジュールに提供し得る。他の一例として、入力ハンドラーモジュール804それ自体が、要求された機能又は動作を実行してもよい。

入力データ収集モジュール802は、様々な時に、入力データ808を入力ハンドラーモジュール804に提供し得る。例えば、入力データ収集モジュール802は、入力データ808が生成されたときに、入力データ808を入力ハンドラーモジュール804に提供し得る。他の一例として、入力データ収集モジュール802は、ユーザ入力が完了した後に(例えば、そのユーザ入力に関する存続期間が過ぎ去り、その物体がもはや表示装置の表面に接触(あるいは近接)しているとして検知されなくなった後に)、入力データ808を入力ハンドラーモジュール804に提供してもよい。

他の例では、入力データ収集モジュール802は、或るユーザ入力に関する入力データ808を、或る特定のイベントが発生するまで、該入力データ808を入力ハンドラーモジュール804に提供せずに保持してもよい。様々な異なるイベントが、モジュール802をして、入力データ808をモジュール804に提供させることができる。モジュール802をして入力データ808をモジュール804に提供させ得る1つのイベントは、物体の位置によって指し示されるユーザ入力がアクティブ表示領域内にあることである。故に、ユーザ入力がアクティブ表示領域内にあることに応答して、モジュール802は入力データ808をモジュール804に提供する。

モジュール802をして入力データ808をモジュール804に提供させ得る別の1つのイベントは、ユーザ入力がアクティブ表示の外側にあるものの、今後に(例えば、ユーザ入力の関連存続期間中に)アクティブ表示領域内になることが予測されることである。ユーザ入力は、例えばユーザ入力の速度及び/又はユーザ入力の向きに基づいてなど、様々なルール又は基準に基づいて、今後にアクティブ表示領域内になると予測されることができる。例えば、ユーザ入力がアクティブ表示領域の外側にあり、且つユーザ入力の向きがアクティブ表示領域を向いている場合、そのユーザ入力は今後にアクティブ表示領域内になると予測される。他の一例として、ユーザ入力がアクティブ表示領域の外側にあり、ユーザ入力の向きがアクティブ表示領域を向いており、且つユーザ入力の速さが閾量より大きい場合、そのユーザ入力は今後にアクティブ表示領域内になると予測される。この閾量は例えば毎秒4インチとし得るが、その他の閾量も企図される。故に、ユーザ入力が今後にアクティブ表示領域内になると予測されることに応答して、モジュール802は入力データ808をモジュール804に提供する。

図9は、ユーザ入力の一例とともに図5の表示装置例500を示している。表示装置500は、上述のように、拡張センサ領域504(平行線模様を用いて図示)によって囲まれたアクティブ表示領域502を含んでいる。ユーザの指606を介して、ユーザ入力が受け取られる。

図9のユーザ入力は、右から左への動作として示されており、このユーザ入力は、拡張センサ領域504内で開始してアクティブ表示領域502内に移動している。ユーザの指の終了位置が、破線の輪郭の手を用いて示されている。ユーザ入力の検知が、ユーザの指606がアクティブ表示領域502内に移動するより前に、拡張センサ領域504内で開始する。図9のユーザの指606の動作によって指し示されるユーザ入力は、拡張センサ領域504が表示装置500に含められなかった場合より素早く特定され得る。より素早くユーザ入力が特定され得るのは、拡張センサ領域504がない場合には、アクティブ表示領域502のエッジにユーザの指606が到達するまで、ユーザの指606の位置が検知され始めないからである。

図9のユーザ入力は、拡張センサ領域内で開始するとして示されている。しかしながら、言及しておくべきことには、ユーザ入力はアクティブ表示領域502及び拡張センサ領域504の双方の外側で(例えば、表示装置500のエッジに沿ったところで)開始してもよい。ユーザ入力はなおも、拡張センサ領域504が表示装置500に含められなかった場合より素早く特定され得る。何故なら、(ユーザの指606がアクティブ表示領域502に到達するのを待つのでなく)拡張センサ領域504にユーザの指606が到達した時に、動作が検知され始めることになるからである。

図10は、ユーザ入力の他の一例とともに図5の表示装置例500を示している。表示装置500は、上述のように、拡張センサ領域504(平行線模様を用いて図示)によって囲まれたアクティブ表示領域502を含んでいる。ユーザの指606を介して、ユーザ入力が受け取られる。

図10のユーザ入力は、左から右への動作として示されており、このユーザ入力は、アクティブ表示領域502内で開始して拡張センサ領域504内で終了している。ユーザの指の終了位置が、破線の輪郭の手を用いて示されている。他の例では、動作の終了位置は、アクティブ表示領域502及び拡張センサ領域504の双方の外側(例えば、表示装置500のエッジに沿ったところ)であってもよい。ユーザ入力の検知が、ユーザの指606が拡張センサ領域504内に移動するより前に、アクティブ表示領域内で開始する。ユーザの指606の動作を拡張センサ領域504内で終わらせる(あるいは、ユーザの指の動作が拡張センサ領域504を通り過ぎるようにする)ことにより、ユーザ入力を特定する際に、拡張センサ領域504内でのユーザ入力の位置を使用することができる。例えば、図8の入力ハンドラーモジュール804により、表示領域のエッジ付近に表示された特定のアイコン又はオブジェクトに留まるようにユーザによって意図された入力とは対照的に、そのユーザ入力が表示装置を横切って左から右へのジェスチャ又はスワイプであることが決定され得る。

図11は、ユーザ入力の他の一例とともに図5の表示装置例500を示している。表示装置500は、上述のように、拡張センサ領域504(平行線模様を用いて図示)によって囲まれたアクティブ表示領域502を含んでいる。ユーザの指606を介して、ユーザ入力が受け取られる。

図11のユーザ入力は、“<”形状での右から左及び上から下への動作として示されている。図11のユーザ入力は、アクティブ表示領域502内で開始して終了しているが、拡張センサ領域504を通っている。ユーザの指の終了位置が、破線の輪郭の手を用いて示されている。拡張センサ領域504内でのユーザ入力の検知は、図11に示されたユーザ入力がアクティブ表示領域502のエッジに沿って入力されることを可能にする。ユーザ入力がアクティブ表示領域502のエッジの外側を通るとしても、拡張センサ領域504内でユーザ入力が検知される。

図12は、ユーザ入力の他の一例とともに図5の表示装置例500を示している。表示装置500は、上述のように、拡張センサ領域504(平行線模様を用いて図示)によって囲まれたアクティブ表示領域502を含んでいる。ユーザの指606を介して、ユーザ入力が受け取られる。

図12のユーザ入力は、左から右への動作として示されており、このユーザ入力は、アクティブ表示領域502内に移動することなく、拡張センサ領域504内で開始して終了している。ユーザの指の終了位置が、破線の輪郭の手を用いて示されている。ユーザ入力の検知が拡張センサ領域504内で開始する。しかしながら、ユーザの指606はアクティブ表示領域502内に移動されず、且つユーザの指606の移動方向はアクティブ表示領域502の方を向いていないので、このユーザ入力に関する入力データは、図8の入力ハンドラーモジュール804に提供される必要がない。故に、ユーザ入力が拡張センサ領域504内に留まったままであるときには、ユーザ入力に基づくアクションが起こされる必要はない。

図13は、1つ以上の実施形態に従ってここに記載の技術を使用する一例に係るプロセス1300を示すフローチャートである。プロセス1300は、例えば図1のコンピューティング装置102又は図2のコンピューティング装置202などのコンピューティング装置によって実行され、また、ソフトウェア、ファームウェア、ハードウェア、又はこれらの組み合わせにて実装されることができる。プロセス1300は、一組のステップとして示されており、様々なステップの処理を実行することには図示の順序に限定されない。プロセス1300は、ここに記載の技術を使用する一プロセス例であり、ここに記載の技術を使用することについての更なる説明は、様々な図を参照してここに含められている。

プロセス1300において、入力データが受信される(ステップ1302)。入力データは、上述のように、装置のアクティブ表示領域内でのユーザ入力の少なくとも一部に関するデータと、装置のアクティブ表示領域の外側の領域内でのユーザ入力の少なくとも一部に関するデータとを含む。

入力データに基づいて、ユーザ入力が決定される(ステップ1304)。ユーザ入力が何であるかを決定するために、上述のように、多様な公開技術及び/又は専有技術のうちの何れかが使用され得る。

ユーザ入力によって指し示されるアクションが実行される(ステップ1306)。このアクションは、上述のように、様々な機能又は動作の実行とし得る。

システム及び装置の例 図14は、ここに記載の様々な技術を実装し得る1つ以上のコンピューティングシステム及び/又は装置を表す一例に係るコンピュータ装置1402を含んだシステムの一例(全体として参照符号1400)を示している。コンピューティング装置1402は、例えば、ユーザの片手又は両手で握られて担持されるような大きさに形成された筐体を使用するモバイル構成を想定して構成されることができ、その例には、携帯電話、モバイル型のゲーム及び音楽機器、並びにタブレットコンピュータが含まれるが、その他の例及び構成も企図される。

図示した例に係るコンピューティング装置1402は、互いに通信可能に結合された、処理システム1404と、1つ以上のコンピュータ可読媒体1406と、1つ以上のI/Oインタフェース1408とを含んでいる。図示されていないが、コンピューティング装置1402は更に、様々なコンポーネントを互いに結合するシステムバス又はその他のデータ・コマンド伝送システムを含み得る。システムバスは、多様なバスアーキテクチャのうちの何れかを使用する、例えばメモリバス若しくはメモリコントローラ、ペリフェラルバス、ユニバーサルシリアルバス、及び/又はプロセッサ若しくはローカルバスなどの、様々なバス構造のうちの何れか1つ又は組み合わせを含むことができる。例えば制御・データラインなどの多様なその他の例も企図される。

処理システム1404は、ハードウェアを用いて1つ以上の処理を実行する機能を表す。従って、処理システム1404は、プロセッサや機能ブロックなどとして構成され得るハードウェア要素1410を含むものとして図示されている。これは、特定用途向け集積回路、又は1つ以上の半導体を用いて形成されるその他の論理デバイスとしての、ハードウェアでの実装を含み得る。ハードウェア要素1410は、それを形成する材料や、それで採用される処理機構によって限定されるものではない。例えば、プロセッサは半導体及び/又はトランジスタ(例えば、電子集積回路(IC))で構成され得る。そのような場合、プロセッサ実行可能命令は、電子的に実行可能な命令とし得る。

コンピュータ可読記憶媒体1406は、メモリ/ストレージ1412を含むものとして図示されている。メモリ/ストレージ1412は、1つ以上のコンピュータ可読媒体に付随するメモリ/ストレージキャパシティを表す。メモリ/ストレージコンポーネント1412は、揮発性媒体(例えば、ランダムアクセスメモリ(RAM)など)及び/又は不揮発性媒体(例えば、読み出し専用メモリ(ROM)、フラッシュメモリ、光ディスク、及び磁気ディスクなど)を含み得る。メモリ/ストレージコンポーネント1412は、固定式の媒体(例えば、RAM、ROM、及び固定ハードドライブなど)、並びに取り外し可能な媒体(例えば、フラッシュメモリ、リムーバブルハードドライブ、及び光ディスクなど)を含み得る。コンピュータ可読媒体1406は、更に後述するような多様なその他の手法で構成されてもよい。

入力/出力インタフェース1408は、様々な入力/出力装置を用いて、ユーザがコマンド及び情報をコンピューティング装置1402に入力することを可能にするとともに、情報がユーザ及び/又はその他のコンポーネント若しくは装置に提示されることを可能にする機能を表す。入力装置の例は、キーボード、カーソル制御装置(例えばマウス)、マイクロフォン、スキャナ、タッチ機能(例えば、物理的なタッチを検出するように構成された容量式センサ又はその他のセンサ)、及びカメラ(例えば、タッチを伴わないジェスチャとして動作を認識するために、可視波長又は例えば赤外線周波数などの非可視波長を使用し得る)などを含む。出力装置の例は、表示装置(例えば、モニタ又はプロジェクタ)、スピーカ、プリンタ、ネットワークカード、及び触覚応答装置などを含む。故に、コンピューティング装置1402は、ユーザインタラクションをサポートするように多様な手法で構成され得る。

コンピューティング装置1402は更に、多様な機能をサポートするように構成され得る1つ以上のモジュール1418を含むものとして図示されている。これら1つ以上のモジュール1418は、例えば、検知物体位置のインジケーションに基づいて入力データを生成すること、及び該入力データに基づいてユーザ入力が何であるかを決定することなどを行うように構成され得る。モジュール1418は、例えば、図8の入力データ収集モジュール802及び/又は入力ハンドラーモジュール804を含み得る。

ここでは、様々な技術が、ソフトウェア、ハードウェア要素、又はプログラムモジュールの一般的状況にて説明されていることがある。概して、そのようなモジュールは、特定のタスクを実行するか特定の抽象データ型を使用するかであるルーチン、プログラム、オブジェクト、エレメント、コンポーネント及びデータ構造などを含む。用語“モジュール”、“機能”、及び“コンポーネント”は、ここでは概して、ソフトウェア、ファームウェア、ハードウェア、又はこれらの組み合わせを表す。ここに記載の技術の機構はプラットフォーム無依存であり、すなわち、これらの技術は、多様なプロセッサを有する多様な商用コンピューティングプラットフォーム上に実装されることができる。

記載されたモジュール及び技術を実装したものが、何らかの形態のコンピュータ可読媒体に格納されるか、あるいは何らかの形態のコンピュータ可読媒体の間で伝送されるかし得る。コンピュータ可読媒体は、コンピューティング装置1402によってアクセスされ得る多様な媒体を含み得る。限定ではなく例として、コンピュータ可読媒体は、“コンピュータ可読記憶媒体”及び“コンピュータ可読信号媒体”を含み得る。

“コンピュータ可読記憶媒体”は、単なる信号伝送や搬送波や信号それ自体ではなく、情報の永続的且つ/或いは非一時的な保管を可能にする媒体及び/又は装置を表し得る。故に、コンピュータ可読記憶媒体は、信号搬送媒体でないものを表す。コンピュータ可読記憶媒体は、例えば、揮発性及び不揮発性のリムーバブル及び非リムーバブルの媒体、及び/又は例えばコンピュータ可読命令、データ構造、プログラムモジュール、論理要素/回路又はその他のデータなどの情報の保管に適した方法又は技術にて実現された記憶装置などの、ハードウェアを含む。コンピュータ可読記憶媒体の例は、以下に限られないが、RAM、ROM、EEPROM、フラッシュメモリ若しくはその他のメモリテクノロジ、CD−ROM、デジタル多用途ディスク(DVD)若しくはその他の光ストレージ、ハードディスク、磁気カセット、磁気テープ、磁気ディスクストレージ若しくはその他の磁気記憶装置、又は、所望の情報を格納するのに好適であり且つコンピュータによってアクセス可能なその他の記憶装置、有形媒体若しくは製造品を含み得る。

“コンピュータ可読信号媒体”は、例えばネットワークを介して、コンピューティング装置1402のハードウェアに命令を伝送するように構成された信号搬送媒体を表し得る。信号媒体は典型的に、コンピュータ可読命令、データ構造、プログラムモジュール又はその他のデータを、例えば搬送波、データ信号又はその他の輸送機構などの、変調されたデータ信号にて具現化し得る。信号媒体はまた、何らかの情報送達媒体を含む。用語“変調されたデータ信号”は、当該信号内に情報をエンコードするように当該信号の特性のうちの1つ以上が設定あるいは変化された信号を意味する。限定ではなく例として、通信媒体は、例えば有線ネットワーク若しくは直接配線接続などの有線媒体、並びに例えば音響、RF、赤外線及びその他のワイヤレス媒体などの無線媒体とを含む。

先述のように、ハードウェア要素1410及びコンピュータ可読媒体1406は、例えば1つ以上の命令を実行するなどここに記載の技術の少なくとも一部の態様を実行するように一部の実施形態にて使用され得るハードウェア形態にて実装された、モジュール、プログラム可能な論理デバイス、及び/又は固定論理デバイスを表す。ハードウェアは、集積回路若しくはオンチップシステムのコンポーネント、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、結合プログラム可能論理回路(complex programmable logic device;CPLD)、及びその他のシリコン実装若しくは他のハードウェアを含み得る。この状況において、ハードウェアは、ハードウェアによって具現化される命令及び/又はロジックにより定められるプログラムタスクを実行する処置装置と、例えば上述のコンピュータ可読記憶媒体といった、命令を実行のために格納するために使用されるハードウェアとして動作し得る。

以上のものの組み合わせも、ここに記載の様々な技術を実現するために使用され得る。従って、ソフトウェア、ハードウェア、又は実行可能モジュールは、何らかの形態のコンピュータ可読記憶媒体上で、且つ/或いは1つ以上のハードウェア要素1410によって、具現化される1つ以上の命令及び/又はロジックとして実装され得る。コンピューティング装置1402は、ソフトウェア及び/又はハードウェアモジュールに対応する特定の命令及び/又は機能を実装するように構成され得る。従って、コンピューティング装置1402によってソフトウェアとして実行可能なモジュールの実装は、例えば、コンピュータ可読記憶媒体及び/又は処理システム1404のハードウェア要素1410の使用によってなど、少なくとも部分的にハードウェアにて達成され得る。命令及び/又は機能は、ここの記載の技術、モジュール及び例を実現するよう、1つ以上の製造品(例えば、1つ以上のコンピューティング装置1402及び/又は処理システム1404)によって実行可能/操作可能とし得る。

まとめ 構造的機構及び/又は方法行為に特有の言葉で実装例を記載してきたが、理解されるように、添付の請求項に規定される事項は必ずしも、記載された特定の機構又は行為に限定されるものではない。むしろ、これらの特定の機構及び行為は、請求項に係る特徴を実現する形態例として開示されたものである。