【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は情報の視覚的ディスプレイの分野に係り、特にディテール（細部）やコンテクスト情報を全体的にロスしないでディスプレイ装置へ充分な解像度でディスプレイされることが不可能な画像表現の問題を解決する。

【０００２】

【従来の技術】画像は、情報の視覚的ディスプレイであるか又は情報の視覚ディスプレイとなることの論理的表現である。 一つのタイプの画像はテキスト画像である。
テキスト画像の情報内容は画像のテキスト内にあるが、
画像内のテキストの配置内にもある。 ビュアー（見る人）にとって有用な画像では、情報内容がビュアーへ伝えられ得るように、ディスプレイ装置にディスプレイされなければならない。 その全体画像が画像の充分な解像度でディスプレイ装置にディスプレイされ得るならば、
情報は全く損失されない。 しかしながら、細部（ディテール）を見えるようにする最小解像度で画像の一部のみを示すか又は画像のグローバル（大域）パターンを示すが細部を損失してしまうような解像度で全体画像を示すかの一方を選択しなければならない場合に情報はしばしば損失される。 テキスト画像内で細部を大きく損失するとテキストが読解不可能になる。

【０００３】ディスプレイの解像度の限界はディスプレイの繊細さ又は繊細な特徴を見るビュアーの能力に依存する。 例えば、二つの線が画素表示されるディスプレイ装置上で二つの線へ解像されることができない場合、これらの線は一本の線として現れる。 これらの線のマージャー（合併）は、ディスプレイがこれらの二つの線に対して分離した画素を使用できないこと又はビュアーがこれら二つの線の分離した画素を見ることができないことのいづれかによって生じ得る。

【０００４】画素表示されたコンピュータモニタのようなディスプレイシステムにディスプレイされようとする時、画像は、通常、理想的なディスプレイが与えられると、それらの全体にわたってディスプレイ可能であるかもしれないディスプレイシステムが解釈可能な形態でオブジェクトの集合としてディジタルコンピュータ内に記憶される。 この定義によって記憶された形態の画像又は「全（フル）」画像はその情報内容の全てを含む。 記憶された形態の例は、（ローエンド描画プログラム又は写真編集システムにおけるような）ビットマップ、（ＣＡ
Ｄシステムにおけるように）オブジェクト特性と位置を提供するオブジェクトリストファイル、ベクトル画像ファイル、又は文字とフォーマッティングコードの形態におけるテキストである。

【０００５】画像内の情報の損失は、画像が全画像の全ての情報をディスプレイすることができないディスプレイ上にディスプレイされようとする時に発生する。 例えば、ビットマップがディスプレイ上で使用可能な画素より多くの画素を有する場合、ディスプレイは画像を表示することができず、従って、より低い解像度のビットマップ又はビットマップの一部の画像のような代替画像のみがディスプレイされ得るにすぎない。 全画像がディスプレイされることができない時、ディスプレイされるものは、本明細書中において「代替（substitute）」画像と呼ばれる。

【０００６】全画像から特定のディスプレイ装置に対して代替画像を発生するための幾つかのシステムが提供されてきた。 このようなシステムの一つにおいて、代替画像は全画像の（全てより少ない）一部への「ウィンドウ」であり且つこのシステムはそのウィンドウを全画像を「端から端まで（over）」移動する手段をビュアーに提供する。 大部分のワードプロセッサはこのシステムを使用する。 あるワードプロセッサにおいて、一般的な全画像とは、あまりにも長すぎるのでディスプレイスクリーンへその全体がディスプレイできない文書である。 ワードプロセッサによって提供される代替画像は一般に２
５行ぐらいの文書へのウィンドウであり、且つそのウィンドウは「ページダウン（前頁）」、「ページアップ（次頁）」、「ラインダウン（次行）」その他のようなコマンドによって文書全体に対して移動する。

【０００７】いくつかのワードプロセッサも「ページビュー」モードを含み、このモードはテキストがテキスト文書全頁にどのように現れるかを示す。 単一ページ文書の場合でさえ、テキストの文字はディスプレイ装置が従来のコンピュータモニタである場合は識別できない。 当然、ディスプレイデバイスが高解像度のプリンタである場合、１ページ文書の画像は完全にディスプレイされ得るが、プリンタでも多数ページの文書画像を完全に詳細にはディスプレイすることができない。

【０００８】他のタイプの代替画像は分割画像であり、
ディスプレイされた代替画像のある部分は全画像のグローバルであるがあまり詳細でないビューを示し且つディスプレイされた代替画像の他の部分は必要な細部において全画像の副領域の細部のサブ画像を示す。 詳細なサブ画像がグローバルコンテクストから切離されるのでこのアプローチはあまり歓迎されない。 結果的にビュアーは、提供される情報の細部とコンテクストの両方を観察するためにグローバル画像と詳細な画像の間を前方及び後方に飛越さなけれがならなくなる。 ワードプロセッサの上記の例において、分割画像は語句を読み取ったり且つそれが全画像のどこにあるかを見る能力を文書のビュアーへ全く提供しない。

【０００９】他の分割スクリーンアプローチは、対象となるサブ画像の細部をビューするために拡大鏡（物理的なもの又は電子的に実行されるもの）によって部分的に拡大されたグローバル画像である代替画像を使用する。
これは、グローバル画像と詳細なサブ画像の関係が失われるので、前出の分割スクリーンの例と同じ問題を抱えることになる。 さらに、拡大鏡を用いると、拡大された詳細なサブ画像において表示されるよりも多くのグローバル画像が不明瞭になる。

【００１０】この拡大鏡の問題を図１に示す。 図１は、
文書画像１０の三つのビューを示す。 この実施例に使用されている全画像１０はあらゆる実践的なアプリケーショに対して実際にディスプレイ可能であるが、全画像はあまりにも多くのテキストを含んでいるのでそのディスプレイフレーム内にディスプレイすることができない。

【００１１】図１の（ｂ）は拡大鏡１２によって得られた、画像１０の領域１３の詳細な画像１４への拡大の影響を示す。 領域１３の拡大の結果として、画像１０の他の領域は不明瞭とされ、且つ詳細な画像１４のコンテクストは領域１３と画像１０の不連続性によって損失される。 この不連続性は拡大鏡１２のエッジで発生することに注目されたい。

【００１２】コンテクストの不明瞭化及び損失は物理的な拡大鏡と論理的な拡大鏡の両方によって発生し、且つその原因は図１の（ｃ）に示す。 図１の（ｃ）は、拡大鏡１２を介した視点１６から領域１３へのビューを示す。 拡大鏡１２は事実上、領域１３を視点１６へより接近させるので、前進した領域が境界を作る立体角がより大きくなり且つ画像１０内の不明瞭な領域１８の境界に対応する。

【００１３】米国特許第4,790,028 号は「可変的に拡大縮小された(variably-scaled) 」ディスプレイを用いることによってグローバル画像を不明瞭にする拡大された領域の問題を解決するための一つの試行を開示している。 このようなディスプレイにおいて、対象となる領域の座標が拡大される一方で対象の領域のすぐ外側の領域の座標が対応して圧縮されるように画像は歪められる。
つまり画像の圧縮部分とその残りの部分が情報を損失しながらディスプレイされ且つその損失部分は圧縮された領域でより大きくなる。 しかしながら、このアプローチは計算上実用的でなく、これによってビュアーの拡大及び移動の要求に対する応答時間が遅延することになる。
このディスプレイは、余りにも歪みが大きすぎて対象の領域内だけでなく周辺の領域においても読み取ることができなくテキスト画像にも不向きである。 さらに、このようなシステムは、圧縮が詳細な画像近隣の低圧縮部分からより大きな周辺領域のより高い高圧縮部分へ徐々に変化していく場合には保存されてもよいコンテクスト情報を考慮に入れていない。

【００１４】

【発明が解決しようとする課題】上記から、細部の拡大とその細部の画像内におけるコンテクスト（脈絡、関係）保存の両方が必要とされる画像をディスプレイ装置に収めるための改良されたシステムが提供されることが理解される。

【００１５】本発明は改良された画像ディスプレイシステムを提供する。

【００１６】

【課題を解決するための手段】本発明の一つの実施例において、代替画像は全画像をセンター（又はフォーカス）パネルによって定義される複数のパネルへ分割することによって発生される。 特定の実施例において、全画像は境界矩形によって境界付けされ、フォーカス（焦点合わせ）パネルはこの境界矩形のサイドに平行なサイドを有する矩形であり、且つフォーカスパネルはこのフォーカスパネルのエッジの全画像のエッジへの延長によって８つの他のパネルを定義する。 これらの８つのパネルの内、４つはフォーカスパネルの４つの側に隣接するサイドパネルであり、他の４つはコーナーがフォーカスパネルのコーナーと接触しており、且つ各々が二つのサイドパネルに隣接している。 この代替画像は、それがシートが９つのパネルをカバーする３次元空間においてそのシート上へマッピングされる画像の３次元透視ビュー（視界）であるので「透視シート」と呼ばれる。

【００１７】全画像をディスプレイ装置のディスプレイ面へディスプレイすることが不可能な時、透視シートが代替画像として発生されるのは、３次元（”３Ｄ”）空間内の平面上に全画像を配し、視点（viewpoint ）と３
次元空間でディスプレイ平面を表示する視平面（view p
lane）を配置し、サイドパネルをこの視点から離れるように折り曲げ、これによりこれらのサイドパネルが視点及び視平面上のディスプレイ面によって定義されるビュー（視界）の中へ収められ、コーナーパネルのエッジを折り曲げ、回転させ、且つ剪断することによってそれらの隣接するサイドパネルのエッジとマッチング（整合）
させ、次いでこのようにして形成されて得られた折られた３次元面の３次元透視投射をディスプレイ面上にディスプレイすることによって行われる。 定義的なこととしては、パネルが「折り曲げられた」時、パネルは３次元空間において目視面に平行な回転軸の回りを回転し、且つパネルが「回転した」時、パネルは３次元空間において目視面に垂直な回転の軸の回りを回転することである。 本明細書中に記述された実施例において、サイドパネルはフォーカスパネルに隣接するこれらのサイドパネルのエッジに沿って折り曲げられるが、コーナーパネルは隣接するサイドパネルの折り曲げから作られる角度をとるように剪断（切断）され且つフォーカスパネルと共通である頂点の回りを回転される。 この回転は、コーナーパネルが折り曲げられた時、二つの先に折り曲げられたサイドパネルと同一平面であったコーナーパネルのエッジが再びこれらのエッジと同一平面となるように行われる。

【００１８】対向するサイドパネル（上下、左右）は３
次元空間において自然なビューイングのために同じ角度だけ離れるように折られるのが好ましいが、これは必要とはされない。 これらのサイドパネルはディスプレイ面の境界内に収まるように充分に深く折られるか、固定角度で折られるか、又はビュアーが指定する角度で折られるかのいづれかである。 コーナーパネルは３次元空間内では自然に折られているように見える。

【００１９】一般に、自然なビューイング及び計算の簡単化のために、このフォーカスパネルは視平面に平行な平面内にある。 特定の実施例において、視点はフォーカスパネルに対して中心に置かれたままであり、そこでフォーカスパネルが全画像の端から端まで移動する時、代替画像は固定されたフォーカスパネルの下で回転しているように見える。 当然、フォーカスパネルに相対して視点を移動することを準備することも可能である。 サイド及びコーナーのパネルは３次元空間における視点から離れるように折り曲げられるので、これらのパネルは、それらが平らであった時よりも簡単にディスプレイ面の境界へ収まると共に、折られた時に画像の必要な周辺グローバルビューも提供する。

【００２０】対話的な実施例において、ビュアーは全画像のどの部分がフォーカスパネルの下へ入るか、全画像とディスプレイ面境界に相対するフォーカスパネルのサイズ、サイドパネルが折り曲げられる角度、及び、調整できれば、折られた面に相対して視点を置く場所を示すためにマウス又はキーボードのような入力デバイスを具備する。 この情報から、ディスプレイシステムは、フォーカスパネル、サイドパネル、及びコーナーパネルがディスプレイ面上に現れる場所、サイド及びコーナーのパネルが取るべき形状、及びこれらのパネルに収まるようにいかにして全画像を変換するかを決定する。

【００２１】全画像の新しいエリア（領域）をフォーカスパネル下で移動するため、ユーザは新しいエリアの中心点を選択する（指す）。 ディスプレイシステムは、この選択された中心点がフォーカスパネルの中心の下へくるように画像を移動することによってこの選択に応答する。 ディスプレイシステムは、移動の際にコンテクストが損失されないように、新しい中心点へジャンプ（飛び越し）するのではなく画像を徐々に適所へ移動させることができる。 ディスプレイシステムが画像を徐々に移動させるようにセットされる場合、定速で漸次移動を行うように、又はどれだけ遠方へ移動するかに関わらず同じ期間で移動が終了するようにセットされる。

【００２２】全画像を代替画像の中へ操作するために使用される画像プロセッサにおいて、インタラクティブ（対話的）環境におけるビュアーのコマンドへの迅速な応答を確実とするためにいくつかの方法が使用される。
第１に、所与のパネルをレンダリングするために必要とされる計算の量が最小化される。 第２に、大量に出現しそうにないオブジェクトは簡単化される。

【００２３】パネルをレンダリングする際の計算の量を減少するための一つの方法は、パネルに現れない画像オブジェクトについての計算を取り除くことである。 全画像上のパネルの境界がわかっているので、パネルの境界内に収まっていない全画像内のオブジェクトを考慮から選定することができる。 パネルが全画像を水平及び垂直に分割するので、パネルに対するオブジェクトの選定及びクリッピングは、システムの応答性を減少する追加計算を行わずにオブジェクト位置を折り曲げ位置と比較することによってしばしば実行され得る。

【００２４】計算を減少する他の方法は変換マトリックスを使用することである。 全画像の代替画像への変換は、全画像を３次元画像の平面上へマッピングし、パネルに輪郭を付け、全画像を９つのパネル画像と対応させ、９つのパネル画像を選定し、これらのパネル画像をパネル境界へクリッピングし、これらのパネルを必要に応じて３次元空間の適所へ折り曲げ、回転し、及び／又は剪断し、次いで最後に３次元の折られた面のビューを２次元のディスプレイ面へ変換する。 ある変換マトリックス（１パネル当たり１マトリックス）が選定且つクリッピングされた画像というより操作された画像である。
次いで、全画像と代替画像の変換マトリックスが計算される時、全画像は変換マトリックスを通過して代替画像が得られる。 利用可能であれば、これらの変換は３次元のグラフィックス画像を操作するのに特に適したハードウェアと共に実行される。

【００２５】全画像がテキストの行及び行のページとなるように編成されたテキスト文字を有する場合にオブジェクトを簡単化する方法は、テキストの行を単なる行と置換することであり、これはテキストを「グリーキング」（画像表示した時に不明瞭なテキストを表現するための方法）することとして知られている。

【００２６】いくつかのテキスト画像ディスプレイシステムによって検索能力が追加されて文書が検索用語を整合するストリングを求めて検索される。 次いで整合ストリングはハイライト（強調表示）され、そうでなければ区別される。 次いでこれらの強調表示が代替画像上に現れ、これによって全体画像に相対して検索用語が存在する場所がビュアーに示され、且つビュアーは強調表示された領域を細部にわたってビューするためにフォーカスパネルを移動することができる。

【００２７】本明細書の本発明の性質及び利点のさらなる理解は、明細書の残りの部分と添付図面を参照することによって実現され得る。

【００２８】請求項１に係る本発明は、画像があまり詳細過ぎて、ディスプレイ面へ全てを同時ディスプレイできない時、コンテクスト及び細部情報を保存しながら、
前記ディスプレイ面上に前記画像をディスプレイするための方法であって、前記画像内に現れるオブジェクトを表示するデータブロックを記憶するステップを有し、全画像が、前記データブロックから情報を損失せずに発生された画像であり、視点を３次元の空間内に配するステップを有し、前記ディスプレイ面の表示を前記空間内に配するステップを有し、前記表示が前記ディスプレイ面の境界に対応する境界によって境界付けられ、前記空間内にフォーカスパネルを配するステップを有し、前記フォーカスパネルが前記ディスプレイ面の前記表示の前記境界内に配され、前記全画像を表示するレイアウトを前記空間内の前記フォーカスパネル、四つのサイドパネル、及び四つのコーナーパネルと一致するレイアウト平面へマッピングするステップを有し、前記四つのサイドパネルが前記フォーカスパネルのエッジ、前記フォーカスパネルの前記エッジの延長部、及び前記レイアウトのエッジによって定義され、且つ前記四つのコーナーパネルが前記サイドパネルのエッジ及び前記レイアウトのエッジによって定義され、前記空間内の前記サイドパネルを、前記フォーカスパネルと隣接する前記サイドパネルのエッジによって定義される回転の軸の回りを前記レイアウト平面から離れるように折り曲げるステップを有し、折り曲げる前のサイドパネルエッジと一致するコーナーパネルエッジが再び前記サイドパネルエッジと一致するように前記コーナーパネルを操作するステップを有し、前記空間内の折り曲げられた面上にレンダリングされた画像を形成するために前記フォーカスパネル、前記サイドパネル、及び前記コーナーパネルへ前記画像をレンダリングするステップを有し、且つ前記折り曲げられた面の透視ビューをディスプレイするステップを有する画像ディスプレイ方法である。

【００２９】請求項２に係る本発明は、前記画像の細部において詳細情報内容及び前記画像内への前記細部の配置においてコンテクスト情報を含む画像をディスプレイするための画像ディスプレイであって、ディスプレイ面を有し、前記ディスプレイ面の一部を占有するフォーカスパネル画像を有し、前記フォーカスパネル画像が前記画像のフォーカスサブ画像の細部のビューであり、前記フォーカスパネル画像の上にあり且つそれと隣接する前記ディスプレイ面の一部を占有する第１のサイドパネル画像を有し、前記第１のサイドパネル画像が第１の角度でビューされる前記フォーカスサブ画像の上にあり且つそれと隣接する前記画像の第１のサイドサブ画像の透視ビューを示し、前記フォーカスパネル画像の右側に隣接する前記ディスプレイ面の一部を占有する第２のサイドパネル画像を有し、前記第２のサイドパネル画像が第２
の角度でビューされる前記フォーカスサブ画像の右側に隣接する画像の第２のサイドサブ画像の透視ビューを示し、前記フォーカスパネル画像の下にあり且つそれと隣接する前記ディスプレイ面の一部を占有する第３のサイドパネル画像を有し、前記第３のサイドパネル画像が第３の角度でビューされる前記フォーカスサブ画像の下にあり且つそれと隣接する画像の第３のサイドサブ画像の透視ビューを示し、前記フォーカスパネル画像の左側に隣接する前記ディスプレイ面の一部を占有する第４のサイドパネル画像を有し、前記第４のサイドパネル画像が第４の角度でビューされる前記フォーカスサブ画像の左側に隣接する画像の第４のサイドサブ画像の透視ビューを示し、前記第１のサイドパネル画像及び前記第２のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第１のコーナーパネルを有し、前記第１のコーナーパネル画像が前記画像の第１のコーナーサブ画像の透視ビューを示し、且つ前記第１のコーナーサブ画像が前記第１のサイドサブ画像及び前記第２のサイドサブ画像に隣接しており、前記第２のサイドパネル画像及び前記第３のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第２のコーナーパネルを有し、前記第２のコーナーパネル画像が前記画像の第２のコーナーサブ画像の透視ビューを示し、且つ前記第２のコーナーサブ画像が前記第２のサイドサブ画像及び前記第３のサイドサブ画像に隣接しており、前記第３のサイドパネル画像及び前記第４のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第３のコーナーパネルを有し、前記第３のコーナーパネル画像が前記画像の第３
のコーナーサブ画像の透視ビューを示し、且つ前記第３
のコーナーサブ画像が前記第３のサイドサブ画像及び前記第４のサイドサブ画像に隣接しており、且つ前記第４
のサイドパネル画像及び前記第１のサイドパネル画像に隣接する前記ディスプレイ面の一部を占有する第４のコーナーパネルを有し、前記第４のコーナーパネル画像が前記画像の第４のコーナーサブ画像の透視ビューを示し、前記第４のコーナーサブ画像が前記第４のサイドサブ画像及び前記第１のサイドサブ画像に隣接している、
画像ディスプレイである。

【００３０】請求項３に係る本発明は、画像をスケーリングする方法であって、ディスプレイエリア内でフォーカスパネルを配置するステップを有し、画像平面上で矩形を境界付ける画像内で配置されたオブジェクトのセットによって前記画像を記述するステップを有し、前記画像を境界付ける矩形を、フォーカス部分、各々が前記フォーカス部分の一つのエッジと隣接している四つのサイド部分、及び各々が前記フォーカス部分と共通の頂点を有し且つ前記四つのサイド部分の内の二つと共通するエッジを有する四つのコーナー部分へ分割するステップを有し、前記フォーカス部分の前記フォーカスパネルへのフォーカス変換を定義するステップを有し、前記各サイド部分と前記フォーカス部分に共通する軸に沿った空間内で折り曲げられた四つのサイドパネルの透視ビューによって定義された前記四つのサイド部分の各々に対してサイド変換を定義するステップを有し、前記各サイド部分と前記フォーカス部分に共通する軸に沿った空間内で操作された四つのコーナーパネルの透視ビューによって定義された前記四つのコーナー部分の各々に対してコーナー変換を定義し、これによって各コーナーパネルが二つの隣接するサイドパネルとエッジを共有し且つ各コーナーパネルが前記フォーカスパネルと頂点を共有するステップを有し、且つ前記フォーカス、サイド、及びコーナー変換を介して前記オブジェクトのセットをディスプレイ面へレンダリングするステップを有する画像スケーリング方法である。

【００３１】

【実施例】図２は、本発明によるディスプレイシステム１００を示し、全画像がディスプレイシステムのディスプレイ面へ収まらない時に使用できる画像及び代替画像をこのディスプレイシステムのディスプレイ面へディスプレイするために使用される。

【００３２】ディスプレイシステム１００は、ディスプレイ面１０４、画像プロセッサ１０６、プロセッサ１０
６へのインターフェース１４２を有するマウス１０８、
及びプロセッサ１０６へのインターフェース１４４を有するキーボード１１０を含むディスプレイ１０２を備える。 ディスプレイ１０２とプロセッサ１０６の間のインターフェース１４０も示されている。 特定の実施例においては、ディスプレイ１０２はシリコングラフィックス（Silicon Graphics）によって製造された１２８０×１
０２４カラーモニタであり且つ画像プロセッサ１０６はシリコングラフィックスアイリス（Silicon Graphics I
ris ）ワークステーションのモデル４Ｄ／４２０ＧＴＸ
である。 他の実施例においては、マウス１０８及び／又はキーボード１１０は他の入力装置によって代用される。

【００３３】一般に、ディスプレイシステム１００は、
ワークステーション又はコンピュータアプリケーションの一部として複数の画像を生成する汎用目的のコンピュータの一部である。 例えば、画像はワードプロセッシングプログラム又はドキュメント（文書）データベース検索プログラムによって出力されるマルチページ（複数頁）文書であってもよい。 画像は数のスプレッドシート（表計算）、プロジェクト（投射）のタイムライン、及び会計（課金処理）データの時間周期、又は複数周期であってもよい。 どんなアプリケーションであっても、ディスプレイシステム１００は、そのアプリケーションによって出力された画像が余りにも大きすぎて、画像の細部（ディテール）を可視化するのに充分な解像度でディスプレイシステム１００によってディスプレイできない場合に最も有用である。 ディスプレイ面１０４にディスプレイされた画像は以下に詳細に説明するプロセッサ１
０６によって生成される。

【００３４】図３はプロセッサ１０６を示すブロック図であり、このプロセッサ１０６は、中央処理装置（ＣＰ
Ｕ）１３０、ディスプレイされる画像（全画像）の論理表現を記憶するための画像記憶装置１３２、変数及びＣ
ＰＵ１３０の中間（演算）結果を記憶するためのメモリ１３４、及びディスプレイシステム１００の種々の機能を実行するＣＰＵ命令を含むプログラム記憶装置１３６
を有する。 いくつかの実施例においては、３次元グラフィックス・エンジン１３８を含む。 図３はまたインターフェース１４０（ディスプレイ出力）、インターフェース１４２（マウス入力）、及びインターフェース１４４
（キーボード入力）を示す。 グラフィックス・エンジン１３８は通常、シリコングラフィックスアイリス（Sili
con Graphics Iris ）４Ｄ／４２０ＶＧＸのような専用集積回路によって実行される。

【００３５】ディスプレイシステム１００が操作可能である時、ＣＰＵ１３０は画像記憶装置１３２から全画像を検索し且つインターフェース１４０を介して必要な信号を送り、全画像又は透視シート代替画像のいずれかをディスプレイする。 代替画像が使用される場合、全画像内のオブジェクトが通過する全画像の変換が発生し、次いで代替画像はディスプレイ面１０４の特徴（characte
ristics ）へレンダリング（描写）される。 さもなければ、全画像がディスプレイ面１０４の特徴へレンダリングされる。 レンダリング処理において使用されるディスプレイ面の特徴は、ディスプレイ（高さ及び幅）における（画素表示されるディスプレイと想定する）画素の数、及び単一画素によってディスプレイすることが可能なカラーの数と範囲を含む。

【００３６】図４は画像記憶装置１３２（図３参照）に記憶された全画像２００の論理表現である。 画像２００
は矩形であり、その上にフォーカスパネル２０２が配されている。 フォーカスパネル２０２のエッジはライン２
０３のような延長線を定義し、それはまた、上部サイドパネル２０４、下部サイドパネル２０６、左サイドパネル２０８、右サイドパネル２１０、及び四つのコーナーパネル２１２のような複数のサイドパネルと複数のコーナーパネルを定義する。 各コーナーパネル２１２が一つのコーナーをフォーカスパネル２０２と共有し且つ二つのエッジを隣接サイドパネルと共有していることに注意されたい。 ディスプレイ装置が全画像２００を必要な解像度で収容することができる場合、画像２００はそのままディスプレイされる。 そうでない場合、画像２００は代替画像へ変換されなければならない。 この代替画像は、フォーカスパネル内に必要な細部を示し、且つフォーカス、サイド、及びコーナーパネルの間でコンテクスト情報を保存すると同時にディスプレイ面の境界内へこれらの情報を収める。

【００３７】図５はこのような透視シート代替画像２０
０'のディスプレイである。 画像２００'は、フォーカスパネル２０２'、上部サイドパネル２０４'、下部サイドパネル２０６'、左サイドパネル２０８'、右サイドパネル２１０'、及び四つのコーナーパネル２１２'
を備える。 代替画像２００'は、ディスプレイ面１０４
がその空間の透視図を示す３次元空間における一連の変換を介して形成される。 これらの変換は図６に関してより詳細に示されている。

【００３８】これらの変換のパラメータは、ビューポイント（視点）とビュープレーン（視平面）とこの視平面へマッピングされるディスプレイ面の境界とフォーカスパネルの３次元の空間配置、このフォーカスパネルに相対する３次元空間内での全画像の配置、及びこれらのサイドパネルが折り曲げられる角度から導出される。 これらのパラメータは、サイド及びコーナーのパネルの連続画像によって提供されるコンテクスト情報によって画像の細部を同時にビューするようにユーザによって調整され得る。 例えば、細部を増加するため、ビュアーは画像をフォーカスパネルへより接近するように移動し、次いで画像の回りを移動するようにＣＰＵ１３０へコマンドを発行し、ここでユーザはフォーカスパネルの中心へ移動されつつある画像上の点を選択するためにマウスを使用してもよい。 一般に、フォーカスパネルは定常であり且つディスプレイ面の中心に置かれ（即ち、視点はフォーカスパネルより上の中心に置かれ）、従って、フォーカスパネルが画像上で移動するというよりもむしろ画像がフォーカスパネルの下で移動するように見える。

【００３９】図６は、本発明によるディスプレイシステム１００の特定の実施例においてプログラム記憶装置１
３６内に記憶されたＣＰＵプログラム命令内に組み込まれたハイレベル機能を記述するフローチャートである。
これらの機能はＣＰＵ１３０によって実行され、画像記憶装置１３２に記憶された画像２００から代替画像２０
０'を発生し且つディスプレイする。 他の方法が示されない限り、プログラムのフローはブロック番号順に進む。

【００４０】ブロック３００において、視平面、視点、
及びフォーカス点は３次元空間内に位置する。 これはこれらのオブジェクトの位置を表現するためにメモリ１３
４において予約された変数へ値を割り当てることによって行われる。 一つの実施例において、視点はフォーカスパネルの中心より上に固定され（即ち、同じｘ軸及びｙ
軸の座標を有し、）且つ視点はフォーカスパネルに相対する正のｚ値を有する。 視平面は最初は画像と平行であり且つ画像と視点の間に置かれる。 この時点で、必要ならば、視平面上のディスプレイ面の境界が計算される。

【００４１】特定の実施例において、ディスプレイ面の境界の座標は、（０、０、０）、（x max 、０、０）
（x max 、y max 、０）及び（０、y max 、０）
であるように任意に選択され、これによってｚ＝０の平面の正のコードラント（四分円）内に矩形を定義することになる。 これは図４に示されている。 一旦視点と視平面が配されると、他のオブジェクトも３次元空間内に配されることができ且つこれらの他のオブジェクトの透視ビューが視平面の位置から決定され且つディスプレイされるこれらの他のオブジェクトの部分は、もしあれば、
視平面上のディスプレイ面の境界によって決定される。
以下にまた参照されるべき特定の実施例において、x
max ＝１４４．０ｄｕ（display unit）（ディスプレイユニット）、y max ＝１０８．０ｄｕであり、フォーカスパネルは点（７２．０、５４．０、０．０）で中心に置かれ、１０．０ｄｕの幅、focus width 及び１
０．０ｄｕの高さ、focus heightを有する。 視点は（７２．０、５４．０、３８．０）にある。 ３次元空間における全ての座標は、他の方法で示さない限り、ディスプレイユニット（display unit）（ｄｕ）内にある。
いくつかの実施例において、視点、視平面、及びフォーカスパネルは互いに関連し合って移動され得る。

【００４２】ブロック３０１において、ＣＰＵ１３０は全画像即ち全画像の境界のレイアウトだけを３次元空間内に位置する。 全画像のレイアウトは必ずしも全画像それ自体ではないが、複雑な画像の場合は簡単に操作された全画像の表現である。 以下の実施例において、レイアウトは操作された表面のボーダー（境界線）及び特徴を備える。 レイアウトは操作するのが非常に簡単であるので、レイアウトはそのスピードの為に画像に代わりそれ自体が操作される。 一旦変換が決定されると、全画像はレイアウト上で行われる変換に従ってレンダリングされることができる。 レイアウトの位置決定は通常、レイアウトの四つのコーナーの座標のトリプレット（３ビットバイト）用に可変メモリをメモリ１３４内に確保することによって実行される。 画像即ちそのレイアウトは、フォーカスパネルの中心に位置合わせされた画像上で選択されたフォーカス点によってフォーカスパネルと同じ平面内の３次元空間内に置かれる。

【００４３】次いで、ブロック３０２においては、パネルのボーダーが画像上で配置される。 最初に、画像はフォーカスパネル上の中心に置かれる。 図４に示したように、一旦画像上のフォーカスパネルの境界が判ると、これらの境界が９つのサブ画像を形成し、これらのサブ画像が、フォーカス、サイド、及びコーナーのパネルに適用される。 また、これは通常、パネルのコーナーに対する値へこの目的のために確保された変数をセットすることによって実行される。 フォーカスパネルの四つのコーナーの位置はそれぞれ四つの点（focus x ,focus y,
0）、（focus x ＋focus width, focus y , 0 ）、
（focus x ＋focus width, focus y ＋focus heig
ht, 0 ）、及び（0, focus y ＋focus height, 0 ）
によって表現されることができ、ここでfocus x と f
ocus y は画像上のフォーカスパネルの下部左コーナーを定義し、且つfocus width とfocus lengthは画像上のフォーカスパネルのサイズを定義する。 或いはfocu
s x と focus y がフォーカスパネルの中心を定義することもある。

【００４４】次いで、ブロック３０３において、ＣＰＵ
１３０は全画像内のオブジェクトが種々のパネル上に現れる場所を識別する。 画像が複数ページ文書の画像である場合、このステップは、文書を行やページへ解析（パージング）し、何ページ必要かを決定し、且つそれらのページを２次元のページ配列に置くことを含む。 以下の例において、矩形の画像及び矩形のフォーカスパネルが想定される。 上記の例のどのオブジェクト即ちページがどのパネル上に現れるかを識別することが、各パネルがレンダリングされるステップ３０８で使用される。

【００４５】パネルの境界に相対して画像内でオブジェクトを配置した後、ＣＰＵ１３０はブロック３０４へ進む。 ブロック３０４において、ＣＰＵ１３０はサイドパネルごとに折り角度を決定する。 種々の実施例において、折り角度は、固定されたり、ビュアーによってセットされたり、ディスプレイ面の視点から境界付けられる立体角から計算されたり、又は上記を組み合わせることによって決定される。 折り角度が変数である場合、メモリ１３４内に記憶された様々な変数であるtop fold、 ri
ght fold、bottom fold、及び left foldが、これらの折り曲げの値を保持してもよい。 本明細書中に使用されているように、折り曲げの角度は折られたサイドパネルがｚ＝０平面となす角度を指す。 サイドパネルは、
これらのサイドパネルがディスプレイ面によって定義される立体角内に収まるようにｚ＜０で半空間折り曲げられる。 この角度は０度（パネルが折り曲げられない）乃至９０度より少ない角度の範囲に及ぶ。 ９０度（直角）
の折り曲げは、折られたサイドパネルが視点から見えないのであまり有用ではない。 これらのサイドパネルはフォーカスパネルと共通して有するエッジの回りを回転し、これによってコンテクスト及び連続性が折り曲げを横切って保存される。

【００４６】折り角度を決定する一つの方法は、例えば、上部と下部のサイドパネルに対しては７０度及び左右のサイドパネルに対しては６０度で折り曲げを固定するような角度でそれらを単純にセットすることである。
他の方法は、ビュアーに折り角度を変えるコマンドを入力させることである。 さらに他の方法は、ディスプレイ面内のどれだけの領域が利用可能であるかを計算して、
これらの透視投射がディスプレイ面内に収まるまでサイドパネルを折り曲げることである。 例えば、上部パネルに対する折り角度が計算されると仮定する。 最初に、視平面上のフォーカスパネルへの投影の上部エッジから視平面上のディスプレイ面の上部エッジまでの距離が測定される。 次いで、上部パネルの高さが測定される。 これらの二つの値、フォーカスパネルのパラメータ及び視点の位置から、ＣＰＵ１３０は上部パネル全体をディスプレイ面のビューへ収めるのに必要な最小の折り角度を計算することができる。

【００４７】四つのサイドパネルに対する折り角度が一旦決定されると、ＣＰＵ１３０はブロック３０５へ進む。 ブロック３０５において、ＣＰＵ１３０は折り角度を介してサイドパネルを折り曲げる。 グラフィックス（図形）・エンジン１３８が使用される場合、サイドパネルの変換がグラフィックス・エンジン１３８によって実行される。 或いは、ＣＰＵ１３０はサイドパネルの新しいコーナー及びそれらの視平面への投射を計算する。
一旦サイドパネルが適所に配されると、ＣＰＵ１３０はブロック３０６へ進む。

【００４８】ブロッック３０６において、四つのコーナーパネルがサイドパネルと再結合するために移動される。 サイドパネルが折られた時、これらのコーナーパネルは、コーナーパネルの二つの隣接するサイドパネル及びフォーカスパネルにタッチ（接触）している１つの点を除いてはそれらと隣接するサイドパネルに取り付けられない。 タッチングコーナーでのコーナーパネルの角度は直角であり、且つ前に隣接していた二つのサイドパネルのエッジ同士の間の角度はもはや直角ではないので、
コーナーパネルはタッチングコーナーがこれらの二つの隣接するサイドパネルのエッジが成す角度に等しい角度を有するように切られる。 この例は図５に示され、ここで、タッチング点２２０でサイドパネルエッジ２２２と２２４が角度Ａを定義している。

【００４９】一旦ＣＰＵ１３０がコーナーパネルを剪断すると、ＣＰＵ１３０はコーナーパネルを回転し、次いでそれを折り曲げて二つの隣接するサイドパネルを再結合する。 いくつかの実施例においては、当然、剪断、回転、及び折り曲げのステップが異なる順序で実行されてもよい。 その隣接するサイドパネルの特定の折り角度に依存して、コーナーパネルは一つのサイドパネルと再結合するために１回折り曲げられてもよく、次いで、他のサイドパネルのエッジと再結合するため、再結合されたエッジに沿って折り曲げられてもよい。

【００５０】折り曲げ後、フォーカスパネルと続いているサイドパネルと、折り曲げ後、サイドパネルと続いているコーナーパネルによって、ディスプレイ面の立体角内で全画像のレイアウトを有している３次元の連続的に折られた面が作成される。

【００５１】ブロック３０７において、全画像を一体化する３次元の折られた面が視平面へ投射される。 サイドパネルとコーナーパネルがｚ＝０の平面と成す角度で折られたので、それらの透視投射は頭を上にしてビューした場合よりも小さくなり、且つ画像の細部はフォーカスパネルよりさらに小さくなる。

【００５２】ブロック３０８において、ＣＰＵ１３０はフォーカス、サイド、及びコーナーパネルの各々をレンダリングする。 パネルは、ディスプレイ面へのパネルの投射の境界を識別し、これらの境界内にあるディスプレイ装置の画素を識別し、元の全画像上のパネルの境界を識別し、そのパネルに対して計算された変換を用いて元の全画像のレンダリング点へディスプレイ装置の画素をマッピングし、元の全画像のレンダリング点ごとに画素カラーを決定し、次いでこれらの画素カラーをディスプレイ装置の画素へ割り当てることによってレンダリングされる。 フォーカスパネル及びディスプレイ面の３次元空間への配置によって、フォーカスパネルの変換は、
（３次元空間内の視点からはるかに離れている）サイド又はコーナーのパネルの離れたエッジ近傍のレンダリング点の濃度より高い濃度セットの全画像のフォーカスパネル上のレンダリング点を生じる。 これによって、フォーカスパネルはより微細な細部で現われ、且つパネルはフラット（平坦）であり且つ３次元空間において連続的であるのでコンテクスト情報が保存される。 パネルがフラットであるので、変換の演算は単純であり、これによって得られた画像は識別可能に保たれる。 レンダリング速度の改善の為には、画像がテキストであれば、サイド及びコーナーパネル内のテキストが常時又は画像移動の間だけグリーキング（読みにくいテキストを表現するための方法）されてもよい。 グリーキングが使用される場合、フォーカスパネル内のテキストはそのテキスト用のフォントでレンダリングされるが、サイド及びコーナーパネル内のテキストはグリーキングされたフォントでレンダリングされる。 グリーキングされたフォントにおいて、テキストの行は単一行としてレンダリングされる。

【００５３】特定のパネル上で呼び出す全画像のオブジェクトが識別された場合、与えられたパネル上でその全体も部分も現れない全てのオブジェクトは、そのパネルがレンダリングされている時に全画像から取り除くことができる。

【００５４】いくつかの実施例において画像をレンダリングした後で、ＣＰＵ１３０はブロック３０９、３１
０、オブジェクト３１１によって示される一つ又はそれより多くの任意のステップを実行する。 ブロック３０９
において、サイド及びコーナーパネル上の画像部分を可視に保ちながら、これらのサイド及びコーナーパネルは、フォーカスパネルへビュアーの注意を向けるためにシェーディング（射影付け）される。 ブロック３１０においては、望まれれば、ＣＰＵ１３０はこれらのパネルの回りに境界線を追加する。 或いは、ＣＰＵ１３０はフォーカスパネルの回りにだけ境界線を追加することもある。

【００５５】ブロック３１１において、フレームバッファを使用している場合、これらのバッファはこのブロックでスワッピング（交換）される。 フレームバッファは現在ディスプレイされているように画像を操作することが所望されない場合に使用される。 このような場合、画像はディスプレイされているフレームバッファではない一つのフレームバッファへレンダリングされ、そのフレームバッファは現在ディスプレイとなるためにスワッピングされる。 次いで他のフレームバッファは引き続く画像のレンダリングを形成するために使用される。

【００５６】ブロック３１２において、いくつかの所定の終了条件が合った場合、ＣＰＵ１３０はプログラムを終了する。 そうでない場合はブロック３１３へ進む。 ブロック３１３において、ＣＰＵ１３０は移動コマンドをチェックして、フォーカス面に相対して画像を移動するか（パン）又は視点を拡大縮小して移動するか（ズーム）を決定し、且つ許容される実施例において、ＣＰＵ
１３０は視点移動コマンドをチェックする。 移動コマンドが入力されなかった場合、ＣＰＵ１３０はブロック３
１２へ戻るか、或いはブロック３００へループバックして、移動コマンドに基づいて新しいディスプレイを作成する。

【００５７】図７及び図８は透視シートである代替画像の例である。 図７における全画像は画像のほぼ中心にある"Read me if you can.（できれば私を読み取りなさい）"のセンテンスを有する均一グリッドである。 図７
はそのグリッドによって各パネルに対してどのように画像が形付けられるかを示す。 図８における全画像は６×
３のページアレイにおける１７ページ文書である。 上記のブロック３０８（図６）に説明されているように図８
のディスプレイのレンダリングにおいて、１ページのみを有する簡単化された画像はフォーカスパネルをレンダリングするために使用されるが、左のサイドパネルは３
ページの簡単化された画像を使用することができる。 他のパネルに対するレンダリングも同様に簡単化される。

【００５８】上記の説明は例示目的であり、この例に限定するものではない。 この開示内容を検討すれば、本発明の多くの変形が可能であることが技術上の当業者に容易に理解されよう。

【００５９】例えば、本明細書中に使用されている「ディスプレイ装置」又はディスプレイシステムは、対話的な画像ディスプレイのためにはコンピュータモニタが好ましいが、コンピュータモニタ、プリンタ、その他であってもよい。 ディスプレイシステムはまた、ディスプレイ（表示）の前に画像の専用処理のために画像プロセッサ又は他のコンピュータシステムを含んでいてもよい。
ディスプレイ装置はまた、それが画像をディスプレイしたように振る舞うが実際には画像をディスプレイしない装置であってもよい。 例えば、ファクシミリ装置は、コンピュータディスプレイとほぼ同様に画像操作をするが、必ずしも画像をディスプレイするわけではなく、代わりに、提供された画像をディスプレイする他のシステムへその画像を送る。

【００６０】従って、本発明の範囲は上記の説明によってではなく、同等の全範囲を有する添付請求項によって決定されるべきである。

【００６１】参考に透視シートディスプレイシステムの特定の実施例用のソースコードのリストを本願の参考資料として添付する。

【００６２】

【発明の効果】本発明は、細部の拡大と画像内でのその細部のコンテクスト保存の両方を必要とするが画像をディスプレイ装置へ収めるための改良されたディスプレイシステムを提供する。

【図面の簡単な説明】

【図１】拡大が画像の部分を不明瞭にする過程を示す図である。

【図２】画像プロセッサを含む本発明の一つの実施例による画像ディスプレイシステムを示す図である。

【図３】図２に示した画像プロセッサのブロック図である。

【図４】パネルへ分割された全画像を示す図である。

【図５】図４に示した全画像の分割をベースとしてディスプレイ面の境界内にディスプレイされた透視シートの形態における代替画像のレイアウトを示す図である。

【図６】本発明により透視シート代替画像を発生するプロセスを記述するフローチャートを示す図である。

【図７】一つのセンテンスと均一グリッドを有するテキスト文書である全画像に対する透視シート代替画像を示す図である。

【図８】数ページのテキスト文書である全画像に対する透視シート代替画像を示す図である。

【符号の説明】

１００ ディスプレイシステム １０２ ディスプレイ １０４ ディスプレイ面 １０６ プロセッサ １０８ マウス １１０ キーボード １４０、１４２、１４４ インターフェース

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジョージ ジー． ロバートソン アメリカ合衆国 カリフォルニア州 94404 フォスター シティー グリーン ウィッチ レーン 641