【発明の詳細な説明】

【０００１】

【発明の分野】本発明は現実味のある三次元バーチャル・リアリティの経験を提供するコンピュータ・グラフィックスとビデオとの統合化に関する。

【０００２】

【発明の背景】三次元の世界をビューワ（見る人）に対して表示することはかなりの計算力を必要とし、また、
そうするために必要な高度に詳細化されたモデルを開発するのは通常は費用が掛かる。 この問題を単純化するために、遠方にある世界の一部分を二次元だけでビデオとして１つの面上に、たとえば画面上に表示して表現することができる。 ビデオという言葉は普通の用語での使い方、たとえば、フィルムに撮られた映画の電子バージョンである、面上への所定の画像の配置または投影などを意味する。 したがって、そのような世界は本質的にそのビデオが表示される画面の長さの範囲内に切り詰められる。 そのような構成によって計算力およびコストを大幅に削減することができる。

【０００３】ある米国特許出願に開示されている発明においては、そのビデオによって表現される視野の内部のオブジェクトがそのビデオによって表現されず、代わりにコンピュータ・グラフィックスによって表現されるフォアグラウンドの中の１つの場所である世界の中の場所にそれを導く軌跡を経験する時、すなわち、そのビデオ画面上にもはや存在しないオブジェクトの部分が消えてしまう時に、そのような世界の制限が発生することことが認識された。 したがって、そのビデオによって表現される視野の内部の１つのオブジェクトが、そのオブジェクトまたはその一部分を、そのビデオによって表現されない世界の中の１つの場所、すなわち、代わりにコンピュータ・グラフィックスによって表現されるフォアグラウンドの中の１つの場所へ連れて行く軌跡を経験する時、そのようなオブジェクトまたはその部分がユーザに対して見え続けるようにし、そしてビデオではなく、コンピュータ・グラフィックス技法を使ってフォアグラウンドによって表現される。 したがって、そのビデオ・オブジェクトはビデオから「ポップ・アウト（飛び出し）」し、そのビデオ画面上になくなっているために見えなくなるのではなく、たとえば、そのビデオ画面の前面において、あるいはその側面において見えるようになる。

【０００４】

【発明の概要】ビデオ画面上にビデオとして二次元だけで表現されるユーザの視点から離れた世界の部分を有する世界の場合、そのビデオ画面上の１つのオブジェクトが、そのオブジェクトの少なくとも一部分を、そのビデオによって表現されない世界の中の１つの場所、すなわち、代わりのコンピュータ・グラフィックスによって表現される世界の中の１つの場所へ連れていく軌跡を経験する時、そのオブジェクトがその世界のコンピュータ・
グラフィックスの部分の中へビデオからポップ・アウトする時にそのようなオブジェクトを見え続けるようにすることができるほかに、そのようなオブジェクトと対話することができることは有利である。 したがって、本発明の原理に従って、ビデオからコンピュータ・グラフィックス部分の世界へポップ・アウトするオブジェクトをその世界のビューワが「調査する」ことができる。 これを実現することができる１つの方法はユーザによるそのようなオブジェクトの選択の指示を受信することによって、それに応答して、その選択されたオブジェクトに関する追加の情報を提供する方法である。 これを実現することができるもう１つの方法は、ユーザによるそのようなオブジェクトの選択の指示を受信し、それに応答して、ユーザがその選択されたオブジェクトの内部を探索できるようにする方法である。

【０００５】たとえば、ユーザがフランスのパリのシャンゼリゼ通りを自転車に乗って通っている場合、ナポレオン・ボナパルトによって作られた凱旋門が中心にある、エトワール広場に近付く時、そしてその自転車に乗った人が凱旋門を通り過ぎる時に凱旋門がビデオからポップ・アウトする時、ユーザはコンピュータ・グラフィックス部分の世界の中に入っているポップ・アウトした凱旋門の上でクリックし、それに関する歴史的情報を、
たとえば、画面上の１つのウィンドウの中に表示することができる。 代わりに、そのユーザが自転車に乗っている化身（avatar）としてその世界の中で表されている場合、そのユーザの化身は適切なコマンド、たとえば、マウスのクリックなどに応答して、その自転車から降りて、凱旋門をさらに調査すること、たとえば、その中に入って階段を上がり、１つまたはそれ以上の視点から外を眺めることができるようにすることができる。 そのユーザは次に彼の自転車に戻り、そのユーザの視点から離れている世界の一部分がビデオ画面上の１つのビデオとして二次元でだけ表示されていて、その世界の残りの部分がコンピュータ・グラフィックスとして表現されている世界の中で旅を続けることができる。

【０００６】他の例としてユーザはビデオからポップ・
アウトした店の中に入り、その中でバーチャル・ショピングを行うことができる。 本発明の１つの態様によれば、実際に入る特定の店をユーザごとのベースでカスタマイズすることができる。 したがって、たとえば、同じコースを辿っていて、同じ表現、すなわち、そのビデオからポップ・アウトした店またはベンダー・カートの化身を見ている異なるユーザに対して、そのユーザにサービスしてバーチャル・ショッピング・サービスを彼に提供する特定のベンダーが誰であるかを、ユーザごとに異なるようにすることができる。 本発明の１つの態様によれば、そのユーザの実際の地理的な場所、あるいはそのユーザに関連付けられている特定の場所の関数としてその特定のベンダーを選択することができる。 二人以上のユーザ、たとえば、一緒に自転車に乗っている二人の友達が同じ世界を一緒に同時に探索している場合、本発明の１つの態様によれば、各ユーザ、あるいはユーザの異なるサブセットが、たとえば、それぞれの個別の地理的な場所などの特定されたパラメータの関数として、たとえば、異なるベンダーによってサービスされるようにすることができる。 代わりに、二人以上のユーザがいて、
そのようなユーザが彼らのそれぞれの場所の関数として、たとえば、異なるベンダーによってそのようなユーザがサービスされることになる場合であっても、本発明の１つの態様によれば、そのようなユーザは彼らのサブセット、またはすべてが単独のベンダーによってサービスされるように指定することができる。

【０００７】本発明のもう１つの態様によれば、１つの仮想店舗の経営者、あるいは彼の代表者、たとえば、電子エージェントが、その付近にいる二人以上の人の化身が、たとえば、店の化身の前を通過するのを検出した時、そのような通行人に対する仮想店舗に対応するそのような経営者の店の化身は、そのような通行人に対して宣伝公告などのメッセージ送信するか、あるいは、たとえば、チャット・サービスまたは音声通信チャネルなどの通信チャネルの開設などの他の通信をそのような通行人と一緒に開始することができる。 その通信は一般的な性質のものとすること、あるいはその通行人に関して利用できる関数としてカスタマイズすることができる。 コミュニティのフィーリングをバーチャル環境において醸し出すことができるので有利である。

【０００８】

【発明の詳細な記述】ビデオからポップ・アウトしてコンピュータ・グラフィックスの世界に入るオブジェクトを、その世界のビューワがどのように「調査する」ことができるかを説明する前に、本発明の原理に従ってビデオから「ポップ・アウト」し、それがビデオ画面上にもはやないために単純に見えなくなるのではなく、そのビデオ画面の前面、上、または下において見えるようになるビデオ・オブジェクトの一例が図１〜図３に示されている。 用語を単純化する目的で、１つのオブジェクトの一部分を１つのオブジェクトとして単純に呼ぶことができる。 というのは、１つのオブジェクトの一部分はそれ自身１つのオブジェクトとみなせるからである。

【０００９】図１はナポレオン・ボナパルトによって建てられた凱旋門が中心にあるエトワール広場に近付く時の、フランスのパリにあるシャンゼリ通りである世界１
０１を示している。 世界１０１は２つの部分に分けられる。 １つはビデオ画面１０３であり、その上にビデオの現在のフレームが示されている。 残りの部分は世界１０
５であり、それはコンピュータ・グラフィックス技法を使って表現され、したがって、ここではコンピュータ・
グラフィックス部分（ＣＧ部分）１０５と呼ばれる。 ビデオ画面１０３上に表示されているビデオの現在フレームは警察のヴァン１１３および凱旋門１１５を含む。 Ｃ
Ｇ部分１０５の内部には各種の要素、たとえば、ユーザを表している自転車に乗っている人１０７、道路１０
９、および空１１１がある。

【００１０】ユーザの視点は実際には自転車に乗っている人の形でのユーザ１０７の表現の背後にあることに留意されたい。 またビデオ画面１０３上に示されている現在のビデオ・フレームの一部分である警察のヴァン１１
３は、自転車に乗っている人１０７より遅い速度で動いており、したがって、警察のヴァン１１３は自転車に乗っている人１０７が凱旋門１１５へ向かって乗り続ける時に、自転車に乗っている人１０７によって実質的には追い抜かれることになる。

【００１１】図２は図１の世界１０１を示しているが、
後の時刻での画面を示している。 図２の時点においては、画面１０３上に示されているビデオのフレームは凱旋門１１５により近い視点からの眺めである。 そのようなフレームは、たとえば、凱旋門１１５により近いビデオを捕捉したカメラを動かすことからの結果として得ることができる。 図２の中に示されている画面１０３上のビデオのフレームが撮影された時のカメラの場所の結果として、警察のヴァン１１３の一部分だけがビデオ・フレームの中に捕捉された。 警察のヴァン１１３の残りの部分はカメラのビューから外れていたので、図２に示されている画面１０３上のビデオの現在フレームの内部では見えていない。 しかし、ユーザの視点から図２の中に現われる世界１０１を眺めると、警察のヴァン１１３の残りの部分も、ビデオ画面１０３の境界の内部にはもはやなくなっているにもかかわらず見える筈である。 したがって、警察のヴァン１１３の残りの部分は、ＣＧ部分１０５の一部である要素２０１として世界１０１の内部にコンピュータ・グラフィックス技術を使って表示される。

【００１２】図３は図１の世界１０１を示しているが、
図２の画面よりさらに後の時点での画面である。 したがって、図３の時点においては、画面１０３上に示されているビデオのフレームは、図２の場合より凱旋門１１５
によりさらに近いビューからのフレームである。 図３の中に示されている画面１０３上のビデオのフレームが撮られた時のカメラの位置の結果として、警察のヴァン１
１３のどの部分も図３に示されている画面１０３上のビデオの現在フレームの内部では見えない。 しかし、図３
の中に現われているような世界１０１を見ているユーザの視点からは、警察のヴァン１１３は、それがビデオ画面１０３の境界の内部にはもはやないにもかかわらず、
ユーザの左側に見えている筈である。 したがって、警察のヴァン１１３の全体が、ＣＧ部分１０５の一部である要素２０１として、世界１０１の内部にコンピュータ・
グラフィックス技法を使って表示される。 要素２０１がユーザの視点から完全に過ぎてしまうまで、ＣＧ部分１
０５の部分として要素２０１の少なくとも一部分が表示され続けることになる。

【００１３】図４はオブジェクトの投影された運動が三次元の世界の中、で表示されるべきであるために、たとえば、ビデオ面の前面、側面、上、または下においてコンピュータ・グラフィックス技法を使って表示され、そのオブジェクトがビデオ面から「ポップ・アウト」して表示されるビデオ面によって表される視野の内部にあるようにするプロセスの一例を示している。 本発明の代表的な実施形態においては、コンピュータ・グラフィックスを使って表示されるオブジェクトはあらかじめ定義されており、そしてビデオの中のそれらの位置およびそのビデオの内部でのその部分に関連付けられた時刻が知られており、したがって、そのオブジェクトがビデオからポップ・アウトされる必要がある時刻およびその大きさが知られている。 しかし、本発明の技法はビデオ面の内部で認識できるオブジェクトを追跡するため、およびポップアウトされるコンピュータ・グラフィックスを生成するために、そのようなビデオ表現からコンピュータ・
グラフィックス・モデルを開発するために十分に洗練されているコンピュータおよびソフトウェアによって採用することができる。

【００１４】そのプロセスはユーザが見るためにビデオを選択し、そしてそのビデオの最初のフレームがユーザに対して表示されるべき時点でのステップ４０１において開始される。 ステップ４０３においては、表示されるべきビデオ・フレームが呼び出される。 これはポインタによってポイントされているフレームを表しているデータを呼び出すことによって行うことができる。 そのようなフレーム・ポインタは最初に、たとえば、ステップ４
０１において、そのビデオの最初のフレームをポイントするように設定されている。 次に、ステップ４０５において、ポップ・アップを開始する必要があるビデオ画面上に表示されるべき現在のビデオ・フレームについてオブジェクトがあるかどうかが判定される。 これはポップ・アウトされる必要があるオブジェクトを記述するフレームに関連付けられた追加の情報を採用することによって行うことができる。 そのような追加の情報はそのオブジェクトの径路を示す運動のデータ以外にそのオブジェクトをレンダーするのに必要なデータも含むことができる。 代わりに、このステップはそのオブジェクトの径路を示す運動のデータ以外に、そのオブジェクトをレンダーするために必要なデータを求めるために、おそらく前の複数のフレームと将来の複数のフレームとに関連して、そのビデオ・フレームの内容を解析することによって行うことができる。 さらに、総合のディスプレイによってユーザに対して与えられる視点をその決定の中に組み込むことができる。 そのような視点はユーザによって設定することができるカメラの制御によって決定される。 もちろん、前記の技法の組合せも採用することができる。 ステップ４０７において、コンピュータ・グラフィックスのディスプレイ・エンジン・ルーチンが、ステップ４０５において決定された各オブジェクトに対して起動される。 これらの各コンピュータ・グラフィックス・ルーチンは、そのビデオ面上の表示において各フレームについて時間の経過と共にそれぞれのオブジェクトを生成するために必要な情報と一緒に供給される。 たとえば、各オブジェクトに対して供給される情報はそのオブジェクトの径路を示す前記の運動データを含むことができる。

【００１５】次に、ステップ４０９と４１１がステップ４１３と実質的に並列に実行される。 その実現されるべき並列性の程度は、ポップ・アウトされるオブジェクトが、そのフレームが表示されている間に実質的に表示され、したがってユーザはそれらが同時に一緒に表示されているのを感じるような程度でなければならない。

【００１６】ステップ４０９において、コンピュータ・
グラフィックスのディスプレイ・エンジン・ルーチンが実行している各オブジェクトに対して表示画面上のロケーションが決定される。 ステップ４１１において、コンピュータ・グラフィックスのディスプレイ・エンジン・
ルーチンが実行していて、そのビューワのビューの範囲内にある各オブジェクトがレンダーされる。 オプションとして、移動されてそのビューワのビューの範囲内にはもはやないオブジェクトに対するコンピュータ・グラフィックスのディスプレイ・エンジン・ルーチンを削除することができる。 しかし、そのようなコンピュータ・グラフィックスのディスプレイ・エンジン・ルーチンはそのオブジェクトの運動径路または、そのビューワの視点からはそのオブジェクトが視界の中にふたたび入って来ないことが分かっている場合は、その場合だけ削除されるべきである。

【００１７】ビデオ・フレームはステップ４１３において表示される。 その時、ステップ４１１および４１３の両方から制御がステップ４１５へ渡される。 ステップ４
１５においては、次のビデオ・フレームがあればそのフレームへ進められる。 これはフレーム・ポインタの値をインクリメントするか、さもなければ更新することによって実行することができる。 その後、制御はステップ４
０３へ戻り、そしてプロセスは上記のように継続する。

【００１８】図４の基本プロセスのもう１つの実装において、ビデオ画面はユーザに対して表示されている三次元の世界全体の内部で移動している。 上記のように、ビデオ面上に表示されているフレームの中のオブジェクトに関する情報に基づいて、どのオブジェクトがポップ・
アウトの開始を必要とするかを決定する代わりに、ユーザに対して表示されている三次元の世界全体の内部のビデオ画面の現在の位置に基づいてその起動を行うことができる。 たとえば、ユーザがシャンゼリゼ通りを旅行している気分を与えるビデオをビデオ画面が表示している場合、次々の各ビデオ・フレームは実際にはその街路をどんどん通過して行くロケーションからのビューの表現である。 フレームが表示されていて、そのユーザの視点が街路をさらに通って動いている際、オブジェクト、たとえば、バス、歩道、または駐車している車がビデオ画面からポップ・オフし、コンピュータ・グラフィックスによって表現されるようになる必要があり得る。 そのオブジェクトのそれぞれに対するコンピュータ・グラフィックスのディスプレイ・エンジン・ルーチンは、街路を通って行くビデオ画面によって進行する距離の関数として起動することができ、それはたとえば、そのフレームに関連付けられている追加の情報の中で示されるか、あるいは単純な状況においては、そのビデオが稼働している時間の所定の関数として決定されるかのいずれかが可能である。

【００１９】本発明のもう１つの実施形態においては、
ビデオ面からポップ・アウトしなければならないすべての要素を含んでいる、三次元のレンダリングに対して準備ができている世界がメモリの中でモデル化される。 その三次元の世界はポップ・アウトしなければならない各要素に対する空間的な場所、サイズおよび向きなどの情報を含んでいる。 ポップ・アウト要素に対する運動の情報も含めることができる。 この実施形態においては、ビデオ画面は上記のように、ユーザに対して表示されている総合的な三次元の世界の内部を移動している。 ビデオの各フレームにはメモリの中に格納されている三次元世界の内部での、そのビデオ画面の場所を記述している空間的な情報がある。 そのような情報は、たとえば、そのビデオ画面が一定のレートの速度で移動している場合に暗黙に含めることができるか、あるいはそのビデオ・フレームに関連付けられている別の情報の中に入れておくことができる。 ビデオ画面の場所に関する情報以外に、
ビデオの各ポップ・アウト要素に関する情報を使って、
ビデオ画面によってブロックされず、そのユーザの視野内にあるビデオの各ポップ・アウト要素の部分以外に、
ビデオの各ポップ・アウト要素の空間的場所を各フレームに対して求めることができる。 したがって、ビデオ画面が特定の場所にある時、たとえば、そのビデオ画面の前面または側面または上または下にあるビデオのポップ・アウト要素の部分をディスプレイ上でレンダーすることができる。 したがって、そのビデオ画面上で見られているものとコンピュータ・グラフィックスのポップ・アウト要素との間のマッチを実現することができる。

【００２０】この実施形態を実装するためのプロセスが図５の中でフローチャートの形式で示されている。 図５
に示されているプロセスに入る前に、そのビデオ面からポップ・アウトしなければならないすべての要素を含んでいる三次元の世界が、あらかじめ生成されてメモリの中に格納されていなければならないことに留意されたい。 また、その三次元の世界の内部のビデオ画面のロケーションを記述する空間的情報もそのビデオのフレームに関連付けられてメモリの中に格納されていなければならない。

【００２１】ユーザが見るためのビデオを選択し、そのビデオの最初のフレームがユーザに対して表示される時に、ステップ５０１からこのプロセスに入る。 ステップ５０３において、表示されるべきビデオ・フレームが呼び出される。 これはポインタによってポイントされているフレームを表しているデータを呼び出すことによって行うことができる。 そのようなフレーム・ポインタはそのビデオの最初のフレームをポイントするために、たとえば、ステップ５０１によって最初に設定されている。
ステップ５０５において、三次元の世界の内部のビデオ画面の場所が決定される。 注記されたように、そのような情報はたとえば、そのビデオ画面が一定のレートの速度で移動している場合に暗黙に含めることができるが、
あるいはそのビデオ・フレームに関連付けられている別の情報の中に入れておくことができる。 次に、ステップ５０７において、ポップ・アウト要素の見える部分が現在のビデオ面の場所およびユーザの視点の関数として決定される。

【００２２】その後、ステップ５０７および５０９が実質的に並列に実行される。 実行されるべき並列性の程度は、そのフレームが表示されている間にそのポップ・アウトされるオブジェクトが表示され、したがって、ユーザがそれらを同時に一緒に表示されているように感じるような程度でなければならない。 ステップ５０７において、各ポップ・アウト要素の決定された見える部分がレンダーされる。 そのビデオ・フレームはステップ５０９
において表示される。 次に、制御はステップ５０７および５０９の両方からステップ５１１へ移行する。 ステップ５１１において、次のビデオ・フレームがある場合は、そこへ進められる。 これはそのフレーム・ポインタの値をインクリメントするか、あるいは、さもなければ更新することによって行うことができる。 その後、制御はステップ５０３へ戻り、そしてプロセスは上記のように継続する。

【００２３】上記の説明は三次元の世界の内部のビデオ画面の場所を決定する、表示されるべきビデオ・フレームが設定されていることを仮定している。 しかし、その逆も行うことができる。 すなわち、三次元の世界の内部でのビデオ画面の場所が設定され、そしてこれによってどのビデオ・フレームが表示されるべきかが決定される。 それを行うために、どのビデオ・フレームが次に表示されるべきかが決定されるステップ５０１または５１
１において、三次元世界の内部でのそのビデオ画面の所望の場所が確認される。 この場所はユーザ入力の関数として指定することができる。 たとえば、表示中の画面が自転車に乗っているユーザのビューに対応している場合、そのビデオ画面の場所はそのユーザが自転車に乗っていることを検出する、静止した自転車に取り付けられているセンサによって決定することができる。 フレームの場所を識別する情報のサーチはその画面の現在の場所に対応しているフレームを決定するために行われ、そしてフレーム・ポインタがそのフレームをポイントするように設定される。

【００２４】どのフレームが表示されるかを決定する各種の方法を別々に使うことができる。 あるいは、実装中のアプリケーションの必要に応じて、それらを混合して使うことができる。

【００２５】ポップ・アウト要素が表示されることはないことが分かっているフレームには、メモリ内に格納された三次元世界の内部でのビデオ画面の場所を記述する空間的な情報を関連付ける必要はない。 そのビデオは単純にビデオ画面に表示され、レンダーされるポップ・アウト要素はない。

【００２６】三次元の世界のモデル以外に、フレーム、
およびそれに関連付けられた情報などのあらかじめ記録されている情報を異なるセグメントの中に記憶することができる。 そのようなセグメントは、たとえば、単独のコンピュータの内部の単独の物理的ロケーションに置くか、あるいはネットワークによって接続されている各種のコンピュータなどの中に、異なる物理的ロケーションにおいて、本発明の実施形態で使えるようにすることができる。 さらに、表示を発生するための情報を処理する要素を単独のコンピュータの内部に含めることができるが、必ずしもそうする必要はない。

【００２７】本発明の原理に従って、ビデオからポップ・アウトしてコンピュータ・グラフィックス部分の世界に入るオブジェクトを「調査する」ことができる１つの方法は、ユーザによる１つのそのようなオブジェクトの選択の指示を受信し、それに応答して、その選択されたオブジェクトに対する追加の情報をユーザに提供することによって行う方法である。 たとえば、ポイントおよびクリック選択のシステムなどの、オブジェクトを選択しているビューワに応答してディスプレイ画面上に追加の情報を表示することができる。 そのような選択システムの最も普通のタイプのものは、マウス、トラックボールおよびタッチ・パッドである。 代わりに、ユーザの選択に応答して、追加の情報を含んでいる新しいウィンドウをビデオ・ディスプレイ上に重ねて表示することができる。 これを行うことができるもう１つの方法は、ユーザによるそのようなオブジェクトの選択の指示を受信し、
それに応答して、選択されたオブジェクトの範囲内でユーザが探索できるようにする方法である。 これは探索中の世界またはその外部の世界のコンテキストの範囲内で行うことができる。 これを行うことができる１つの方法は、ＣＧ部分の世界の中のオブジェクトに関連付けられたユニホーム・リソース・ロケータ（ＵＲＬ）を備えることによる方法である。 そのオブジェクトがビューワによって選択されると、そのビューワはそのＵＲＬに対応しているページまたはファイルへ誘導される。 代わりに、そのビューワはそのさらに探索されるオブジェクトに対応する別の世界のモデルへジャンプすることができる。

【００２８】たとえば、ユーザが上記のように、フランスのパリのシャンゼリゼ通りを自転車に乗って通っている場合、そしてその自転車に乗った人が凱旋門を通り過ぎる時、それはビデオからポップ・アウトし、ユーザはそのポップ・アウトされた凱旋門の上でクリックすることができる。 それはその時点ではコンピュータ・グラフィックス部分の世界にあり、それに関する歴史的情報を得て、たとえば、それを画面上の１つのウィンドウの中に表示することができる。 代わりに、そのユーザが自転車に乗っている化身として表現されている場合、そのユーザの化身はマウスのクリックなどの適切なコマンドに応答して自転車から降りてさらに凱旋門を探索するようにすることができ、たとえば、その中に入って一組の階段を登り、そして１つまたはそれ以上の視点から外を眺めることができる。 そのユーザは次に自分の化身が自転車に戻って、ビデオ画面のビデオとして二次元だけで表現されているユーザの視点から離れた世界の部分および、コンピュータ・グラフィックスとしての残りの世界があるような世界において旅行を続けるようにすることができる。 凱旋門の内部の説明はそのビデオからポップ・アウトするために採用される情報または凱旋門の内部の必要な説明をポイントしている情報、たとえば、別の「世界」またはＵＲＬに対するポインタを、ビデオから凱旋門をポップ・アウトするために採用される情報に直接に関連付けておくことができる。

【００２９】もう１つの例として、ユーザはビデオからポップ・アウトされた店に入り、その中でバーチャル・
ショッピングを行うことができる。 本発明の１つの態様によれば、実際に入る特定の店をユーザごとのベースでカスタマイズすることができる。 したがって、たとえば化身など、同じコースを辿っていて、そのビデオからポップ・アウトした店またはベンダー・カートの同じ表現を見ている異なるユーザに対して、そのユーザにサービスしてバーチャル・ショッピング・サービスを彼に提供する特定のベンダーが誰であるかを、ユーザごとに異なるようにすることができる。 本発明の１つの態様によれば、特定のベンダーはそのユーザの実際の地理的な場所の関数として、あるいはそのユーザに関連付けられている特定の場所の関数として選択されるようにすることができる。 同じ世界を一緒に且つ同時に探索している二人以上のユーザ、たとえば、一緒に自転車に乗っている二人の友達は本発明の１つの態様によれば、それぞれの友達がたとえば、それぞれの個人の地理的な場所の関数として、異なるベンダーによってサービスされるようにすることができる。 代わりに、二人以上のユーザがいる場合、そしてそのようなユーザは本発明の１つの態様に従って、それぞれの場所の関数として、たとえば、異なるベンダーによってサービスされることになる場合、そのようなユーザは彼らのうちのサブセットまたはすべてが単独のベンダーによってサービスされる必要があることを指定することができる。

【００３０】本発明のもう１つの態様によれば、１つの仮想店舗の経営者、あるいは彼の代表者、たとえば、電子エージェントが、その付近にいる二人以上の人の化身が、たとえば、店の化身の前を通過するのを検出した時、そのような通行人に対する仮想店舗に対応するそのような経営者の店の化身は、そのような通行人に対して宣伝公告などのメッセージ送信するか、あるいは、たとえば、チャット・サービスまたは音声通信チャネルなどの通信チャネルの開設などの他の通信をそのような通行人と一緒に開始することができる。 その通信は一般的な性質のものとすること、あるいはその通行人に関して利用できる関数としてカスタマイズすることができる。 コミュニティのフィーリングをバーチャル環境において醸し出すことができるので有利である。

【００３１】図６は本発明の態様を実装することができるプロセスのステップを示している。 図６のプロセスにはステップ６０１から入る。 このステップは、たとえば、図４のステップ４１１または図５のステップ５０７
の実行完了後に入る。 その後、ステップ６０３において、ビューワとそのポップ・アウトされるオブジェクトとの間の許可されている対話をサポートするために必要であって、そのオブジェクトのコンピュータ・グラフィックスの視覚的モデルを単純に発生するのに必要な情報より多い追加の情報が呼び出される。 そのような情報はビデオからオブジェクトをポップ・アウトするために使われる、そのビデオに付随している情報と一緒に含めることができる。 ステップ６０５において、そのオブジェクトに関連付けられている地理的機能が決定される。 たとえば、そのビデオからポップ・アウトされるオブジェクトが、たとえば、ニューヨーク市の中のセントラル・
パークの周りをサイクリングしている時に見つけることができるようなベンダーのカートであった場合、その地理的機能はそのベンダー・カートから入手できるのと同じ種類のフードをサービスするタイプのレストランを指定することができる。 そのようなフードは、たとえば、
フランクルフルタ、ハンバーガ、ソーダおよびスナックなどがあり得る。 そのカートに対応するレストランのタイプが次にそのユーザの実際の世界、たとえば、ネブラスカ州のオマハにおける実際の物理的場所と一緒に使われ、同じタイプのフードを扱っていて、配達サービスを提供している地方のレストランを決定するために使われる。 そのカートを調べることによって提供される情報は、その決定されたレストランに対応している情報、たとえば、それに対するメニュー選択および価格に対してリンクされている。 そのビューワはカート上にオブジェクトを維持することによって、そのレストランから１つのアイテムを注文することができ、そしてそのレストランは次にそれらを直接そのビューワに対して配達することができる。 有利なことに、違う実世界の場所にいるが、仮想の世界と結合して交渉しているユーザは実質的に同じサービスが提供され、仮想の世界における彼らの経験を高めることができる。 そのオブジェクトが関係付けられるレストランが２つ以上ある時、そのオブジェクトの決定はユーザ・プロファイルの中に格納しておくことができ、そのユーザに関する知識に依存して行うこともできる。

【００３２】次に、ステップ６０７において、ポップ・
アウトされたオブジェクトと１つのエンティティ（上記のように地理的に決定することができている）との間の通信チャネルをイネーブルすることができる。 たとえば、ポップ・アウトされたオブジェクトが上記のベンダー・カートであった場合、通信チャネルがその対応しているレストラン、またはそれに対するエージェントに対して開かれる。 そのレストランは「ホット・ドッグおよびコールド・ソーダをここでお買い求め下さい」というようなメッセージを送信することができる。 そのメッセージはテキストから音声への変換を使うか、あるいは直接送信される音声の表現を備えるかのいずれかによってそのカートの後のベンダーの化身がそのメッセージをしゃべることによって示すことができる。 いわゆる「チャット」サービスを使って、ビューワとベンダーとの間の双方向通信を行うことができる。

【００３３】通信チャネルを開設することができる別のオブジェクトの例として、広告掲示板（billboard） がある。 そのような広告掲示板はいくつかの方法のうちの１つで動作することができる。 たとえば、その広告掲示板は、ポップ・アウトされた時、潜在的な顧客が近づいたことを広告者に知らせることができ、それに応答して、その広告者は本発明の１つの態様に従ってその広告掲示板に対してメッセージを直ちに送信することができる。 選択された特定の広告者をすべてのビューワに対して全世界的に固定することができる。 あるいは、それを各ビューワに対して地理的に決定することができる。 代わりに、広告掲示板はポップ・アウトされた時、潜在的な顧客が近づいたことを広告者に知らせることができ、
そしてその広告者は本発明の１つの態様に従って、そのビューワに関してそれに対して送ることができる情報をレビューした後、広告者がそうしたければ、その広告掲示板に対してメッセージを送信するようにすることができる。

【００３４】このプロセスはステップ６０９において脱出し、そして次に図４および５のプロセスを再開することができる。

【００３５】図６のプロセスは１つのフレームのタイム・スパンの範囲内で発生するように限定される必要はない。

【００３６】この分野における通常の技術を有する人であれば、世界の共同探索のシミュレーションは本発明の原理を採用することができることが分かる。 たとえば、
１つの世界を探索しているユーザは自動車の乗車、ボートへの乗船、飛行機への搭乗、列車への乗車および飛行船への乗船などを一緒に行うことができる。 ローボードへの乗船はそのユーザによって見られる世界の画像にコーディネートされている、ローイング・マシンを備えているユーザに対して提供することができる。 代わりに、
そのユーザは世界中を一緒に歩くことができ、たとえば、各ユーザはそのユーザ達によって見られる世界の画像と一緒にコーディネートされている自分自身の踏み車の上を歩く。 同様に、複数のユーザがスキーを一緒にすることができる。 たとえば、各ユーザはその複数のユーザによって見られる画像と一緒にコーディネートされている、ノルディックトラック（Nordictrak）などのスキー用のシミュレート・マシン上にいる。

【００３７】さらに、ショッピングの他に、他の形の商用のトランザクションを連動させることができる。 たとえば、仮想のハイウェーを自動車で走っている複数のユーザは、画面からポップ・アウトする料金徴収所のブースに出会う可能性があり、そしてその世界の探索が許される前にユーザのうちの少なくとも一人が料金を支払わなければならない。 同様に、複数のユーザが仮想アミューズメント・パークまたは仮想サファリなどの１つのアトラクションに接近することができる。 ビデオ画面上に現われるチケット・ブースがそのビデオ画面からポップ・アウトすることがあり、そしてユーザはそのアトラクションに進むためにチケットをそれぞれ購入するか、あるいは彼らのために配送させるかして取得しなければならない。

【００３８】これまでの説明は本発明の原理を単に示しているに過ぎない。 したがって、この分野の技術に熟達した人であれば、ここに明示的には説明あるいは表示されてはいないが、本発明の原理を具体化し、そしてその精神および適用範囲内に含まれている各種の構成を工夫することができることを理解されたい。

【図面の簡単な説明】

【図１】ビデオから「ポップ・アウト」してそのビデオ画面の前面において、あるいはその側面において見えるようになっているビデオ・オブジェクトの一例を示す。

【図２】ビデオから「ポップ・アウト」してそのビデオ画面の前面において、あるいはその側面において見えるようになっているビデオ・オブジェクトの一例を示す。

【図３】ビデオから「ポップ・アウト」してそのビデオ画面の前面において、あるいはその側面において見えるようになっているビデオ・オブジェクトの一例を示す。

【図４】オブジェクトの投影される運動が三次元の世界の中にあるべきであるために、コンピュータ・グラフィックス技法を使って、たとえば、そのオブジェクトがビデオの面から「ポップ・アウトする」ように表示される、ビデオ面によって表現される視野の内部にあるオブジェクトが処理されるプロセスの一例を示す。

【図５】オブジェクトの投影された運動が三次元の世界の中にあるべきであるために、コンピュータ・グラフィックス技法を使って表示されるように、ビデオ面によって表されている視野の内部のオブジェクトが処理される、他のプロセスの実施形態を示す。

【図６】本発明を実装することができるプロセスのステップを示す

───────────────────────────────────────────────────── フロントページの続き (72)発明者 サドヒール ラマン アフジャ アメリカ合衆国 07739 ニュージャーシ ィ，リットル シルヴァー，セヴン ブリ ッジズ ロード 28 (72)発明者 ジアンパオロ ユー． カーラロ アメリカ合衆国 07701 ニュージャーシ ィ，レッド バンク，アパートメント 31 エー，スプリング ストリート 275 (72)発明者 ジェームス ロバート エンソア アメリカ合衆国 07701 ニュージャーシ ィ，レッド バンク，センター ストリー ト 812 (72)発明者 ユージェン ジェー． ローゼンザル アメリカ合衆国 08817 ニュージャーシ ィ，エジソン，ノース フィフス アヴェ ニュー 321