Interactive entertainment system and method

申请号 JP2000596441 申请日 2000-01-31 公开(公告)号 JP2002535794A 公开(公告)日 2002-10-22
申请人 レゴ エー/エス; 发明人 ウィーチャフター,ジェニー,ダナ; シュミット,クリストファー,エッチ.; ジョードン,アダム,シー.; セサロッティ,ウィリアム,エー.; パパドポーロス,デスピーナ; ピアノ,フィリップ,ピー.; ペトラヴィック,ロビン,ジー.; ライチュリ,デビッド,ダブリュ.;
摘要 (57)【要約】 対話型エンターテイメントシステムを開示する。 このシステムには、エンターテイメントデバイスを表すベース(104)と、ベースから分離された物理センサオブジェクト(106)と、ベースに対する相対的なセンサオブジェクトの存在、 位置 、および識別を検出するように配置された検出器(102)と、ベースによって表されるエンターテイメントデバイスに関係するオーディオビジュアルセグメントを出 力 するように構成された対話型オーディオビジュアルプログラム(112)が含まれる。 物理センサオブジェクトの検出によって、対話型オーディオビジュアルプログラムが、ベースに対する相対的なセンサオブジェクトの検出された位置に少なくとも部分的に基づき、センサオブジェクトによって検出可能と見なされるベース上の不可視の情報を含むオーディオビジュアルセグメントを出力する。
权利要求 【特許請求の範囲】
  • 【請求項1】 対話型エンターテイメントシステムであって、 エンターテイメントデバイスを表すベース(104)と、 上記ベースから分離された物理センサオブジェクト(106)と、 上記ベースに対する相対的な上記センサオブジェクトの存在、位置、および識別を検出するように配置された検出器(102)と、 上記ベースによって表される上記エンターテイメントデバイスに関係するオーディオビジュアルセグメントを出力するように構成された対話型オーディオビジュアルプログラム(112、304、306、308)であって、上記物理センサオブジェクトの検出が、上記対話型オーディオビジュアルプログラムに、上記ベースに対する相対的な上記センサオブジェクトの上記検出された位置に少なくとも部分的に基づき、上記センサオブジェクトによって検出可能と見なされる上記ベース上の不可視の情報を含むオーディオビジュアルセグメントを出力させる、対話型オーディオビジュアルプログラムと を含む対話型エンターテイメントシステム。
  • 【請求項2】 上記センサオブジェクトが、それ自体は上記オーディオビジュアルセグメントに表示されない、請求項1に記載の対話型エンターテイメントシステム。
  • 【請求項3】 上記エンターテイメントデバイスが、ゲーム、玩具、書籍、
    および物語を含むグループから選択される、請求項1または2に記載の対話型エンターテイメントシステム。
  • 【請求項4】 上記センサオブジェクトが、その機能を表す物理的形態を有する、請求項1ないし3のいずれかに記載の対話型エンターテイメントシステム。
  • 【請求項5】 上記オーディオビジュアルプログラムによって出力される上記オーディオビジュアルセグメントが、上記センサオブジェクトの上記検出された位置に配置された上記ベースの部分の拡張された図を含む、請求項1ないし4
    のいずれかに記載の対話型エンターテイメントシステム。
  • 【請求項6】 上記拡張された図が、上記センサオブジェクトの上記検出された位置に配置された上記ベース部分の拡大図である、請求項5に記載の対話型エンターテイメントシステム。
  • 【請求項7】 上記拡張された図が、上記センサオブジェクトの上記検出された位置に配置された上記ベース部分のx線図である、請求項5に記載の対話型エンターテイメントシステム。
  • 【請求項8】 上記拡張された図が、上記センサオブジェクトの上記検出された位置に配置された上記ベース部分の照らされた図である、請求項5に記載の対話型エンターテイメントシステム。
  • 【請求項9】 上記拡張された図が、上記センサオブジェクトの上記検出された位置に配置された上記ベース部分のデコードされた図である、請求項5に記載の対話型エンターテイメントシステム。
  • 【請求項10】 上記拡張された図が、上記センサオブジェクトの少なくとも一部のイメージである、請求項5ないし9のいずれかに記載の対話型エンターテイメントシステム。
  • 【請求項11】 上記オーディオビジュアルプログラムによって出力される上記オーディオビジュアルセグメントが、上記センサオブジェクトの上記検出された位置に配置された上記ベースの部分に関係するオーディオセグメントを含む、請求項1ないし11のいずれかに記載の対話型エンターテイメントシステム。
  • 【請求項12】 上記ベース部分が、オーディオテープの表現を含み、上記オーディオセグメントが、上記オーディオテープから作られるサウンドを表す、
    請求項11に記載の対話型エンターテイメントシステム。
  • 【請求項13】 上記ベース部分が、可聴のオブジェクトまたは人を隠すことができる構造の表現を含み、上記オーディオセグメントが、上記可聴のオブジェクトまたは人から作られるサウンドを表す、請求項11に記載の対話型エンターテイメントシステム。
  • 【請求項14】 上記オーディオビジュアルセグメントが、上記物理センサオブジェクトの第1位置に基づく開始シーンと、上記第1位置と異なる上記物理センサオブジェクトの第2位置に基づく終了シーンとを有するビデオクリップを含む、請求項1ないし13のいずれかに記載の対話型エンターテイメントシステム。
  • 【請求項15】 対話型エンターテイメントシステムであって、 エンターテイメントデバイスを表すベースと、 上記対話型エンターテイメントシステム内の登場人物を表す物理登場人物オブジェクトと、 上記ベースに対する相対的な上記登場人物オブジェクトの存在、位置、および識別を検出するように配置された検出器と、 上記登場人物オブジェクトの検出された状態に基づいて上記物理登場人物オブジェクトのジェスチャ動きを認識するように配置されたジェスチャリコグナイザと、 上記ベースによって表される上記エンターテイメントデバイスに関係するオーディオビジュアルセグメントを出力するように構成された対話型オーディオビジュアルプログラムであって、上記ジェスチャリコグナイザによる選択されたジェスチャの認識が、上記対話型オーディオビジュアルプログラムに、上記検出されたジェスチャに少なくとも部分的に基づくオーディオビジュアルセグメントを出力させる、対話型オーディオビジュアルプログラムと を含む対話型エンターテイメントシステム。
  • 【請求項16】 上記オーディオビジュアルセグメントが、上記登場人物オブジェクトの第1位置に基づく開始シーンと、上記第1位置と異なる上記登場人物オブジェクトの第2位置に基づく終了シーンとを有するビデオクリップを含む、請求項15に記載の対話型エンターテイメントシステム。
  • 【請求項17】 上記オーディオビジュアルセグメントが、上記ベースによって表される上記エンターテイメントデバイスに関係し、上記ジェスチャリコグナイザによる選択されたジェスチャの認識が、上記対話型オーディオビジュアルプログラムに、上記検出されたジェスチャに関連する動作を実行する上記登場人物オブジェクトによって表される登場人物を含むオーディオビジュアルセグメントを出力させる、請求項15または16に記載の対話型エンターテイメントシステム。
  • 【請求項18】 対話型エンターテイメントシステムであって、 ゲーム、玩具、および書籍からなるグループから選択されたエンターテイメントデバイスを表すベースと、 環境オブジェクト、登場人物オブジェクト、およびセンサオブジェクトを含む、複数の物理オブジェクトと、 上記ベースに対する相対的な上記物理オブジェクトの存在、位置、および識別を検出するように配置された検出器と、 上記ベースに対する相対的な上記物理オブジェクトの上記検出された位置に少なくとも部分的に基づく、上記ベースによって表される上記エンターテイメントデバイスに関係するオーディオビジュアルセグメントを出力するように構成された対話型オーディオビジュアルプログラムと を含み、選択されたセンサオブジェクトの検出が、上記対話型オーディオビジュアルプログラムに、上記ベース上で不可視であるが上記センサオブジェクトによって検出可能とみなされる情報を含むオーディオビジュアルセグメントを出力させ、登場人物オブジェクトの検出が、上記対話型オーディオビジュアルプログラムに、出力されるオーディオビジュアルセグメント内に上記検出された登場人物を含めさせ、環境オブジェクトの検出が、上記対話型オーディオビジュアルプログラムに、出力されるオーディオビジュアルセグメント内に上記検出された環境オブジェクトを含めさせる 対話型エンターテイメントシステム。
  • 【請求項19】 上記センサオブジェクトが、それ自体は上記オーディオビジュアルセグメントに表示されない、請求項18に記載の対話型エンターテイメントシステム。
  • 【請求項20】 上記ベースが、複数のページを有する書籍である、請求項18または19に記載の対話型エンターテイメントシステム。
  • 【請求項21】 上記ベースが、ゲームボードである、請求項18または1
    9に記載の対話型エンターテイメントシステム。
  • 【請求項22】 複数の領域を有する書籍システムとインターフェースする方法であって、 データを抽出するために上記書籍システムをスキャンすることであって、上記抽出されたデータが、上記書籍システムの一部である物理オブジェクトの位置および識別子を含む、スキャンすることと、 上記抽出されたデータに基づいて、上記物理オブジェクトに最も近い領域を識別することと、 上記物理オブジェクトの識別子および上記識別された領域に関する上記物理オブジェクトの位置の判定に少なくとも部分的に基づくオーディオビジュアルプログラムを実行することと を含む方法。
  • 【請求項23】 上記抽出されたデータが、上記書籍システムの一部である対話デバイスの位置および識別子も含み、上記方法が、さらに、上記抽出されたデータに基づいて上記対話デバイスの状態を識別することを含み、上記オーディオビジュアルプログラムが、上記対話デバイスの上記識別された状態にも基づく、請求項22に記載の方法。
  • 【請求項24】 上記対話デバイスが、上記物理オブジェクトに関連する、
    請求項23に記載の方法。
  • 【請求項25】 上記抽出されたデータが、上記書籍システムの一部である対話デバイスの位置および識別子も含み、上記方法がさらに、 上記抽出されたデータに基づいて上記対話デバイスの状態を識別することと、 上記対話デバイスの上記識別された状態に基づいてオーディオビジュアルプログラムを実行することと を含む、請求項22ないし24のいずれかに記載の方法。
  • 【請求項26】 上記書籍システムが、複数のページを含み、上記物理オブジェクトが、選択されたページのうちで上記識別された領域の近くにある部分に配置することができるツールの形である、22ないし25のいずれかに記載の方法。
  • 【請求項27】 上記物理オブジェクトが、拡大デバイスであり、上記拡大デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、上記ページのうちで上記識別された領域の近くにある上記部分の拡大図を含む、請求項26
    に記載の方法。
  • 【請求項28】 上記物理オブジェクトが、x線デバイスであり、上記x線デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、上記ページのうちで上記識別された領域の近くにある上記部分のx線図を含む、請求項26
    に記載の方法。
  • 【請求項29】 上記物理オブジェクトが、デコーディングデバイスであり、上記デコーディングデバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、上記ページのうちで上記識別された領域の近くにある上記部分内で示されていないテキスト、聴覚オブジェクト、または視覚オブジェクトを含む、請求項26に記載の方法。
  • 【請求項30】 上記物理オブジェクトが、リスニングデバイスであり、上記リスニングデバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、1つまたは複数のサウンドを生成する、請求項26に記載の方法。
  • 【請求項31】 上記物理オブジェクトが、選択デバイスであり、上記選択デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記ページの上記部分を表示することと、上記ページの上記部分に基づく応答とを含む、請求項26に記載の方法。
  • 【請求項32】 上記物理オブジェクトが、関連するイメージであり、上記物理オブジェクトが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記物理オブジェクトに関連する上記イメージを表示することを含む、請求項26に記載の方法。
  • 【請求項33】 上記オーディオビジュアルプログラムが、上記物理オブジェクトに関連する上記イメージに加えて、第2イメージを表示することも含む、
    請求項32に記載の方法。
  • 【請求項34】 上記オーディオビジュアルプログラムが、上記物理オブジェクトに関連する上記イメージの第2イメージへのモーフィングも含む、請求項32に記載の方法。
  • 【請求項35】 上記物理オブジェクトが、モーフィングデバイスであり、
    上記モーフィングデバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記ページの上記部分の、上記ページのうちで上記識別された領域の近くにある上記部分に含まれないイメージへのモーフィングを含む、請求項26に記載の方法。
  • 【請求項36】 上記オーディオビジュアルプログラムが、上記物理オブジェクトの第1位置に基づく開始シーンと、上記第1位置と異なる上記物理オブジェクトの第2位置に基づく終了シーンとを有するビデオクリップを表示する、請求項22ないし35のいずれかに記載の対話型エンターテイメントシステム。
  • 【請求項37】 書籍システムと対話するコンピュータシステムであって、 上記書籍システムから抽出されたデータを受け取るように配置されたデータ入力デバイスであって、上記抽出されたデータが、少なくとも、上記書籍システムの一部である選択された物理オブジェクトの位置および識別を含む、データ入力デバイスと、 上記抽出されたデータに基づいて、上記選択された物理オブジェクトに最も近い領域を識別するように配置されたデータインタープリタと、 上記選択された物理オブジェクトの上記位置および識別子と、上記最も近い領域および関連する識別子との判定に少なくとも部分的に基づく対話型ビジュアルイメージを出力するように構成された表示デバイスと を含むコンピュータシステム。
  • 【請求項38】 上記抽出されたデータが、上記書籍システムの一部である対話デバイスの位置および識別子も含み、上記データインタープリタが、上記抽出されたデータに基づいて上記対話デバイスの状態を識別するようにも配置され、上記表示デバイスが、さらに、上記対話デバイスの上記識別された状態に基づいてオーディオビジュアルプログラムを実行するように構成される、請求項37
    に記載のコンピュータシステム。
  • 【請求項39】 上記書籍システムが、複数のページを含み、上記物理オブジェクトが、選択されたページのうちで上記識別された領域の近くにある部分に配置することができるツールの形である、請求項37または38に記載のコンピュータシステム。
  • 【請求項40】 上記物理オブジェクトが、拡大デバイスであり、上記拡大デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、上記ページのうちで上記識別された領域の近くにある上記部分の拡大図を含む、請求項39
    に記載のコンピュータシステム。
  • 【請求項41】 上記物理オブジェクトが、デコーディングデバイスであり、上記デコーディングデバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、上記ページのうちで上記識別された領域の近くにある上記部分内で示されていないテキスト、聴覚オブジェクト、または視覚オブジェクトを含む、請求項39に記載のコンピュータシステム。
  • 【請求項42】 上記物理オブジェクトが、x線デバイスであり、上記x線デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、上記ページ部分自体の中に表示されない上記ページ部分のx線図を含む、請求項39に記載のコンピュータシステム。
  • 【請求項43】 上記物理オブジェクトが、リスニングデバイスであり、上記リスニングデバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、オーディオファイルの再生を含む、請求項39に記載のコンピュータシステム。
  • 【請求項44】 上記物理オブジェクトが、選択デバイスであり、上記選択デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記ページの上記部分を表示することと、上記ページの上記部分に基づく応答とを含む、請求項39に記載のコンピュータシステム。
  • 【請求項45】 上記物理オブジェクトが、関連するイメージであり、上記物理オブジェクトが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記物理オブジェクトに関連する上記イメージを表示することを含む、請求項39に記載のコンピュータシステム。
  • 【請求項46】 上記物理オブジェクトが、モーフィングデバイスであり、
    上記モーフィングデバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記ページの上記部分の、上記ページのうちで上記識別された領域の近くにある上記部分に含まれないイメージへのモーフィングを含む、請求項39に記載のコンピュータシステム。
  • 【請求項47】 複数の領域を有する書籍システムとインターフェースするプログラム命令を含むコンピュータ可読媒体であって、 データを抽出するために上記書籍システムをスキャンするコンピュータコードであって、上記抽出されたデータが、上記書籍システムの一部である物理オブジェクトの位置および識別子を含む、コンピュータコードと、 上記抽出されたデータに基づいて、上記物理オブジェクトに最も近い領域を識別するコンピュータコードと、 上記物理オブジェクトの上記識別子および上記識別された領域に関する上記物理オブジェクトの位置の判定に少なくとも部分的に基づくオーディオビジュアルプログラムを実行するコンピュータコードと、 上記コンピュータ可読コードを保管するコンピュータ可読媒体と を含むコンピュータ可読媒体。
  • 【請求項48】 上記抽出されたデータが、上記書籍システムの一部である対話デバイスの位置および識別子も含み、上記コンピュータ可読媒体が、さらに、 上記抽出されたデータに基づいて上記対話デバイスの状態を識別するコンピュータコードと、 上記対話デバイスの上記識別された状態に基づいてオーディオビジュアルプログラムを実行するコンピュータコードと を含む、請求項47に記載のコンピュータ可読媒体。
  • 【請求項49】 上記書籍システムが、複数のページを含み、上記物理オブジェクトが、選択されたページのうちで上記識別された領域の近くにある部分に配置することができるツールの形である、請求項47または48に記載のコンピュータ可読媒体。
  • 【請求項50】 上記物理オブジェクトが、拡大デバイスであり、上記拡大デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、上記ページのうちで上記識別された領域の近くにある上記部分の拡大図を含む、請求項49
    に記載のコンピュータ可読媒体。
  • 【請求項51】 上記物理オブジェクトが、デコーディングデバイスであり、上記デコーディングデバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、上記ページのうちで上記識別された領域の近くにある上記部分内で示されていないテキスト、聴覚オブジェクト、または視覚オブジェクトを含む、請求項49に記載のコンピュータ可読媒体。
  • 【請求項52】 上記物理オブジェクトが、リスニングデバイスであり、上記リスニングデバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、オーディオファイルの再生を含む、請求項49に記載のコンピュータ可読媒体。
  • 【請求項53】 上記物理オブジェクトが、選択デバイスであり、上記選択デバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記ページの上記部分を表示することと、上記ページの上記部分に基づく応答とを含む、請求項49に記載のコンピュータ可読媒体。
  • 【請求項54】 上記物理オブジェクトが、関連するイメージであり、上記物理オブジェクトが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記物理オブジェクトに関連する上記イメージを表示することを含む、請求項49に記載のコンピュータ可読媒体。
  • 【請求項55】 上記物理オブジェクトが、モーフィングデバイスであり、
    上記モーフィングデバイスが、上記ページのうちで上記識別された領域の近くにある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記ページの上記部分の、上記ページのうちで上記識別された領域の近くにある上記部分に含まれないイメージへのモーフィングを含む、請求項49に記載のコンピュータ可読媒体。
  • 【請求項56】 書籍システムであって、 各ページが1つまたは複数の領域を有する複数のページと、 上記ページの上で移動可能な物理オブジェクトと、 コンピュータシステムと結合することができる位置感知デバイスであって、上記ページの位置、上記物理オブジェクトの識別、および上記物理オブジェクトの位置を検出するように上記コンピュータシステムによって構成可能である、位置感知デバイスと を含み、上記コンピュータシステムが、上記ページおよび物理オブジェクトの上記位置および上記物理オブジェクトの識別を検出するように上記位置感知デバイスを構成する命令を用いてプログラムもされ、上記コンピュータシステムが、
    上記物理オブジェクトに最も近い領域を判定し、上記ページの位置と、上記物理オブジェクトの識別および位置と、上記最も近い領域とに基づいてオーディオビジュアルプログラムを生成する命令を用いてプログラムもされる 書籍システム。
  • 【請求項57】 上記位置感知デバイスが、電磁感知機構の形である、請求項56に記載の書籍システム。
  • 【請求項58】 各ページおよび上記物理オブジェクトが、関連する共振器回路を有し、上記位置感知デバイスが、上記共振器回路の位置および識別を検出できるように、上記関連する共振器回路の少なくとも1つを活動化するために、
    それを介して所定の周波数を有する励起信号を送信することができるアンテナを含む、請求項57に記載の書籍システム。
  • 【請求項59】 各ページに関連する各共振器回路が、異なる周波数値に応答する、請求項58に記載の方法。
  • 【請求項60】 各ページに関連する上記共振器回路の少なくともいくつかが、上記アンテナの異なる部分の上に位置決めされる、請求項59に記載の方法。
  • 【請求項61】 上記ページが、第1共振器回路を形成し、上記物理オブジェクトが、第2共振器回路を有し、上記位置感知デバイスが、上記共振器回路の位置および識別を検出できるように、上記共振器回路の少なくとも1つを活動化するために、それを介して所定の周波数を有する励起信号を送信することができるアンテナを含む、請求項57に記載の書籍システム。
  • 【請求項62】 各ページが、別のページの別のコイルに直列に結合される関連するコイルを有し、上記ページの上記コイルが、上記ページのうちの選択された1つがめくられる時に上記関連するコイルが逆方向になるように、共振器キャパシタに直列に結合される、請求項61に記載の書籍システム。
  • 【請求項63】 さらに、ベース共振器を含み、各ページが、関連するコイルを有し、各コイルが、上記ベース共振器の上に位置決めされることができ、上記位置感知デバイスが、上記ベース共振器に関する上記ページの上記位置を判定できるように、上記ベース共振器の近くに配置される関連するページのコイルによって影響される検出された信号を上記ベース共振器に生成させるために、所定の周波数を有する励起信号をそれを介して送信することができるアンテナを含む、請求項57に記載の書籍システム。
  • 【請求項64】 さらに、ベース共振器を含み、各ページが、関連する導電ストリップを有し、各導電ストリップが、上記ベース共振器の上に位置決めされることができ、上記位置感知デバイスが、上記ベース共振器に関する上記ページの上記位置を判定できるように、上記ベース共振器の近くに位置決めされる関連するページの1つまたは複数の導電ストリップによって影響される検出された信号を上記ベース共振器に生成させるために、所定の周波数を有する励起信号をそれを介して送信することができるアンテナを含む、請求項57に記載の書籍システム。
  • 【請求項65】 上記位置感知デバイスが、上記ページの上記位置を判定するために2つの接点の間のキャパシタンスを測定するキャパシタンス測定デバイスを含む、請求項56に記載の方法。
  • 【請求項66】 各ページが、上記測定されるキャパシタンスに影響するために、少なくとも上記2つの接点の上および間にある区域を覆うように位置決めされることができる導電ストリップを含む、請求項65に記載の方法。
  • 【請求項67】 各導電ストリップが、上記測定されるキャパシタンスに影響するために、上記2つの接点の上および間にある区域全体を覆うように位置決めされることができる、請求項66に記載の方法。
  • 【請求項68】 上記位置感知デバイスが、上記ページの上記位置を判定するために複数の接点対の間の抵抗を測定する抵抗測定デバイスを含む、請求項5
    6に記載の方法。
  • 【請求項69】 各ページが、関連する接点対の間でショートが形成されるように、上記接点対の関連する1つの間に配置されることができる導電ストリップを含む、請求項68に記載の方法。
  • 【請求項70】 各導電ストリップが、2つのプラグを含み、上記関連する接点対が、上記2つのプラグを受ける2つのレセプタクルを含む、請求項68に記載の方法。
  • 【請求項71】 各導電ストリップが、2つのレセプタクルを含み、上記関連する接点対が、上記2つのレセプタクルに挿入される2つのプラグを含む、請求項68に記載の方法。
  • 【請求項72】 上記位置感知デバイスが、それぞれがページに関連する複数の光検出器デバイスを含み、各ページが、上記ページの上記位置を判定できるように上記ページを上記関連する光検出器デバイスを覆うように位置決めできるように形状を定められる、請求項56に記載の方法。
  • 【請求項73】 上記位置感知デバイスが、磁気測定デバイスを含み、各ページが、上記ページが所定の向きにめくられる時に上記磁気測定デバイスの近くに位置決めされることができる関連する磁気タブを含む、請求項56に記載の方法。
  • 【請求項74】 上記位置感知デバイスが、x、y、およびz位置を検出することができる、56ないし73のいずれかに記載の方法。
  • 【請求項75】 上記位置感知デバイスが、回転角度位置の検出も可能である、請求項74に記載の方法。
  • 【請求項76】 上記ページの上に移動可能な第2物理オブジェクト をさらに含み、上記コンピュータシステムが、上記第2物理オブジェクトの位置および識別を検出するように上記位置感知デバイスを構成し、上記第2物理オブジェクトに最も近い領域を判定し、上記ページの位置と、上記第2物理オブジェクトの識別および位置と、上記第2物理オブジェクトに最も近い上記領域とに基づいて第2オーディオビジュアルプログラムを生成する命令を用いてプログラムもされる 56ないし75のいずれかに記載の書籍システム。
  • 【請求項77】 複数のページ、第1物理オブジェクト、および第2物理オブジェクトを有する書籍システムとインターフェースする方法であって、各物理オブジェクトを、複数のページの1つの近くに配置することができ、 データを抽出するために上記書籍システムをスキャンすることであって、上記抽出されたデータが、上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、少なくとも第1の選択された物理オブジェクトの第1位置および第1識別子を含み、上記抽出されたデータが、上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上記第2物理オブジェクトの第2位置および第2識別子を含む、スキャンすることと、 上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、上記抽出されたデータに基づいて上記第1の選択された物理オブジェクトに最も近い第1領域を識別することと、 上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上記抽出されたデータに基づいて上記第2物理オブジェクトに最も近い第2領域を識別することと、 上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、上記第1物理オブジェクトの上記第1位置および第1識別子と上記第1領域の識別子とに少なくとも部分的に基づいてオーディオビジュアルプログラムを実行することと、 上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上記第2物理オブジェクトの上記第2位置および第2識別子と上記第2領域の識別子とに少なくとも部分的に基づいてオーディオビジュアルプログラムを実行することと を含む方法。
  • 【請求項78】 上記抽出されたデータに、上記書籍システムの一部である対話デバイスの位置および識別子も含まれ、上記方法がさらに、 上記抽出されたデータに基づいて上記対話デバイスの状態を識別することと、 上記対話デバイスの上記識別された状態に少なくとも部分的に基づいてオーディオビジュアルプログラムを実行することと を含む、請求項77に記載の方法。
  • 【請求項79】 上記第1物理オブジェクトが、選択されたページのうちで上記識別された第1領域の近くの部分に配置することができるツールの形である、請求項77または78に記載の方法。
  • 【請求項80】 上記第1物理オブジェクトが、拡大デバイスであり、上記拡大デバイスが、上記ページのうちで上記識別された第1領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、上記ページのうちで上記識別された第1領域の近くにある上記部分の拡大図を含む、請求項79に記載の方法。
  • 【請求項81】 上記第1物理オブジェクトが、x線デバイスであり、上記x線デバイスが、上記ページのうちで上記識別された第1領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、上記ページのうちで上記識別された第1領域の近くにある上記部分のx線図を含む、請求項79に記載の方法。
  • 【請求項82】 上記第1物理オブジェクトが、デコーディングデバイスであり、上記デコーディングデバイスが、上記ページのうちで上記識別された第1
    領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、上記ページのうちで上記識別された第1領域の近くにある上記部分内で示されていないテキスト、聴覚オブジェクト、または視覚オブジェクトを含む、請求79に記載の方法。
  • 【請求項83】 上記第1物理オブジェクトが、リスニングデバイスであり、上記リスニングデバイスが、上記ページのうちで上記識別された第1領域の近くにある上記部分に配置される時に、実行される上記オーディオビジュアルプログラムが、オーディオファイルの再生を含む、請求項79に記載の方法。
  • 【請求項84】 上記第1物理オブジェクトが、選択デバイスであり、上記選択デバイスが、上記ページのうちで上記識別された第1領域の近くにある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記ページの上記部分を表示することと、上記ページの上記部分に基づく応答とを含む、請求項79に記載の方法。
  • 【請求項85】 上記第1物理オブジェクトが、関連するイメージであり、
    上記物理オブジェクトが、上記ページのうちで上記識別された第1領域の近くにある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記物理オブジェクトに関連する上記イメージを表示することを含む、請求項79に記載のコンピュータシステム。
  • 【請求項86】 上記第1物理オブジェクトが、モーフィングデバイスであり、上記モーフィングデバイスが、上記ページのうちで上記識別された第1領域の近くにある上記部分に配置される時に、上記オーディオビジュアルプログラムが、上記ページの上記部分の、上記ページのうちで上記識別された第1領域の近くにある上記部分に含まれないイメージへのモーフィングを含む、請求項79に記載の方法。
  • 【請求項87】 複数のページ、第1物理オブジェクト、および第2物理オブジェクトを有する書籍システムとインターフェースするプログラム命令を含むコンピュータ可読媒体であって、各物理オブジェクトを、複数のページの1つの近くに配置することができ、 データを抽出するために上記書籍システムをスキャンするコンピュータコードであって、上記抽出されたデータが、上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、少なくとも第1の選択された物理オブジェクトの第1位置および第1識別子を含み、上記抽出されたデータが、上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上記第2物理オブジェクトの第2位置および第2識別子を含む、コンピュータコードと、 上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、上記抽出されたデータに基づいて上記第1の選択された物理オブジェクトに最も近い第1領域を識別するコンピュータコードと、 上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上記抽出されたデータに基づいて上記第2物理オブジェクトに最も近い第2領域を識別するコンピュータコードと、 上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、上記第1物理オブジェクトの上記第1位置および第1識別子と上記第1領域の識別子とに少なくとも部分的に基づいてオーディオビジュアルプログラムを実行するコンピュータコードと、 上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上記第2物理オブジェクトの上記第2位置および第2識別子と上記第2領域の識別子とに少なくとも部分的に基づいてオーディオビジュアルプログラムを実行するコンピュータコードと、 上記コンピュータ可読コードを保管するコンピュータ可読媒体と を含むコンピュータ可読媒体。
  • 【請求項88】 上記物理オブジェクトによる上記物理オブジェクトのジェスチャ動きを識別し、解釈するジェスチャリコグナイザをさらに含む、請求項3
    7に記載のコンピュータシステム。
  • 说明书全文

    【発明の詳細な説明】

    【0001】 (発明の背景) 本発明は、全般的には、物理システムとのコンピュータ対話に関し、具体的には、物理的な書籍との対話に関する。 本発明は、他の種類のエンターテイメントシステムにも適用可能である。

    【0002】 一般に、通常の書籍は、登場人物および出来事の特定の組を有する物語を読者に提供するテキストの束である。 人が書籍を読む時に、読者は、登場人物の外見と、彼らが異なる出来事に反応するさまを想像することができる。 通常の書籍には、物語からの登場人物および出来事の視覚的な図を読者に与える絵も含めることができる。

    【0003】 読者は、通常は、通常の書籍を最初から最後まで読み、物語の出来事が、テキストの記述によって配置される所定の順序で順次展開される。 言い換えると、物語の筋からの逸脱はなく、書籍の物語またはテキストは固定されたままになる。
    要するに、通常の書籍は、対話的ではなく、物語を提示する方法に関して読者が入することを許容しない。

    【0004】 最近、一部の、限られた対話能力を提供する書籍が、設計された。 たとえば、
    一部の児童書に、書籍に組み込まれたボタンを押すことによって選択し、再生することができるサウンドファイルが含まれる。 これらのサウンドは、通常は、物語に対応する。 たとえば、農家の内庭の動物の声を、農家に関する物語と共に提供することができる。

    【0005】 従来の書籍は、限られた対話性を提供するが、改良された対話性を提供するために書籍とインターフェースする改良された機構が望ましい。 そのような機構によって、ユーザが、物語の方向を選択できるか、物語に追加される出来事を選択できるようになることが好ましい。

    【0006】 (発明の要約) したがって、本発明は、書籍または他の種類の物理的なエンターテイメントデバイスと複雑な形でインターフェースするシステムおよび装置を提供する。 エンターテイメントデバイスには、書籍またはゲームボードまたはゲームプラットホームなどの物理的なベースに配置するかそれに関連付けることができる物理オブジェクトが含まれる。 ユーザは、ベースの上で物理オブジェクトを動かすか、物理オブジェクトをベースに追加し、除去することができる。 ユーザが、物理オブジェクトと対話する(たとえば、ベースに関してオブジェクトを動かすか、書籍のページをめくる)時に、対応するオーディオビジュアルプログラムが実行されて、物理エンターテイメントデバイス内で提示されるものに追加される1つまたは複数のオーディオビジュアルセグメントが表示または再生される。

    【0007】 本発明の一実施形態では、対話型エンターテイメントシステムが開示される。
    上記システムは、エンターテイメントデバイスを表すベースと、上記ベースから分離された物理センサオブジェクトと、上記ベースに対する相対的な上記センサオブジェクトの存在、位置、および識別を検出するように配置された検出器と、
    上記ベースによって表される上記エンターテイメントデバイスに関係するオーディオビジュアルセグメントを出力するように構成された対話型オーディオビジュアルプログラムとを含む。 上記物理センサオブジェクトの検出が、上記対話型オーディオビジュアルプログラムに、上記ベースに対する相対的な上記センサオブジェクトの上記検出された位置に少なくとも部分的に基づき、上記センサオブジェクトによって検出可能と見なされる上記ベース上の不可視の情報を含むオーディオビジュアルセグメントを出力させる。

    【0008】 好ましい実施形態では、上記センサオブジェクトが、それ自体は上記オーディオビジュアルセグメントに表示されない。 もう1つの好ましい実施形態では、上記エンターテイメントデバイスが、ゲーム、玩具、書籍、または物語のいずれかである。 代替案では、上記センサオブジェクトが、その機能を表す物理的形態を有する。 上記オーディオビジュアルプログラムによって出力される上記オーディオビジュアルセグメントが、上記センサオブジェクトの上記検出された位置に配置された上記ベースの部分の拡張された図を含むか、上記センサオブジェクトの上記検出された位置に配置された上記ベースの部分に関係するオーディオセグメントを含むか、その両方であることが好ましい。

    【0009】 代替実施形態では、エンターテイメントシステムが、エンターテイメントデバイスを表すベースと、上記対話型エンターテイメントシステム内の登場人物を表す物理登場人物オブジェクトと、上記ベースに対する相対的な上記登場人物オブジェクトの存在、位置、および識別を検出するように配置された検出器と、上記登場人物オブジェクトの検出された状態に基づいて上記物理登場人物オブジェクトのジェスチャ動きを認識するように配置されたジェスチャリコグナイザとを含む。 上記エンターテイメントシステムは、さらに、上記ベースによって表される上記エンターテイメントデバイスに関係するオーディオビジュアルセグメントを出力するように構成された対話型オーディオビジュアルプログラムを含む。 上記ジェスチャリコグナイザによる選択されたジェスチャの認識が、上記対話型オーディオビジュアルプログラムに、上記検出されたジェスチャに少なくとも部分的に基づくオーディオビジュアルセグメントを出力させる。

    【0010】 もう1つの実施形態では、対話型エンターテイメントシステムが、ゲーム、玩具、または書籍からなるグループから選択されたエンターテイメントデバイスを表すベースと、複数の物理オブジェクトとを含む。 物理オブジェクトは、環境オブジェクト、登場人物オブジェクト、およびセンサオブジェクトを含む。 上記エンターテイメントシステムは、上記ベースに対する相対的な上記物理オブジェクトの存在、位置、および識別を検出するように配置された検出器と、上記ベースに対する相対的な上記物理オブジェクトの上記検出された位置に少なくとも部分的に基づく、上記ベースによって表される上記エンターテイメントデバイスに関係するオーディオビジュアルセグメントを出力するように構成された対話型オーディオビジュアルプログラムとも含む。 選択されたセンサオブジェクトの検出が、上記対話型オーディオビジュアルプログラムに、上記ベース上で不可視であるが上記センサオブジェクトによって検出可能とみなされる情報を含むオーディオビジュアルセグメントを出力させ、登場人物オブジェクトの検出が、上記対話型オーディオビジュアルプログラムに、出力されるオーディオビジュアルセグメント内に上記検出された登場人物を含めさせ、環境オブジェクトの検出が、上記対話型オーディオビジュアルプログラムに、出力されるオーディオビジュアルセグメント内に上記検出された環境オブジェクトを含めさせる。

    【0011】 代替実施形態では、複数の領域を有する書籍システムとインターフェースする方法が開示される。 上記書籍システムは、データを抽出するためにスキャンされる。 この実施形態では、上記抽出されたデータが、上記書籍システムの一部である物理オブジェクトの位置および識別子を含む。 上記物理オブジェクトに最も近い領域が、上記抽出されたデータに基づいて識別される。 オーディオビジュアルプログラムが、上記物理オブジェクトの識別子および上記識別された領域に関する上記物理オブジェクトの位置の判定に少なくとも部分的に基づいて実行される。

    【0012】 本発明の装置態様では、書籍システムと対話するコンピュータシステムが開示される。 上記コンピュータシステムは、上記書籍システムから抽出されたデータを受け取るように配置されたデータ入力デバイスを含む。 上記抽出されたデータが、少なくとも、上記書籍システムの一部である選択された物理オブジェクトの位置および識別を含む。 上記コンピュータシステムは、上記抽出されたデータに基づいて、上記選択された物理オブジェクトに最も近い領域を識別するように配置されたデータインタープリタと、上記選択された物理オブジェクトの上記位置および識別子と、上記最も近い領域および関連する識別子との判定に少なくとも部分的に基づく対話型ビジュアルイメージを出力するように構成された表示デバイスとも含む。

    【0013】 もう1つの態様では、複数の領域を有する書籍システムとインターフェースするプログラム命令を含むコンピュータ可読媒体が開示される。 上記コンピュータ可読媒体は、データを抽出するために上記書籍システムをスキャンするコンピュータコードを含む。 上記抽出されたデータが、上記書籍システムの一部である物理オブジェクトの位置および識別子を含む。 上記コンピュータ可読媒体は、上記抽出されたデータに基づいて、上記物理オブジェクトに最も近い領域を識別するコンピュータコードと、上記物理オブジェクトの上記識別子および上記識別された領域に関する上記物理オブジェクトの位置の判定に少なくとも部分的に基づくオーディオビジュアルプログラムを実行するコンピュータコードと、上記コンピュータ可読コードを保管するコンピュータ可読媒体とを含む。

    【0014】 装置態様で、書籍システムが開示される。 上記書籍システムは、各ページが1
    つまたは複数の領域を有する複数のページと、上記ページの上で移動可能な物理オブジェクトと、コンピュータシステムと結合することができる位置感知デバイスとを含む。 上記位置感知デバイスは、上記ページの位置、上記物理オブジェクトの識別、および上記物理オブジェクトの位置を検出するように上記コンピュータシステムによって構成可能である。 上記コンピュータシステムが、上記ページおよび物理オブジェクトの上記位置および上記物理オブジェクトの識別を検出するように上記位置感知デバイスを構成する命令を用いてプログラムもされる。 上記コンピュータシステムが、上記物理オブジェクトに最も近い領域を判定し、上記ページの位置と、上記物理オブジェクトの識別および位置と、上記最も近い領域とに基づいてオーディオビジュアルプログラムを生成する命令を用いてプログラムもされる。 好ましい実施形態では、上記位置感知デバイスが、電磁感知機構の形である。

    【0015】 もう1つの実施形態では、複数のページ、第1物理オブジェクト、および第2
    物理オブジェクトを有する書籍システムとインターフェースする方法が開示される。 各物理オブジェクトを、複数のページの1つの近くに配置することができる。 上記書籍システムは、データを抽出するためにスキャンされ、上記抽出されたデータが、上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、少なくとも第1の選択された物理オブジェクトの第1位置および第1識別子を含み、上記抽出されたデータが、上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上記第2物理オブジェクトの第2位置および第2識別子を含む。 上記第1の選択された物理オブジェクトに最も近い第1領域が、上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、上記抽出されたデータに基づいて識別される。 上記第2物理オブジェクトに最も近い第2領域が、上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上記抽出されたデータに基づいて識別される。 オーディオビジュアルプログラムが、上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、上記第1物理オブジェクトの上記第1位置および第1識別子と上記第1領域の識別子とに少なくとも部分的に基づいて実行され、オーディオビジュアルプログラムが、上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上記第2物理オブジェクトの上記第2位置および第2識別子と上記第2領域の識別子とに少なくとも部分的に基づいて実行される。

    【0016】 代替実施形態では、複数のページ、第1物理オブジェクト、および第2物理オブジェクトを有する書籍システムとインターフェースするプログラム命令を含むコンピュータ可読媒体が開示される。 各物理オブジェクトを、複数のページの1
    つの近くに配置することができ、上記コンピュータ可読媒体が、(i)データを抽出するために上記書籍システムをスキャンするコンピュータコードであって、
    上記抽出されたデータが、上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、少なくとも第1の選択された物理オブジェクトの第1位置および第1識別子を含み、上記抽出されたデータが、上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上記第2物理オブジェクトの第2位置および第2識別子を含む、コンピュータコードと、(ii)上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、上記抽出されたデータに基づいて上記第1の選択された物理オブジェクトに最も近い第1領域を識別するコンピュータコードと、(iii)上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上記抽出されたデータに基づいて上記第2
    物理オブジェクトに最も近い第2領域を識別するコンピュータコードと、(iv
    )上記第1物理オブジェクトが上記ページの1つの近くに配置される場合に、上記第1物理オブジェクトの上記第1位置および第1識別子と上記第1領域の識別子とに少なくとも部分的に基づいてオーディオビジュアルプログラムを実行するコンピュータコードと、(v)上記第2物理オブジェクトが上記ページの1つの近くに配置される場合に、上記第2物理オブジェクトの上記第2位置および第2
    識別子と上記第2領域の識別子とに少なくとも部分的に基づいてオーディオビジュアルプログラムを実行するコンピュータコードと、(vi)上記コンピュータ可読コードを保管するコンピュータ可読媒体とを含む。

    【0017】 (具体的な実施形態の詳細な説明) これから本発明の具体的な実施形態を詳細に参照する。 これらの具体的な実施形態の例を、添付図面に図示する。 本発明を、これらの具体的な実施形態に関して説明するが、本発明を説明される実施形態に制限することが意図されていないことを理解されたい。 逆に、請求項によって定義される本発明の趣旨および範囲の中に含めることができる代替形態、修正形態、および同等物を含めることが意図されている。 以下の説明では、本発明の完全な理解を提供するために、多数の具体的な詳細を示す。 本発明は、これらの具体的な詳細の一部またはすべてなしに実践することができる。 他の場合には、本発明を不要に不明瞭にしないために、周知の処理動作は詳細に説明しない。

    【0018】 一般に、本発明の実施形態の1つに、複雑な形で書籍とインターフェースする方法および装置が含まれる。 読者が書籍のページをめくる時に、たとえば、ページ位置が、検出され、対応するオーディオビジュアルプログラムが、コンピュータシステム上で実行される。 すなわち、ビジュアルイメージが表示されるか、サウンドが再生されるか、その両方が行われる。 オーディオビジュアルプログラムは、物理書籍のテキストに関係し、読書経験に追加される。

    【0019】 書籍システムに、物理書籍と共に使用することができ、オーディオビジュアルプログラムの操作または変更を可能にするツールも含めることができる。 例として、特定のツール(たとえば拡大ツール)が、書籍の特定のページの特定の部分(たとえば絵)に置かれる時に、対応するオーディオビジュアルプログラム(たとえば絵の一部の拡大図)を表示することができる。

    【0020】 言い換えると、ユーザが、ツールを使用するかページをめくることによって書籍と対話する時に、ユーザに、コンピュータ上で対応するオーディオビジュアル対話が提供され、その対話によって、書籍の経験が大幅に強化される。 要するに、書籍システムには、ページまたはツールの動きを検出する機構が含まれ、物理書籍のページのテキストおよびイメージによって表される物語に加えて、出来事または登場人物が、物語のオーディオビジュアル表現に挿入される。

    【0021】 図1に、本発明の一実施形態による対話型書籍システム100を示す。 検出システムに、物理書籍ユニット103、コンピュータシステム110、および物理書籍ユニット103とコンピュータシステム110の間をインターフェースする入出力ボード108が含まれる。 図からわかるように、物理書籍ユニット103
    には、アンテナ102を有するプリント回路(PC)ボード101、複数のページ104を有する物理書籍、および1つまたは複数のツール106が含まれる。
    ツール106の一部に、ボタンなどの対話デバイス107も含めることができる。 書籍ユニット103に、スイッチまたはボタンなどの固定された対話デバイス109(すなわち、このデバイスは固定された静止位置を有する)も含めることができる。

    【0022】 コンピュータシステム110には、とりわけ、ドライバ114、アプリケーションプログラム112、ディスプレイ116、およびスピーカ118が含まれる。 プロセッサおよびメモリユニットなどの、コンピュータシステムの複数の周知のコンポーネントは、本発明を不明瞭にしないために、図1に含まれず、説明されない。

    【0023】 コンピュータシステム110は、物理書籍ユニット103とは別のコンポーネントであるものとして図示されているが、もちろん、コンピュータシステム11
    0を物理書籍ユニット103と統合することができる。 さらに、テレビジョンシステムまたはセットトップボックスなどの、他のタイプのインターフェースを使用することができることを理解されたい。 また、入出力ボード108を、物理書籍ユニット103と統合することができる。

    【0024】 対話型書籍システム100に、書籍ユニット103に関連するさまざまなツール(たとえば106)およびページ(たとえば104)の存在、位置、および識別を検出する適当な機構を含めることができる。 たとえば、検出機構は、何ページが書籍の右側にめくられた(たとえばページ104a)か、および何ページが書籍の左側にめくられた(たとえばページ104b)かを検出することができる。 検出機構は、どのツールが書籍ユニットのページの上に置かれているか、およびページのどの部分にツールが置かれているかを識別できるようにすることもできる。

    【0025】 書籍ユニット103のページおよびツールを検出し、識別するために、少なくともいくつかのツールおよびページに、検出可能なマーカが含まれる。 マーカが、書籍ユニット103内に置かれるかそこで動かされる(たとえば、ツールをページ上に置くことによるか、ページをめくることによって)時に、マーカの位置を、検出機構によって感知することができる。 マーカによって、ツールまたはページも識別されることが好ましい。 すなわち、検出機構は、異なるツールおよびページの異なるマーカの間で区別することができる。

    【0026】 図示の実施形態では、書籍ユニットに、書籍のツールおよびページを検出し、
    検出されたデータをコンピュータに入力するために、電磁検出システムが含まれる。 適当な電磁検出システムを実施することができる。 もちろん、光学センサまたは電子センサなどの他の検出システムを使用できることを諒解されたい。

    【0027】 図示の電磁検出システムでは、書籍ユニット103に、共振器が特定の共振周波数を有する励起信号によって活動化された時にアンテナ102によって検出可能な複数の共振器回路(図示せず)が含まれる。 共振器回路は、書籍ユニット1
    03のツールおよびページの検出を容易にする、適当な形で配置することができる。

    【0028】 一実施形態では、ツール106およびページ104のそれぞれに、特定の共振周波数で共振する単純な共振器回路(たとえば、キャパシタと直列のコイル)が含まれる。 1つまたは複数の共振器回路を活動化する周波数を有する励起信号が、アンテナ102で放射される。 共振器が励起信号の周波数で共振する時に、共振信号が、共振器によってアンテナ102上で誘導される。 要するに、アンテナ102の励起信号が、活動化された共振器およびそれに対応する、アンテナに対する相対位置によって影響される。

    【0029】 一実施形態では、励起信号の変更を分析して、どの共振器が共振しているかと、それに対応する位置を判定することができる。 励起信号は、共振信号を独立に分析できるように停止されることが好ましい。 すなわち、アンテナの励起信号が停止される時に、活動化された共振器が、「リンギング」信号を作り続け、この信号が、アンテナ102上で誘導され続け、したがって、励起信号によって干渉されずにアンテナ102上で明瞭に検出できるようになる。

    【0030】 アンテナ102は、さまざまな共振器回路の位置を感知するのに適する形とすることができる。 一実施形態では、アンテナが、PCボード101に埋め込まれるループの形である。 アンテナ102は、共振回路およびその位置をアンテナ1
    02によって感知できるように配置される。 言い換えると、アンテナ102内に誘導される共振信号は、アンテナ102に関する活動化された共振器の位置に依存する。 要するに、共振器の位置ならびに関連するツールまたはページの位置を、アンテナ102内に誘導される共振信号を分析することによって、アンテナ1
    02に対して相対的に判定することができる。

    【0031】 書籍システムに、任意の数および種類のツールを含めることができる。 ツールは、書籍ユニット103の一部と対話するのに使用することができるオブジェクトとして定義される。 ツールは、視覚センサまたは聴覚センサを表すことができる。 すなわち、ツールが書籍ユニットの選択された位置の上で動かされる時に、
    選択された位置に関係する追加のイメージまたはサウンドもしくはその両方が、
    オーディオビジュアルプログラムを介して示される。 たとえば、ツールを使用して、ページのあるグラフィック部分を拡大することができ、その拡大図は、オーディオビジュアルプログラムによって生成される。 もう1つの例として、ツールを、書籍ユニットの諸部分に関係するサウンドを示すリスニングデバイスとして使用することができる。 ツールのほかに、書籍システムに、複数の状態を有するオブジェクトとして定義される対話デバイスも含めることができる。 たとえば、
    対話デバイスは、ボタン、スイッチ、またはノブの形とすることができる。

    【0032】 ツールおよび対話デバイスは、書籍ユニット103内で固定されるか、移動可能とすることができる。 対話デバイスは、特定のツールに関連付けることができ、また、書籍ユニット103内の独立のオブジェクトとすることができる。 各ツール、ページ、および対話デバイスを、別個の周波数で共振する共振器を有するものとして構成することができる。 もちろん、対話デバイスがツールに関連する場合には、この対が単一の共振器を有することができる。

    【0033】 この実施形態では、ツールおよび/または対話デバイスの位置を、アンテナ1
    02を介して異なる周波数を有する励起信号を送信することによって、別々に検出することができる。 選択された周波数を有する特定の励起信号によって、対応するツールまたは対話デバイスの共振器が活動化され、これによって、別個の共振信号がアンテナ102内で作られる。 したがって、各オブジェクトを、その特定の共振周波数によって識別することができる。

    【0034】 代替案では、ツールの共振器回路が、同一の共振周波数で共振することができるが、共振器が、ツール自体の中で変化する「z」位置に配置される。 各ツールは、共振器の関連するz位置によって一意に識別される。 同一の周波数を有する共振器を配置し、識別する、この実施形態ならびに複数の他の実施形態が、米国特許出願第09/144951号明細書、表題「Detecting Phys
    ical Object States Using ElectroMagn
    etic Sensors」、出願人ベスコビ(Marcos R. Vesc
    ovi)他、1998年9月1日出願に記載されており、この特許出願書は、参照によってその全体を本明細書に組み込まれる。

    【0035】 適当な機構を実施して、共振信号または検出された信号を、コンピュータシステムへの入力に適当な信号に変換することができる。 図からわかるように、検出された信号は、入出力ボード108を介し、ドライバ114を介して、アプリケーションプログラム112に送られる。 入出力ボード108は、検出された信号をディジタル信号(たとえば2進パルス波)に変換するように配置される。 アプリケーションソフトウェア112は、検出された信号を分析して、書籍ユニット103のさまざまなオブジェクトの位置および識別を判定し、対応するオーディオビジュアルプログラムを生成する。 ドライバ114は、アプリケーションソフトウェア112と入出力ボード108の間の通信を可能にするように配置される。

    【0036】 一般に、位置データは、検出された信号に基づいて判定され、位置データは、
    オーディオビジュアルプログラムの生成またはトリガのために処理され、使用される。 位置データに基づくオーディオビジュアルプログラムを生成する方法の例が、米国特許出願第09/018023号明細書、1998年2月出願、表題「
    Computer Method and Apparatus for In
    teracting with a Physical System」、出願人ピアノ(Piernot)他に記載されており、この特許出願書は、参照によってその全体を本明細書に組み込まれる。

    【0037】 具体的に言うと、検出された信号に、ツール、対話デバイス、および/またはページなどの書籍ユニット103の1つまたは複数の物理オブジェクトの共振器回路に関する位置データが含まれる。 すなわち、1つまたは複数の物理オブジェクトの位置を、検出された信号を分析することによって、突き止めることができる。 一実施形態では、位置データに、6自由度の位置状態すなわち、x位置、y
    位置、z位置、回転、チルト、およびヨーが含まれる。 6自由度の位置データを関知する電磁感知システムの1例が、国際PCT特許出願第PCT/GB96
    /02896号明細書、1997年5月29日公告、出願人デイムズ(Dame
    s)他に記載されており、この特許出願書は、参照によってその全体を本明細書に組み込まれる。 もちろん、位置データに、この6自由度の位置状態のサブセットを含めることができる。

    【0038】 複数の物理オブジェクトに関する位置情報を検出する複数の検出機構を、これから図2Aないし2Fに関して説明する。 図からわかるように、各物理オブジェクトは、書籍のページの形であり、位置情報に、ページがめくられたか否か、ページが現在めくられつつあるか否か、またはページの正確な位置(たとえば書籍のとびらに対する相対的な角度)に関する情報を含めることができる。 もちろん、以下の機構を、些細な修正を加えて、ツール位置および/または対話デバイス位置の検出に適用することができる。

    【0039】 図2Aは、本発明の一実施形態による、電磁検出を使用するページ検出機構の第1例の線図である。 図からわかるように、複数のページ104が、PCボード101に埋め込まれたアンテナ102の上に位置決めされている。 もちろん、アンテナ102は、PCボード101なしで単独とすることができる。

    【0040】 各ページ104は、特定の共振周波数を有する埋め込まれた共振器202を有する。 各共振器202は、ページ位置(たとえば、物理書籍内のどのページが見られているか)を正確に判定できるように、関連するページの適当な位置に位置決めすることができる。 図示の実施形態では、各共振器202が、ページがめくられたか否かに応じて、アンテナ102の異なる位置の上に位置決めされる(各共振器の軸204を見られたい)。

    【0041】 図からわかるように、ページ104aの共振器202aが、アンテナの左部分の上に位置決めされている時には、ページ104aが開かれ、めくられていない。 逆に、ページ104aの共振器202aが、アンテナの右部分の上に位置決めされている時には、ページ104aがめくられ、新しいページ(すなわちページ104b)が表示されている。 さらに、ページ104aの共振器202aが、アンテナの左部分と右部分の間に位置決めされている時には、ページ104aがめくられつつある(たとえば、書籍の左側から右側へ動かされつつあるか、その逆)。

    【0042】 図2Aの実施形態では、各共振器202が、アンテナ102を介して送信される励起信号の特定の周波数で共振する。 たとえば、ページ104aの共振器20
    2aを、第1周波数で送信することによって活動化することができ、ページ10
    4bの共振器202bを、第2の異なる周波数で送信することによって活動化することができる。 励起信号が非活動化された時に、共振器202の1つの共振信号を、アンテナ102によって検出することができる。

    【0043】 複数のページが同一の向きに向けられる(たとえば、ページ104a、104
    b、および104cが、すべて書籍の左側にめくられている)時には、これらのページの共振器202が、互いに重なり合う。 しかし、より多数の共振器が重なり合うにつれて、これらの共振器が互いに干渉する傾向を有し、個々の共振器から検出される信号を分析することが困難になる可能性がある。 したがって、各共振器202が、アンテナ102の異なる位置の上に位置決めされることが好ましい。 各軸204によって示されるように、各共振器202は、アンテナ102の異なる部分の上に位置決めされる。

    【0044】 図2Bは、本発明の一実施形態による、電磁検出を使用するページ検出機構の第2例の線図である。 図からわかるように、ページ104が、埋め込まれた共振器210を有するベース206の上に位置決めされている。 共振器210およびベース206は、アンテナ102の上に位置決めされる。 各ページには、関連するコイル208(たとえば、キャパシタまたは共振器なし)が含まれる。

    【0045】 ページがめくられる時に、コイル208のいくつかが、共振器210に隣接して位置決めされ、検出される信号が、隣接するコイル208によって影響される。 言い換えると、共振器210の共振信号は、何個のコイル208が共振器21
    0からある距離以内に位置決めされるかに依存する。 各コイル208は、共振器210に隣接して位置決めされる(すなわち、ページが書籍の左側にめくられる)か、共振器210の付近に位置決めされる(すなわち、ページがめくられつつある)か、共振器210から離れて位置決めされる(すなわち、ページが書籍の右側にめくられる)可能性がある。

    【0046】 図からわかるように、共振器210は、書籍の左部分の中に配置される。 図からわかるように、ページ104aないし104cは、書籍の左側にめくられ、したがって、コイル208aないし208cは、共振器210の付近に配置される。 対照的に、ページ104dないし104fは、書籍の右側にめくられ、したがって、コイル208dないし208fは、共振器210から離れて配置される。
    この配置では、ページ104aないし104cのコイルと共振器210の間に相互インダクタンスがあり、この相互インダクタンスによって、共振器信号の振幅が減る。 この減少の量を分析して、何個のコイルならびにページが、共振器21
    0の上に存在するかを判定することができる。

    【0047】 代替実施形態では、コイルを、導電材料のストリップに置換することができる。 各ページからの導電材料の各ストリップによって、検出される信号を定量化可能な形で変更することができる。 したがって、検出される信号を分析して、何個の導電材料のストリップが信号に影響しているかを判定でき、これによって、何ページがめくられているかを判定することができる。

    【0048】 図2Cは、本発明の一実施形態による、電磁検出を使用するページ検出機構の第3例の線図である。 図からわかるように、各ページが、関連するコイル211
    を有する。 コイル211は、共振キャパシタ212と共に、一緒に直列に結合されて、共振器を形成する。 ページがめくられる時に、関連するコイルもめくられ、コイルが、逆方向に巻かれている状態になる。

    【0049】 コイルの向きに応じて、各コイルは、共振信号の振幅を減らすか増やす。 たとえば、書籍の右側にめくられた各ページ(図示のように、ページ104dないし104f)のように、めくられたページのコイル(コイル211dないし211
    f)は、検出される信号の振幅を減らすことができる。 この例では、めくられず、書籍の左側に残っている各ページ(図示のように、ページ104aないし10
    4c)について、各関連するコイル(コイル211aないし211c)が、検出される信号の振幅に寄与し続ける。 したがって、検出される信号を分析して、何個のコイルが信号に寄与しているかを判定でき、これによって、何ページがめくられたか、または何ページがめくられていないかを判定することができる。

    【0050】 ページ検出を、電磁検出技法の実施に関して説明してきたが、もちろん、ページの検出に適する他のタイプの感知技法を使用することができる。 たとえば、各ページが、2つの点の間のキャパシタンス値に寄与することができる。 言い換えると、導電材料のストリップを各ページ上で構成し、書籍のページがめくられる時に、2点間のキャパシタンス値が増えるか減るようにすることができる。

    【0051】 図2Dは、本発明の一実施形態による、キャパシタンス値検出を使用するページ検出機構の第1例の線図である。 図からわかるように、第1点214aおよび第2点214bが、ベース206上に配置される。 これらの2つの点214の間のキャパシタンス値は、何ページが点214の上および間に位置決めされるかによって影響される。 図からわかるように、各ページ104は、2つの点214の上に位置決めすることができる関連する導電ストリップ216を有する。

    【0052】 図示の実施形態では、点214が、書籍の右部分に配置される。 したがって、
    ページが書籍の右側にめくられる時に、そのページの関連する導電ストリップ2
    16が、2つの点214の間で測定されるキャパシタンス値に寄与する。 図からわかるように、ページ104d、104e、および104fの導電ストリップ2
    16d、216e、および216fが、キャパシタンス値に寄与する。 というのは、これらのページが、2つの点214に上に位置決めされるからである。

    【0053】 導電ストリップ216は、2つの点214の間のキャパシタンス値に影響する適当な位置に位置決めすることができる。 図2Dの実施形態では、ストリップ2
    16が、対応するページが2つの点214の上に位置決めされた時に、2つの点214の間に延びる。 ストリップ216は、2つの点214と重なり合うか、2
    つの点214の間の区域より大きい区域を覆うこともできる。 その代わりに、ストリップ216が、2つの点214の間の区域より小さい区域を覆うことができる。

    【0054】 図2Eは、本発明の一実施形態による、キャパシタンス値検出を使用するページ検出機構の第2例の線図である。 図からわかるように、各ページ104は、関連する導電ストリップ218を有し、これらのストリップを、互いに入り組ませることができる。 すなわち、ストリップ218を、点220aおよび220bの間の異なる区域の上に位置決めすることができる。 前の例と同様に、各ストリップ218は、点220aおよび220bの間で測定されるキャパシタンス値に影響する。 キャパシタンス値が、何ページが点220の上に位置決めされるかに依存するので、何ページが書籍の片側(すなわち、2つの側定点220を含む側)
    にめくられているかを判定することができる。

    【0055】 任意の個数の検出技術を実施して、ページ位置を検出することができる。 図2
    Fは、本発明の一実施形態による、抵抗値検出を使用するページ検出機構の線図である。 一般に、各ページは、複数の接点対の1つ(たとえば222c)をショートさせる、関連する導電ストリップまたはワイヤ224を有する。

    【0056】 図からわかるように、接点対222は、書籍の右端に沿って位置決めされる。
    各ページが書籍の右側にめくられる時に、めくられたページの関連する導電ストリップが、接点の対222の間に接触し、短絡を生じる。 たとえば、ページ10
    4fが書籍の右側にめくられる時に、ページ104fの導電ストリップ224f
    が、接点対222fに接触する。 同様に、ページ104cが右にめくられる時に、導電ストリップ224cが、接点対222cをショートさせる。

    【0057】 ページめくりは、接点対222の各対の間の抵抗値を測定することによって判定することができる。 抵抗値が相対的に大きい場合には、対応するページがめくられていない。 抵抗値が0である場合には、対応するページがめくられている。

    【0058】 導電ストリップ224は、各ページ上で、2つの接点対222をショートさせるのに適する形で配置することができる。 図2Fに示されているように、導電ストリップ224は、対応するページが接点対222の真上に位置決めされた時に接点の対222の間に静止するように形成される。 代替案では、導電ストリップまたはワイヤに、ページがめくられた時に導電性の穴の対の中に挿入されるプラグを含めることができる。 この実施形態では、2つの点の間で導電経路が形成されることを保証する機構が提供される。 プラグがないと、導電ストリップが、たとえばページにしわがよった場合に、2つの接点に対して正しく位置合せされない可能性がある。

    【0059】 代替実施形態では、書籍システムに、磁気感知デバイスを含めることができ、
    各ページに、あるページ位置で磁気感知デバイスによって感知できる磁気タブを含めることができる。 たとえば、各ページが、異なる位置に位置決めされた磁気タブを有することができる。 磁気感知デバイスは、付近にある磁気タブによって影響される信号を生成する。 したがって、磁気感知デバイスの信号を分析することによって、あるページが磁気感知デバイスの付近に位置決めされているか否かを判定することができる。

    【0060】 もう1つの例として、光検出器を、書籍のベース内に配置することができる。
    たとえば、光検出器を、ベースの片側の外側の縁の下に配置することができる。
    各ページは、ページがめくられたかどうかに応じて、対応する光検出器がそのページによって覆われるか覆われなくなるようにするのに適する形状に構成される。 図2Fの実施形態に類似して、ページは、対応する光検出器(すなわち、各接点対222の代わりに)をそれぞれが覆うか覆わないタブ(すなわち、各導電ストリップ224の代わりに)を有することができる。

    【0061】 上で説明したページ検出技法のどれでも、本発明の書籍システム内に組み込むことができる。 さらに、他の検出機構を実施して、他の移動可能な物理オブジェクトを検出することができる。 たとえば、書籍システムに、書籍システムのページの上に配置し、動かすことができる、任意の個数の物理オブジェクトを含めることができる。

    【0062】 図3は、本発明の一実施形態による、複数の物理オブジェクトを有する書籍システム103のディジタル写真である。 図からわかるように、書籍104が、ベース101の上にある。 書籍システム103には、複数の移動可能な物理オブジェクトまたはツール(たとえば106aないし106e)ならびに固定された物理オブジェクト106fも含まれる。 これらのツールは、物理書籍のあるページの特定の区域内に配置することができる。

    【0063】 ツールを使用して、たとえば物語の筋に組み込まれるタスクを達成することができる。 一実施形態では、ツールを使用して、スパイの身元に関する手がかりを得る。 したがって、スパイの身元を判定するための使用を助ける複数のツールを、図4Aないし8Bに関して説明する。 しかし、異なるツールを、異なる物語の内容を有する書籍と共に使用することができる。 例として、翻訳ツールの組を、
    スペイン語の教科書と共に提供することができる。

    【0064】 図4Aの図示の実施形態では、ユーザが、特定のページ104bの特定のテキスト部分702aの上でデコーディングデバイス106bを動かすことができる。 図4Bに示されているように、デコードされたメッセージ706が、オーディオビジュアルディスプレイウィンドウ704内に表示される。 この例では、ユーザに、次に行うべきことに関する指示が与えられる。 具体的に言うと、ユーザは、次のページに進み、オーディオテープ読取ツールを使用して、音声の手がかりを得るように指示される。 図4Cに示されているように、第2のデコーディングツール106aが、複数のテープストリップ表現(たとえば708aないし70
    8j)の1つの上に動かされる。

    【0065】 一実施形態では、ユーザが、サウンドデコーディングツール106aを選択されたテープの上に動かす時に、オーディオサンプルが再生されて、スパイの身元に関する、ユーザのための手がかりが示される。 サウンドは、ユーザがテープストリップ708に沿って左から右に、右から左に、またはその組合せで動かす時に再生することができる。 この実施形態では、オーディオセグメントが、ツール106aが左から右に動かされる時に順方向で再生され、同一のオーディオセグメントが、ツール106aが右から左に動かされる時に逆方向で再生される。

    【0066】 要するに、オーディオビジュアルプログラムに、サウンドデコーディングツール106aのテープ読取ジェスチャなどのジェスチャを認識する技法を含めることができる。 このジェスチャならびに他のジェスチャを認識するのに適するどのような技法でも実施することができる。 たとえば、サウンドデコーディングツール106aが、テープストリップ708内で動かされる時に、サウンドファイル(たとえばwaveファイル)へのインデックスを、ストリップ708に沿ったツール106aの位置に基づいて計算する。 すなわち、ツール106aが、ストリップ708の左端に位置決めされる場合には、インデックスは、サウンドファイルの先頭を参照する。 ツール106aが、ストリップ708の中央へ動かされる時に、インデックスも、サウンドファイルの中央からサウンドファイルの終りへ動かされる(サウンドも再生される)。

    【0067】 特定のページの特定の部分の上に特定のツールを動かすことによってトリガされる隠された手がかりをユーザが検索できるようにする、他のツールを提供することができる。 図5Aに示されているように、拡大デバイス106cを、ページ104eのイメージ710aの特定の部分の上に置くことができる。 図5Bに示されているように、拡大鏡デバイス106cが、ピラミッドのイメージ710a
    の上に置かれた時に、オーディオビジュアルディスプレイ704内に拡大された図710bが表示される。

    【0068】 オーディオビジュアルディスプレイ704に、実際に物理書籍に示されているイメージ(すなわち710a)が含まれるだけではなく、追加の拡大されたイメージ710bも示されている。 したがって、提供されるツールを使用することによって、ユーザは、物理書籍内で提供されるテキストおよびイメージのほかに、
    豊富なオーディオビジュアル材料へのアクセスを得る。

    【0069】 同様に、モーフィングツール(図示せず)を提供することができる。 モーフィングツールが、物理書籍ページ内の特定のイメージの上に置かれた時に、その特定のイメージが、オーディオビジュアルプログラムによって表示され、別のイメージにモーフィングされる。 例として、ユーザが、12歳の人物の写真の上にモーフィングツールを置いた時に、その若い人物のイメージを表示し、50歳の同一人物などの高齢の人物にモーフィングすることができる。

    【0070】 追加のビジュアルイメージを表示するほかに、ユーザがページの特定の部分の上で特定のツールを動かす時に、サウンドを再生することもできる(たとえばコンピュータのスピーカを介して)。 図6Aに示されているように、リスニングデバイス106dが、ページ104fの建物の特定の窓の上に置かれている。 建物の窓を介して聞くことができる適当なサウンドが、オーディオビジュアルプログラム704内で再生される。 図6Bに示されているように、ボイス信号712を、オーディオビジュアルプログラム704内で表現し、表示することができる。
    さらに、人物の音声が、たとえばコンピュータのスピーカを介して再生される。
    図示の実施形態では、音声によって、スパイの身元を判定するために、重要な手がかりを説明するか、ユーザを助ける他の手がかりを見つける場所を示すことができる。

    【0071】 図示の実施形態では、書籍の特定のページに示される、あるイメージオブジェクトをユーザが選択できるようにするツールも提供される。 図7Aに示されているように、選択ツール106cが、ページ104gおよび104hの写真の中に示された人のグループの中の特定の人物を選択するのに使用される。 対応するオーディオビジュアルディスプレイを、選択された人物に基づいて生成することができる。 ミステリの文脈では、オーディオビジュアルプログラムによって、選択された人物がスパイであるかどうかを示すことができる。 図7Bに示されているように、オーディオビジュアルプログラム704によって、選択された人物71
    4が、スパイでないことが示される。

    【0072】 ツールは、書籍のページとは別に供給されるビジュアルイメージの形とすることもできる。 これらの別のイメージは、書籍のあるページに置くことができる。
    図8Aに示されているように、異なる顔を有する複数のカード(たとえば106
    eおよび106g)が提供される。 この実施形態では、ユーザが、特定のカードまたは人物106gを選択し、それをページ104iの中央に置く。

    【0073】 理論的に、この機能を用いて、ユーザが物語の筋にビジュアルイメージを追加することができる。 この特定の例では、ユーザが、スパイとして識別した人物を有するカードを選択する。 その後、ユーザがスパイを正しく識別したかどうかを示すオーディオビジュアルプログラムが生成される。 図8Bに示されているように、オーディオビジュアルディスプレイ704によって、ユーザがスパイ716
    を正しく識別したことが示される。

    【0074】 上で説明したように、ユーザが、書籍のページの上でツールを動かすか、対話デバイスの状態を変更するか、ページをめくる時に、対応するオーディオビジュアルプログラムが生成される。 書籍システム内のさまざまな物理オブジェクトの位置に対応するオーディオビジュアルプログラムを生成するのに適するどのような機構でも実施することができる。 言い換えると、物理書籍に関するインターフェースするソフトウェアに、物理書籍システムとのユーザの対話に対応する適当なオーディオビジュアル表示および/またはサウンドを生成するという目的を達成する、適当な動作を含めることができる。

    【0075】 図9は、本発明の一実施形態による、図1の書籍システムなどの書籍システムとインターフェースする処理300を示す流れ図である。 当初、動作302で、
    書籍システムを提供する。 動作304で、書籍システムの諸部分をスキャンして、データを抽出する。 抽出されるデータには、書籍システムの物理オブジェクト(たとえば、ツール、ページ、および対話デバイス)に関する情報が含まれる。
    たとえば、抽出されるデータに、各物理オブジェクトの位置および向きが含まれる。 また、抽出されるデータに、各物理オブジェクトに関連する識別子を含めることができる。

    【0076】 電磁感知技術を含む書籍システムでは、アンテナで所定の周波数で励起信号を開始することによって、データが抽出される。 その後、励起信号を停止し、書籍システム内の1つまたは複数の共振器からの検出された信号が、アンテナ上に存在するかどうかを判定する。 検出される信号に、書籍システムの応答する共振器に関係する位置情報を含めることができる。 所定の周波数は、応答する共振器の識別に対応するものとすることができる。 異なる所定の周波数を有する一連の励起信号をアンテナ上で開始して、異なる共振周波数を有する複数の物理オブジェクトの存在、位置、および識別を検出することができる。

    【0077】 書籍の諸部分からデータを抽出した後に、動作306で、抽出されたデータを解釈する。 たとえば、抽出されたデータを分析して、書籍ユニット内のさまざまな物理オブジェクトの相対位置および識別を判定することができる。 抽出されたデータを分析して、書籍ユニットの検出された物理オブジェクトおよびさまざまな領域の相対位置および識別を判定することもできる。 動作306は、図10に関してさらに詳細に説明する。

    【0078】 データを解釈した後に、動作308で、抽出されたデータおよび前に抽出され記録されたデータに基づいて、オーディオビジュアルプログラムを実行する。 たとえば、特定のページの領域の相対位置および前の物理オブジェクトの位置が、
    前に記録されており、これによってアクセスされて、新しいオーディオビジュアルプログラムが生成される場合がある。 動作308は、図11に関してさらに詳細に説明する。

    【0079】 オーディオビジュアルプログラムには、単に1つのビジュアルフレームを含めることができ、また、ビデオからのフレームのシーケンスの1フレームを含めることができる。 たとえば、オーディオビジュアルプログラムを実行する動作で、
    連続的なオーディオビジュアルシーケンス(たとえばQuickTimeムービー)を開始するか、単にムービー内の特定の点で継続することができる。 もう1
    つの例として、オーディオビジュアルプログラムが1つのフレームだけを有することができる。 もう1つの例として、オーディオビジュアルプログラムに、対話型ゲームを含めることができ、このゲームで、プレイヤが、書籍および物理オブジェクトに関するある作業を実行するように指示されるものとすることができる。

    【0080】 オーディオビジュアルプログラムを開始または継続した後に、動作310で、
    抽出されたデータの情報を記録する。 抽出されたデータを記録した後に、動作3
    12で、書籍の終りに達したかどうかを判定する。 これは、適当な形で達成することができる。 たとえば、書籍を閉じた時に、これを検出し、書籍の終りとして解釈することができる。 書籍の終りに達していない場合には、この処理は、動作304に戻り、ここで、書籍システムの諸部分をもう一度スキャンして、データを抽出する。 書籍システムの諸部分をもう一度スキャンした後に、動作304ないし312を繰り返し、前に記録されたデータを使用することができる。 書籍の終りに達した時に、処理300は、もう一度開始される(すなわち、書籍が開かれる時)まで終了する。

    【0081】 図10は、本発明の一実施形態による、抽出されたデータを解釈する図9の動作306を示す流れ図である。 当初、動作402で、存在するすべての物理オブジェクトの位置を判定する。 物理オブジェクトを書籍のページに一時に1つ置くことができるように、または、複数の物理オブジェクトを書籍ページに同時に置くことができるように、書籍システムを設計することができる。 動作404で、
    すべての物理オブジェクトの識別子を判定する。 たとえば、物理オブジェクトが拡大デバイスの形であるかどうかを判定することができる。

    【0082】 その後、動作406で、いずれかの物理オブジェクトが特定のページの領域または「ホットスポット」に関連するかどうかを判定する。 言い換えると、各ページのある区域を、対話ゾーンとして定義することができる。 すなわち、物理オブジェクトがホットゾーン内に置かれる時に、対応するオーディオビジュアルプログラムが生成される。 代替案では、ページ全体を、対話ゾーンとして定義することができる。 動作408で、物理オブジェクトに関連するホットスポットを識別する。 たとえば、物理オブジェクトに関連するページの番号および部分を識別して、その特定の物理オブジェクトに関してどのタイプの対話が行われるかを判定することができる。 具体的な例として、特定のページの部分を、拡大ツールがその上に置かれた時に拡大される(すなわち、オーディオビジュアルプログラムによって)ものとして識別することができる。

    【0083】 動作410で、すべての対話デバイスの状態を判定する。 対話デバイスは、物理オブジェクトの異なる状態を示すのに適する形とすることができる。 たとえば、物理オブジェクトに、押された状態または離された状態とすることができるボタンを含めることができる。 その場合には、動作410で、ボタンが押されているかどうかを判定する。 その後、処理は、図9の動作308に戻り、ここで、抽出されたデータの解釈に基づくオーディオビジュアルプログラムが実行される。

    【0084】 動作402ないし410を、特定のアプリケーションに適当な任意の順序で実行できることが、当業者には十分に理解されるに違いない。 たとえば、動作40
    2を、動作404の後に実行することができる。 さらに、特定のアプリケーションの特定の必要に応じて、抽出されたデータからの他の情報を解釈するか、解釈しないことができる。 たとえば、書籍システムに対話デバイスが含まれない場合には、動作410は不要である。 もう1つの例として、図9の動作308で実行するオーディオビジュアルプログラムを選択するのを助けるために、書籍自体の識別を判定する動作を含めることができる。 抽出されたデータを解釈した後に、
    図9の動作308を実行する。

    【0085】 図11は、本発明の一実施形態による、オーディオビジュアルプログラムを実行する図9の動作308を示す流れ図である。 当初、動作502で、ホットスポット領域に関連する物理オブジェクトがあるかどうかを判定する。 ホットスポットは、特定のページ上の特定の部分またはページ全体として定義される。 ホットスポット領域は、移動可能なオブジェクトを置くことができる領域または、固定された押しボタンなどの固定された対話デバイスが配置される領域として定義することができる。 ホットスポット領域に関連する物理オブジェクトがない場合には、この処理は、図9の動作310に戻り、抽出されたデータを記録する。

    【0086】 ホットスポットに関連する物理オブジェクトがある場合には、動作504で、
    物理オブジェクトを選択する。 物理オブジェクトは、適当な形で選択することができる。 たとえば、ページに最初に置かれた物理オブジェクトを、最初に選択することができる。 その後、動作506で、対応するオーディオビジュアルプログラムを実行する。 オーディオビジュアルプログラムは、選択された物理オブジェクト、物理オブジェクト識別子、関連する対話デバイスの状態、および関連するホットスポット識別子に基づく。 言い換えると、オーディオビジュアルプログラムは、どの物理オブジェクトが選択されたかと、そのような物理オブジェクトがホットスポット領域に関してどこに位置決めされているかに依存する。

    【0087】 図11には示されていないが、オーディオビジュアルプログラムは、物理オブジェクトが存在するか否かに無関係に、ページが現在めくられつつあるか否かにも基づくものとすることができる。 一実施形態では、ページがめくられつつあると判定される場合に、隙間のオーディオビジュアルセグメントが生成される。 具体的な例として、ジャングルのシーンを有する第1ページが、砂漠のシーンを有する第2ページにめくられる場合に、隙間のオーディオビジュアルセグメントに、登場人物が飛行機を介してジャングルを去り、その飛行機でジャングルから砂漠に飛行し、飛行機で砂漠に着陸するのを示すビデオクリップを含めることができる。

    【0088】 オーディオビジュアルプログラムが自然に進行した後に、動作508で、選択すべき物理オブジェクトがまだあるかどうかを判定する。 選択すべき物理オブジェクトがまだある場合には、動作504でそのオブジェクトを選択する。 その後、動作506でもう1つのオーディオビジュアルプログラムを実行する。 しかし、選択すべき物理オブジェクトがもうない場合には、この処理は、図9の動作3
    10に戻り、動作300の次の実行のために、抽出されたデータを記録する。

    【0089】 本発明を、書籍との対話に適用可能であるものとして説明してきたが、もちろん、説明された特徴の多くを、ボードゲームまたは玩具などの他のタイプのエンターテイメントデバイスに適用することができる。 たとえば、説明されたツールの一部を、他のタイプのエンターテイメントシステム内で使用することができる。 図12、図13A、および図13Bに、本発明の代替実施形態のディジタル写真が含まれる。

    【0090】 図12に示されているように、ゲームシステム1200に、遊戯面またはベース1201上に位置決めすることができる複数の物理オブジェクト(たとえば、
    1206a、1204a、および1202a)が含まれる。 ベース1201は、
    特定のエンターテイメントデバイスに適する任意の形状および/または配置とすることができる。 図示の実施形態では、ベース1201が、平らな部分と高い部分(たとえば橋1203)を含むボードゲームである。 ベース1201の表面パターンは、適当な遊戯面を表すことができる。 図示の実施形態では、ベース12
    01が、裏庭区域を表す。

    【0091】 ゲームシステム1200に、本発明の説明されたツールのいずれかの形の物理オブジェクトを含めることができる。 さらに、ゲームシステムに、他の適当なタイプの物理オブジェクトを含めることができる。 図示の実施形態では、物理オブジェクトを、3つの一般的なタイプすなわち、登場人物オブジェクト、環境オブジェクト、およびセンサオブジェクトに分類することができる。 登場人物オブジェクトは、ゲーム内の登場人物を表す物理オブジェクトである。 たとえば、登場人物オブジェクトは、人、動物、またはすべての生きているオブジェクトを表すことができる。 一般に、登場人物は、ゲームの進行中に他のゲームオブジェクトと対話する。 したがって、オーディオビジュアルプログラムに、検出された登場人物オブジェクトの位置に部分的に基づいて他の項目と対話する検出された登場人物を示すセグメントが含まれる。

    【0092】 環境オブジェクトは、一般に、副項目または背景項目もしくはゲームの環境態様を表す。 言い換えると、オーディオビジュアルプログラムを、環境オブジェクト位置の検出された位置にも基づくものとすることができるが、環境オブジェクトは、主に、ゲームの環境に影響し、このゲームの環境は、通常は、ゲームの登場人物およびゲームの登場人物のお互いとのおよび/またはそれを囲む環境との対話により多く基づく。 たとえば、環境オブジェクトを、オーディオビジュアルセグメント内で、通常は主な焦点である登場人物オブジェクトに関して補助的なオブジェクトとして表すことができる。 もう1つの例として、環境オブジェクトが、オーディオビジュアルセグメントの条件またはパラメータに影響する場合がある。 環境オブジェクトの複数の例が、米国特許出願第09/018023号明細書、1998年2月2日出願、表題「Computer Method an
    d Apparatus for Interacting with a P
    hysical System」、出願人ピアノ(Piernot)他にさらに記載されており、この特許出願書は、参照によってその全体を本明細書に組み込まれる。

    【0093】 センサオブジェクトは、一般に、検出された時に、オーディオビジュアルプログラムに、物理的なゲームシステム内で知覚されない(たとえば、ベースパターンの一部として表示されない)1つまたは複数のオーディオビジュアルセグメント内のイメージおよび/またはサウンドを生成される物理オブジェクトである。
    たとえば、上で説明したように、視覚的または聴覚的な手がかりを、オーディオビジュアルプログラムを介して提示することができる。 もう1つの例として、オーディオビジュアルセグメントに、ベース上のパターンに関係するイメージまたはサウンドを含めることができる。 一実施形態では、オーディオビジュアルセグメントによって、使用されるセンサオブジェクトによって表される感知デバイスのタイプによって検出された可能性があるオブジェクトが表示される。 たとえば、センサオブジェクトが拡大鏡を表す時に、オーディオビジュアルセグメントに、センサオブジェクトの下に置かれたベースの部分の拡大図が含まれる。

    【0094】 図12に示された実施形態では、ゲームシステム1200に、少女の裏庭の形であるゲームのベース1201の上で動く少女の形の登場人物オブジェクト12
    02aが含まれる。 登場人物オブジェクトは、人、動物、神話の生き物、またはあらゆる種類の生きているオブジェクトなどの適当な形をとることができる。 ゲームシステム1200には、裏庭1201に「埋められた」オブジェクトを明らかにする(すなわち、オーディオビジュアルプログラムを介して)のに使用される「魔法の晶」の形のセンサオブジェクト1204aも含まれる。 ゲームシステム1200には、見晴らし台1210、木1206a、隠れ場所1208a、
    切り株1212、および泉1214の形の複数の環境オブジェクトも含まれる。

    【0095】 一部の環境オブジェクトの動きを、制限することができる。 たとえば、切り株1212は、x、y、およびz位置において制約されるが、さまざまなゲームオプション(たとえば難しさのレベル)を選択するために回転することができる。
    これらのゲームオプションは、1つまたは複数のオーディオビジュアルセグメントの一部に影響するか、すべてのオーディオビジュアルセグメントにグローバルに影響することができる。 一部の環境オブジェクトを、移動可能にし、ベース上の任意の場所に位置決めすることができる(たとえば木1206a)。 一実施形態では、オーディオビジュアルプログラムが、登場人物オブジェクト1202a
    の近くに位置決めされない限り、環境オブジェクトの存在を無視する(たとえば、オブジェクトが、オーディオビジュアルセグメント内に提示されない)。

    【0096】 図13Aは、本発明の一実施形態による、図12の登場人物オブジェクト12
    02aと、環境オブジェクト1206a(木)および1208a(隠れ場所)と、感知オブジェクト1204a(魔法の水晶)に基づくオーディオビジュアルプログラムからのディスプレイ出力1300を示すスクリーンショットである。 オーディオビジュアルセグメント1300に示されているように、物理登場人物オブジェクト1202aに対応する登場人物1202bが表示される。 物理登場人物1202aから所定の距離の中に位置決めされた環境オブジェクトも、表示される。 図からわかるように、木1206bおよび隠れ場所1208bは、登場人物1202bに対して相対的に表示される。

    【0097】 さらに、センサオブジェクト1204aの位置に基づいて、拡張された図12
    04bが表示される。 図示の実施形態では、センサオブジェクトが、ベース12
    01の下に配置された地下のオブジェクト(図ではモグラ1204b)を検出すると見なされる「魔法の水晶」の形である。 言い換えると、ユーザが、ベースのある区域を横切って「魔法の水晶」1204aを動かすことによって、「魔法の水晶」1204aを使用してベース1201の下のオブジェクトを検出したかのように見える。 センサオブジェクト1204aが、ベース1201を横切って動かされる時に、地下のすべてのオブジェクトを含む、ベース区域の地下の図が、
    オーディオビジュアルセグメント内でシミュレートされ、表示される。 要するに、物理ゲームベース1201内でのセンサオブジェクト1204aを介するオブジェクト検出が、オーディオビジュアルプログラムによってシミュレートされる。

    【0098】 本発明に、物理オブジェクトのいずれかを使用して行われるジェスチャを識別するジェスチャリコグナイザを含めることもできる。 言い換えると、物理オブジェクトによる特定の動きのシーケンスを検出でき、これを使用して、適当なオーディオビジュアルセグメントを生成することができる。 例として、ユーザが、ベース1201から登場人物オブジェクト1202aを持ち上げることによって、
    「なわとび」ジェスチャを開始することができる。 この登場人物は、回転するなわを含むオーディオビジュアルセグメント内で提示される。 表示される登場人物のジャンプする動きは、物理登場人物のジャンプするジェスチャに対応する。 言い換えると、表示される登場人物の動きが、物理登場人物の動きと同期化される。

    【0099】 オーディオビジュアルセグメントに、登場人物オブジェクトの動きに基づく他の特徴を含めることもできる。 たとえば、物理登場人物(および表示される登場人物)が、自分のジャンプと表示されるとびなわの回転との同期化に失敗する場合に、表示される登場人物が、なわの上でつまづくか、なわで頭を打っているものとして示される。

    【0100】 図13Bは、本発明の一実施形態による、図12の登場人物オブジェクト12
    02aによって実行される「なわとび」ジェスチャに基くオーディオビジュアルプログラムからのディスプレイ出力1301を示すスクリーンショットである。
    図示の実施形態では、「なわとび」ジェスチャを、物理登場人物1202aをベース1201から持ち上げることによって開始することができる。 図13Bに示されているように、物理登場人物1202aに対応する、表示される登場人物1
    202cは、なわとびの動作にかかわっているものとして示される。 2つの追加の表示される登場人物1302aおよび1302bが、とびなわ1304を持ち、回し、主登場人物1202cが、この登場人物のジャンプがなわの回転運動と同期しているか否かに応じて、ジャンプするか、なわの上でつまずくか、なわが登場人物1202cの上体にあたる。

    【0101】 図14は、本発明の一実施形態による、図12の登場人物オブジェクトの「なわとび」ジェスチャを分析する処理1400を示す流れ図である。 当初、動作1
    402で、物理登場人物オブジェクトの現在位置(たとえば図12の1202a
    )を得る。 その後、動作1404で、オーディオビジュアルプログラムが、得られた位置に基づいて登場人物(たとえば図13Aの1202b)を表示する。 その後、動作1406で、物理登場人物(たとえば1202a)の位置が変化したかどうかを判定する。 この判定ステップは、登場人物の位置が変化するまで繰り返される。

    【0102】 登場人物の位置が変化したと判定される時に、動作1410で、登場人物の動きが「なわとび」ジェスチャを示すかどうかを判定する。 適当なタイプの動きによってジェスチャを示すことができる。 たとえば、登場人物をz方向で上下に繰り返して動かして、「なわとび」ジェスチャを示す。 その後、検出されたジェスチャに基づいて、新しいオーディオビジュアルセグメントを活動化することができる。 図示の例では、「なわとび」ジェスチャが開始される場合に、登場人物(
    たとえば図13Bの1202c)が、登場人物の位置に基づいてなわとびをするものとして表示される(たとえば図13Bを参照されたい)。

    【0103】 動作1414で、動きが検出されるまで、物理登場人物の位置をもう一度繰り返して検査する。 物理登場人物(たとえば1202a)が新しい位置に移動(たとえばそのz位置を変更)した後に、物理登場人物の動きが、表示されるとびなわの回転運動と同期しているかどうかを判定する。 すなわち、物理オブジェクトが、表示される飛び縄(たとえば1304)の上で正しくジャンプしているかどうかを判定する。 一実施形態では、物理登場人物のz位置を、表示されるとびなわのz位置と比較して、表示される登場人物がなわを飛び越えた(またはなわが登場人物の頭の上を通った)かどうかを判定する。 この判定動作は、物理登場人物が表示されるとびなわのタイミングと同期しなくなるまで繰り返される。 その後、動作1418で、物理登場人物のタイミングがずれたことに関する適当なオーディオビジュアルセグメントを表示する。 たとえば、表示される登場人物が、
    表示されるなわの上でつまずいて表示される。

    【0104】 前述の発明は、理解の明瞭さのためにある程度詳細に説明されたが、請求項の範囲内で変更および修正を実践できることを諒解されたい。 たとえば、各ページおよびオブジェクトが対応するマーカ(たとえば共振器)を有するものとして説明したが、もちろん、ページまたはツールの一部が、オーディオビジュアルプログラムの生成に関係しない場合に、これらにマーカが含まれない場合がある。

    【0105】 さらに、ツールタイプの特定の組だけを説明したが、もちろん、エンターテイメントシステムに、他のツールタイプを含めることができる。 たとえば、このシステムに、人または動物の図など、他の物理オブジェクトの上で動かすことができるx線ツールを含めることができる。 ユーザが、図の一部の上でx線ツールを動かす時に、オーディオビジュアルプログラムによって、図の部分のx線図または内部図が表示される。 上で図12ないし14のゲームシステムに関して説明したように、x線ツールも、ゲーム面の下に隠されていると見なされるオブジェクト(たとえば埋められたオブジェクト)を明らかにするのに使用することができる。 同様に、ツールが、聴診器機能を有することができ、この場合、聴診器が図の上で動かされる時に、心臓の鼓動または他のサウンドを聞くことができる。 もう1つの例として、エンターテイメントシステムに、やはり物理ゲームシステム内の隠されたオブジェクトを明らかにするのに使用することができる懐中電灯ツールも含めることができる。 一実施形態では、懐中電灯ツールが表面の上で動かされる時に、オーディオビジュアルセグメントに、表面またはゲームベースの他の前に隠されたオブジェクトを含めることができる照らされた部分が含まれる。
    最後の例として、ツールが、金属検出器として機能することができる。

    【0106】 また、上で説明した隙間の機能を、ページめくりのほかに、他のタイプの物理オブジェクトの動きに適用することができる。 たとえば、ヘリコプタの形の物理オブジェクトが、第1位置の基地を去り、第2位置の基地に戻る時に、ヘリコプタが第1区域から離陸し、空中を飛び、第2区域に着陸するのを示す適当な隙間のオーディオビジュアルセグメントを生成することができる。 隙間のセグメントが、ヘリコプタオブジェクトが飛行する時間の長さに基づくものとすることもできる。 たとえば、ヘリコプタが、比較的長い時間の間基地から離れる場合に、隙間のセグメントで、長距離(たとえばある国から別の国へ)を移動するヘリコプタを示すことができる。

    【0107】 ジェスチャ機能も、説明した書籍システムならびに図12ないし13に示した実施形態の中で実施することができる。 たとえば、特定のツールのジェスチャを認識するように書籍システムを構成することができる。 具体的な例として、穴掘りツールを使用して、選択されたページ部分で「ひっかく」動きを行うことができる。 対応するオーディオビジュアルセグメントを生成して、前に隠されたオブジェクトを明らかにする。 すなわち、隠されたオブジェクトが、隠されたオブジェクトの上で「ひっかく」ジェスチャを行うことに応答して、オーディオビジュアルプログラムを介して掘り出される。

    【0108】 さらに、本発明のエンターテイメントシステムに、物理オブジェクトの動きに基づいて異なるスケーリングのオーディオビジュアルセグメントを提供する機構を含めることができる。 すなわち、物理オブジェクトが、ゲームの異なる領域の中である距離だけ動かされる時に、各セグメントがこの距離を異なるスケールで表す異なるオーディオビジュアルセグメントを表示することができる。 具体的な例では、物理オブジェクトが、ゲームの第1領域内である距離だけ動かされる時に、オーディオビジュアルセグメントによって、第1スケール(たとえばズームアウトした表示)でその距離が表現される。 対照的に、物理オブジェクトが、第2領域内で同一の距離だけ動かされる時に、オーディオビジュアルセグメントによって、その距離が第2スケール(たとえばズームインした表示)で表現される。

    【0109】 したがって、これらの実施形態は、例示的であり、制限的ではないものとみなされなければならず、本発明は、本明細書に示した詳細に制限されないが、請求項の範囲および同等物の中で変更することができる。

    【図面の簡単な説明】

    【図1】 本発明の一実施形態による書籍システムの平面図である。

    【図2A】 本発明の一実施形態による、電磁検出を使用するページ検出機構の第1例の線図である。

    【図2B】 本発明の一実施形態による、電磁検出を使用するページ検出機構の第2例の線図である。

    【図2C】 本発明の一実施形態による、電磁検出を使用するページ検出機構の第3例の線図である。

    【図2D】 本発明の一実施形態による、キャパシタンス値検出を使用するページ検出機構の第1例の線図である。

    【図2E】 本発明の一実施形態による、キャパシタンス値検出を使用するページ検出機構の第2例の線図である。

    【図2F】 本発明の一実施形態による、抵抗値検出を使用するページ検出機構の線図である。

    【図3】 本発明の一実施形態による、複数の物理オブジェクトを有する書籍のディジタル写真である。

    【図4A】 本発明の一実施形態による、デコーディングデバイスを書籍のページの上に位置決めされた書籍システムのディジタル写真である。

    【図4B】 本発明の一実施形態による、図4Aのデコーディングデバイスの位置に基づくオーディオビジュアルプログラムによって生成されるスクリーンショットである。

    【図4C】 本発明の一実施形態による、第2のデコーディングデバイスを書籍のページの上に位置決めされた書籍システムのディジタル写真である。

    【図5A】 本発明の一実施形態による、拡大デバイスを書籍のページの上に位置決めされた書籍システムのディジタル写真である。

    【図5B】 本発明の一実施形態による、図5Aの拡大デバイスの位置に基づくオーディオビジュアルプログラムによって生成されるスクリーンショットである。

    【図6A】 本発明の一実施形態による、リスニングデバイスを書籍のページの上に位置決めされた書籍システムのディジタル写真である。

    【図6B】 本発明の一実施形態による、図6Aのリスニングデバイスの位置に基づくオーディオビジュアルプログラムによって生成されるスクリーンショットである。

    【図7A】 本発明の一実施形態による、選択デバイスを書籍のページの上に位置決めされた書籍システムのディジタル写真である。

    【図7B】 本発明の一実施形態による、図7Aの選択デバイスの位置に基づくオーディオビジュアルプログラムによって生成されるスクリーンショットである。

    【図8A】 本発明の一実施形態による、イメージカードを書籍のページの上に位置決めされた書籍システムのディジタル写真である。

    【図8B】 本発明の一実施形態による、図8Aのイメージカードの位置に基づくオーディオビジュアルプログラムによって生成されるスクリーンショットである。

    【図9】 本発明の一実施形態による、図1の書籍システムなどの書籍システムとインターフェースする処理を示す流れ図である。

    【図10】 本発明の一実施形態による、抽出されたデータを解釈する図9の動作を示す流れ図である。

    【図11】 本発明の一実施形態による、オーディオビジュアルプログラムを実行する図9
    の動作を示す流れ図である。

    【図12】 本発明の一実施形態による、環境オブジェクト、登場人物オブジェクト、およびセンサオブジェクトをベースの上に位置決めされたゲームシステムのディジタル写真である。

    【図13A】 本発明の一実施形態による、図12の登場人物オブジェクト、環境オブジェクト、および感知オブジェクトに基づくオーディオビジュアルプログラムからのディスプレイ出力を示すスクリーンショットである。

    【図13B】 本発明の一実施形態による、図12の登場人物オブジェクトを介するジェスチャに基くオーディオビジュアルプログラムからのディスプレイ出力を示すスクリーンショットである。

    【図14】 本発明の一実施形態による、図12の登場人物オブジェクトのジェスチャを分析する処理を示す流れ図である。

    ───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 7識別記号 FI テーマコート゛(参考) G06F 17/30 360 G06F 17/30 360Z G10L 13/00 G10L 3/00 R (81)指定国 EP(AT,BE,CH,CY, DE,DK,ES,FI,FR,GB,GR,IE,I T,LU,MC,NL,PT,SE),OA(BF,BJ ,CF,CG,CI,CM,GA,GN,GW,ML, MR,NE,SN,TD,TG),AP(GH,GM,K E,LS,MW,SD,SL,SZ,TZ,UG,ZW ),EA(AM,AZ,BY,KG,KZ,MD,RU, TJ,TM),AE,AL,AM,AT,AU,AZ, BA,BB,BG,BR,BY,CA,CH,CN,C R,CU,CZ,DE,DK,DM,EE,ES,FI ,GB,GD,GE,GH,GM,HR,HU,ID, IL,IN,IS,JP,KE,KG,KP,KR,K Z,LC,LK,LR,LS,LT,LU,LV,MA ,MD,MG,MK,MN,MW,MX,NO,NZ, PL,PT,RO,RU,SD,SE,SG,SI,S K,SL,TJ,TM,TR,TT,TZ,UA,UG ,UZ,VN,YU,ZA,ZW (72)発明者 ピアノ,フィリップ,ピー. アメリカ合衆国 94306 カリフォルニア, パロ アルト,カレッジ アヴェニュー ナンバー8 360 (72)発明者 セサロッティ,ウィリアム,エー. アメリカ合衆国 94114 カリフォルニア, サンフランシスコ,ツウェンティフォース ストリート ナンバー5 3730 (72)発明者 パパドポーロス,デスピーナ アメリカ合衆国 10012 ニューヨーク, ニューヨーク,グリーン ストリート 80 (72)発明者 ペトラヴィック,ロビン,ジー. アメリカ合衆国 94110 カリフォルニア, サンフランシスコ,ドロレス ストリート 1063 (72)発明者 ライチュリ,デビッド,ダブリュ. アメリカ合衆国 94306 カリフォルニア, パロ アルト,コロラド アヴェニュー 675 (72)発明者 ウィーチャフター,ジェニー,ダナ アメリカ合衆国 94043 カリフォルニア, マウンテン ヴュー,モンテベロ アヴェ ニュー ナンバー11 202 Fターム(参考) 2C001 AA11 BA06 BC05 BC09 CA01 CA08 CA09 CB01 CC02 CC08 5B075 KK07 ND06 ND16 PP10 PP28 PQ02 PQ04 PQ13 UU11 UU40 5D045 AB30 5E501 AA02 AA17 AC16 AC34 BA05 BA17 CA02 CC20 EB18 FA15 FA32 FA43 FB33 FB43

    QQ群二维码
    意见反馈