【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、電子情報のオーサリングの分野に係り、特に、複数次元ナレーションを記録、再生（プレイバック）する方法及び装置に関する。

【０００２】

【従来の技術】大半の一般的な人の一日は、口述媒体及び筆記媒体を含む多様なメカニズムを用いた他の人とのコミュニケーションによって費やされる。 さらに、豊富な口述媒体コミュニケーション媒体と、豊かさに欠ける筆記コミュニケーション媒体との間には、屡々、兼ね合いがある。 口述媒体は、交渉、明快化、説明、及び、主観的な見方の交換を行うことができ、筆記媒体は、大量の正確な客観的又は数値データの交換が可能である。

【０００３】口述コミュニケーションと筆記コミュニケーションの間の二分関係は、電子的領域にも同様に存在する。 簡単なテキスト的な電子メールメッセージは、時々必要とされる表現的なコミュニケーションを容易に著すことができるが、一般的に豊かな表現的コミュニケーションを実現しない。

【０００４】

【発明が解決しようとする課題】これに対し、マルチメディアプレゼンテーションソフトウェアのように、より豊かな非常に表現的なメッセージを作成するツールは、
非常に複雑で、かなり時間を要するので、気軽に使用したり、毎日使用したりすることは難しい。 さらに、マルチメディアプレゼンテーションソフトウェアは、典型的に、コミュニケーションツールとして使用するために設計されていない。 このソフトウェアを使用して作成されたマルチメディア文書は、聴衆に情報を提示するのに役立ち、ユーザ対話や自習には向かない。

【０００５】したがって、従来技術において生じる制限を解決する簡単かつ効率的なマルチメディア・オーサリング・ツールを作成する方法が必要である。

【０００６】

【課題を解決するための手段】本発明は、ウォークスルーナレーションを作成及び／又は再生する方法並びに装置である。 一実施例において、本発明の方法は、３次元環境内で電子文書の複数次元表現を生成し、複数次元表現のナレーションを記録し、多数のモードの中の少なくとも一つのモードで再生できるように複数次元表現及びナレーションを蓄積する。

【０００７】

【発明の実施の形態】以下、添付図面を参照して本発明を例示的に説明するが、本発明はかかる実施例に制限されるものではない。 図面中、同じ参照番号は類似した構成要素を示す。

【０００８】音声付文書の視覚的表現を生成する方法及び装置について説明する。 以下の記載では、説明の目的のため、多数の具体的な細部が本発明の完全な理解が得られるように与えられる。 しかし、当業者には明らかなように、本発明はそれらの具体的な細部を用いることなく実現され得る。 別の例では、構成及び装置は、本発明が不明瞭になることを避けるためにブロック図形式で示されている。

【０００９】明細書中、「一つの実施例」あるいは「一実施例」という表現は、実施例と共に説明されている具体的な特徴、構成又は特性が本発明の少なくとも一つの実施例に含まれることを意味する。 また、明細書中の多数の箇所に現れる句「一実施例において」は、同じ実施例を指しているとは限らない。

【００１０】以下の詳細な説明の一部分は、コンピュータメモリ内のデータビットに対する演算のアルゴリズム及び記号的表現で示されている。 これらのアルゴリズムの説明文及び表現は、データ処理技術の当業者が自分の業績の実質を他の当業者に最も効率的に伝えるため、当業者によって使用される手段である。 アルゴリズムは、
一般的に、所望の結果を導くステップの理路整然としたシーケンスである。 これらのステップは、物理量の物理的操作を要求するステップである。 通常、これらの物理量は、必ずしも記憶、転送、合成、比較、並びに、その他の操作が可能な電子若しくは磁気信号の形式をとるとは限らない。 これらの信号は、原理的に共通に使用するという理由のため、ビット、値、要素、シンボル、文字、項、数等として参照するのが好適な場合がある。

【００１１】しかし、上記の用語及び類似した用語は、
適当な物理量と関連付けられ、これらの物理量に与えられた便宜的な呼び名に過ぎないことに注意する必要がある。 以下の説明からわかるように、特に断らない限り、
「プロセッシング（処理する）」、「コンピューティング」、「計算する」、「判定する」、「表示する」などの用語を使用した説明は、コンピュータシステムのレジスタ及びメモリ内で物理（電子的）量として表現されたデータを、コンピュータシステムのメモリ若しくはレジスタ、又は、その他の情報記憶装置、情報転送装置、若しくは、情報表示装置内で物理量として同様に表現されたデータに操作並びに変換するコンピュータシステム若しくは類似した電子コンピューティング装置の動作又はプロセスを表す。

【００１２】本発明は、以下に説明する演算を実行する装置にも関係する。 この装置は、要求された目的のため特に構成され、或いは、コンピュータ内に記憶されたコンピュータプログラムによって選択的に作動若しくは再構成される汎用コンピュータでもよい。 このようなコンピュータプログラムは、たとえば、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ及び光磁気ディスクを含む任意のタイプのディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、
ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気若しくは光カード、又は、コンピュータシステムバスに接続され、電子命令を記憶するため適した任意のタイプの媒体のようなコンピュータ読み取り可能な記録媒体に格納されるが、これらの記録媒体に限定されるものではない。

【００１３】以下に説明するアルゴリズム及び表示内容は、特定のコンピュータ若しくはその他の装置に本来的に関連するものではない。 多数の汎用システムが以下に開示された事項に従うプログラムと共に使用され、或いは、要求される方法のステップを実行するためにはより専用化された装置を構築する方が好都合であることがわかる。 上記の多様なシステムに要求される構造は、以下の説明から明らかになる。 さらに、本発明は、特定のプログラミング言語に関して説明されない。 以下に説明される本発明の技術を実現するため多数のプログラミング言語を使用可能であることがわかる。

【００１４】図１には、多数の電子文書が表示された電子表示装置が示されている。 図１を参照するに、表示装置１００は、電子文書及びデータを表示するため装備された装置により構成される。 表示装置１００は、たとえば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣ
Ｄ）、或いは、その他の同様に装備された表示装置、スクリーン若しくはモニターである。 位置実施例において、表示装置１００は、接触感応型透明パネルによってスクリーンが覆われたタッチスクリーンである。 また、
同図において、表示装置１００はコネクタケーブル１５
５を介してコントロールユニット１５０に接続される。
コネクタケーブル１５５は表示装置１００の外部又は内部のいずれに設けられても構わない。

【００１５】コントロールユニット１５０は、電子表示信号を表示装置１００に供給するため装備された算術論理ユニット、マイクロプロセッサ、汎用コンピュータ、
ＰＤＡ（パーソナル・ディジタル・アシスタント）、又は、その他の情報機器などにより構成される。 位置実施例において、コントロールユニット１５０は、たとえば、Windows ^（Ｒ）又はJAVA ^（R）ベースのオペレーティングシステムを用いて生成されたグラフィカル・ユーザ・インタフェースをもつ汎用コンピュータである。 一実施例において、電子文書１１０、１２０、１３０及び１
４０は、コントロールユニット１５０により実行される一つ以上のアプリケーションプログラムによって生成される。 アプリケーションプログラムの中には、たとえば、ワード・プロセッシング・アプリケーション、電子メールアプリケーション、表計算アプリケーション、及び、ウェブ・ブラウザ・アプリケーションなどが含まれるが、これらの例に限定されない。 一実施例において、
コントロールユニット１５０によって実行されるオペレーティングシステム及び／又は一つ以上のアプリケーションプログラムは、電子文書１１０、１２０、１３０及び１４０のような各電子文書が別々のデータオブジェクトとしてカプセル化される「ドラッグ・アンド・ドロップ」機能を提供する。

【００１６】再度、図１を参照するに、コネクタケーブル１５５は、コントロールユニット１５０のような装置からの表示信号を、表示装置１００のような表示装置につなぐため従来技術において知られている任意のコネクタを表す。 他の実施例において、コントロールユニット１５０は表示装置１００内にあり、コネクタケーブル１
５５を使用する必要がなく、或いは、コネクタケーブル１５５は表示装置１００の内部で使用される。

【００１７】図２は、コンピュータシステムの一実施例のブロック図である。 図２を参照するに、コントロールユニット１５０は、プロセッサ１０２と、メインメモリ１０４と、データ記憶装置１０７とを含み、これらの全ては、システムバス１０１に通信接続される。

【００１８】プロセッサ１０２は、データ信号を処理し、複雑命令セット・コンピュータ(CISC)アーキテクチャー、縮小命令セット・コンピュータ (RISC)アーキテクチャー、或いは、上記命令セットの組み合わせを実行するアーキテクチャーを含む多数のコンピューティングアーキテクチャーにより構成される。 図２には、１台のプロセッサしか図示されていないが、多数のプロセッサを使用してもよい。

【００１９】メインメモリ１０４は、プロセッサ１０２
によって実行される命令及び／又はデータを記憶する。
命令及び／又はデータは、以下に説明される技術の一部及び／又は全部を実行するコードを含む。 メインメモリ１０４は、ダイナミックランダムアクセスメモリ(DRAM)
装置、スタティックランダムアクセスメモリ(SRAM)装置、若しくは、その他の公知のメモリ装置などである。

【００２０】データ記憶装置１０７は、プロセッサ１０
２のためのデータ及び命令を記憶し、ハードディスクドライブ、フロッピーディスクドライブ、CD-ROM装置、DV
D-ROM装置、DVD−RAM装置、DVD-RW装置、フラッシュメモリ、或いは、その他の公知の大容量記憶装置を含む一つ以上の装置により構成される。

【００２１】システムバス１０１は、コントロールユニット１５０の全体で情報及びデータを通信する共有バスを表す。 システムバス１０１は、工業標準規格(ISA)バス、周辺コンポーネント相互接続(PCI)バス、汎用シリアルバス(USB)、或いは、同等の機能を提供するその他の公知のバスを含む一つ以上のバスを表す。

【００２２】システムバス１０１を介してコントロールユニット１５０に接続された付加コンポーネントには、
表示装置１００、キーボード１２２、カーソルコントロール装置１２３、ネットワークコントローラ１２４及び音声装置１２５が含まれる。 表示装置１００は、電子画像及びデータを表示するため装備された任意の装置を表す。 表示装置１００は、陰極線管(CRT)、液晶ディスプレイ(LCD)、或いは、その他の同様に装備された表示装置、スクリーン、モニターである。 キーボード１２２
は、情報及びコマンド選択をプロセッサ１０２に通知するためコントロールユニット１５０に接続された英数字入力装置を表す。 カーソルコントロール１２３は、位置的データ及びコマンド選択をプロセッサ１０２に通知するため装備されたユーザ入力装置を表す。 カーソルコントロール１２３には、マウス、トラックボール、スタイラス、ペン、カーソル矢印キー、或いは、カーソルの動きを生じさせるその他のメカニズムが含まれる。 ネットワークコントローラ１２４は、コントロールユニット１
５０を、多数のプロセッシングシステムを収容するネットワークに連結する。 プロセッシングシステムのネットワークは、ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)（たとえば、インターネット）、及び／又は、多数の装置が通信するため使用するその他の相互接続型データパスを含む。

【００２３】音声装置１２５はシステムバス１０１に接続され、音声入力を受信し、音声出力を送信するため設けられる。 音声入力は、音声装置１２５内のマイクロホン及びネットワークコントローラ１２４を含む多数の装置を用いて受信される。 同様に、音声出力は、プロセッサ１０２及びネットワークコントローラ１２４を含む多数の装置によって発生される。 一実施例において、音声装置１２５は、汎用コンピュータシステム内で用いるため設計された汎用音声・アドイン拡張カードである。 選択的に、音声装置１２５は、音声プロセッシングを容易に実現するため、一つ以上のアナログ・ディジタル変換器、又は、ディジタル・アナログ変換器、及び／又は、
一つ以上のディジタル信号プロセッサを含む。

【００２４】制御ユニット１５０は、本発明の精神及び範囲を逸脱することなく、図２に示された一つ以上のコンポーネントを含むことは、当業者に明らかである。 たとえば、コントロールユニット１５０は、たとえば、１
次レベル若しくは２次レベルのキャッシュのような付加メモリ、又は、特定用途集積回路(ASIC)を含む。 同様に、付加的なコンポーネントが、たとえば、イメージスキャニング装置、ディジタルスチル若しくはビデオカメラ、或いは、電子データを捕捉し、及び／又は、電子データをコントロールユニット１５０にダウンロードするため装備された、若しくは、装備されていないその他の装置を含むコントロールユニット１５０に接続される。

【００２５】［音声ナレーション］一実施例によれば、
表示装置に表示された一つ以上の電子文書又は画像を選択的に説明する可変長音声ナレーションを記録することができる。 一実施例では、表示画面でクリック動作、ポインティング動作、又は、接触動作を行って表示画面上で位置を指定することにより、音声レコーディングが開始され、動的に調節可能な音声メーターが表示される。
音声メーターのサイズは、音声メーターが動いている間に記録された音声の量に比例して増大する。 音声レコーディングは、音声レベルが所定の閾値よりも低下したときに停止し、或いは、特定のユーザ入力に応じて停止する。 一実施例では、更なる位置的イベントが受信される毎に、新しい音声メーターが生成され、前の音声メーターは調節できなくなり、止まった状態になる。

【００２６】用語「位置的イベント」は、コントロールユニットによって追跡された時点と共に表示画面上の電子的ロケーションを同時に示すことができる入力を表現する。 多数の入力源がコンピュータマウス、トラックボール、スタイラス若しくはペン、及び、カーソルコントロールキーのような位置的イベントを発生するが、これらの位置的イベントには制限されない。 同様に、タッチスクリーンは、位置的イベントを生成及び検出することができる。 一実施例において、位置的イベントは、コントロールユニット１５０によって検出され、他の実施例において、位置的イベントは表示装置１００によって検出される。

【００２７】一実施例において、マウスのクリックやタッチスクリーンの接触のような位置的イベントが発生した後、音声メーターが表示装置１００上で位置的イベントによって指定されたロケーションに生成される。 音声メーターが生成されたときと実質的に同じ時点で、コントロールユニット１５０、又は、コントロールユニット１５０に接続された同様に装備された装置は、音声入力を記録し始める。 一実施例において、表示された音声メーターのサイズは、コントロールユニット１５０、又は、コントロールユニット１５０に接続された同様に装備された装置によって記録された音声の量を比例的に示すように動的に調整される。 音声は、音声装置１２５又は類似した音声ハードウェア（ソフトウェア）を通じてコントロールユニット１５０によって記録され、音声は、データ記憶装置１０７、又は、同様に装備された音声記憶装置の内部に記憶される。 一実施例において、コントロールユニット１５０は、位置的イベントの検出に応じて音声レコーディングを開始し、一方、他の実施例では、コントロールユニット１５０は、所定の閾値レベルを超える音声入力が検出されると自動的に音声レコーディングを開始する。 他の実施例では、オンスクリーンボタン若しくは物理的なボタンの組がレコーディングを制御するため使用される。 音声コントロール用のボタンは周知であり、「録音」、「再生」、「一時停止」、
「早送り」、「巻き戻し」などを含む。 同様に、音声レコーディングは、音声レベルが所定の閾値よりも低下した後、或いは、コントロールユニット１５０が音声入力の存在しない所定の無音区間を検出した後に自動的に終了される。

【００２８】図３の（Ａ）は、関連した音声メーターと共に表示されたディジタル写真形式の電子文書を示す図である。 図３の（Ａ）を参照するに、電子文書１３０が表示装置１００に示されている。 他の実施例では、電子文書１３０は、大きい画像若しくは文書の縮小サイズの「サムネイル」表現として現れる。

【００２９】一実施例において、音声メーター２３２
は、電子文書１３０の上に重ね合わせて表示され、開始インジケータ２３４及び停止インジケータ２３６を含む。 開始インジケータ２３４は、音声メーター２３２に対する初期位置的イベントが検出されたロケーションをマークし、停止インジケータ２３６は、動的に調整されている間に音声メーター２３２が終了するロケーションをマークする。 一実施例において、音声メーターは、音声入力の停止、若しくは、音声入力が最小閾値レベルよりも低下した結果として、動的調整されなくなる。 図３
の（Ａ）では、音声メーター２３２と関連した位置的イベントが電子文書１３０上にあるポイント（開始インジケータ２３４で示される）で検出されるので、次に、音声メーター２３２が電子文書１３０上に生成される。 一実施例において、音声メーターは半透明で描画されるので、電子文書１３０のような音声メーターの下にある電子文書は、可視化された状態を保つ。 音声メーターは、
記録された音声波形又は音声及び無音のセグメントをグラフ的に表示する。

【００３０】本実施例による方法に従って記録された音声は、どのような方法でも再生される。 一実施例では、
記録された音声は、コントロールユニット１５０が、対応した音声メーターの開始インジケータ上のロケーション、又は、実質的に開始インジケータ近傍のロケーションを示す位置的イベントを検出したときに再生される。
他の実施例の場合、記録された音声は、コントロールユニット１５０が、関連した音声メーター若しくは電子文書のいずれかの箇所のロケーション、若しくは、実質的にいずれかの箇所の近傍にあるロケーションを示す位置的イベントを検出したとき、又は、ユーザが上述のボタンを押下したときに再生される。

【００３１】音声メーターは、プログレスパック２３３
のような応答進捗インジケータを含む。 一実施例において、記録された音声が再生されるとき、プログレスパック２３３は、記録された音声の中で再生された量と、記録された音声の中で未だ再生されていない量とを示すため、音声メーター２３２に沿って移動する。 図３の（Ａ）において、プログレスパック２３３は、音声メーター２３２に関連して記録された音声の中の約５０％が再生されたことを示す。 他の実施例において、プログレスインジケータは、音声メーター２３２に沿って進行する多様な幾何学的形状、若しくは、色のバリエーションを含む別の形式をとる。 一実施例において、記録された音声は、停止インジケータ２３６上のロケーション、若しくは、停止インジケータ２３６の実質的に近傍のロケーションを示す位置的イベントが検出される間、又は、
音声メーターに関連して予め記録された全ての音声が再生されるまで、再生され続ける。 音声メーターは、選択的に「一時停止」インジケータを含む。 一時停止インジケータは、選択されたとき、記録又は再生を一時的に停止し、「再開」インジケータは、一時停止の後、記録又は再生を再開する。

【００３２】参照マーカーは、記録された音声内容の認識を助けるため利用される。 図３の（Ｂ）は、参照マーカーを含む音声メーターの例を示す図である。 図３の（Ｂ）を参照するに、音声メーター２４２は、開始インジケータ２４４及び停止インジケータ２４６を含み、電子文書１４０の下側のロケーションで表示装置１００に表示される。 勿論、音声メーター２４２は、電子文書１
４０の上に重ねて表示しても構わない。 参照マーカー２
５２及び２５４は、音声メーター２４２を電子文書１４
０とグラフ的に連結する。 参照マーカー２５２及び２５
４は、音声メーター２４２上の時間的依存性のあるロケーションから、電子文書１４０内のユーザが指定したロケーションまで延びる。 一実施例において、参照マーカー２５２及び２５４は、半透明で描画されるので、電子文書１４０の内容は参照マーカー２５２及び２５４を通して見ることができる。

【００３３】一実施例において、参照マーカー２５２及び２５４は、音声がコントロールユニット１５０によって記録されている間に、表示装置１００上に生成される。 既に説明した一実施例によれば、音声が記録され、
音声メーター２４２は、システム（コントロールユニット１５０又は表示装置１００）が位置的イベントを検出するのに応じて生成される。 音声が記録され続けるとき、対応した音声メーター２４２のサイズは、記録された音声の量を反映するように比例的に調整される。 一実施例において、音声メーター２４２が調整される間に（たとえば、音声が記録されている間に）、システムが電子文書上のロケーション、又は、電子文書の実質的に近傍にあるロケーションを示す付加的な位置的イベントを検出した場合、システムは、音声メーター２４２の終了ポイントを電子文書上に指定されたロケーションに連結する参照マークを生成する。 音声メーター２４２の場合に、参照マーカー２５２は時点Ｔ１に検出された位置的イベントによって始動され、参照マーカー２５４は後の時点Ｔ２に検出された位置的イベントによって始動される。 一実施例の場合、記録された音声の再生中に、参照マーカー２５２は、記録された音声が時点Ｔ１に達したとき表示装置１００上に表示され、参照マーカー２５
４は、記録された音声が時点Ｔ２に達したとき表示装置１００上に表示される。

【００３４】参照マーカーがグラフ的に連結された電子文書上のロケーションは、電子文書が画像である場合に座標（ｘ，ｙ）で表現され、電子文書が線形文書である場合には一つの座標で表現される。 線形文書の例は、平文テキスト文書、ハイパーテキストマークアップ言語(H
TML)文書、又は、拡張可能マークアップ言語(XML)を含むその他のマークアップ言語ベースの文書などである。

【００３５】一実施例において、音声記録中に、システムが、電子文書上、又は、電子文書の実質的に近傍には置かれていない付加的な位置的イベントを検出した場合、コントロールユニット１５０は、参照マーカーではなく、付加的な音声メーターを生成する。 付加的な音声メーターは、上述の最初の音声メーターと同様に生成される。 一実施例において、コントロールユニット１５０
は、多数の音声メーターを、生成された順番でグラフ的に連結する。 音声再生時に、コントロールユニット１５
０は、記録された音声を、音声が記録された時間の旧い方から順番に再生する。 一実施例において、一つ以上のプログレスインジケータは、音声メーター毎に再生された音声の量を表示するため利用される。 他の実施例の場合、一方の音声メーターから別の音声メーターに音声再生の順序に対応した順番で移る単一のプログレスインジケータが使用される。

【００３６】一実施例において、音声メーター、参照マーカー、電子文書サムネイル、及び、アイコンのようなオブジェクトは、通常の「ドラッグ」操作を用いて表示装置１００上の至る場所で、個別に、或いは、グループとして再配置される。 しかし、参照される文書のロケーションと、参照が行われた時点のタイムスタンプとを含むデータファイルは増大する。 このようなデータファイルに関する詳細な説明は後述する。

【００３７】他の実施例において、ユーザの会話は、
「対象指示的な」ジェスチュア（たとえば、オブジェクトの参照）と共に記録される。 一実施例において、インタフェースは、画面に表示される多数のオブジェクトを含む。 このような場合に、レコーディングは、ユーザが「記録」ボタンを押したとき、或いは、システムがマイクロホンを通じて会話の開始を検出したときに始められる。 ユーザがタッチスクリーン上のオブジェクトのグラフィック表現に触れるとき、タイムスタンプ付きのイベントが記録される。 レコーディングは、ユーザが「停止」ボタンを押下したとき、又は、システムが会話の終了を検出したときに終わる。 このメッセージを再生するとき、システムは音声を再生し、適宜、参照されたオブジェクトを表示する。

【００３８】一実施例において、システムは、ユーザが音声ナレーションを記録し、カメラからアップロードされたディジタル写真をタッチスクリーン上で触るだけで参照できるようにする。 得られた表現内容は、マルチメディア記述言語SMIL及びRealPixを用いて蓄積され、普及しているRealPlayerを用いて再生することができる。
触られたロケーションをより精確に監視する簡単な拡張によって、ユーザはオブジェクト内の点若しくは領域を参照することができる。 再生時、このようなジェスチュアは、画像若しくは文書に重ね合わされた強調ストロークになる。

【００３９】［マルチメディアナレーション（履歴）］
マルチメディアナレーション（履歴）は、個別のナレーションと、多種類の電子文書への１回以上の参照とを含む特別のタイプの音声ナレーション部分である。 多数のサブ履歴は、個々に単一のナレーションを有し、より大きいマルチメディア履歴を形成するため合成される。 マルチメディア履歴内で、一人以上の人は、たとえば、ハイパーリングを含むウェブページ、音声ナレーションを含むスライドショー、テキスト注釈を含むテキスト文書、走査された文書画像、ワードプロセッサ文書、プレゼンテーションなどの多種類の電子文書を記述することができる。 勿論、記述できる電子文書はこれらの例に制限されるものではない。 電子文書全体の内容、或いは、
電子文書中の特定領域への参照が行われる。 サブ履歴の直線的な順序が指定され、サブ履歴をデフォルト順序で再生することができる。

【００４０】図４には、マルチメディア履歴の一例が示されている。 図４を参照するに、マルチメディア履歴３
００は、第１のサブ履歴３２０及び第２のサブ履歴３４
０を含む。 第１のサブ履歴３２０はナレーション３２１
を含み、第２のサブ履歴３４０はナレーション３４２を含む。 一実施例において、ナレーションは、所定のテーマ若しくは議題について記録された音声のストリームである。 図４において、ナレーション３２１は、３個の別々の音声クリップの順序付きリストに区分され、第２のサブ履歴のナレーション３４２は一つの音声クリップ３
４４だけを含む。

【００４１】各ナレーションは、多数の電子文書に対し一つ以上の参照を行う。 たとえば、ナレーション３２１
は、各電子文書３２４、３２８及び３３２に対し１回ずつ、全部で３回の参照を含む。 しかし、ナレーション３
４２は、一つの電子文書３４６に対し１箇所だけ参照する。 ナレーション内の各音声クリップは、任意の数の電子文書に対し任意の回数の参照を行うか、或いは、全く参照しない場合もある。 たとえば、音声クリップ３２２
は、電子文書３２４の１箇所だけを参照し、音声クリップ３２６は、電子文書３２８を１回だけ参照し、文書３
２２を１回だけ参照し、電子文書３３２を１回だけ参照し、音声クリップ３３０は全く参照を行わない。

【００４２】各参照は、参照ポイント３２３で示されるような電子文書全体を指定するか、或いは、参照ポイント３２７によって示されるように、電子文書内の特定の領域を指定する。 このような参照ポイントを表現する座標は、参照先の電子文書のタイプに依存して異なる解釈を有する。 たとえば、電子文書が画像である場合、参照ポイントの座標は絶対画素座標である。 しかし、文書がウェブページである場合、参照ポイントの座標はHTMLファイル内の文字位置である。 ページ画像の系列として記憶された文書の場合、参照ポイントは、ページ番号プラス座標（ｘ，ｙ）である。 或いは、文書がPostscript又はPDF（ポータブル文書フォーマット）のようなレイアウト言語で表現される場合、座標はファイル内の文字位置でもよい。 したがって、描写中（再生中）に、この座標は画面の位置に変換される。

【００４３】図４に関して説明したマルチメディア履歴は、XML及びHTMLを含む一つ以上のマークアップ言語で表現される。 図５には、図４に示されたマルチメディア履歴に対するXML表現の一実施例が示されている。

【００４４】［マルチメディアメッセージング］電子メール(email)ソフトウェアは、一般的に、オリジナルの電子メールメッセージが返信文中に取り込まれるオプションを提供する。 典型的に電子メール返信文は、オリジナルメッセージの行の間に散在させること、又は、一つのブロックとしてオリジナルメッセージの後に追加すること、若しくは、オリジナルメッセージの前に挿入することが可能である。 マルチメディア履歴は、同様に、従来技術において公知の多種の容易に利用可能な電子メールアプリケーションを用いてネットワーク経由で転送される。

【００４５】図６は、マルチメディア履歴の一実施例の説明図である。 図６を参照するに、電子文書４１２及びアイコン４２６が音声メーター４１０及び４２０、並びに、種々の参照マーカーと共に示されている。 電子文書４１２は、縮小されたサムネイルサイズでワードプロセッシング文書を表し、一方、アイコン４２６は、同じワードプロセッシング文書の絵文字化されたフォーマットを表し、文書のテキストは表示されていない。 一実施例において、アイコン４２６で表現された電子文書の全テキストは、マウスのようなカーソルコントロール入力装置を用いてアイコン４２６をクリック若しくは選択することにより視覚化される。 同図において、音声メーター４１０は、参照マーカー４１４によって電子文書４１２
にグラフ的に連結され、一方、音声メーター４２０は参照マーカー４２４によってアイコン４２６にグラフ的に連結される。

【００４６】さらに、音声メーター４１０及び４２０
は、コネクタ４１５によって相互に連結される。 このコネクタは、音声メーター４１０及び４２０によって表現された二つの音声クリップが履歴的に隣接している（すなわち、音声メーター４２０は音声メーター４１０の次に記録された）ことを示す。 この連結は、履歴的な順序だけを示す。 しかし、ユーザは、ディスプレイ上の任意の場所にメーターを配置することができる。 一実施例において、同じユーザによって記録された音声クリップは、関連しているとみなされる。 一実施例において、音声を記録したユーザの顔画像が対応した音声メーターの傍に表示される。 図６において、顔画像４０２は、音声メーター４１０及び４２０に対応した音声を記録したユーザ“Ａ”を表現する。 一実施例において、顔画像は、
システムに接続されたビデオカメラによって、記録中に捕捉される。 他の実施例では、顔画像はデータベースから入手される。

【００４７】図６に示されたマルチメディア履歴が作成された後、ユーザ“Ａ”は、電子メールを用いて、マルチメディア履歴を他のユーザに送信する。 一実施例において、マルチメディア履歴を他のユーザに送信するため、（図５に示されるような）マルチメディア履歴のXM
L表現が作成される。 XML表現は、保存されたロケーションを指定するURLアドレスを用いて、種々の電子文書及び音声クリップを参照する。 一実施例において、マルチメディア履歴のコンテンツは、あて先のウェブサーバーに転送され、保存され、一方、他の実施例では、コンテンツはユーザのパーソナルコンピュータ上にローカルに保存される。 たとえば、インターネット環境では、マルチメディア履歴のコンテンツは、ユーザのパーソナルコンピュータ上に常駐し、ウェブインタフェースを介して他からもアクセスすることができる。 マルチメディア履歴のXML表現が作成された後、XML表現を指定するユニークなURLは、次に、別のユーザ、たとえば、ユーザ“Ｂ”に電子メールされる。

【００４８】XML URLを含む電子メールの受信後、ユーザ“Ｂ”には、いくつかの視覚化のオプションがある。
一実施例において、XML表現を収容したURLにアクセスした後、ユーザ“Ｂ”がXML表現を視覚化するための適当なアプリケーションを持つ場合、XML表現は、メッセージを作成し、再生するため解析（パース）される。 他の実施例において、ユーザがXML表現をみるための適当なアプリケーションを持たない場合、メッセージは、代わりに、標準的なHTMLベースのウェブページとして表示される。 すなわち、一つ以上の電子文書及び音声クリップを指定する個々のURLを含むXML表現は、履歴ではなく、
個別のハイパーリンクのリストとして表示される。 さらに別の実施例では、メッセージは、ワールド・ワイド・
ウェブ(WWW)コンソーシアムで詳細化された同期式マルチメディア統合言語(SMIL)フォーマット化ファイルに翻訳される。 Real Networks, Inc.から入手可能なRealPla
yer G2のようなビューアを使用することにより、ユーザ“Ｂ”は、音声クリップ及び対応した電子文書並びに参照事項が記録された順序のような特定の順序で同時に表示されるサイドショーとして、SMILメッセージを閲覧する。

【００４９】受信されたマルチメディア履歴メッセージへのアクセスは、アクセス制御機能によって自由選択的に制限される。 一実施例において、ユーザは、自分が送信者若しくは指定された受信者である場合に限り、メッセージを獲得する。 他の十知れにおいて、ユーザは、たとえば、メッセージをアクセスする前にユーザ名及び／
又はパスワードを用いて自分自身を認証することを要求される。

【００５０】ユーザ“Ｂ”はメッセージを受信した後、
（音声メーターによって表現された）付加的な電子文書及び音声クリップを加えることによって返信する。 図７
には、図６に示されたマルチメディア履歴を含む電子メールメッセージへの返信の一実施例が示されている。 図６に示された項目の他に、図７は、参照マーカー４３４
及び４３６を含む第３の音声メーター４３０を更に含む。 音声メーター４３０は、図６に示されたオリジナルメッセージにユーザ“Ｂ”によって付加された音声クリップを表現する。 一実施例において、ユーザ“Ｂ”によって作成された音声メーター４３０は、ユーザ“Ａ”によって作成された音声メーター４１０及び４２０とは異なる色で表示される。 参照マーカー４３６は、音声メーター４３０を新たに追加された電子文書４８０とグラフ的に連結する。 一方、参照マーカー４３４は、音声メーター４３０を先に表示されたアイコン４２６と連結する。 ユーザ“Ｂ”は、画面上の至る所にメーターを配置することができるが、同図においてディスプレイ上の要素を連結するラインは履歴的な順序を示している。

【００５１】ユーザ“Ｂ”がユーザ“Ａ”から受信したメッセージ又はマルチメディア履歴への応答に入った後、ユーザ“Ｂ”は、ユーザ“Ａ”又は一部の他のユーザ若しくはユーザのグループに応答を送信する。 応答がユーザ“Ａ”に返信された場合、一実施例では、ユーザ“Ａ”は、最初に、ユーザ“Ｂ”によってユーザ“Ａ”
のメッセージに追加された事項を聴く。 すなわち、ユーザ“Ａ”は、受信時に、音声メーター４３０によって表現された記録音声を聴く。

【００５２】一実施例において、マルチメディア履歴メッセージは、選択的に可視化される別個のユーザの付加物若しくは応答と共に表示される。 図８は、マルチメディア履歴のセグメントを選択的に視覚化することができるマルチメディア履歴メッセージングインタフェースの一実施例を示す図である。 図８を参照するに、メッセージングインタフェース４７０は、表示装置１００に表示される。 メッセージングインタフェース４７０は、音声メーター４４０、４４２、４５０及び４５２と、顔画像４０２と、タブ４６０〜４６５とを含む。 音声メーター４４０及び４４２は、エンドユーザ“Ａ”（顔画像４０
２）によって予め記録された音声を表現し、音声メーター４５０及び４５２は、エンドユーザ“Ａ”によって現在製作されている音声を表現する。 一実施例において、
各タブ４６０〜４６５は、個別に選択可能であり、ユーザ“Ａ”と、ユーザ“Ｂ”のような別のユーザの間で進行中の会話の１セグメントを表現する。 たとえば、選択されたとき、タブ４６１は、ユーザ“Ａ”からユーザ“Ｂ”へのオリジナルメッセージを表示する。 これに対し、タブ４６２は、選択されたときに、ユーザ“Ａ”のオリジナルメッセージへのユーザ“Ｂ”の応答を表示する。 同様に、タブ４６３は、選択されたとき、ユーザ“Ｂ”の応答に対するユーザ“Ａ”の応答（破線の枠４
４５で示される）を表示する。 一実施例において、任意の数の過去のメッセージ若しくは応答文が、新しいメッセージ又は応答文の作成中に選択的に視覚化される。 たとえば、（タブ４６３と関連し、図中、破線の枠４４５
で示された）ユーザ“Ａ”の応答は、（タブ４６５と関連し、図中、破線の枠４５５で示された）ユーザ“Ａ”
が作成途中のメッセージと共に表示される。 ユーザ“Ａ”が現在作成中のメッセージを完成したとき、ユーザ“Ａ”は、そのメッセージを上述の方法で電子メールする。 タブ４６０〜４６５は、対応したメッセージの作成時と、そのメッセージの作成者の名前とを用いてラベル付けされる。

【００５３】［３次元的ウォークスルー］複数次元ウォークスルーナレーションの記録及び再生を行う方法並びに装置について説明する。 ３次元モデリング言語は、既存の電子文書を用いて３次元環境を自動的に作成するため使用される。 オブジェクトは３次元（３Ｄ）である。
一実施例において、オブジェクトは、表示装置１００のような２次元ディスプレイに表示される。 他の実施例の場合、３次元ディスプレイ（たとえば、ヘッドマウント式めがね）が使用され得る。

【００５４】第１のユーザ、すなわち、作者は、選択されたパス及び付随した音声入力を同時に記録しながら３
次元環境の全域を通る。 二つの再生モードうちの一方で、第２のユーザは、作者によって選択されたパスに対応した３次元シーンのウォークスルーが示される。 もう一方の再生モードで、第２のユーザは、作者のパスが表示されている間に、３次元世界を自由に進む。

【００５５】［生成］図９には、３次元環境の一実施例が示される。 図５を参照するに、表示装置１００は、六面体５１０、５１５及び５２０を含む３次元環境又は世界を表示する。 一実施例において、３次元環境は、六面体５１０、５１５及び５２０以外には何も含まない。 他の実施例において、３次元環境は、必要に応じて、付加的な審美的又は実体的な図形を含む。

【００５６】六面体５１０、５１５及び５２０は、図９
には３次元的に描写され、３次元世界内に設置される。
他の実施例において、六面体５１０、５１５及び５２０
は、他の種々の形状の図形によって置き換えられる。 一実施例では、たとえば、六面体は、３次元球体によって置換され、他の実施例では、六面体は３次元円柱体又は直角プリズムによって置換される。 本発明の精神並びに範囲を逸脱することなく種々のサイズ及び形状の図形を使用することができる。

【００５７】図９では、六面体５１０、５１５及び５２
０の上に、それぞれ、電子文書５１２、５１６及び５２
２が示されている。 ３次元環境の場合、電子文書５１
２、５１６及び５２２は、六面体５１０、５１５及び５
２０の上に重なって見える。 一実施例において、電子文書５１２及び５２２は、ディジタル写真を表し、電子文書５１６は、ワードプロセッシング文書を示す。 電子文書の更なる形式には、ディジタル化された音声及びビデオ、電子スプレッドシート、電子データベース、ハイパーテキストマークアップ言語及びウェブ文書、並びに、
電子メールが含まれるが、これらの例に限定されない。
電子文書５１２、５１６及び５２２は、個々では説明していない類似したタイプのコンテンツ及びメディアを表現してもよい。

【００５８】一実施例において、２次元縮小サイズ「サムネイル」画像が作成され、六面体５１０、５１５及び５２０のような３次元的に描写された図形の上に重ね合わされる。 かくして、２次元画像は、その画像の３次元表現に変換される。 位置実施例において、六面体５１
０、５１５及び５２０は、拡張マークアップ言語(XML)
を用いて定義される。 他の実施例において、VRML、3DML
及びX3Dのような３次元モデリング言語が使用される。

【００５９】各３次元図形が生成されるとき、３次元図形は３次元環境内に表示される。 一実施例において、各３次元図形は、生成された通りに、３次元環境内でランダムに配置され、若しくは、表示される。 他の実施例において、各３次元図形は、配置スキームにしたがって、
それ以外の既存の３次元図形に関して表示される。 一実施例において、配置スキームは、３次元図形内に収容された電子文書の特性に基づく。 配置スキームの例には、
作成時間、コンテンツ、及び、メディア種別が含まれるが、これらの例に限定されるものではない。 さらに別の実施例では、3次元図形は、互いに予め決められた一定間隔で表示される。 多数の配置スキームにしたがって３
次元図形を表示することにより、作者は、ユーザにとってわかり易くなるように、ある種の情報をグループ化若しくは類別することができる。 一実施例において、ユーザ、すなわち、作成後に３次元環境を通る人は、自分の系統化の好みに応じて、３次元図形を再配置することができる。

【００６０】［レコーディング］３次元環境が作成されると、ユーザがその中を通る。 一実施例において、ナビゲーションは、Moutain View, California所在のSilico
n Graphics, Inc.から入手可能な仮想現実モデリング言語(VRML)ビューア、及び、San Francisco, California
所在のFlatland Online Inc.から入手可能なFlatland R
overのような３次元モデリング言語(3DML)を含む容易に利用可能な"player"アプリケーションを用いて実現することができる。 一実施例において、作者と呼ばれる特別なユーザのクラスは、作者の仮想動きを記録しながら３
次元環境を通ることができる。 用語「レコーディング」
は、３次元環境に関して、ユーザによって生成されたナビゲーション用の音声入力を確保するプロセスを記述することを意味する。

【００６１】一実施例において、作者は、プロセッサ１
０２のようなプロセッシング装置が作者の動きを記録する間に、３次元環境内を通る。 ナビゲート中に作者によって叙述された音声も記録され、これにより、ウォークスルーが作成される。 一実施例において、音声が記録されるとき、音声は、音声入力を、セグメンテーションスキームにしたがって、区間が異なる多数の音声クリップに分割するように区分けされる。 音声は上述の通り記録される。 したがって、一実施例において、２次元マルチメディア履歴は、３次元ウォークスルーとして作成され、視覚化され、その逆に、３次元ウォークスルーは２
次元マルチメディア履歴として作成され、視覚化される。 同様に、他の実施例では、ビデオコンテンツが記録され、音声の代わりに区分けされる。 作者が3次元図形に向かって進むとき、図形の上に重ねられた電子文書が拡大されて作者に提示される。 図形に接近することにより、作者は、図形若しくは図形に収容された電子文書をより詳細に見ることができる。 このような状況では、pl
ayerアプリケーションは、作者が別々の全画面表示、他の表示部分、或いは、ウォークスルーの上に重なる表示の専用部分で電子文書を見る機会を与える。

【００６２】図１０は、本発明の一実施例に従って記録されたパスを表す３次元環境を示す図である。 図１０を参照するに、表示装置１００は、３次元立法体５１０、
５１５及び５２０と、パス６１０とを含む３次元環境を表示する。 パス６１０は、作者が通過したパスを表現する。 パス６１０は線で示されているが、他の実施例では、パス６１０は種々のほかの形状をとり得る。 一実施例において、パス６１０は単色で表示されるが、他の実施例では、パス６１０は多色で表示され、或いは、半透明に見える。

【００６３】図１１は、図１０に示された３次元環境の２次元上面図の一実施例を示す。 図１１を参照するに、
３次元六面体５１０、５１５及び５２０は、それぞれ、
近接インジケータ７１０、７１５及び７２０によって表される。 一実施例において、各近接インジケータ７１
０、７１５及び７２０は、特定のメディアクリップ若しくはセグメントと関連した制限領域を表現する。 一実施例において、メディアクリップは音声コンテンツを格納し、他の実施例では、メディアクリップはビデオコンテンツを格納する。

【００６４】一実施例において、各近接インジケータは、その近接インジケータによって囲まれた３次元図形に関係していると思われる音声セグメント若しくはビデオセグメントに関連付けられる。 一実施例において、多数の３次元画像が単一の近接インジケータ内に存在し、
他の実施例では、多数の近接インジケータが一つの３次元図形の境界を定める。

【００６５】［再生］３次元マルチメディアナレーションのユーザは、受動モード若しくは能動モードで、記録された３次元ウォークスルーの再生を行うかどうかを選択することができる。

【００６６】一実施例によれば、受動モードの場合に、
ウォークスルーが記録されたときに作者が通過したパスに対応した３次元ウォークスルーがユーザに提示される点で、再生は映画のようである。 一実施例において、作者によって記録された作者のナレーションは、受動モードでも再生される。 文書が受動モードで渡されるとき、
閲覧中のユーザは、別々のウィンドウ若しくはビューイングアプリケーションで文書のソースを閲覧することができる。

【００６７】能動再生モードの場合、ユーザは、作者が予め選択したパスによって制限されることなく、３次元環境を自由に通過する。 本発明の一実施例によれば、能動モードの間、作者のパスは、ユーザが３次元環境を通過するときに、可視化されたままである。 さらに別の実施例では、作者によって記録され区分された音声は、ユーザが関連した３次元図形に接近するときに再生される。 図１０及び１１を再度参照するに、ユーザが作者のパス６１０に沿って進み、六面体５１０に接近するとき、ユーザは、作者が近接インジケータ７１０内にいる間に作者によって記録された音声セグメントを聴く。 一実施例において、音声は、ユーザが近接インジケータ７
１０によって制限された領域内に進まない限り再生されない。 他の実施例では、音声の音量は、ユーザが六面体５１０に近づくにつれて大きくなる。 さらに、ステレオ効果が、仮想３次元環境内の六面体の位置に対応した３
次元空間内の音声の位置を見つけるため使用される。

【００６８】以上の説明では、本発明は、具体的な実施例に関して記載されている。 しかし、これらの実施例は、本発明のより広い精神並びに範囲を逸脱することなく、種々の変形及び変更を加え得ることが明らかである。 したがって、明細書及び図面に記載された事項は、
本発明を限定するものではなく、本発明の内容を例示するものであると理解されるべきである。

【図面の簡単な説明】

【図１】電子文書が示されている電子表示の一実施例の説明図である。

【図２】コンピュータシステムの一実施例を示す図である。

【図３】（Ａ）は、音声メーターの一実施例と共に表示されたディジタル写真の形式の電子文書を示し、（Ｂ）
は参照マーカーを含む音声メーターの一実施例を示す説明図である。

【図４】例示的なマルチメディアの一実施例のブロック図である。

【図５】図４に示されたマルチメディア履歴に対するＸ
ＭＬ表現の一実施例を示す図である。

【図６】マルチメディア履歴の他の実施例の説明図である。

【図７】図６に示されたマルチメディア履歴を収容する電子メールメッセージへの返信の一実施例の説明図である。

【図８】マルチメディア履歴のセグメントを選択的に視覚化することができるマルチメディア履歴メッセージングインタフェースの一実施例の説明図である。

【図９】３次元環境の一実施例の説明図である。

【図１０】パスを表示する３次元環境の一実施例の説明図である。

【図１１】図１０の３次元環境の上面図である。

【符号の説明】

１００ 表示装置 ５１０，５１５，５２０ 六面体 ５１２，５１６，５２２ 電子文書