【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はマルチメディア表示及び編集装置の分野に関し、特に、表示画面にマルチメディア情報を表示し且つ表示画面に提示されるマルチメディア情報を編集するための直観的方法をユーザーに提供する方法及び装置に関する。

【０００２】

【従来の技術】マルチメディアは複数の型の異なるメディアを単一のワークに組合わせたものである。 たとえば、ビデオ情報と、オーディオ情報と、図形オーバレイと、アニメーションの組合わせからマルチメディアワークを構成できるであろう。 コンピュータはそのような様々なメディア型を組合わせるのに適しているので、マルチメディアワークを開発し、表示する目的でコンピュータが使用される機会は益々多くなっている。 マルチメディアプロダクションの創作はビデオの製作に相対的に類似しているので、マルチメディアプロダクションの創作に際してはビデオの技法を利用する場合が多い。 たとえば、マルチメディアプロダクションの創作を補助するためのマルチメディア開発ツールとして、ストーリーボードや編集用ビデオデッキなどの標準ビデオ編集ツールが使用されることが多い。 しかし、コンピュータを使用すると、マルチメディアプロダクションの創作と編集を補助する新たな対話形ツールを作成することができる。 それらの新たな対話形ツールは学習するのも、使用するのも共に容易である直観的ユーザーインタフェースを構成するのが理想的であろう。

【０００３】

【発明が解決しようとする課題】従って、本発明の目的は、コンピュータ表示画面にマルチメディア情報を表示する方法及び装置を提供することである。 本発明の別の目的は、ユーザーに表示画面に表示されたマルチメディア情報を直観的方式で編集できるようにする方法及び装置を提供することである。 本発明のさらに別の目的は、
ストリップを拡張又はトリミングするために使用される編集用ツールと共にストリップとしてマルチメディア情報を表示することにより、マルチメディア情報のトラックを拡張し且つトリミングする直観的方法をユーザーに提示することである。

【０００４】

【課題を解決するための手段】上記の目的及びその他の目的は本発明の独自の方法及び装置により達成される。
本発明の方法及び装置は、表示画面においてマルチメディアプロジェクトを編集するシステムから構成される。
ユーザーに提示されるコンピュータ表示画面は、マルチメディア情報の３つの異なるビューを形成する。 第１のビューは、モニタを伴う仮想ビデオレコーダーに類似するプレイヤーである。 第２のビューは、従来のストーリーボードに非常に良く似ているストーリーボードである。 第３のビューは、ユーザーにマルチメディア情報の時間線に基づくビューを提示するストリップビューワである。 ストリップビューワディスプレイは、「スプリンダ（ｓｐｌｉｎｄｅｒ）」と呼ばれるスクリーンツールである。 スプリンダは、マルチメディアトラックの開始点と終了点を編集するために使用される。 本発明の目的、特徴及び利点は、以下の詳細な説明から当業者には明白になるであろう。

【０００５】

【実施例】マルチメディア情報を表示、編集する方法及び装置を開示する。 以下の説明中、本発明を完全に理解させるために、説明の便宜上、特定の用語を挙げるが、
本発明を実施するためにはそのような特定の詳細な事項が要求されないことは当業者には明白であろう。 また、
場合によっては、本発明を無用にわかりにくくしないために、周知の回路や装置をブロック線図の形態で示すことがある。

【０００６】図１を参照すると、本発明の教示を利用するマルチメディアエディタ表示スクリーンが示されている。 マルチメディアエディタ表示スクリーンはユーザーにマルチメディア情報の３つの「ビュー」を提示する。
マルチメディア情報の第１のビューを提供するのはプレイヤー１１である。 プレイヤー１１は編集用ビデオテープレコーダの動作をシミュレートするように設計されており、そのため、ライブビデオを観察し且つ記録する目的で使用される。 ユーザーはプレイヤー１１を使用して、開始ビデオフレーム、すなわち、「イン・ポイント（ｉｎ−ｐｏｉｎｔ）」と、終了ビデオフレーム、すなわち、「アウト・ポイント（ｏｕｔ−ｐｏｉｎｔ）」とを識別することにより、ビデオを「記録」する。 そのようにして規定した連続するビデオフレームから成るセグメントをビデオの「ショット」と呼ぶ。 ビデオプレイヤーが動作していないとき、観察領域には現在ビデオ選択の最初のフレームが表示される。

【０００７】マルチメディア情報の第２のビューを提供するのは、図１のストーリーボード１３である。 ストーリーボード１３は、ショット１からショット５により示すようにビデオの全ショットを単一のアイコンとして表示することにより、「より高いレベル」のマルチメディア情報のビューをユーザーに与える。 ユーザーは、ストーリーボード１３を使用して、カーソルによりショットを表わすアイコンを選択し、次に、メニューから所望の編集作業を選択することにより、ビデオの全ショットを記録し、削除し、複写することができる。

【０００８】あるいは、「シーン」又は「アクト」などの高レベルビデオ構造を編集するためにストーリーボード１３を使用することができる。 これらの用語は演劇界から借用したものであり、より高いレベルのビデオ又はフィルムのグループ分けを定義するために使用されている。 たとえば、マルチメディアプロダクションを創作するプロデューサー／アーティストは一連のビデオショットを１つの「シーン」にまとめ上げることを望むことがある。 １例を挙げれば、フレンチカフェで話しをしている男女を様々に異なるカメラアングルで撮影した一連のショットを「フレンチカフェ」のシーンとしてまとめ上げることができるであろう。 その後、シーンの集合体をより高いレベルの「アクト」にまとめることができる。
先の例について続ければ、最初に男女が何度か出会う場面を含む一連のシーンを「男女の出会い」のアクトとしてまとめ上げることができるであろう。 図２は、プロデューサーがマルチメディアプロダクションを編成するために使用できると思われるアクトと、シーンと、ショットの階層構造の１例を示す。

【０００９】ところが、図１のストーリーボード１３はプロデューサーが使用しなければならない厳密な階層構造を課さない。 従って、このストーリーボード１３は、
ユーザーが望む任意の階層レベルで編集するのに使用することができる。 たとえば、プロデューサーは特定の１
シーンのメカニクスを完成させるために「ショット」レベルでストーリーボード１３を使用してもよい。 「シーン」レベルに上げて、そのマルチメディアプロダクションのムードの全体的な感触をつかむことができる。

【００１０】これら初めの２つのビュー、すなわち、プレイヤー１１とストーリーボード１３の２つのビューを組合わせると、編集用ビデオテープレコーダと普通のストーリーボードの機能性が得られる。 このように、ユーザーには従来のビデオ編集スタジオのツールが与えられる。 従って、従来のビデオ編集ツールを熟知しているユーザーであれば、以上説明したマルチメディアエディタの使用法を短時間のうちに学習し、それを使用することが可能である。

【００１１】図１のマルチメディアエディタ表示スクリーンが提示するマルチメディア情報の第３のビューは、
ストリップビューワ１５である。 このビューは、メディアトラックの内容を先には不可能であったほど詳細に見られるようにする。 ストリップビューワ１５を利用すると、ユーザーは時間線方式で、しかも調整可能な分解能のレベルをもってマルチメディア情報を観察することができる。 最も詳細なレベル（すなわち、最高の分解能）
では、ストリップビューワ１５は分解することができない「原子」ピースとしてマルチメディア情報を表示する。 たとえば、ユーザーがストリップビューワ１５によりその最も詳細なレベル（すなわち、最高の分解能）でビデオ情報を観察するときには、あらゆる個別のビデオのフレームを表示する。

【００１２】例を挙げると、個々のビデオフレームがそれぞれ表示されるように図１のストリップビューワ１５
を最高の分解能に設定する場合を考える。 その表示は、
個々のフレームが独自のフレーム番号を有している映画フィルムのストリップに類似している。 マルチメディア情報を表示するときのタイムスケール、すなわち、「分解能」スケールはマルチメディア情報の下方に示される。 図１では、最高の分解能であるので、分解能スケールは連続するフレーム番号を列挙している。 ５番目ごと、３０番目ごと、１００番目ごとのフレーム、又は他の複数フレームおきのフレームが表示されるように、分解能を調整することができる。 従って、ユーザーは「低分解能」で周知のスクロールバー１７を使用して順次スクロールし、概略的な関心領域を見出し、次に、最高の分解能にズームインして、その領域を詳細に検査することができる。

【００１３】図１に示すマルチメディア情報の３つのビューは互いに対話し、影響し合うことができる。 ストーリーボード１３における挿入点を指示するために使用される「カレット」１４を移動させると、ストリップビューワはこのカレットの位置を反映するために自らを更新する。 このことは図１に示されており、ストーリーボード１３のカレット１４は第１のショットと、第２のショットとの間に設定されている。 カレット１４のこの位置はストリップビューワ１５の中に反映されており、ストリップビューワは第１のショットと第２のショットのフレームの境界を表示している。 第１のショットのフレームと、第２のショットのフレームとの間には、「スプリンダ（ｓｐｌｉｎｄｅｒ）」１と呼ばれる革新的なツールがある。 スプリンダ１はショットの境界をマークするために使用されるものであり、以下に説明する通り、境界を調整するために使用できる。 同様に、ストリップビューワ１５の領域で行われる調整もストーリーボード１
３の領域に影響を及ぼす。 たとえば、ストリップビューワ１５のカレット１９を移動させると、ストリップビューワにおけるカレット１９の動きを反映するためにストーリーボード１３のカレット１４は更新する。 プレイヤー１１を使用して、ストーリーボード１３又はストリップビューワ１５のいずれかによって選択したビデオデータを再生することができる。 また、プレイヤー１１がビデオを表示している間に開始点と、終了点とを設定することにより、編集すべきセグメントを規定するためにプレイヤー１１を使用することも可能である。

【００１４】ストリップビューワ１５はビデオ情報の表示と編集に限定されない。 ストリップビューワ１５のインタフェースは型の異なるどのような数のメディアトラックをも提示するように十分に一般的である。 図３には、メディア情報の３本の異なるトラック、すなわち、
ビデオ２１、オーディオ２３及び図形オーバレイ２５の３トラックを表示するストリップビューワの別の実施例を示す。 ３本のメディアトラックをそれぞれ個別に編集することもできるし、まとめて編集することも可能である。 他に考えられるメディアトラックとしては、注釈トラック、ビデオ特殊効果トラック、３５mmスライドトラック及び（モーションをエミュレートするための）油圧アクチュエータトラックがある（ただし、それらのトラックには限定されない）。 スクリーンに視覚表示するメディア情報は、実際には、関連するデータベースに記憶される。 情報を記憶するために使用するデータベースについては、以下にさらに詳細に説明する。

【００１５】図３のストリップビューワのマルチメディア情報の３本のトラックの下方には、フレーム番号又は時間単位を表示するスケール２７が位置している。 ３本のメディアトラック（２１、２３及び２５）のそれぞれの、フレーム５４２とフレーム５４３との間には、「スプリンダ」（１ａ，１ｂ及び１ｃ）と呼ばれるアイコンが配置されている。 この位置は、メディアトラック２１
のビデオフレームの内容からわかるように、２つの異なるショットの境界を表わす。 スプリンダ（１ａ，１ｂ及び１ｃ）はマルチメディア情報を２つの異なるショットに分割するために使用され、そのメディア情報を一方又は他方のショットへ拡張することができる。 「スプリンダ」という用語は、「 スプリッタ（ＳＰＬＩｔｔｅ
ｒ）」と「エクステンダ （ＥｘｔｅｎＤＥＲ）」という２つの用語を組合わせることにより創作された。

【００１６】スプリンダ６０１の詳細な図を図４に示す。 スプリンダ６０１は２つの異なるショットに属するビデオフレームの間に表示されている。 スプリンダ６０
１の左側にある第１のショットの終端フレームはフレーム６３３により表わされており、以下、これを「第１のショット」という。 スプリンダ６０１の右側にある第２
のショットの初めの２つのフレームはフレーム６３５により表わされており、以下、これを「第２のショット」
という。 スプリンダを表わすアイコンは頭部６０３と、
左脚部６０５と、右脚部６０７とから構成されている。
スプリンダの頭部６０３、左脚部６０５及び右脚部６０
７の各部分は、マウスなどのカーソル制御装置によってとらえ、引き離すことができる「ホットスポット」である。 たとえば、カーソルがスプリンダの上部に来るまでマウスを動かすことによりスプリンダを「とらえ」、次にその捕捉を報知するために、スイッチを押せば良い。
続いて、スイッチを押しながらマウスを動かすことにより、スプリンダを引き離すことができる。 スイッチを放したとき、編集の実行が終わり、その編集を反映するためにビューが更新されたことがわかる。 ストリップビューワは最前の編集が実行された場所で、ビューを再びフォーカシングするのが好ましい。 スプリンダの頭部６０
３をとらえ、引き離しているときにスプリンダ６０１の全体が動き、スプリンダの両側のショット（６３３及び６３５）が編集される。 ところが、左脚部６０５又は右脚部６０７の一方のみをとらえて、引き離した場合には、その脚部と対応する軸部分のみが動き、それに対応する側のショットのみが編集される。

【００１７】図５（ａ）〜（ｃ）は、スプリンダの使用によるビデオトラックの編集を詳細に示す。 図５（ａ）
〜（ｃ）では、スプリンダの左側にあるビデオフレームを「第１のショット」と呼び、カーソルの右側にあるビデオフレームを「第２のショット」と呼ぶ。 図５（ａ）
を参照すると、ストリップビューワの一部の図が示されている。 （ａ）では、ユーザーはカーソル５９０をスプリンダ５１２の頭部５０３の上に置き、マウスなどのカーソル制御装置を使用してスプリンダ５１２の頭部５０
３を「つかむ」。 次に、カーソルの動きを表わすために使用される矢印により指示するように、スプリンダ５１
２の頭部５０３によってスプリンダ全体を左へ引く。 スプリンダ５１２をその頭部によって左へ引くことにより、スプリンダ５１２の左側にあるショットの終わりをトリムすると同時に、スプリンダ５１２の右側にあるショットの始まりを拡張する。 図５（ａ）では、ユーザーはスプリンダの頭部５０３をカーソル５９０によってつかみ、左へ引いているので、第１のショットに属するフレームはトリミングされ、第２のショットに属するフレームは拡張されている。 「トリミング」という用語は望まないフレームを削除することを表わす。 また、「拡張」という用語はショットの境界にフレームを追加することを表わす。 スプリンダの引きを停止し、スプリンダを適切な場所に留めると、ストリップビューワは実行した編集を記憶する。 この例においては、ユーザーが編集を完了した後、一方のショットにフレームが追加され、
他方のショットから同じ数のフレームがトリミングされたことを反映するためにデータベースを更新する。

【００１８】図５（ｂ）は、第１のショットの終わりからのみフレームをトリムするためにスプリンダをどのようにして使用できるかを示す。 （ｂ）では、ユーザーはスプリンダの左脚部５０５をカーソル５９０によってつかみ、カーソルの動きを表わすために使用される矢印により指示するように、左脚部５０５とその軸部分５０４
を左へ引く。 スプリンダの左脚部５０５とその軸部分５
０４を第１のショットのフレームに沿ってドラッギングするにつれて、第１のショットの終わりからフレームが目で見てわかるようにトリミングされてゆく。 スプリンダの左脚部５０５とその軸部分５０４似動きを止め、スプリンダを適切な場所に留めたならば、ストリップビューワはその編集を記憶する。 その後、第１のショットの終わりから若干のフレームがトリミングされたことを反映するために、この実施例におけるマルチメディアデータベースを更新する。 編集が完了したとき、２つのショットの間の「穴」をなくして、スプリンダを元の形状に戻す。

【００１９】図５（ｃ）は、第１のショットにあらかじめカットしたフレームを追加するためにスプリンダをどのようにして使用できるかを示す。 （ｃ）では、ユーザーはスプリンダの左脚部５０５をカーソル５９０によってつかみ、それを右へ動かして、第１のショットの終わりを拡張している。 スプリンダの左脚部５０５とその軸部分５０４を右へ動かすにつれて、第１のショットの終わりからあらかじめ「カット」したフレームが現れ、第２のショットに属するフレームを一時的に覆う。 スプリンダの左脚部５０５とその軸部分５０４の動きを止め、
スプリンダを適切な場所に留めると、その編集は記憶され、第１のショットの終わりにフレームが加わったことを反映するために、データベースを更新する。 編集が完了したとき、第１のショットのフレームを左へ動かしてゆくと、第２のショットの一時的に覆われていたフレームが現れ、スプリンダは元の形状に戻る。

【００２０】左の脚部と軸部分の代わりに、右の脚部と軸部分を使用することにより、第２のショットの始めでも、図５（ｂ）及び（ｃ）に示した第１のショットの終わりに影響を及ぼす動作を同じように実行できる。 たとえば、スプリンダの右の脚部をとらえ、スプリンダを第２のショットのフレームに沿って右へ動かした場合には、第２のショットの始めからビデオフレームからトリミングされることになる。 同様に、スプリンダの右脚部をつかみ、スプリンダを第１のショットのフレームに沿って左へ動かした場合には、先にカットしたフレームが第２のショットの始めに追加されることになる。

【００２１】ユーザーが本発明のスプリンダを使用して表示画面上でマルチメディア情報を「編集」するとき、
画面上の「編集」を使用して、マルチメディア情報を記憶する関連データベースを更新する。 図６には、使用可能であるデジタルビデオデータベースの一実施例が示されている。 ただし、ここで説明する画面上編集技法はマルチメディアデータベースのこの特定の実現形態に限定されるのではなく、他のデータベース構造を利用しても良い。

【００２２】図６を参照すると、使用可能なデジタルビデオデータベースの実現形態が示されている。 図の中央には、圧縮デジタルビデオデータファイルを表わす３つの並んだ矩形６００，６０５及び６１０がある。 それぞれのビデオデータファイルは、ビデオのフレームを規定する圧縮デジタルデータを含む。 ビデオデータファイルの上方には、編集したマルチメディアプロダクションを表わすツリーデータ構造６１５がある。 ツリー構造は、
図２に示すようなビデオ及びフイルムプロジェクトを編集するためにビデオやフイルムのプロデューサーが使用している階層にごく近いので好ましい。

【００２３】ツリーデータ構造６１５の最低レベルには、「ショット」と呼ばれる連続するビデオフレームのセグメントを規定するデータ構造６２０、６２５、６３
０、６３５、６４０及び６４５がある。 それらのショットデータ構造は２つのポインタを含む。 各ショットデータ構造における第１のポインタはビデオデータファイル中の１つのショットの第１のフレームを指示し、第２のポインタは同じビデオデータファイル中のショットの最終フレームを指示する。 たとえば、ショットデータ構造６２０に関していえば、第１のポインタ６５０はビデオデータファイル６００に含まれているショットの第１のフレーム６５５を指示し、第２のポインタ６６０はそのショットの最終フレーム６６５を指示する。 この実施例では、ショットを拡張又はトリミングする編集を実行する場合、そのショットの始まり又は終わりを規定するビデオデータファイルのポインタを適切に動かす。

【００２４】ショットデータ構造６２０〜６４５の上方には、編集後のプロダクションの編成を規定するより高いレベルのデータ構造がある。 プロダクションは、ツリーデータ構造を形成する複数の連係データ構造から構成されている。 ツリーの最上部には、プロダクション全体を表わすプロダクションルート６７５がある。 プロダクションはより小さなサブユニット６８０、６８５及び６
９０に順次分割されてゆき、ツリー構造の基底を形成するショットデータ構造６２０〜６４５に至る。 本発明では強制的階層を課すことはないので、特定のプロデューサーがプロジェクトをどのように編成するかを反映して、ツリー構造はプロジェクトごとに異なる見かけを呈する。

【００２５】圧縮デジタルビデオファイル６００〜６１
０の下方には、ビデオデータの現在シーケンスを表わす「仮想フイルムストリップ」７００がある。 図からわかる通り、ショットはプロダクションのツリーデータ構造により規定されるように連続して順番に提示される。 情報の連係を与えるために、ビデオファイル６００、６０
５及び６１０から仮想フイルムストリップ７００へポインタ７０５、７１０、７１５、７２０、７２５及び７３
０が提供される。

【００２６】ただし、本発明の画面上編集方式はここで提示した圧縮ビデオデータベースには限定されない。 たとえば、その代わりに、編集によって、現実のビデオテープ又はフイルムストックについて「イン・ポイント」
と「アウト・ポイント」を指定するために使用されるＳ
ＭＴＰＥ時間コードから成るデータベースを変更することも可能であろう。 以上、マルチメディア情報を観察し、編集する方法及び装置を説明した。 本発明の構成要素の材料と配列について、本発明の趣旨から逸脱せずに当業者により変形及び変更を実施しうると考えられる。

【図面の簡単な説明】

【図１】プレイヤーと、ストーリーボードと、ストリップビューワ表示部とを含むマルチメディア表示編集システムの図。

【図２】マルチメディアプロダクションに関して使用可能な階層構造の１つを示す図。

【図３】ストリップビューワ表示部の一実施例を示す図。

【図４】２つの異なるショットに属するビデオフレームの間の「スプリンダ」を詳細に示す図。

【図５】ビデオフレームデータのショットを編集するために使用されるスプリンダを示す図。

【図６】本発明により作成されるビデオデータベース及びデータ構造の概念図。

【符号の説明】

１，１ａ，１ｂ，１ｃ スプリンダ １１ プレイヤー １３ ストーリーボード １４，１９ カレット １５ ストリップビューワ １７ スクロールバー ２１，２３，２５ メディアトラック ２７ スケール ５０３ 頭部 ５１２ スプリンダ ５０４ 軸部分 ５０５ 左脚部 ５９０ カーソル ６０１ スプリンダ ６０３ 頭部 ６０５ 左脚部 ６０７ 右脚部 ６３３，６３５ フレーム

───────────────────────────────────────────────────── フロントページの続き (72)発明者 トレヴァー・モリス アメリカ合衆国 94043 カリフォルニア 州・マウンテン ビュー・シャーランド アヴェニュ・181