【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、情報処理装置および方法、並びに記録媒体に関し、特に、MPEG規格に基づいて符号化された符号化ビットストリームの構造を変更するために復号および符号化処理を繰り返したとしても画質劣化の発生しないトランスコーディングシステムにおいて、情報の重要度などによって、必要な情報を容易に取り出せるように伝送し、それを読み出すことができる情報処理装置および方法、並びに記録媒体に関する。

【０００２】

【従来の技術】近年、テレビジョンプログラムを制作および放送する放送局においては、ビデオデータを圧縮／
符号化処理するために、MPEG（Moving Picture Experts
Group）技術が一般的に使われるようになってきた。 特に、ビデオデータをテープなどのランダムアクセス可能な記録媒体素材に記録する場合、およびビデオデータをケーブルや衛星を介して伝送する場合には、このMPEG技術がデファクトスタンダードになりつつある。

【０００３】放送局において制作されたビデオプログラムが各家庭に伝送されるまでの放送局における処理の一例を簡単に説明する。 まず、ビデオカメラとVTR（Video
Tape Recorder）が一体となったカムコーダに設けられたエンコーダによって、ソースビデオデータをエンコード処理して磁気テープ上に記録する。 この際、カムコーダのエンコーダは、VTRのテープの記録フォーマットに適するように、ソースビデオデータを符号化する。 例えば、この磁気テープ上に記録されるMPEGビットストリームのGOP（Group of Pictures）構造は、２フレームから１GOPが構成される構造（例えば、Ｉ，Ｂ，Ｉ，Ｂ，
Ｉ，Ｂ，・・・・・・）とされる。 また磁気テープ上に記録されているMPEGビットストリームのビットレートは、１８Mbpsである。

【０００４】次に、メイン放送局において、この磁気テープ上に記録されたビデオビットストリームを編集する編集処理を行う。 そのために、磁気テープ上に記録されたビデオビットストリームのGOP構造を、編集処理に適したGOP構造に変換する。 編集処理に適したGOP構造とは、１GOPが１フレームから構成され、すべてのピクチャがＩピクチャであるGOP構造である。 なぜなら、フレーム単位で編集を行うためには、他のピクチャと相関のないＩピクチャが最も適しているからである。 実際のオペレーションとしては、磁気テープ上に記録されたビデオストリームを一旦デコードしてベースバンドのビデオデータに戻す。 そして、そのベースバンドのビデオ信号を、すべてのピクチャがＩピクチャとなるように再エンコードする。 このようにデコード処理および再エンコード処理を行うことによって、編集処理に適したGOP構造を有したビットストリームを生成することができる。

【０００５】次に、上述した編集処理によって生成された編集ビデオプログラムを、メイン局から地方局に伝送するために、編集ビデオプログラムのビットストリームを、伝送処理に適したGOP構造およびビットレートに変換する。 放送局間の伝送に適したGOP構造とは、例えば、１GOPが１５フレームから構成されているGOP構造（例えば、Ｉ，Ｂ，Ｂ，Ｐ，Ｂ，Ｂ，Ｐ・…）である。
また、放送局間の伝送に適したビットレートは、一般的に放送局間においては、光ファイバなどの高伝送容量を有した専用線が設けられているので、５０Mbps以上のハイビットレートであることが望ましい。 具体的には、編集処理されたビデオプログラムのビットストリームを一旦デコードしてベースバンドのビデオデータに戻す。 そして、そのベースバンドのビデオデータを上述した放送局間の伝送に適したGOP構造およびビットレートを有するように再エンコードする。

【０００６】地方局においては、メイン局から伝送されてきたビデオプログラムの中に、地方特有のコマーシャルを挿入するために編集処理が行われる。 つまり、上述した編集処理と同じように、メイン局から伝送されてきたビデオストリームを一旦デコードしてベースバンドのビデオデータに戻す。 そして、そのベースバンドのビデオ信号を、すべてのピクチャがＩピクチャとなるように再エンコードすることによって、編集処理に適したGOP
構造を有したビットストリームを生成することができる。

【０００７】続いて、この地方局において編集処理が行われたビデオプログラムを各家庭に、ケーブルや衛星を介して伝送するために、この伝送処理に適したGOP構造およびビットレートに変換する。 例えば、各家庭に伝送するための伝送処理に適したGOP構造とは、１GOPが１５
フレームから構成されるGOP構造（例えば、Ｉ，Ｂ，
Ｂ，Ｐ，Ｂ，Ｂ，Ｐ・…）であって、各家庭に伝送するための伝送処理に適したビットレートは、５Mbps程度の低ビットレートである。 具体的には、編集処理されたビデオプログラムのビットストリームを一旦デコードしてベースバンドのビデオデータに戻す。 そして、そのベースバンドのビデオデータを、上述した伝送処理に適した
GOP構造およびビットレートを有するように再エンコードする。

【０００８】以上の説明からも理解できるように、放送局から各家庭にビデオプログラムが伝送される間に、複数回の復号処理および符号化処理が繰り返されている。
実際には、放送局における処理は上述した信号処理以外にもさまざまな信号処理が必要であり、そのたびに復号処理および符号化処理を繰り返さなければならない。

【０００９】しかしながら、MPEG規格に基づく符号化処理および復号処理は、１００％可逆の処理ではないことは良く知られている。 つまり、エンコードされる前のベースバンドのビデオデータと、デコードされた後のビデオデータは１００％同じでは無く、この符号化処理および復号処理によって画質が劣化している。 つまり、上述したように、デコード処理およびエンコード処理を繰り返すと、その処理の度に、画質が劣化してしまうと言う問題があった。 別の言葉で表現すると、デコード／エンコード処理を繰り返す毎に、画質の劣化が蓄積されてしまう。

【００１０】この問題を解決するために、符号化履歴をビデオデータとともに伝送し、それを利用して符号化および復号を実行することにより、画質の劣化を防ぐ技術がある。

【００１１】

【発明が解決しようとする課題】しかしながら、画像を処理するアプリケーションによっては、デコード処理およびエンコード処理の実行にあたって、トランスコーディングシステムが全てのパラメータを必要としていない場合もある。 しかしながら、必要とするデータがどの領域に位置するのかがわからないため、トランスコーディングシステムにおいては、全てのデータにアクセスできるように、ハードウェアを組む必要がある。 そのため、
ハードウェアが複雑になったり、装置の規模が大きくなってしまう。 更に、ノイズ等の影響により、パケットが欠落すると、それ以降のデータの復帰が困難なため、多くのデータが欠落してしまう恐れがある。

【００１２】本発明は、このような状況に鑑みてなされたものであり、MPEG規格に基づいて符号化された符号化ビットストリームのGOPの構造を変更するために復号および符号化処理を繰り返したとしても画質劣化の発生しないトランスコーディングシステムにおいて、情報の重要度などによって、データの重畳方法を変更し、所定の位置（例えば、垂直ブランキング領域および水平ブランキング領域）に記述することにより、必要な情報を容易に取り出せるように伝送し、それを読み出すことができるようにするものである。

【００１３】

【課題を解決するための手段】請求項１に記載の情報処理装置は、入力された符号化ストリームより補助データを抽出する抽出手段と、抽出手段により抽出された補助データを第１の補助データと第２の補助データに分離する分離手段と、分離手段により分離された第１の補助データと第２の補助データを、所定の形式のデータに変換する変換手段と、変換手段により変換された第１の補助データと第２の補助データを、出力信号の第１の位置と第２の位置に挿入する挿入手段とを備えることを特徴とする。

【００１４】請求項６に記載の情報処理方法は、入力された符号化ストリームより補助データを抽出する抽出ステップと、抽出ステップの処理により抽出された補助データを第１の補助データと第２の補助データに分離する分離ステップと、分離ステップの処理により分離された第１の補助データと第２の補助データを、所定の形式のデータに変換する変換ステップと、変換ステップの処理により変換された第１の補助データと第２の補助データを、出力信号の第１の位置と第２の位置に挿入する挿入ステップとを含むことを特徴とする。

【００１５】請求項７に記載の記録媒体に記録されるプログラムは、入力された符号化ストリームより補助データを抽出する抽出ステップと、抽出ステップの処理により抽出された補助データを第１の補助データと第２の補助データに分離する分離ステップと、分離ステップの処理により分離された第１の補助データと第２の補助データを、所定の形式のデータに変換する変換ステップと、
変換ステップの処理により変換された第１の補助データと第２の補助データを、出力信号の第１の位置と第２の位置に挿入する挿入ステップとを含むことを特徴とする。

【００１６】請求項８に記載の情報処理装置は、入力された信号の第１の位置または第２の位置にそれぞれ挿入されている第１の補助データまたは第２の補助データを抽出する抽出手段と、抽出手段により抽出された第１の補助データまたは第２の補助データを選択する選択手段と、選択手段により選択された第１の補助データまたは第２の補助データを利用して、入力された信号を符号化する符号化手段とを備えることを特徴とする。

【００１７】請求項１３に記載の情報処理方法は、入力された信号の第１の位置または第２の位置にそれぞれ挿入されている第１の補助データまたは第２の補助データを抽出する抽出ステップと、抽出ステップの処理により抽出された第１の補助データまたは第２の補助データを選択する選択ステップと、選択ステップの処理により選択された第１の補助データまたは第２の補助データを利用して、入力された信号を符号化する符号化ステップとを含むことを特徴とする。

【００１８】請求項１４に記載の記録媒体に記録されるプログラムは、入力された信号の第１の位置または第２
の位置にそれぞれ挿入されている第１の補助データまたは第２の補助データを抽出する抽出ステップと、抽出ステップの処理により抽出された第１の補助データまたは第２の補助データを選択する選択ステップと、選択ステップの処理により選択された第１の補助データまたは第２の補助データを利用して、入力された信号を符号化する符号化ステップとを含むことを特徴とする。

【００１９】請求項１５に記載の情報処理装置は、入力された第１の符号化ストリームを復号する復号手段と、
復号手段により復号された第１の符号化ストリームを符号化して、第２の符号化ストリームを生成する生成手段とを備え、復号手段は、入力された第１の符号化ストリームより補助データを抽出する第１の抽出手段と、第１
の抽出手段により抽出された補助データを第１の補助データと第２の補助データに分離する分離手段と、分離手段により分離された第１の補助データと第２の補助データを、所定の形式のデータに変換する変換手段と、変換手段により変換された第１の補助データと第２の補助データを、復号された第１の符号化ストリームの第１の位置と第２の位置に挿入する挿入手段とを備え、第１の抽出手段により抽出された補助データを用いて第１の符号化ストリームを復号し、生成手段は、復号手段より入力された、復号手段により復号された第１の符号化ストリームの第１の位置または第２の位置にそれぞれ挿入されている第１の補助データまたは第２の補助データを抽出する第２の抽出手段と、第２の抽出手段により抽出された第１の補助データまたは第２の補助データを選択する選択手段とを備え、選択手段により選択された第１の補助データまたは第２の補助データを利用して、復号手段より入力された、復号手段により復号された第１の符号化ストリームを符号化して、第２の符号化ストリームを生成することを特徴とする。

【００２０】請求項１９に記載の情報処理方法は、入力された第１の符号化ストリームを復号する復号ステップと、復号ステップの処理により復号された第１の符号化ストリームを符号化して、第２の符号化ストリームを生成する生成ステップとを含み、復号ステップは、入力された第１の符号化ストリームより補助データを抽出する第１の抽出ステップと、第１の抽出ステップの処理により抽出された補助データを第１の補助データと第２の補助データに分離する分離ステップと、分離ステップの処理により分離された第１の補助データと第２の補助データを、所定の形式のデータに変換する変換ステップと、
変換ステップの処理により変換された第１の補助データと第２の補助データを、復号された第１の符号化ストリームの第１の位置と第２の位置に挿入する挿入ステップとを含み、復号ステップの処理では、第１の抽出ステップの処理により抽出された補助データを用いて第１の符号化ストリームを復号し、生成ステップは、復号ステップの処理により復号された第１の符号化ストリームの第１の位置または第２の位置にそれぞれ挿入されている第１の補助データまたは第２の補助データを抽出する第２
の抽出ステップと、第２の抽出ステップの処理により抽出された第１の補助データまたは第２の補助データを選択する選択ステップとを含み、生成ステップの処理では、選択ステップの処理により選択された第１の補助データまたは第２の補助データを利用して、復号ステップの処理により復号された第１の符号化ストリームを符号化して、第２の符号化ストリームを生成することを特徴とする。

【００２１】請求項２０に記載の記録媒体に記録されるプログラムは、入力された第１の符号化ストリームを復号する復号ステップと、復号ステップの処理により復号された第１の符号化ストリームを符号化して、第２の符号化ストリームを生成する生成ステップとを含み、復号ステップは、入力された第１の符号化ストリームより補助データを抽出する第１の抽出ステップと、第１の抽出ステップの処理により抽出された補助データを第１の補助データと第２の補助データに分離する分離ステップと、分離ステップの処理により分離された第１の補助データと第２の補助データを、所定の形式のデータに変換する変換ステップと、変換ステップの処理により変換された第１の補助データと第２の補助データを、復号された第１の符号化ストリームの第１の位置と第２の位置に挿入する挿入ステップとを含み、復号ステップの処理では、第１の抽出ステップの処理により抽出された補助データを用いて第１の符号化ストリームを復号し、生成ステップは、復号ステップの処理により復号された第１の符号化ストリームの第１の位置または第２の位置にそれぞれ挿入されている第１の補助データまたは第２の補助データを抽出する第２の抽出ステップと、第２の抽出ステップの処理により抽出された第１の補助データまたは第２の補助データを選択する選択ステップとを含み、生成ステップの処理では、選択ステップの処理により選択された第１の補助データまたは第２の補助データを利用して、復号ステップの処理により復号された第１の符号化ストリームを符号化して、第２の符号化ストリームを生成することを特徴とする。

【００２２】請求項１に記載の情報処理装置、請求項６
に記載の情報処理方法、請求項７に記載の記録媒体においては、入力された符号化ストリームより補助データが抽出され、抽出された補助データが第１の補助データと第２の補助データに分離され、第１の補助データと第２
の補助データが、所定の形式のデータに変換され、変換された第１の補助データと第２の補助データが、出力信号の第１の位置と第２の位置に挿入される。

【００２３】請求項８に記載の情報処理装置、請求項１
３に記載の情報処理方法、請求項１４に記載の記録媒体においては、入力された信号の第１の位置または第２の位置にそれぞれ挿入されている第１の補助データまたは第２の補助データが抽出され、抽出された第１の補助データまたは第２の補助データが選択され、選択された第１の補助データまたは第２の補助データを利用して、入力された信号が符号化される。

【００２４】請求項１５に記載の情報処理装置、請求項１９に記載の情報処理方法、請求項２０に記載の記録媒体においては、入力された第１の符号化ストリームが復号され、復号された第１の符号化ストリームが符号化され、第２の符号化ストリームが生成される。 入力された第１の符号化ストリームより補助データが抽出され、抽出された補助データが第１の補助データと第２の補助データに分離され、分離された第１の補助データと第２の補助データが、所定の形式のデータに変換され、抽出された補助データを用いて第１の符号化ストリームが復号され、変換された第１の補助データと第２の補助データが、復号された第１の符号化ストリームの第１の位置と第２の位置に挿入される。 そして、第１の符号化ストリームの第１の位置または第２の位置にそれぞれ挿入されている第１の補助データまたは第２の補助データが抽出され、抽出された第１の補助データまたは第２の補助データが選択され、選択された第１の補助データまたは第２の補助データを利用して、復号された第１の符号化ストリームが符号化され、第２の符号化ストリームが生成される。

【００２５】

【発明の実施の形態】以下、図を参照して、本発明の実施の形態について説明する。

【００２６】図1は、本発明のトランスコーディングシステムを示すブロック図である。 ビデオデコーディングシステム１は、ビットストリームの入力を受け、図５を用いて後述する方法で、入力された信号をデコードし、
図７を用いて後述するV Blanking領域およびH Blanking
領域に必要に応じた情報を記述し、ベースバンドビデオ信号に変換して出力する。 ビデオエンコーディングシステム２は、ベースバンドビデオ信号の入力を受け、図７
を用いて後述するV Blanking領域およびH Blanking領域から必要に応じた情報を取り出し、図１２を用いて後述する方法で、入力された信号をエンコードし、ビットストリームに変換して出力する。 ビデオ処理システム（VT
R）３は、必要に応じて、ベースバンドビデオ信号に対する編集処理を実行する。

【００２７】図２は、ビデオデコーディングシステム１
の詳細な構成を示すブロック図である。

【００２８】復号装置１１は、入力されたビットストリームから、ビデオ信号を取り出し、ヒストリ情報多重化装置１２に出力し、１世代前の符号化パラメータ（例えば、このトランスコーディングシステムが第４世代であれば、第３世代の符号化パラメータ）を取り出し、ヒストリ情報多重化装置１２およびデータ分類装置１３に出力し、ビデオデコーディングシステムに入力される以前のデータの変換履歴を示すユーザデータ（すなわち、直前の世代より更に前の世代の符号化パラメータ）をヒストリデコーディング装置１４に入力する。

【００２９】データ分類装置１３に入力された符号化パラメータは、例えば、多くのアプリケーションで必要度の高いピクチャ層以上の符号化パラメータと、全てのパラメータで必要ではないスライス層以下の符号化パラメータとに分離され、フォーマットコンバータ１５およびフォーマットコンバータ１７にそれぞれ出力される。 フォーマットコンバータ１５およびフォーマットコンバータ１７は、入力された符号化パラメータをアンシラリパケットにフォーマット変換し、V Blanking挿入装置１６
およびH Blanking挿入装置１８にそれぞれ出力する。

【００３０】ヒストリデコーディング装置１４は、復号装置１１より供給されるユーザデータをデコードするユーザデータデコーダ２１、ユーザデータデコーダ２１の出力を変換するコンバータ２２、およびコンバータ２２
の出力から履歴情報を再生するヒストリVLD（Variable
Length Decoder）２３により構成されている。

【００３１】ユーザデータデコーダ２１は、復号装置１
１より供給されるユーザデータをデコードして、コンバータ２２に出力する。 詳細は図２８を参照して後述するが、ユーザデータ（user_data（））は、user_data_sta
rt_codeとuser_dataからなり、MPEG規格においてはuser
_dataの中に、連続する２３ビットの”０”（start_cod
eと同一のコード）を発生させることを禁止している。
これは、そのデータが、start_codeとして誤検出されるのを防止するためである。 履歴情報（history_strea
m（））は、ユーザデータエリアに（MPEG規格のuser_da
taの一種として）記述され、その中には、このような連続する２３ビット以上の”０”が存在することがあり得るので、これを、連続する２３ビット以上の”０”が発生しないように、所定のタイミングで“１”を挿入処理して、converted_history_stream（）（後述する図１
５）に変換する必要がある。 この変換を行うのは、後述するヒストリエンコーディング装置のコンバータである。 ヒストリデコーディング装置１４のコンバータ２２
は、このコンバータと逆の変換処理を行う（連続する２
３ビット以上の”０”を発生させないために挿入された”１”を除去する）ものである。

【００３２】ヒストリVLD２３は、コンバータ２２の出力から履歴情報（いまの場合、第１世代の符号化パラメータと第２世代の符号化パラメータ）を生成し、ヒストリ情報多重化装置１２に出力する。

【００３３】すなわち、ヒストリデコーディング装置１
４は、受け取ったユーザデータのシンタックスを解析することによって、ユーザデータの中に記述されている固有のHistory_Data_Idを検出し、これによって、convert
ed_history_stream（）を抽出することができる。 更に、ヒストリデコーディング装置１４は、converted_hi
story_stream（）中にある所定間隔に挿入されている１
ビットのマーカービット（marker_bit）を取りさることによって、history_stream（）を得ることができ、そして、そのhistory_stream（）のシンタックスを解析することによって、history_stream（）中に記述されている第１世代および第２世代の符号化パラメータを得ることができる。

【００３４】ヒストリ情報多重化装置１２は、ビデオデコーディングシステムに入力される以前の全てのデータ変更履歴（例えば、これが第４世代の変更であれば、第１世代、第２世代および第３世代の符号化パラメータ）
を、第４世代の符号化処理を行うビデオエンコーディングシステム２に供給するために、復号装置１１においてデコードされたベースバンドのビデオデータに、これらの第１世代、第２世代および第３世代の符号化パラメータを多重化するための回路である。

【００３５】ヒストリ情報多重化装置１２から出力された信号は、V Blanking挿入装置１６に入力される。 V Bl
anking挿入装置１６は、図７を用いて後述するV Blanki
ng領域に、フォーマットコンバータ１５から入力されたピクチャ層以上の符号化パラメータを挿入し、H Blanki
ng挿入装置１８に出力する。 H Blanking挿入装置１８
は、図７を用いて後述するH Blanking領域に、フォーマットコンバータ１７から入力されたスライス層以下の符号化パラメータを挿入し、出力する。

【００３６】図３は、ビデオエンコーディングシステム２の詳細な構成を示すブロック図である。

【００３７】H Blanking抽出装置３１は、入力されたベースバンドビデオ信号から、H Blanking領域に重畳されたアンシラリパケットを抽出し、フォーマットコンバータ３２に出力する。 フォーマットコンバータ３２は、入力されたアンシラリパケットのフォーマットを変換し、
マルチプレクサ３３に出力する。 V Blanking抽出装置３
４は、入力されたベースバンドビデオ信号から、V Blan
king領域に重畳されたアンシラリパケットを抽出し、フォーマットコンバータ３５に出力する。 フォーマットコンバータ３５は、入力されたアンシラリパケットのフォーマットを変換し、マルチプレクサ３３に出力する。 マルチプレクサ３３は、入力された信号を多重化し、パラメータ再生部３６に出力する。

【００３８】パラメータ再生部３６は、パケットが欠落していた場合、図８を用いて後述する方法で、損失したデータを修正し、修正後のデータを符号化装置３９に出力する。

【００３９】H Blanking抽出装置３１およびH Blanking
抽出装置３４においてアンシラリパケットが抽出された後、データは、ヒストリ情報分離装置３７に入力される。 ヒストリ情報分離装置３７は、伝送データからベースバンドのビデオデータを抽出して、そのビデオデータを符号化装置３９に供給するとともに、伝送データから第１世代、第２世代および第３世代のヒストリ情報を抽出して、符号化装置３９とヒストリエンコーディング装置３８にそれぞれ供給する。

【００４０】ヒストリエンコーディング装置３８において、ヒストリVLC（Variable LengthCoder）４３は、ヒストリ情報分離装置３７より供給される３世代分の（第１世代、第２世代、および第３世代の）符号化パラメータを、履歴情報のフォーマットに変換する。 このフォーマットには、固定長のもの（後述する図１７乃至図２
３）と、可変長のもの（後述する図２４）とがある。 これらの詳細については後述する。

【００４１】ヒストリVLC４３により、フォーマット化された履歴情報は、コンバータ４２において、converte
d_history_stream（）に変換される。 これは、上述したように、user_data（）のstart_codeが誤検出されないようにするための処理である。 すなわち、履歴情報内には連続する２３ビット以上の”０”が存在するが、user
_data中には連続する２３ビット以上の”０”を配置することができないので、この禁止項目に触れないようにコンバータ４２によりデータを変換する（“１”を所定のタイミングで挿入する）。

【００４２】ユーザデータフォーマッタ４１は、コンバータ４２より供給されるconverted_history_stream（）
に、後述する図１５に基づいて、History_Data_IDを付加し、更に、user_data_stream_codeを付加して、video
stream中に挿入できるMPEG規格のuser_dataを生成し、
符号化装置３９に出力する。

【００４３】符号化装置３９は、ヒストリ情報分離装置３７から供給されたベースバンドのビデオデータを、オペレータまたはホストコンピュータから指定されたGOP
構造およびビットレートを有するビットストリームになるように符号化するための装置である。 なお、GOP構造を変更するとは、例えば、GOPに含まれるピクチャの数、ＩピクチャとＩピクチャの間に存在するＰピクチャの数、およびＩピクチャとＰピクチャ（またはＩピクチャ）の間に存在するＢピクチャの数を変更することを意味する。

【００４４】この場合、供給されたベースバンドのビデオデータには、第１世代、第２世代および第３世代のヒストリ情報が重畳されているので、この符号化装置３９
は、再符号化処理による画質劣化が少なくなるように、
これらのヒストリ情報を選択的に再利用して第４世代の符号化処理を行う。

【００４５】例えば、ピクチャ層以上のデータのみを取り扱う場合、図２および図３を用いて説明した全てのハードウェアは必要ではない。 すなわち、図２において、
フォーマットコンバータ１７およびH Blanking挿入装置１８を削除し、図３において、H Blanking抽出装置３１
およびフォーマットコンバータ３２を削除したビデオデコーディングシステムを用いればよい。

【００４６】また、スライス層以下のデータをピクチャ層以上のデータと同様の頻度で取り扱うような場合、図４に示すように、復号装置６１、ヒストリデコーディング装置６２、およびヒストリ情報多重化装置６３からなるビデオデコーディングシステム５１、並びに、ヒストリ情報分離装置６４、ヒストリエンコーディング装置６
５、および符号化装置６６からなるビデオエンコーディングシステム５２を用いてもよい。

【００４７】復号装置６１は、入力されたビットストリームから、ビデオ信号および符号化パラメータを取り出し、ヒストリ情報多重化装置６３に出力するとともに、
入力されたビットストリームからユーザデータを取り出し、ヒストリデコーディング装置６２に出力する。 ヒストリデコーディング装置６２は、ヒストリデコーディング装置１４と同様の方法でユーザデータをデコードし、
ヒストリ情報多重化装置６３に出力する。 ヒストリ情報多重化装置６３は、図７を用いて後述するように、指定された領域に符号化パラメータを記述し、ヒストリ情報分離装置６４に出力する。

【００４８】ヒストリ情報分離装置６４は、入力されたデータからベースバンドのビデオデータを抽出して、そのビデオデータを符号化装置６６に供給するとともに、
入力されたデータの所定の位置に記述されている、第１
世代、第２世代および第３世代のヒストリ情報を抽出して、符号化装置６６とヒストリエンコーディング装置６
５にそれぞれ供給する。 ヒストリエンコーディング装置６５は、ヒストリエンコーディング装置３８と同様の処理により、入力されたヒストリ情報をエンコードし、符号化装置６６に出力する。 符号化装置６６は、入力されたデータが、所定のGOP構造およびビットレートを有するビットストリームになるように符号化する。

【００４９】図５は、図２を用いて説明した復号装置１
１（もしくは、図4を用いて説明した復号装置６１）に含まれるデコーダ８１の詳細な構成を示すブロック図である。

【００５０】デコーダ８１は、供給されたビットストリームをバッファリングするための受信バッファ９１、符号化ビットストリームを可変長復号するための可変長復号回路９２、可変長復号されたデータを可変長復号回路９２から供給された量子化スケールに従って逆量子化する逆量子化回路９３、逆量子化されたＤＣＴ（離散コサイン変換）係数を逆離散コサイン変換するIDCT回路９
４、および動き補償処理を行うための演算器９５、フレームメモリ９６および動き補償回路９７を備えている。

【００５１】可変長復号回路９２は、直前の世代（この場合、第３世代）の符号化ビットストリームを復号処理するために、この符号化ビットストリームのピクチャ層、スライス層およびマクロブロック層に記述されている符号化パラメータを抽出する。 抽出された符号化パラメータは、図２を用いて説明したように、データ分類装置１３にも供給され、ピクチャ層以上とスライス層以下に分類される。

【００５２】例えば、この可変長復号回路９２において抽出される第３世代の符号化パラメータは、ピクチャタイプを示すpicture_coding_type、量子化スケールステップサイズを示すquantiser_scale_code、予測モードを示すmacroblock_type、動きベクトルを示すmotion_vect
or、フレーム予測モードかフィールド予測モードかを示すframe/field_motion_type、およびフレームＤＣＴモードかフィールドＤＣＴモードかを示すdct_type等である。 この可変長復号回路９２において抽出されたquatnt
iser_scale_codeは、逆量子化回路９３に供給され、pic
ture_coding_type、quatntiser_scale_code、macrobloc
k_type、motion_vector、frame/field_motion_type、dc
t_type等のパラメータは、動き補償回路９７に供給される。

【００５３】可変長復号回路９２は、第３世代の符号化ビットストリームを復号処理するために必要なこれらの符号化パラメータだけではなく、後段の第５世代のトランスコーディングシステムに第３世代のヒストリ情報として伝送されるべき符号化パラメータを、第３世代の符号化ビットストリームのシーケンス層、GOP層、ピクチャ層、スライス層、およびマクロブロック層から抽出する。 もちろん、第３世代の復号処理に使用されたpictur
e_coding_type、quatntiser_scale_code、macroblock_t
ype、motion_vector、frame/field_motion_type、dct_t
ype等の第３世代の符号化パラメータは、この第３世代のヒストリ情報に含まれている。 ヒストリ情報としてどのような符号化パラメータを抽出するかについては、伝送容量などに応じてオペレータやホストコンピュータ側から予め設定されている。

【００５４】更に、可変長復号回路９２は、第３世代の符号化ビットストリームのピクチャ層のユーザデータエリアに記述されているユーザデータを抽出し、そのユーザデータをヒストリデコーディング装置１４に供給する。

【００５５】このヒストリデコーディング装置１４は、
前述したように、第３世代の符号化ビットストリームのピクチャ層に記述されていたユーザデータから、ヒストリ情報として記述されている第１世代の符号化パラメータおよび第２世代の符号化パラメータ（直前の世代より更に前の世代の符号化パラメータ）を抽出するための回路である。

【００５６】また、可変長復号回路９２は、受信バッファ９１より供給されたデータを可変長復号し、動きベクトル、予測モード、予測フラグ、およびＤＣＴフラグを動き補償回路９７に出力し、量子化スケールを逆量子化回路９３に出力するとともに、復号された画像データを逆量子化回路９３に出力する。

【００５７】逆量子化回路９３は、可変長復号回路９２
より供給された画像データを、同じく可変長復号回路９
２より供給された量子化スケールに従って逆量子化し、
IDCT回路９４に出力する。 逆量子化回路９３より出力されたデータ（ＤＣＴ係数）は、IDCT回路９４により、逆離散コサイン変換処理が施され、演算器９５に供給される。

【００５８】IDCT回路９４より演算器９５に供給された画像データが、Ｉピクチャのデータである場合、そのデータは演算器９５より出力され、演算器９５に後に入力される画像データ（ＰまたはＢピクチャのデータ）の予測画像データ生成のために、フレームメモリ９６の前方予測画像部９６ａに供給されて記憶される。

【００５９】IDCT回路９４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチャのデータであり、前方予測モードのデータである場合、フレームメモリ９６の前方予測画像部９
６ａに記憶されている、１フレーム前の画像データ（Ｉ
ピクチャのデータ）が読み出され、動き補償回路９７で可変長復号回路９２より出力された動きベクトルに対応する動き補償が施される。 そして、演算器９５において、IDCT回路９４より供給された画像データ（差分のデータ）と加算され、出力される。 この加算されたデータ、すなわち、復号されたＰピクチャのデータは、演算器９５に後に入力される画像データ（ＢピクチャまたはＰピクチャのデータ）の予測画像データ生成のために、
フレームメモリ９６の後方予測画像部９６ｂに供給されて記憶される。

【００６０】このように、Ｐピクチャのデータであっても、画像内予測モードのデータは、Ｉピクチャのデータと同様に、演算器９５において処理は行われず、そのまま後方予測画像部９６ｂに記憶される。

【００６１】IDCT回路９４より供給された画像データが、Ｂピクチャのデータである場合、可変長復号回路９
２より供給された予測モードに対応して、フレームメモリ９６の前方予測画像部９６ａに記憶されているＩピクチャの画像データ（前方予測モードの場合）、後方予測画像部９６ｂに記憶されているＰピクチャの画像データ（後方予測モードの場合）、または、その両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路９７において、可変長復号回路９２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。 ただし、動き補償を必要としない場合（画像内予測モードの場合）、予測画像は生成されない。

【００６２】このようにして、動き補償回路９７において動き補償が施されたデータは、演算器９５において、
IDCT回路９４の出力と加算され、出力される。 ただし、
この加算出力はＢピクチャのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ９６には記憶されない。 また、動き補償回路９７においては、奇数フィールドと偶数フィールドのラインの信号が分離された構成を元の構成に必要に応じて戻す処理も実行される。

【００６３】Ｂピクチャの画像が出力された後、後方予測画像部９６ｂに記憶されているＰピクチャの画像データが読み出され、動き補償回路９７を介して演算器９５
に供給される。 ただし、このとき、動き補償は行われない。

【００６４】そして、デコーダ８１からの出力は、ヒストリ情報多重化装置１２に入力される。 具体的には、ヒストリ情報多重化装置１２は、デコーダ８１の演算器９
５から出力されたベースバンドのビデオデータ、デコーダ８１の可変長復号回路９２から出力された第３世代の符号化パラメータ、並びに、ヒストリデコーディング装置１４から出力された第１世代の符号化パラメータと第２世代の符号化パラメータとを受け取り、このベースバンドのビデオデータに、これらの第１世代、第２世代および第３世代の符号化パラメータを多重化し、その後、
図７を用いて後述するように、H Blanking領域およびV
Blanking領域に符号化パラメータが記述され、出力データが生成される。

【００６５】次に、これらの第１世代、第２世代および第３世代の符号化パラメータのベースバンドビデオデータへの多重化の方法について、図６乃至図１１を参照して説明する。

【００６６】図６は、MPEG規格において定義されている、１６ピクセル×１６ピクセルからなる１つのマクロブロックを示している。 この１６ピクセル×１６ピクセルのマクロブロックは、輝度信号に関しては４つの８ピクセル×８ピクセルからなるサブブロック（Ｙ[0]，
[1]，[2]およびＹ[3]）と、色差信号に関しては４つの８ピクセル×８ピクセルからなるサブブロック（Ｃｒ
[0]，ｒ[1]，ｂ[0]，およびＣｂ[1]）から構成されている。

【００６７】そして、図７に示されるように、例えば、
多くのアプリケーションで必要度の高い、ピクチャ層以上の符号化パラメータがV Blanking領域に記述され、全てのアプリケーションでは必要とされない、スライス層以下の符号化パラメータがHBlanking領域に記述されるように、前述したV Blanking挿入装置１６、およびHBla
nking挿入装置１８によって挿入される。

【００６８】また、前述したパラメータ再生部における欠落パケットの修正において、例えば、以前のデータを格納しておき、欠落パケットの個所に相当するデータを補充するなどの方法がある。 ここで、図８（A）に示されるように、パケットの区切りにかかわりなく、各データのスタートにstart_codeが書き込まれた場合、全てのデータを読み込んでstart_codeを探さなくてはいけない。 従って、V Blanking領域に含まれるピクチャ層以上の情報においては、図８（Ｂ）に示されるように、１マクロブロックの情報は、１ストライプのアンシラリパケット内で閉じるようにし、start_codeを常にパケットの先頭に書き込むことにより、欠落パケットの修正を容易にする。

【００６９】また、図６を用いて説明したマクロブロックにおいて、垂直方向に分解してできる帯単位の情報をストライプという。 MPEG２では、インタレース形式の画像を処理する場合、図９に示されるフィールドストラクチャとフレームストラクチャを適宜切り替えて用いている。 フィールドストラクチャは、フィールド単位で画像を処理するのに対して、フレームストラクチャでは、２
つのフィールドからフレームを構成し、フレーム単位で画像を処理する。 そのため、フィールドストラクチャでは、１６ラインごとにストライプが形成されるが、フレームストラクチャでは、８ラインごとにストライプが形成される。

【００７０】それぞれのストライプを形成するスライス層以下の符号化パラメータは、そのストライプのH Blan
king領域に閉じた形で伝送する。 これにより、各ストライプのビデオデータが得られるのと同時に符号化パラメータも得られるため、時間を合わせるためのバッファなどの機構をもつ必要がなくなる。 また、パケットのペイロード内にstart_codeが存在する場合、パケット欠落時の復帰を容易にするため、図１０に示すように、start_
codeは常にパケットの先頭に書き込まれるようにする。

【００７１】図１１に示されるように、データブロックは、各サブブロック（Ｙ[0]，Ｙ[1]，Ｙ[2]，Ｙ[3]，Ｃ
ｒ[0]，Ｃｒ[1]，Ｃｂ[0]，Ｃｂ[1]）における１ピクセルを伝送するためのデータブロックであるので、１マクロブロックのデータを伝送するためには、この図１１に示されているデータブロックが６４個伝送される。 下位２ビット（Ｄ１とＤ０）を使用すれば、１マクロブロックのビデオデータに対して、合計で１０２４（＝１６×
６４）ビットのヒストリ情報を伝送できる。 従って、１
世代分のヒストリ情報は、２５６ビットとなるように生成されているので、過去の４（＝１０２４／２５６）世代分のヒストリ情報を１マクロブロックのビデオデータに対して重畳することができる。 図１１に示した例では、第１世代のヒストリ情報、第２世代のヒストリ情報、並びに、第３世代のヒストリ情報が重畳されている。

【００７２】図１２は、図３を用いて説明した符号化装置３９（もしくは、図４を用いて説明した符号化装置６
６）に設けられているエンコーダ１０１の具体的な構成を示している図である。 このエンコーダ１０１は、コントローラ１２５、動きベクトル検出回路１１１、フレームメモリ１１２、フレーム／フィールド予測モード切り替え回路１１３、演算器１１４、ＤＣＴモード切り替え回路１１５、ＤＣＴ回路１１６、量子化回路１１７、可変長符号化回路１１８、送信バッファ１１９、逆量子化回路１２０、逆ＤＣＴ（IDCT）回路１２１、演算器１２
２、フレームメモリ１２３、および動き補償回路１２４
を備えている。

【００７３】このエンコーダ１０１は、上述した各回路の動作および機能を制御するためのコントローラ１２５
を有している。 このコントローラ１２５は、オペレータまたはホストコンピュータからGOP構造に関するインストラクションを受け取って、そのGOP構造に対応するように各ピクチャのピクチャタイプを決定する。 また、このコントローラ１２５は、オペレータまたはホストコンピュータからタ−ゲットビットレートの情報を受け取り、このエンコーダ１０１から出力されるビットレートが、オペレータまたはホストコンピュータから指定されたターゲットビットレートになるように、量子化回路１
１７を制御する。

【００７４】更に、このコントローラ１２５は、ヒストリ情報分離装置３７から出力された複数世代のヒストリ情報を受け取り、これらのヒストリ情報を再利用して参照ピクチャの符号化処理を行う。 以下に詳しく説明する。

【００７５】まず、このコントローラ１２５は、オペレータによって指定されたGOP構造から決定された参照ピクチャのピクチャタイプと、ヒストリ情報に含まれるピクチャタイプが一致するか否かを判断する。 つまり、指定されたピクチャタイプと同じピクチャタイプでこの参照ピクチャが過去において符号化されたことがあるか否かを判断する。 すなわち、このコントローラ１２５は、
第４世代の符号化処理としてこの参照ピクチャにアサインされたピクチャタイプが、第１世代の符号化処理おけるこの参照ピクチャのピクチャタイプ、第２世代の符号化処理おけるこの参照ピクチャのピクチャタイプ、または第３世代の符号化処理おけるこの参照ピクチャのピクチャタイプのいずれかと一致するか否かを判断する。

【００７６】もし、第４世代の符号化処理としてこの参照ピクチャに指定されたピクチャタイプが、過去の符号化処理におけるどのピクチャタイプとも一致しないのであれは、このコントローラ１２５は、「通常符号化処理」を行う。 つまり、この場合には、第１世代、第２世代または第３世代のどの世代の符号化処理においても、
第４世代の符号化処理としてアサインされたピクチャタイプで、この参照ピクチャが符号化処理されたことがないということになる。 一方、もし、第４世代の符号化処理としてこの参照ピクチャに指定されたピクチャタイプが、過去の符号化処理におけるいずれかのピクチャタイプと一致するのであれば、このコントローラ１２５は、
「パラメータ再利用符号化処理」を行う。 つまり、この場合には、第１世代、第２世代または第３世代のいずれかの世代の符号化処理において、第４世代の符号化処理としてアサインされたピクチャタイプで、この参照ピクチャが符号化処理されたことがあるということになる。

【００７７】まず、最初にコントローラ１２５の通常符号化処理について説明する。

【００７８】符号化される画像データは、マクロブロック単位で動きベクトル検出回路１１１に入力される。 動きベクトル検出回路１１１は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Ｉ
ピクチャ、Ｐピクチャ、またはＢピクチャとして処理する。 シーケンシャルに入力される各フレームの画像を、
Ｉ，Ｐ、またはＢのいずれのピクチャとして処理するかは、予め定められている。

【００７９】Ｉピクチャとして処理されるフレームの画像データは、動きベクトル検出回路１１１からフレームメモリ１１２の前方原画像部１１２ａに転送、記憶され、Ｂピクチャとして処理されるフレームの画像データは、原画像部１１２ｂに転送、記憶され、Ｐピクチャとして処理されるフレームの画像データは、後方原画像部１１２ｃに転送、記憶される。

【００８０】また、次のタイミングにおいて、更にＢピクチャまたはＰピクチャとして処理すべきフレームの画像が入力されたとき、それまで後方原画像部１１２ｃに記憶されていた最初のＰピクチャの画像データが、前方原画像部１１２ａに転送され、次のＢピクチャの画像データが、参照原画像部１１２ｂに記憶（上書き）され、
次のＰピクチャの画像データが、後方原画像部１１２ｃ
に記憶（上書き）される。 このような動作が順次繰り返される。

【００８１】フレームメモリ１１２に記憶された各ピクチャの信号は、そこから読み出され、予測モード切り替え回路１１３において、フレーム予測モード処理、またはフィールド予測モード処理が行なわれる。

【００８２】動きベクトル検出回路１１１は、フレーム予測モードまたはフィールド予測モードのどちらが選択されるべきかを判断するために、フレーム予測モードにおける予測誤差とフィールド予測モードおける予測誤差をそれぞれ検出し、その予測誤差の値をコントローラ１
２５に供給する。

【００８３】すなわち、動きベクトル検出回路１１１
は、画像内予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａijの総和ΣＡijの絶対値｜Σ
Ａij｜と、マクロブロックの信号Ａijの絶対値｜Ａij｜
の総和Σ｜Ａij｜の差を求める。 また、前方予測の予測誤差の絶対値和として、参照画像のマクロブロックの信号Ａijと、予測画像のマクロブロックの信号Ｂijの差Ａ
ij−Ｂijの絶対値｜Ａij−Ｂij｜の総和Σ｜Ａij−Ｂij
｜を求める。 また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）求める。

【００８４】これらの絶対値和は、コントローラ１２５
に供給される。 更に、コントローラ１２５は、この予測の予測誤差の絶対値和と、画像内予測の予測誤差の絶対値和とを比較し、その小さい方を選択し、この選択した絶対値和に対応するモードを予測モードとして選択する。 すなわち、画像内予測の予測誤差の絶対値和の方が小さければ、画像内予測モードが設定される。 予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測または両方向予測モードのうちの対応する絶対値和が最も小さかったモードが設定される。

【００８５】予測モード切り替え回路１１３は、コントローラ１２５によって選択された予測モードに対応するように信号処理を行い、それを演算器１１４に供給する。 具体的には、予測モード切り替え回路１１３は、フレーム予測モードが選択された場合には、輝度信号に関しては、入力された状態のまま演算器１１４に出力するように信号処理を行い、色差信号に関しては、奇数フィールドラインと偶数フィールドラインとが混在するように信号処理する。 一方、フィールド予測モードが選択された場合には、４個の輝度ブロックのうち、２つの輝度ブロックを、例えば奇数フィールドのラインのドットだけで構成させ、他の２個の輝度ブロックを、偶数フィールドのラインのドットだけで構成させて、演算器１１４
に出力する。 色差信号に関しては、上４ラインを奇数フィールドラインで構成し、下４ラインを偶数フィールドラインで構成するように信号処理する。

【００８６】更に、動きベクトル検出回路１１１は、画像内予測モード、前方予測モード、後方予測モード、または両方向予測モードのうちのいずれの予測モードを選択するかを決定するために、各予測モードにおける予測誤差を生成し、各予測モードにおける予測誤差をコントローラ１２５にそれぞれ供給する。 コントローラ１２５
は、前方予測、後方予測および両方向予測の予測誤差のうちの最も小さいものを、インタ予測の予測誤差として選択する。 更に、このインタ予測の予測誤差と、画像内予測の予測誤差とを比較し、その小さい方を選択し、この選択した予測誤差に対応するモードを予測モードとして選択する。 すなわち、画像内予測の予測誤差の方が小さければ、画像内予測モードが設定される。 予測の予測誤差の方が小さければ、前方予測、後方予測または両方向予測モードのうちの対応する予測誤差が最も小さかったモードが設定される。 コントローラ１２５は、選択した予測モードに対応するように、演算器１１４および動き補償回路１２４を制御する。 これにより、Ｉピクチャの画像データが、ＤＣＴモード切替回路に入力される。

【００８７】ＤＣＴモード切り替え回路１１５は、フレームＤＣＴモードまたはフィールドＤＣＴモードのいずれかを選択するために、４個の輝度ブロックのデータを、奇数フィールドラインと偶数フィールドラインが混在するような信号形態（フレームＤＣＴモード）に変換するとともに、奇数フィールドラインと偶数フィールドラインが分離された信号形態（フィールドＤＣＴモード）に変換して、それぞれの信号をＤＣＴ回路１１６に供給する。 ＤＣＴ回路１１６は、奇数フィールドと偶数フィールドを混在してＤＣＴ処理した場合における符号化効率と、奇数フィールドと偶数フィールドを分離した状態においてＤＣＴ処理した場合の符号化効率を計算し、その結果をコントローラ１２５に供給する。 コントローラ１２５は、ＤＣＴ回路１１６から供給されたそれぞれの符号化効率を比較し、符号化効率の良い方のＤＣ
Ｔモードを選択し、その選択したＤＣＴモードとなるようにＤＣＴモード切り替え回路１１５を制御する。

【００８８】そして、ＤＣＴモード切り替え回路１１５
は、選択したＤＣＴモードに対応する構成のデータをＤ
ＣＴ回路１１６に出力するとともに、選択したＤＣＴモードを示すＤＣＴフラグを、可変長符号化回路１１８、
および動き補償回路１２４に出力する。

【００８９】予測モード切り替え回路１１３における予測モード（すなわち、フィールド予測モードもしくはフレーム予測モード）と、このＤＣＴモード切り替え回路１１５におけるＤＣＴモード（すなわち、フィールドＤ
ＣＴモードもしくはフレームＤＣＴモード）を比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。

【００９０】予測モード切り替え回路１１３において、
フレーム予測モード（奇数ラインと偶数ラインが混在するモード）が選択された場合、ＤＣＴモード切り替え回路１１５においても、フレームＤＣＴモード（奇数ラインと偶数ラインが混在するモード）が選択される可能性が高く、また予測モード切り替え回路１１３において、
フィールド予測モード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択された場合、DC
Tモード切り替え回路１１５において、フィールドＤＣ
Ｔモード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択される可能性が高い。

【００９１】しかしながら、必ずしも常にこのようにモードが選択されるわけではなく、予測モード切り替え回路１１３においては、予測誤差の絶対値和が小さくなるようにモードが決定され、ＤＣＴモード切り替え回路１
１５においては、符号化効率が良好となるようにモードが決定される。

【００９２】ＤＣＴモード切り替え回路１１５より出力されたＩピクチャの画像データは、ＤＣＴ回路１１６に入力されてＤＣＴ処理され、ＤＣＴ係数に変換される。
このＤＣＴ係数は、量子化回路１１７に入力され、送信バッファ１１９のデータ蓄積量（バッファ蓄積量）に対応した量子化スケールで量子化された後、可変長符号化回路１１８に入力される。

【００９３】すなわち、コントローラ１２５は、オペレータまたはホストコンピュータから供給された目標ビットレートを示すターゲットビットレートと、送信バッファ１１９にバッファリングされているビット量を示す信号、つまり、バッファ残量を示す信号を受け取り、このターゲットビットレートとバッファ残量に基づいて、量子化回路１１７の量子化ステップサイズをコントロールするためのfeedback_q_scale_code を生成する。 このfe
edback_q_scale_codeは、この送信バッファ１１９がオーバーフローまたはアンダーフローしないように、この送信バッファ１１９のバッファ残量に応じて生成される制御信号であって、また、送信バッファ１１９から出力されるビットストリームのビットレートが、ターゲットビットレートになるように制御する信号でもある。

【００９４】具体的には、例えば、送信バッファ１１９
にバッファリングされているビット量が少なくなってしまった場合には、次に符号化するピクチャの発生ビット量が増えるように、量子化ステップサイズを小さくし、
一方、送信バッファ１１９にバッファリングされているビット量が多くなってしまった場合には、次に符号化するピクチャの発生ビット量が少なくなるように、量子化ステップサイズを大きくする。 なお、feedback_q_scale
_codeと量子化ステップサイズは比例し、feedback_q_sc
ale_codeを大きくすると、量子化ステップサイズは大きくなり、feedback_q_scale_codeを小さくすると、量子化ステップサイズは小さくなる。

【００９５】次に、このエンコーダ１０１の特徴の１つでもある、パラメータ再利用符号化処理について、上述した通常符号化処理と異なる点を中心に説明する。 この処理をより分かりやすく説明するために、参照ピクチャは、第１世代の符号化処理においてＰピクチャとして符号化され、第２世代の符号化処理においてＩピクチャとして符号化処理され、第３世代の符号化処理においてＢ
ピクチャとして符号化されていたものとし、今回の第４
世代の符号化処理において、この参照ピクチャをＰピクチャとして符号化しなければいけないものとする。

【００９６】この場合には、この参照ピクチャは、第４
世代のピクチャタイプとしてアサインされたピクチャタイプと同じピクチャタイプ（Ｐピクチャ）で、第１世代の符号化処理において符号化されているので、コントローラ１２５は、供給されたビデオデータから符号化パラメータを新しく作成するのではなく、第１世代の符号化パラメータを使用して符号化処理を行う。 この第４の符号化処理において再利用する符号化パラメータは、代表的なパラメータとしては、量子化スケールステップサイズを示すquantiser_scale_code、予測方向モードを示す
macroblock_type、動きベクトルを示すmotion_vector、
フレーム予測モードかフィールド予測モードかを示すfr
ame/field_motion_type、およびFrameＤＣＴモードかFi
eld ＤＣＴモードかを示すdct_type等である。

【００９７】すなわち、コントローラ１２５は、ヒストリ情報として伝送されたすべての符号化パラメータを再利用するわけではなく、再利用した方が望ましいと想定される上述したような符号化パラメータについては再利用し、再利用しない方が望ましいと考えられる符号化パラメータについては、再利用せずに、新しく生成する。

【００９８】動きベクトル検出回路１１１は、上述した通常符号化処理においては、参照ピクチャの動きベクトルの検出を行ったが、このパラメータ再利用符号化処理においては、動きベクトルmotion_vectorの検出処理は行わずに、第１世代のヒストリ情報として供給された動きベクトルmotion_vectorを再利用する。 その理由について説明する。

【００９９】第３世代の符号化ストリームを復号したベースバンドのビデオデータは、少なくとも３回の復号および符号化処理が行われているので、オリジナルビデオデータに比べると、明らかに画質が劣化している。 画質が劣化しているビデオデータから動きベクトルを検出したとしても、正確な動きベクトルは検出できない。 つまり、第４世代の符号化処理において検出された動きベクトルよりも、第１世代のヒストリ情報として供給されている動きベクトルの方が、明らかに、精度の高い動きベクトルである。 つまり、第１世代の符号化パラメータとして伝送された動きベクトルを再利用することによって、第４世代の符号化処理を行ったとしても画質が劣化しない。 コントローラ１２５は、この第１世代のヒストリ情報として供給された動きベクトルmotion_vector
を、第４世代の符号化処理において符号化されるこの参照ピクチャの動きベクトル情報として、動き補償回路１
２４および可変長符号化回路１１８に供給する。

【０１００】更に、動きベクトル検出回路１１１は、フレーム予測モードとフィールド予測モードのどちらが選択されるかを判断するために、フレーム予測モードにおける予測誤差とフィールド予測モードおける予測誤差をそれぞれ検出したが、このパラメータ再利用符号化処理においては、このフレーム予測モードにおける予測誤差とフィールド予測モードおける予測誤差を検出する処理は行わずに、第１世代のヒストリ情報として供給されているフレーム予測モードかフィールド予測モードかを示すframe/field_motion_typeを再利用する。 なぜなら、
第４世代の符号化処理において検出された各予測モードにおける予測誤差よりも、第１世代において検出された各予測モードにおける予測誤差の方が精度が高いので、
精度の高い予測誤差によって決定された予測モードを選択した方がより最適な符号化処理が行うことができるからである。

【０１０１】具体的には、コントローラ１２５は、この第１世代のヒストリ情報として供給されているframe/fi
eld_motion_typeに対応する制御信号を予測モード切り替え回路１１３に供給し、予測モード切り替え回路１１
３は、この再利用されたframe/field_motion_typeに対応した信号処理を行う。

【０１０２】更に、動きベクトル検出回路１１１は、通常符号化処理においては、画像内予測モード、前方予測モード、後方予測モード、または両方向予測モードのうちのいずれの予測モード（以下、この予測モードを、予測方向モードとも称する）を選択するかを決定するために、各予測方向モードにおける予測誤差を計算していたが、このパラメータ再利用符号化処理においては、各予測方向モードにおける予測誤差の計算は行わず、第１世代のヒストリ情報として供給されたmacroblock_typeに基づいて予測方向モードを決定する。 なぜなら、第４世代の符号化処理における各予測方向モードにおける予測誤差よりも、第１世代の符号化処理における各予測方向モードにおける予測誤差の方がより精度が高いので、より精度の高い予測誤差によって決定された予測方向モードを選択した方が、より効率の良い符号化処理が行えるからである。 具体的には、コントローラ１２５は、第１
世代のヒストリ情報に含まれているmacroblock_typeによって示される予測方向モードを選択し、その選択した予測方向モードに対応するように、演算器１１４および動き補償回路１２４をコントロールする。

【０１０３】ＤＣＴモード切り替え回路１１５は、通常符号化処理においては、フレームＤＣＴモードの符号化効率と、フィールドＤＣＴモードの符号化効率を比較するために、フレームＤＣＴモードの信号形態に変換した信号と、フィールドＤＣＴモードの信号形態に変換した信号の両方をＤＣＴ回路１１６に供給していたが、このパラメータ再利用符号化処理では、フレームＤＣＴモードの信号形態に変換した信号と、フィールドＤＣＴモードの信号形態に変換した信号の両方を生成する処理は行っておらず、第１世代のヒストリ情報に含まれれている
dct_typeによって示されたＤＣＴモードに対応する処理のみを行っている。 具体的には、コントローラ１２５
は、第１世代のヒストリ情報に含まれているdct_typeを再利用し、ＤＣＴモード切り替え回路１１５がこのdct_
typeによって示されるＤＣＴモードに対応した信号処理を行うように、ＤＣＴモード切り替え回路１１５をコントロールする。

【０１０４】コントローラ１２５は、通常符号化処理では、オペレータによって指定されたターゲットビットレートと送信バッファ残量に基づいて、量子化回路１１７
の量子化ステップサイズをコントロールしていたが、このパラメータ再利用符号化処理では、ターゲットビットレート、送信バッファ残量およびヒストリ情報に含まれている過去の量子化スケールに基づいて、量子化回路１
１７の量子化ステップサイズをコントロールする。 なお、以下の説明において、ヒストリ情報に含まれている過去の量子化スケールをhistory_q_scale_code と記述することにする。 また、後述するヒストリストリームにおいては、この量子化スケールを、quantiser_scale_co
deと記述している。

【０１０５】まず、コントローラ１２５は、通常符号化処理と同じように、現在の量子化スケールfeedback_q_s
cale_code を生成する。 このfeedback_q_scale_code
は、この送信バッファ１１９がオーバーフローおよびアンダーフローしないように、この送信バッファ１１９のバッファ残量に応じて決定される値である。 続いて、第１世代のヒストリストリームに含まれている過去の量子化スケールhistory_q_scale_codeの値と、この現在の量子化スケールfeedback_q_scale_codeの値を比較し、どちらの量子化スケールの方が大きいかを判断する。 量子化スケールが大きいとは、量子化ステップが大きいことを意味する。 もし、現在の量子化スケールfeedback_q_s
cale_codeが、過去の量子化スケールhistory_q_scale_c
odeよりも大きいのであれば、コントローラ１２５は、
この現在の量子化スケールfeedback_q_scale_codeを量子化回路１１７に供給する。 一方、過去の量子化スケールhistory_q_scale_codeが、現在の量子化スケールfeed
back_q_scale_codeよりも大きいのであれば、コントローラ１２５は、この過去の量子化スケールhistory_q_sc
ale_codeを量子化回路１１７に供給する。

【０１０６】つまり、コントローラ１２５は、ヒストリ情報に含まれている複数の過去の量子化スケールと、送信バッファ１１９の残量から計算された現在の量子化スケールの中で、最も大きい量子化スケールコードを選択する。 また、別の言葉で説明するのであれば、コントローラ１２５は、過去（第１、第２および第３世代）の符号化処理における量子化ステップまたは現在（第４世代）の符号化処理において使用された量子化ステップの中で、最も大きい量子化ステップを使用して量子化を行うように量子化回路１１７を制御する。 この理由を以下に説明する。

【０１０７】例えば、第３世代の符号化処理において生成されたストリームのビットレートが４[Mbps]であって、この第４世代の符号化処理を行うエンコーダ１０１
に対して設定されたターゲットビットレートが１５[Mbp
s]であったとする。 このときに、ターゲットビットレートが上がっているので、単純に量子化ステップを小さくすれば良いかというと、実際にはそうではない。 過去の符号化処理において大きい量子化ステップで符号化処理されたピクチャを、現在の符号化処理において、量子化ステップを小さくして符号化処理を行ったとしても、このピクチャの画質は向上することはない。 つまり、過去の符号化処理における量子化ステップよりも小さい量子化ステップで符号化することは、単にビット量が増えるだけであって、画質を向上させることにはならない。 よって、過去（第１、第２および第３世代）の符号化処理における量子化ステップまたは現在（第４世代）の符号化処理において使用された量子化ステップの中で、最も大きい量子化ステップを使用して量子化を行うと、最も効率の良い符号化処理が行える。

【０１０８】以上のようにして、通常符号化処理、もしくはパラメータ再利用符号化処理されたデータを入力された可変長符号化回路１１８は、量子化回路１１７より供給される量子化スケールに対応して、量子化回路１１
７より供給される画像データ（いまの場合、Ｉピクチャのデータ）を、例えばハフマン符号などの可変長符号に変換し、送信バッファ１１９に出力する。

【０１０９】また、可変長符号化回路１１８には、量子化回路１１７より量子化スケール、コントローラ１２５
より予測モード（画像内予測、前方予測、後方予測、または両方向予測のいずれが設定されたかを示すモード）、動きベクトル検出回路１１１より動きベクトル、
予測モード切り替え回路１１３より予測フラグ（フレーム予測モードまたはフィールド予測モードのいずれが設定されたかを示すフラグ）、およびＤＣＴモード切り替え回路１１５が出力するＤＣＴフラグ（フレームDCTモードまたはフィールドDCTモードのいずれが設定されたかを示すフラグ）が入力されており、これらも可変長符号化される。

【０１１０】送信バッファ１１９は、入力されたデータを一時蓄積し、バッファフィードバックをコントローラ１２５に出力する。 コントローラ１２５は、蓄積量に対応するデータを、量子化回路１１７に出力する。 送信バッファ１１９のデータ残量が許容上限値まで増量すると、コントローラ１２５からの量子化制御信号によって量子化回路１１７の量子化スケールが大きくなり、量子化データのデータ量が低下される。 また、これとは逆に、送信バッファ１１９のデータ残量が許容下限値まで減少すると、量子化制御信号によって量子化回路１１７
の量子化スケールを小さくさせることより、量子化データのデータ量を増大させる。 このようにして、送信バッファ１１９のオーバーフローまたはアンダーフローが防止される。

【０１１１】そして、送信バッファ１１９に蓄積されたデータは、所定のタイミングで読み出され、出力される。

【０１１２】一方、量子化回路１１７より出力されたＩ
ピクチャのデータは、逆量子化回路１２０に入力され、
量子化回路１１７より供給される量子化スケールに対応して逆量子化される。 逆量子化回路１２０の出力は、ID
CT（逆離散コサイン変換）回路１２１に入力され、逆離散コサイン変換処理された後、演算器１２２を介してフレームメモリ１２３の前方予測画像部１２３ａ供給されて記憶される。

【０１１３】動きベクトル検出回路１１１は、シーケンシャルに入力される各フレームの画像データを、例えば、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチャとして処理した後、次に入力されたフレームの画像をＢピクチャとして処理する前に、更にその次に入力されたフレームの画像データをＰピクチャとして処理する。 Ｂピクチャは、後方予測を伴うため、
後方予測画像としてのＰピクチャが先に用意されていないと、復号することができないからである。

【０１１４】そこで動きベクトル検出回路１１１は、Ｉ
ピクチャの処理の次に、後方原画像部１１２ｃに記憶されているＰピクチャの画像データの処理を開始する。 そして、上述した場合と同様に、マクロブロック単位でのフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路１１１から予測モード切り替え回路１１３とコントローラ１２５に供給される。 予測モード切り替え回路１１３とコントローラ１２５は、このＰピクチャのマクロブロックの予測誤差の絶対値和に対応して、フレーム／フィールド予測モード、または画像内予測、前方予測、後方予測、もしくは両方向予測の予測モードを設定する。

【０１１５】演算器１１４は、画像内予測モードが設定されたとき、スイッチ１１４ｄを上述したように接点ａ
側に切り替える。 従って、このデータは、Ｉピクチャのデータと同様に、ＤＣＴモード切り替え回路１１５、Ｄ
ＣＴ回路１１６、量子化回路１１７、可変長符号化回路１１８、および送信バッファ１１９を介して伝送路に伝送される。 また、このデータは、逆量子化回路１２０、
IDCT回路１２１、および演算器１２２を介してフレームメモリ１２３の後方予測画像部１２３ｂに供給されて記憶される。

【０１１６】また、前方予測モードが設定された場合、
スイッチ１１４ｄが接点ｂに切り替えられるとともに、
フレームメモリ１２３の前方予測画像部１２３ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データが読み出され、動き補償回路１２４により、動きベクトル検出回路１１１が出力する動きベクトルに対応して動き補償される。 すなわち、動き補償回路１２４は、コントローラ１２５より前方予測モードの設定が指令されたとき、前方予測画像部１２３ａの読み出しアドレスを、動きベクトル検出回路１１１が、現在、出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。

【０１１７】動き補償回路１２４より出力された予測画像データは、演算器１１４ａに供給される。 演算器１１
４ａは、予測モード切り替え回路１１３より供給された参照画像のマクロブロックのデータから、動き補償回路１２４より供給された、このマクロブロックに対応する予測画像データを減算し、その差分（予測誤差）を出力する。 この差分データは、ＤＣＴモード切り替え回路１
１５、ＤＣＴ回路１１６、量子化回路１１７、可変長符号化回路１１８、および送信バッファ１１９を介して伝送路に伝送される。 また、この差分データは、逆量子化回路１２０、およびIDCT回路１２１により局所的に復号され、演算器１２２に入力される。

【０１１８】この演算器１２２にはまた、演算器１１４
ａに供給されている予測画像データと同一のデータが供給されている。 演算器１２２は、IDCT回路１２１が出力する差分データに、動き補償回路１２４が出力する予測画像データを加算する。 これにより、元の（復号した）
Ｐピクチャの画像データが得られる。 このＰピクチャの画像データは、フレームメモリ１２３の後方予測画像部１２３ｂに供給されて記憶される。

【０１１９】動きベクトル検出回路１１１は、このように、ＩピクチャとＰピクチャのデータが前方予測画像部１２３ａと後方予測画像部１２３ｂにそれぞれ記憶された後、次にＢピクチャの処理を実行する。 予測モード切り替え回路１１３とコントローラ１２５は、マクロブロック単位でのフレーム間差分の絶対値和の大きさに対応して、フレーム／フィールドモードを設定し、また、予測モードを画像内予測モード、前方予測モード、後方予測モード、または両方向予測モードのいずれかに設定する。

【０１２０】上述したように、画像内予測モードまたは前方予測モードの時、スイッチ１１４ｄは接点ａまたはｂに切り替えられる。 このとき、Ｐピクチャにおける場合と同様の処理が行われ、データが伝送される。

【０１２１】これに対して、後方予測モードまたは両方向予測モードが設定された時、スイッチ１１４ｄは、接点ｃまたはｄにそれぞれ切り替えられる。

【０１２２】スイッチ１１４ｄが接点ｃに切り替えられている後方予測モードの時、後方予測画像部１２３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）
データが読み出され、動き補償回路１２４により、動きベクトル検出回路１１１が出力する動きベクトルに対応して動き補償される。 すなわち、動き補償回路１２４
は、コントローラ１２５より後方予測モードの設定が指令されたとき、後方予測画像部１２３ｂの読み出しアドレスを、動きベクトル検出回路１１１が、現在、出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。

【０１２３】動き補償回路１２４より出力された予測画像データは、演算器１１４ｂに供給される。 演算器１１
４ｂは、予測モード切り替え回路１１３より供給された参照画像のマクロブロックのデータから、動き補償回路１２４より供給された予測画像データを減算し、その差分を出力する。 この差分データは、ＤＣＴモード切り替え回路１１５、ＤＣＴ回路１１６、量子化回路１１７、
可変長符号化回路１１８、および送信バッファ１１９を介して伝送路に伝送される。

【０１２４】スイッチ１１４ｄが接点ｄに切り替えられている両方向予測モードの時、前方予測画像部１２３ａ
に記憶されている画像（いまの場合、Ｉピクチャの画像）データと、後方予測画像部１２３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路１２４により、動きベクトル検出回路１１１が出力する動きベクトルに対応して動き補償される。

【０１２５】すなわち、動き補償回路１２４は、コントローラ１２５より両方向予測モードの設定が指令されたとき、前方予測画像部１２３ａと後方予測画像部１２３
ｂの読み出しアドレスを、動きベクトル検出回路１１１
がいま出力しているマクロブロックの位置に対応する位置から動きベクトル（この場合の動きベクトルは、前方予測画像用と後方予測画像用の２つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。

【０１２６】動き補償回路１２４より出力された予測画像データは、演算器１１４ｃに供給される。 演算器１１
４ｃは、動きベクトル検出回路１１１より供給された参照画像のマクロブロックのデータから、動き補償回路１
２４より供給された予測画像データの平均値を減算し、
その差分を出力する。 この差分データは、ＤＣＴモード切り替え回路１１５、ＤＣＴ回路１１６、量子化回路１
１７、可変長符号化回路１１８、および送信バッファ１
１９を介して伝送路に伝送される。

【０１２７】Ｂピクチャの画像は、他の画像の予測画像とされることがないため、フレームメモリ１２３には記憶されない。

【０１２８】なお、フレームメモリ１２３において、前方予測画像部１２３ａと後方予測画像部１２３ｂは、必要に応じてバンク切り替えが行われ、所定の参照画像に対して、一方または他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り替えて出力することができる。

【０１２９】上述した説明においては、輝度ブロックを中心として説明をしたが、色差ブロックについても同様に、図６に示すマクロブロックを単位として処理されて伝送される。 なお、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。

【０１３０】図１３は、例えば映像編集スタジオにおいて、複数のトランスコーディングシステムが直列に接続されて使用される状態を示している。 各ビデオデコーディングシステム５１−ｉ（i＝１乃至Ｎ）のヒストリ情報多重化装置６３−ｉは、上述した符号化パラメータ用の領域の最も古い符号化パラメータが記録されている区画に、自己が用いた最新の符号化パラメータを上書きする。 このことにより、図１１を用いて説明したように、
ベースバンドの画像データには、同一のマクロブロックに対応する直近の４世代分の符号化パラメータ（世代履歴情報）が記録されることになる。

【０１３１】図１３においては、図４を用いて説明したトランスコーディングシステムのビデオデコーディングシステム５１およびビデオエンコーディングシステム５
２を用いて説明しているが、ビデオデコーディングシステム５１およびビデオエンコーディングシステム５２に変わって、図２および図３を用いて説明したビデオデコーディングシステム１およびビデオエンコーディングシステム２を用いてもよいことは言うまでもない。

【０１３２】なお、本実施の形態におけるトランスコーディングシステムの内部においては、上述したように、
復号（ビデオデコーディングシステム１もしくはビデオデコーディングシステム５１）側と符号側（ビデオエンコーディングシステム２もしくはビデオエンコーディングシステム５２）が粗結合されており、符号化パラメータを画像データに多重化させて伝送させたが、図１４に示すように、復号装置と符号化装置を直接接続する（密結合する）ようにしてもよい。

【０１３３】すなわち、復号装置６１の可変長復号回路９２は、第３世代の符号化ストリームのシーケンス層、
GOP層、ピクチャ層、スライス層およびマクロブロック層から、第３世代の符号化パラメータを抽出し、それを、ヒストリエンコーディング装置６５に供給するとともに、ピクチャ層以上の符号化パラメータをV Blanking
領域に挿入し、スライス層以下の符号化パラメータをH
Blanking領域に挿入したベースバンドビデオ信号を、符号化装置６６のコントローラ１２５に供給する。 ヒストリエンコーディング装置６５は、受け取った第３世代の符号化パラメータをピクチャ層のユーザデータエリアに記述できるようにconverted_history_stream（）に変換し、converted_history_stream（）をユーザデータとして、符号化装置６６の可変長符号化回路１１８に供給する。

【０１３４】更に可変長復号回路９２は、第３世代の符号化ストリームのピクチャ層のユーザデータエリアから、第１世代の符号化パラメータおよび第２世代の符号化パラメータを含んでいるユーザデータuser_data を抽出し、ヒストリデコーディング装置６２に供給する。 ヒストリデコーディング装置６２は、ユーザデータエリアにconverted_history_stream（）として記述されたヒストリストリームから、第１世代の符号化パラメータおよび第２世代の符号化パラメータを抽出し、それを符号化装置６６のコントローラ１２５に供給する。

【０１３５】符号化装置６６のコントローラ１２５は、
ヒストリデコーディング装置６２から受け取った第１世代および第２世代の符号化パラメータと、復号装置６１
から受け取った、V Blanking領域およびH blanking領域に記述されている符号化パラメータとに基づいて、符号化装置６６の符号化処理をコントロールする。

【０１３６】符号化装置６６の可変長符号化回路１１８
は、復号装置６１から入力されたデータに含まれる符号化パラメータを受け取るとともに、ヒストリエンコーディング装置６５から第３世代の符号化パラメータを含んでいるユーザデータを受け取り、それらのユーザデータをヒストリ情報として、第４世代の符号化ストリームのピクチャ層のユーザデータエリアに記述し、出力する。

【０１３７】図１５は、MPEGのビデオストリームをデコードするためのシンタックスを表わした図である。 デコーダは、このシンタックスに従ってMPEGビットストリームをデコードすることによって、ビットストリームから意味のある複数のデータ項目（データエレメント）を抽出する。 以下に説明するシンタックスは、図において、
その関数や条件文は細活字で表わされ、そのデータエレメントは、太活字で表されている。 データ項目は、その名称、ビット長、およびそのタイプと伝送順序を示すニーモニック（Mnemonic）で記述されている。

【０１３８】まず、この図１５に示されているシンタックスにおいて使用されている関数について説明する。

【０１３９】next_start_code（）関数は、ビットストリーム中に記述されているスタートコードを探すための関数である。 この図１５に示されたシンタックスにおいて、このnext_start_code（）関数の次に、sequence_he
ader（）関数とsequence_extension（）関数とが順に配置されているので、このビットストリームには、このse
quence_header（）関数とsequence_extension（）関数によって定義されたデータエレメントが記述されている。 従って、ビットストリームのデコード時には、この
next_start_code（）関数によって、sequence_heade
r（）関数とsequence_extension（）関数の先頭に記述されているスタートコード（データエレメントの一種）
がビットストリーム中から見つけられ、それを基準にして、 sequence_header（）関数とsequence_extensio
n（）関数が、さらに見つけられ、それらによって定義された各データエレメントがデコードされる。

【０１４０】なお、sequence_header（）関数は、MPEG
ビットストリームのシーケンス層のヘッダデータを定義するための関数であって、sequence_extension（）関数は、MPEGビットストリームのシーケンス層の拡張データを定義するための関数である。

【０１４１】sequence_extension（）関数の次に配置されている do{ }while構文は、while文によって定義されている条件が真である間、do文の{ }内の関数に基いて記述されたデータエレメントをデータストリーム中から抽出するための構文である。 すなわち、 do{ }while構文によって、while文によって定義されている条件が真である間、ビットストリーム中から、do文内の関数に基いて記述されたデータエレメントを抽出するデコード処理が行われる。

【０１４２】このwhile文に使用されているnextbit
s（）関数は、ビットストリーム中に現れるビット又はビット列と、次にデコードされるデータエレメントとを比較するための関数である。 この図１５のシンタックスの例では、nextbits（）関数は、ビットストリーム中のビット列とビデオシーケンスの終わりを示すsequence_e
nd_codeとを比較し、ビットストリーム中のビット列とs
equence_end_codeとが一致しないときに、このwhile文の条件が真となる。 従って、sequence_extension（）関数の次に配置されている do{ }while構文は、ビットストリーム中に、ビデオシーケンスの終わりを示すsequen
ce_end_codeが現れない間、do文中の関数によって定義されたデータエレメントがビットストリーム中に記述されていることを示している。

【０１４３】ビットストリーム中には、sequence_exten
sion（）関数によって定義された各データエレメントの次に、extension_and_user_data（0）関数によって定義されたデータエレメントが記述されている。 このextens
ion_and_user_data（0）関数は、MPEGビットストリームのシーケンス層の拡張データとユーザデータを定義するための関数である。

【０１４４】このextension_and_user_data（0）関数の次に配置されている do{ }while構文は、while文によって定義されている条件が真である間、do文の{ }内の関数に基いて記述されたデータエレメントを、ビットストリーム中から抽出するための関数である。 このwhile文において使用されているnextbits（）関数は、ビットストリーム中に現れるビット又はビット列と、picture_st
art_code又はgroup_start_codeとの一致を判断するための関数であって、ビットストリーム中に現れるビット又はビット列と、picture_start_code又はgroup_start_co
deとが一致する場合には、while文によって定義された条件が真となる。 よって、このdo{ }while構文は、ビットストリーム中において、picture_start_code又はgrou
p_start_codeが現れた場合には、そのスタートコードの次に、do文中の関数によって定義されたデータエレメントのコードが記述されているので、このpicture_start_
code又はgroup_start_codeによって示されるスタートコードを探し出すことによって、ビットストリーム中から
do文中に定義されたデータエレメントを抽出することができる。

【０１４５】このdo文の最初に記述されているif文は、
ビットストリーム中にgroup_start_codeが現れた場合、
という条件を示している。 このif文による条件が真である場合には、ビットストリーム中に、このgroup_start_
codeの次にgroup_of_picture_header（1）関数およびex
tension_and_user_data（1）関数によって定義されているデータエレメントが順に記述されている。

【０１４６】このgroup_of_picture_header（1）関数は、MPEGビットストリームのGOP層のヘッダデータを定義するための関数であって、 extension_and_user_data
（1）関数は、MPEGビットストリームのGOP層の拡張データ（extension_data）およびユーザデータ（user_dat
a）を定義するための関数である。

【０１４７】更に、このビットストリーム中には、grou
p_of_picture_header（1）関数およびextension_and_us
er_data（1）関数によって定義されているデータエレメントの次に、picture_header（）関数とpicture_coding
_extension（）関数によって定義されたデータエレメントが記述されている。 もちろん、先に説明したif文の条件が真とならない場合には、 group_of_picture_header
（1）関数およびextension_and_user_data（1）関数によって定義されているデータエレメントは記述されていないので、 extension_and_user_data（0）関数によって定義されているデータエレメントの次に、 picture_h
eader（）関数とpicture_coding_extension（）関数によって定義されたデータエレメントが記述されている。

【０１４８】このpicture_header（）関数は、 MPEGビットストリームのピクチャ層のヘッダデータを定義するための関数であって、 picture_coding_extension（）
関数は、MPEGビットストリームのピクチャ層の第１の拡張データを定義するための関数である。

【０１４９】次のwhile文は、このwhile文によって定義されている条件が真である間、次のif文の条件判断を行うための関数である。 このwhile文において使用されているnextbits（）関数は、ビットストリーム中に現れるビット列と、extension_start_code又はuser_data_star
t_codeとの一致を判断するための関数であって、ビットストリーム中に現れるビット列と、 extension_start_c
ode又はuser_data_start_codeとが一致する場合には、
このwhile文によって定義された条件が真となる。

【０１５０】第１のif文は、ビットストリーム中に現れるビット列とextension_start_codeとの一致を判断するための関数である。 ビットストリーム中に現れるビット列と３２ビットのextension_ start_codeとが一致する場合には、ビットストリーム中において、extension_st
art_codeの次にextension_data（2）関数によって定義されるデータエレメントが記述されている。

【０１５１】第２のif文は、ビットストリーム中に現れるビット列とuser_data_start_codeとの一致を判断するための構文であって、ビットストリーム中に現れるビット列と３２ビットのuser_data_start_codeとが一致する場合には、第３のif文の条件判断が行われる。 このuser
_data_start_codeは、MPEGビットストリームのピクチャ層のユーザデータエリアの開始を示すためのスタートコードである。

【０１５２】第３のif文は、ビットストリーム中に現れるビット列とHistory_Data_IDとの一致を判断するための構文である。 ビットストリーム中に現れるビット列と、この３２ビットのHistory_Data_IDとが一致する場合には、このMPEGビットストリームのピクチャ層のユーザデータエリアにおいて、この３２ビットのHistory_Da
ta_IDによって示されるコードの次に、converted_histo
ry_stream（）関数によって定義されるデータエレメントが記述されている。

【０１５３】converted_history_stream（）関数は、MP
EG符号化時に使用したあらゆる符号化パラメータを伝送するための履歴情報および履歴データを記述するための関数である。 このconverted_history_stream（）関数によって定義されているデータエレメントの詳細は、図１
７乃至図２４を参照して、history_stream（）として後述する。 また、このHistory_Data_IDは、MPEGビットストリームのピクチャ層のユーザデータエリアに記述されたこの履歴情報および履歴データが記述されている先頭を示すためのスタートコードである。

【０１５４】else文は、第３のif文において、条件が非真であることを示すための構文である。 従って、このMP
EGビットストリームのピクチャ層のユーザデータエリアにおいて、converted_history_stream（）関数によって定義されたデータエレメントが記述されていない場合には、user_data（）関数によって定義されたデータエレメントが記述されている。

【０１５５】図１５において、履歴情報は、converted_
history_stream（）に記述され、user_data（）に記述される訳ではないが、このconverted_history_strea
m（）は、MPEG規格のuser_dataの一種として記述される。 そこで、本明細書中においては、場合によって、履歴情報がuser_dataに記述されるとも説明するが、それは、MPEG規格のuser_dataの一種として記述されるということを意味する。

【０１５６】picture_data（）関数は、MPEGビットストリームのピクチャ層のユーザデータの次に、スライス層およびマクロブロック層に関するデータエレメントを記述するための関数である。 通常は、このpicture_dat
a（）関数によって示されるデータエレメントは、ビットストリームのピクチャ層のユーザデータエリアに記述されたconverted_history_stream（）関数によって定義されるデータエレメント、またはuser_data（）関数によって定義されたデータエレメントの次に記述されているが、ピクチャ層のデータエレメントを示すビットストリーム中に、extension_start_code、またはuser_data_
start_code が存在しない場合には、このpicture_data
（）関数によって示されるデータエレメントは、 pictu
re_coding_extension（）関数によって定義されるデータエレメントの次に記述されている。

【０１５７】このpicture_data（）関数によって示されるデータエレメントの次には、sequence_header（）関数とsequence_extension（）関数とによって定義されたデータエレメントが順に配置されている。 このsequence
_header（）関数とsequence_extension（）関数によって記述されたデータエレメントは、ビデオストリームのシーケンスの先頭に記述されたsequence_header（）関数とsequence_extension（）関数によって記述されたデータエレメントと全く同じである。 このように同じデータをストリーム中に記述する理由は、ビットストリーム受信装置側でデータストリームの途中（例えばピクチャ層に対応するビットストリーム部分）から受信が開始された場合に、シーケンス層のデータを受信できなくなり、ストリームをデコード出来なくなることを防止するためである。

【０１５８】この最後のsequence_header（）関数とseq
uence_extension（）関数とによって定義されたデータエレメントの次、つまり、データストリームの最後には、シーケンスの終わりを示す３２ビットのsequence_e
nd_codeが記述されている。

【０１５９】以上のシンタックスの基本的な構成の概略を示すと、図１６に示すようになる。

【０１６０】次に、converted_history_stream（）関数によって定義されたヒストリストリームに関して説明する。

【０１６１】このconverted_history_stream（）は、MP
EGのピクチャ層のユーザデータエリアに履歴情報を示すヒストリストリームを挿入するための関数である。 なお、「converted」の意味は、スタートエミュレーションを防止するために、ユーザエリアに挿入すべき履歴データから構成される履歴ストリームの少なくとも２２ビット毎にマーカービット（１ビット）を挿入する変換処理を行ったストリームであることを意味している。

【０１６２】このconverted_history_stream（）は、以下に説明する固定長の履歴ストリーム（図１７乃至図２
３）又は可変長の履歴ストリーム（図２４）のいずれかの形式で記述される。 エンコーダ側において固定長の履歴ストリームを選択した場合には、デコーダ側において履歴ストリームから各データエレメントをデコードするための回路およびソフトウエアが簡単になるというメリットがある。 一方、エンコーダ側において可変長の履歴ストリームを選択した場合には、エンコーダにおいてピクチャ層のユーザエリアに記述される履歴情報（データエレメント）を必要に応じて任意に選択することができるので、履歴ストリームのデータ量を少なくすることができ、その結果、符号化されたビットストリーム全体のデータレートを低減することができる。

【０１６３】本発明において説明する「履歴ストリーム」、「ヒストリストリーム」、「履歴情報」、「ヒストリ情報」、「履歴データ」、「ヒストリデータ」、
「履歴パラメータ」、「ヒストリパラメータ」とは、過去の符号化処理において使用した符号化パラメータ（又はデータエレメント）を意味し、現在の（最終段の）符号化処理において使用した符号化パラメータを意味するものではない。 例えば、第１世代の符号化処理において、あるピクチャをＩピクチャで符号化して伝送し、次なる第２世代の符号化処理において、このピクチャを今度はＰピクチャとして符号化して伝送し、更に、第３世代の符号化処理において、このピクチャをＢピクチャで符号化して伝送する例をあげて説明する。

【０１６４】第３世代の符号化処理において使用した符号化パラメータは、第３世代の符号化処理において生成された符号化ビットストリームのシーケンス層、GOP
層、ピクチャ層、スライス層およびマクロブロック層の所定位置に記述されている。 一方、過去の符号化処理である第１世代および第２世代の符号化処理において使用した符号化パラメータは、第３世代の符号化処理において使用した符号化パラメータが記述されるシーケンス層やGOP層に記述されるのでは無く、既に説明したシンタックスに従って、符号化パラメータの履歴情報として、
ピクチャ層のユーザデータエリアに記述される。

【０１６５】まず、固定長の履歴ストリームシンタックスについて図１７乃至図２３を参照して説明する。

【０１６６】最終段（例えば第３世代）の符号化処理において生成されたビットストリームのピクチャ層のユーザデータエリアには、まず最初に、過去（例えば第１世代および第２世代）の符号化処理において使用されていたシーケンス層のシーケンスヘッダに含められる符号化パラメータが、履歴ストリームとして挿入される。 なお、過去の符号化処理において生成されたビットストリームのシーケンス層のシーケンスヘッダ等の履歴情報は、最終段の符号化処理において生成されたビットストリームのシーケンス層のシーケンスヘッダに挿入されることは無いという点に注意すべきである。

【０１６７】過去の符号化処理で使用したシーケンスヘッダ（sequence_header）に含められるデータエレメントは、sequence_header_code、sequence_header_presen
t_flag、horizontal_size_value、marker_bit、vertica
l_size_value、aspect_ratio_information、frame_rate
_code、bit_rate_value、VBV_buffer_size_value、cons
trained_parameter_flag、load_intra_quantiser_matri
x、load_non_intra_quantiser_matrix、intra_quantise
r_matrix、およびnon_intra_quantiser_matrix等から構成される。

【０１６８】sequence_header_codeは、シーケンス層のスタート同期コードを表すデータである。 sequence_hea
der_present_flagは、sequence_header内のデータが有効か無効かを示すデータである。 horizontal_size_val
ueは、画像の水平方向の画素数の下位12ビットから成るデータである。 marker_bitは、スタートコードエミュレーションを防止するために挿入されるビットデータである。 vertical_size_valueは、画像の縦のライン数の下位12ビットからなるデータである。 ａspect_ratio_info
rmationは、画素のアスペクト比（縦横比）または表示画面アスペクト比を表すデータである。 frame_rate_cod
eは、画像の表示周期を表すデータである。

【０１６９】bit_rate_valueは、発生ビット量に対する制限のためのビットレートの下位18ビット（400bsp単位で切り上げる）データである。 VBV_buffer_size_value
は、発生符号量制御用の仮想バッファ（ビデオバッファベリファイヤー）の大きさを決める値の下位10ビットデータである。 constrained_parameter_flagは、各パラメータが制限以内であることを示すデータである。 load_i
ntra_quantiser_matrixは、イントラＭＢ用量子化マトリックス・データの存在を示すデータである。 load_non
_intra_quantiser_matrixは、非イントラＭＢ用量子化マトリックス・データの存在を示すデータである。 intr
a_quantiser_matrixは、イントラＭＢ用量子化マトリックスの値を示すデータである。 non_intra_quantiser_ma
trixは、非イントラＭＢ用量子化マトリックスの値を表すデータである。

【０１７０】最終段の符号化処理において生成されたビットストリームのピクチャ層のユーザデータエリアには、過去の符号化処理において使用されたシーケンス層のシーケンスエクステンションを表わすデータエレメントが、履歴ストリームとして記述される。

【０１７１】この過去の符号化処理で使用したシーケンスエクステンション（sequence_extension）を表わすデータエレメントは、 extension_start_code、extension
_start_code_identifier、sequence_extension_present
_flag、profile_and_level_indication、progressive_s
equence、chroma_format、horizontal_size_extensio
n、vertical_size_extension、bit_rate_extension、vb
v_buffer_size_extension、low_delay、frame_rate_ext
ension_n 、および frame_rate_extension_d等のデータエレメントである。

【０１７２】extension_start_codeは、エクステンションデータのスタート同期コードを表すデータである。 ex
tension_start_code_identifierは、どの拡張データが送られるかを示すデータである。 sequence_extension_p
resent_flagは、シーケンスエクステンション内のデータが有効であるか無効であるかを示すデータである。 pr
ofile_and_level_indicationは、ビデオデータのプロファイルとレベルを指定するためのデータである。 progre
ssive_sequenceは、ビデオデータが順次走査であることを示すデータである。 chroma_formatは、ビデオデータの色差フォーマットを指定するためのデータである。

【０１７３】horizontal_size_extensionは、シーケンスヘッダのhorizntal_size_valueに加える上位２ビットのデータである。 vertical_size_extensionは、シーケンスヘッダのvertical_size_valueに加える上位２ビットのデータである。 bit_rate_extensionは、シーケンスヘッダのbit_rate_valueに加える上位１２ビットのデータである。 vbv_buffer_size_extensionは、シーケンスヘッダのvbv_buffer_size_valueに加える上位８ビットのデータである。 low_delayは、Ｂピクチャを含まないことを示すデータである。 frame_rate_extension_nは、
シーケンスヘッダのframe_rate_codeと組み合わせてフレームレートを得るためのデータである。 frame_rate_e
xtension_dは、シーケンスヘッダのframe_rate_codeと組み合わせてフレームレートを得るためのデータである。

【０１７４】続いて、ビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたシーケンス層のシーケンスディスプレイエクステンションを表わすデータエレメントが、履歴ストリームとして記述される。

【０１７５】このシーケンスディスプレイエクステンション（sequence_display_extension）として記述されているデータエレメントは、extension_start_code、exte
nsion_start_code_identifier、sequence_display_exte
nsion_present_flag、video_format、colour_descripti
on、colour_primaries、transfer_characteristics、ma
trix_coeffients、display_horizontal_size、およびdi
splay_vertical_sizeから構成される。

【０１７６】extension_start_codeは、エクステンションデータのスタート同期コードを表すデータである。 ex
tension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 sequence_display_ext
ension_present_flagは、シーケンスディスプレイエクステンション内のデータエレメントが有効か無効かを示すデータである。 video_formatは、原信号の映像フォーマットを表すデータである。 color_descriptionは、色空間の詳細データがあることを示すデータである。 colo
r_primariesは、原信号の色特性の詳細を示すデータである。 transfer_characteristicsは、光電変換がどのように行われたのかの詳細を示すデータである。 matrix_c
oeffientsは、原信号が光の三原色からどのように変換されたかの詳細を示すデータである。 display_horizont
al_sizeは、意図するディスプレイの活性領域（水平サイズ）を表すデータである。 display_vertical_size
は、意図するディスプレイの活性領域（垂直サイズ）を表すデータである。

【０１７７】続いて、最終段の符号化処理において生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において生成されたマクロブロックの位相情報を示すマクロブロックアサイメントデータ（macroblock_assignment_in_user_data）が、履歴ストリームとして記述される。

【０１７８】このマクロブロックの位相情報を示すmacr
oblock_assignment_in_user_dataは、macroblock_assig
nment_present_flag、v_phase、h_phase等のデータエレメントから構成される。

【０１７９】このmacroblock_assignment_present_flag
は、macroblock_assignment_in_user_data内のデータエレメントが有効か無効かを示すデータである。 v_phase
は、画像データからマクロブロックを切り出す際の垂直方向の位相情報を示すデータである。 h_phaseは、画像データからマクロブロックを切り出す際の水平方向の位相情報を示すデータである。

【０１８０】続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたGOP層のGOPヘッダを表わすデータエレメントが、履歴ストリームとして記述されている。

【０１８１】このGOPヘッダ（group_of_picture_heade
r）を表わすデータエレメントは、group_start_code、g
roup_of_picture_header_present_flag、time_code、cl
osed_gop、およびbroken_linkから構成される。

【０１８２】group_start_codeは、GOP層の開始同期コードを示すデータである。 group_of_picture_header_p
resent_flagは、 group_of_picture_header内のデータエレメントが有効であるか無効であるかを示すデータである。 time_codeは、GOPの先頭ピクチャのシーケンスの先頭からの時間を示すタイムコードである。 closed_g
opは、GOP内の画像が他のGOPから独立再生可能なことを示すフラグデータである。 broken_linkは、編集などのためにGOP内の先頭のＢピクチャが正確に再生できないことを示すフラグデータである。

【０１８３】続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたピクチャ層のピクチャヘッダを表わすデータエレメントが、履歴ストリームとして記述されている。

【０１８４】このピクチャヘッダ（picture_header）に関するデータエレメントは、picture_start_code、temp
oral_reference、picture_coding_type、vbv_delay、fu
ll_pel_forward_vector、forward_f_code、full_pel_ba
ckward_vector、および backward_f_codeから構成される。

【０１８５】具体的には、picture_start_codeは、ピクチャ層の開始同期コードを表すデータである。 temporal
_referenceは、ピクチャの表示順を示す番号でGOPの先頭でリセットされるデータである。 picture_coding_typ
eは、ピクチャタイプを示すデータである。 vbv_delay
は、ランダムアクセス時の仮想バッファの初期状態を示すデータである。 full_pel_forward_vectorは、順方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。 forward_f_codeは、順方向動きベクトル探索範囲を表すデータである。 full_pel_backward_vector
は、逆方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。 backward_f_codeは、逆方向動きベクトル探索範囲を表すデータである。

【０１８６】続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたピクチャ層のピクチャコーディングエクステンションが、履歴ストリームとして記述されている。

【０１８７】このピクチャコーディングエクステンション（picture_coding_extension）に関するデータエレメントは、extension_start_code、extension_start_code
_identifier、f_code[0][0]、f_code[0][1]、f_code[1]
[0]、f_code[1][1]、intra_dc_precision、picture_str
ucture、top_field_first、frame_predictive_frame_dc
t、concealment_motion_vectors、q_scale_type、intra
_vlc_format、alternate_scan、repeat_firt_field、ch
roma_420_type、progressive_frame、composite_displa
y_flag、v_axis、field_sequence、sub_carrier、burst
_amplitude、およびsub_carrier_phaseから構成される。

【０１８８】extension_start_codeは、ピクチャ層のエクステンションデータのスタートを示す開始コードである。 extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 f_code[0][0]
は、フォワード方向の水平動きベクトル探索範囲を表すデータである。 f_code[0][1]は、フォワード方向の垂直動きベクトル探索範囲を表すデータである。 f_code[1]
[0]は、バックワード方向の水平動きベクトル探索範囲を表すデータである。 f_code[1][1]は、バックワード方向の垂直動きベクトル探索範囲を表すデータである。

【０１８９】intra_dc_precisionは、DC係数の精度を表すデータである。 picture_structureは、フレームストラクチャかフィールドストラクチャかを示すデータである。 フィールドストラクチャの場合は、上位フィールドか下位フィールドかもあわせて示すデータである。 top_
field_firstは、フレームストラクチャの場合、最初のフィールドが上位か下位かを示すデータである。 frame_
predictive_frame_dctは、フレームストラクチャの場合、フレーム・モードＤＣＴの予測がフレーム・モードだけであることを示すデータである。 concealment_moti
on_vectorsは、イントラマクロブロックに伝送エラーを隠蔽するための動きベクトルがついていることを示すデータである。

【０１９０】q_scale_typeは、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータである。 intra_vlc_formatは、イントラマクロブロックに、別の２次元VLCを使うかどうかを示すデータである。 alternate_scanは、ジグザグスキャンを使うか、
オルタネート・スキャンを使うかの選択を表すデータである。 repeat_firt_fieldは、２：３プルダウンの際に使われるデータである。 chroma_420_typeは、信号フォーマットが４：２：０の場合、次のprogressive_frame
と同じ値、そうでない場合は０を表すデータである。 pr
ogressive_frameは、このピクチャが、順次走査できているかどうかを示すデータである。 composite_display_
flagは、ソース信号がコンポジット信号であったかどうかを示すデータである。 v_axis、field_sequence、sub_
carrier、burst_amplitude、およびsub_carrier_phase
は、ソース信号が、PALの場合に使われるデータである。

【０１９１】続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用された量子化マトリックスエクステンションが、履歴ストリームとして記述されている。

【０１９２】この量子化マトリックスエクステンション（quant_matrix_extension）に関するデータエレメントは、extension_start_code、extension_start_code_ide
ntifier、quant_matrix_extension_present_flag、load
_intra_quantiser_matrix、intra_quantiser_matrix[6
4]、load_non_intra_quantiser_matrix、non_intra_qua
ntiser_matrix[64]、load_chroma_intra_quantiser_mat
rix、chroma_intra_quantiser_matrix[64]、load_chrom
a_non_intra_quantiser_matrix、およびchroma_non_int
ra_quantiser_matrix[64] から構成される。

【０１９３】extension_start_codeは、この量子化マトリックスエクステンションのスタートを示す開始コードである。 extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 quant_mat
rix_extension_present_flagは、この量子化マトリックスエクステンション内のデータエレメントが有効か無効かを示すためのデータである。 load_intra_quantiser_m
atrixは、イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。 intra_quanti
ser_matrixは、イントラマクロブロック用の量子化マトリックスの値を示すデータである。

【０１９４】load_non_intra_quantiser_matrixは、非イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。 non_intra_quantiser_ma
trixは、非イントラマクロブロック用の量子化マトリックスの値を表すデータである。 load_chroma_intra_quan
tiser_matrixは、色差イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。 ch
roma_intra_quantiser_matrixは、色差イントラマクロブロック用の量子化マトリックスの値を示すデータである。 load_chroma_non_intra_quantiser_matrixは、色差非イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。 chroma_non_intra_qua
ntiser_matrixは、色差非イントラマクロブロック用の量子化マトリックスの値を示すデータである。

【０１９５】続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたコピーライトエクステンションが、履歴ストリームとして記述されている。

【０１９６】このコピーライトエクステンション（copy
right_extension）に関するデータエレメントは、exten
sion_start_code、extension_start_code_itentifier、
copyright_extension_present_flag、copyright_flag、
copyright_identifier、original_or_copy、copyright_
number_1、copyright_number_2、および copyright_num
ber_3から構成される。

【０１９７】extension_start_codeは、コピーライトエクステンションのスタート示す開始コードである。 exte
nsion_start_code_itentifierのどのエクステンションデータが送られるかを示すコードである。 copyright_e
xtension_present_flagは、このコピーライトエクステンション内のデータエレメントが有効か無効かを示すためのデータである。 copyright_flagは、次のコピーライトエクステンション又はシーケンスエンドまで、符号化されたビデオデータに対してコピー権が与えられているか否かを示す。

【０１９８】copyright_identifierは、ISO/IEC JTC/SC
29によって指定されたコピー権の登録機関を識別するためのデータである。 original_or_copyは、ビットストリーム中のデータが、オリジナルデータであるかコピーデータであるかを示すデータである。 copyright_number_1
は、コピーライトナンバーのビット４４から６３を表わすデータである。 copyright_number_2は、コピーライトナンバーのビット２２から４３を表わすデータである。
copyright_number_3は、コピーライトナンバーのビット０から２１を表わすデータである。

【０１９９】続いて、最終段の符号化処理によって生成されたビットストリームのピクチャ層のユーザエリアには、過去の符号化処理において使用されたピクチャディスプレイエクステンション（ picture_display_extensi
on ）が、履歴ストリームとして記述されている。

【０２００】このピクチャディスプレイエクステンションを表わすデータエレメントは、extension_start_cod
e、extension_start_code_identifier、picture_displa
y_extension_present_flag、frame_center_horizontal_
offset_1、frame_center_vertical_offset_1、frame_ce
nter_horizontal_offset_2、frame_center_vertical_of
fset_2、frame_center_horizontal_offset_3、およびfr
ame_center_vertical_offset_3から構成される。

【０２０１】extension_start_codeは、ピクチャディスプレイエクステンションのスタートを示すための開始コードである。 extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 pictur
e_display_extension_present_flagは、ピクチャディスプレイエクステンション内のデータエレメントが有効か無効かを示すデータである。 frame_center_horizontal_
offsetは、表示エリアの水平方向のオフセットを示すデータであって、３つのオフセット値まで定義することができる。 frame_center_vertical_offsetは、表示エリアを垂直方向のオフセットを示すデータであって、３つのオフセット値まで定義することができる。

【０２０２】最終段の符号化処理において生成されたビットストリームのピクチャ層のユーザエリアには、既に説明したピクチャディスプレイエクステンションを表わす履歴情報の次に、過去の符号化処理において使用されたユーザデータ（user_data）が、履歴ストリームとして記述されている。

【０２０３】このユーザデータの次には、過去の符号化処理において使用されたマクロブロック層に関する情報が、履歴ストリームとして記述されている。

【０２０４】このマクロブロック層に関する情報は、ma
croblock_address_h、macroblock_address_v、slice_he
ader_present_flag、skipped_macroblock_flag等のマクロブロック（macroblock）の位置に関するデータエレメントと、macroblock_quant、macroblock_motion_forwar
d、macroblock_motion_backward、mocroblock_patter
n、macroblock_intra、spatial_temporal_weight_code_
flag、frame_motion_type、およびdct_type等のマクロブロックモード（macroblock_modes[]）に関するデータエレメントと、quantiser_scale_code等の量子化ステップ制御に関するデータエレメントと、PMV[0][0][0]、PM
V[0][0][1]、motion_vertical_field_select[0][0]、PM
V[0][1][0]、PMV[0][1][1]、motion_vertical_field_se
lect[0][1]、PMV[1][0][0]、PMV[1][0][1]、motion_ver
tical_field_select[1][0]、PMV[1][1][0]、PMV[1][1]
[1]、motion_vertical_field_select[1][1]等の動き補償に関するデータエレメントと、coded_block_pattern
等のマクロブロックパターンに関するデータエレメントと、num_mv_bits、num_coef_bits、およびnum_other_bi
ts等の発生符号量に関するデータエレメントから構成されている。

【０２０５】以下にマクロブロック層に関するデータエレメントについて詳細に説明する。

【０２０６】macroblock_address_hは、現在のマクロブロックの水平方向の絶対位置を定義するためのデータである。 macroblock_address_vは、現在のマクロブロックの垂直方向の絶対位置を定義するためのデータである。
slice_header_present_flagは、このマクロブロックがスライス層の先頭であり、スライスヘッダを伴なうか否かを示すデータである。 skipped_macroblock_flagは、
復号処理においてこのマクロブロックをスキップするか否かを示すデータである。

【０２０７】macroblock_quantは、後述する図３８と図３９に示されたマクロブロックタイプ（ macroblock_ty
pe ）から導かれるデータであって、quantiser_scale_c
odeがビットストリーム中に現れるか否かを示すデータである。 macroblock_motion_forwardおよびmacroblock_
motion_backwardは、図３８と図３９に示されたマクロブロックタイプから導かれるデータであって、復号処理で使用されるデータである。 mocroblock_patternは、図３８と図３９に示されたマクロブロックタイプから導かれるデータであって、coded_block_patternがビットストリーム中に現れるか否かを示すデータである。

【０２０８】macroblock_intraは、図３８と図３９に示されたマクロブロックタイプから導かれるデータであって、復号処理で使用されるデータである。 spatial_temp
oral_weight_code_flagは、図３８と図３９に示されたマクロブロックタイプから導かれるデータであって、時間スケーラビリティで下位レイヤ画像のアップサンプリング方法を示すspatial_temporal_weight_codeは、ビットストリーム中に存在するか否かを示すデータである。

【０２０９】frame_motion_typeは、フレームのマクロブロックの予測タイプを示す２ビットのコードである。
予測ベクトルが２個でフィールドベースの予測タイプであれば「００」であって、予測ベクトルが１個でフィールドベースの予測タイプであれば「０１」であって、予測ベクトルが１個でフレームベースの予測タイプであれば「１０」であって、予測ベクトルが１個でディアルプライムの予測タイプであれば「１１」である。 field_mo
tion_typeは、フィールドのマクロブロックの動き予測を示す２ビットのコードである。 予測ベクトルが１個でフィールドベースの予測タイプであれば「０１」であって、予測ベクトルが２個で１８×８マクロブロックベースの予測タイプであれば「１０」であって、予測ベクトルが１個でディアルプライムの予測タイプであれば「１
１」である。 dct_typeは、ＤＣＴがフレームＤＣＴモードか、フィールドＤＣＴモードかを示すデータである。
quantiser_scale_codeはマクロブロックの量子化ステップサイズを示すデータである。

【０２１０】次に動きベクトルに関するデータエレメントについて説明する。 動きベクトルは、復号時に必要な動きベクトルを減少させるために、先に符号化されたベクトルに関し、差分として符号化される。 動きベクトルの復号を行うために、復号器は、４個の動きベクトル予測値（それぞれ水平および垂直成分を伴なう）を維持しなければいけない。 この予測動きベクトルをPMV[ｒ][s]
[v]と表わすことにしている。 [ｒ]は、マクロブロックにおける動きベクトルが第１のベクトルであるのか、第２のベクトルであるのかを示すフラグであって、マクロブロックにおけるベクトルが第１のベクトルである場合には「０」、マクロブロックにおけるベクトルが第２のベクトルである場合には「１」となる。 [s]は、マクロブロックにおける動きベクトルの方向が、前方向であるのか後方向であるのかを示すフラグであって、前方向動きベクトルの場合には「０」、後方向動きベクトルの場合には「１」となる。 [v]は、マクロブロックにおけるベクトルの成分が、水平方向であるのか垂直方向であるのかを示すフラグであって、水平方向成分の場合には「０」、垂直方向成分の場合には「１」となる。

【０２１１】従って、PMV[0][0][0]は、第１のベクトルの前方向の動きベクトルの水平方向成分のデータを表わし、PMV[0][0][1]は、第１のベクトルの前方向の動きベクトルの垂直方向成分のデータを表わし、PMV[0][1][0]
は、第１のベクトルの後方向の動きベクトルの水平方向成分のデータを表わし、PMV[0][1][1]は、第１のベクトルの後方向の動きベクトルの垂直方向成分のデータを表わし、 PMV[1][0][0]は、第２のベクトルの前方向の動きベクトルの水平方向成分のデータを表わし、PMV[1]
[0][1]は、第２のベクトルの前方向の動きベクトルの垂直方向成分のデータを表わし、 PMV[1][1][0]は、第２
のベクトルの後方向の動きベクトルの水平方向成分のデータを表わし、そして、PMV[1][1][1] は、第２のベクトルの後方向の動きベクトルの垂直方向成分のデータを表わしている。

【０２１２】motion_vertical_field_select[ｒ][s]
は、予測の形式にいずれの参照フィールドを使用するのかを示すデータである。 このmotion_vertical_field_se
lect[ｒ][s]が「０」の場合には、トップ参照フィールドを使用し、「１」の場合には、ボトム参照フィールドを使用することを示している。

【０２１３】よって、motion_vertical_field_select
[0][0]は、第１のベクトルの前方向の動きベクトルを生成する際の参照フィールドを示し、motion_vertical_fi
eld_select[0][1]は、第１のベクトルの後方向の動きベクトルを生成する際の参照フィールドを示し、motion_v
ertical_field_select[1][0]は、第２のベクトルの前方向の動きベクトルを生成する際の参照フィールドを示し、そして、motion_vertical_field_select[1][1]は、
第２ベクトルの後方向の動きベクトルを生成する際の参照フィールドを示している。

【０２１４】coded_block_patternは、ＤＣＴ係数を格納する複数のＤＣＴブロックのうち、どのＤＣＴブロックに、有意係数（非０係数）があるかを示す可変長のデータである。 num_mv_bitsは、マクロブロック中の動きベクトルの符号量を示すデータである。 num_coef_bits
は、マクロブロック中のＤＣＴ係数の符号量を示すデータである。 num_other_bitsは、マクロブロックの符号量で、動きベクトルおよびＤＣＴ係数以外の符号量を示すデータである。

【０２１５】次に、可変長の履歴ストリームから各データエレメントをデコードするためのシンタックスについて、図２４乃至図４４を参照して説明する。

【０２１６】図２４に示される可変長の履歴ストリームは、next_start_code（）関数、sequence_header（）関数、sequence_extension（）関数、extension_and_user
_data（0）関数、group_of_picture_header（）関数、e
xtension_and_user_data（1）関数、picture_heade
r（）関数、picture_coding_extension（）関数、re_co
ding_stream_info（）関数、extension_and_user_data
（2）関数、およびpicture_data（）関数によって定義されたデータエレメントによって構成される。

【０２１７】next_start_code（）関数は、ビットストリーム中に存在するスタートコードを探すための関数であるので、履歴ストリームの最も先頭には、図２５に示すような、過去の符号化処理において使用されたデータエレメントであってsequence_header（）関数によって定義されたデータエレメントが記述されている。

【０２１８】図２５に示されるsequence_header（）関数によって定義されたデータエレメントは、sequence_h
eader_code、sequence_header_present_flag、horizont
al_size_value、vertical_size_value、aspect_ratio_i
nformation、frame_rate_code、bit_rate_value、marke
r_bit、VBV_buffer_size_value、constrained_paramete
r_flag、load_intra_quantiser_matrix、intra_quantis
er_matrix、load_non_intra_quantiser_matrix、および
non_intra_quantiser_matrix等である。

【０２１９】sequence_header_codeは、シーケンス層のスタート同期コードを表すデータである。 sequence_hea
der_present_flagは、sequence_header内のデータが有効か無効かを示すデータである。 horizontal_size_val
ueは、画像の水平方向の画素数の下位12ビットから成るデータである。 vertical_size_valueは、画像の縦のライン数の下位12ビットからなるデータである。 ａspect_
ratio_informationは、画素のアスペクト比（縦横比）
または表示画面アスペクト比を表すデータである。 fram
e_rate_codeは、画像の表示周期を表すデータである。 b
it_rate_valueは、発生ビット量に対する制限のためのビットレートの下位18ビット（400bsp単位で切り上げる）データである。

【０２２０】marker_bitは、スタートコードエミュレーションを防止するために挿入されるビットデータである。 VBV_buffer_size_valueは、発生符号量制御用の仮想バッファ（ビデオバッファベリファイヤー）の大きさを決める値の下位10ビットデータである。 constrained_
parameter_flagは、各パラメータが制限以内であることを示すデータである。 load_intra_quantiser_matrix
は、イントラＭＢ用量子化マトリックス・データの存在を示すデータである。 intra_quantiser_matrixは、イントラＭＢ用量子化マトリックスの値を示すデータである。 load_non_intra_quantiser_matrixは、非イントラＭＢ用量子化マトリックス・データの存在を示すデータである。 non_intra_quantiser_matrixは、非イントラＭ
Ｂ用量子化マトリックスの値を表すデータである。

【０２２１】sequence_header（）関数によって定義されたデータエレメントの次には、図２６で示すような、
sequence_extension（）関数によって定義されたデータエレメントが、履歴ストリームとして記述されている。

【０２２２】sequence_extension（）関数によって定義されたデータエレメントとは、extension_start_code、
extension_start_code_identifier、sequence_extensio
n_present_flag、profile_and_level_indication、prog
ressive_sequence、chroma_format、horizontal_size_e
xtension、vertical_size_extension、bit_rate_extens
ion、vbv_buffer_size_extension、low_delay、frame_r
ate_extension_n 、および frame_rate_extension_d等のデータエレメントである。

【０２２３】extension_start_codeは、エクステンションデータのスタート同期コードを表すデータである。 ex
tension_start_code_identifierは、どの拡張データが送られるかを示すデータである。 sequence_extension_p
resent_flagは、シーケンスエクステンション内のデータが有効であるか無効であるかを示すデータである。 pr
ofile_and_level_indicationは、ビデオデータのプロファイルとレベルを指定するためのデータである。 progre
ssive_sequenceは、ビデオデータが順次走査であることを示すデータである。 chroma_formatは、ビデオデータの色差フォーマットを指定するためのデータである。 ho
rizontal_size_extensionは、シーケンスヘッダのhoriz
ntal_size_valueに加える上位２ビットのデータである。 vertical_size_extensionは、シーケンスヘッダのv
ertical_size_value加える上位２ビットのデータである。 bit_rate_extensionは、シーケンスヘッダのbit_ra
te_valueに加える上位１２ビットのデータである。 vbv_
buffer_size_extensionは、シーケンスヘッダのvbv_buf
fer_size_valueに加える上位８ビットのデータである。

【０２２４】low_delayは、Ｂピクチャを含まないことを示すデータである。 frame_rate_extension_nは、シーケンスヘッダのframe_rate_codeと組み合わせてフレームレートを得るためのデータである。 frame_rate_exten
sion_dは、シーケンスヘッダのframe_rate_codeと組み合わせてフレームレートを得るためのデータである。

【０２２５】sequence_extension（）関数によって定義されたデータエレメントの次には、図２７に示すような
extension_and_user_data（0）関数によって定義されたデータエレメントが、履歴ストリームとして記述されている。 extension_and_user_data（i）関数は、「i」が１以外のときは、extension_data（）関数によって定義されるデータエレメントは記述せずに、user_data（）
関数によって定義されるデータエレメントのみを履歴ストリームとして記述する。 よって、 extension_and_use
r_data（0）関数は、 user_data（）関数によって定義されるデータエレメントのみを履歴ストリームとして記述する。

【０２２６】user_data（）関数は、図２８に示されたようなシンタックスに基いて、ユーザデータを履歴ストリームとして記述する。

【０２２７】extension_and_user_data（0）関数によって定義されたデータエレメントの次には、図２９に示すようなgroup_of_picture_header（）関数によって定義されたデータエレメント、およびextension_and_user_d
ata（1）関数によって定義されるデータエレメントが、
履歴ストリームとして記述されている。 ただし、履歴ストリーム中に、GOP層のスタートコードを示すgroup_sta
rt_codeが記述されている場合にのみ、 group_of_pictu
re_header（）関数によって定義されたデータエレメント、およびextension_and_user_data（1）関数によって定義されるデータエレメントが記述されている。

【０２２８】group_of_picture_header（）関数によって定義されたデータエレメントは、group_start_code、
group_of_picture_header_present_flag、time_code、c
losed_gop、およびbroken_linkから構成される。

【０２２９】group_start_codeは、GOP層の開始同期コードを示すデータである。 group_of_picture_header_p
resent_flagは、 group_of_picture_header内のデータエレメントが有効であるか無効であるかを示すデータである。 time_codeは、GOPの先頭ピクチャのシーケンスの先頭からの時間を示すタイムコードである。 closed_g
opは、GOP内の画像が他のGOPから独立再生可能なことを示すフラグデータである。 broken_linkは、編集などのためにGOP内の先頭のＢピクチャが正確に再生できないことを示すフラグデータである。

【０２３０】extension_and_user_data（1）関数は、 e
xtension_and_user_data（0）関数と同じように、user_
data（）関数によって定義されるデータエレメントのみを履歴ストリームとして記述する。

【０２３１】もし、履歴ストリーム中に、GOP層のスタートコードを示すgroup_start_codeが存在しない場合には、これらのgroup_of_picture_header（）関数およびe
xtension_and_user_data（1）関数によって定義されるデータエレメントは、履歴ストリーム中には記述されていない。 その場合には、 extension_and_user_data
（0）関数によって定義されたデータエレメントの次に、picture_headr（）関数によって定義されたデータエレメントが履歴ストリームとして記述されている。

【０２３２】picture_headr（）関数によって定義されたデータエレメントは、図３０に示すように、picture_
start_code、temporal_reference、picture_coding_typ
e、vbv_delay、full_pel_forward_vector、forward_f_c
ode、full_pel_backward_vector、backward_f_code、ex
tra_bit_picture、およびextra_information_pictureである。

【０２３３】具体的には、picture_start_codeは、ピクチャ層の開始同期コードを表すデータである。 temporal
_referenceは、ピクチャの表示順を示す番号でGOPの先頭でリセットされるデータである。 picture_coding_typ
eは、ピクチャタイプを示すデータである。 vbv_delay
は、ランダムアクセス時の仮想バッファの初期状態を示すデータである。 full_pel_forward_vectorは、順方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。 forward_f_codeは、順方向動きベクトル探索範囲を表すデータである。 full_pel_backward_vector
は、逆方向動きベクトルの精度が整数単位か半画素単位かを示すデータである。 backward_f_codeは、逆方向動きベクトル探索範囲を表すデータである。 extra_bit_p
ictureは、後続する追加情報の存在を示すフラグである。 このextra_bit_pictureが「１」の場合には、次にe
xtra_information_pictureが存在し、extra_bit_pictur
eが「０」の場合には、これに続くデータが無いことを示している。 extra_information_pictureは、規格において予約された情報である。

【０２３４】picture_headr（）関数によって定義されたデータエレメントの次には、図３１に示すようなpict
ure_coding_extension（）関数によって定義されたデータエレメントが、履歴ストリームとして記述されている。

【０２３５】このpicture_coding_extension（）関数によって定義されたデータエレメントとは、extension_st
art_code、extension_start_code_identifier、f_code
[0][0]、f_code[0][1]、f_code[1][0]、f_code[1][1]、
intra_dc_precision、picture_structure、top_field_f
irst、frame_predictive_frame_dct、concealment_moti
on_vectors、q_scale_type、intra_vlc_format、altern
ate_scan、repeat_firt_field、chroma_420_type、prog
ressive_frame、composite_display_flag、v_axis、fie
ld_sequence、sub_carrier、burst_amplitude、およびs
ub_carrier_phaseから構成される。

【０２３６】extension_start_codeは、ピクチャ層のエクステンションデータのスタートを示す開始コードである。 extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 f_code[0][0]
は、フォワード方向の水平動きベクトル探索範囲を表すデータである。 f_code[0][1]は、フォワード方向の垂直動きベクトル探索範囲を表すデータである。 f_code[1]
[0]は、バックワード方向の水平動きベクトル探索範囲を表すデータである。 f_code[1][1]は、バックワード方向の垂直動きベクトル探索範囲を表すデータである。 in
tra_dc_precisionは、DC係数の精度を表すデータである。

【０２３７】picture_structureは、フレームストラクチャかフィールドストラクチャかを示し、更に、フィールドストラクチャの場合は、上位フィールドか下位フィールドかもあわせて示すデータである。 top_field_firs
tは、フレームストラクチャの場合、最初のフィールドが、上位か下位かを示すデータである。 frame_predicti
ve_frame_dctは、フレームストラクチャの場合、フレーム・モードＤＣＴの予測がフレーム・モードだけであることを示すデータである。 concealment_motion_vectors
は、イントラマクロブロックに伝送エラーを隠蔽するための動きベクトルがついていることを示すデータである。 q_scale_typeは、線形量子化スケールを利用するか、非線形量子化スケールを利用するかを示すデータである。 intra_vlc_formatは、イントラマクロブロックに、別の２次元VLCを使うかどうかを示すデータである。

【０２３８】alternate_scanは、ジグザグスキャンを使うか、オルタネート・スキャンを使うかの選択を表すデータである。 repeat_firt_fieldは、２：３プルダウンの際に使われるデータである。 chroma_420_typeは、信号フォーマットが４：２：０の場合、次のprogressive_
frame と同じ値、そうでない場合は０を表すデータである。 progressive_frameは、このピクチャが、順次走査できているかどうかを示すデータである。 composite_di
splay_flagは、ソース信号がコンポジット信号であったかどうかを示すデータである。 v_axis、field_sequenc
e、sub_carrier、burst_amplitude、およびsub_carrier
_phaseは、ソース信号が、PALの場合に使われるデータである。

【０２３９】picture_coding_extension（）関数によって定義されたデータエレメントの次には、re_coding_st
ream_info（）関数によって定義されたデータエレメントが履歴ストリームとして記述されている。 このre_cod
ing_stream_info（）関数は、主に履歴情報の組み合わせを記述する場合に用いられるものであり、その詳細については、図４８を参照して後述する。

【０２４０】re_coding_stream_info（）関数によって定義されたデータエレメントの次には、extensions_and
_user_data（2）によって定義されたデータエレメントが、履歴ストリームとして記述されている。 このextens
ion_and_user_data（2）関数は、図２７に示したように、ビットストリーム中にエクステンションスタートコード（extension_start_code）が存在する場合には、ex
tension_data（）関数によって定義されるデータエレメントが記述されている。 このデータエレメントの次には、ビットストリーム中にユーザデータスタートコード（user_data_start_code）が存在する場合には、user_d
ata（）関数によって定義されるデータエレメントが記述されている。 ただし、ビットストリーム中にエクステンションスタートコードおよびユーザデータスタートコードが存在しない場合には extension_data（）関数 およびuser_data（）関数によって定義されるデータエレメントはビットトリーム中には記述されていない。

【０２４１】extension_data（）関数は、図３２に示すように、extension_start_codeを示すデータエレメントと、quant_matrix_extension（）関数、copyright_exte
nsion（）関数、およびpicture_display_extension（）
関数によって定義されるデータエレメンエトとを、ビットストリーム中に履歴ストリームとして記述するための関数である。

【０２４２】quant_matrix_extension（）関数によって定義されるデータエレメントは、図３３に示すように、
extension_start_code、extension_start_code_identif
ier、quant_matrix_extension_present_flag、load_int
ra_quantiser_matrix、intra_quantiser_matrix[64]、l
oad_non_intra_quantiser_matrix、non_intra_quantise
r_matrix[64]、load_chroma_intra_quantiser_matrix、
chroma_intra_quantiser_matrix[64]、load_chroma_non
_intra_quantiser_matrix、およびchroma_non_intra_qu
antiser_matrix[64] である。

【０２４３】extension_start_codeは、この量子化マトリックスエクステンションのスタートを示す開始コードである。 extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 quant_mat
rix_extension_present_flagは、この量子化マトリックスエクステンション内のデータエレメントが有効か無効かを示すためのデータである。 load_intra_quantiser_m
atrixは、イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。 intra_quanti
ser_matrixは、イントラマクロブロック用の量子化マトリックスの値を示すデータである。

【０２４４】load_non_intra_quantiser_matrixは、非イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。 non_intra_quantiser_ma
trixは、非イントラマクロブロック用の量子化マトリックスの値を表すデータである。 load_chroma_intra_quan
tiser_matrixは、色差イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。 ch
roma_intra_quantiser_matrixは、色差イントラマクロブロック用の量子化マトリックスの値を示すデータである。 load_chroma_non_intra_quantiser_matrixは、色差非イントラマクロブロック用の量子化マトリックス・データの存在を示すデータである。 chroma_non_intra_qua
ntiser_matrixは、色差非イントラマクロブロック用の量子化マトリックスの値を示すデータである。

【０２４５】copyright_extension（）関数によって定義されるデータエレメントは、図３４に示すように、 e
xtension_start_code、extension_start_code_itentifi
er、copyright_extension_present_flag、copyright_fl
ag、copyright_identifier、original_or_copy、copyri
ght_number_1、copyright_number_2、および copyright
_number_3から構成される。

【０２４６】extension_start_codeは、コピーライトエクステンションのスタート示す開始コードである。 exte
nsion_start_code_itentifierどのエクステンションデータが送られるかを示すコードである。 copyright_ext
ension_present_flagは、このコピーライトエクステンション内のデータエレメントが有効か無効かを示すためのデータである。

【０２４７】copyright_flagは、次のコピーライトエクステンション又はシーケンスエンドまで、符号化されたビデオデータに対してコピー権が与えられているか否かを示す。 copyright_identifierは、ISO/IEC JTC/SC29によって指定されたコピー権の登録機関を識別するためのデータである。 original_or_copyは、ビットストリーム中のデータが、オリジナルデータであるかコピーデータであるかを示すデータである。 copyright_number_1は、
コピーライトナンバーのビット４４から６３を表わすデータである。 copyright_number_2は、コピーライトナンバーのビット２２から４３を表わすデータである。 copy
right_number_3は、コピーライトナンバーのビット０から２１を表わすデータである。

【０２４８】picture_display_extension（）関数によって定義されるデータエレメントは、図３５に示すように、extension_start_code_identifier、frame_center_
horizontal_offset、frame_center_vertical_offset等である。

【０２４９】extension_start_code_identifierは、どの拡張データが送られるかを示すコードである。 frame
_center_horizontal_offsetは、表示エリアの水平方向のオフセットを示すデータであって、number_of_frame_
center_offsetsによって定義される数のオフセット値を定義することができる。 frame_center_vertical_offset
は、表示エリアを垂直方向のオフセットを示すデータであって、 number_of_frame_center_offsetsによって定義される数のオフセット値を定義することができる。

【０２５０】再び図２４に戻って、extension_and_user
_data（2）関数によって定義されるデータエレメントの次には、picture_data（）関数によって定義されるデータエレメントが、履歴ストリームとして記述されている。 ただし、このpicture_data（）関数は、red_bw_fla
gが１ではないか、または、red_bw_indicatorが２以下である場合に存在する。 このred_bw_flagとred_bw_indi
catorは、re_coding_stream_info（）関数に記述されており、これらについては、図４８と図４９を参照して後述する。

【０２５１】picture_data（）関数によって定義されるデータエレメントは、図３６に示すように、slice（）
関数によって定義されるデータエレメントである。 この
slice（）関数によって定義されるデータエレメントはビットストリーム中に少なくとも１個記述されている。

【０２５２】slice（）関数は、図３７に示されるように、slice_start_code、slice_quantiser_scale_code、
intra_slice_flag、intra_slice、reserved_bits、extr
a_bit_slice、extra_information_slice、およびextra_
bit_slice 等のデータエレメントと、macroblock（）関数によって定義されるデータエレメントを、履歴ストリームとして記述するための関数である。

【０２５３】slice_start_codeは、slice（）関数によって定義されるデータエレメントのスタートを示すスタートコードである。 slice_quantiser_scale_codeは、このスライス層に存在するマクロブロックに対して設定された量子化ステップサイズを示すデータである。 しかし、各マクロブロック毎に、quantiser_scale_codeが設定されている場合には、各マクロブロックに対して設定されたmacroblock_quantiser_scale_codeのデータが優先して使用される。

【０２５４】intra_slice_flagは、ビットストリーム中にintra_sliceおよびreserved_bitsが存在するか否かを示すフラグである。 intra_sliceは、スライス層中にノンイントラマクロブロックが存在するか否かを示すデータである。 スライス層におけるマクロブロックのいずれかがノンイントラマクロブロックである場合には、intr
a_sliceは「０」となり、スライス層におけるマクロブロックの全てがノンイントラマクロブロックである場合には、intra_sliceは「１」となる。 reserved_bitsは、
７ビットのデータであって「０」の値を取る。 extra_bi
t_sliceは、履歴ストリームとして追加の情報が存在することを示すフラグであって、次にextra_information_
sliceが存在する場合には「１」に設定される。 追加の情報が存在しない場合には「０」に設定される。

【０２５５】これらのデータエレメントの次には、macr
oblock（）関数によって定義されたデータエレメントが、履歴ストリームとして記述されている。

【０２５６】macroblock（）関数は、図３８に示すように、macroblock_escape、macroblock_address_incremen
t、およびmacroblock_quantiser_scale_code、およびma
rker_bit等のデータエレメントと、macroblock_mode
s（）関数、motion_vectors（s）関数、およびcode_blo
ck_pattern（）関数によって定義されたデータエレメントを記述するための関数である。

【０２５７】macroblock_escapeは、参照マクロブロックと前のマクロブロックとの水平方向の差が３４以上であるか否かを示す固定ビット列である。 参照マクロブロックと前のマクロブロックとの水平方向の差が３４以上の場合には、macroblock_address_incrementの値に３３
をプラスする。 macroblock_address_incrementは、参照マクロブロックと前のマクロブロックとの水平方向の差を示すデータである。 もし、このmacroblock_address_i
ncrementの前にmacroblock_escapeが１つ存在するのであれば、このmacroblock_address_incrementの値に３３
をプラスした値が、実際の参照マクロブロックと前のマクロブロックとの水平方向の差分を示すデータとなる。

【０２５８】macroblock_quantiser_scale_codeは、各マクロブロック毎に設定された量子化ステップサイズを示すデータであり、macroblock_quantが「１」のときだけ存在する。 各スライス層には、スライス層の量子化ステップサイズを示すslice_quantiser_scale_codeが設定されているが、参照マクロブロックに対してmacroblock
_quantiser_scale_codeが設定されている場合には、この量子化ステップサイズを選択する。

【０２５９】macroblock_address_incrementの次には、
macroblock_modes（）関数によって定義されるデータエレメントが記述されている。 macroblock_modes（）関数は、図３９に示すように、macroblock_type、frame_mot
ion_type、field_motion_type、dct_type等のデータエレメントを、履歴ストリームとして記述するための関数である。

【０２６０】macroblock_typeは、マクログブロックの符号化タイプを示すデータである。 その詳細は、図４２
乃至図４４を参照して後述する。

【０２６１】もし、macroblock_motion_forward又はmac
roblock_motion_backwardが「１」であり、ピクチャ構造がフレームであり、更にframe_pred_frame_dctが「０」である場合には、macroblock_typeを表わすデータエレメントの次にframe_motion_typeを表わすデータエレメントが記述されている。 なお、このframe_pred_f
rame_dctは、 frame_motion_typeがビットストリーム中に存在するか否かを示すフラグである。

【０２６２】frame_motion_typeは、フレームのマクロブロックの予測タイプを示す２ビットのコードである。
予測ベクトルが２個でフィールドベースの予測タイプであれば「００」であって、予測ベクトルが１個でフィールドベースの予測タイプであれば「０１」であって、予測ベクトルが１個でフレームベースの予測タイプであれば「１０」であって、予測ベクトルが１個でディアルプライムの予測タイプであれば「１１」である。

【０２６３】frame_motion_typeを記述する条件が満足されない場合には、macroblock_typeを表わすデータエレメントの次にfield_motion_typeを表わすデータエレメントが記述されている。

【０２６４】field_motion_typeは、フィールドのマクロブロックの動き予測を示す２ビットのコードである。
予測ベクトルが１個でフィールドベースの予測タイプであれば「０１」であって、予測ベクトルが２個で１８×
８マクロブロックベースの予測タイプであれば「１０」
であって、予測ベクトルが１個でディアルプライムの予測タイプであれば「１１」である。

【０２６５】もし、ピクチャ構造がフレームで、 frame
_pred_frame_dctがframe_motion_typeがビットストリーム中に存在することを示し、かつ、frame_pred_frame_d
ctがdct_typeがビットストリーム中に存在することを示している場合には、macroblock_typeを表わすデータエレメントの次にdct_typeを表わすデータエレメントが記述されている。 なお、dct_typeは、ＤＣＴがフレームＤ
ＣＴモードか、フィールドＤＣＴモードかを示すデータである。

【０２６６】再び図３８に戻って、もし、参照マクロブロックが前方予測マクロブロックであるか、または、参照マクロブロックがイントラマクロブロックであって、
かつ、コンシール処理のマクロブロックのいずれかの場合には、motion_vectors（0）関数によって定義されるデータエレメントが記述される。 また、参照マクロブロックが後方予測マクロブロックである場合には、motion
_vectors（1）関数によって定義されるデータエレメントが記述される。 なお、 motion_vectors（0）関数は、
第1番目の動きベクトルに関するデータエレメントを記述するための関数であって、motion_vectors（1）関数は、第２番目の動きベクトルに関するデータエレメントを記述するための関数である。

【０２６７】motion_vectors（s）関数は、図４０に示されるように、動きベクトルに関するデータエレメントを記述するための関数である。

【０２６８】もし、動きベクトルが１個でディアルプライム予測モードを使用していない場合には、motion_ver
tical_field_select[0][s]とmotion_vector（0，s）によって定義されるデータエレメントが記述される。

【０２６９】このmotion_vertical_field_select[ｒ]
[s]は、第１番目の動きベクトル（前方又は後方のどちらのベクトルであっても良い）が、ボトムフィールドを参照して作られたベクトルであるか、トップフィールドを参照して作られたベクトルであるかを示すフラグである。 この指標“ｒ”は、第１番めのベクトル又は第２番めのベクトルのいずれのベクトルであるかを示す指標であって、“s”は、予測方向が前方又は後方予測のいずれであるかを示す指標である。

【０２７０】motion_vector（r，s）関数は、図４１に示されるように、motion_code[ｒ][s][t]に関するデータ列と、motion_residual[ｒ][s][t]に関するデータ列と、dmvector[t]を表わすデータとを記述するための関数である。

【０２７１】motion_code[ｒ][s][t]は、動きベクトルの大きさを−１６〜＋１６の範囲で表わす可変長のデータである。 motion_residual[ｒ][s][t]は、動きベクトルの残差を表わす可変長のデータである。 よって、この
motion_code[ｒ][s][t]と motion_residual[ｒ][s][t]
との値によって詳細な動きベクトルを記述することができる。 dmvector[t]は、ディアルプライム予測モードのときに、一方のフィールド（例えばボトムフィールドに対してトップフィールドを一方のフィールドとする）における動きベクトルを生成するために、時間距離に応じて既存の動きベクトルがスケールされるとともに、トップフィールドとボトムフィールドとのライン間の垂直方向のずれを反映させるために垂直方向に対して補正を行うデータである。 この指標“ｒ”は、第１番めのベクトル又は第２番めのベクトルのいずれのベクトルであるかを示す指標であって、“s”は、予測方向が前方又は後方予測のいずれであるかを示す指標である。 “s”は、
動きベクトルが垂直方向の成分であるか水平方向の成分であるかを示すデータである。

【０２７２】図４１に示されるmotion_vector（r，s）
関数によって、まず、水平方向のmotion_coder[ｒ][s]
[0]を表わすデータ列が、履歴ストリームとして記述される。 motion_residual[0][s][t]およびmotion_residua
l[1][s][t]の双方のビット数は、f_code[s][t]で示されるので、 f_code[s][t]が１ではない場合には、 motion
_residual[r][s][t] がビットストリーム中に存在することを示すことになる。 水平方向成分のmotion_residua
l[ｒ][s][0]が「１」ではなくて、水平方向成分のmotio
n_code[ｒ][s][0]が「０」ではないということは、ビットストリーム中にmotion_residual[ｒ][s][0]を表わすデータエレメントが存在し、動きベクトルの水平方向成分が存在するということを意味しているので、その場合には、水平方向成分のmotion_residual[r][s][0]を表わすデータエレメントが記述されている。

【０２７３】続いて、垂直方向のmotion_coder[ｒ][s]
[1]を表わすデータ列が、履歴ストリームとして記述される。 同じようにmotion_residual[0][s][t]およびmoti
on_residual[1][s][t]の双方のビット数は、f_code[s]
[t]で示されるので、 f_code[s][t]が１ではない場合には、 motion_residual[r][s][t] がビットストリーム中に存在することを表わすことになる。 motion_residual
[ｒ][s][1]が「１」でなくて、motion_code[ｒ][s][1]
が「０」ではないということは、ビットストリーム中に
motion_residual[ｒ][s][1]を表わすデータエレメントが存在し、動きベクトルの垂直方向成分が存在するということを意味しているので、その場合には、垂直方向成分のmotion_residual[r][s][1]を表わすデータエレメントが記述されている。

【０２７４】次に、図４２乃至図４４を参照して、macr
oblock_typeについて説明する。 macroblock_typeは、ma
croblock_quant、dct_type_flag、macroblock_motion_f
orward、およびmacroblock_motion_backwardなどのフラグから生成された可変長データである。 macroblock_qu
antは、マクロブロックに対して量子化ステップサイズを設定するためのmacroblock_quantiser_scale_codeが設定されているか否かを示すフラグあって、ビットストリーム中にmacroblock_quantiser_scale_codeが存在する場合には、 macroblock_quantは「１」の値を取る。

【０２７５】dct_type_flagは、参照マクロブロックがフレームＤＣＴ又はフィールドＤＣＴで符号化されているかを示すdct_typeが存在するか否かを示すためのフラグ（言い換えるとＤＣＴされているか否かを示すフラグ）であって、ビットストリーム中にdct_typeが存在する場合には、このdct_type_flagは「１」の値を取る。 m
acroblock_motion_forwardは、参照マクロブロックが前方予測されているか否かを示すフラグであって、前方予測されている場合には「１」の値を取る。 macroblock_m
otion_backwardは、参照マクロブロックが後方予測されているか否かを示すフラグであって、後方予測されている場合には「１」の値を取る。

【０２７６】なお、可変長フォーマットにおいては、伝送するビットレートを減少させるために、履歴情報を削減することができる。

【０２７７】すなわち、macroblock_typeとmotion_vect
ors（）は転送するが、quantiser_scale_codeを転送しない場合には、slice_quantiser_scale_codeを”０００
００”とすることで、ビットレートを減少させることができる。

【０２７８】また、macroblock_typeのみ転送し、motio
n_vectors（）、quantiser_scale_code、およびdct_typ
eを転送しない場合には、macroblock_typeとして、”no
t coded”を使用することで、ビットレートを減少することができる。

【０２７９】更に、また、picture_coding_typeのみ転送し、slice（）以下の情報は全て転送しない場合には、slice_start_codeを持たないpicture_data（）を使用することで、ビットレートを減少させることができる。

【０２８０】以上においては、user_data内の２３ビットの連続する”０”が出ないようにする場合に、２２ビット毎に”１”を挿入するようにしたが、２２ビット毎でなくてもよい。 また、連続する”０”の個数を数えて”１”を挿入するのではなく、Byte_allignを調べて挿入するようにすることも可能である。

【０２８１】更に、MPEGにおいては、２３ビットの連続する”０”の発生を禁止しているが、実際には、バイトの先頭から２３ビット連続する場合だけが問題とされ、
バイトの先頭ではなく、途中から０が２３ビット連続する場合は、問題とされない。 従って、例えば２４ビット毎に、LSB以外の位置に”１”を挿入するようにしてもよい。

【０２８２】また、以上においては、履歴情報を、vide
o elementary streamに近い形式にしたが、packetized
elementary streamやtransport streamに近い形式にしてもよい。 また、Elementary Streamのuser_dataの場所を、picture_dataの前としたが、他の場所にすることもできる。

【０２８３】図４のトランスコーディングシステムにおいては、４世代分の符号化パラメータを履歴情報として後段に出力するようにしたが、実際には、履歴情報の全てが必要となるわけではなく、アプリケーション毎に必要な履歴情報は異なってくる。 また、実際の伝送路あるいは記録媒体（伝送メディア）には、容量に制限があり、圧縮しているとはいえ、全ての履歴情報を伝送するようにすると、容量的に負担となり、結果的に画像ビットストリームのビットレートを抑圧してしまい、履歴情報伝送の有効性が損なわれることになる。

【０２８４】そこで、履歴情報として伝送する項目の組み合わせを記述する記述子を履歴情報に組み込んで後段に送信するようにし、全ての履歴情報を伝送するのではなく、さまざまなアプリケーションに対応した情報を伝送するようにすることができる。 図４５は、このような場合のトランスコーディングシステムの構成例を表している。

【０２８５】図４５において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。 図４５の構成例においては、ヒストリ情報分離装置６４と符号化装置６６の間、およびヒストリエンコーディング装置６５と符号化装置６６の間に、符号化パラメータ選択回路１５１が挿入されている。

【０２８６】符号化パラメータ選択回路１５１は、ヒストリ情報分離装置６４が出力するベースバンドビデオ信号から符号化パラメータを算出する符号化パラメータ算出部１６２、ヒストリ情報分離装置６４が出力する、このビデオエンコーディングシステム１４１において符号化するのに最適と判定された符号化パラメータ（例えば、第２世代の符号化パラメータ）に関する情報から、
符号化パラメータと記述子（red_bw_flag，red_bw_indi
cator）（図４９を参照して後述する）を分離する組み合わせ記述子分離部１６１、並びに符号化パラメータ算出部１６２が出力する符号化パラメータと、組み合わせ記述子分離部１６１が出力する符号化パラメータのうち、いずれか一方を、組み合わせ記述子分離部１６１で分離された記述子に対応して選択し、符号化装置６６に出力するスイッチ１６３を有している。 その他の構成は、図４における場合と同様である。

【０２８７】ここで、履歴情報として伝送する項目の組み合わせについて説明する。 履歴情報は、分類すると、
picture単位の情報と、macroblock単位の情報に分けることができる。 slice単位の情報は、それに含まれるmac
roblockの情報を収集することで得ることができ、GOP単位の情報は、それに含まれるpicture単位の情報を収集することで得ることができる。

【０２８８】picture単位の情報（すなわち、図７のVB
lanking領域に記述される情報）は、１フレーム毎に１
回伝送されるだけなので、情報伝送に占めるビットレートは、それほど大きくはない。 これに対して、macroblo
ck単位の情報（すなわち、図７のH Blanking領域に記述される情報）は、各macroblock毎に伝送されるため、例えば１フレームの走査線数が５２５本で、フィールドレートが６０フィールド／秒のビデオシステムの場合、１
フレームの画素数を７２０×４８０とすると、macroblo
ck単位の情報は、１フレームあたり１３５０（＝（７２
０／１６）×（４８０／１６））回伝送することが必要となる。 このため、履歴情報の相当の部分がmacroblock
毎の情報で占められることになる。 そこで、履歴情報としては、少なくともpicture単位の情報は常に伝送するが、macroblock単位の情報は、アプリケーションに応じて選択して伝送するようにすることで、伝送する情報量を抑制することができる。

【０２８９】履歴情報として転送されるmacroblock単位の情報には、例えばnum_coef_bits，num_mv_bits，num_
other_bits，q_scale_code，q_scale_type，motion_typ
e，mv_vert_field_sel[][]，mv[][][]，mb_mfwd，mb_mb
wd，mb_pattern，coded_block_pattern，mb_intra，sli
ce_start，dct_type，mb_quant，skipped_mbなどがある。 これらは、macroblock rate informationの要素を用いて表現されたものである。

【０２９０】num_coef_bitsは、macroblockの符号量のうち、ＤＣＴ係数に要した符号量を表す。 num_mv_bits
は、macroblockの符号量のうち、動きベクトルに要した符号量を表す。 num_other_bitsは、macroblockの符号量のうち、num_coef_bitsおよびnum_mv_bits以外の符号量を表す。

【０２９１】q_scale_codeは、macroblockに適用された
q_scale_codeを表す。 motion_typeは、macroblockに適用された動きベクトルのtypeを表す。 mv_vert_field_se
l[][]は、macroblockに適用された動きベクトルのfield
selectを表す。

【０２９２】mv[][][]は、macroblockに適用された動きベクトルを表す。 mb_mfwdは、macroblockの予測モードが前方向予測であることを示すフラグである。 mb_mbwd
は、macroblockの予測モードが後方向予測であることを示すフラグである。 mb_patternは、macroblockのＤＣＴ
係数の非０のものの有無を示すフラグである。

【０２９３】coded_block_patternは、macroblockのＤ
ＣＴ係数の非０のものの有無をＤＣＴブロック毎に示すフラグである。 mb_intraは、macroblockがintra_macro
かそうでないかを示すフラグである。 slice_startは、m
acroblockがsliceの先頭であるか否かを示すフラグである。 dct_typeは、macroblockがfield_dctかflame_dctかを示すフラグである。

【０２９４】mb_quantは、macroblockがquantiser_scal
e_codeを伝送するか否かを示すフラグである。 skipped_
mbは、macroblockがskipped macroblockであるか否かを示すフラグである。

【０２９５】これらの項目は、常に全て必要であるわけではなく、アプリケーションに応じて必要となる項目が変化する。 例えば、num_coef_bitsやslice_startといった項目は、再エンコードした際のビットストリームをできる限り元の形に戻したいというtransparentという要求を有するアプリケーションにおいて必要となる。 換言すれば、ビットレートを変更するようなアプリケーションにおいては、これらの項目は必要ではない。 また、非常に伝送路の制限が厳しい場合には、各ピクチャの符号化タイプが判るだけでもよいようなアプリケーションも存在する。 このような状況から、履歴情報を伝送する項目の組み合わせの例として、例えば図４６に示すような組み合わせが考えられる。

【０２９６】図４６において、各組み合わせの中の項目に対応する値「２」は、その情報が存在し、利用可能であることを意味し、「０」は、その情報が存在しないことを意味する。 「１」は、他の情報の存在を補助する目的のため、あるいは、構文上存在するが、元のビットストリーム情報とは関係がないなど、その情報自身には意味がないことを表している。 例えば、slice_startは、
履歴情報を伝送する際のsliceの先頭のmacroblockにおいて、「１」になるが、本来のビットストリームに対して、sliceが必ずしも同一位置関係にあるわけではない場合には、履歴情報としては無意味になる。

【０２９７】図４６の例においては、（num_coef_bit
s，num_mv_bits，num_other_bits），（q_scale_code，
q_scale_type），（motion_type，mv_vert_field_sel[]
[]，mv[][][]），（mb_mfwd，mb_mbwd），（mb_patter
n），（coded_block_pattern），（mb_intra），（slic
e_start），（dct_type），（mb_quant），（skipped_m
b）の各項目の有無により、組み合わせ１乃至組み合わせ５の５つの組み合わせが用意されている。

【０２９８】組み合わせ１は、完全にtransparentなビットストリームを再構成することを目的とした組み合わせである。 この組み合わせによれば、発生符号量情報を用いることによる精度の高いトランスコーディングが実現できる。 組み合わせ２も、完全にtransparentなビットストリームを再構成することを目的とした組み合わせである。 組み合わせ３は、完全にtransparentなビットストリームを再構成することはできないが、視覚的にほぼtransparentなビットストリームを再構成できるようにするための組み合わせである。 組み合わせ４は、tran
sparentという観点からは組み合わせ３よりも劣るが、
視覚上問題がないビットストリームの再構成ができる組み合わせである。 組み合わせ５は、transparentという観点からは組み合わせ４よりも劣るが、少ない履歴情報でビットストリームの完全ではない再構成ができる組み合わせである。

【０２９９】これらの組み合わせのうち、組み合わせの番号の数字が小さいものほど、機能的には上位であるが、履歴を転送するのに必要となる容量が多くなる。 従って、想定するアプリケーションと履歴に使用できる容量を考慮することによって、伝送する組み合わせを決定する必要がある。

【０３００】次に、図４７のフローチャートを参照して、図４５のトランスコーディングシステムの動作について説明する。

【０３０１】ステップＳ１において、ビデオデコーディングシステム５１の復号装置６１は、入力されたビットストリームを復号し、そのビットストリームを符号化する際に使用された符号化パラメータ（第４世代）を抽出し、その符号化パラメータ（第４世代）をヒストリ情報多重化装置６３に出力するとともに、復号したビデオデータを、やはりヒストリ情報多重化装置６３に出力する。 ステップＳ２において、復号装置６１は、入力されたビットストリームからuser_dataを抽出し、ヒストリデコーディング装置６２に出力する。 ステップＳ３において、ヒストリデコーディング装置６２は入力されたus
er_dataから、組み合わせ情報（記述子）を抽出し、更にそれを用いて、履歴情報としての符号化パラメータ（第２世代乃至第３世代）を抽出し、ヒストリ情報多重化装置６３に出力する。

【０３０２】ステップＳ４において、ヒストリ情報多重化装置６３は、ステップＳ１で取り出された復号装置５
１から供給される現在の符号化パラメータ（第４世代）
と、ステップＳ３でヒストリデコーディング装置６２が出力した過去の符号化パラメータ（第２世代乃至第３世代）とを、復号装置６１から供給されるベースバンドのビデオデータに、図７および図１１に示すようなフォーマットに従って多重化し、ヒストリ情報分離装置６４に出力する。

【０３０３】ヒストリ情報分離装置６４は、ステップＳ
５において、ヒストリ情報多重化装置６３より供給されたベースバンドのビデオデータから、符号化パラメータを抽出し、その中から今回の符号化に最も適している符号化パラメータ（例えば、第２世代の符号化パラメータ）を選択し、記述子とともに、組み合わせ記述子分離部１６１に出力する。 また、ヒストリ情報分離装置６４
は、今回の符号化に最適と判定された符号化パラメータ以外の符号化パラメータ（例えば、最適な符号化パラメータが第２世代の符号化パラメータであると判定された場合には、それ以外の第１世代、第３世代、および第４
世代の符号化パラメータ）をヒストリエンコーディング装置６５に出力する。

【０３０４】ステップＳ６において、ヒストリエンコーディング装置６５は、ヒストリ情報分離装置５４より入力された符号化パラメータをuser_dataに記述し、そのu
ser_data（converted_history_stream（））を符号化装置６６に出力する。

【０３０５】ステップＳ７において、組み合わせ記述子分離部１６１は、ヒストリ情報分離装置６４より供給されたデータから、符号化パラメータと記述子を分離し、
符号化パラメータ（第２世代）を、スイッチ１６３の一方の接点に供給する。 スイッチ１６３の他方の接点には、符号化パラメータ算出部１６２が、ヒストリ情報分離装置６４が出力するベースバンドのビデオデータから、符号化パラメータを算出し、供給している。

【０３０６】ステップＳ８において、スイッチ１６３
は、組み合わせ記述子分離部１６１が出力した記述子に対応して、組み合わせ記述子分離部１６１が出力した符号化パラメータ、または符号化パラメータ算出部１６２
が出力した符号化パラメータのいずれかを選択し、符号化装置６６に出力する。 すなわち、スイッチ１６３では、組み合わせ記述子分離部１６１から供給された符号化パラメータが有効である場合には、組み合わせ記述子分離部１６１が出力する符号化パラメータが選択されるが、組み合わせ記述子分離部１６１が出力する符号化パラメータが無効である場合には、符号化パラメータ算出部１６２がベースバンドビデオを処理することで算出した符号化パラメータが選択される。 この選択は、伝送メディアの容量に対応して行われる。

【０３０７】ステップＳ９において、符号化装置６６
は、スイッチ１６３から供給された符号化パラメータに基づいて、ヒストリ情報分離装置１０５より供給されたベースバンドビデオ信号を符号化する。

【０３０８】ステップＳ１０において、符号化装置６６
は、符号化したビットストリームに、ヒストリエンコーディング装置６５より供給されたuser_dataを多重化し、出力して、処理が終了される。

【０３０９】このようにして、各履歴によって得られる符号化パラメータの組み合わせが異なっているような場合でも、支障なくトランスコーディングすることが可能となる。

【０３１０】このように、履歴情報は、図１５に示したように、ビデオストリームのuser_data（）関数の一種としてのhistory_stream（）（より正確には、converte
d_history_stream（））で伝送される。 そのhistory_st
ream（）のシンタックスは、図２４に示した通りである。 履歴情報の項目の組み合わせを表す記述子（red_bw
_flag，red_bw_indicator）、およびMPEGのストリームではサポートされていない項目（num_other_bits，num_
mv_bits，num_coef_bits）は、この図２４の中のre_cod
ing_stream_info（）関数により伝送される。

【０３１１】re_coding_stream_info（）関数は、図４
８に示すように、user_data_start_code，re_coding_st
ream_info_ID，red_bw_flag，red_bw_indicator，marke
r_bit，num_other_bits，num_mv_bits，num_coef_bits
などのデータエレメントより構成される。

【０３１２】user_data_start_codeは、user_dataが開始することを表すスタートコードである。 re_coding_st
ream_info_IDは、１６ビットの整数であり、re_coding_
stream_info（）関数の識別のために用いられる。 その値は、具体的には、”1001 0001 1110 1100”（0x91e
c）とされる。

【０３１３】red_bw_flagは、１ビットのフラグであり、履歴情報が全ての項目を伝送する場合には０とされ、このフラグの値が１である場合、このフラグに続く
red_bw_indicatorを調べることにより、図４６に示した５個の組み合わせのうち、どの組み合わせで項目が送られているのかを決定することができる。

【０３１４】red_bw_indicatorは、２ビットの整数であり、項目の組み合わせを図４９に示すように記述する。

【０３１５】即ち、図４６に示した５つの組み合わせのうち、組み合わせ１の場合、red_bw_flagは０とされ、
組み合わせ２乃至組み合わせ５のとき、red_bw_flagは１とされる。 これに対して、red_bw_indicatorは、組み合わせ２の場合０とされ、組み合わせ３の場合１とされ、組み合わせ４の場合２とされ、組み合わせ５の場合３とされる。

【０３１６】従って、red_bw_indicatorは、red_bw_fla
gが１の場合に（組み合わせ２乃至組み合わせ５の場合に）規定される。

【０３１７】更に、図４９の組み合わせ１の場合（red_
bw_flagが０である場合）、マクロブロック毎に、marke
r_bit，num_other_bits，num_mv_bits，num_coef_bits
が記述される。 これら４つのデータエレメントは、組み合わせ２乃至組み合わせ５の場合（red_bw_flagが１の場合）規定されない。

【０３１８】図３６に示したように、picture_data（）
関数は、１個以上のslice（）関数から構成される。 しかしながら、組み合わせ５の場合、picture_data（）関数を含めて、それ以下のシンタックス要素は伝送されない。 この場合、履歴情報は、picture_typeなどのpictur
e単位の情報の伝送を意図したものとなる。

【０３１９】組み合わせ１乃至組み合わせ４の場合、図３７に示したslice（）関数が存在する。 しかしながら、このslice（）関数によって決定されるsliceの位置情報と、元のビットストリームのsliceの位置情報は、
履歴情報の項目の組み合わせに依存する。 組み合わせ１
または組み合わせ２の場合、履歴情報の元となったビットストリームのsliceの位置情報と、slice（）関数によって決定されるsliceの位置情報とは、同一である必要がある。

【０３２０】図３８に示すmacroblock（）関数のシンタックス要素は、履歴情報の項目の組み合わせに依存する。 macroblock_escape，macroblock_address_incremen
t，macroblock_modes（）関数は、常に存在する。 しかしながら、macroblock_escapeとmacroblock_address_in
crementの情報としての有効性は、組み合わせによって決定される。 履歴情報の項目の組み合わせが、組み合わせ１または組み合わせ２の場合、元のビットストリームのskipped_mb情報と同じものが伝送される必要がある。

【０３２１】組み合わせ４の場合、motion_vectors（）
関数は存在しない。 組み合わせ１乃至組み合わせ３の場合、macroblock_modes（）関数のmacroblock_typeによって、motion_vectors（）関数の存在が決定される。 組み合わせ３または組み合わせ４の場合には、coded_bloc
k_pattern（）関数は存在しない。 組み合わせ１と組み合わせ２の場合、macroblock_modes（）関数のmacroblo
ck_typeによって、coded_block_pattern（）関数の存在が決定される。

【０３２２】図３９に示したmacroblock_modes（）関数のシンタックス要素は、履歴情報の項目の組み合わせに依存する。 macroblock_typeは、常に存在する。 組み合わせが組み合わせ４である場合、flame_motion_type，f
ield_motion_type，dct_typeは存在しない。

【０３２３】macroblock_typeより得られるパラメータの情報としての有効性は、履歴情報の項目の組み合わせによって決定される。

【０３２４】履歴情報の項目の組み合わせが組み合わせ１または組み合わせ２である場合、macroblock_quant
は、元のビットストリームと同じである必要がある。 組み合わせ３または組み合わせ４の場合、macroblock_qua
ntは、macroblock（）関数内のquantiser_scale_codeの存在を表し、元のビットストリームと同じである必要はない。

【０３２５】組み合わせが組み合わせ１乃至組み合わせ３である場合、macroblock_motion_forwardとmacrobloc
k_motion_backwardは、元のビットストリームと同一である必要がある。 組み合わせが組み合わせ４または組み合わせ５である場合、その必要はない。

【０３２６】組み合わせが組み合わせ１または組み合わせ２である場合、macroblock_patternは、元のビットストリームと同一である必要がある。 組み合わせ３の場合、macroblock_patternは、dct_typeの存在を示すのに用いられる。 組み合わせが組み合わせ４である場合、組み合わせ１乃至組み合わせ３における場合のような関係は成立しない。

【０３２７】履歴情報の項目の組み合わせが組み合わせ１乃至組み合わせ３の場合、macroblock_intraは、元のビットストリームと同一である必要がある。 組み合わせ４の場合には、その限りでない。

【０３２８】図２４のhistory_stream（）は、履歴情報を可変長とする場合のシンタックスであるが、図１７乃至図２３に示すように、固定長のシンタックスとする場合、固定長の履歴情報内に、伝送される項目中のどれが有効であるかを示す情報としての記述子（red_bw_flag
とred_bw_indicator）をベースバンド画像に重畳し、伝送するようにする。 その結果、この記述子を調べることにより、フィールドとして存在するが、その内容は無効であるといった判断をすることが可能となる。

【０３２９】このため、図２１に示すように、re_codin
g_stream_informationとして、user_data_start_code，
re_coding_stream_info_ID，red_bw_flag，red_bw_indi
cator，marker_bitが配置されている。 それぞれの意味は、図４８における場合と同様である。

【０３３０】このように履歴として伝送する符号化パラメータの要素をアプリケーションに応じた組み合わせで伝送するようにすることで、アプリケーションに応じた履歴を適当なデータ量で伝送するようにすることができる。

【０３３１】以上のように、履歴情報を可変長符号として伝送する場合、re_coding_stream_info（）関数は、
図４８に示すように構成され、図２４に示すように、hi
story_stream（）関数の一部として伝送される。 これに対して、履歴情報を固定長符号として伝送する場合には、図２１に示したように、history_stream（）関数の一部として、re_coding_stream_information（）が伝送される。 図２１の例では、re_coding_stream_informati
onとして、user_data_start_code，re_coding_stream_i
nfo_ID，red_bw_flag，red_bw_indicatorが伝送される。

【０３３２】また、図４５のヒストリ情報多重化装置６
３が出力するベースバンドの信号中における履歴情報の伝送のために、図５０に示すようなRe_Coding informat
ionBus macroblock formatが規定される。 このマクロブロックは、１６×１６（＝２５６）ビットで構成される。 そして、そのうちの図５０において上から３行目と４行目に示す３２ビットが、picrate_elementとされる。 このpicrate_elementには、図５１乃至図５３に示すPicture rate elementsが記述される。 図５１の上から２行目に１ビットのred_bw_flagが規定されており、
また、３行目に３ビットのred_bw_indicatorが規定されている。 即ち、これらのフラグred_bw_flag，red_bw_in
dicatorは、図５０のpicrate_elementとして伝送される。

【０３３３】図５０のその他のデータについて説明すると、SRIB_sync_codeは、このフォーマットのマクロブロックの最初の行が左詰めにアライメントされていることを表すコードであり、具体的には、”１１１１１”に設定される。 fr_fl_SRIBは、picture_structureがフレームピクチャ構造の場合（その値が”１１”である場合）、１に設定され、Re_Coding Information Bus macr
oblockが１６ラインを超えて伝送されることを表し、pi
cture_structureがフレーム構造ではない場合、０に設定され、Re_Coding Information Busが１６ラインを超えて伝送されることを意味する。 この機構により、Re_C
oding Information Busが、空間的かつ時間的にデコードされたビデオフレームまたはフィールドの対応する画素にロックされる。

【０３３４】SRIB_top_field_firstは、元のビットストリームに保持されているtop_field_firstと同じ値に設定され、関連するビデオのRe_Coding Information Bus
の時間的アライメントをrepeat_first_fieldとともに表している。 SRIB_repeat_first_fieldは、元のビットストリームに保持されているrepeat_first_fieldと同じ値に設定される。 first fieldのRe_Coding Information B
usの内容は、このフラグに示されるように繰り返される必要がある。

【０３３５】422_420_chromaは、元のビットストリームが４：２：２または４：２：０のいずれであるかを表す。 その値の０は、ビットストリームが４：２：０であり、色差信号のアップサンプリングが、４：２：２のビデオが出力されるように行われたことを表す。 その値の０は、色差信号のフィルタリング処理が実行されていないことを表す。

【０３３６】rolling_SRIB_mb_refは、１６ビットのモジュロ65521を表し、この値は、毎マクロブロック毎にインクリメントされる。 この値は、フレームピクチャ構造のフレームに渡って連続している必要がある。 さもなくば、この値は、フィールドに渡って連続している必要がある。 この値は、０から65520の間の所定の値に初期化される。 これにより、レコーダのシステムに、ユニークなRe_Coding Information Busの識別子を組み込むことが許容される。

【０３３７】Re_Coding Information Bus macroblockのその他のデータの意味は、上述した通りであるので、ここでは省略する。

【０３３８】図５４に示すように、図５０の２５６ビットのRe_Coding Information Busのデータは、１ビットずつ、色差データのLSBであるCb[0][0]，Ｃｒ[0][0]，C
b[1][0]，Ｃｒ[1][0]に配置される。 図５４に示すフォーマットにより、４ビットのデータを送ることができるので、図５０の２５６ビットのデータは、図５４のフォーマットを６４（＝２５６／４）個送ることで伝送することができる。

【０３３９】このように、復号処理および符号化処理の繰り返しによる画質劣化の蓄積を低減することができる本発明のトランスコーディングシステムにおいて、過去の符号化処理において生成された符号化パラメータを、
情報の使用頻度に応じてV Blanking領域およびH Blanki
ng領域に記述するようにしたので、必要に応じた情報を容易に取り出すことができる。 また、利用したい情報によって、必要に応じたハードウェアを選択する（あるいは、必要に応じて、ハードウェアを削除する）ことが可能である。

【０３４０】更に、本発明のトランスコーディングシステムは、ビデオデコーディングシステムで、同期符号（start_code）を、常にパケットの先頭に位置するように記述するようにしたので、ベースバンドビデオ信号を入力されたビデオエンコーディングシステムは、入力されたパケットが欠落していた場合の復帰を、容易に実行することができる。

【０３４１】また、以上の説明では、符号化パラメータを圧縮して伝送する例について説明したが、圧縮せずに伝送するものであっても本発明を適応することができる。

【０３４２】なお、上記各処理を行うコンピュータプログラムは、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの記録媒体に記録して提供するほか、インターネット、デジタル衛星などのネットワークを介して伝送し、ユーザの記録媒体に記録させることで提供することができる。

【０３４３】また、本明細書において、媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

【０３４４】なお、本明細書において、システムとは、
複数の装置により構成される装置全体を表わすものである。

【０３４５】

【発明の効果】請求項１に記載の情報処理装置、請求項６に記載の情報処理方法、請求項７に記載の記録媒体によれば、入力された符号化ストリームより補助データを抽出し、抽出された補助データを第１の補助データと第２の補助データに分離し、第１の補助データと第２の補助データを、所定の形式のデータに変換し、変換された第１の補助データと第２の補助データを、出力信号の第１の位置と第２の位置に挿入するようにしたので、受信側が、容易に、必要な情報のみを取り出すことができるデータを生成し、出力することができる。

【０３４６】請求項８に記載の情報処理装置、請求項１
３に記載の情報処理方法、請求項１４に記載の記録媒体によれば、入力された信号の第１の位置または第２の位置にそれぞれ挿入されている第１の補助データまたは第２の補助データを抽出し、抽出された第１の補助データまたは第２の補助データを選択し、選択された第１の補助データまたは第２の補助データを利用して、入力された信号を符号化するようにしたので、入力された信号から必要に応じた情報のみを容易に取り出して、符号化処理に利用することができる。

【０３４７】請求項１５に記載の情報処理装置、請求項１９に記載の情報処理方法、請求項２０に記載の記録媒体によれば、入力された第１の符号化ストリームを復号し、復号した第１の符号化ストリームを符号化して第２
の符号化ストリームを生成する。 入力された第１の符号化ストリームより補助データを抽出し、抽出した補助データを第１の補助データと第２の補助データに分離し、
分離した第１の補助データと第２の補助データを所定の形式のデータに変換し、抽出した補助データを用いて第１の符号化ストリームを復号し、変換した第１の補助データと第２の補助データを復号された第１の符号化ストリームの第１の位置と第２の位置に挿入する。 そして、
復号された第１の符号化ストリームの第１の位置または第２の位置にそれぞれ挿入されている第１の補助データまたは第２の補助データを抽出し、抽出した第１の補助データまたは第２の補助データを選択し、選択した第１
の補助データまたは第２の補助データを利用して、復号された第１の符号化ストリームを符号化して第２の符号化ストリームを生成するようにしたので、入力された信号から必要に応じた情報のみを容易に取り出して、符号化処理に利用することができる。

【図面の簡単な説明】

【図１】本発明におけるトランスコーディングシステムの構成を示すブロック図である。

【図２】図１のビデオデコーディングシステムの詳細な構成を示すブロック図である。

【図３】図１のビデオエンコーディングシステムの詳細な構成を示すブロック図である。

【図４】トランスコーディングシステムの他の構成を示すブロック図である。

【図５】図２の復号装置に内蔵されるデコーダの詳細な構成を示すブロック図である。

【図６】マクロブロックの画素を説明するための図である。

【図７】V BlankingおよびH Blankingを説明するための図である。

【図８】start_cordの位置を説明するための図である。

【図９】フィールドストラクチャおよびフレームストラクチャを説明するための図である。

【図１０】start_cordの位置を説明するための図である。

【図１１】符号化パラメータが記録される領域を説明する図である。

【図１２】図３の符号化装置に内蔵されるエンコーダの詳細な構成を示すブロック図である。

【図１３】図４のトランスコーディングシステムが実際に使用される状態を示す図である。

【図１４】密結合されたトランスコーディングシステムの構成を示すブロック図である。

【図１５】ビデオシーケンスのストリームのシンタックスを説明する図である。

【図１６】図１５のシンタックスの構成を説明する図である。

【図１７】固定長の履歴情報を記録するhistory_stream
（）のシンタックスを説明する図である。

【図１８】固定長の履歴情報を記録するhistory_stream
（）のシンタックスを説明する図である。

【図１９】固定長の履歴情報を記録するhistory_stream
（）のシンタックスを説明する図である。

【図２０】固定長の履歴情報を記録するhistory_stream
（）のシンタックスを説明する図である。

【図２１】固定長の履歴情報を記録するhistory_stream
（）のシンタックスを説明する図である。

【図２２】固定長の履歴情報を記録するhistory_stream
（）のシンタックスを説明する図である。

【図２３】固定長の履歴情報を記録するhistory_stream
（）のシンタックスを説明する図である。

【図２４】可変長の履歴情報を記録するhistory_stream
（）のシンタックスを説明する図である。

【図２５】sequence_header（）のシンタックスを説明する図である。

【図２６】sequence_extension（）のシンタックスを説明する図である。

【図２７】extension_and_user_data（）のシンタックスを説明する図である。

【図２８】user_data（）のシンタックスを説明する図である。

【図２９】group_of_pictures_header（）のシンタックスを説明する図である。

【図３０】picture_header（）のシンタックスを説明する図である。

【図３１】picture_coding_extension（）のシンタックスを説明する図である。

【図３２】extension_data（）のシンタックスを説明する図である。

【図３３】quant_matrix_extension（）のシンタックスを説明する図である。

【図３４】copyright_extension（）のシンタックスを説明する図である。

【図３５】picture_display_extension（）のシンタックスを説明する図である。

【図３６】picture_data（）のシンタックスを説明する図である。

【図３７】slice（）のシンタックスを説明する図である。

【図３８】macroblock（）のシンタックスを説明する図である。

【図３９】macroblock_modes（）のシンタックスを説明する図である。

【図４０】motion_vectors（s）のシンタックスを説明する図である。

【図４１】motion_vector（r，s）のシンタックスを説明する図である。

【図４２】Ｉピクチャに対するmacroblock_typeの可変長符号を説明する図である。

【図４３】Ｐピクチャに対するmacroblock_typeの可変長符号を説明する図である。

【図４４】Ｂピクチャに対するmacroblock_typeの可変長符号を説明する図である。

【図４５】トランスコーディングシステムの他の構成を示すブロック図である。

【図４６】履歴情報の項目の組み合わせを説明する図である。

【図４７】図４５のトランスコーディングシステムの動作を説明するフローチャートである。

【図４８】re_coding_stream_info（）のシンタックスを説明する図である。

【図４９】red_bw_flag，red_bw_indicatorを説明する図である。

【図５０】Re_Coding Information Bus macroblock for
mationを説明する図である。

【図５１】Picture rate elementsを説明する図である。

【図５２】Picture rate elementsを説明する図である。

【図５３】Picture rate elementsを説明する図である。

【図５４】Re_Coding Information Busが記録される領域を説明する図である。

【符号の説明】

１ ビデオデコーディングシステム， ２ ビデオエンコーディングシステム， １１ 復号装置， １２ ヒストリ情報多重化装置， １３ データ分類装置， １
４ ヒストリデコーディング装置， １５ フォーマットコンバータ，１６ V Blanking挿入装置， １７ フォーマットコンバータ， １８ H Blanking挿入装置，
２１ ユーザデータデコーダ， ２２ コンバータ，
２３ヒストリVLD， ３１ H Blanking抽出装置，
３２ フォーマットコンバータ ３３ マルチプレクサ， ３４ V Blanking抽出装置， ３５ フォーマットコンバータ， ３６ パラメータ再生部， ３７ ヒストリ情報分離化装置，３８ ヒストリエンコーディング装置， ３９ 符号化装置， ４１ ユーザデータフォーマッタ， ４２ コンバータ， ４３ヒストリVL
C， ５１ ビデオデコーディングシステム， ５２
ビデオエンコーディングシステム， ６１復号装置，
６２ ヒストリデコーディング装置， ６３ ヒストリ情報多重化装置， ６４ ヒストリ情報分離装置 ，６
５ ヒストリエンコーディング装置， ６６ 符号化装置， ７１ ユーザデータデコーダ， ７２ コンバータ， ７３ ヒストリVLD， ６４ ヒストリ情報分離化装置， ６５ ヒストリエンコーディング装置， ６
６ 符号化装置， ７４ ユーザデータフォーマッタ，
７５ コンバータ， ７６ヒストリVLC， ８１ デコーダ， １０１エンコーダ， １５１ 符号化パラメータ選択回路， １６１ 組み合わせ記述子分離部，
１６２ 符号化パラメータ算出部， １６３ スイッチ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 田原 勝己 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C053 FA14 FA20 GB01 GB05 GB06 GB10 GB38 JA26 KA24 KA25 LA15 5C059 KK41 MA00 MA01 MA04 MA05 MA12 MA21 MA23 PP04 RB06 RB14 RC02 RC12 SS01 SS02 SS12 SS20 SS22 TA16 TA17 TA57 TB04 TC27 TC43 UA02 UA05 UA39