【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオコーディング及びデコーディング方法に係り、特にデータ分割構造を用いるビデオコーディング方法及びデコーディング方法に関する。 また本発明は、前記方法が実行されるビデオコーディング及びデコーディング装置に関する。

【０００２】

【従来の技術】国際電気通信連合（International Tel
ecommunication Union：ITU）内のビデオコーディンググループ、所謂スターディグループ１６では、Ｈ． ３２
Ｘをはじめとする数多くのテレビ会議に関わった標準を定義してきており、またスターディグループ１６下の課題１５（Question 15）は最近、所謂Ｈ． ２６３＋＋と呼ばれる進んだビデオコーディング構造に対する開発に取り組んでいる。 Ｈ． ２６３＋＋における最も重要な特徴は、エラーの生じがちの無線チャネルに対するエラー復旧性（error resilient）にある。 今まで多種多様な技術的起案がＩＴＵ−Ｔ内のＱ． １５／ＳＧ１６に提案されている。 中でも、ＵＣＬＡ大学と三星電子（株）が共同して提案したデータ分割及び逆可変長コーディング（reversible variable length coding：RVLC）方法は、Ｈ． ２６３＋＋におけるエラー復旧性の機能を形成する上で有効であると裏付けられている。 このようにＨ． ２６３＋＋は、結局エラー復旧性の分野で採択されなかったものの、ＩＴＵ−Ｔ内のＱ． １５／ＳＧ１６のエラー復旧性に関わったセッションにおける最近の多種多様な技術的起案は、このデータ分割及び逆可変長コーディングをベースとしている。 本発明は、このデータ分割に基づく。

【０００３】

【課題を解決するための手段】本発明が果たそうとする目的は、チャネル状態及びシンタックスの重要度に応じて、冗長ビットを適応的にビデオビットストリームに挿入してエンコーディングを行うビデオコーディング方法を提供することである。

【０００４】本発明が果たそうとする他の目的は、前記ビデオコーディング方法によってエンコーディングされたビデオビットストリームをデコーディングするビデオデコーディング方法を提供することである。

【０００５】

【課題を解決するための手段】前記目的を成し遂げるために、本発明の一態様によるビデオコーディング方法は、通信チャネルのエラー状態を表すチャネル状態情報を入力するステップと、前記チャネル状態情報に基づき、シンタックス別に区分されたデータパケット内に冗長情報を階層化して適応的に挿入するステップとを含むことを特徴とする。

【０００６】前記目的を成し遂げるために、本発明の他の一態様によるビデオコーディング方法は、（ａ）チャネルのエラー状態を表す情報を含めたチャネル状態情報を入力するステップと、（ｂ）前記チャネル状態情報に基づき、付加階層の要否を決定するステップとを備える。 前記ビデオコーディング方法は、前記ステップ（ｂ）において、付加階層が必要でないと決定された場合、映像データ情報及び管理情報を含めた第１階層を構成させるステップを行い、前記ステップ（ｂ）において、第２階層のみが必要であると決定された場合には、
前記第１階層内の情報に相当する冗長情報を含めた第１
補助情報を挿入して、第２階層を構成させるステップを行う。 また、前記ステップ（ｂ）において、第２階層及び第３階層が両方とも必要であると決定された場合には、前記第１階層内の情報に相当する冗長情報を含めた第１補助情報をビデオビットストリームに挿入して第２
階層を構成させるステップと、前記第１階層内の情報に相当する他の冗長情報を含めた第２補助情報をビデオビットストリームに挿入して第３階層を構成させるステップとを行う。

【０００７】また、前記ビデオコーディング方法は、前記決定ステップにおいて、第２階層のみが必要であると決定された場合、または第２階層及び第３階層が両方とも必要であると決定された場合には、該当パケットの先頭部分に特定のマーカを付加するステップをさらに備えることが好ましい。

【０００８】また、前記ビデオコーディング方法は、前記ステップ（ｂ）において、第２階層のみが必要であると決定された場合、または第２階層及び第３階層が両方とも必要であると決定された場合には、付加階層が存することを表す第２フラグビットを挿入するステップをさらに備えることが好ましい。

【０００９】また、前記第１補助情報は、前記第１階層内におけるピクチャデータのコーディング変数に関する情報、及びコーディングが行われたか否かを表す１つ以上のＣＯＤビットを含むことが好ましい。 前記ＣＯＤビットは、各マクロブロック当り３ビットからなることが好ましい。 また、前記第１補助情報は、マクロブロックの色度の種類を表す１つ以上のＭＣＢＰＣビットを含むことが好ましい。 前記ＭＣＢＰＣビットは、コーディング済みのマクロブロック当り５ビットからなることが好ましい。

【００１０】また、前記第２補助情報は、前記第１階層内におけるピクチャデータのコーディング変数に関する情報を含むことが好ましい。 例えば、前記第２補助情報は、マクロブロックの色度の種類を表すＭＣＢＰＣビットの数を表示するビットを含むことが好ましい。 前記Ｍ
ＣＢＰＣビットの数を表示するビットは、ＱＣＩＦ当り４ビットからなることが好ましい。 また、前記第２補助情報は、コーディングが行われたか否かを表す１つ以上のＣＯＤビットを含むことが好ましい。 前記ＣＯＤビットは、各マクロブロック当り１ビットからなることが好ましい。 また、前記第２補助情報は、マクロブロックの種類を表すＭＢタイプビットを含むことが好ましく、さらに前記ＭＢタイプビットは、各マクロブロック当り２
ビットからなることが好ましい。

【００１１】前記他の目的を成し遂げるために、本発明の一態様によるビデオデコーディング方法は、シンタックス別に区分されたデータパケット内に、冗長情報が階層化され適応的に挿入されたビデオビットストリームを入力するステップと、付加階層の存否といかなる階層が挿入されたかに関する情報を識別するステップと、及び挿入階層に関する情報に基づき、該当階層をデコーディングするステップとを備えることを特徴とする。

【００１２】また、前記他の目的を成し遂げるために、
本発明の他の一態様によるビデオコーディング方法は、
シンタックス別に区分されたデータパケット内に、冗長情報が階層化され適応的に挿入されたビデオビットストリームを入力するステップと、前記ビデオビットストリームから再同期マーカを検出して第１階層を限定し、且つ前記第１階層内における挿入階層の存否を表す第１フラグビットを識別するステップとを備える。 また、前記デコーディング方法は、第１フラグビットが付加階層が存しないことを表示した場合、第１階層をデコーディングするステップと、第１フラグビットが付加階層が存することを表示した場合、第２階層の開始を表すマーカを識別するステップとを備える。 また、前記デコーディング方法は、第３階層の存否を表す第２フラグビットを識別するステップと、第２フラグビットが第３階層が存しないことを表示した場合、第１階層及び第２階層をデコーディングするステップと、及び第２フラグビットが第３階層が存することを表示した場合、第１階層、第２階層及び第３階層をデコーディングするステップとを備えることを特徴とする。

【００１３】

【発明の実施の形態】以下、添付された図面に基づき、
本発明による望ましい実施形態を詳細に説明する。 図１
は、本発明によるビデオコーディング方法及び該方法が具現されるビデオデータ送受信システムを示す概略構成図である。 図１を参照すると、本発明によるビデオコーディング方法及び該方法が具現されるビデオデータ送受信システムは、大別して伝送端１０と受信端１２とで構成される。 送信端１０は、Ｈ． ２６３エンコーダ１０２
及び第１システム１０４を備え、また受信端１２は、
Ｈ． ２６３デコーダ１２６及び第２システム１２４を備える。

【００１４】かかるシステムの動作につき述べると、先ず伝送端１０において、Ｈ． ２６３エンコーダ１０２はビデオデータをエンコーディングし、第１システム１０
４はエンコーディングされたビデオデータを受け取って、多重化（multiplexing）し、且つ制御情報の付加などを行うことにより、ビデオビットストリームをＲＦ端を介して無線通信チャネルに上乗せる。 無線通信チャネルを介してビデオビットストリームを受け取った受信端１２において、第２システム１２４は多重化解除（demu
ltiplexing）及び制御情報の抽出を行う。 多重化解除されたエンコーディング済みのビデオビットストリームは、Ｈ． ２６３デコーダ１２６でデコーディングされる。 一方、例えば、Ｈ． ２６３デコーダ１２６のデコーディング過程中に、送られてきたビデオビットストリームのエラー情報を含めたチャネル状態情報が抽出される場合がある。 すると、受信端１２から、別途のバックチャネルを介して前記チャネル状態情報が発せられる。

【００１５】これにより、伝送端１０における第１システム１０４は、バックチャネルからエンコーディングされたビデオビットストリームの状態を含めたチャネル状態情報を受け取り、該情報に基づき、Ｈ． ２６３エンコーダ１０２へ、冗長情報の付加された構造を限定できるように制御するための階層制御情報を発する。 Ｈ． ２６
３エンコーダ１０２は、受け取った階層制御情報に基づいて適応的に冗長情報を挿入する。 これにより、チャネル状態に応じて冗長情報の挿入が制御でき、エラーの生じがちの無線チャネルにおけるエラー復旧性が改善される。

【００１６】次に、上記したビデオコデックにて具現可能な本発明によるビデオコーディング及びデコーディング方法について説明する。 図２は、本発明の実施形態によるビデオエンコーディング方法の主なステップを示すフローチャートである。 図２を参照すると、本発明のビデオエンコーディング方法は、チャネルのエラー状態を表す情報を含めたチャネル状態情報を入力するステップ（Ｓ２０２）と、前記チャネル状態情報に基づき、付加階層の要否を決定するステップ（Ｓ２０４）とを備える。 本実施形態においては、ベースラインストリームに対する第１階層と共に、第２階層及び第３階層の付加階層を限定できるようにした。

【００１７】次に、前記ステップ２０４において、付加階層が必要でないと決定された場合には、第１フラグビットを挿入して付加階層が存しない旨を表示（Ｓ２１
０）し、且つ映像データ情報及び管理情報を含めた第１
階層を構成させる（Ｓ２１２）。 これに対し、ステップ２０４において、第２階層のみが必要であると決定された場合には、第１フラグビットに付加階層が存する旨を表示し（Ｓ２２４）、且つ第１階層及び第２階層を構成させる（Ｓ２２６、Ｓ２４４）。 また、ステップ２０４
において、第２階層及び第３階層が両方とも必要であると決定された場合には、同じく第１フラグビットに付加階層が存する旨を表示し（Ｓ２２４）、且つ第１階層を構成させた後に（Ｓ２２６）、前記第１階層内の情報に相当する冗長情報を含めた第１補助情報、及び前記第１
階層内の情報に相当する他の冗長情報を含めた第２補助情報を挿入して第３階層を構成させる（Ｓ２６４）。 ここで、第１補助情報及び第２補助情報は、前記第１階層内の情報に相当する冗長情報を含めた方が良い。 また、
ステップ２０４において、第２階層のみが必要であると決定された場合、及び第２階層及び第３階層が両方とも必要であると決定された場合には、すなわち、付加階層が必要であると決定された場合には、該当する付加階層の先頭部分に特定のマーカを挿入すれば良い（Ｓ２２
２）。 また、第２階層のみを構成させる場合、及び第２
階層及び第３階層を両方とも構成させる場合には、それぞれ第３階層が存しない旨や第３階層が存する旨を、該当パケットに第２フラグビットを付加することにより表示すれば良い（Ｓ２４２、Ｓ２６２）。

【００１８】以上の方法により、チャネル状態情報に基づいて、シンタックス別に区分されたデータパケット内に冗長情報が階層化され適応的に挿入され、該ビデオビットストリームが出力される（Ｓ２８２）。

【００１９】また、当業者によって予測可能なように、
エラー復旧性は、パケット内に階層が含まれるにつれて、コーディング効率が犧牲にされながら次第に向上される。 これにより、階層モード（第１階層のみ、第１及び第２階層、第１、２、及び３階層）の選択は、チャネル状態をモニタリングすることによりシステムにおいて完壁に具現可能である。 いかにモードを選択して用いるかは、当業者によって適宜選択可能である。

【００２０】本発明による実施形態においては、単に、
ＱＣＩＦシーケンス及び各パケット内の１１個のマクロブロックに対して実験を行った。 図３には、上記した本発明の実施形態によるビデオコーディング方法によってエンコーディングされたビットストリーム構造の一例を示してある。

【００２１】図３を参照すると、上記した本発明の実施形態によるビデオコーディング方法によってエンコーディングされたビットストリームは、第１階層のみ、若しくは第１階層＋第２階層、若しくは第１階層＋第２階層＋第３階層の構成であり得る。 第１階層は、付加階層の存否を表す第１フラグビット（Flag1）と、ＤＣ、ＡＣ
及びＭＶなどＭＰＥＧに係わる、当業者によく知られている圧縮映像データ情報及びコーディング変数に係わる情報を含めたヘッダビット（header）とで構成される。
第２階層には、該当パケットの先頭部分に付加された特定のマーカ（marker）と、付加階層が存する旨を表す第２フラグビット（Flag2)が含まれる。 前記第２階層には、さらに前記第１階層内の情報に相当する冗長情報を含めた第１補助情報（Aux Info 1）が含まれる。 そして第３階層には、前記第１階層内におけるピクチャデータのコーディング変数に係わる情報を含めた第２補助情報（Aux Info 2）が含まれる。

【００２２】図４は、図３に示した第２階層に対する構造の一例である。 図４を参照すると、第２階層は、図２
に基づき説明したように、付加階層が必要であると決定された場合に相当するため、該当する第２階層の先頭部分に特定のマーカ、例えば、この実施形態においては２
２ビットのマーカ（００００ ００００ ００００００
００ １１００ ００）が付加される。 また、前記第２
階層には、１ビット分の第２フラグビット、及びコーディングが施されたか否かを表す各マクロブロック当り３
ビット、すなわち、合計３３ビットのＣＯＤビットが含まれる。 また、第２階層には、マクロブロックの色度の種類を表す各マクロブロック当り５ビットのＭＣＢＰＣ
（MaCro Block Pattern Chrominance）ビットが含まれる。 ＭＣＢＰＣは、コーディングが施されたか否かに応じて存在することもあれば、存在しないこともあるので、最大５５ビットで構成される。

【００２３】図５は、図３に示した第３階層に対する構造の一例である。 図５を参照すると、第３階層は、第２
補助情報としてマクロブロックの色度の種類を表すＭＣ
ＢＰＣビットの数を表示するビットを含む。 前記ＭＣＢ
ＰＣビットの数を表示するビットはＱＣＩＦ当り４ビットからなることが好ましい。 また、第３階層は、コーディングが施されたか否かを表す各マクロブロック当り各１ビットずつ、すなわち、合計１１ビットのＣＯＤビットを含む。 また、第３階層は、マクロブロックの種類を表すＭＢタイプビットを含む。 ここで、前記ＭＢタイプビットは、各マクロブロック当り２ビットからなることが好ましく、コーディングが施されたか否かに応じて存在することもあれば、存在しないこともあるため、最大２２ビットで構成される。

【００２４】本発明の実施形態によるビデオコーディング及びデコーディング方法を評価するために、コンピュータシミュレーションを行った。 シミュレーション方法としては、１９９８年７月、ＩＴＵ−Ｔ Ｑ． １５／Ｓ
Ｇ１６により発表された、エラープロファイルと、ビットレート及びフレームレートなどのコーディング変数と、ＰＳＮＲ測定、及びエンコーディングされるべきフレームの最小長などに係わる技術的な寄与度を評価するための通常のシミュレーション条件を用いた方法を取った。 このシミュレーション実験では、通常の条件下で、
４８ｋｂｐｓ／秒、１０ｆｐｓ／秒を期する４つの実験手順に対して９５０フレームのエンコーディングを行った。 イントラ（INTRA）フレームに対する量子化器の量子化係数は１５に設定され、且つスキップ（skip）フレームの枚数は１０フレーム／秒に対して２に設定された。 前記実験においては、提案された数多くのエラープロファイルの内、３種類の広帯域ＣＤＭＡエラープロファイルを選んで用いた。 その特性を下記の表１に示す。

【００２５】

【表１】

【００２６】表２ないし表５には、初期５００枚のデコーディングされたフレームに対して、平均的なピーク対ピーク信号対雑音比（ＰＳＮＲ）をデシベル（ｄＢ）単位にて示す。 それぞれの場合、フレーム損失は各エラープロファイルに対して略一定であった。

【００２７】

【表２】

【００２８】表２には、３２ｋｂｐｓ／１０ｆｐｓの第１サンプルシーケンス（Mother and daughter seque
ncesとも呼ばれる）に対するチャネルのエラー特性別Ｐ
ＳＮＲを示してある。

【００２９】

【表３】

【００３０】表３には、３２ｋｂｐｓ／１０ｆｐｓの第２サンプルシーケンス（Containersequencesとも呼ばれる）に対するチャネルのエラー特性別ＰＳＮＲを示してある。

【００３１】

【表４】

【００３２】表４には、４８ｋｂｐｓ／１０ｆｐｓの第３サンプルシーケンス（Forman sequencesとも呼ばれる）に対するチャネルのエラー特性別ＰＳＮＲを示してある。

【００３３】

【表５】

【００３４】表５には、４８ｋｂｐｓ／１０ｆｐｓの第４サンプルシーケンス（News sequencesとも呼ばれる）に対するチャネルのエラー特性別ＰＳＮＲを示してある。

【００３５】表２ないし表５から明らかなように、全てのサンプルシーケンス、エラー特性に対し、Ｈ． ２６３
＋エンコーディングのみの場合、データ分割を適用したエンコーディングの場合、データ分割に第２階層を付加した場合、及びデータ分割に第２階層及び第３階層を付加した場合の順番でそのＰＳＮＲ値が上がる。 例えば、
表２の３２ｋｂｐｓ／１０ｆｐｓの第１サンプルシーケンス（Mother and daughter sequencesとも呼ばれる）を用いた場合、エラー１の状況下におけるＰＳＮＲ
をシミュレーションした結果から明らかなように、既存のＨ． ２６３+エンコーディング処理を行った場合には２７．３４ｄＢであり、データ分割を適用してエンコーディングを行った場合には２９．１０ｄＢであったのに対し、データ分割に第２階層を付加した場合と、データ分割に第２階層及び第３階層を付加した場合にはそれぞれ３０．２６ｄＢ及び３０．８７ｄＢに向上される。

【００３６】また、上記したエラー条件下でＤ１テープによる画質比較などを行った結果、良好なチャネル環境下ではＨ． ２６３+標準のみを用いても良好な画質が得られるのに対し、過剰のチャネルエラーが生じうる無線チャネル環境下では、該エラー復旧性が画質にさらなる影響を与えることになり、本発明によるコーディング及びデコーディング方法を適用した場合、エラー性のデコーディングによる致命的なエラー映像の発生頻度が格段に落ちることから、全体として映像品質が向上される。

【００３７】一方、圧縮率及びコーディング効率は、エラー復旧性と逆比例的な関係がある。 従って、一定のビット容量をもつチャネルが与えられると、エンコーディングされたストリームにさらなるエラー復旧性を持たせるには、コーディング効率を犧牲にしてソースエンコーディングされたビットストリームに冗長を付加する必要があり、この場合、圧縮率が落ちる。 ところが、本発明による方法は、上記した特性と共に、速度制御を行いつつも固定長の冗長が取れるという利点がある。 冗長に対するビット数の変化は、所望の速度制御に対する極めて良好な近似化を与える。

【００３８】

【発明の効果】以上述べたように、本発明によるビデオコーディング及びデコーディング方法は、ビデオコデックにて具現でき、エラーの生じがちのチャネル環境下で、エラーのデコーディングを減少させることによりＰ
ＳＮＲが改善され、その結果、全体として映像品質が向上される。

【００３９】さらに、上記した本発明によるビデオコーディング及びデコーディング方法は、それぞれビデオコーディング装置及びビデオデコーディング装置にて具現可能である。

【００４０】好ましくは、前記ビデオコーディング装置（図示略）は、チャネル情報入力部、付加階層決定部及びエンコーディング部を備える。

【００４１】前記チャネル情報入力部は、チャネルのエラー状態を表す情報を含めたチャネル状態情報を出力する。 前記付加階層決定部は、前記チャネル状態情報に基づいて、付加階層の要否を決定する。

【００４２】前記エンコーディング部は、映像データ情報及び管理情報を含めた第１階層データフィールドを生成させる。 また、前記エンコーディング部は、前記付加階層決定手段で第２階層のみが必要であると決定された場合、または第２階層及び第３階層が両方とも必要であると決定された場合には、前記第１階層内の情報に該当する冗長情報を含めた第１補助情報を第２階層データフィールドとして第１階層データフィールドに挿入する。
また、前記エンコーディング部は、前記付加階層決定部で第２階層のみが必要であると決定された場合、または第２階層及び第３階層が両方とも必要であると決定された場合、第１補助情報の挿入された信号に前記第１階層内の情報に該当する他の冗長情報を含めた第２補助情報を挿入する。

【００４３】さらに、好ましくは、前記ビデオデコーディング装置（図示略）は、ビットストリーム入力部と、
識別部及びデコーディング部を備える。

【００４４】ビットストリーム入力部は、シンタックス別に区分されたデータパケット内に冗長情報が階層化され適応的に挿入されたビデオビットストリームを入力する。 前記識別部は、前記ビデオビットストリームから再同期マーカ（Resync Marker）を検出して第１階層を限定し、且つ前記第１階層内における付加階層の存否を表す第１フラグビットを識別する。 さらに、識別手段は、
第１フラグビットが付加階層が存する旨を表示した場合、第２階層の開始を表示するマーカを識別する。 さらに、識別手段は、第３階層の存否を表す第２フラグビットを識別する。

【００４５】前記デコーディング部は、第１フラグビットが付加階層が存しない旨を表示した場合、第１階層をデコーディングし、第２フラグビットが第３階層が存しない旨を表示した場合、第１階層及び第２階層をデコーディングする。 さらに、前記デコーディング部は、第２
フラグビットが、第３階層が存する旨を表示した場合、
第１階層、第２階層及び第３階層をデコーディングする。

【００４６】さらに、上記した本発明によるビデオコーディング及びデコーディング方法は、コンピュータで実行できるプログラムにて作成可能である。 前記プログラムは、コンピュータ読み取り可能な媒体に記憶可能である。 前記コンピュータ読み取り可能な媒体としては、磁気記録媒体、光記録媒体及びキャリアウェーブ媒体でありうる。 さらに、かかる機能的プログラム、コード及びコードセグメントは、本発明の属する技術分野のプログラマーによって容易に推論可能である。

【図面の簡単な説明】

【図１】 本発明によるビデオコーディング及びデコーディング方法が具現されるビデオデータ送受信システムを示す概略構成図である。

【図２】 本発明の実施形態によるビデオコーディング方法の主なステップを示す流れ図である。

【図３】 本発明の実施形態によるビデオコーディング方法によってエンコーディングされたビットストリーム構造の一例を示した図である。

【図４】 図３に示した第２階層に対する構造の一例を示した図である。

【図５】 図３に示した第３階層に対する構造の一例を示した図である。

【符号の説明】

１０ 伝送端 １２ 受信端