【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は映像符号化方法及び装置に係り、特にＹＵＶ色領域における人間の視感色差の範囲を定義するルックアップテーブル（ＬＵＴ）を用いて、動き映像間の動きを差分パルスコード変調（ＤＰ
ＣＭ：Differential Pulse Coded Modulation ）するときに発生される予測エラーから視感エラーを取り除いてビットの発生量を低減するための映像符号化方法及び装置に関する。

【０００２】

【従来の技術】映像媒体の発展と共に映像情報に対する各種のサービスが多様になり、様々な映像情報サービスの提供による映像情報量の増加は不可避である。 しかしながら、従来のアナログ映像伝送方式では、多量の映像情報を使用者の多種の要求を満足させるために実時間に処理できないという問題がある。 したがって、アナログ映像をディジタル映像に変換し、ディジタル映像信号の重複性を用いて映像信号を圧縮させることにより、映像の画質は保ちつつ映像の情報量のみを低減させ得るディジタル映像信号圧縮符号化方式（以下、符号化方式という。）が提案された。

【０００３】静止映像でない動き映像に対するＭＰＥＧ
２符号化方式は、ＹＵＶ色座標系より構成されるＩ，
Ｐ，Ｂディジタル映像信号を符号化するのにおいて、マクロブロック単位の予測エラーを定義するＤＰＣＭ過程と、ブロックの単位で予測エラーの各周波数成分の大きさを定義する離散余弦変換（ＤＣＴ）過程と、目標のビット発生量と実際のビット発生量との差を表す累積バッファ量を用いて量子化間隔を決めるレート制御過程と、
ＤＣＴされた予測エラーを量子化マトリックスとレート制御過程により定義される量子化間隔を用いて量子化を行う量子化過程の４段階より構成される。

【０００４】このようなＭＰＥＧ２符号化方式では、映像信号の重複性を低減するため、以前の映像と現在の映像との相関関係を動きベクトルにより定義する。 ところが、実際の現在の映像を符号化するとき、動きベクトルを推定・補償するＤＰＣＭ過程で定義した予測映像と符号化すべき実際の元映像との予測エラーのみを復号化し、これを制限された伝送路を通してデコーダに送り元の映像を再び復元する。

【０００５】ここで、映像信号の重複性を低減するためのＤＰＣＭ過程は次のとおりである。 ＤＰＣＭ過程においては、図３に示されたように現在の映像のマクロブロックＣを符号化するとき、以前の元現像や以後の元映像でマクロブロックＣと同様の位置（ｘ，ｙ）にあるマクロブロックｆ，ｂにそれぞれ定義された検索ウィンドゥ内で最小のエラー値を有するマクロブロック、すなわち、マクロブロックＣと最も相似している映像信号の特性を有するマクロブロックを、図４に定義された絶対エラー和ｄｍｃを用いる全画素探索方法または半画素探索方法を用いて最小の絶対エラー和を有する動きベクトル（ｆＭＶｘ，ｆＭＶｙ）または（ｂＭＶｘ，ｂＭＶｙ）
として決めて定義する。 そして、推定された動きベクトルを用いて図４に定義されたように、復元映像に対する２乗エラー値ｖａｒ１と２乗エラー和ｖｍｃ、現在の元映像の平均分散値ｖａｒ０を互いに比べて予測映像を定義する。 このような方法により定義された予測映像と現在の元映像との差を予測エラーとする。

【０００６】

【発明が解決しようとする課題】しかしながら、この方法は次の問題がある。 第一に、図３に示されたように、
マクロブロックｍ１，ｍ２でｅとして定義された部分が予測エラーとなるが、ＤＰＣＭ過程で予測エラーとして定義されたｅ領域が実際の人間の視感では色差を感知し得ない程度の小さいエラーを発生すると、この予測エラーは無視することができる。 しかしながら、ＭＰＥＧ２
符号化方式では実際の予測映像と現在の元映像との視感の差が発生しない場合にも、計算上、定義された差のみを考慮して予測エラーとして処理するため、不要なビットを発生させるという問題がある。

【０００７】第二に、映像信号を圧縮させる量子化過程で視感色差の範囲（ＣＴ：Color Tolerance ）に対して視感色差を感知し得ない予測エラーＤをＱＭの大きさを有する量子化間隔で量子化する場合、０＜Ｄ＜ＣＴ，０
＜ＣＴ＜２ＱＭ，Ｄ＞ＱＭ／２の関係となるときに問題が発生する。 これらを次の式(1),(2) 、すなわち、ＭＰ
ＥＧ２量子化関係式に基づき詳しく説明する。

【０００８】 Ｄ′＝Ｒｏｕｎｄ（Ｄ／ＱＭ＋0.499999） …(1) ＱＥ＝Ｄ−Ｄ′＊ＱＭ …(2) ０＜Ｄ＜ＣＴ，０＜ＣＴ＜２ＱＭ，Ｄ＜ＱＭ／２を満足させる予測エラーＤを式(1),(2) のように量子化する場合、量子化エラー（ＱＥ＝Ｄ）＜ＣＴの関係を満足させるため、量子化エラーによる復元映像の画質劣化は発生しない。 しかしながら、０＜Ｄ＜ＣＴ，０＜ＣＴ＜２Ｑ
Ｍ，Ｄ＞ＱＭ／２の関係を有する予測エラーＤを量子化する場合、量子化エラーＱＥは、ＱＥ＝Ｄ−ＱＭの関係により復元映像の画質劣化を発生させる。 このように、
実際の視感色差を感知することができないエラーであるとしても、量子化過程で復元映像の画質劣化を発生させることがある。

【０００９】本発明の目的は、上述した問題点を解決するために、差分パルスコード変調による予測エラーを視感色差の範囲を用いて低減させるための映像符号化方法及び装置を提供することにある。

【００１０】

【課題を解決するための手段】前記目的を達成するために、請求項１記載の第１の発明による映像符号化装置は、現在の元映像、以前の元映像及び以前の復元映像を入力して前記現在の元映像と以前の復元映像から差分パルスコード変調により予測映像を生成する映像入力部と、前記映像入力部から出力される現在の元映像の各画素の色成分に対する視感色差の範囲を決める視感色差範囲決め部と、前記映像入力部から出力される予測映像と現在の元映像との予測エラーを発生させる予測エラー発生部と、前記予測エラー発生部から出力される予測エラーと前記視感色差範囲決め部から出力される各画素の色成分に対する視感色差の範囲とを比べる視感予測エラー比較部と、前記視感予測エラー比較部における比較結果により視感色差を有する予測エラーで再構成する視感予測エラーを発生させる視感予測エラー発生部と、前記視感予測エラー発生部から出力される視感予測エラーと予測映像を用いて前記現在の元映像を符号化して復元する復号化部とを含むことを要旨とする。 従って、量子化エラーにより発生される復元映像の画質劣化を減少し、予測エラーの減少により符号化された映像のビット発生量を低減することができる。

【００１１】請求項２記載の第２の発明は、前記映像入力部は、前記以前の元映像と現在の元映像から動きを推定して動きベクトルを生成する動きベクトル推定部と、
前記動きベクトルを用いる差分パルスコード変調により現在の元映像と以前の復元映像に適用されて予測映像を生成する動きベクトル補償部とを備えることを要旨とする。 従って、現在の元映像、以前の元映像、以前の復元映像と現在の元映像に対する予測映像を出力できる。

【００１２】請求項３記載の第３の発明は、前記視感色差範囲決め部では映像を構成するＹＵＶ不均等視感色空間をＣＩＥ Ｌ ^＊ ａ ^＊ ｂ ^＊均等視感色空間に変換してＬ，ａ，ｂ色成分に対する視感色差の範囲を決め、前記ＣＩＥ Ｌ ^＊ ａ ^＊ ｂ ^＊視感色差の範囲をＹ，Ｕ，Ｖ色成分に対する視感色差の範囲に変換することにより、各画素のＹＵＶ視感色差の範囲を決めることを要旨とする。
従って、各々の色成分の視感色差範囲の定義にかかる演算時間を減らして実時間処理を可能にできる。

【００１３】請求項４記載の第４の発明は、前記視感色差範囲決め部ではＹ，Ｕ，Ｖ色成分に対する視感色差の範囲を視感色差ルックアップテーブルを用いて定義することを要旨とする。 従って、各々の色成分の視感色差範囲の定義にかかる演算時間を減らして実時間処理を可能にできる。

【００１４】請求項５記載の第５の発明は、前記視感色差ルックアップテーブルはＹＵＶ不均等視感色空間で５
１２個の代表色度座標によりそれぞれ定義されるＹ，
Ｕ，Ｖ色成分の視感色差範囲値で構成されることを要旨とする。 従って、各々の色成分の視感色差範囲の定義にかかる演算時間を減らして実時間処理を可能にできる。

【００１５】請求項６記載の第６の発明は、前記視感予測エラー比較部では各Ｙ，Ｕ，Ｖ色成分に対する予測エラーＤＹ，ＤＵ，ＤＶをそれぞれ前記視感色差ルックアップテーブルにより定義された現在の元映像に対する視感色差の範囲（ｍＹ，ｐＹ），（ｍＵ，ｐＵ），（ｍ
Ｖ，ｐＶ）と比べることを要旨とする。 従って、各々の色成分の視感色差範囲の定義にかかる演算時間を減らして実時間処理を可能にできる。

【００１６】請求項７記載の第７の発明は、前記視感予測エラー発生部では前記視感予測エラー比較部における比較結果により前記視感色差の範囲内に存する予測エラーを零に置き換えて前記視感予測エラーを再構成することを要旨とする。 従って、色差が感知できない予測エラーとして判別された予測エラー値を零として定義して新たな視感予測エラーを発生できる。

【００１７】請求項８記載の第８の発明は、前記復号化部は、前記視感予測エラー発生部から出力される視感予測エラーを量子化する量子化部と、前記量子化された視感予測エラーを逆量子化して復元された視感予測エラーを出力する逆量子化部と、前記復元された視感予測エラーを予測映像と加算して復元映像を生成する加算器とにより構成されることを要旨とする。 従って、実際の映像媒体を通して使用者に復元映像を提供できる。

【００１８】請求項９記載の第９の発明による映像符号化方法は、（ａ）現在の元映像と以前の復元映像から差分パルスコード変調により予測映像を生成する段階と、
（ｂ）前記現在の元映像の各画素の色成分に対する視感色差の範囲を決める段階と、（ｃ）予測映像と前記現在の元映像との予測エラーを発生させる段階と、（ｄ）前記（ｃ）段階から出力される予測エラーと前記（ｂ）段階から出力される各画素の色成分に対する視感色差の範囲とを比べる段階と、（ｅ）前記（ｄ）段階における比較結果により視感色差を有する予測エラーで再構成する視感予測エラーを発生させる段階と、（ｆ）前記（ｅ）
段階から出力される視感予測エラーと前記予測映像を用いて映像を符号化して復元する段階とを含むことを要旨とする。 従って、量子化エラーにより発生される復元映像の画質劣化を減少し、予測エラーの減少により符号化された映像のビット発生量を低減することができる。

【００１９】

【発明の実施の形態】以下、添付した図面に基づき本発明の実施の形態を詳しく説明する。 図１は本発明による映像符号化装置を示すブロック図であって、現在の元映像、以前の元映像及び以前の復元映像を入力して現在の元映像と以前の復元映像から差分パルスコード変調により予測映像を生成する映像入力部１１と、映像入力部１
１から出力される現在の元映像の各画素に対する視感色差の範囲を決める視感色差範囲決め部１２と、映像入力部１２から出力される予測映像と現在の元映像との予測エラーを発生させる予測エラー発生部１３と、予測エラー発生部１３から出力される予測エラーと視感色差範囲決め部１２から出力される各画素の視感色差の範囲とを比べる視感予測エラー比較部１４と、視感予測エラー比較部１４における比較結果により視感色差を有する予測エラーで再構成する視感予測エラーを発生させる視感予測エラー発生部１５と、視感予測エラー発生部１５から出力される視感予測エラーと予測映像を用いて現在の元映像を符号化して復元する復号化部１６とより構成される。

【００２０】一方、本発明の作用及び効果に対して図１
乃至図９を参照して説明すると、次のとおりである。

【００２１】本発明は圧縮ビット量を低減しつつ、復元された映像の画質を向上させることのできるＭＰＥＧ符号化装置に係り、ＤＰＣＭ過程で発生される予測エラーが実際の肉眼で感知することができない程度の小さいエラーであれば、この予測エラーは復元映像の画質に影響を及ぼさないということに基づく。

【００２２】図１において、映像入力部１１は図２に示されたように動きベクトル推定部２１と動きベクトル補償部２２とで構成されている。 ここで、時間周波数領域においてＹＵＶ色座標系で構成される映像間の相関性を導くために用いられる動きベクトルを、図３及び図４のように以前の元映像と現在の元映像を用いて推定する。
推定された動きベクトルは図４のようにＤＰＣＭにより現在の元映像と以前の復元映像に適用されて予測映像を定義する。 したがって、映像入力部１１では、図２に示されたように現在の元映像、以前の元映像、以前の復元映像と現在の元映像に対する予測映像を出力する。

【００２３】視感色差範囲決め部１２は映像入力部１１
から出力される現在の元映像の任意の画素に対するＹ，
Ｕ，Ｖ色成分の視感色差の範囲を決めるためのものであって、図６に示された方法を用いる。 すなわち、視感色差の範囲は人間の視感色差が均等に分布する色座標系で定義されることがより正確な線形的関係を保つことができるため、カラー映像の色情報を定義するＹＵＶ不均等視感色空間は第１変換部６１でＣＩＥ Ｌ ^＊ ａ ^＊ ｂ均等視感色空間に変換する。 このように変換されたＣＩＥ
Ｌ ^＊ ａ ^＊ ｂ色座標系でＣＭＣ（Color Measurement Comm
itte) により提案された視感色差式を適用して第２変換部６２でＬ，ａ，ｂに対する視感色差の範囲を決め、決められたＣＩＥ Ｌ ^＊ ａ ^＊ ｂ視感色差の範囲をＹ，Ｕ，
Ｖ色成分に対する視感色差の範囲に変換することにより、画素のＹＵＶ視感色差の範囲を決める。 このような方法により決められたＹＵＶ色度座標に対する視感色差の範囲を実時間で処理するために図７に示されたような視感色差ＬＵＴ（ルックアップテーブル）を用いる。

【００２４】図７に示された視感色差ＬＵＴは次のような過程により構成され、インデックスされる。 第１段階で、ＹＵＶ色座標でＹ，Ｕ，Ｖの各色度座標を均一な間隔を有するように８等分して合わせて５１２個の代表色に分割する。 第２段階で、５１２個の代表色に対するＹ，Ｕ，Ｖの各色成分の視感色差の範囲ｐＹ，ｍＹ，ｐ
Ｕ，ｍＵ，ｐＶ，ｍＶを定義する。 第３段階で、映像入力部１１から出力される現在の元映像のＹＵＶ色度座標を次の式(3) を用いてインデックスしてＹ，Ｕ，Ｖ色成分に対する視感色差の範囲を決める。

【００２５】

【数１】 ｉｎｄｅｘ＝（Ｙ／３２）＊６４＋（Ｕ／３２）＊８＋（Ｖ／３２） …(3)

【００２６】予測エラー発生部１３は図５のように減算器５１により映像入力部１１から出力される予測映像と現在の元映像との差から予測エラーを出力する。 この際、予測エラーは各ブロックの動きとマクロブロックの平均分散値が大きいほど、大きい値となる。 かつ、実際の視感色差の範囲が小さいほど、予測エラーは相対的に大きい値となる。 このように元映像でない映像の予測エラーを符号化過程で用いるのは、同一な映像信号が繰り返し分布する特徴を有する映像信号の重複性を取り除いてビットの発生量を低減するためである。

【００２７】視感予測エラー比較部１４は予測エラー発生部１３から出力される予測エラーと視感色差範囲決め部１２から出力される現在の元映像のＹ，Ｕ，Ｖ色成分に対する視感色差の範囲を比べて視感的に感知できない予測エラーを図８に示された方法で判別するためのものである。

【００２８】その過程は次のとおりである。 第１段階で、視感色差ＬＵＴにより定義された現在の元映像に対する視感色差の範囲（ｍＹ，ｐＹ），（ｍＵ，ｐＵ），
（ｍＶ，ｐＶ）を入力し、第２段階で、Ｙ，Ｕ，Ｖの各色成分に対する予測エラーをＤＹ，ＤＵ，ＤＶとして定義し、第３段階で、予測エラーＤＹ，ＤＵ，ＤＶをそれぞれ第８１〜第８３段階、第８４〜第８６段階、第８７
〜第８９段階により視感色差の範囲（ｍＹ，ｐＹ），
（ｍＵ，ｐＵ），（ｍＶ，ｐＶ）と比べて視感色差の範囲内にある予測エラーは色差を感知することのできない予測エラーとして定義して予測エラー値を０（零）とする。

【００２９】視感予測エラー発生部１５では視感予測エラー比較部１４で現在の元映像の視感色差の範囲を比べた結果により色差が感知できない予測エラーとして判別された予測エラー値を０（零）として定義して新たな視感予測エラーを発生させる。

【００３０】復号化部１６では、図９に示されたように量子化部９１が視感予測エラー発生部１５から出力される視感予測エラーを圧縮するために量子化し、逆量子化部９２は量子化された視感予測エラーを逆量子化し、加算器９３は復元した復元視感予測エラーを予測映像と加算して実際の映像媒体を通して使用者に提供する復元映像を構成する。

【００３１】

【発明の効果】上述したように、第１の発明及び第９の発明による映像符号化装置及び方法においては、ＤＰＣ
Ｍ及びＤＣＴ過程によりディジタル映像信号の重複性を低減し、量子化過程により実際の映像を圧縮させる映像信号符号化方式において、視感色差のない予測エラーを視感色差ＬＵＴを用いて取り除くことにより、量子化エラーにより発生される復元映像の画質劣化を減少し、予測エラーの減少により符号化された映像のビット発生量を低減することができる。 かつ、各々の色成分に対する視感色差の範囲決めにおいて視感色差ＬＵＴを用いることにより、各々の色成分の視感色差範囲の定義にかかる演算時間を減らして実時間処理を可能にする。

【００３２】したがって、本発明は符号化方式で復元された映像の画質向上とビット発生量を減少させることができ、各種のディジタル映像媒体の符号化方式に互換的に適用され得る。

【００３３】第２の発明は、前記映像入力部は、前記以前の元映像と現在の元映像から動きを推定して動きベクトルを生成する動きベクトル推定部と、前記動きベクトルを用いる差分パルスコード変調により現在の元映像と以前の復元映像に適用されて予測映像を生成する動きベクトル補償部とを備えるので、現在の元映像、以前の元映像、以前の復元映像と現在の元映像に対する予測映像を出力できる。

【００３４】第３の発明は、前記視感色差範囲決め部では映像を構成するＹＵＶ不均等視感色空間をＣＩＥ Ｌ
^＊ ａ ^＊ ｂ ^＊均等視感色空間に変換してＬ，ａ，ｂ色成分に対する視感色差の範囲を決め、前記ＣＩＥ Ｌ ^＊ ａ ^＊
ｂ ^＊視感色差の範囲をＹ，Ｕ，Ｖ色成分に対する視感色差の範囲に変換することにより、各画素のＹＵＶ視感色差の範囲を決めるので、各々の色成分の視感色差範囲の定義にかかる演算時間を減らして実時間処理を可能にできる。

【００３５】第４の発明は、前記視感色差範囲決め部ではＹ，Ｕ，Ｖ色成分に対する視感色差の範囲を視感色差ルックアップテーブルを用いて定義するので、各々の色成分の視感色差範囲の定義にかかる演算時間を減らして実時間処理を可能にできる。

【００３６】第５の発明は、前記視感色差ルックアップテーブルはＹＵＶ不均等視感色空間で５１２個の代表色度座標によりそれぞれ定義されるＹ，Ｕ，Ｖ色成分の視感色差範囲値で構成されるので、各々の色成分の視感色差範囲の定義にかかる演算時間を減らして実時間処理を可能にできる。

【００３７】第６の発明は、前記視感予測エラー比較部では各Ｙ，Ｕ，Ｖ色成分に対する予測エラーＤＹ，Ｄ
Ｕ，ＤＶをそれぞれ前記視感色差ルックアップテーブルにより定義された現在の元映像に対する視感色差の範囲（ｍＹ，ｐＹ），（ｍＵ，ｐＵ），（ｍＶ，ｐＶ）と比べるので、各々の色成分の視感色差範囲の定義にかかる演算時間を減らして実時間処理を可能にできる。

【００３８】第７の発明は、前記視感予測エラー発生部では前記視感予測エラー比較部における比較結果、前記視感色差の範囲内に存する予測エラーを零に置き換えて前記視感予測エラーを再構成するので、色差が感知できない予測エラーとして判別された予測エラー値を零として定義して新たな視感予測エラーを発生できる。

【００３９】第８の発明は、前記復号化部は、前記視感予測エラー発生部から出力される視感予測エラーを量子化する量子化部と、前記量子化された視感予測エラーを逆量子化して復元された視感予測エラーを出力する逆量子化部と、前記復元された視感予測エラーを予測映像と加算して復元映像を生成する加算器とにより構成されるので、実際の映像媒体を通して使用者に復元映像を提供できる。

【図面の簡単な説明】

【図１】本発明による映像符号化装置を示すブロック図である。

【図２】図１に示された映像入力部の細部ブロック図である。

【図３】図１において、映像間の動きベクトル及び予測エラーを構成する方法を説明する図面である。

【図４】図１において、動き推定及び補償を説明するための図面である。

【図５】図１に示された予測エラー発生部の細部ブロック図である。

【図６】図１に示された視感色差範囲決め部の細部ブロック図である。

【図７】図６に示された視感色差ＬＵＴの構成を示す図面である。

【図８】図１に示された視感予測エラー比較部の動作を説明するための図面である。

【図９】図１に示された復号化部の細部ブロック図である。

【符号の説明】

１１ 映像入力部映像入力部 １２ 視感色差範囲決め部 １３ 予測エラー発生部 １４ 視感予測エラー比較部 １５ 視感予測エラー発生部 １６ 復号化部 ２１ 動きベクトル推定部 ２２ 動きベクトル補償部 ６１ 第１変換部 ６２ 第２変換部 ９１ 量子化部 ９２ 逆量子化部