【発明の詳細な説明】

【０００１】

【発明の属する技術分野】ＭＰＥＧ符号化方式を用いた映像信号符号化装置に係り、特にＨＤＴＶ等の高解像度の映像符号化を階層型動きベクトル検出法を用いて行なう映像信号符号化装置に関する。

【０００２】

【従来の技術】従来より、ＭＰＥＧ符号化方式を採用した、映像信号記録装置が種々検討されている。 図４はＭ
ＰＥＧ符号化を用いた従来の映像信号符号化装置の一例の構成図である。 なお、ＭＰＥＧについては、ＩＳＯ−
ＩＥＣ１１７２−２，ＩＴＵ−ＴＨ． ２６２／ＩＳＯ−
ＩＥＣ１３８１８−２に詳細な説明がなされているので、ここでは概略のみ説明する。

【０００３】供給される映像信号は、まずフレームメモリ１（４１）に入力され記憶される。 このフレームメモリ１（４１）には複数フレームの映像信号が記憶される。 記憶された映像信号は輝度信号が１６×１６画素、
色信号（Ｃｂ／Ｃｒ）はそれぞれ１６×８画素単位のブロックで処理され、色信号に関しては縦方向にサブサンプリングし、それぞれ８×８画素のブロックとして処理される。

【０００４】同様にブロック化された映像信号は動きベクトル検出でフレームメモリ１（４１）から読み出された映像信号とフレームメモリ２（４４）から読み出されたフレーム（フィールド）のローカルデコード（局部復号）された再生映像信号より、フレーム間（フィールド間）予測の動きベクトルを動き検出器４２で検出して出力する。 動き補償器４５では、この動きベクトルとフレームメモリ２（４４）より読み出された再生映像信号とが供給され、動き補償が行なわれ、動き補償映像信号、
動きベクトル、及び予測モードが出力される。

【０００５】減算器４３では、内部フレームメモリ１
（４１）から読み出された映像信号と動き補償映像信号を入力とし、減算を行ない差分映像信号を出力する。 Ｄ
ＣＴ回路４６では、差分映像信号を入力とし、ＤＣＴ
（離散コサイン変換）を行ないＤＣＴ係数を出力する。

【０００６】量子化回路４７では、ＤＣＴ係数を入力とし、量子化を行ない、量子化信号を出力する。 可変長符号化回路４８では、量子化信号及び動きベクトル、予測モードとを入力とし、これらを可変長符号化し、映像符号化信号（ビットストリーム）を出力する。

【０００７】また、I，P-pictureは、後で動き補償予測の参照信号として用いる再生画像が必要なため、逆量子化回路４９で逆量子化し、逆ＤＣＴ回路５０で逆ＤＣＴ
してローカルデコードを行なう。

【０００８】逆量子化回路４９では量子化信号を入力とし、逆量子化を行ない、ＤＣＴ係数を出力する。 逆ＤＣ
Ｔ回路５０では、ＤＣＴ係数を入力とし、逆ＤＣＴを行ない再生画像を出力する。 フレームメモリ２（４４）
は、再生画像を入力とし、記憶される。

【０００９】現在、このＭＰＥＧ２符号化を用いた高品位ディジタル放送（ＨＤ(High Definition)ＴＶ）が開始されている。 このＨＤＴＶは従来の標準放送ＳＤ(Sta
ndard Definition)ＴＶ（例：７２０×４８０画素）と比較するとＨＤＴＶ（例：１９２０×１０８０）は画像サイズで略６倍となる。

【００１０】しかし、ＨＤＴＶは基本分解能が高いため、ＳＤＴＶと同じ画質を維持する為に、必ずしも画像サイズ比率（略６倍）の映像ビットレートは必要としない。 実際、ＨＤＴＶのデジタル放送規格で検討されている実用映像ビットレート（１２〜２４Mbps）は、ＳＤＴ
Ｖの画像サイズ比率に直すと約２〜４Mbpsの低ビットレートに相当する。

【００１１】

【発明が解決しようとする課題】しかしながら、動きベクトル、予測モードといった付加情報は、ＭＰＥＧ２では1つ前のマクロブロックとの差分を取り、これを可変長符号化（ＶＬＣ）しているだけのため、基本的にマクロブロックの数、すなわち画像サイズに依存する傾向にある。

【００１２】したがって、前記のＨＤＴＶのデジタル放送規格で検討されている実用映像ビットレートでは、映像ビットストリームの内の動きベクトル、予測モードといった付加情報の占める割合がかなり高くなる。 特に低レートでは、細かい動きベクトルの暴れにより、動きベクトル自体の符号量の増加を招く。

【００１３】そこで、本発明は特にＨＤＴＶ等の画像サイズの大きな映像をＭＰＥＧ２で符号化する場合に、設定レートが低い時は、大きな動きに重みを置き、ベクトルの大きな向きを揃えるようにし、設定レートが高い時には、細かな動きにも対応出来るようにした動きベクトル検出判別（回路）機能を有する映像信号符号化装置及びその方法を提供することを目的とする。

【００１４】

【課題を解決するための手段】上記目的を達成するために請求項１の発明は、入力映像信号と再生動き補償映像信号との差分を符号化すると共に符号化した信号を基に局部復号して再生信号を得る映像信号符号化装置において、階層型動きベクトル検出法を用いて複数の異なる階層の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段からの複数の動きベクトルが供給されて、設定された映像ビットレートに従って所定の重付け処理を行ない動きベクトルを選択する比較判別手段と、前記比較判別手段で選択した動きベクトルと前記再生映像信号とが供給され、前記再生動き補償映像信号を出力する動き補償手段とを有して構成したことを特徴とする映像信号符号化装置を提供し、請求項２の発明は、入力映像信号と再生動き補償映像信号との差分を符号化すると共に符号化した信号を基に局部復号して再生信号を得る映像信号符号化方法であって、階層型動きベクトル検出法を用いて複数の異なる階層の動きベクトルを検出し、設定がなされた映像ビットレートで所定の重付けを行なって判別するようにした動きベクトル検出判別機能を介して動きベクトルが選択されるようにしたことを特徴とする映像信号符号化方法を提供するものである。

【００１５】

【発明の実施の形態】図１はＭＰＥＧ符号化を用いた本発明の映像信号符号化装置の一実施例の構成を示した図である。 本発明の映像信号符号化装置の一実施例は、フレームメモリ１（１１）、動きベクトル検出回路１２、
減算器１３、フレームメモリ２（１４）、動き補償回路１５、ＤＣＴ回路１６、量子化回路１７、可変長符号化回路１８、逆量子化回路１９、及び逆ＤＣＴ回路２０より構成されている。 なお、ＭＰＥＧ２については、ＩＴ
Ｕ−ＴＨ． ２６２／ＩＳＯ−ＩＥＣ１３８１８−２に詳細な説明がなされているので、ここでは概略のみ説明する。

【００１６】供給される映像信号はフレームメモリ１
（１１）に入力され、記憶される。 このフレームメモリ１（１１）には複数フレームの映像信号が記憶される。
記憶された映像信号は輝度信号が１６×１６画素、色信号（Ｃｂ／Ｃｒ）はそれぞれ１６×８画素単位のブロックで処理され、色信号に関しては縦方向にサブサンプリングし、それぞれ８×８画素のブロックとして処理される。

【００１７】動きベクトル検出回路１２においては、フレームメモリ１（１１）から読み出された映像信号と、
フレームメモリ２（１４）から読み出されたフレーム（フィールド）のローカルデコード（局部復号）された再生映像信号と、外部または内部で設定され正規化された映像ビットレート信号とが供給されて、フレーム間（フィールド間）予測の動きベクトルを検出して、動き補償回路１５に出力する。

【００１８】動き補償回路１５においては、この動きベクトル検出回路１２より出力される動きベクトルとフレームメモリ２（１４）より読み出された再生映像信号とが供給されて、動き補償が行なわれ、動き補償映像信号、動きベクトル、及び予測モードが出力される。

【００１９】減算器１３では、内部フレームメモリ１
（１１）から読み出された映像信号と動き補償回路１５
よりの動き補償映像信号を入力として減算を行ない、差分映像信号をＤＣＴ回路１６に出力する。

【００２０】ＤＣＴ回路１６では、差分映像信号が供給されて、離散コサイン変換（ＤＣＴ）を行ない、ＤＣＴ
係数を量子化回路１７に出力する。 量子化回路１７では、ＤＣＴ係数を入力とし、量子化を行ない量子化信号を可変長符号化回路１８及び逆量子化回路１９に出力する。

【００２１】可変長符号化回路（ＶＬＣ）１８では、量子化回路１７よりの量子化信号及び動き補償回路１５よりの動きベクトル、予測モードが供給されて、これらを可変長符号化して映像符号化信号（ビットストリーム）
を出力する。

【００２２】また、前記量子化回路１７の出力のI，Pp
ictureは、後で動き補償予測の参照信号として用いる再生映像（画像）が必要なため、逆量子化回路１９で逆量子化され、逆ＤＣＴ回路２０で逆ＤＣＴされてローカルデコード（局部復号）が行なわれる。

【００２３】逆量子化回路１９では量子化信号を入力とし、逆量子化を行ない、ＤＣＴ係数を出力する。 逆ＤＣ
Ｔ回路２０では、ＤＣＴ係数を入力とし、逆ＤＣＴを行ない、再生映像（画像）を出力する。 フレームメモリ２
（１４）は、再生画像を入力とし、記憶される。

【００２４】つぎに、本発明の動きベクトル検出方法の一実施例について、以下に図と共に説明する。 動きベクトル検出方法は、各種検討されており、その中で実時間処理に適した方法として階層型動きベクトル検出方法が挙げられる。 この方法は、動き補償を行なう入力画像と比較画像を階層毎に水平垂直にサブサンプリングを行なって、上位階層程小さな縮小画像を作成するものである。

【００２５】そして、上位階層で縮小画像に対し、広い範囲の大きい動きベクトルを粗く求め、上位階層では、
下位階層で求められた動きベクトルを上位階層のレンジに正規化し、この動きベクトルで示された位置を中心として、更に探索を行ない動きベクトルを求める方法である。 この方法により、動きベクトルを広い探索範囲で効率良く検出することが出来る。

【００２６】図２は、この階層型動きベクトル検出法を応用した本発明の映像信号符号化装置に適用する動きベクトル検出方法の概念を説明した検出概念図である。 本発明の実施例では、図２の検出概念図に示されるように、上位階層から、ＭＶＤ０（１／８原画像）、ＭＶＤ
１（１／４原画像）、ＭＶＤ２（１／２原画像）、及びＭＶＤ３（１／１原画像）の４つの階層について、動きベクトルを検出する。 それぞれの階層に用いられる入力画像及び参照画像は、上位階層から、１／８（ＭＶＤ
０）、１／４（ＭＶＤ１）、１／２（ＭＶＤ２）のサブサンプルした縮小画像と等倍（ＭＶＤ３）の画像とである。

【００２７】参照画像は、ＭＶＤ０、ＭＤＶ１、ＭＶＤ
２が原画像を使用して、ＭＶＤ３がローカルデコードされた再生映像（画像）を使用している。 一般的に参照画像に原画像を用いると真の動きに近いものを求めることが出来る。 しかし、ＭＶＤ３で求められた最終的な動きベクトルは、動き補償で用いられるので、動き補償の予測誤差を減少させるため、参照画像はローカルデコードされた再生映像（画像）を使用している。

【００２８】まず、ＭＶＤ０、ＭＶＤ１ではそれぞれ（０，０）を中心として所定の探索範囲についてブロック単位で動きベクトル検出を行なう。 ＭＶＤ２では、上位階層で求められたそれぞれの動きベクトルを正規化し、動きベクトルが示す位置を中心として所定の探索範囲についてブロック単位で動きベクトル検出を行なう。

【００２９】ＭＶＤ２では、検出された動きベクトルと、そのブロック単位で求められた誤差値、例えば差分絶対値和を出力し、ＭＶＤ０で求められた動きベクトルを使用したときのＭＶＤ２の誤差値（Ｓｃ０２）とＭＶ
Ｄ１で求められた動きベクトルを使用したときのＭＶＤ
２の誤差値（Ｓｃ１２）とを比較判別する。

【００３０】この比較判別には、映像ビットレート信号を正規化して、重付け（Ｚｒ）定数を加算して比較判断を行なう。 例えば、任意に設定した標準映像ビットレートを０とし、低レート側で正（＋）の値を、高レート側で負（−）の値を取るように正規化して、以下に示すような重付け（Ｚｒ）を行ない、比較判別する。

【００３１】ＭＶＤ２誤差値 Ｓｃ０２ > Ｓｃ１２ +
Ｚｒ の場合 ＭＶＤ２の動きベクトル Ｍｖ２ ＝ Ｍｖ１２ ＭＶＤ２誤差値 Ｓｃ０２ ≦ Ｓｃ１２ + Ｚｒ の場合 ＭＶＤ２の動きベクトル Ｍｖ２ ＝ Ｍｖ０２ 但し、 Ｓｃ０２ : ＭＶＤ０で求められた動きベクトルを使用したときのＭＶＤ２の誤差値 Ｓｃ１２ : ＭＶＤ１で求められた動きベクトルを使用したときのＭＶＤ２の誤差値 Ｚｒ : 映像ビットレートを正規化した重付け Ｍｖ２ : 比較判別されたＭＶＤ２の動きベクトル Ｍｖ０２ : ＭＶＤ０で求められた動きベクトルを使用したときのＭＶＤ２の動きベクトル Ｍｖ１２ : ＭＶＤ１で求められた動きベクトルを使用したときのＭＶＤ２の動きベクトル

【００３２】このようにして、低レート側ではＭＶＤ０
で求められた動きベクトルを、高レート側ではＭＶＤ１
で求められた動きベクトルを、それぞれ使用したときのＭＶＤ２の動きベクトルのうちＭＶＤ０で求められた動きベクトルがより選択され易くなるように重付けが出来る。

【００３３】この重付けにより、低レート側では大局的な大きな動きの動きベクトルを検出し易く出来る。 また、この場合と反対に設定をすれば、高レート側で局所的な細かい動きベクトルをより検出し易く出来る。

【００３４】こうすることにより、映像ビットレートに即した動きベクトルの検出、すなわち、低レート側設定の場合にはＭＶＤ０で求められた動きベクトルが、高レート側設定の場合にはＭＶＤ１で求められた動きベクトルが、より検出され易く出来る。

【００３５】つぎのＭＶＤ３においては、この比較判別された動きベクトルを正規化し、動きベクトルが示す位置を中心として、所定の探索範囲についてブロック単位で動きベクトル検出を行ない、最終的な動きベクトルを求める。

【００３６】図３は、本発明の動きベクトル検出回路１
２の一実施例の構成を示したものである。 図３に示される本発明の動きベクトル検出回路１２の一実施例は、サブサンプリング部３１、フレームメモリ３（３２）、動きベクトル検出部３３、メモリ４（３４）、及び比較判別部３５より構成されている。

【００３７】サブサンプリング部３１では、原映像（画像）信号が供給され、ＭＶＤ０（１／８原画像）、ＭＶ
Ｄ１（１／４原画像）、及びＭＶＤ２（１／２原画像）
の各階層で使用する入力画像と時間的に前後するフレームの参照画像となる縮小画像を生成し、フレームメモリ３（３２）に記録される。

【００３８】フレームメモリ３（３２）には、他にＭＶ
Ｄ３（１／１原画像）の入力画像となる原映像信号と、
参照画像となる再生映像信号とを記録する。

【００３９】動きベクトル検出部３３においては、上位階層からフレームメモリ３（３２）より必要とされる映像信号を読み出し、ＭＶＤ２、ＭＶＤ３では、メモリ４
（３４）から読み出した上位階層からの動きベクトルを入力として、各階層で設定されている探索範囲について、ブロック単位で動きベクトル検出を行なう。

【００４０】動きベクトル検出部３３では、検出された動きベクトルと誤差値とを出力して、メモリ４（３４）
に記録する。

【００４１】比較判別部３５では、メモリ４（３４）から読み出されたＭＶＤ２の動きベクトル及び誤差値と、
外部または内部で設定された映像ビットレート信号とが供給され、正規化し、前記で説明した通りの重付け処理を行なって、比較判別処理を行なう。

【００４２】比較判別部３５では、判別された動きベクトルを出力し、メモリ４（３４）に記録する。 ＭＶＤ３
で求められた最終的な動きベクトルが、メモリ４（３
４）より読み出される。

【００４３】

【発明の効果】以上に説明した通り、本発明によれば、
設定された映像ビットレートにより、レートに即した動きベクトルの検出を行なうことが出来、低レートの設定がなされた場合には、映像の大きな動きを重視することで、動きベクトル自体の符号量を抑制出来る。 特にＨＤ
ＴＶ等にこの方法を用いた場合、ＨＤＴＶの基本分解能が高い為、低解像度の参照画像を用いた動きベクトルの検出においても、画質は十分に確保出来る。

【００４４】また、本発明によれば、設定された映像ビットレートにより、レートに即した動きベクトルの検出を行なうことが出来、高レートの設定がなされた場合には、映像の細かい動きに対応した動きベクトルの検出が可能になる。

【図面の簡単な説明】

【図１】本発明の映像信号符号化装置及びその方法の一実施例のブロック構成を示した図である。

【図２】本発明の映像信号符号化装置及びその方法適用する動きベクトル検出方法の概念を示した図である。

【図３】本発明の動きベクトル検出回路の一実施例のブロック構成を示した図である。

【図４】従来の映像信号符号化装置及びその方法の一例のブロック構成を示した図である。

【符号の説明】

１１ フレームメモリ１ １２ 動きベクトル検出回路（動きベクトル検出判別手段、動きベクトル検出判別機能） １３ 減算器 １４ フレームメモリ２ １５ 動き補償回路 １６ ＤＣＴ回路 １７ 量子化回路 １８ 可変長符号化回路 １９ 逆量子化回路 ２０ 逆ＤＣＴ回路 ３１ サブサンプリング部 ３２ フレームメモリ３ ３３ 動きベクトル検出部（動きベクトル検出手段） ３４ フレームメモリ４ ３５ 比較判別部（比較判別手段）