【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、重みつきブロック整合アルゴリズムを用いて、最小の重みつきエラー（誤差）をもたらす最適動きベクトルを検索する方法及びその装置に関し、特に、映像フレーム内の各画素にそれぞれの重み値を割当てて重みつきエラーを決定する輪郭線動き推定方法及び装置に関する。

【０００２】

【従来の技術】ディジタル映像信号の伝送はアナログ信号の伝送より高画質の映像を提供することができる。 一連の映像フレームを構成する映像信号がディジタル形態で表現される場合、取分け、高精細度テレビジョンシステムの場合、大量のディジタルデータが必要である。 しかしながら、通常の伝送チャネル上の利用可能な周波数帯域幅は制限されているので、そのチャネルを通じて大量のディジタルデータを伝送するためには、様々なデータ圧縮技法を用いて伝送すべきデータの量を圧縮するか減らさなければならない。

【０００３】多様なビデオ圧縮技法のうち、確率的符号化技法と時間的、空間的圧縮技法とを組み合わせた、いわゆるハイブリッド符号化（hybrid coding）技法が最も効率的なものとして知られている。

【０００４】殆どのハイブリッド符号化技法は、動き補償ＤＰＣＭ（差分パルス符号変調）、２次元ＤＣＴ（離散的コサイン変換）、ＤＣＴ係数の量子化及びＶＬＣ
（可変長符号化）などの技法を用いている。 動き補償Ｄ
ＰＣＭは、現フレームとその参照フレーム（前フレーム）との間の物体の動きを推定し、推定された物体の動きから現フレームを予測するとともに、現フレームとその予測値との間の差を表す差分信号を生成する方法である。

【０００５】２次元ＤＣＴは動き補償ＤＰＣＭデータのような映像データの間の空間的な冗長度を減らすか除去する技法であり、デジタル映像データのブロック（例えば、８×８画素よりなるブロック）をＤＣＴ係数データの組に変換する。 この技法は、“IEEE Transactions on
Communications、COM-32、No.3、225-231頁、1984年3
月”に掲載された「Scene Adaptive Coder」というタイトルのチェン（Chen）及びプラット（Pratt）の論文に開示されている。 このようなＤＣＴ係数データに対し、
量子化、ジグザグ走査、可変長符号化などの処理をすることによって、伝送すべきデータの量を効果的に減らすことができる。

【０００６】詳述すると、動き補償ＤＰＣＭにおいては、現フレームデータは現フレームと前フレームとの間の動き推定に基づいて、前フレームデータから予測される。 そのような方法には、例えば、ブロック整合アルゴリズムを用いたものがある（例えば、JR Jainらの論文“IEEE Transactions on Communications、COM-29 、
No.12、1799-1808頁、「Displacement Measurement and
Its Application in Interframe Image Coding」”参照）。そのように推定された動きは、前フレームと現フレームとの間の画素の変位を表す２次元動きベクトルによって表される。

【０００７】ブロック整合アルゴリズムによると、現フレームは複数の探索ブロックに分けられる。 典型的には、探索ブロックの大きさは８×８画素から３２×３２
画素である。 現フレーム内の探索ブロックに対する動きベクトルを決定するために、現フレームの探索ブロックと前フレーム内の探索領域内に含まれる探索ブロックと同じ大きさの複数の候補ブロックとの間の類似度が計算される。 探索領域の大きさは一般に探索ブロックより大きい。 現フレームの探索ブロックと探索領域内の各候補ブロックとの間の類似度を計算するには、平均絶対エラーまたは平均二乗エラー等のエラー関数が用いられる。
ここで、動きベクトルとは、探索ブロックと最小のエラー関数値をもたらす候補ブロックとの間の変位を表す。

【０００８】公知のように、２値映像における各画素は、各画素が属する領域の１つを表すラベルを有する。
例えば、背景に属する画素は「０」で表され、物体に属する画素は「０」でない値で表される。 従って、平均絶対エラーをエラー関数として用いる通常のブロック整合アルゴリズムを２値映像の輪郭線動き推定に適用する場合、エラー関数は単に不整合画素の個数をカウントする。 不整合画素とは、探索ブロック内の対応する画素が異なるラベルを有するような候補ブロック内の画素のことである。

【０００９】図１は、例として、探索ブロックＳＢ、第１候補ブロックＣＢ ₁及び第２候補ブロックＣＢ ₂を示した模式図であって、不整合画素は「○」で示されている。 探索ブロックＳＢが第１候補ブロックＣＢ ₁と重ねられる場合、不整合画素の数は６であり、探索ブロックＳＢが第２候補ブロックＣＢ ₂と重ねられる場合、不整合画素の数は７である。 かくして、第１候補ブロックＣ
Ｂ ₁に比べて第２候補ブロックＣＢ ₂の方が形状面において探索ブロックＳＢにより類似しているにも関わらず、
第１候補ブロックＣＢ ₁が最小エラー関数をもたらすブロックとして選択され、探索ブロックＳＢと第１候補ブロックＣＢ ₁との間の変位が最適な動きベクトルとして選択される。

【００１０】このような方法で動きベクトルが選択されると、物体の形状決定に重要な役割を果たすべき輪郭線情報が、物体の形状を決定するのに有効に用いられないという不都合がある。

【００１１】

【発明が解決しようとする課題】従って、本発明の主な目的は、重みつきブロック整合アルゴリズムを用いて、
最小重みつきエラーをもたらす最適動きベクトルを求める輪郭線動き推定方法及び装置を提供することにある。

【００１２】

【課題を解決するための手段】上記の目的を達成するために、本発明によれば、２値映像信号で表現された現フレームとその前フレームとの間の輪郭線の動きを推定する輪郭線動き推定方法であって、前記現フレームは同一の大きさを有する複数の探索ブロックに分けられており、前記前フレーム内に、各探索ブロックに対応する探索領域を形成する第ａ過程と、前記各探索領域内に、各々が前記探索ブロックと同一の大きさを有する複数の候補ブロックを形成して、前記探索ブロックから各候補ブロックまでの変位を前記各候補ブロックの変位ベクトルとして決定する第ｂ過程と、前記探索ブロックと前記各候補ブロックとを重ね合わせて、不整合領域、整合領域の境界及び前記探索ブロックの境界を決定する第ｃ過程と、前記不整合領域内の各画素に重み値を割当てる第ｄ
過程と、前記不整合領域内の各画素に割当てられた重み値を用いて、各候補ブロックの重みつきエラーを計算する第ｅ過程と、前記重みつきエラーを互いに比較して、
最小の重みつきエラーを選択し、該最小の重みつきエラーに対応する変位ベクトルを選択するべく選択信号を発生する第f過程と、前記選択信号に応じて、前記最小の重みつきエラーに対応する前記変位ベクトルを選択すると共に、該変位ベクトルを最適な動きベクトルとして発生する第ｇ過程とを含むことを特徴とする輪郭線動き推定方法が提供される。

【００１３】

【発明の実施の形態】以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。

【００１４】図２を参考すると、動き推定部を含む本発明の輪郭線符号化装置１のブロック図が示されている。

【００１５】現フレームの２値映像データ（即ち、現フレームデータ）は、分割マスクの形態で探索ブロック形成部１００に供給される。 ここで、分割マスク内の各画素は、それが属する領域を表すラベルを有する。 例えば、背景画素は、「０」として、物体画素は「０」でない値として表される。 探索ブロック形成部１００は現フレームを、各々が同一の大きさを有する複数の探索ブロックに分けて、ラインＬ１０を通じて、減算部２００及び動き推定部４００に供給する。

【００１６】動き推定部４００は、フレームメモリ３０
０からラインＬ２０を通じて、前フレームの２値映像データ（即ち、前フレームデータ）を分割マスクの形態で受取る。 その後、動き推定部４００は、探索ブロックに対応する探索領域を形成し、その探索領域を探索ブロックと同じ大きさの複数の候補ブロックに分ける。

【００１７】動き推定部４００は重みつきブロック整合アルゴリズムを用いて、探索ブロック形成部１００からラインＬ１０を通じて受け取った探索ブロックと各候補ブロックとの間の重みつきエラーを計算し、最適候補ブロックとそれに対応する最適動きベクトルとを決定する。 重みつきブロック整合アルゴリズムを用いる動き推定方法については後に、図３及び図４を参考して詳しく説明する。 動き推定部４００で求められた最適動きベクトルは、動き補償部５００に供給される。

【００１８】動き補償部５００は、動き推定部４００から最適動きベクトルを受け取り、フレームメモリ３００
からラインＬ２０を通じて最適動きベクトルに対応する最適候補ブロックの画素データを受け取る。 しかる後、
動き補償部５００は最適動きベクトルを用いて最適候補ブロックを動き補償して、動き補償された最適候補ブロックを発生すると共に、この動き補償された最適候補ブロックをラインＬ３０を通じて減算部２００及び加算部８００に供給する。

【００１９】減算部２００は、ラインＬ１０上の探索ブロックからラインＬ３０上の動き補償された最適候補ブロックを減算して、減算結果（即ち、エラー信号）を符号化部６００に供給する。

【００２０】符号化部６００は例えば、参照輪郭線ベース符号化技法を用いて、受け取ったエラー信号を符号化して、符号化エラー信号を伝送器（図示せず）及び復号化部７００に供給する。

【００２１】復号化部７００は、符号化エラー信号を復号化して、復号化エラー信号を加算部８００に供給する。 加算部８００は、復号化エラー信号とラインL３０
上の動き補償された最適候補ブロックとを加算して、現フレームの再構成信号を発生する。 この現フレームの再構成信号はフレームメモリ３００に格納される。

【００２２】図３及び図４には、図２に示した動き推定部４００の詳細なブロック図が示されている。

【００２３】図３に示したように、図２のフレームメモリ３００からラインＬ２０を通じて、前フレームデータが探索領域形成部４１０に供給される。 この探索領域形成部４１０は、探索ブロックの動き推定が行われるように、ある大きさ、形態及び探索パターンを有する探索領域を探索ブロックに対して規定する。 探索領域形成部４
１０にて探索領域が形成されると、この探索領域データは候補ブロック形成部４２０−１〜４２０−Ｎに供給される。 ここで、Ｎは正の整数であって、形成される候補ブロックの総数を表す。

【００２４】候補ブロック形成部は複数個設けることができる。 説明の便宜上、本発明では３つのみ図示する。
各候補ブロック形成部４２０−１〜４２０−Ｎは、探索ブロックと同一の大きさを有する候補ブロックを探索領域内で形成し、各候補ブロックの画素データを各ブロック整合部４３０−１〜４３０−Ｎに供給する。 また、各候補ブロック形成部４２０−１〜４２０−Ｎは、現フレームの探索ブロックの位置からの各候補ブロックの相対的変位を表す変位ベクトルＤＶ１〜ＤＶＮをマルチプレクサ（ＭＵＸ）４７０に供給する。

【００２５】上述したように、探索ブロック形成部１０
０からラインＬ１０上に出力される探索ブロックデータは、各ブロック整合部４３０−１〜４３０−Ｎにも供給される。 各ブロック整合部４３０−１〜４３０−Ｎは探索ブロックの画素値と、対応する候補ブロックの画素値とを比較する。 詳述すると、各ブロック整合部４３０−
１〜４３０−Ｎは探索ブロックを対応する候補ブロックと重ねて、探索ブロックデータ上に（１）探索ブロックの境界画素、（２）不整合領域の画素、（３）整合領域の境界画素の“印付け”をする。

【００２６】探索ブロックデータ及び候補ブロックデータが分割マスクの形態になっているため、画素が背景領域に属する場合、画素値は「０」、物体領域に属する場合、画素値は「１」である。 探索ブロックの境界画素は、探索ブロック内において「１」の画素値を有し且つ隣接する画素が「０」の画素値を有する画素である。 不整合領域の画素は、対応する候補ブロック内の対応する画素が異なる画素値を有する探索ブロック内の画素であり、整合領域の境界画素は、画素値が「１」であり且つ不整合領域の画素に隣接するかまたは「０」の画素値を有する画素に隣接する探索ブロック内の画素である。

【００２７】探索ブロックの境界画素、不整合領域内の画素、整合領域の境界画素の印付けがされた探索ブロックデータは、各ラインＬ５０−１〜Ｌ５０−Ｎを通じて、図４中の各重み値割当て部４４０−１〜４４０−Ｎ
に供給される。

【００２８】本発明の第１実施例によると、各重み値割当て部４４０−１〜４４０−Ｎは、対応する候補ブロック内の各不整合画素（不整合領域にある画素）に重み値を割当てるが、このとき、重み値は整合領域の境界画素への近接度に応じて割り当てられる。 整合領域の境界画素に近接して位置した不整合画素には、整合領域の境界画素から離れた不整合画素より小さい重み値が割当てられる。 即ち、整合領域の境界画素により近接して位置した不整合画素ほど、整合領域の境界画素から遠く離れた不整合画素に比べて小さい重み値が割当てられる。

【００２９】図５には、本発明の第１実施例による探索ブロックの模式図が例示されている。 ＳＢｉ（ｉは１または２）は図１の探索ブロックＳＢと図１中の第i番目の候補ブロックＣＢｉとの間の比較結果に従って、整合領域の境界画素は黒塗りで表し、不整合領域にはＷ ₁ 〜
Ｗ ₃を割当てて示した探索ブロックデータである。 黒色の画素は整合領域の境界画素であり、整合領域の境界画素に隣接した不整合画素にはＷ ₁が割当てられ、整合領域の境界画素から１画素だけ隔たった不整合画素にはＷ
₂が割当てられ、整合領域の境界画素から２画素だけ隔たった不整合画素にはＷ ₃が割当てられている。 ここで、Ｗ ₁は正の値であり、Ｗ ₁ <Ｗ ₂ <Ｗ ₃の関係がある。

【００３０】また、本発明の第２実施例によると、各重み値割当て部４４０−１〜４４０−Ｎは、対応する候補ブロック内の各不整合画素に重み値を割当てる際、探索ブロックの境界画素への近接度に従って重み値を割り当てる。 探索ブロックの境界画素に近接した不整合画素には、探索ブロックの境界画素から離れた不整合画素より小さい重み値が割当てられる。 即ち、探索ブロックの境界画素と同一の位置にある不整合画素には、最小の重み値が割当てられ、探索ブロックの境界画素から遠く離れた不整合画素には、より大きい重み値が割当てられる。

【００３１】図６には、本発明の第２実施例による探索ブロックの模式図が例示されている。 ＳＢi（ｉは１または２）は、図１の探索ブロックＳＢと図１の第i番目の候補ブロックＣＢiとの間の比較結果に従って、不整合領域にＷ ₁ 〜Ｗ ₄を割当てて示した探索ブロックのデータである。 黒色の画素は探索ブロックの境界画素である。 探索ブロックの境界画素と同一位置にある各不整合画素にはＷ ₁が割当てられ、探索ブロックの境界画素に隣接した各不整合画素にはＷ ₂が割当てられ、探索ブロックの境界画素から１画素だけ隔たった不整合画素にはＷ ₃が割当てられ、探索ブロックの境界画素から２画素だけ隔たった不整合画素にはＷ ₄が割当てられている。
ここで、Ｗ ₁は正の値であり、Ｗ ₁ <Ｗ ₂ <Ｗ ₃ <Ｗ ₄の関係がある。

【００３２】その後、不整合画素に重み値が割当てられた探索ブロックデータは、重みつきエラー計算部４５０
−１〜４５０−Ｎに入力される。 各重みつきエラー計算部４５０−１〜４５０−Ｎは、対応する候補ブロック内の不整合画素に割当てられた全ての重み値を加算して重みつきエラーを計算する。 このように計算された対応する候補ブロックに対する重みつきエラーは、比較部４６
０に供給される。

【００３３】図５を再び参照して、本発明の第１実施例に基づく、重みつきエラーの計算方法を説明する。 探索ブロックＳＢ ₁の不整合画素の個数は６であり、Ｗ ₁は１、Ｗ ₂は２、Ｗ ₃は３であるとすると、計算される重みつきエラーＷＥ ₁ （ＳＢ ₁ ）は、下記のように１２になる。

【００３４】

【数１】

【００３５】また、探索ブロックＳＢ ₂の不整合画素の個数は７であり、計算される重みつきエラーＷＥ ₁ （Ｓ
Ｂ ₂ ）は、下記のように７になる。

【００３６】

【数２】 ＷＥ ₁ （ＳＢ ₂ ）＝Ｗ ₁ ＋Ｗ ₁ ＋Ｗ ₁ ＋Ｗ ₁ ＋Ｗ ₁ ＋Ｗ ₁ ＋Ｗ ₁ ＝７Ｗ ₁ ＝７

【００３７】図６を参照して、本発明の第２実施例に基づいて、重みつきエラーの計算方法を説明する。 探索ブロックＳＢ ₁の不整合画素の個数は６であり、Ｗ ₁は１、
Ｗ ₂は２、Ｗ ₃は３、Ｗ ₄は４と仮定すると、計算される重みつきエラーＷＥ ₂ （ＳＢ ₁ ）は、下記のように１２になる。

【００３８】

【数３】

【００３９】また、探索ブロックＳＢ ₂の不整合画素の個数は７であり、計算される重みつきエラーＷＥ ₂ （Ｓ
Ｂ ₂ ）は、下記のように８になる。

【００４０】

【数４】 ＷＥ ₂ （ＳＢ ₂ ）＝Ｗ ₁ ＋Ｗ ₁ ＋Ｗ ₁ ＋Ｗ ₁ ＋Ｗ ₁ ＋Ｗ ₂ ＋Ｗ ₁ ＝６Ｗ ₁ ＋Ｗ ₂ ＝８

【００４１】本発明の第１または第２実施例によって重みつきエラーを計算することによって、探索ブロックデータＳＢ ₂に対応する第２候補ブロックＣＢ ₂が最小の重みつきエラーを有することになる。

【００４２】比較部４６０は重みつきエラーを互いに比較して、そのうち最小の重みつきエラーを選択して、Ｍ
ＵＸ４７０をイネーブルさせる選択信号を発生する。

【００４３】ＭＵＸ４７０は比較部４６０からの選択信号に応じて、各候補ブロック形成部４２０−１〜４２０
−Ｎから受け取った変位ベクトルＤＶ１〜ＤＶＮのうちで最小の重みつきエラーに該当する変位ベクトルＤＶを最適な動きベクトルとして選択する。 その後、この最適動きベクトルは図２の動き補償部５００に供給される。

【００４４】上記において、本発明の好適な実施の形態について説明したが、本発明の請求範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。

【００４５】

【発明の効果】従って、本発明によれば、重みつきブロック整合アルゴリズムを用いることによって、２値映像輪郭線の動きを効果的に推定することができる。

【図面の簡単な説明】

【図１】通常のブロック整合アルゴリズムについて説明するため、探索ブロックＳＢ、第１候補ブロックＣＢ ₁
及び第２候補ブロックＣＢ ₂を示した模式図である。

【図２】動き推定部を含む本発明の輪郭線符号化装置１
のブロック図である。

【図３】図２の動き推定部の詳細なブロック図である。

【図４】図２の動き推定部の詳細なブロック図である。

【図５】本発明の第１実施例によって、整合領域の境界画素を基準として重み値を割り当てる方法を説明するための模式図である。

【図６】本発明の第２実施例によって、探索ブロックの境界画素を基準として重み値を割り当てる方法を説明するための模式図である。

【符号の説明】

１００ 探索ブロック形成部 ２００ 減算部 ３００ フレームメモリ ４００ 動き推定部 ４１０ 探索領域形成部 ４２０−１〜４２０−Ｎ 候補ブロック形成部 ４３０−１〜４３０−Ｎ ブロック整合部 ４４０−１〜４４０−Ｎ 重み値割当て部 ４５０−１〜４５０−Ｎ 重みつきエラー計算部 ４６０ 比較部 ４７０ ＭＵＸ ５００ 動き補償部 ６００ 符号化部 ７００ 復号化部 ８００ 加算部