【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はリアルタイム動映像符号化のための超高速動き推定方法に係り、より詳細にはMPEG-2のような動映像符号化のための動き推定において解像度を低めて複数個の動きベクトル候補を決定し、
周辺ブロックの動きベクトル相関性を用いて動きベクトル候補を決定した後、複数個の動きベクトル候補を中心として探索領域を選定して動きベクトルを計算することによって、動きベクトルの計算時間を縮める動き推定方法に関する。

【０００２】

【従来の技術】動映像の符号化としては、高いデータ圧縮率を得るために時間的に重複性を除去する動き補償符号化が広く使われているとともに、MPEG-1、2、4及びH-
263のような国際映像符号化標準で重要な位置を占めている。

【０００３】動き補償符号化は動き推定を通じて以前フレームの情報より入力映像と最も類似の映像を予測し、
予測した映像と入力映像の差映像を変換符号化することを称する。

【０００４】このような動映像の符号化のための一般の装置を図1に示した。 図1を参照すれば、一般の動映像符号化装置はフレームメモリ102、動き推定部104、106、
動き補償部108、減算部110、離散コサイン変換部112、
量子化部114、逆離散コサイン変換部118、加算部120、
フレーム遅延部122、順方向分解及びコーディング率制御器124、可変長符号化部126及びバッファ128を具備する。

【０００５】フレーム単位で入力される映像はフレームメモリ102に貯蔵され、第1動き推定部104は整数画素単位の映像に対する動きベクトルを計算する。 第2動き推定部106は、第1動き推定部106から入力された動きベクトルとフレームメモリ102から入力された映像信号とフレーム遅延部122から入力された以前フレームの情報を用いて、現在入力された映像に対する半画素単位の動きベクトルを計算する。

【０００６】動き補償部108は、第2動き推定部106から入力された動きベクトルとフレーム遅延部122から入力された以前フレームの情報に基づいて動き補償を遂行して現在フレームに対する予測映像を出力する。 このように動き補償された予測映像は、減算部110によってフレームメモリ102から入力された現在映像と減算されて現在映像との差映像を得ることによって、動映像の時間的な重複性がなくなる。 このような動き推定及び補償過程は16×16ブロック単位で遂行され、一般にこのブロックはマクロブロックといわれる。 次に、動き推定及び補償後得られた差映像は、離散コサイン変換部112と量子化部114によって離散コサイン変換及び量子化されることによって差映像の残っている空間的な重複性がなくなる。 最後に、動きベクトルと量子化した差映像は、可変長符号化部126によって符号化した後バッファ128を通じてビット列形態に伝送される。

【０００７】一方、順方向分解及びコーディング率制御部124は可変長符号化部126の符号化率を制御し、量子化した映像信号は再び逆量子化部116と逆離散コサイン変換部118により補間及び復元された後、加算部120によって動き補償された映像信号に加わってフレーム遅延部12
2に貯蔵される。 フレーム遅延部122に貯蔵される映像フレームは1フレーム以前の映像フレームに当る。 フレーム遅延部122に貯蔵された以前映像フレーム情報は第2動き推定部106と動き補償部108に入力される。

【０００８】動映像を処理するための動き推定及び補償方法としては、一般にフレーム単位の動き推定及び補償方法とフィールド単位の動き推定及び補償方法があるが、これは当業者に知られているので本明細書では説明を省略する。

【０００９】一方、従来に使われている全域探索法による動き推定方法は、現在のフレームを一定の大きさのブロック単位で分割した後、各ブロックを与えられた整合基準に従って基準フレームの探索領域内にある全てのブロックと比較して最適の整合ブロックの位置を探すことによって、各ブロックの二次元動きベクトルを推定する方法である。 このような従来のブロック整合法で最適の整合ブロックを探すための整合基準として、比較的計算が簡単な平均絶対誤差(MAD: Mean Absolute Differenc
e)を用いる。 このような平均絶対誤差値は、

【００１０】

【数１】

【００１１】を用いて計算される。 前記式1で f _t (k,l)
は現在フレームの (k,l) 位置にある画素の輝度値であり、f _t-1 (k+i,l+j) は以前フレームの (k,l) 位置から
(i,j)位置だけ移動した位置にある画素の輝度値である。

【００１２】一方、このようなブロック整合法で符号化する時は実際映像の動きを考慮して最大動き推定範囲を決定する。 このように決定された動き推定範囲内の全てのブロックと現在ブロックを比較して、動きベクトルを推定する全域探索方式は予測利得の側面では最も高い性能を有するが、過度に多くの計算量が要求される短所がある。 例えば、M×Nの大きさのブロックに対してフレーム当り最大移動変位を±p(パルス/フレーム)とする場合、基準フレームで探索領域の大きさは(M＋2p)×(N＋2
p)になる。 即ち、整合基準に従って比較すべき候補ブロックの数が(2p＋1) ²になるため、pが大きいほど動映像符号化器のリアルタイム具現が難しくなる問題点がある。

【００１３】このような問題点を解決するための他の従来技術が技術資料“平均ピラミッドを用いた高速階層的動きベクトル推定アルゴリズム。NAM、KM、Kim、J.
S.、Park、RH、Shim、YS、IEEE Trans.of Circ.& S
yst. for Video Tech、1995、5、(4)、pp.344〜351”
と、“映像符号化のための3段階検索ブロック整合アルゴリズムの精密度改善及び費用節減、IEEE Trans.Circ.
& Syst. for.Video Tech、1994、4、(1)、pp.88〜90)”
に示されている。 前記資料によれば、全域探索技法を代えるべき複数の候補を用いた高速階層的探索技法が提案された。

【００１４】しかし、前記方法のような複数候補を使用する戦略は、階層的な探索のせいで発生する局所最小値の問題を縮めうるが、全域探索法に次ぐ性能を達成するために相変らず多くの計算量を要する問題点がある。 また、前記方法は三段探索技法を基礎とするため広い探索領域における動き推定には望ましくない短所がある。

【００１５】

【発明が解決しようとする課題】本発明が達成しようとする技術的課題は、動きベクトルを計算するための計算量を減らして高速で動きベクトルが推定できる動き推定方法を提供することである。

【００１６】本発明が達成しようとする他の技術的課題は、前記動きベクトル推定方法によって具現される動き推定装置を提供することである。

【００１７】

【課題を解決するための手段】前記課題を達成するために本発明の一態様に従う動き推定方法は、(a)入力された映像フレームを階層0とする時、階層0の解像度を低めて階層1を具備し、階層1の解像度を低めて階層2を具備する段階と、(b)階層2の探索領域に対して平均絶対誤差を計算する段階と、(c)前記(b)段階で計算された平均絶対誤差値が最小になる少なくとも二つ以上の位置を階層
1における初期探索点として選択する段階と、(d)現在ブロックの周辺ブロックの相関性を用いて一つ以上の階層
1における初期探索点をさらに選択する段階と、(e)階層
1で初期探索中心点を中心とする探索領域に対して平均絶対誤差を計算する段階と、(f)前記(e)段階で計算された平均絶対誤差値が最小になる位置を階層0における探索中心点として選択する段階と、(g)階層0で、前記(f)
段階で選択された初期探索中心点を中心とする探索領域に対して平均絶対誤差を計算する段階と、(h)前記(g)段階で計算された平均絶対誤差値が最小になる位置情報と原点との距離情報より最終動きベクトルを決定する段階とを含むことを特徴とする。

【００１８】また、前記課題を達成するために本発明の他態様に従う動き推定方法は、(a)入力された映像フレームを階層0とする時、階層0の解像度を低めて階層1を具備し、階層1の解像度を低めて階層2を具備する段階と、(b)階層2の探索領域に対して平均絶対誤差を計算する段階と、(c)前記(b)段階で計算された平均絶対誤差値が最小になる二つの位置を階層1における初期探索中心点として選択する段階と、(d)現在ブロックの周辺ブロックの相関性を用いて一つの初期探索中心点をさらに選択する段階と、(e)階層1で3つの初期探索中心点を探索中心とする探索領域に対して平均絶対誤差を計算する段階と、(f)前記(e)段階で計算された平均絶対誤差値が最小になる位置を階層における初期探索中心点として選択する段階と、(g)階層0の探索領域に対して平均絶対誤差を計算する段階と、(h)前記(g)段階で計算された平均絶対誤差値が最小になる位置データと原点との距離情報より最終動きベクトルを決定する段階とを含むことを特徴とする。

【００１９】また、前記(a)段階は入力された階層0の解像度を水平及び垂直方向に各々1/2と1/4に低めて各々階層1と階層2を具備することが望ましい。

【００２０】また、前記(d)段階は周辺ブロック間の動きベクトルの差の絶対値が所定の臨界値以下のブロックの動きベクトル平均値を計算して、前記動きベクトル平均値が最小になる位置を階層1における初期探索中心点として選択することが望ましい。

【００２１】また、前記(e)段階と前記(g)段階における探索領域は5×5画素よりなることが望ましい。

【００２２】前記他の課題を達成するために本発明に係る動き推定方法は、入力された映像フレームを階層0とする時、階層0の解像度を低めて階層1を具備し、階層1
の解像度を低めて階層2を具備する解像度調整手段と、
階層2の探索領域に対する第1平均絶対誤差MADと、階層1
で動きベクトル候補に対応する位置を探索中心点とする探索領域に対する第2平均絶対誤差、及び階層0で前記第
2平均絶対誤差値が最小になる位置を階層0の探索中心点とした探索領域に対して第3平均絶対誤差を計算する平均絶対誤差計算手段と、前記第1平均絶対誤差値が最小になる少なくとも二つ以上の位置を階層1における初期探索中心点として選択し、現在ブロックの周辺ブロックの相関性を用いて一つ以上の初期探索中心点をさらに選択する初期探索点選択手段と、前記第3平均絶対誤差値が最小になる位置と原点との距離情報を用いて最終動きベクトルを決定する最終動きベクトル決定手段とを含むことを特徴とする。

【００２３】

【発明の実施の形態】以下、添付した図面を参照して本発明に係るリアルタイム動映像符号化のための超高速動き推定方法及びその装置の望ましい実施形態を詳細に説明する。 図2には本発明の実施形態に係る動き推定方法の主要段階をフローチャートで示し、図3には前記動き推定方法によって階層別探索を遂行する時各階層別探索位置を説明するための図面を示した。 図3は以下で頻繁に参照される。 図2を参照すれば、本発明に係る動き推定方法は、まず、入力された映像フレーム(階層0)の解像度を水平、垂直方向に1/2と1/4に低めて各々階層1と階層2を具備する(段階202)。 このように解像度を低める理由は、探索領域を縮めて動きベクトルを計算するための計算量を減らすためのことである。 例えば、全体探索領域の大きさがR×Rであれば本実施形態で探索領域の範囲は(R/4)×(R/4)になる。

【００２４】次に、階層2の探索領域(SR ⁽²⁾ :図3)に対して平均絶対誤差(MAD)を計算する(段階204)。 階層2の探索領域(SR ⁽²⁾ :図3)はN _Sを所定の正の整数とする時、横と縦で−N _Sから＋N _S −1までの領域に決定されるので各々0を含んで横、縦各々2N _Sの領域になり、探索位置の数は(2N _S ×2N _S )/16、即ち、(N _S ×N _S )/4になる。

【００２５】次は、前記段階204で計算された平均絶対誤差値が最小になる、即ち、予測エラーが最も小さな二つの位置を次の段階(階層1)の初期探索中心点として選択する(段階206)。

【００２６】二つの初期探索中心点と共に一つの初期探索中心点をさらに選択するが、その過程を図4(A)乃至図
4(F)を参照して説明する。 デジタル動映像の圧縮はマクロブロックと同じブロック単位で遂行される。 ブロックの処理順序としては行別に順次に処理されることを例として挙げられる。

【００２７】本発明で用いられる周辺ブロックは、図4
(A)乃至図4(F)に示したように相互関連される三つのブロックが使われる。 また、動きベクトル間の相関性を考慮して示したように5つのグループに分けられる。 例えば、周辺ブロックの動きベクトルMVsが図4(A)と同一だとする時、周辺ブロック間の動きベクトルの差の絶対値を、

【００２８】

【数２】

【００２９】のように定義し、Dを二つの動きベクトル間の類似性を検査するための臨界値と定義する。 次は、
動きベクトル間の相関性を考慮して5つのグループに区分する。 即ち、図4(B)を参照すれば、グループ1は ξ ₁
≦D、ξ ₂ ≦D、ξ ₃ ≦D を満足する場合であり、図4(C)を参照すれば、グループ2は ξ ₁ ≦D、ξ ₂ ＞D、ξ ₃ ＞D を満足する場合である。 また、図4(D)と図4(E)を参照すれば、グループ3はξ ₁ ＞D、ξ ₂ ≦D、ξ ₃ ＞D を、グループ
4は ξ ₁ ＞D、ξ ₂ ＞D、ξ ₃ ≦D を満足する場合である。
前述した以外の場合はグループ5に当る。 動きベクトルは例えば各グループ別にグループ1の場合には MV＝(MV ₁
＋MV ₂ ＋MV ₃ )/3、グループ2の場合には MV＝(MV ₁ ＋MV ₂ )/
2、グループ3の場合には MV＝(MV ₂ ＋MV ₃ )/2、グループ4
の場合には MV＝(MV ₁ ＋MV ₃ )/2 に計算する。 計算された動きベクトルの平均値が最小になる位置を初期探索中心点として選択する。

【００３０】このように、動きベクトル値の差の絶対値に従って5つのグループに区分し、探索初期点を各グループ別に平均動きベクトルを計算して決定する方法は単に説明のためのことであって、周辺ブロックの動きベクトル情報を読出して、周辺ブロックの動きベクトル相関性を用いて一つの初期探索中心点を選定する他の方法に変形して使用でき、請求項によって定義される本発明の範囲を限定しない。

【００３１】次は、階層1で、三つの初期探索中心点を中心とした探索領域SR ₁ ⁽¹⁾ 、SR ₂ ⁽¹⁾ 、SR ₃ ⁽¹⁾の各々に対して平均絶対誤差を計算する(段階210)。 本実施形態では第1階層における探索領域を探索中心点を含んで±2画素、即ち、総5×5画素よりなるように設定した。

【００３２】次は、段階210で計算された平均絶対誤差値が最小になる位置を階層0における初期探索中心点として選択(段階212)し、選択された初期探索中心点に対して±2画素領域を階層0の探索領域として平均絶対誤差を計算する(段階214)。

【００３３】計算された平均絶対誤差値が最小になる位置と原点との距離情報を使用して最終動きベクトルを決定する(段階216)。 決定された最終動きベクトルは二次元映像の場合、例えば、x軸及びy軸座標値になる。

【００３４】前記のような本発明に係る動き推定方法の性能を評価するためにMPEG-2実験映像を使用したシミュレーション実験を遂行した。 実験条件を説明すれば、入力映像としては、実験映像として当業者に知られている映像の中でフットボール(fb)、自動車(car)、スーズィー(sus)、自動車とカレンダー(mob)及びチアリーダー(c
heer)の5つのMPEG-2映像シーケンスを使用した。

【００３５】全ての映像は30ヘルツのフレーム率を有し、各々150フレームよりなっている。 各フレームの大きさは720×480である。 4、2、1の探索点間隔を有する6
4×64(N _S ＝32)、10×10、5×5の探索領域が各々階層2、
1、0で選択された。 階層0におけるブロックの大きさN _B
は16であり、周辺ブロック間の相関性を調べるための臨界値Dは、8画素が外れれば類似度が低下することと見なすために8に設定した。 この値は階層2における探索点間隔の2倍に該当する値である。

【００３６】本発明に係る動き推定方法の効果を証明するために全域探索技法と一般の階層探索技法の性能とを比較した。 複数候補戦略を採択した一般の階層探索技法の階層2では、最小予測誤差のみ有する三つの動きベクトルを候補に決める。 反面に、提案した技法は三番目の候補を周辺ブロックの動きベクトルの中で予測する。 表
1にはMPEG-2実験映像の最初の150フレームに対する動き予測及び動き補償性能を比較した結果を示した。

【００３７】

【表１】

【００３８】表1を参照すれば、本発明に係る動き推定方法は、全域探索技法に比べて0.2dB程度の微弱な性能減少を達成しながらも複雑度は全域探索技法の1.5%に過ぎないことと示される。 画素当り平均絶対誤差MADを計算するのに必要な演算数をN、ブロック数をN _Bとする時、複雑度は、

【００３９】

【数３】

【００４０】によって推定されうる。 ここで、N _s ² /64項は階層2、3×25/4項は階層1、25項は階層0の解像度に従う計算量の比例値を示す。 従って、32と64の N _sに対して全域探索技法(FSBMA: full scale block matching an
alysis)の1.5%と0.7%に当ることが分かる。

【００４１】また、表2には本発明に係る動き推定方法を比較的広い探索領域を要するMPEG-2符号化器に適用した結果を示した。 本実験ではGOP(Group of Picture) N
は12、Pフレーム間の距離Mは2、目標ビット率Tは6Mbps
と設定して実験を進行した。 表2には復元された映像のピーク信号対雑音比を比較した結果を示した。

【００４２】

【表２】

【００４３】表2を参照すれば、本発明に係る動き推定方法は全域探索技法の複雑度の0.9%という顕著な計算量減少を成し、ピーク信号対雑音比PSNRはほとんど同じ水準を達成する。

【００４４】前述したように本発明に係る動き推定方法は、フレーム間最小予測エラーを基本とした複数個の動きベクトル候補戦略と動きベクトル空間の相関性を効率的に使用することによって計算量が少なくて高速動き推定ができる。

【００４５】このような本発明に係るリアルタイム動映像符号化のための超高速動き推定方法は動き推定装置で具現できる。 前記動き推定装置(図示せず)は解像度調整手段、平均絶対誤差計算手段、初期探索点選択手段及び最終動きベクトル決定手段を具備する。

【００４６】前記のような装置の動作を説明すれば、まず、解像度調整手段は入力された映像フレームを階層0
とする時、階層0の解像度を低めて階層1を具備する。 また、階層1の解像度を低めて階層2を具備する。 例えば、
解像度を1/2に低める場合には二つの隣接画素の平均を用い、解像度を1/4に低める場合には4つの隣接画素の平均を用いて映像フレームが具現できる。

【００４７】平均絶対誤差計算手段は、階層2の探索領域に対する第1平均絶対誤差と、階層1で動きベクトル候補に対応する位置を探索中心点とする探索領域に対する第2平均絶対誤差、及び階層0で前記第2平均絶対誤差値が最小になる位置を階層0の探索中心点とした探索領域に対して第3平均絶対誤差を計算する。

【００４８】初期探索点選択手段は前記第1平均絶対誤差値が最小になる少なくとも二つ以上の位置を次の段階
(階層1)における初期探索中心点として選択する。 また、動きベクトル候補選択手段は現在ブロックの周辺ブロックの相関性を用いて、一つ以上の他の初期探索中心点を次の段階(階層1)における初期探索中心点としてさらに選択する。

【００４９】最終動きベクトル決定手段は前記第3平均絶対誤差値が最小になる位置と原点との距離情報を使用して最終動きベクトルに決定する。

【００５０】また、前記動き推定方法の各段階はコンピュータで実行できるプログラムで作成可能である。 また、コンピュータで用いられる媒体から前記プログラムを動作させる汎用ディジタルコンピューターで具現できる。 前記媒体はフロッピーディスクやハードディスクのような磁気記録媒体、CD-ROMやDVDのような光記録媒体、及びインターネットを通した伝送のような搬送波などの貯蔵媒体を含む。 また、このような機能的プログラム、コード及びコードセグメントは本発明が属する技術分野のプログラマーにより容易に推論できる。

【００５１】

【発明の効果】前述したように本発明に係る動き推定方法は、フレーム間最小予測エラーを基本とした複数個の動きベクトル候補戦略と動きベクトル空間の相関性を効率的に使用することによって計算量が少なくて高速動き推定ができる。

【図面の簡単な説明】

【図１】 本発明が適用される動映像符号化装置の概略的な構造を示すブロック図である。

【図２】 本発明の実施形態に係る動き推定方法の主要段階を示す流れ図である。

【図３】 本発明の実施形態に係る動き推定方法によって階層別探索を遂行する時、各階層別探索位置を説明するための図である。

【図４】 （Ａ）乃至（Ｆ）は本発明の実施形態に係る動き推定方法で、現在ブロックの周辺ブロックに対する相関性を用いて動きベクトル候補を決定する過程を説明するための図である。

【符号の説明】

SR ⁽²⁾階層２の探索領域 SR ₁ ⁽¹⁾ ,SR ₂ ⁽¹⁾ ,SR ₃ ⁽¹⁾階層１の探索領域 SR ⁽⁰⁾階層０の探索領域

───────────────────────────────────────────────────── フロントページの続き (72)発明者 林 慶垣 大韓民国ソウル特別市江南区駅三洞728− 32番地昭晶ビラット304号 (72)発明者 崔 健榮 大韓民国京畿道水原市八達区梅灘洞162番 地林光アパート10棟110号 Ｆターム(参考） 5C059 KK15 KK19 MA00 NN02 NN28 PP04 UA02