【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はブロックマッチング技術に基づく動き推定装置に関する。

【０００２】

【従来の技術】この技術はテレビジョン画像に関する動き推定の分野で良く知られている。 それは画素の組からなる現在の画像ブロックから開始され、ある基準によりそれに最も良く適合する前の画像のブロックに対する検索からなる。 例えばオーバーレイされた画素の輝度値間の絶対誤差又は平均二乗誤差であり、その誤差はブロックの画素の組に亘って加算される。

【０００３】この検索は現在のブロックの位置の周囲で決定された前の画像の検索窓内でなされる。 ２つのブロックの相対的な位置は変位、即ち動きベクトルを与える。 前の画像のみに基づくこの技術は「片側（ワンサイド）ブロックマッチング」という用語により知られている。 画像を補間するときにそれはこの補間された画像の仮想的なそれらと相関されるブロックに対する検索に拡張される。 それは「両側（ツウサイド）ブロックマッチング」という用語により知られており、例えばトムソンコンシューマーエレクトロニクスＳＡの名前で１９９３
年９月８日に出願されたヨーロッパ特許出願Ｎ゜９３４
０２１８７．４に記載される。

【０００４】従来技術から知られており、上記特許出願に記載される動き推定アーキテクチャーの２つの例は図１、２に示される。 これらの例で現在ブロックの±２画素の水平及び垂直の周囲の窓でなされる。 図１は「片側ブロックマッチング」に関する。 図で斜線で示される処理回路は１の入力に平行に現在の画素に関する情報（輝度）を受ける。 画像（又はフレーム）遅延回路による前の画像から由来する情報の同じ型は各処理回路の第二の入力上に現れる。 輝度情報が処理回路の入力に到達する前にクロスしなければならないラインと画素（又はサンプル）遅延回路は現在のブロックと適合されるブロック、故に処理回路に関する動きベクトルを決定する。 このブロックは水平（要素遅延）及び垂直（ライン遅延）
への連続した遅延によりシフトされる現在ブロックに対応し、輝度情報はそれを問題の回路に到達する前にクロスする。 各処理回路は特定のシフト、故に動きベクトルの候補に関係する。 現在ブロックの±２画素の水平及び垂直の周囲である検索窓は２５の動きベクトル候補に対応する。

【０００５】各処理回路は現在のブロックと回路に対応する前の画像のブロックとの間の全体の誤差を与えるような方法でその入力に到来する現在ブロックの画素のそれぞれに対する輝度値間の誤差を集積する。 この現在ブロックに対して集積された誤差の最小値は回路、故に前の画像のブロック、故に動きベクトルを指定する。 これは画像のブロックのそれぞれに対して実施される。

【０００６】計算誤差は絶対誤差又は平均二乗誤差でありうる。 図２は「両側ブロックマッチング」に関する。
ここで処理回路は補間された画像の現在のブロックに割り当てられた動きベクトルを決定するように上記の特許明細書にあるように次の画像のブロックと前の画像のブロックとの間の誤差を集積する。

【０００７】テレビジョンスキャンによるビデオ情報を利用するその様なアーキテクチャーは実施するために複雑な記憶回路を必要とする；スキャンのこの型により各ブロックに対する計算される誤差を許容する中間結果のこの記憶は与えられた処理回路に対して各ブロックのレベルで及び各ブロックの各ラインのレベルに対してでさえ各処理回路のレベルでなされねばならない。 次のブロックに送られる前にブロックの全てのラインを、即ちブロック毎にスキャンすることからなる解決策は同様に複雑なスキャン変換回路を形成する。

【０００８】動き推定器及び特に処理回路はこの特殊性により規格化又は低コスト一体化を予め含む処理されるブロックの数と大きさに依存する異なる構造を有する。

【０００９】

【発明が解決しようとする課題】本発明の目的は上記の問題を解決することにある。

【００１０】

【課題を解決するための手段】この課題は動きベクトルの各候補に対する処理回路からなり、画像の各ブロックに対するこのベクトルによりマッチングされた画素間の誤差を計算するためにブロックマッチングによりビデオ画像の動きを推定するための装置である。 処理回路は部分和を得るためにブロックの各ラインで誤差を集積し、
似た成分の動きベクトル候補に関する処理回路はそれ自体がメモリによりループバックされたチェーン形成するように共に結合され、前のブロックに対する現在のビデオラインで計算されこれらの候補ベクトルのそれぞれに対応する誤差の部分和をこのメモリに転送し、前のビデオラインで計算され次のブロックに関連する和に対するこのメモリから対応する処理回路に転送し、これらの転送は現在のブロックの部分和を計算する間に実行される。

【００１１】

【発明の実施の形態】本発明の特徴及び利点は以下に図を参照して例により説明することからよりよく理解される。 処理回路特有の第一のアーキテクチャーは図３に示される。 回路に入力された情報入力はテレビジョンスキャンに対応する。 画像は知られた方法でブロックに分解され、画像内のＭブロックのラインはバンド又は「ストライプ」を構成する。

【００１２】二乗誤差又は絶対誤差を計算する回路１は第一の入力Ｖ１ｉで現在のブロックの現在の画素の輝度を受容し、第二の入力Ｖ２ｉで前の画像の問題の処理回路ｉに関してシフトされた画素の輝度を受容する。 このシフトは実際図１、２で見るように問題の処理回路に依存し、それに関連し、前の画像又は前の画像の画素及び処理回路に到達する前の次の画像の画素により実際「クロスされ」なければならない遅延回路に関する。 これらの数値的な輝度値は画像サンプリング周波数又は画素周波数で受容される。 計算回路の出力はその第二の入力がマルチプレクサ３から得られる加算器２の第一の入力に接続される。 加算器の出力は画素サンプリングクロックに制御された遅延回路４又はメモリレジスタに伝送され、そのクロックはクロック入力Ｈ１で受容され、それの遅延は２つのサンプル間の間隔に従って対応する。 その出力はマルチプレクサ３の第一の入力に結合される。
斯くして後者の出力がマルチプレクサの制御入力Ｃ１に転送された制御信号により遅延回路に接続されたこの入力上でスイッチされるときに加算器２はその第二の入力に到来する予め集積され、記憶された誤差をその第一の入力に到来する現在の誤差に加算する。 斯くしてそれは画素クロックと同期して、受容されたサンプル（画素）
の組に対する計算回路１により計算された誤差を集積し、マルチプレクサが斯くの如く設定される限りその様に動作する。 加算器２の出力はまた前のものと同じ型であるが、ここではクロック入力Ｈ２により制御される第二のメモリレジスタ５の入力に接続される。 レジスタの出力は処理回路のＳｉとラベルされた出力であり、シフトレジスタ６の入力に接続される。 このシフトレジスタの出力はマルチプレクサ３の第二の入力及びまた処理回路のＳｉとラベルされた入力に接続される。 入力及び出力Ｅｉ、Ｓｉは処理回路特有のものであり、シフトレジスタはこの回路の部分を形成しない。

【００１３】Ｃ１をスイッチングすることは以下にラインブロック周波数と称するその周波数がＰがブロックのラインの画素の数である場合に画素周波数よりＰ倍低いラインブロッククロックと同期して動作する。 後のブロックの画素に送るときに、マルチプレクサは入力Ｅｉ上の１画素クロックビートに対してスイッチされる。 この入力Ｅｉはブロックの第一のラインに対してゼロに等しく、他のラインに対してこのブロックの部分和に等しく、この部分和は現在のラインまでのこのブロックの各ラインに亘り集積された誤差の和に対応する。 値Ｅｉは加算器２によりクロックの処理されたラインの第一の画素に関して計算された誤差に加算される。 和は入力Ｖ１
ｉ、Ｖ２ｉ上の後のサンプルの出現に対応する後の画素クロックビートでレジスタ４に記憶され、加算器２の入力に転送され、マルチプレクサ３はメモリレジスタ４の出力上でこれと同じ画素クロックビート中に再びスイッチされる。 このように誤差はブロックのラインのサンプルのそれぞれに対して集積され、次のブロックへの通路はＥｉ上のマルチプレクサのスイッチングをトリガーする。

【００１４】入力Ｈ２はラインブロッククロックを受け、ブロックのラインの端でレジスタ５内の加算器により送られる部分和を記憶する。 出力ＳｉはＭ−１のビン（記憶場所）からなるシフトレジスタ６内のラインブロッククロックの次のビートで記録される。 故にレジスタ５により記憶された部分和はシフトレジスタ６の出力、
故にマルチプレクサ３の第二の入力上にＭのラインブロッククロックビートを出す。 このレジスタは回路５と関連して加算器に入力を可能にするよう１ライン周期の遅延で遅延回路の役割を果たし、ブロックの新たなラインを処理するときには部分和はこのブロックの次のラインに対応する。 出力Ｓｉはまたブロック全体に亘り集積された誤差に対応する値Ｓｉのみをピックアップし、各画像のブロックに対してその様にするバッファメモリに転送される。

【００１５】上記の処理回路は動きベクトルの候補と同じ回数繰り返され、回路全体の複雑さは検索窓の寸法に比例する。 本発明の装置の第二の実施例は図４、５に表され、回路全体の大幅な簡単化が達成可能となっている。 図４は入力及び出力Ｅｉ、Ｓｉに適切な処理回路を示す。 図３の回路と共通の要素は再び記載され、同じ符号で示される。

【００１６】加算器２の出力で得られる集積された誤差はその役割が以下に説明されるマルチプレクサ７を介してレジスタ５に転送される。 加算器２の出力はそのスイッチングはその制御入力Ｃ２に転送される信号により制御され、その出力はクロック入力Ｈ２により制御されるシフトレジスタ５の入力に接続される第二のマルチプレクサ７の第一の入力に接続される。 処理回路の入力Ｓｉ
は第一のマルチプレクサ３の第二の入力及びまた第二のマルチプレクサ７の第二の入力に接続される。

【００１７】図５は類似の水平成分を有する動きベクトル候補の組のブロック毎に集積された誤差を計算する回路を示す。 故に処理回路のこの型の５つの組又は群は図１、２に示される例によるマッチング処理動作をなすよう要求される。 動きベクトルの最大の可能な水平成分（画素の数）に対応するカスケード接続された処理回路の数Ｎはこの例ではまた５である。 上記の処理回路であるこれらの回路８ｉのそれぞれは輝度に関するビデオ入力Ｖ１ｉ，Ｖ２ｉを受ける。 各階路の出力Ｓｉは次の回路の入力Ｅｉ＋１に接続され、ＥｉとＳｉは図４に記載される入力と出力である。 最後の回路８ｉの出力Ｓｉ
は、処理群の出力と称され、ＦＩＦＯメモリ９の入力に接続され、このメモリの出力はチェーンの第一の回路８
の入力に接続される。

【００１８】処理回路のそれぞれに対して上記型のシフトレジスタで部分和を集積するよりもむしろ与えられたブロックのラインの処理の後に処理回路８ｉの出力で得られるこれらの和は次のブロックの部分和の計算の時間中に１つのＦＩＦＯメモリ９内に転送される。 このメモリは各ブロックの各ライン、故に処理回路８ｉの組に対して計算された部分和を一時的に記憶することを可能にする。

【００１９】これらの測定された部分和を１つのＦＩＦ
Ｏメモリに送ることがマルチプレクサ７の役割である。
斯くしてマルチプレクサ７のスイッチングはマルチプレクサ３に対してラインブロック周波数で実行される。 しかしながらここで入力Ｅｉはブロックの最後の画素に対応する画素クロック期間と、マルチプレクサがメモリレジスタ５に対する部分和を転送するために加算器の出力でスイッチされる間を除きメモリレジスタ５に部分和を転送するために、マルチプレクサを介して、メモリレジスタ５に連続的に転送され、後者はそれをＨ２により記憶する。

【００２０】マルチプレクサがＥｉへスイッチオンするときに各メモリレジスタ５内に記憶されるこれらの部分和は１つの処理回路のメモリレジスタからＨ２上で受けられた信号の速度、例えば画素周波数で次の処理回路のメモリレジスタにシフトされ、これと同じ速度でＦＩＦ
Ｏメモリに記録される。 ＦＩＦＯメモリへの集積は処理されたブロックのそれぞれに対する、即ちＭ−１ブロックに対応するストライプＮｘ（Ｍ−１）値に対するＮの部分和であり、計算された最後のＮの値はメモリレジスタ５に記憶される。

【００２１】斯くして新たなブロックのラインを処理するときにこの新たなブロックと処理回路のそれぞれに対する前に記憶された部分和は処理回路のそれぞれにより前のブロックに対して計算された部分和がＦＩＦＯメモリに転送されるのと同時にこれらの回路のそれぞれの入力に転送され、これはマルチプレクサ７が入力Ｅｉと連結されるときにメモリレジスタ５を順に並べることによりなされる。 それでこれらのレジスタはＮビンを有するシフト回路の役割を果たす。 転送はＨ２で受容される画素クロック周波数でなされる。 ＦＩＦＯメモリは例えば入／出力のテンポが同じときにＮ（Ｍ−１）メモリビンを有する簡単なシフトレジスタでありうる。

【００２２】ストライプの最後のラインを処理する一方でカスケードの最後の処理回路のメモリレジスタ５を介して到来した「部分和」は実際にブロックの動きベクトルのそれぞれ（又はチェーンの処理回路のそれぞれ）の最終誤差であり、これはストライプの各ブロックに対してそうである。 処理群の出力で得られるこれらの値は動き推定器の下流の回路により考慮に入れられる。

【００２３】動きベクトル候補の全体、故に処理回路の数がブロックのライン内の画素の数に等しいかそれ以下である場合に全ての部分和はブロックの処理の間に画素クロック周波数で転送される。 転送の瞬間は１の群から他へ画素周期のＮ倍でシフトされるよう提供され、与えられたブロックに対して最後のメモリレジスタ５による最終誤差出力は例えば動きベクトルの垂直成分に対応する処理群のそれぞれの出力を多重化することによりシーケンシャルに転送され、これはラインブロック周期内である（Ｐ画素周期に対応する）。

【００２４】ブロックのライン内の画素の数が処理回路の数全体より少なく、一方で処理群の処理回路の数より多い場合にはバッファメモリは図６に表されるように各処理群の出力で用いられる。 これは画像の各ブロックに対する測定された誤差を収集し、順に並べる回路である。 回路１０ｊは図５に記載された回路に対応し、これもまた処理群と称される。 同じ水平振幅を有する動きベクトルの群ｊに関するこの回路１０ｊの出力は故にカスケード内の最後の処理回路８ｉの出力である。

【００２５】この出力はバッファメモリ回路１１ｊの入力に接続され、これは回路１０ｊに対応する動きベクトルに対する画像のブロックのそれぞれに関する誤差を記憶し、転送クロックはＦＩＦＯメモリにこれらの誤差を転送するためにまた用いられる画素クロックである。 バッファ１１ｊの容量はストライプ内のブロックの数を乗算されたこのバッファに接続される処理群の処理回路８
の数に等しい。

【００２６】最終的にブロックのライン内の画素の数が処理群の処理回路の数より少なく、ＦＩＦＯに対する部分和及びバッファメモリへのブロック毎の誤差の転送の周波数は画素周波数より大きくなければならない。 しかしながら簡単な実施例は群当たりの処理回路の数がブロックのライン当たりの画素の数に対応する。

【００２７】この例ではｊは５に等しく、これは垂直方向で±２の窓に対応し、ブロックのライン内の画素の数は少なくとも５に等しく、２５よりも小さいと仮定される。 それから計算された誤差は対応するバッファメモリ１１ｊにより群のそれぞれに同時に転送される。 この転送は各ストライプの最後のラインをスキャンする一方でなされる。 それの５つの入力でマルチプレクサ１２はバッファメモリからの出力を受ける。 各メモリ出力はマルチプレクサを介して順次デバイスにより出力され、それにより各ブロックの１及び同一ブロック及び等々に対応する誤差を供給し、これは画素周波数と等しいバッファメモリ読み出し速度である。 故に与えられた画像ブロックに対する動きベクトル候補に対応する誤差の全ては画像の最初から最後のブロックへ、マルチプレクサの出力でシリアルに転送される。

【００２８】各動きベクトルに関連するブロックの誤差のシリアル転送はそれが構成される、即ちブロックのラインの数を乗算されたラインブロック周期の間にブロックの数により分割されるストライプ周期の間を通過して達成され、これは転送が画素周波数で実行された場合にはブロックのがぞの数に等しい動きベクトルの最大数に対応する。 故に動きベクトルの候補の数はサンプリング周波数で転送用のブロックで多くとも画素の数全体と等しくなければならない。

【００２９】反対の場合にはバッファレジスタ１１を読み出す周波数は画素周波数より大きくなければならない。 特定の実施例は水平に１６画素、垂直に８画素のブロックに関する。 検索窓は垂直に±２画素、水平に＋
７，−８画素である。 故に動きベクトル又処理回路の数は８０であり、５つの処理群に分配され、それぞれは１
６の処理回路を有する。 ストライプに対して測定された誤差はストライプ内のブロックの数を乗算された８０の値に対応する。 これらの値はストライプの５ラインの周期に亘り画素周波数でマルチプレクサ１２によりシリアルに転送され、このストライプ転送のない他の３ラインの間は離され、一方で現在のストライプの誤差の計算は完了する。

【００３０】上記の実施例は無論限定されたものである。 故に処理回路を水平方向よりもむしろ垂直に結合することは全く問題のないことである。 画素周波数で転送に匹敵する結合の型を選択することは可能である。 動き推定の処理回路の組全体に対して単一のメモリ９を用いることはまた考えられ得ることである。 処理群の出力は三状態回路によりＦＩＦＯ入力上で多重化され、又はそうでなければ充分な数である入力に転送される。

【００３１】

【発明の効果】この装置の利点により推定器を実施する回路は簡単化され、後者の計算時間とコストは減少される。 スキャン変換は必要とされない。 限定された数のメモリ回路は動き推定器の全体のアーキテクチャーの簡単化を許容する。 このアーキテクチャーはマッチングの種々の型、例えば「片側ブロックマッチング」型又は補間的な「両側ブロックマッチング」型の前の画像に亘り適合する。 それはまた種々の大きさのブロックの利用に適合され、下流の処理用のブロックに対して計算された誤差に容易なアクセスを提供する。 共に結合し共通の回路への小さな反復的な基本的な構造の利用は例えばＶＬＳ
Ｉ（大規模集積）回路のような大規模な集積に対して特に良く適合する。

【図面の簡単な説明】

【図１】従来技術による「片側ブロックマッチング」型の動き推定のアーキテクチャーを示す。

【図２】従来技術による「両側ブロックマッチング」型の動き推定のアーキテクチャーを示す。

【図３】シフトレジスタへループバックされた動き推定器の処理回路を示す。

【図４】動き推定器の処理回路の他のバージョンを示す。

【図５】一群の処理回路を示す。

【図６】一群の動き推定器の処理回路のレイアウトを示す。

【符号の説明】

１ 計算回路 ２ 加算器 ３ マルチプレクサ ４ 遅延回路 ５ メモリレジスタ ６ シフトレジスタ ７、１２マルチプレクサ ９ ＦＩＦＯメモリ １１バッファレジスタ Ｖ１ｉ、Ｖ２ｉ 入力 Ｃ１ 制御入力 Ｈ１ クロック入力 Ｅｉ 入力 Ｓｉ 出力 ８ｉ処理回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 マイケル ニー イギリス国 ジーユー32 ２イーイー ピ ーターズフィールド・ハンツ ウッドベリ ー・アヴェニュー ６