【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、イメージ・モーションを能率よく計算で推定する方法に関する。

【０００２】なお、本明細書の記述は本件出願の優先権の基礎たる米国特許出願第０８／２００，５９９号（１
９９４年２月２３日出願）の明細書の記載に基づくものであって、当該米国特許出願の番号を参照することによって当該米国特許出願の明細書の記載内容が本明細書の一部分を構成するものとする。

【０００３】

【背景技術】モーション・エスティメータ(motion esti
mator)を用いたビデオ信号デジタル・プロセッサはこの技術分野では公知である。 このようなプロセッサは、デジタル化イメージ・フレームのシーケンスによって定義される時変化イメージ(time-varying image)において描写されたモーションを推定するために使用される。 このようなモーション推定は、モーション補正コード化(mot
ion-compensated coding) 、フレーム・レート変換(fra
me rate conversion) 、スキャン（走査）変換、ノイズ低減、三次元の時変化シーン分析、およびコンピュータ・ビジョンにおけるオブジェクト・トラッキングといったアプリケーションで有用である。

【０００４】モーション推定を行う１つの公知のアプローチでは、二次元ブロック・マッチング・プロセス(2-d
imensional block matching process)を採用しているが、このプロセスでは、現イメージ・フレームと前イメージ・フレームとの間において全ピクセル解像度(full
pixel resolution) でブロックごとの探索が行われている。 現イメージの各ターゲット・ブロックについて、問題となっていることは、予測イメージ(prediction imag
e)において最良マッチング・ブロック・エリアまでの平行変位(translational displacement)を計算することである。 探索範囲(search range)がテレビジョンにおける典型的モーションを十分にカバーするために、従来の網羅的探索(exhaustive search) アプローチでは、費用がかかり、あるいは実用化が困難となる。 さらに、網羅的探索から得られるモーション・ベクトルは、場面(scen
e) におけるオブジェクトの物理的モーションを正確に反映していない場合があり、従って、最適なイメージ圧縮((image compression)や誤差隠蔽(error concealmen
t) を促進することになっていない。

【０００５】モーション推定を行う他の公知のアプローチでは、階層ストラテジ(hierarchical strategy) を採用している。 この階層ストラテジでは、全解像度イメージはピラミッド手法によって、連続的に減少する解像度の複数のイメージに分解され、そのあと、これらのイメージはイメージ・モーションの推定を粗から精細に向かって行うために使用されている。 この階層ストラテジの一例としては、ハードウェアで実現され、モーション推定をリアルタイムで行うことを可能にするものがあり、
本出願と同一の出願人に譲渡された、１９９４年１月４
日付け米国特許第５，２７６，５１３号(van der Waal)
に開示されている。 このvan der Waal特許によれば、モーション・ベクトルは、連続するイメージ・フレーム間の最大イメージ変位よりも大きい、あるサイズのピクセルを含んでいるピラミッド手法で得た(pyramid-derive
d) 低減解像度イメージについて最初に粗推定され、そのあと、これらの粗推定されたモーション・ベクトルは、増加していく解像度のイメージについて連続的に精細化され、最終的に、全解像度イメージのモーション・
ベクトルが得られる。 各ピラミッド・レベルにおいて連続するイメージ・フレーム間の最大イメージ変位は、そのレベルで±１ピクセルになっている。 この階層ストラテジの別の例は、International Journal of Computer
Vision 2, 283-310 (1989)に掲載の論文「計算フレームワークおよびビジュアル・モーションの測定アルゴリズム」(Computational Framework and an Algorithm for
the Measurement of Visual Motion) に開示されており、これはソフトウェアで実現され、オーバラップ・ピラミッド粗−精細投影方式(overlapped pyramid coarse
-to-fine projection scheme) を採用して、イメージ・
モーションの推定をより正確化している。 この階層ストラテジによるモーション推定は全解像度イメージだけで行われる非階層モーション分析よりも計算効率が大幅に向上しているが、van der Waalおよび前記論文による、
高精細イメージ(high-definition image) のシーケンスに対して必要とされる計算総数については、依然として高価なものとなっている。

【０００６】公知のように、現在意図しているようなデジタル・テレビジョン・システム（高精細および標準解像度の両方を含む）では、デジタル化ビデオ信号を限られたバンド幅のビデオ・チャネル上で送信する前にビデオ圧縮(video compression)が必要である。 従って、費用的に見合いかつ実用化に足りる、十分に正確にかつ効率的にモーション・ベクトルを計算する能力をもつビデオ圧縮エンコーダ(videocompression encoder)が望まれている。

【０００７】

【発明の概要】本発明は、計算の複雑性(computational
complexity)を軽減化するブロック・マッチングによるイメージ・モーション推定方法を意図している。

【０００８】より詳細には、このブロック・マッチング・イメージ・モーション推定方法は、現イメージ・フレームの二次元デジタル化された全解像度イメージ、二次元デジタル化された全解像度の前イメージ・フレーム、
現イメージ・フレームのＮレベルのピラミッド手法で得た連続的に減少する解像度イメージ、および前イメージ・フレームのＮレベルのピラミッド手法で得た連続的に減少する解像度イメージを受けて動作するものである。
ここで、Ｎの値は少なくとも２であり、全解像度の現および前イメージ・フレームの各々はゼロ（０）のピラミッド・レベルを構成している。

【０００９】本発明の方法は、（ａ）現イメージ・フレームのＮ番目のピラミッド・レベルを、２つの次元の少なくとも一方においてオーバラップされた第１サイズの複数の探索ブロックに分割し、（ｂ）前イメージ・フレームのＮ番目のピラミッド・レベルの一致探索(match s
earch)を、ある与えられた範囲エリアにわたって行うときに使用するために、オーバラップされた探索ブロックの各々を利用して、その探索ブロックに対して最低一致値(lowest match value)を示す、前イメージ・フレームのＮ番目のピラミッド・レベルのそのブロックまでのモーション・ベクトルを決定するステップを含んでいる。
関連するＮ番目のピラミッド・レベル・ブロックの集合は、それぞれの（Ｎ−１）番目のピラミッド・レベル・
ブロックをＮ番目のレベル上に投影することによって定義される。 複数の（関連ブロックの個数と同数の）ブロック・マッチング探索は各（Ｎ−１）番目のレベル・ブロックについて行われ、その探索において、それぞれの関連するＮ番目のレベル・ブロックのモーション・ベクトルは、それぞれの複数の探索の各探索ごとに、限られた（Ｎ−１）番目のレベル探索エリアを定義するために利用される。 各複数の探索ごとに、最低誤差値(lowest
error value)が得られるようなブロック・マッチング探索が対応する（Ｎ−１）番目のレベル・ブロックについて選択される。

【００１０】

【実施例】以下、図面を参照して本発明の実施例を詳細に説明する。

【００１１】図１は、１６×１６ピクセルの全解像度ブロック１００とｍ×ｎピクセルの全解像度イメージ１０
２を示したものである。 ブロック１００は、ソース・イメージの現在のｍ×ｎピクセル全解像度イメージ・フレームが分割されている、複数のかかる隣接ブロックから選択されたｘ，ｙ座標をもつ１６×１６ピクセルのブロックである場合があり、イメージ１０２は先行するｍ×
ｎピクセル全解像度イメージ・フレームである。 前イメージ・フレーム(previous image frame)と現イメージ・
フレーム(current image frame) との間でイメージ・モーションが起こると、ゼロ・ピクセル（つまり、その次元における静止イメージ）と、ある与えられた最大数のピクセル（つまり、単一フレーム期間中にその次元で予想される最大移動）との間でイメージが水平方向と垂直方向の各々に変位(displacement)することになる。 図１
に例示する従来の方法では、連続する突合わせ(match)
は、ピクセル座標が選択されたブロック１００のそれに対応している、ｍ×ｎピクセル・イメージ１０２のブロックを中心にして、水平方向に±Ｒ _x （例えば、±１２
８）ピクセルの範囲にわたって、垂直方向に±Ｒ _y （例えば、±１２８）ピクセルの範囲にわたって、ｍ×ｎピクセル・イメージ１０２の１６×１６ピクセル・ブロックと１６×１６ピクセルの選択されたブロックとの間で交互に行われている。 従って、サーチエリアのサイズは、Ｒ（例えば、±１２８×±１２８＝６５，５３６）
ピクセルになっている。

【００１２】選択されたブロック１００の突合わせ位置
(match position)は、連続する突合わせの間で１ピクセルだけ変位されている。 マッチング・プロセスは、ｍ×
ｎピクセル・イメージ１０２のブロックと選択されたブロック１００の対応するピクセルの２５６個のそれぞれのペアのデジタル値の間の差の絶対値（または差の正関数）を計算し、次に、２５６個の差の和をとってその突合わせの一致値を求めることからなっている（その結果、求めた一致値がゼロであるときは、完全に一致していることを示している）。 このマッチング・プロセスはサーチ範囲 R内の各ピクセル突合わせ位置ごとに繰り返されて（つまり、６５，５３６回）、ｍ×ｎピクセル・
イメージ１０２のどの特定の１６×１６ブロックが最小一致値になっているかが決定される。

【００１３】最小一致値を持つと計算されたｍ×ｎピクセル・イメージ１０２のブロックのｘ，ｙピクセル座標と、選択されたブロック１００自体のｘ，ｙピクセル座標との間の変位（つまり、モーション・ベクトル）により、前イメージ・フレームと現イメージ・フレーム間で行われたイメージ・モーション量の正確な推定値が得られる。 しかし、図１に示す従来のブロック・モーション推定方法でこのイメージ・モーションの正確な推定値を得るためには、計算の複雑性が比較的高くなるという犠牲を伴っている（ここで言う「計算の複雑性」とは数量的なもので、すべてのブロックをサーチするために必要な「計算オペレーションの総数」を、全解像度イメージ全体に含まれるピクセル数Ｎで除したものである）。 ある「計算オペレーション」とは、任意のピラミッド・レベルの分解能において２つのピクセル間を比較し、その残余をアキュムレータに加えることである。 範囲エリアがＲであるとすると、網羅的サーチの複雑性はＲに等しくなる。 これは、現イメージの各全解像度ピクセルが、
前イメージのＲだけ異なる全解像度ピクセルと比較されることになるためである。

【００１４】マッチング・プロセスは、最良のブロック・マッチにより定義されたイメージ・エリア内の実ピクセル値の間隙を縫うように内挿ピクセル値を生成することによりさらに改善することができる。 さらに別のブロック・マッチング探索（サーチ）を±１／２ピクセル範囲にわたって行うと、半ピクセル解像度の正確さでモーション・ベクトルが得られる。

【００１５】最低一致値(lowest match value)をもつ前フレームのブロックのｘ，ｙ座標と現フレームの選択されたブロック１００のｘ，ｙ座標との間の差によって、
最低一致値をもつ前フレームのブロックに関連するモーション・ベクトルが決定される。

【００１６】本発明のモーション推定方法によれば、図２ないし図７を参照して以下に説明するように、図１に例示した従来のモーション推定方法による計算の複雑性を、約７２０分の１に減少できるので、イメージ・モーション推定を実用化すると共に、コストを効率的にすることができる。

【００１７】より具体的には、本発明によれば、公知のピラミッド手法を利用することにより、全解像度ソース・イメージの現イメージ・フレームと全解像度の前イメージ・フレームは、連続的に減少していく解像度の複数のイメージ・フレームに分解される。 バンドパス、ローパス、エネルギといった異なるピラミッド・タイプが使用可能であるが、以下では、説明を分かりやすくするために、フィルタ・カーネル係数１，４，６，４，１をもつ４レベルのガウス・ピラミッド(Gaussian pyramid)
（つまり、レベル０，１，２，３）を使用することを想定する。 これは、このガウス・ピラミッドによると、本発明を効率よく実現できるためである。

【００１８】図２，図３および図４は、ピクセル・ブロックのサイズと、現ｍ×ｎピクセルの全解像度イメージ・フレームがそれぞれのピラミッド・レベル０，１，２
および３の各々で分割される複数のブロックのサイズとの間に存在する関係を示し、この関係は、本発明のモーション推定方法の好適実施例で使用されているものである。 より詳細に説明すると、ピラミッド・レベル０については、図２において、１６×１６ピクセルの全解像度ブロック２００（これは図１で上述したブロック１００
とほぼ同じである）と、現ｍ×ｎピクセルの全解像度イメージ・フレーム２０２のピラミッド・レベル０を構成する複数の１６×１６ピクセルの全解像度ブロック２０
０ _1,1 …２００ _m/16,n/16の隣接配列（ｃｏｎｔｉｇｕ
ｏｕｓ ａｒｒａｎｇｅｍｅｎｔ）とを一緒に示している。 ピラミッド・レベル１については、図２において、
８×８ピクセルの１／２解像度（２つの次元の各々における）ブロック２０４と、現ｍ／２×ｎ／２ピクセルの１／２解像度イメージ・フレーム２０６のピラミッド・
レベル１を構成する複数の８×８ピクセルの１／２解像度ブロック２０４ _１，１ …２０４ _m/16,n/16の隣接配列とを一緒に示している。 ピラミッド・レベル２については、図３において、８×８ピクセルの１／４解像度ブロック２０８と、現ｍ／４×ｎ／４ピクセルの１／４解像度イメージ・フレーム２１０のピラミッド・レベル２を構成する複数の８×８ピクセルの１／４解像度ブロック２０８ _1,1 …２０８ _m/16,n/16の５０％オーバラップ（各次元において）配列とを一緒に示している。 ピラミッド・レベル３については、図４において、８×８ピクセルの１／８解像度ブロック２１２と、現ｍ／３２×ｎ
／３２ピクセルの１／８解像度イメージ・フレーム２14
のピラミッド・レベル３を構成する複数の８×８ピクセルの１／８解像度ブロック２１２ _1,1 …２１２
_m/32,n/32の５０％オーバラップ（各次元において）配列とを一緒に示している。 以上から明らかなように、現イメージのピラミッド・レベル２と３の各次元において、イメージ・ブロックを５０％だけオーバラップさせると、ブロックの数は、非オーバラップ（つまり、隣接）配列に対して４倍に増加することになる。

【００１９】両次元においてレベル２と３を５０％オーバラップさせることは、単なる例である。 このオーバラップは２つの次元で異なるもにすることも、両次元においてそれぞれのオーバラップを５０％以上または以下にすることも可能である。 本発明の実施例では、オーバラップするブロックを１つのピラミッド・レベルだけにすることも、２つまたはそれ以上のピラミッド・レベルにすることも可能である。

【００２０】図２，図３および図４に示すように、各８
×８ピクセルの１／２解像度ブロック２０４は１６×１
６ピクセルの全解像度ブロック２００と同じサイズのイメージ・エリアを占めており、各８×８ピクセルの１／
４解像度ブロック２０８は１６×１６ピクセルの全解像度ブロック２００の４倍のサイズのイメージ・エリアを占めており、各８×８ピクセルの１／８解像度ブロック２１２は１６×１６ピクセルの全解像度ブロック２００
の１６倍のサイズのイメージ・エリアを占めている。 従って、ブロック２１２の各ピクセルは、ブロック２００
の６４ピクセルが占めているのと同じエリアを占めており、ブロック２０８の各ピクセルは、ブロック２００の１６ピクセルが占めているのと同じエリアを占めており、ブロック２０４の各ピクセルは、ブロック２００の４ピクセルが占めているのと同じエリアを占めている。

【００２１】本発明のモーション推定方法の好適実施例は次の４つのステップからなり、その詳細を以下に説明する。

【００２２】ステップ１：現ｍ／８×ｎ／８ピクセルの１／８解像度イメージ・フレーム２14のピラミッド・レベル３のオーバラップされたブロック２１２ _1,1 …２１
２ _m/32,n/32の各々はサーチブロックとして使用されて、１／８解像度の前イメージのピラミッド・レベル３
の網羅的突合わせ探索(ehaustive match search)が、ある与えられた範囲エリアＲにわたってそのサーチブロックの座標に対して行われ（つまり、サーチブロックは、
連続する突合わせの間で、各次元においてピラミッド・
レベル３の１ピクセル分の距離だけ変位されている）、
そのピラミッド・レベル３のサーチブロックによるこれらの突合わせのうち、最低一致値をもつもののモーション・ベクトルが決定される。

【００２３】ステップ２：現ｍ／４×ｎ／４ピクセルの１／４解像度イメージ・フレーム２１０のピラミッド・
レベル２のオーバラップされたブロック２０８ _1,1 …２
０８ _m/16,n/16の各々はサーチブロックとして使用されて、１／４解像度の前イメージのピラミッド・レベル２
のＰ回の突合わせ探索(P match search)が、例えば、制限された±１，±１ピクセル範囲にわたって行われ、これらのＰ回の突合わせ探索の各々は、ピラミッド・レベル２のサーチブロックのあらかじめ決められた部分（例えば、中央）が投影されている、ピラミッド・レベル３
のオーバラップしているＰ個のブロックのそれぞれのモーション・ベクトルに対応する個別の「候補」投影モーション(a separate "candidate" projected motion) に対して行われ、そのピラミッド・レベル２のサーチブロックによるこれらの突合わせのうち、最低一致値をもつもののモーション・ベクトルが決定される。

【００２４】ステップ３：現ｍ／２×ｎ／２ピクセルの１／２解像度イメージ・フレーム２０６のピラミッド・
レベル１の隣接するブロック２０４ _1,1 …２０４
_m/16,n/16の各々はサーチブロックとして使用されて、
１／２解像度の前イメージのピラミッド・レベル１のＱ
回の突合わせ探索が±1,±１ピクセル範囲にわたって行われ、これらのＱ回の突合わせ探索の各々は、レベル１
のサーチブロックのあらかじめ決めたエリアが投影されているピラミッド・レベル２のオーバラップしているＱ
個のブロックのそれぞれのモーション・ベクトルに対応する個別の「候補」投影モーションに対して行われ、そのピラミッド・レベル１のサーチブロックによるこれらの突合わせのうち、最低一致値をもつもののモーション・ベクトルが決定される。

【００２５】ステップ４：現ｍ×ｎピクセルの全解像度イメージ・フレーム２０６のピラミッド・レベル０の隣接するブロック２０４ _1,1 …２０４ _m/16,n/16の各々はサーチブロックとして使用されて、全解像度の前イメージのピラミッド・レベル０の１回の突合わせ探索が、±
１，±１ピクセル範囲にわたって、ピラミッド・レベル１の突合わせ探索時に最低一致値をもつと見つかった、
前イメージのピラミッド・レベル１のブロックに対して行われ、そのピラミッド・レベル０のサーチブロックによるこれらの突合わせのうち、最低一致値をもつもののモーション・ベクトルが決定される。

【００２６】大きなエリアのサーチブロックを上位のピラミッド・レベルで使用することは、正しいモーションに対応しておらず、たまたま残余が小さくなっている変位で低解像度ブロックが突き合わされるという可能性が減少し、ピラミッド・レベル０で得られたモーション・
フィールドの円滑化が促進される点で望ましい。

【００２７】他方、大きなブロックは、特にブロックがほぼ等しい２つの部分に分割されていると、異なった動きをする領域間の境界をまたがる可能性が大になり、突合わせが低下するという問題がある。 ステップ１と２で使用されているオーバラップによると、この問題は最小化される。 その理由は、イメージ場面（シーン）における２つの大きなオブジェクト間の境界を取り巻くブロック群をサーチするとき、そのグループのブロックの少なくとも一部が２つの等しい部分に分割されることがないためである。

【００２８】ステップ１では、全解像度範囲±Ｒ _x , ±
Ｒ _yに相当するサーチ範囲をカバーするように±Ｒ _x ／
８, ±Ｒ _y ／８ピクセル変位にわたってブロック突合わせ探索が行われる。 従って、各ブロック突合わせ探索を行うには、Ｒ／６４回の突合わせ計算オペレーションが必要になる。 全解像度ピラミッド・レベル０のピクセルのエリアと各ピラミッド・レベル３のピクセルのエリアとの比率は１／６４である。 しかし、ステップ１では水平方向と垂直方向にオーバラップしているので、その比率は４倍（５０％オーバラップのとき）に増加し、１／
１６になる。 その結果、ステップ１の計算の複雑性（その定義は上述したとおり）はＲ／６４×１／１６＝Ｒ／
１０２４である。 ±Ｒ _xと±Ｒ _yの各々が±１２８全解像度ピクセルである（その結果、範囲エリアＲは６５，
５３６全解像度ピクセルである）との上記想定に基づくと、ステップ１の計算の複雑性はわずか６５，５３６／
１０２４＝６４である。

【００２９】図５の（Ａ），（Ｂ）および図６は、ステップ２をもっと詳しく説明するために示した図である。
ここで図５（Ａ）は、ピラミッド・レベル２のサーチブロック３００Ｓと、現フレーム・イメージの４つの５０
％水平方向および５０％垂直方向オーバラップ・ピラミッド・レベル３の対応するサーチブロック３０２Ｓ，３
０４Ｓ，３０６Ｓおよび３０８Ｓ群の各サーチブロックとの関係を示す図である。 図５（Ｂ）において、ブロック３０２Ｐは、ピラミッド・レベル３のサーチ期間に、
サーチブロック３０２Ｓに対して最低一致値をもつとわかった、前フレーム・イメージのブロックである。 同様に、ブロック３０４Ｐ，３０６Ｐおよび３０８Ｐは、それぞれ、ピラミッド・レベル３のサーチ期間に、対応するサーチブロック３０４Ｓ，３０６Ｓおよび３０８Ｓの各々に対して最低一致値をもつとわかった、前フレーム・イメージのブロックである。 図５（Ｂ）のブロック３
０２Ｐ，３０４Ｐ，３０６Ｐおよび３０８Ｐが図６において空間的に相互に切り離されて示されているのは、図５（Ａ）に示した現フレーム・イメージのサーチブロック３００Ｓに対応する、前フレーム・イメージのピラミッド・レベル２のブロック３００Ｐ−１，３００Ｐ−
２，３００Ｐ−３および３００Ｐ−４の各々を分かりやすく示すためである。

【００３０】図６に詳しく示すように、ピラミッド・レベル２のブロック３００Ｐ−１はそれに関連するサーチブロック３００Ｓに対して「候補」モーション・ベクトル３１０−１をもっている（この「候補」モーション・
ベクトル３１０−１は図５（Ａ）に示す現フレーム・イメージのピラミッド・レベル３のサーチブロック３０２
Ｓと、ステップ１のサーチ期間に、サーチブロック３０
２Ｓによって最低一致値をもつとわかった、図５（Ｂ）
に示すフレーム・イメージのピラミッド・レベル３のブロック３０２Ｐとの間のイメージ変位に対応している）。 「候補」モーション・ベクトル３１０−２，３１
０−３または３１０−４は、ピラミッド・レベル２のブロック３００Ｐ−２，３００Ｐ−３および３００Ｐ−４
とそれぞれ、同じように関連している。

【００３１】図５（Ａ），（Ｂ）および図６は、ステップ２で上述したのと同じ方法で、ステップ３の「候補」
モーション・ベクトルを決定する場合に適用される。

【００３２】ステップ２、３および４の各々では、ブロック突合わせ探索が、例えば、±１，±１ピクセル変位の限られたサーチ範囲（図７参照）にわたって、当該ステップの解像度で前フレームのブロック４００に対して行われる。 従って、±１，±１ブロックの突合わせ探索
(block-match search)は９回のマッチ計算オペレーションを必要とし、当該解像度のサーチブロックが使用されて、ブロック４００自体と８個の変位した他のブロックの各々が図７のサーチ範囲内で突き合わせ（マッチ）される。

【００３３】従って、ステップ１では水平方向と垂直方向のオーバラップを使用しているので、ステップ２では、その４つの「候補」モーション・ベクトルの各々についてそのサーチ範囲全体をカバーするために、ブロック２０８の３６回（つまり、９×４）の突合わせ（マッチ）計算オペレーション（５０％オーバラップのとき）
が必要になる。 全解像度ピクセルのエリアとピラミッド・レベル２の各ピクセルのエリアとの比率は、１／１６
である。 しかし、ステップ２では、水平方向と垂直方向の両方の５０％オーバラップが使用されているので、その比率は４倍に増加し、１／４になる。 従って、ステップ２自体の付加的「計算の複雑性」（その定義は上述したとおり）は１／４×３６＝９である。

【００３４】ステップ２でも、５０％水平方向オーバラップと５０％垂直方向オーバラップを使用していれば、
ステップ３では、そのサーチ範囲全体をカバーするために、ブロック２０４の３６回（つまり、９×４）の突合わせ計算オペレーションが必要になる。 全解像度ピクセルのエリアとピラミッド・レベル１の各ピクセルのエリアとの比率は１／４倍である。 ステップ３ではオーバラップがないので、この比率は増加しない。 従って、ステップ３自体の付加的「計算の複雑性」（その定義は上述したとおり）は１／４×３６＝９である。

【００３５】ステップ３ではオーバラップが採用されていないので、ステップ４では、そのサーチ範囲をカバーするために必要とされるブロック２００の突合わせ計算オペレーションは９回だけである。 全解像度ピクセルのエリアとピラミッド・レベル１の各ピクセルのエリアとの比率は１である。 ステップ４ではオーバラップがないので、この比率は増加しない。 従って、ステップ４自体の付加的「計算の複雑性」（その定義は上述したとおり）も９である。

【００３６】本発明のブロック・マッチング・モーション推定方法による上述した好適実施例のステップ１から４までのすべての総「計算の複雑性」は６４＋９＋９＋
９＝９１であるのに対し、図１に例示した従来のブロック・マッチング・モーション推定方法の「計算の複雑性」は６５，５３６である。 従って、本発明のブロック・マッチング・モーション推定方法による上述した好適実施例によれば、「計算の複雑性」は、図１に例示した従来のブロック・マッチング・モーション推定方法に比べて、７２０（つまり、６５，５３６／９１）をわずか越えるまでに減少することができる。

【００３７】さらに、本発明のブロック・マッチング・
モーション推定方法のステップ４によって最低一致値をもつと見つかった単一ブロックに関連するモーション・
ベクトルの値の精度は、図１に例示した従来のブロック・マッチング・モーション推定方法に関連して上述したのと同じように向上することができる。

【００３８】本発明は、上述したブロック・マッチング・モーション推定方法の好適実施例の特定パラメータに限定されるものではなく、「計算の複雑性」を減少するために本発明の原理を採用していれば、どのブロック・
マッチング・モーション推定方法にも適用可能である。

【図面の簡単な説明】

【図１】ブロックごとのサーチが現デジタル化イメージ・フレームと、先行するデジタル化イメージ・フレームから計算された前イメージ・フレームとの間で全解像度で行われるような二次元ブロック・マッチング・プロセスを採用した、当該技術分野で公知の従来ブロック・モーション推定方法の例を示す図である。

【図２】図１に示した全解像度サーチ・ブロックと全解像度の現イメージ・フレームの両方が、本発明によるモーション推定方法の好適実施例を実現する際に採用されている１／２解像度のブロックにピラミッド手法で分解されている様子を示す概略図である。

【図３】図１に示した全解像度サーチ・ブロックと全解像度の現イメージ・フレームの両方が、本発明によるモーション推定方法の好適実施例を実現する際に採用されている１／４解像度のブロックにピラミッド手法で分解されている様子を示す概略図である。

【図４】図１に示した全解像度サーチ・ブロックと全解像度の現イメージ・フレームの両方が、本発明によるモーション推定方法の好適実施例を実現する際に採用されている１／８解像度のブロックにピラミッド手法で分解されている様子を示す概略図である。

【図５】本発明の好適実施例によるモーション推定方法のステップを説明するための図である。

【図６】本発明の好適実施例によるモーション推定方法のステップを説明するための図である。

【図７】本発明の好適実施例によるモーション推定方法のステップを説明するための図である。

【符号の説明】

１００ 現フレームにおける１６×１６ピクセル全解像度のブロック １０２ ｍ×ｎピクセル全解像度の前イメージ ２００ 現フレームにおける１６×１６ピクセル全解像度のブロック ２０２ ｍ×ｎピクセル全解像度の現イメージ（ピラミッド・レベル０） ２０４ ８×８ピクセル１／２解像度のブロック ２０６ ｍ／２×ｎ／２ピクセル１／２解像度の現イメージ（ピラミッド・レベル１） ２０８ 現フレームにおける８×８ピクセル１／４解像度のブロック ２１０ ｍ／４×ｎ／４ピクセル１／４解像度の現イメージ（ピラミッド・レベル２） ２１２ 現フレームにおける８×８ピクセル１／８解像度のブロック ２１４ ｍ／８×ｎ／８ピクセル１／４解像度の現イメージ（ピラミッド・レベル３）

フロントページの続き (72)発明者 パドマンアブハン アナンダン アメリカ合衆国 08648 ニュージャージ ー州 ローレンスヴィル カーバー プレ イス ビー２