【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は映像処理システムに係り、より詳細にはリアルタイムでビデオイメージシーケンスのステレオ整合のためのシステムに関する。

【０００２】

【従来の技術】ステレオ整合は一対の２次元イメージから３次元の空間情報を再創出するステレオビジョンの中心プロセスである。

【０００３】研究論文［Ｕｅｍｓｈ Ｒ． Ｄｈｏｎｄ
ａｎｄ Ｊ． Ｋ． Ａｇｇａｒｗａｌ． Ｓｔｒｕｃｔｕｒ
ｅ ｆｒｏｍ ｓｔｅｒｅｏ−ａ ｒｅｖｉｅｗ． Ｉ
ＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｙｓｔｅ
ｍｓ，Ｍａｎ，ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ，１９
（６）：５５３−５７２，Ｎｏｖ／Ｄｅｃ１９８９］によれば、ステレオ整合に関する基本的な事項及びいくつの重要な開発分野を見出すことができる。

【０００４】この研究論文で同じ光学特性を有する一対のカメラは同じ平面に置かれる。 これはそれぞれの整列された水平イメージスキャンラインを有する類似の空間領域を取るために整列されるからである。

【０００５】各々画素対が同じ３次元空間の点に対応するように、一イメージでの画素を残りのイメージでの画素でマッチングすることによって、簡単な幾何学的特性を用いてカメラからその点の距離が分かる。 ここで幾何学的特性が深度である。 水平スキャンラインの整列は整合する画素対がそれぞれのイメージで同じスキャンライン上に置かれるということを保証する。 それぞれのイメージでいくつかの画素は他のイメージで整合する画素を有しない場合もあるが、これが吸蔵（Ｏｃｃｌｕｓｉｏ
ｎ）と知られた場合である。 処理過程で一番難しい部分が整合画素を探す部分、すなわち、ステレオ整合部分である。

【０００６】ステレオ整合で画素の空間情報または距離の計算は、地図作成（Ｍａｐｐｉｎｇ）、地質学（Ｇｅ
ｏｌｏｇｙ）、試験（Ｔｅｓｔｉｎｇ）、検査（Ｉｎｓ
ｐｅｃｔｉｏｎ）、ナビゲーション（Ｎａｖｉｇａｔｉ
ｏｎ）、バーチャルリアリティ（Ｖｉｒｔｕａｌ Ｒｅ
ａｌｉｔｙ）、医学（Ｍｅｄｉｃｉｎｅ）等、さまざまな技術や産業、研究の多くの分野で非常に重要である。
追加的にこのような分野において、いくつかは情報に即時に対応せねばならないためにリアルタイム空間情報を要求する。 特に、ロボット工学と自動運航において重要である。

【０００７】研究論文［Ｓｔｕａｒｔ Ｇｅｍａｎ ａ
ｎｄ Ｄｏｎａｌｄ Ｇｅｍａｎ． Ｓｔｏｃｈａｓｔｉ
ｃｒｅ ｌａｘａｔｉｏｎ、Ｇｉｂｂｓ ｄｉｓｔｒｉ
ｂｕｔｉｏｎｓ、ａｎｄ ｔｈｅ Ｂａｙｅｓｉａｎ
ｒｅｓｔｏｒａｔｉｏｎ ｏｆ ｉｍａｇｅｓ． ＩＥＥ
ＥＴ ｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ
Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔ
ｅｌｌｉｇｅｎｃｅ，ＰＡＭＩ−６（６）：７２１−７
４１，Ｎｏｖｅｍｂｅｒ１９８４］によれば、ステレオ整合でＫｉｒｋｐａｔｒｉｃ ｅｔ ａｌにより発表された模擬アニーリングに基づいた確率最適化（Ｓｔｏｃ
ｈａｓｔｉｃ Ｏｐｔｉｍｉｚａｔｉｏｎ）方法とマルコフ確率場（Ｍａｒｋｏｖ Ｒａｎｄｏｍ Ｆｉｅｌ
ｄ）を使用した方法が記述されている。 これは、平均場（Ｍｅａｎ Ｆｉｅｌｄ）理論を使用したＧｅｉｇｅｒ
とＧｉｒｏｓｉのような人によりさらに発展した。 しかしこのような方法は本質的に反復的であるので非常に長い演算時間を必要とするためにリアルタイムステレオ整合には不適切な問題点があった。

【０００８】研究論文［Ｈ． Ｈ． Ｂａｋｅｒ ａｎｄ
Ｔ． Ｏ． Ｂｉｎｆｏｒｄ． Ｄｅｐｔｈ ｆｒｏｍ ｅ
ｄｇｅ ａｎｄ ｉｎｔｅｎｓｉｔｙ ｂａｓｅｄ ｓ
ｔｅｒｅｏ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ
ｔｈｅ Ｉｎｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏ
ｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎ
ｔｅｌｌｉｇｅｎｃｅ，ｐ６３１−６３６，Ｖａｎｃｏ
ｕｖｅｒ，Ｃａｎａｄａ，１９８１］と研究論文［Ｙ．
Ｏｈｔａ ａｎｄ Ｔ． Ｋａｎａｄｅ． Ｓｔｅｒｅｏ
ｂｙ ｉｎｔｒａ−ａｎｄ ｉｎｔｅｒ−ｓｃａｎｌ
ｉｎｅ ｓｅａｒｃｈ． ＩＥＥＥ Ｔｒａｓａｃｔｉｏ
ｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎ
ｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＰＡ
ＭＩ−７（２）：１３９−１５４、Ｍａｒｃｈ １９８
５］によれば、ステレオ整合で動的プログラミング（Ｄ
ｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ：ＤＰ）に基づいた方法が記述されている。

【０００９】両方法は画素整合を探すために、デュアルレベルＤＰ（Ｄｕａｌ−ｌｅｖｅｌＤＰ）とヒューリスティック（Ｈｅｕｒｉｓｔｉｃ）ポストプロセシングを使用する。

【００１０】研究論文［Ｉｎｇｅｍａｒ Ｊ． Ｃｏｘ，
Ｓｕｎｉｔａ Ｌ． Ｈｉｎｇｏｒａｎｉ，Ｓａｔｉｓｈ
Ｂ． Ｒａｏ，ａｎｄ Ｂｒｕｃｅ Ｍ． Ｍａｇｇｓ．
Ａｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｓｔｅｒｅ
ｏ ａｌｇｏｒｉｔｈｍ． Ｃｏｍｐｕｔｅｒ Ｖｉｓｉ
ｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎ
ｇ，６３（３）：５４２−５６７，Ｍａｙ １９９６］
と、研究論文［Ｓｔａｎ Ｂｉｒｃｈｆｉｅｌｄ ａｎ
ｄ Ｃａｒｌｏ Ｔｏｍａｓｉ． Ｄｅｐｔｈ ｄｉｓ
ｃｏｎｔｉｎｕｉｔｉｅｓ ｂｙ ｐｉｘｅｌ−ｔｏ−
ｐｉｘｅｌｓｔｅｒｅｏ． Ｉｎ Ｐｒｏｃｅｅｄｉｎ
ｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏ
ｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅ
ｒＶｉｓｉｏｎ，ｐ１０７３−１０８０ｍ，Ｂｏｍｂａ
ｙ，Ｉｎｄｉａ，１９９８］によれば、ステレオ整合でヒューリスティックポストプロセシングと共に離散画素指向方法でシングルレベルＤＰ（Ｓｉｎｇｌｅ−ｌｅｖ
ｅｌ ＤＰ）に基づいた方法が記述されている。

【００１１】研究論文［Ｐｅｔｅｒ Ｎ． Ｂｅｌｈｕｍ
ｅｕｒ． Ａ Ｂａｙｅｓｉａｎ ａｐｐｒｏａｃｈ ｔ
ｏ ｂｉｎｏｃｕｌａｒ ｓｔｅｒｅｏｐｓｉｓ． Ｉｎ
ｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏ
ｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１９（３）：２３７−２
６０，１９９６］によれば、ステレオ整合でサブピクセル解法（Ｓｕｂ−ｐｉｘｅｌ Ｒｅｓｏｌｕｔｉｏｎ）
と共にさらに複雑なＤＰに基づいた方法が記述されている。

【００１２】たとえこのような方法がマルコフ確率場に基づいたものに比べて速いとしても、それらは並列処理に対してよく調整されていないために相変わらずリアルタイムステレオ整合には適していない問題点があった。

【００１３】

【発明が解決しようとする課題】本発明が解決しようとする技術的な課題は、従来の技術の問題点を解決するためのものであって、ベイズの感覚（Ｂａｙｅｓｉａｎ
Ｓｅｎｓｅ）に最適化され、新しい動的プログラミングに基づいたアルゴリズムを使用してビデオイメージシーケンスを並列処理することによってリアルタイムでステレオ整合を可能にするリアルタイム立体映像整合システムを提供することにある。

【００１４】

【課題を解決するための手段】本発明が解決しようとする技術的な課題を解決するためのリアルタイム立体映像整合システムは、第１及び第２カメラから入力される映像をデジタル信号に変換する信号変換手段と、前記第１
及び第２デジタル映像信号の一スキャンラインの画素対から所定の整合コストを計算し、最小の整合コストを決定する決定値を追跡して、動作するかどうかを決定する所定の活性情報によって前記決定値を両眼差（Ｄｉｓｐ
ａｒｉｔｙ）推定値として出力する映像整合手段とを有する。

【００１５】

【発明の実施の形態】以下、添付した図面を参照して本発明を詳細に説明する。

【００１６】図１は、本発明に係るリアルタイム立体映像整合システムのブロック図である。

【００１７】図１に示したシステムは、被写体の左側映像を撮影する左側カメラ１０、被写体の右側映像を撮影する右側カメラ１１、左側及び右側カメラ１０及び１１
の映像信号をデジタル変換して各々出力する映像処理部１２、デジタル変換されたデジタル左側及び右側映像から両眼差を計算するステレオマッチングチップ（ＳＭＣ
（Ｓｔｅｒｅｏ Ｍａｔｃｈｉｎｇ Ｃｈｉｐ））１
３、両眼差による映像を表示するための使用者システム１４により構成される。

【００１８】図２は、図１中でＳＭＣの詳細図である。

【００１９】図２に示したＳＭＣは、Ｎ／２個で構成されて映像処理部１２のデジタル右側映像信号を貯蔵する右側映像レジスター２０、Ｎ／２個で構成されて映像処理部１２のデジタル左側映像信号を貯蔵する左側映像レジスター２１、Ｎ個で構成されてクロック制御信号及びリード／ライト信号により左側及び右側映像から両眼差を出力するプロセシングエレメント２２、右側映像レジスター２０、左側映像レジスター２１及びプロセシングエレメント２２の動作を制御するためのクロックを提供するクロック制御部２３で構成される（ここでＮは２の倍数である）。

【００２０】図３は、図２に示されたプロセシングエレメントの詳細図である。

【００２１】図３に示したプロセシングエレメントは、
右側映像レジスター２０及び左側映像レジスター２１に貯蔵された一スキャンライン分の画素を入力として整合コスト及び決定値を出力する前方プロセッサ（Ｆｏｒｗ
ａｒｄ Ｐｒｏｃｅｓｓｏｒ）３０、前方プロセッサ３
０から出力される決定値を貯蔵する決定スタック（Ｄｉ
ｃｅｓｉｏｎ Ｓｔａｃｋ）３１、動作するかどうかを決定する活性ビットに前記決定スタック３１から出力される決定値で両眼差を出力する後方プロセッサ（Ｂａｃ
ｋｗａｒｄ Ｐｒｏｃｅｓｓｏｒ）３２で構成される。

【００２２】図４は、図３に示された前方プロセッサの詳細図である。

【００２３】図４に示した前方プロセッサは、右側映像レジスター２０及び左側映像レジスター２１の一ラインを構成する各画素の差で整合コストを計算する絶対値計算手段４１、絶対値計算手段４１で計算された整合コストとフィードバックされた全体コストを加算する第１加算器４２、第１加算器４２の出力と隣接したプロセシングエレメント２２のコストを比較して一番小さなコスト及び決定値を出力する比較器４３、比較器４３から出力される一番小さなコストを全体コストで貯蔵するコストレジスター４４、コストレジスター４４に貯蔵された全体コストと吸蔵情報を加算して隣接プロセシングエレメント２２に出力する第２加算器４５で構成される。

【００２４】図５は、図３に示された決定スタックの詳細図である。

【００２５】図５に示した決定スタックは、比較器４３
から出力される決定値とフィードバックされた以前状態の決定値の中で一つを選択する第１マルチプレクサ（以下ＭＵＸと表記）５０、第１ＭＵＸ５０で選択された決定値を貯蔵し第１ＭＵＸ５０にフィードバック及び後方プロセッサ３２にこの決定値を出力する第１決定レジスター５１、第１決定レジスター５１で選択された決定値及びフィードバックされた決定値中で一つを選択する第２ＭＵＸ５２、第２ＭＵＸ５２で選択された決定値を貯蔵し第２ＭＵＸ５２にフィードバックする第２決定レジスター５３で構成される。

【００２６】図６は、図３に示された後方プロセッサの詳細図である。

【００２７】図６に示した後方プロセッサは、隣接したプロセシング手段の活性情報経路とフィードバックされた活性情報経路を論理和するＯＲゲート６０、ＯＲゲート６０の論理和結果、最終の活性情報及びその経路を貯蔵する活性レジスター６１、決定スタック３１から出力される決定値によって活性レジスター６１の最終活性情報経路を多重化して隣接プロセシングエレメント２２及びＯＲゲート６０に出力するデマルチプレクサ（Ｄｅｍ
ｕｌｔｉｐｌｅｘｅｒ、以下、ＤＥＭＵＸと表記する）
６２、活性レジスター６１の活性情報経路によって決定スタック３１から出力される決定値から両眼差を出力する３状態バッファ６３で構成される。

【００２８】次いで本実施の形態の作用を説明する。

【００２９】図１〜図６に示した本実施の形態におけるシステムは、一対のデジタル映像から両眼差を計算するものである。 この映像は光軸が平行して同じ平面上に焦点面を形成する同じ一対のカメラ１０、１１から得なければならない。

【００３０】左側及び右側カメラ１０及び１１に入力された映像は、映像処理部１２でデジタル信号に変換され、各映像の一スキャンラインが画素単位でＳＭＣ１３
に供給される。

【００３１】スキャンラインがＳＭＣ１３に全部伝えられた後、両眼差データが画素単位で出力される。 両眼差が出力される過程は一対の映像のあらゆるスキャンラインに対して同一に反復される。 したがって、以後は一対のスキャンラインの処理過程について説明する。

【００３２】図２に示したように、ＳＭＣ１３は内部的にＮ個の同じプロセシングエレメント２２で構成された線形アレイと、Ｎ／２個の映像レジスター２０、２１で構成された線形アレイ２個を有している。 ここでＮは２
の倍数である。

【００３３】右側映像レジスター２０にはデジタル変換された右側カメラ１１の映像が貯蔵され、左側映像レジスター２１にはデジタル変換された左側カメラ１０の映像が貯蔵される。

【００３４】プロセシングエレメント２２は、指定された最大両眼差まで線形アレイ形態で複製されることができ、各プロセシングエレメント２２は隣のプロセシングエレメント２２と情報を交換できる。 この構造はプロセシングエレメント２２の個数に制限なしに最大速度で動作できるようにし、プロセシングエレメント２２の数が最大両眼差と同じ場合にはビデオ映像の流れと歩調を維持できる。

【００３５】クロック制御部２３は、システムクロックを２個の内部クロックに分けて左側及び右側レジスター２０、２１、プロセシングエレメント２２を制御する。
クロック制御部２３から出力されるＣｌｋＥは偶数番目のシステムクロックサイクルに切り替え（最初のシステムクロックサイクルを０と定義する）、偶数番目のプロセシングエレメント２２と右側映像レジスター２０に供給する。 クロック制御部２３から出力されるＣｌｋＯは奇数番目のシステムクロックサイクルに切り替え、奇数番目のプロセシングエレメント２２と左側映像レジスター２１に供給される。

【００３６】したがって、偶数番目プロセシングエレメント２２と右側映像レジスター２０から始まって毎システムクロックサイクルごとにプロセシングエレメント２
２の半分と映像レジスター２０または２１の半分がクロックにより動作する。 処理段階は、リード／ライト信号（Ｆ／ＢまたはＲ／Ｗ、以下、Ｒ／Ｗで表記する）により制御される。 Ｒ／Ｗ信号線がハイ状態であればデータが書き込まれ、ロー状態であればデータが読出される。

【００３７】映像画素データは、右側映像レジスター２
０と左側映像レジスター２１とに供給される。 システムクロックごとにデータの一画素が右側映像レジスター２
０及び左側映像レジスター２１に入力されるが、クロック制御部２３のＣｌｋＥによって右側映像画素がＣｌｋ
Ｏによって左側映像が入力される。 右側及び左側レジスター２０、２１はプロセシングエレメント２２にＮ／２
対のデータを供給することによって初期化される。 動作原理により左側映像が右側映像よりＮ／２−１遅延されて供給されねばならない。 ここで左側映像に供給される初期のＮ／２−１個のデータは任意の値を有しても構わない。

【００３８】初期化過程の最後のＣｌｋＯで右側映像のスキャンラインのあらゆるデータがプロセシングエレメント２２に入力された後、左側映像のスキャンラインでは最初の画素がプロセシングエレメント２２に入力される。 この時、各プロセシングエレメント２２の内部のレジスターが適切な初期値と設定されるが、プロセシングエレメント０の初期値は０であり、他のあらゆるプロセッサの初期値は可能か限り最大値になる。 すると処理過程は現在のスキャンラインのデータを終える時まで毎システムクロックごとに入力される画素データに対して続く（ＣｌｋＥでは左側映像、ＣｌｋＯでは右側映像）。

【００３９】左側映像が遅延されてプロセシングエレメント２２に入力されるために、左側映像の入力が終わる前に右側映像データの入力が終わる。 この場合に右側映像レジスター２０はデータを読出し続けるが、このデータはＳＭＣ１３の動作に影響を与えられない。 したがって、ＣｌｋＥサイクルの最後のＮ／２−１個のデータはいずれの値でも構わない。

【００４０】プロセシングエレメント２２に画素データの入力が終われば、Ｒ／Ｗ信号がロー状態で表示され、
それぞれのプロセシングエレメント２２は活性ビットが適当な値に設定される。 プロセシングエレメント（０）
２２は活性ビットがハイ状態に設定され、他のプロセシングエレメント（１〜Ｎ−１）２２はロー状態に設定される。 ハイ状態の活性ビットは毎システムクロックサイクルごとに次のプロセシングエレメント２２に伝えられ、与えられた時間にただ一つのプロセッサだけが活性ビットがハイ状態になる。 活性ビットがハイ状態のプロセシングエレメント２２の出力を邪魔しないために他のあらゆるプロセシングエレメント２２の出力は高インピーダンス状態にならなければならない。

【００４１】両眼差出力は（−１、０、＋１）のように増減形態の値を有して初期の両眼差値０から始まって両眼差の変化を示したり、各プロセシングエレメント２２
の出力の実際両眼差値を有しうる。

【００４２】各プロセシングエレメント２２は、図３に示したように前方プロセッサ３０、決定スタック３１、
後方プロセッサ３２で構成される。

【００４３】前方プロセッサ３０の詳細図が図４に示されている。

【００４４】絶対値計算手段４１は、右側映像レジスター２０の画素Ｒｉｎ及び左側映像レジスター２１の画素Ｌｉｎの絶対値差から整合コストを計算する。 計算された整合コストは第１加算器４２でフィードバックされた全体コストに加算される。 この整合コストはそのプロセシングエレメント２２の全体コストに加算され、比較器４３の入力中で一つになる。

【００４５】比較器４３の他の二つの入力は隣接したプロセシングエレメント２２のコスト出力端子のＵｏｕｔ
に各々連結される（Ｕｉｎ１及びＵｉｎ２）。 比較器４
３は３個の入力中で最小値を選択し、このコストをクロックが加わる時ごとに新しい全体コストに設定してコストレジスター４４に貯蔵する。 選択された入力の識別（決定値）はＵｉｎが最小であれば−１、Ｕｉｎ２が最小であれば＋１、他の場合であれば０になり、この値はＤｆｏｕｔとして出力される。

【００４６】第２加算器は、コストレジスター４４に貯蔵された全体コストと吸蔵情報Ｃｏを加算してＵｏｕｔ
端子を通じて隣接プロセシングエレメント２２に出力する。 この時、吸蔵Ｃｏは３種類のコスト（整合経路コストと隣のプロセシングエレメント２２で得た二つの吸蔵経路コスト）を比較して計算され、この値は全体コストに加わって隣のプロセシングエレメント２２に伝達される。

【００４７】決定スタック３１は、３つの可能な決定値を貯蔵するために２ビットレジスターで構成されて後入先出方式で動作する。 決定スタック３１の詳細図が図５
に示されている。

【００４８】決定スタック３１データの流れの方向はＲ
／Ｗ信号線により制御される。 それで前方プロセッサ３
０のＤｆｏｕｔに連結されたＤｓｉｎ信号が決定スタック３１に使われる。

【００４９】第１ＭＵＸ５０は、比較器４３から出力される決定値とフィードバックされた以前状態の決定値中で一つを選択する。

【００５０】第１決定レジスター５１は、第１ＭＵＸ５
０で選択された決定値を貯蔵し第１ＭＵＸ５０にフィードバックし、後方プロセッサ３２にＤｓｏｕｔ端子を通じて出力する。

【００５１】第２ＭＵＸ５２は、第１決定レジスター５
１で選択された決定値及びフィードバックされた決定値中で一つを選択し、第２決定レジスター５３は第２ＭＵ
Ｘ５２で選択された決定値を貯蔵し第２ＭＵＸ５２にフィードバックする。

【００５２】後方プロセッサ３２は、最適の両眼差を再組み合わせする機能を行う。 後方プロセッサ３２の詳細図が図６に示されている。

【００５３】後方プロセッサ３２は活性化ビットを貯蔵する活性レジスター６１を含んでいる。 それで活性ビットがハイ状態の後方プロセッサ３２だけが活性化される。

【００５４】ＯＲゲート６０は、隣接したプロセシングエレメント２２の活性ビット経路Ａｉｎ１、Ａｉｎ２とフィードバックされた活性ビット経路Ａｓｅｌｆを論理和する。 Ａｉｎ１端子は下に位置したプロセシングエレメント２２のＡｏｕｔ２端子に連結され、Ａｉｎ２は上に位置したプロセシングエレメント２２のＡｏｕｔ１端子に連結されている。 この入力は活性ビットが伝えられる経路を示し、これら入力中で活性ビットがハイ状態であればＯＲゲート６０の出力がハイ状態になる。

【００５５】ＯＲゲート６０の入力中でＡｓｅｌｆ端子は、活性ビットの内部経路にクロックが印加された時、
活性ビットの状態を維持するようにする。 活性ビットの新しい値は後方プロセッサ３２にクロックが印加される時に活性レジスター６１に設定される。 後方プロセッサ３２は１入力３出力ＤＥＭＵＸ６２を制御するために決定スタック３１の出力ＤｓｏｕｔにＤｂｉｎにある値を使用する。 ＤＥＭＵＸ６２の出力はＡｏｕｔ１、Ａｓｅ
ｌｆ、Ａｏｕｔ２であるが、これらはＤｂｉｎが各々−
１、０、＋１の場合に活性ビットと同じ値を有する。 そうでない場合には出力が０になる。 したがって、Ｄｂｉ
ｎは活性ビットが伝えられる方向を制御するのに使われる。

【００５６】活性ビットがハイ状態であれば３状態バッファ６３が動作してＤｂｉｎがＤｏｕｔに出力される。
そしてこの値が両眼差の推定値としてＳＭＣ１３から出力される。 そうでなければ、３状態バッファ６３は高インピーダンス状態になって他の後方プロセッサ３２の出力を妨害しないようにする。

【００５７】他の方法でＤｂｉｎの代わりにプロセッサの番号をＤｂｏｕｔに出力することである。 Ｄｂｉｎを出力する方式では両眼差値の相対的な変更を示すが、プロセッサ番号を出力する方式では実際の両眼差値を示す。

【００５８】本発明はスキャンライン対で各画素の整合を次のアルゴリズムによって具現する。

【００５９】１． 初期化：ノード０を除いたあらゆるノードのコストを無限大に設定する。

【００６０】Ｕ［０，０］＝０ Ｕ［０，ｊ］＝∞，ｊ∈｛１，． ． ． ． ，Ｎ−１｝ ２． 再帰： 各ステップとサイトｉに対して一番良い経路とコストを探す。

【００６１】

【外１】

【００６２】３． 終了： ｄ［２Ｎ］＝Ｐ［２Ｎ，０］ ４． バックトラッキング： Ｆｏｒ ｉ＝２Ｎ ｔｏ １ｄｏ： ｄ［ｉ−１］＝ｄ［ｉ］＋Ｐ［ｉ，ｄ（ｉ）］ 累積コストＵ［ｉ，ｊ］、判断Ｐ［ｉ，ｊ］、そして映像画素対ｇｌ［（ｉ−ｊ＋１）／２］，ｇｒ［（ｉ＋ｊ
＋１）／２］は決定スタック３１に貯蔵される。 決定スタック３１のためのクロックが全体的な動作を制御する。 前方再帰は前方プロセッサ３０により行われ、後方再帰は後方プロセッサ３２により行われる。

【００６３】このアルゴリズムの特性と本発明での具現方法によって核心的な前方再帰は同じプロセッサを用いて並列的にあらゆる深度に対して処理される。 結果的に一つのプロセシングエレメント２２はカメラが一画素を出力する時間以内に一サイトで一前方再帰を行える。 プロセシングエレメント２２は可能な最大深度まで複製できるので本発明は立体映像整合をビデオカメラの出力比率とおりに処理できる。

【００６４】次にプロセッサ及び決定スタックの構造について説明する。

【００６５】１． 前方計算のための構造 前方プロセッサ３０の構造は図４に示されている。 時間ｉで前方プロセッサ３０ｊ内の比較器の出力Ｕ［Ｉ，
ｊ］は次の通りである。

【００６６】

【数１】

【００６７】毎時間に各判断の出力は次の通りである。

【００６８】

【数２】

【００６９】これら判断は決定スタック３１アレイに貯蔵される。

【００７０】２． 決定スタック 決定スタック３１はＮワードで構成されたＬＩＦＯ（Ｌ
ａｓｔ−Ｉｎ Ｆｉｒｓｔ−Ｏｕｔ）レジスター配列である。 そしてそれぞれのワードは２ビットで構成される。 それぞれのプロセシングエレメント２２ごとに一つの決定スタック３１がある。 前方プロセッサ３０の処理中に毎スタッフに該当するＰ［Ｉ，ｊ］は決定スタックに貯蔵される。 後方プロセッサ３２の処理中にこのような決定値は逆順に出力される。

【００７１】３． 後方計算のための構造 アルゴリズムのバックトラッキング部分の構造が図６に示されている。 後方処理のために決定スタック３１の出力は反対方向にシフトされるので次のように表示される。

【００７２】 Ｐ［ｉ，ｊ］ ｆｏｒ ｉ＝２Ｎ ｔｏ ０ ｉ＝２Ｎで１ビット活性レジスター６１中でａ［０，
ｊ］を除外したあらゆるａ［０，０］は０に初期化される。 各後方プロセッサ３２の活性出力は次の通りである。

【００７３】再帰出力（Ａｓｅｌｆ）：ａ［ｉ＋１，
ｊ］δ（Ｐ［ｉ＋１，ｊ］）、 上方出力（Ａｏｕｔ２）：ａ［ｉ＋１，ｊ＋１］δ（１
−Ｐ［ｉ＋１，ｊ＋１］）、 下方出力（Ａｏｕｔ１）：ａ［ｉ＋１，ｊ−１］δ（−
１−Ｐ［ｉ＋１，ｊ−１］） 活性レジスター６１は毎時間ごとに次のように更新される。

【００７４】

【数３】

【００７５】後方プロセッサ３２の経路判断出力は次の通りである。

【００７６】 Ｐ ^* ［ｉ，ｊ］＝ａ［ｉ，ｊ］Ｐ［ｉ，ｊ］ そして毎時間ステップで全体的な最適経路判断は次の通りである。

【００７７】

【数４】

【００７８】最後の計算は局地的な両眼差の変化を絶対的な両眼差に累算することである。

【００７９】これにより、リアルタイムでのステレオ整合が行われる。

【００８０】以上本発明の実施の形態を説明したが、本発明は上述した実施の形態に限定されずに本発明の思想内で当業者による変形が可能である。

【００８１】

【発明の効果】以上のように本発明によれば、ベイズの感覚に最適化され、新しい動的プログラミングに基づいたアルゴリズムを使用してビデオイメージシーケンスを並列処理することによって、リアルタイムでステレオ整合を可能にする効果がある。

【図面の簡単な説明】

【図１】 本発明に係るリアルタイム立体映像整合システムのブロック図である。

【図２】 図１中のＳＭＣの詳細図である。

【図３】 図２中のプロセシングエレメントの詳細図である。

【図４】 図３中の前方プロセッサの詳細図である。

【図５】 図３中の決定スタックの詳細図である。

【図６】 図３中の後方プロセッサの詳細図である。

【符号の説明】

１０ 左側カメラ １１ 右側カメラ １２ 映像処理部 １３ ＳＭＣ １４ 使用者システム

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA06 AA53 DD06 FF05 JJ03 JJ05 JJ26 QQ03 QQ23 QQ24 QQ27 QQ38 5C061 AA00 AB04 AB24