【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワークに係り、特に、二つの視差のある画像（以下、視差画像と称す）から当該画像に写っている物体の３次元形状を復元する装置に用いて好適なニューラルネットワークに関する。

【０００２】

【従来の技術】近年、ロボットにＴＶカメラを２台搭載し、これらのＴＶカメラで得た二つの視差画像から前方の物体の３次元形状を復元して認識し、所定の作業をさせたり、邪魔になる物体を避けて自動走行させたりすることが考えられている。

【０００３】このような視差画像から物体の３次元形状を復元させるものとしては種々考えられるところであるが、特に、ニューラルネットワーク（以下、ニューラルネットと略称する）を用いたものとしては、平井−福島モデルあるいはMarr−Poggioモデルが知られている。

【０００４】平井−福島モデルとMarr−Poggioモデルとでは、後述するように拘束条件等は異なるが、これらのモデルを、二つの視差画像から物体の３次元形状を復元するための装置に適用した場合の全体的な構成は殆ど同じであり、概略図１０に示すような構成である。

【０００５】図１０において、画像入力部２は、レンズ４、６、及びＣＣＤセンサ等からなる二つの受光部５、
７を備えており、受光部５にはレンズ４により対象物体３の画像が結像され、受光部７にはレンズ６により対象物体３の画像が結像される。 これによって、受光部５と受光部７とからは、距離が略等しく、異なる視点から対象物体３を撮像した二つの視差画像データが得られる。

【０００６】そして、これらの画像データはニューラルネット１に入力される。 具体的には次のようである。 いま、例えばニューラルネット１のｉ方向のニューロン素子数が６、ｊ方向のニューロン素子数が６、高さ方向ｈ
のニューロン素子数が６であるとすると、受光部７で得られた画像は図１１Ａに示すように、ｉ方向に 6ドット、ｈ方向に 6ドットの計36ドットの画像になされ、同様に受光部５で得られた画像は図１１Ｂに示すように、
ｊ方向に 6ドット、ｈ方向に 6ドットの計36ドットの画像になされる。

【０００７】そして、図１１Ａに示す画像の、高さがｈ
位置にある各ドットの強度情報、即ち濃度情報は、図１
２に示すようにニューラルネット１の高さｈの位置の面１ _hのｉ方向のニューロン素子に入力バイアスとして入力され、同様に図１１Ｂに示す画像の、高さがｈ位置にある各ドットの強度情報は図１２に示すようにニューラルネット１の高さｈの位置の面１ _hのｊ方向のニューロン素子に入力バイアスとして入力される。 なお、図１
０、図１２においてはニューロン素子は白丸あるいは黒丸で示している。 白丸は当該ニューロン素子の出力が「 0」であることを示し、黒丸は当該ニューロン素子の出力が「１」であることを示しているが、図１０及び図１２はある時刻における各ニューロン素子の出力の状態を例示しているに過ぎないものである。 また、画像のドットの強度情報を入力するに際して、ニューロン素子に対応するドットの強度情報を直接入力するのではなく、
ニューロン素子に対応するドットの強度情報とその近傍のドットの強度情報を入力してもよいものである。

【０００８】従って、図１０においてはニューラルネット１はニューロン素子が２次元的に配置されているものとして示してあるが、これはある高さにおけるニューロン素子の配置を示しているものである。

【０００９】さて、いま理解を容易にするために高さｈ
が一定の面内で考えるものとすると、ニューラルネット１に入力された画像の強度情報は、図１２に示すような互いに交差するラインに沿って送られ、交差するラインの交点に位置するニューロン素子には二つの画像中の対応するドットの強度情報の差が入力バイアスとして流入する。 即ち、例えば図１２において８で示すニューロン素子にはＱ _i2で示すドットの強度情報とＱ _j4で示すドットの強度情報の差が入力バイアスとして流入する。

【００１０】そして、各ニューロン素子の出力にはシナプス結合荷重が掛け合わされて他のニューロン素子への入力となる。 つまり、各ニューロン素子には、他のニューロン素子の出力にシナプス結合荷重が掛け合わされた値と入力バイアスとが流入し、これに伝達関数の演算を施したものが次の時刻のニューロン素子の出力となるのである。

【００１１】各ニューロン素子は以上のようにして状態更新を行うのであるが、状態更新を繰り返し、定常状態になったときに「1」 を出力しているニューロン素子の位置が対象物体３の３次元形状の相対的な位置を推定していることになる。 例えば、いま理解を容易にするために、定常状態になったときに「1」 を出力しているニューロン素子から基準となる面まで垂線を引いたときに図１３Ａのようであったとすると、各垂線の先端の位置に対象物体の表面があることになり、対象物体は図１３Ｂ
に示すようなサドル型の形状であると推定することができることになる。

【００１２】従って、ニューラルネット１の出力側に形状復元部（図示せず）を設け、この形状復元部に、定常状態に達したときに 1を出力しているニューロン素子の座標を取り込ませ、その座標に基づいて対象物体の３次元形状を復元する処理を行わせればよい。

【００１３】さて、平井−福島モデルにおいては、伝達関数としては出力値が 0または 1だけを出力する関数を用いている。 即ち、平井−福島モデルはいわゆる２値モデルである。 そして、ニューロン素子間のシナプス結合は抑制性の結合のみであり、３次元形状を再構成する際に平滑化の処理を行うようになされている。 なお、平井−福島モデル及びその改良モデルに関しては、「電子情報通信学会技術研究報告 NC91 (1991)」の97〜102ページに詳しい。

【００１４】また、Marr−Poggioモデルは、２値モデルである点は平井−福島モデルと同じであるが、一つの画像中の１点は他方の画像中の高々１点とのみ対応するという制約を表す抑制性の結合を持たせ、更に、視差一定の面内において、近傍に位置するニューロン素子間にだけ興奮性の結合を持たせている。 なお、Marr−Poggioモデルに関しては、「Biological Cybernetics 28 (197
8)」の 223〜 239ページの「Analysis of a Cooperativ
e Stereo Algorithm」と題する論文に詳しい。

【００１５】

【発明が解決しようとする課題】しかしながら、平井−
福島モデルでは３次元形状を再構成する際に平滑化の処理が必要となるので、構成が複雑になるばかりでなく、
処理時間も長くかかるという問題がある。

【００１６】更に、上記の論文には、平井−福島モデルを改良したモデルを用いてランダムドットステレオグラムから物体の３次元形状を復元する場合、ドット密度が大きくなると誤ったニューロンが発火する危険性が増すと述べられているので、このモデルを用いて良好に３次元形状を復元しようとすると、入力する二つの視差画像のドット数をあまり増やせないという制限が生じてくることになる。

【００１７】また、Marr−Poggioモデルにおいては、視差一定の面内の近傍に位置するニューロン素子間にだけしか興奮性の結合が入っていないので、平面の再構成は比較的良好に行うことができるが、奥行き方向に連続的に変化する曲面を有する物体を再構成することは非常に困難であるという問題がある。

【００１８】また、平井−福島モデルやMarr−Poggioモデルは２値モデルであるため、対象物体の３次元形状を良好に復元することが非常に困難である。 このことはシミュレーションの結果判明している。

【００１９】これらを解決するための手法として、シミュレーテッド・アニーリング法等が提案されてはいるが、この手法は状態の確率的繰り返しで平衡状態を実現するものであるので処理時間が非常に長くなり非現実的なものである。

【００２０】また、平井−福島モデルやMarr−Poggioモデルにおいて処理効率を向上させるためには複数個のニューロン素子を同時に状態更新することが考えられるが、この場合にはニューロン素子の出力が振動状態に陥ってしまい、定常状態にならない可能性があるものである。

【００２１】本発明は、上記の課題を解決するものであって、対象物体が平面であっても、あるいは奥行き方向に連続的に変化する曲面を有するものであっても、物体形状によらず視差画像から３次元形状を良好に復元することができるニューラルネットワークを提供することを目的とするものである。

【００２２】また、本発明は、処理を効率的に行え、しかも平滑化処理等の後処理を必要とせずに高速に３次元形状を復元できるニューラルネットワークを提供することを目的とする。

【００２３】

【課題を解決するための手段】上記の目的を達成するために、本発明のニューラルネットワークは、ニューロン素子が３次元的に配置され、各ニューロン素子はその近傍のニューロン素子と所定のシナプス結合を有する相互結合型ニューラルネットワークであって、ニューロン素子はｍ個のブロックに分割されてなり、第ｌブロック内（但し、ｌ＝1,2,…,m）のニューロン素子の出力状態ベクトルｘ ^(l)が結合荷重行列Ｗ _klを介して第ｋブロック（但し、ｋ＝1,2,…,m）に流入すると共に、第ｋブロックには更に二つの視差画像の特徴量の類似度が入力バイアスベクトルθ ^(k)として加わって（１）式で表される第ｋブロックへの総入力ベクトルｕ ^(k)が得られ、

【００２４】

【数４】

【００２５】前記総入力ベクトルｕ ^(k)に外部からの入力の影響を制御するパラメータαを乗じた値と、前記第ｋブロック内の素子の出力状態ベクトルｘ ^(k)に状態更新前の出力値の影響を制御するパラメータγを乗じた値とを加算して得られるベクトルの成分毎に、ｐ，ｑをパラメータとして

【００２６】

【数５】

【００２７】で表される飽和型線形伝達関数を作用させて得られるベクトルを次の時刻での第ｋブロックの出力状態ベクトルｘ ^(k)として、

【００２８】

【数６】

【００２９】で表される式によって一斉に状態を更新し、この状態更新をブロック毎に順次行い、且つこの状態更新を行う過程において、前記飽和型線形伝達関数のパラメータｐは状態更新の度毎に 0に近付くように変化され、パラメータｑは、シナプス結合行列Ｗの対角ブロック行列Ｗ _kkの最小固有値をmin｛λ _k ｝とするとき、−
α×min｛λ _k ｝／2 以上の範囲で一定値または所望の態様で変化され、ｐとｑの和がγとなされることを特徴とする。

【００３０】ここで、ニューロン素子間の結合は、請求項２記載のように、視差が一定の方向に配置されているニューロン素子間及び奥行き方向に配置されているニューロン素子間に興奮性のシナプス結合を持たせることが望ましいものである。

【００３１】

【作用】本発明のニューラルネットワークは相互結合型ニューラルネットワークであり、ニューロン素子は３次元的に配置されている。 そして、ニューロン素子はｍ個のブロックに分割されている。 いくつのニューロン素子で一つのブロックとするかは任意である。 即ち、当該ニューラルネットワークのニューロン素子数をｎとすると、１≦ｍ≦ｎであり、ｍ＝１の場合は一つのニューロン素子で一つのブロックが構成され、ｍ＝ｎの場合は当該ニューラルネットワークの全てのニューロン素子で一つのブロックが構成されることになる。

【００３２】さて、第ｋブロック（但し、ｋ＝1,2,…,
m）には、第ｌブロック（但し、ｌ＝1,2,…,m）内のニューロン素子の出力状態ベクトルｘ ^(l)に結合荷重行列Ｗ _klが掛け合わされたものと、入力バイアスベクトルθ
^(k)が流入する。 この入力バイアスベクトルθ ^(k)は、
二つの視差画像の特徴量の類似度を示すものである。

【００３３】そして、これらの流入によって（１）式で表される第ｋブロックへの総入力ベクトルｕ ^(k)が得られ、この総入力ベクトルｕ ^(k)に外部からの入力の影響を制御するパラメータαを乗じた値と、第ｋブロック内の素子の出力状態ベクトルｘ ^(k)に状態更新前の出力値の影響を制御するパラメータγを乗じた値とを加算して得られるベクトルの成分毎に、（２）式で表される飽和型線形伝達関数を作用させ、その結果得られるベクトルを次の時刻での第ｋブロックの出力状態ベクトルｘ ^(k)
として、（３）式で表される式によって一斉に状態を更新し、この状態更新をブロック毎に順次行う。

【００３４】そして、以上のような状態更新を行う過程において、飽和型線形伝達関数のパラメータｐは、状態更新を行う度毎に 0に近付くように変化される。 また、
ｑも飽和型線形伝達関数のパラメータではあるが、このパラメータｑは、シナプス結合行列Ｗの対角ブロック行列Ｗ _kkの最小固有値をmin｛λ _k ｝とするとき、−α×mi
n｛λ _k ｝／2 以上の範囲で一定値とすることもでき、あるいは所望の態様で変化させることも可能である。 そして、ｐとｑの和がγとなされる。

【００３５】以上のように、まず、本発明においてはブロック・シーケンシャルな状態更新を行うことが特徴である。 即ち、ブロック内のニューロン素子は同期的に状態を更新し、第１ブロックから第ｍブロックまで逐次的に状態更新していくのであり、これによって処理を効率よく、高速に行うことができる。

【００３６】また、本発明においては、（２）式で表される飽和型線形伝達関数が、ｐ＜ｙ＜ｑの範囲内においては 0と 1の間の連続的な値をとることが特徴である。
勿論、最終的に定常状態になったときにはニューロン素子の出力は 0または 1になるのであるが、定常状態に達するまでの間にはニューロン素子の出力は 0または 1あるいはその間の値をとるのである。 つまり、本発明のニューラルネットワークは従来のような２値モデルではないのである。

【００３７】更に、本発明においては、飽和型線形伝達関数のパラメータｐ，ｑ及びγが固定値ではなく、状態更新を行う過程において変化されることが特徴である。
勿論、ｑの値は状態更新の過程において一定値であってもよいことは上述した通りである。 これによって、従来の２値モデルの欠点を回避することができる。

【００３８】そして、これらが相互に作用することによって、従来の問題が解決され、処理効率が向上し、処理が高速になり、対象物体の形状によらずその形状を良好に復元することができる。

【００３９】

【実施例】以下、図面を参照しつつ実施例を説明する。
図１は本発明に係るニューラルネットワークの一実施例の構成を示す図、図２は図１に示すニューロン素子部１
１の各ブロックの構成例を示す図であり、図中、１１はニューロン素子部、１２は演算評価部、１３はパラメータ設定部、２１は総入力演算部、２２、２３は演算部を示す。 なお、ここでは視差画像の縦方向のドット数と横方向のドット数は同じであるとする。

【００４０】ニューロン素子部１はｎ個のニューロン素子を備えているが、これらのニューロン素子はｍ個のブロックに分割されている。 即ち、第１ブロックは、ｘ
_1,1 ，ｘ _1,2 ，…，ｘ _1,s1のｓ1 個のニューロン素子で構成され、第２ブロックは、ｘ _2,1 ，ｘ _2,2 ，…，ｘ
_2,s2のｓ2 個のニューロン素子で構成され、同様に第ｍ
ブロックは、ｘ _m,1 ，ｘ _m,2 ，…，ｘ _m,smのｓm 個のニューロン素子で構成されている。 即ち、ｓ1 ＋ｓ2 ＋…
＋ｓm ＝ｎである。

【００４１】ニューロン素子には、図１０〜図１２に関して説明したと同様に、距離が略等しく、異なる視点から撮像された二つの画像情報の画像データが入力され、
状態更新が行われるが、以下、状態更新の態様について詳細に説明する。

【００４２】図１に示すニューラルネットワークにおいては状態更新はブロック・シーケンシャルな状態更新を行う。 つまり、ｎ個のニューロン素子をｍ個のブロックに分割し、個々のブロック内のニューロン素子は同期的に状態を更新し、ブロック間では第１ブロックから第ｍ
ブロックまで逐次的に状態更新していく。

【００４３】そして、いま、ｎ個のニューロン素子の状態を表す状態ベクトルｘ＝（ｘ ₁ ，…，ｘ _n ） ^T （0 ≦
ｘ _l ≦ 1；l=1,2,…,n）をｍ個のサブベクトルｘ
^(k) （但し、k＝1,2,…,m）に分割するものとすると、それぞれのサブベクトルは次の（１）式、（３）式に従って状態を更新していく。

【００４４】

【数７】

【００４５】ここで、（１）式におけるθ ^(k)は、閾値ベクトルθ＝［θ ^(1)T ，θ ^(2)T ，…，θ ^(m)T ］のサブベクトルであり、αは任意の係数である。 また、（１）式のＷ _klは第ｌブロック（但し、l＝1,2,…,m）から第ｋ
ブロックへのシナプス結合を示す小行列であり、シナプス行列Ｗとは次の式で関係付けられる。 なお、係数γについては後述する。

【００４６】

【数８】

【００４７】また、（３）式において Satで表されている関数は次の（２）式で定義される飽和型の線形伝達関数であり、この関数 Satはベクトル成分毎に作用する。

【００４８】

【数９】

【００４９】さて、（２）式におけるｐ，ｑは飽和型線形伝達関数 Satのパラメータであるが、これらのパラメータｐ，ｑがどのような値をとればいいのかを考えると次のようである。

【００５０】いま、対称行列Ｗ＝（ｗl _k ）に対してエネルギー関数を次の（５）式で定義するとする。

【００５１】

【数１０】

【００５２】ここで、エネルギー関数Ｅの係数行列Ｗ及び係数ベクトルθは、二つの視差画像から対象物体の３
次元形状を復元するという最適化問題の評価関数の係数と比較して決定されるものであり、従って、対象物体の３次元形状を良好に復元するためには、この（５）式で与えられるエネルギー関数Ｅの最小値もしくは良好な極小値を求めればよいことが分かる。 なお、係数行列Ｗ及び係数ベクトルθの求め方については後述する。

【００５３】ところで、いま、ｅ ^(k) ＝（1,1,…,1）というｋ次元ベクトルｅ ^(k)を用いて、二つの関数Ｆ，Ｇ
をそれぞれ次の（６）式、（７）式のように定義する。

【００５４】

【数１１】

【００５５】このような関数を定義して解を求める手法は、いわゆる決定論的アニーリングと称されている手法であるが、これらの関数の解析あるいは種々のシミュレーションの結果によれば、パラメータｐ，ｑ，γが次の式を満足するとき、ニューロン素子の状態更新によって関数Ｇの値を減少させることができることが確認された。

【００５６】

【数１２】

【００５７】ここで、λ _kはシナプス結合行列Ｗの対角ブロック行列Ｗ _kkの固有値の集合であり、min｛λ _k ｝はその固有値の中の最小値、即ち最小固有値を示すものである。

【００５８】次に、パラメータｐについてであるが、ｐ
を種々に変化させてみると次のことが判明した。

【００５９】ｐが十分に大きいときには、関数Ｆの最小点から少しずれた点が関数Ｇの唯一の極小点になり、
エネルギー関数Ｅの極小点は関数Ｇの極小点としては現れない。

【００６０】ｐが 0に十分近いときには、エネルギー関数Ｅの全ての極小点が関数Ｇの極小点として現れ、且つ関数Ｇの極小点はエネルギー関数Ｅの極小点に限られる。

【００６１】ｐの値が上記との中間にあるときには、エネルギー関数Ｅの局所極小点が関数Ｇの極小点とはならない場合が生じて、エネルギー関数Ｅの局所極小点が解消される。

【００６２】このことに関して、簡単な場合を例にとって説明すると次のようである。

【００６３】いま、エネルギー関数Ｅが Ｅ（ｘ，ｙ）＝−0.8ｘｙ＋0.2ｘ＋0.2ｙ という２変数ｘ，ｙに関する斉次１次式で表されたとすると、このエネルギー関数Ｅのグラフは図３Ａに示すようである。 このグラフから、エネルギー関数Ｅには最小点ａと局所極小点ｂがあり、最急降下法により単純にエネルギー関数Ｅの山下りを行う方法を用いると、最小点ａまたは局所極小点ｂのいずれか一方に収束することが分かる。

【００６４】また、このとき、関数Ｆ、及び関数Ｇは、 Ｆ（ｘ，ｙ）＝0.5（ｘ（ｘ−１）＋ｙ（ｙ−１）） Ｇ（ｘ，ｙ）＝Ｅ（ｘ，ｙ）＋Ｆ（ｘ，ｙ） となり、そのグラフはそれぞれ図３Ｂ，Ｃに示すようである。 図３Ｂのグラフによれば、関数Ｆは唯一の極小点として最小点ｃを持つことが分かる。 また、図３Ｃに示すグラフから、エネルギー関数Ｅの局所極小点ｂは、関数Ｇにおいては極小点ではなくなることが分かる。 即ち、エネルギー関数Ｅに関数Ｆを加えることによりエネルギー関数Ｅの局所極小点からより小さな値をとるエネルギー関数Ｅの極小点へ下っていく抜け道ができることになる。

【００６５】このように、エネルギー関数Ｅに関数Ｆを加えることにより新たに１つだけ生じる関数Ｇの極小点は、ｐが 0に近付く過程で解消されていくので、状態更新を繰り返していく過程においてｐを次第に 0に近付けていけば、最終的にはエネルギー関数Ｅの最小点もしくは良好な極小点に収束させることができることが分かる。

【００６６】以上のことから、パラメータｐ，ｑ，γの値を次の式に従って制御しながら状態更新を繰り返すのがよいことが判明した。

【００６７】

【数１３】

【００６８】なお、ｑについては、（４−ｃ）式で定められる範囲で一定値としてもよく、またこの範囲内で適宜に変化させてもよいことが種々のシミュレーションの結果確認された。

【００６９】以上のようにして状態更新を繰り返すことによって最終的にはエネルギー関数Ｅの最小点もしくは良好な極小点に収束し、従ってニューロン素子の出力が定常状態に達したときに「1」 を出力しているニューロン素子の相対的な位置関係が求める対象物体の３次元形状とすることができる。

【００７０】本発明においては以上のような状態更新が繰り返されるのであるが、状態更新を行うについてはニューロン素子間の結合荷重Ｗ及び入力バイアスθが定まっている必要がある。 そこで、以下、ニューロン素子間の結合荷重Ｗ及び入力バイアスθの決定法について説明する。

【００７１】結合荷重及び入力バイアスを決定するには、まず物理的な拘束条件を定める必要がある。 ここでは、拘束条件として次の３つの条件を定める。

【００７２】（１）一つの画像中の１点は、他方の画像中の高々１点とのみ整合する（２）視差は画像中のほとんど全域で滑らかに変化する （３）同じ特徴を持ったもののみが整合する 上記の（１）、（２）の拘束条件はニューロン素子間の結合状態を定める条件であり、それぞれ次の（８）式、
（９）式で表される。

【００７３】

【数１４】

【００７４】ここで、Ｄは最大視差である。 例えば、Ｄ
＝25と設定したとすれば、これは与えられた二つの視差画像の視差のずれ量が25段階の奥行きのあるものまで認識できるようにするという設定を意味するものである。
また、Ｎは視差画像の縦方向及び横方向のドット数である。 従って、Ｎ＝ 128とすると、左右の画像のドット数は共に 128× 128＝ 16384である。

【００７５】上記の（１）、（２）の拘束条件から定まるニューロン素子間の結合状態を示すと図４のようである。 図４を説明すると次のようである。 いま、ある一つのニューロン素子に着目する。 この着目素子が図４の□
で示される位置にあるものとすると、当該着目素子は、
○で示される位置にあるニューロン素子とは興奮性の結合を有し、△で示される位置にあるニューロン素子とは抑制性の結合を有している。 その他の位置のニューロン素子とは結合関係を有していない。

【００７６】図４から明らかなように、このニューラルネットワークにおいては、同一視差方向に位置されている近傍のニューロン素子間だけではなく、奥行き方向に位置されている近傍のニューロン素子間及び高さ方向に位置されている近傍のニューロン素子間にも興奮性の結合を有しているのであり、これによって対象物体の形状によらず、その３次元形状を良好に復元することが可能となるのである。

【００７７】なお、Ｅ ₃の式におけるＳは、図４において□で示されている着目素子と興奮性結合を有するニューロン素子の集合を示すインデックスセットを示すものである。

【００７８】また、上記（３）の拘束条件は入力バイアスを定める条件であり、次の（１０）式で表される。

【００７９】

【数１５】

【００８０】ここで、Ψは閾値、Ｒ，Ｌはそれぞれ左及び右の画像の強度値を表している。 また、Ｖは、点（ｉ，ｊ，ｈ）のｈが一定である所定の範囲に位置するニューロン素子の集合のインデックスセットであり、ここでは点（ｉ，ｊ，ｈ）のｈが一定である３×３の範囲内に位置するニューロン素子の集合を表すインデックスセットであるとする。

【００８１】さて、ニューロン素子ｉの出力をＸ _iで表すとき、以上の拘束条件は、Ａ，Ｂ，Ｃを任意の定数として（１１）式の形の評価関数で表される。

【００８２】 Ｅ＝ＡＥ ₁ ＋ＢＥ ₂ ＋ＣＥ ₃ …(11) また、このとき、エネルギー関数が下記の（１２）式で表されるものとすると、上記の（１１）式と下記の（１
２）式のエネルギー関数との係数を比較することによって結合係数Ｗ _ijh及び入力バイアスθ _ijhを決定することができる。 なお、この入力バイアスθ _ijhは、入力される二つの視差画像の特徴量の類似度を示すものである。

【００８３】

【数１６】

【００８４】具体的には次のようである。 （１１）式と（１２）式から次の（１３）式が得られる。

【００８５】

【数１７】

【００８６】この（１３）式において、両辺のｘ _ijh ²をｘ _ijhで置き換えることによって、２次形式を斉次一次形式に変形することができる。 なぜなら、この変形はエネルギー関数の極小点の位置を変えないからである。

【００８７】次に、この両辺をｘ _ijhで微分し、

【００８８】

【数１８】

【００８９】を用いると次の（１４）式を得る。

【００９０】

【数１９】

【００９１】ここで、この（１４）式の右辺の各項は以下のようになる。

【００９２】

【数２０】

【００９３】そして更にここで、 2Ｂ， 2Ｃをそれぞれ新たにＢ，Ｃと置き換え、（１４）式の両辺の係数を比較することによって、結合荷重と入力バイアスは次のように求められる。

【００９４】

【数２１】

【００９５】ここで、

【００９６】

【数２２】

【００９７】は共にクロネッカーのデルタであり、また

【００９８】

【数２３】

【００９９】である。

【０１００】次に、図１、図２に示す構成の動作について説明する。 まず、上述したようにして結合荷重Ｗと入力バイアスθを決定する。 そして、図１のニューロン素子部１１の各ブロックに対して決定した結合荷重Ｗを与える。

【０１０１】その後、状態更新が開始されることになるが、いま、第ｌブロックの状態更新が終了し、次に第ｋ
ブロックの状態更新が行われる場合について説明すると、まず第ｌブロックの状態更新に際しては、パラメータ設定部１３でパラメータｐ，ｑ，γの値を設定し、それをニューロン素子部１１の各ブロックに与えると共に、各ブロックに対して決定した入力バイアスθを流入させる。

【０１０２】これによって、第ｌブロックの総入力演算部２１は（１）式により総入力ベクトルｕ ^(l)を求める。 求められた総入力ベクトルｕ ^(l)は演算部２２に入力される。 また、演算部２２には、パラメータ設定部１
３からγが与えられると共に、前回に行った状態更新のときの出力状態ベクトルｘ ^(l) （ｔ）が演算部２３からフィードバックされる。

【０１０３】これによって、演算部２２は、予め設定されている係数αを用いて γｘ ^(l) （ｔ）＋αｕ ^(l) …(21) を演算し、演算部２３に出力する。

【０１０４】演算部２３は、パラメータ設定部１３から与えられたパラメータｐ，ｑを用いて演算部２２から入力された値に対して（３）式の演算を施す。 これにより新たな出力状態ベクトルｘ ^(l) （ｔ＋１）が得られ、状態が更新されたことになる。 この出力状態ベクトルｘ
^(l) （ｔ＋１）は演算部２２にフィードバックされると共に、演算評価部１２に出力される。 演算部２２にフィードバックされた出力状態ベクトルは次の状態更新の際に用いられることは上述したとおりである。

【０１０５】演算評価部１２は、各ブロックから入力される出力状態ベクトルに基づいて全てのニューロン素子の出力状態を監視し、定常状態に達したか否かを評価する。 この評価は、出力状態ベクトルが時刻ｔと時刻（ｔ
＋１）とで変化しているかどうか、あるいは予め定められているエネルギー関数の値が時刻ｔと時刻（ｔ＋１）
とで変化しているかどうか、または出力状態ベクトルが拘束条件を満たしているかどうか等により行うことができ、定常状態に達したと判断される場合には、1 を出力している全てのニューロン素子の座標を出力する。 そしてこの出力に基づいて３次元形状を復元することができることは上述した通りである。

【０１０６】しかし、未だ定常状態に達していないと判断される場合には、演算評価部１２は、パラメータ設定部１３に対してパラメータｐ，ｑ，γの次の値の出力を指示する。 パラメータ設定部１３で設定された新たなｐ，ｑ，γのパラメータ値はニューロン素子部１１の各ブロックに与えられ、同時に各ブロックに対して入力バイアスθが流入される。

【０１０７】これによって、第ｋブロックの総入力演算部２１では（１）式により総入力ベクトルｕ ^(l)を演算され、演算部２２では（２１）式が演算され、更に演算部２３では新たな出力状態ベクトルｘ ^(k) （ｔ＋２）が得られ、状態が更新される。

【０１０８】この出力状態ベクトルｘ ^(k) （ｔ＋２）は演算部２２にフィードバックされると共に、演算評価部１２に出力され、以下、上述した処理が繰り返される。

【０１０９】ここで、パラメータｐ，ｑ，γは上述したように状態更新が行われる度毎に変化されるが、その変化の態様は任意である。 その一例を図５に示す。 なお、
図５において、Ｙ ₀はｙ＝−α×min｛λ _k ｝／2 の位置を示している。

【０１１０】図５Ａは、（ｐ＋ｑ）を一定、即ちγを一定としてｐを 0に近付けていくように変化させた場合のｑの変化及び飽和型線形伝達関数 Satの線形部分の傾きの変化を示している。 また、図５Ｂは、ｑを一定としてｐを 0に近付けていくように変化させた場合の飽和型線形伝達関数 Satの線形部分の傾きの変化を示している。
更に、図５Ｃは、飽和型線形伝達関数 Satの線形部分の傾きを一定としてｐを0に近付けていくように変化させた場合のｑの変化を示している。

【０１１１】なお、ｑの値を定めるのにはシナプス結合行列Ｗの対角ブロック行列Ｗ _kkの最小固有値min｛λ _k ｝
が定められる必要がある。 この最小固有値は、実際にシナプス結合行列Ｗの対角ブロック行列Ｗ _kkの全ての固有値を求め、その最小値を採用するのが基本ではあるが、
図１０、図１２で示すｉ方向またはｊ方向に沿って並んでいるニューロン素子を一つのブロックとする場合には、第ｋブロック内での結合行列の最小固有値は、当該ブロックを構成するニューロン素子数をＮ _kとしてＢ
（１−Ｎ _k ）で求められることが分かっている。 なお、
Ｂは上記の（１１）式に用いられている係数Ｂである。

【０１１２】従って、例えば図１２において９で示す枠で囲んだｉ方向に沿って並んでいる６つのニューロン素子を一つのブロックとする場合には、このブロックではＮ _k ＝ 6であるから、このブロックの最小固有値は−5Ｂ
であり、従ってｑの最小値は 5Ｂ／ 2となる。

【０１１３】以上のように、パラメータｐ，ｑ，γの変化のさせ方は任意に設定できるのであるが、本発明者は、ｑは一定値とし、ｐのみを次式によって変化させれば殆どの場合良好に３次元形状を復元できることを見い出した。

【０１１４】ｐ＝4.0−0.08ｚ …(22) ここで、ｚは状態の更新回数であり、従ってこの場合には50回目の状態更新時にはｐ＝ 0となる。

【０１１５】また、αは任意の係数であるので、実際にはα＝ 1としてよい。 更に、上記（１０）式の閾値Ψ及び（１１）式の係数Ａ，Ｂ，Ｃについては、Ａ＝Ｂ＝Ψ
＝ 1.0，Ｃ＝3.5 のように定めてよく、また、全てのニューロン素子の初期状態は例えば 0.0で与えてよいことが確認されている。

【０１１６】以上のようにして、ニューラルネットを動作させ、拘束条件を満足した時点で1を出力しているニューロン素子の座標値を取り出してみると、それが対象物体の３次元形状の一つの解を与えていることが確認された。

【０１１７】次に、上述した動作によってランダムドットステレオグラムから対象物体の３次元形状を復元する場合のシミュレーションを行い、従来のものと比較した結果について説明する。

【０１１８】図６、図７は第１の例を示す図であり、図６Ａに示す連続した曲面を有する物体に基づいて図６Ｂ
に示すランダムドットステレオグラムを作成し、この二つの視差画像から３次元形状を復元させるシミュレーションを行った。

【０１１９】このとき、Ｎ＝ 128，Ｄ＝25，α＝ 1，Ａ
＝Ｂ＝Ψ＝ 1.0，Ｃ＝3.5 とした。 ブロックはｉ方向に沿って並んでいる25個のニューロン素子を一つのブロックとした。 即ち、Ｎ _k ＝25である。 従って、Ｂ＝ 1.0であるので各ブロックの最小固有値は−24であり、α＝ 1
であるのでｑの最小値は12となるが、ここではｑ＝12の一定値とした。 以上のことからブロックの数ｍはｍ＝12
8 × 128 である。 また、ｐは（２２）式により変化させた。 また、全てのニューロン素子の初期状態は 0.0とした。

【０１２０】なおこの場合、Ｎ＝ 128に対してＤ＝25であるので、ニューロン素子数が25未満のブロックができることになるが、ブロックの最小固有値が25素子のブロックの場合よりも大きくならなければよいことが確認されているので、ブロックの素子数が25未満であってもよいものである。

【０１２１】以上の条件により、上述した本発明の動作をシミュレーションした結果、図７Ａに示す３次元形状が復元された。

【０１２２】これに対して、Marr−Poggioモデルを用いて３次元形状復元のシミュレーションを行うと、図７Ｂ
に示すものが得られた。 なお、このものにおいてもＮ＝
128とし、全てのニューロン素子の初期状態は 0.0とした。

【０１２３】図７Ａと図７Ｂとを比較すると、本発明によれば、連続した曲面を有する物体に関しては、従来より良好に対象物体の３次元形状を復元できることが確認された。

【０１２４】図８、図９は第２の例を示す図であり、図８Ａに示す平面で構成される物体に基づいて図８Ｂに示すランダムドットステレオグラムを作成し、この二つの視差画像から３次元形状を復元させるシミュレーションを行った。 このときの条件は図６、図７に示すものと同じとした。

【０１２５】上述した本発明の動作をシミュレーションした結果図９Ａに示す３次元形状が復元された。

【０１２６】これに対して、Marr−Poggioモデルを用いて３次元形状復元のシミュレーションを行うと、図９Ｂ
に示すものが得られた。 なお、このものにおいてもＮ＝
128とし、全てのニューロン素子の初期状態は 0.0とした。

【０１２７】図７Ａと図７Ｂとを比較すると、本発明によれば、平面で構成される物体に関しても、従来より良好に対象物体の３次元形状を復元できることが確認された。

【０１２８】

【発明の効果】以上の説明から明らかなように、本発明によれば、復元しようとする対象物体の表面が平面で構成されていても、あるいは奥行き方向に連続的に変化する曲面を有していても、物体形状によらず視差画像から３次元形状を良好に復元することが可能である。

【０１２９】しかも、３次元形状を復元するに際して、
平滑化処理等の後処理は行う必要がないので、構成が複雑になることはないものである。

【０１３０】更に、状態更新はブロック・シーケンシャルに行われるので、処理を高速に、且つ効率よく行うことが可能である。

【図面の簡単な説明】

【図１】 本発明に係るニューラルネットワークの一実施例の構成を示す図である。

【図２】 図１に示すニューロン素子部１１の各ブロックの構成例を示す図である。

【図３】 パラメータｐ，ｑを説明するための図である。

【図４】 本発明におけるニューロン素子の結合関係を示す図である。

【図５】 パラメータｐ，ｑの変化の態様の例を示す図である。

【図６】 本発明による３次元形状復元と従来の３次元形状復元の比較を示す第１のシミュレーション例を示す図である。

【図７】 本発明による３次元形状復元と従来の３次元形状復元の比較を示す第１のシミュレーション例を示す図である。

【図８】 本発明による３次元形状復元と従来の３次元形状復元の比較を示す第２のシミュレーション例を示す図である。

【図９】 本発明による３次元形状復元と従来の３次元形状復元の比較を示す第２のシミュレーション例を示す図である。

【図１０】 ニューラルネットワークを用いて二つの視差画像から物体の３次元形状を復元するための装置の概略の構成を示す図である。

【図１１】 視差画像のニューラルネットワークへの入力を説明するための図である。

【図１２】 視差画像のニューラルネットワークへの入力を説明するための図である。

【図１３】 ３次元形状の復元を説明するための図である。

【符号の説明】

１…ニューラルネットワーク、２…画像入力部、３…対象物体、４、６…レンズ、５、７…受光部、１１…ニューロン素子部、１２…演算評価部、１３…パラメータ設定部、２１…総入力演算部、２２、２３…演算部。