【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は環境認識装置、特に、自律走行車などにおいて、走行路前方の障害物の認識を行うのに適した環境認識装置に関する。

【０００２】

【従来の技術】自律走行車の走行制御においては、走行路前方の状況を的確に認識することが重要である。 特に、走行路前方に存在する障害物は、できるだけ早く認識し、衝突を回避するための適切な走行制御を行わねばならない。 このような環境認識を行うために、従来から種々の手法が提案されてきている。 たとえば、特開昭６
４−２６９１３号公報には、２台のカメラを左右に並べ、走行路前方の障害物についてのステレオ画像を撮像し、これに基づいて適切な制御を行う自律走行車の制御装置が開示されている。

【０００３】

【発明が解決しようとする課題】しかしながら、従来のステレオ画像に基づく環境認識装置には、画像データに対する演算量が膨大なものとなり、障害物の認識までに時間がかかるという問題がある。 すなわち、実際の障害物は三次元の物体であるのに対し、解析の材料となるステレオ画像はその二次元投影像であるため、左右の画像についての特徴量の抽出処理や、特徴量の整合処理などを行わねばならない。 このような処理は、膨大な演算を必要とし、障害物などの認識を短時間に行うことは困難となる。

【０００４】そこで本発明は、より簡便な演算を用いて、短時間に環境認識を行うことができる環境認識装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】

(1) 本願第１の発明は、環境認識装置において、認識対象についての右画像および左画像からなる二次元のステレオ画像を得るために、右撮像装置および左撮像装置を有するステレオ画像入力手段と、左右の撮像装置相互の向きおよび位置の関係に基づいて定まる左右の画像間の変換情報を記憶する変換情報記憶手段と、所定の基準面を定義し、この基準面を示す式と左右の画像間の変換情報とに基づいて、右画像に対応する仮想左画像を作成する右画像変換と、左画像に対応する仮想右画像を作成する左画像変換と、の少なくとも一方を行う画像変換手段と、右画像と仮想右画像の組み合わせ、および左画像と仮想左画像の組み合わせ、の少なくとも一方の組み合わせについて、差分画像を作成する画像差分手段と、異なる複数の基準面を定義することにより得られた複数の差分画像を相互に比較し、予め設定された基準パターンに最も近似した差分画像が得られた基準面を選択し、この選択した基準面の高さ位置に、差分画像に対応する障害物の認識を行う障害物認識装置と、を設けたものである。

【０００６】(2) 本願第２の発明は、環境認識装置において、認識対象についての右画像および左画像からなる二次元のステレオ画像を得るために、右撮像装置および左撮像装置を有するステレオ画像入力手段と、左右の撮像装置相互の向きおよび位置の関係に基づいて定まる左右の画像間の変換情報を記憶する変換情報記憶手段と、所定の基準面を定義し、この基準面を示す式と左右の画像間の変換情報とに基づいて、右画像に対応する仮想左画像を作成する右画像変換と、左画像に対応する仮想右画像を作成する左画像変換と、の少なくとも一方を行う画像変換手段と、右画像と仮想右画像の組み合わせ、および左画像と仮想左画像の組み合わせ、の少なくとも一方の組み合わせについて、差分画像を作成する画像差分手段と、異なる複数の基準面を定義することにより得られた複数の差分画像の相互変化を認識し、この相互変化が予め設定された変化パターンに基づくものである場合には、得られた差分画像を障害物として認識する障害物認識装置と、を設けたものである。

【０００７】(3) 本願第３の発明は、上述の第１または第２の発明による環境認識装置において、それぞれ異なる基準面が定義され、それぞれ独立した画像変換処理を行うことのできる複数の画像変換装置、によって画像変換手段を構成し、この複数の画像変換装置によって変換されたそれぞれの仮想画像について、それぞれ独立して差分画像を作成する複数の画像差分装置、によって画像差分手段を構成し、異なる複数の基準面についての各差分画像を、それぞれ同時に演算して求めることができるようにしたものである。

【０００８】

【作 用】右画像および左画像からなるステレオ画像が得られた場合、このステレオ画像を撮像するために用いた２台のカメラの相互位置関係から、右画像と左画像との関係式を導くことができる。 したがって、右画像に基づいて、これに対応する左画像を予測することができ、
逆に、左画像に基づいて、これに対応する右画像を予測することができる。 別言すれば、導かれた関係式に基づいて、右画像を仮想左画像に変換することができ、左画像を仮想右画像に変換することができる。 しかしながら、このような変換を行うための条件として、何らかの基準面を定義する必要がある。 すなわち、二次元画像上の各点が、三次元空間内の所定の基準面上の点であるという前提を置くことにより、はじめてこの変換が可能になる。

【０００９】本願発明は、この性質を利用したものであり、その基本的な原理は次のようなものである。 すなわち、まず、走行路前方には障害物が無いものと仮定し、
前方の環境は、平坦な路面のみであるものと考える。 この場合、２台のカメラで撮像されたステレオ画像上の各点（画素）は、すべて平坦な路面上の点であると考えることができる。 すなわち、平坦な路面を基準面として定義することができる。 そして、２台のカメラの相互位置関係から導出した関係式に、この基準面の条件を与えれば、右画像を仮想左画像に変換することができ、左画像を仮想右画像に変換することができる。 そして、理論上、右画像と仮想右画像とは一致し、左画像と仮想左画像とは一致するはずである。 もし、これらの間に不一致部分（すなわち、差分画像上に現れた像）が生じていたとしたら、この不一致部分については、「ステレオ画像上の各点は、すべて平坦な路面上の点である」という前提に誤りがあったことになる。 別言すれば、不一致部分については、基準面たる路面上の点ではなかったということになる。 結局、不一致部分を示す画像は、基準面たる路面上には無い点の集合であり、障害物の像を示していることになる。 これが、本願発明の基本原理である。
この基本原理に基づく認識処理を行うには、変換式に基づく座標変換演算と、２つの画像を比較する比較演算と、を行うだけで済むので、簡便な演算を用いて短時間に環境認識を行うことができるようになる。 なお、この基本原理については、特願平３−９１１６８号明細書に開示されている。

【００１０】本願第１の発明の特徴は、この基本原理による障害物の認識に、更に、障害物の高さの認識を付加した点にある。 前述のように、本発明の基本原理では、
仮想画像を演算するために所定の基準面を定義する必要がある。 本願発明者は、この基準面の位置と、実際の障害物の位置と、の関係により、得られる不一致部分の形状が変化することに着目し、複数の基準面を定義することにより障害物の高さの認識を行うようにしたのである。 すなわち、実際の障害物の高さ位置に基準面が定義された場合に、どのような形状の不一致部分が得られるかを、あらかじめ基準パターンとして用意しておく。 そして、高さが異なる複数の基準面を定義して、それぞれ不一致部分を演算して求め、この不一致部分の形状が基準パターンに最も近くなる基準面を選択すれば、この選択された基準面の位置により障害物の位置を認識することができる。

【００１１】本願第２の発明は、上述の第１の発明を応用することにより、障害物のより確実な検出を可能にするものである。 前述のように、定義する基準面の位置により、得られる不一致部分の形状は変化する。 そこで、
真の障害物が存在する場合に、この不一致部分の形状変化がどのようなものになるかを予め認識しておけば、実際に求められた不一致部分の形状変化に基づいて、認識された障害物が真のものであるのか、あるいは誤認識によるものであるのか、を判断することができる。

【００１２】

【実施例】 §１． ステレオ画像変換の原理以下、本発明を図示する実施例に基づいて詳述する。 始めに、左右の画像の相互変換の原理を簡単に説明する。
いま、図１に示すように、所定の対象物１０を、右カメラ１１と左カメラ１２とによって撮像し、ステレオ画像を得る場合を考える。 この場合、図２に示すように、右カメラ１１は対象物１０を三次元右座標系ＲＲで捕え、
左カメラ１２は同じ対象物１０を三次元左座標系ＬＬで捕えることになる。 三次元右座標系ＲＲは、座標軸ＸR
，ＹR ，ＺR で表現される三次元座標系であり、三次元左座標系ＬＬは、座標軸ＸL ，ＹL ，ＺL で表現される別の三次元座標系である。 そして、両座標系間には、
次の変換式が成り立つことが知られている。

【００１３】

【数１】

１と左カメラ１２との向きについての相関関係に基づいて定まるものであり、添字を伴った３つの係数Ｔによるマトリックスは、平行移動マトリックスと呼ばれ、右カメラ１１と左カメラ１２との位置偏差についての相関関係に基づいて定まるものである。

【００１４】ステレオ画像の撮像を行うと、右カメラ１
１は、座標系ＲＲ上の対象物１０を撮像し右画像ＰR を生成し、左カメラ１２は、座標系ＬＬ上の対象物１０を撮像し左画像ＰL を生成する。 図３に示すように、右画像ＰR は２つの座標軸ｘR ，ｙR で表現される二次元右座標系Ｒ上に定義される二次元画像であり、左画像ＰL
は２つの座標軸ｘL ，ｙL で表現される二次元左座標系Ｌ上に定義される二次元画像である。 座標系Ｒ上に得られた投影像１０Ｒは、座標系ＲＲ上の対象物１０を所定平面上に投影することによって得られる像であり、座標系Ｌ上に得られた投影像１０Ｌは、座標系ＬＬ上の対象物１０を所定平面上に投影することによって得られる像である。

【００１５】ここで、三次元座標系と二次元座標系との関係を考える。 たとえば、図４に示すように、カメラのレンズ位置を示す点Ｏより右半分に三次元座標系ＸＹＺ
を定義する。 各座標系の軸方向は図示のとおりであり、
Ｙ軸は紙面に垂直な方向となる。 そして、点Ｏより左側へ距離ｆの位置に、Ｚ軸に対して垂直な平面を定義し、
この平面上に二次元座標系ｘｙを定義する。 ｙ軸はやはり紙面に垂直な方向となる。 このモデルにおいて、座標系ＸＹＺ内の１点Ｑについての投影像ｑを、座標系ｘｙ
上に得ることを考える。 すなわち、座標系ＸＹＺで表現された座標値Ｑ（ＸQ ，ＹQ ，ＺQ ）に基づいて、座標系ｘｙで表現された座標値ｑ（ｘq ，ｙq ）を求めることになる。 この場合、図４から、 ｘQ ＝ ｆ （ ＸQ ／ ＺQ ） なる変換式が得られることが理解できよう。 同様に、 ｙQ ＝ ｆ （ ＹQ ／ ＺQ ） なる変換式も得られる。 ここで、ｆは、カメラの光学系によって定まる定数である。 このことから、図２に示す座標系ＲＲ，ＬＬと、図３に示す座標系Ｒ，Ｌと、の間には、次のような変換式が得られる。

【００１６】ｘR ＝ ｆR （ ＸR ／ ＺR ） ｙR ＝ ｆR （ ＹR ／ ＺR ） ｘL ＝ ｆL （ ＸL ／ ＺL ） ｙL ＝ ｆL （ ＹL ／ ＺL ） さて、三次元座標系ＲＲとＬＬとの関係は、前述のように、係数マトリックスを用いた変換式によって求まり、
三次元座標系ＲＲと二次元座標系Ｒとの関係および三次元座標系ＲＲと二次元座標系Ｒとの関係は上述の変換式によって求まる。 したがって、これらの変換式を用いれば、二次元座標系Ｒと二次元座標系Ｌとの関係を示す変換式が得られるはずである。 しかしながら、上述の前提だけでは、この変換式を解くことはできない。 この他に、もうひとつ、所定の基準面を定義してやる必要がある。 その理由は、図５のようなモデルを考えれば、容易に理解できる。 すなわち、図５におけるｘｙ平面上に投影点Ｐが得られている場合、この投影点Ｐに対応する実際の点が、三次元空間のどこに位置するかは、これだけの情報からは決定することができない。 ところが、三次元空間内に所定の基準面を決めてやり、実際の点がこの基準面上の点であると仮定すれば、三次元空間内での実際の点の位置は決定される。 たとえば、図５の例では、
基準面Ｓ１を決めれば実際の点Ｐ１の位置が決定され、
基準面Ｓ２を決めれば実際の点Ｐ２の位置が決定される。

【００１７】そこで、所定の基準面を、平面の一般式 ａＸ ＋ ｂＹ ＋ ｃＺ ＝ １ なる形式で与える。 ここで、ａ，ｂ，ｃは、基準面を決定するための定数である。 このような基準面の式を定義してやり、三次元右座標系内の点（ＸR ，ＹR ，ＺR ）
および三次元左座標内の点（ＸL ，ＹL ，ＺL ）が、いずれもこの基準面上の点であるという条件を付加してやれば、二次元座標系Ｒと二次元座標系Ｌとの関係を示す変換式を次のように解くことができる。

【００１８】 ｘL ＝（ＡｘR ＋ＢｙR ＋Ｃ）／（ＤｘR ＋ＥｙR ＋１） ｙL ＝（ＦｘR ＋ＧｙR ＋Ｈ）／（ＤｘR ＋ＥｙR ＋１） ここで、Ａ〜Ｈは、所定の定数である。 この変換式を用いれば、右画像内の任意の点（ｘR ，ｙR ）について、
これに対応する左画像内の点（ｘL ，ｙL ）を演算により求めることができ、その逆も可能である。

【００１９】 §２． 基準面と差分画像との関係いま、図６に示すように、車両Ｍが路面Ｓ０上を走行しているときに、走行路前方に障害物Ｎが存在する場合を考える。 車両Ｍに右カメラ１１および左カメラ１２を搭載し、前方の障害物Ｎを捕らえれば、左画像および右画像は、図７(a)，(b) のようになる。 そこで、路面Ｓ０
を基準面として、左画像から仮想右画像を得る画像変換を行ったものとする。 もし、障害物Ｎが存在しなければ、仮想右画像は実際の右画像と一致するはずである。
すなわち、障害物Ｎが存在しなければ、左画像上のすべての点、および右画像上のすべての点は、路面Ｓ０上に存在する点であるため、この路面Ｓ０を基準面とした画像変換によって得られる仮想画像は、理論的には真の画像と一致するはずである。 ところが、障害物Ｎが存在すると、この障害物Ｎ上の点は、路面Ｓ０上にはない点であるから、路面Ｓ０を基準面にとった画像変換では、不一致が生じるのである。 具体的には、図７(a)に示すような左画像に基づく画像変換によって得られた仮想右画像は、たとえば、図７(c) に示すような歪んだものとなり、図７(b) に示す真の右画像に対して完全には一致しない。 そこで、不一致部分を抽出するため、図７(b) に示す右画像と、図７(c) に示す仮想右画像と、の差分をとり、図７(d) に示す差分画像を作成する。 この差分画像上に残った像が、不一致部分に相当し、路面Ｓ０上にない点の集合、すなわち、障害物Ｎに対応する。

【００２０】このように、ステレオ画像の一方に基づいて得られる仮想画像と、ステレオ画像の他方の画像と、
の差分をとり、得られた差分画像上の像を障害物として認識するのが、本発明における障害物認識の基本原理である。 一般に、ある程度の高さをもった障害物Ｎが路面Ｓ０上に存在する場合は、図７(d) に示すような逆三角形の形状をした像が差分画像上に得られる。

【００２１】さて、ここで、障害物Ｎが路面Ｓ０上にない場合を考えてみる。 たとえば、図８に示すように、路面Ｓ０から高さＨの位置に障害物Ｎが存在する場合を考えよう。 いま、５つの基準面Ｓ０，Ｓ１，Ｓ２，Ｓ３，
Ｓ４を図８に示す位置に定義する。 基準面Ｓ０は路面であり、基準面Ｓ１〜Ｓ４は、路面からそれぞれ高さｈ１
〜ｈ４の位置にある面であり、高さｈ２＝Ｈであるものとする。 この５とおりの基準面について、それぞれ差分画像を求めてみると、図９(a)〜(e) に示すような像が得られる。 ここで、図９(c) の差分画像では、図７(d)
に示す差分画像と同様、逆三角形の形状をした像が形成されていることがわかる。 すなわち、障害物Ｎの高さ位置と同じレベルに基準面を定義すると、逆三角形の形状をした像が差分画像上に形成される。 基準面のレベルがこの位置から上にずれても下にずれても、像は三角形を２つ重ねたような形状に変化してしまう。 本発明は、この性質に着目し、障害物Ｎの高さ位置を認識しようとするものである。 すなわち、いくつかの異なる基準面について差分画像を求め、この差分画像内の像が図９(c) に示すような逆三角形に最も近いものを選択し、このときの基準面の高さｈ２を障害物Ｎの高さＨとして認識するのである。

【００２２】なお、基準面が障害物Ｎの高さ位置に一致したとき、差分画像として得られる像の形状は、必ずしも逆三角形であるとは限らない。 障害物Ｎの形状によって、差分画像上の像の形状は種々異なる。 したがって、
厳密には、予測される障害物の形状に基づいて、予め所定の基準パターンを設定しておき、この基準パターンに最も近似した像が差分画像として得られる基準面を、障害物の高さ位置を示す基準面として選択することになる。 ただ、垂直方向の高さがある程度確保されている一般的な障害物であれば、基準パターンはほぼ逆三角形となるので、実用上は、得られる像が逆三角形にもっとも近くなる差分画像を選択するようにして問題ない。

【００２３】 §３． 本発明による環境認識装置の構成
および動作続いて、本発明による環境認識装置の構成および動作を、図１０に示すブロック図に基づいて説明する。 ステレオ画像入力手段１００は、図１に示すようなステレオ撮影を行うための右カメラ１１および左カメラ１２から構成され、右画像ＰR および左画像ＰL を得る。 この実施例は、この環境認識装置を自律走行車に搭載して利用するので、車体前部の左右の位置に、右カメラ１１および左カメラ１２を取り付けている。 変換情報記憶手段１
１０は、上述した二次元座標系Ｒと二次元座標系Ｌとの間の相互変換を行うために必要な情報を記憶している。
前述のように、この情報は、右カメラ１１および左カメラ１２の相互の向きおよび位置の関係に基づいて一義的に決まる。 画像変換手段２００は、複数の画像変換装置２１０〜２１４によって構成され、変換情報記憶手段１
１０内の変換情報と、所定の基準面の式とに基づいて、
左画像ＰL に対応する仮想右画像ＩR0〜ＩR4を作成する。 前述のように、このような仮想画像を作成するためには、所定の基準面を定義する必要がある。 画像変換装置２１０〜２１４には、それぞれ異なる基準面が設定されており、作成された仮想右画像ＩR0〜ＩR4は、それぞれ異なる基準面に基づいて得られた画像である。

【００２４】一方、画像差分手段３００は、複数の画像差分装置３１０〜３１４によって構成され、画像変換装置２１０〜２１４によって作成された仮想右画像ＩR0〜
ＩR4と、右カメラ１１から得られた右画像ＰR と、の差分画像ＤR0〜ＤR4を出力する。 これらの差分画像ＤR0〜
ＤR4は、障害物認識装置４００に入力される。

【００２５】この装置の動作は次のとおりである。 いま、たとえば、画像変換装置２１０〜２１４には、それぞれ図８に示す基準面Ｓ０〜Ｓ４が設定されていたとする。 この場合、画像差分装置３１０〜３１４から出力される差分画像ＤR0〜ＤR4は、図９(a) 〜(e) に示すようなものとなる。 障害物認識装置４００は、これらの差分画像ＤR0〜ＤR4の中から、所定の基準パターン、すなわち、逆三角形のパターンに最も近似した像を含むものを選択する。 この例では、図９(c) に示すような差分画像ＤR2が選択され、これに対応する基準面Ｓ２が障害物の高さを示す基準面として選択される。 こうして、障害物認識装置４００は、差分画像ＤR2に含まれている像を障害物として認識するとともに、この障害物が路面から高さｈ２（路面Ｓ０から基準面Ｓ２までの高さ）の位置に存在することも認識できる。

【００２６】以上のように、障害物の認識とともに、その障害物の高さ位置を認識することができる点が、この装置の第１の機能である。 このような手法による高さ位置の認識において、最も演算負担の大きいのが、画像変換手段２００内で仮想画像を得るために行われる画像変換処理である。 本実施例の装置では、画像変換手段２０
０を、複数の画像変換装置２１０〜２１４によって構成し、それぞれが独立して固有の基準面に基づく画像変換処理を実施できるようにしたため、複数の画像変換処理を同時に並列処理として行うことができる。 このため、
演算時間の短縮を図ることができる。

【００２７】この装置の第２の機能は、障害物の認識確度を向上させる機能である。 理論的には、上述のプロセスによって障害物を確実に認識することができるはずであるが、実際には、種々の要因により誤認識が行なわれることがある。 すなわち、真の障害物でないもの（たとえば、路面の汚れ、水たまりなど）を障害物として認識してしまうことがある。 この装置では、障害物認識装置４００によって、このような誤認識が低減される。 その原理は次のとおりである。 すなわち、真の障害物Ｎが存在する場合、異なる複数の基準面を定義することにより得られた複数の差分画像は、基準面の位置に基づいて、
図９に示すように相互変化する。 別言すれば、図９に示すような相互変化の見られる差分画像が得られた場合には、真の障害物が存在するということができる。 障害物認識装置４００は、画像差分装置３１０〜３１４から与えられる差分画像ＤR0〜ＤR4の相互変化を認識し、この相互変化が予め設定された変化パターンに基づくものである場合には、得られた差分画像を障害物として認識するのである。 具体的には、基準面を変化させることにより、差分画像が、図９(a) ，(b) に示すように２つの三角形を重ねたパターンから、図９(c) に示すような逆三角形のパターンに変化し、更に、図９(d) ，(e) に示すように２つの三角形を重ねたパターンに変化する場合には、真の障害物が認識されたものと判断するのである。
逆に、このようなパターン変化がみられない場合には、
得られた障害物の像は誤認識によるものであると判断できる。

【００２８】なお、上述の実施例はいずれも、実際の左画像を変換することにより仮想右画像を作成し、この仮想右画像と実際の右画像との差分をとることにより差分画像を得ているが、これとは全く逆に、実際の右画像を変換することにより仮想左画像を作成し、この仮想左画像と実際の左画像との差分をとることにより差分画像を得るようにしてもかまわないし、これらの両方を行うようにしてもかまわない。

【００２９】 §４． 画像演算の効率化図１０に示す装置において、画像変換手段２００における画像変換処理、および画像差分手段３００における差分演算処理は、多数の画素を取り扱う処理であるため、
画像の解像度が高くなればなるほど演算負担が大きくなる処理である。 そこで、ここでは、これら画像演算をより効率化するための手法を開示しておく。 ステレオ画像入力手段１００によって入力される右画像ＰR および左画像ＰLは、時事刻々と変化してゆくものであり、それぞれ一定の周期ごとに同期をとって画像変換手段２００
や画像差分手段３００に取り込まれる。 別言すれば、右画像ＰR および左画像ＰL は時系列データとして与えられるものである。 ここに示す手法は、現時点で処理すべき画像のうち、前回処理した画像と同じ部分については、処理を省略することにより、全体的な演算負担の軽減を図るものである。

【００３０】それでは、図１１に示す具体例に即して、
この手法を説明する。 図１１の上段に示された４つの画像は、左カメラ１２から得られた左画像ＰL の時系列画像データである。 すなわち、左画像は、画像ＰL1〜ＰL4
へと時間とともに変化している。 画像ＰL1では、遠方の車両１が障害物として存在しているだけであるが、画像ＰL2〜ＰL4では、近傍に新たな車両２が侵入してきて、
左右に動いている。 いま、これら画像ＰL1〜ＰL4を原画像として、隣接する時系列データ間での差分画像をとってみると、図１１の下段に示された４つの画像が得られる（ここにいう差分画像は、現時点の画像と前に得られた画像との差に対応する画像であり、画像差分手段３０
０において得られる左右の画像差を示すものではない）。 すなわち、画像ＰL1については、その前の画像が定義されていないので、差分画像ＰL1' は得られないが、その次の画像ＰL2については、その前の画像ＰL1との差分をとることにより、差分画像ＰL2' が得られる。
同様に、画像ＰL3と画像ＰL2との差分として差分画像Ｐ
L3' が得られ、画像ＰL4と画像ＰL3との差分として差分画像ＰL4' が得られる。 差分画像ＰL2' では、車両２がそのまま像として現れているが、差分画像ＰL3' では車両２の一部２ａ，２ｂが、差分画像ＰL4'では車両２の一部２ｃ，２ｄが、それぞれ像として現れている。 これらの差分画像は、原画像における時間的変化分を示すものである。 したがって、この差分画像に現れてこない車両１は、時間的に定位置にある障害物であり、これについて毎回同じ演算を繰り返し行う必要はない。 すなわち、画像ＰL2〜ＰL4については、差分画像に現れている車両２についてのみ画像演算処理を行えばよいことになる。

【００３１】以上の考え方に基づいて、効率良い画像処理を行うためには、図１０に示す装置において次のような動作を行えばよい。 ここでは、説明の便宜上、画像変換装置２１０および画像差分装置３１０における動作を例にとって説明する。 まず、画像変換装置２１０内には、複数枚の画像（少なくとも２枚以上）のデータを蓄積することができるフレームメモリを用意しておく。 したがって、時事刻々と与えられる左画像ＰL1〜ＰL4を、
データとして一時的に蓄積しておくことができる。 また、この画像変換装置２１０には、時系列画像データについての差分を行い、得られた差分画像に基づいて対象領域を決定する機能を付加しておく。 たとえば、左画像ＰL1とＰL2とに基づき差分画像ＰL2' を求めたら、この差分画像ＰL2' 内の車両２の像を含む閉領域を対象領域として決定するのである。 対象領域として、車両２の像を含む矩形領域をとるようにすれば、左画像ＰL2については、図１２に示す対象領域ＡL が決定できる。 したがって、画像変換装置２１０は、左画像ＰL1については全領域について画像変換処理を行って仮想右画像ＩR0を出力するが、左画像ＰL2については対象領域ＡL 内だけに対して画像変換処理を行うことになる。 また、この左画像ＰL2上に定義された対象領域ＡL に対応する対象領域ＡR が、右画像ＰR2上に求められる。 画像差分装置３１
０における左右の差分演算は、この対象領域内についてのみ行われる。 残りの領域についての障害物（車両１）
に関する情報は、前回得られた左画像ＰL1および右画像ＰR1に基づく結果をそのまま流用すればよい。

【００３２】なお、差分画像ＰL3' およびＰL4' では、
単一の障害物である車両２の像が、部分２ａ，２ｂおよび部分２ｃ，２ｄに別れてしまっている。 これらの別れた像は、１つ前の差分画像を参照することにより、単一の障害物の一部であるものと認識することが可能である。 たとえば、差分画像ＰL3' における部分２ａ，２ｂ
は、いずれも、差分画像ＰL2' における車両２の像に接する位置にある。 したがって、部分２ａ，２ｂは単一の障害物の一部であるものと認識することができ、対象領域としては、この部分２ａ，２ｂの両方を包含するような矩形領域を定義すればよい。 同様に、差分画像ＰL4'
における部分２ｃ，２ｄは、いずれも、差分画像ＰL3'
における部分２ａ，２ｂ（車両２の一部として認識済）
に接する位置にある。 したがって、部分２ｃ，２ｄは単一の障害物の一部であるものと認識することができ、対象領域としては、この部分２ｃ，２ｄの両方を包含するような矩形領域を定義することになる。

【００３３】このような手法をとることにより、移動量の大きな障害物についての演算を高速に行うことができ、極めて効率の良い画像演算が可能になる。 すなわち、図１１に示す例では、移動量の小さい車両１に比べ、移動量の大きい車両２に対する演算の方が頻繁に行われ、高速に演算が行われたことになる。 なお、上述の実施例では、時系列画像データについての差分画像は、
前回の画像との間で差分をとることにより求めているが、前回の画像、前々回の画像、とそれぞれ重みづけをして差分をとるようにすることもできる。

【００３４】 §５． 走行路面の認識処理Ｉ本発明による環境認識装置では、走行路面またはこの走行路面から所定の高さにある面を基準面として用いる。
したがって、走行路面の認識処理、より具体的には、装置内で定義した座標系における走行路面の平面の式を求める処理が必要になる。 そこで、以下に、この走行路面の認識処理の一例を示すことにする。

【００３５】図１０に示す装置において、走行路面の認識を行うために必要な情報は、右カメラ１１から得られる右画像ＰR および左カメラ１２から得られる左画像Ｐ
L である。 ここでは、この左右の２つの画像に基づいて、走行路面の認識を行う方法を説明する。 いま、図１
３(a) に示すように、左画像ＰL 上でユニークな２点Ｐ
１，Ｐ２を決める。 これは、たとえば、路面上で容易に識別できる白線Ｗの上の所定点として決めればよい。 次に、この２点Ｐ１，Ｐ２に対応する仮想右画像上の２点を画像変換により求める。 ただし、まだ走行路面の認識が行われていない状態であるため、基準面は一切定義されていない。 このように、基準面を定義することなしに、左画像から仮想右画像を求めようとすると、左画像上の１点は仮想右画像上では１点としては求まらず、一本の線（エピポーラライン）となってしまう。 したがって、左画像ＰL 上の２点Ｐ１，Ｐ２の画像変換による右画像ＰR 上の投影は、図１３(b) に示すように、それぞれエピポーララインＱ１，Ｑ２となる。 ２点Ｐ１，Ｐ２
についての真の対応点Ｐ１´，Ｐ２´は、それぞれ、このラインＱ１，Ｑ２上の１点である。 これらの真の対応点Ｐ１´，Ｐ２´は、右画像ＰR 上で容易に認識できる。 すなわち、白線ＷとラインＱ１，Ｑ２の交点として認識できる。 具体的には、ラインＱ１，Ｑ２上の画素を捜索し、白線Ｗに相当する画素値をもった画素を見付け、この画素の位置を真の対応点Ｐ１´，Ｐ２´とすればよい。

【００３６】以上の手順により、走行路面上にある２点の対応点が、左画像ＰL 上と右画像ＰR 上とにプロットされたことになる。 平面を決定するためには、最低３点必要であるため、更に走行路面上の第３の点について、
それぞれ左画像ＰL と右画像ＰR とに対応点を見付ける必要がある。 そこで、まず、図１４(a) に示すように、
左画像ＰL 上に第３の点Ｐ３を定め、この点Ｐ３を含む線分Ｓを定義する。 点Ｐ３は、点Ｐ１，Ｐ２を結ぶ直線上でなければ、どこにとってもかまわないが、できれば、線分Ｓ上の画素が特徴的な画素値をもつような位置に点Ｐ３をとるのが好ましい。 続いて、左画像ＰL 上の点Ｐ３を右画像ＰR に変換する。 前述のように、基準面を定めないと、点Ｐ３に対応するのは、点ではなくエピポーララインとなる。 すなわち、図１４(b) に示すように、エピポーララインＱ３が求まる。 点Ｐ３についての真の対応点Ｐ３´は、このラインＱ３上の１点である。
そこで、この点Ｐ３´を定めるために、左画像ＰL 上の線分Ｓを、このエピポーララインＱ３上に沿って動かしながら、線分Ｓ上の画素とエピポーララインＱ３上の画素との相関をとり、もっとも相関が高くなった位置に点Ｐ３´を定める。 すなわち、図１５に示すように、ラインＱ３上の各画素と線分Ｓ上の各画素とを対比し、最も画素値が近似するような対比が得られる位置に線分Ｓを固定し、そのときの中心画素の位置を点Ｐ３´の位置として決定するのである。

【００３７】こうして、走行路面上にある３点の対応点が、左画像ＰL 上と右画像ＰR 上とにプロットされたことになる。 したがって、この３点により、走行路面の式を決定することができる。 なお、より高精度に走行路面の決定を行うためには、次のような誤差補正を行うのが好ましい。 すなわち、上述の手順により、ひとまず走行路面の式が決定できたら、この式に対応する平面を基準面として、障害物が存在しない状態での左画像ＰL を画像変換し、仮想右画像を求めてみる。 もし、正しい走行路面の式が得られているのであれば、障害物が存在しない状態では、こうして求めた仮想右画像は、右カメラ１
１から得られた実右画像と一致するはずである。 ここで、不一致が生じていた場合には、求めた走行路面の式が誤差を含んでいると考えられる。 そこで、２点Ｐ１，
Ｐ２を結ぶ線を回転軸として、求めた走行路面を少し回転させるローテーション補正を行う。 こうして、仮想右画像が実右画像と一致するまで補正を繰り返し行うようにすれば、最終的には、誤差のない走行路面の式が得られることになる。

【００３８】 §６． 走行路面の認識処理ＩＩ上述した走行路面の認識処理は、図１０に示すステレオ画像入力手段１００から得られる画像に基づいて、走行路面の決定を行うものである。 ここでは、レーザ光を用いて走行路面の認識処理を行う別な方法を説明する。 この方法では、図１６に示すような測定系が必要になる。
レーザ発振器５００によって作り出されたレーザビームは、変調器５１０によって変調され、ハーフミラー５２
１，５２２，５２３および全反射ミラー５２４，５２５
による反射を繰り返し、４本のビームとして走行路面上に照射される。 図には示されていないが、各ビームについて、照射角度調節機構を設けておくとよい。

【００３９】走行路面から反射してきたレーザビームは、受光素子５３０によって受光され、その検出信号は距離計算装置５４０に与えられる。 また、走行路面から反射してきたレーザビームは、ステレオ画像入力手段１
００（すなわち、右カメラ１１および左カメラ１２）によっても捕らえられる。 この結果、図１７(a) ，(b) に示すように、左画像ＰL および右画像ＰRには、走行路面上における４本のレーザビームの照射点が、高輝度の画素として認識できる。 変調器５１０によってビームに対する変調を行っておけば、レーザビームをそれ以外の光源に対して識別することが可能になる。 すなわち、各画像上での高輝度画素のうち、所定の変調パターンで輝度が変化している画素だけを、レーザビームの照射点に対応する画素として認識することができる。

【００４０】このような測定系を用意しておけば、２とおりの方法により、走行路面の決定を行うことができる。 第１の方法は、図１７に示すような左右の画像を用いる方法である。 すなわち、図１７(a) ，(b) の画像上の４点は、いずれも実走行路面上の同一点に対応するものであるから、一方の画像の４点を画像変換したときに、他方の画像の４点に一致するような基準面を、道路平面計算装置５５０において演算して求めれば、その基準面が走行路面ということになる。 なお、平面は３点あれば決定できるので、レーザビームは３本だけにしてもかまわない。

【００４１】第２の方法は、距離計算装置５４０によって求めた距離を利用する方法である。 距離計算装置５４
０は、路面上の照射点と車両との間を往復したレーザビームに基づき、両者間の距離を演算し、これを道路平面計算装置５５０に与える。 道路平面計算装置５５０は、
図１７に示すような照射点の画像に加え、各照射点までの距離が与えられるので、これらの情報とレーザビームの照射角度に関する情報とに基づき、走行路面の式を演算することができる。

【００４２】

【発明の効果】以上のとおり、本発明による環境認識装置によれば、得られたステレオ画像について、所定の基準面を定義した変換処理を施して仮想画像を作成し、もとの画像と仮想画像との差として差分画像を求め、この差分画像上の像の形状を考慮して障害物の認識を行うようにしたため、障害物をその高さ位置とともに確実に認識することができるようになる。

【図面の簡単な説明】

【図１】本発明による環境認識装置におけるステレオ画像の撮像原理を示す図である。

【図２】図１に示す方法で撮像を行う場合に左右のカメラ内で定義される三次元座標系を示す図である。

【図３】図２に示す三次元座標系を二次元投影して得られる二次元座標系を示す図である。

【図４】三次元座標系を二次元投影して二次元座標系を得る原理を示す図である。

【図５】得られた二次元画像について仮想平面を定義してやることにより、三次元空間内の位置が決定されることを示す図である。

【図６】本発明による環境認識装置による障害物Ｎの認識原理を説明する図である。

【図７】図６に示す環境において、本発明による環境認識装置内に得られる各画像を示す図である。

【図８】本発明による環境認識装置による障害物Ｎの高さ位置の認識原理を説明する図である。

【図９】図８に示す環境において、本発明による環境認識装置内に得られる差分画像を示す図である。

【図１０】本発明による環境認識装置の基本構成を示すブロック図である。

【図１１】本発明による環境認識装置において、画像演算処理を効率化するための原理を示す図である。

【図１２】図１１に示す方法により、演算対象となる領域を限定した状態を示す図である。

【図１３】本発明による環境認識装置において、走行路面の認識を行うための２点の決定方法を説明する図である。

【図１４】本発明による環境認識装置において、走行路面の認識を行うための第３の点の決定方法を説明する図である。

【図１５】図１４に示す方法において、画素同士の相関を求める方法を説明する図である。

【図１６】本発明による環境認識装置において、走行路面の認識を行うための測定系の基本構成を示すブロック図である。

【図１７】図１６に示す測定系を用いることにより得られる左右の画像を示す図である。

【符号の説明】

１，２…車両（障害物） １０…対象物 １１…右カメラ １２…左カメラ １００…ステレオ画像入力手段 １１０…変換情報記憶手段 ２００…画像変換手段 ２１０〜２１４…画像変換装置 ３００…画像差分手段 ３１０〜３１４…画像差分装置 ４００…障害物認識装置 ５００…レーザ発振器 ５１０…変調器 ５２１〜５２３…ハーフミラー ５２４，５２５…全反射ミラー ５３０…受光素子 ５４０…距離計算装置 ５５０…道路平面計算装置 ＡR ，ＡL …対象領域 Ｍ…車両 Ｎ…障害物 ＲＲ…三次元右座標系 ＬＬ…三次元左座標系 Ｒ…二次元右座標系 Ｌ…二次元左座標系 Ｓ…線分 Ｓ０〜Ｓ４…基準面 Ｐ１〜Ｐ３…平面決定のための点 Ｐ１´〜Ｐ３´…Ｐ１〜Ｐ３の対応点 Ｑ１〜Ｑ３…エピポーラライン ＰR …右画像 ＰL …左画像 ＩR …仮想右画像 ＤR …差分画像 Ｗ…白線