【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、対象物と基準物との一致度を一般化ハフ変換を用いて評価することにより、基準物に対する対象物の位置および角度を求める画像認識方法およびその装置に関するものである。

【０００２】

【従来の技術】従来より、生産ライン上などにおいて部品のような対象物の基準物に対する位置（対象物の位置は基準物に対して平行移動した変位量を意味する）および基準物に対する角度（対象物の角度は基準物に対して回転移動した回転角を意味する）を求めるために、対象物をＴＶカメラのような画像入力装置で撮像して得た画像と、あらかじめ基準物に基づいて作成されているテンプレートテーブルとを比較し、基準物に対する対象物の位置と角度とを求めることが考えられている。

【０００３】テンプレートテーブルは以下のようにして作成される。 まず、対象物とほぼ同形状を有し位置および角度の基準となる基準物を画像入力装置で撮像して得た濃淡画像から、基準物の輪郭線のような特徴となる基準画素群を抽出し、基準画素群の各画素について画像内の基準点（つまりテンプレートテーブルに対する座標原点）に対する極座標と、各画素の近傍での濃度勾配を画像内の基準方向に対する角度で表した方向値とを求める。 基準画素群は、たとえば輪郭線上の画素群であるとすれば、画素の濃度を２値化することによって対象物と背景とを区別したり、各画素の近傍の画素の濃度を用いて求めた微分値によって輪郭線と他の部分とを区別したりし、さらに細線化処理などを施して１画素幅の輪郭線として抽出することができる。 また、方向値は、各画素の近傍（たとえば、８近傍）の画素について画像の基準方向である水平方向と垂直方向との濃度差をそれぞれ求め、垂直方向の濃度差を水平方向の濃度差で除して求めた濃度勾配の逆正接により基準方向に対する角度として求めることができる。 このような方向値の求めかたは周知である。

【０００４】以下では、基準画素群が輪郭線上の画素であるものとして説明する。 上述のようにして、図１６に示すような基準物Ｓについて輪郭線Ｌｂ上の各画素の極座標（ｒ _i ，α _i ）および方向値φ _iが求まると、同じ方向値φ _kを持つ極座標（ｒ _i ，α _i ）をまとめることができる。 つまり、方向値φ _iが取り得る値は有限個に制限されており（たとえば、３６０度を１６分割することで１６種類の値のみ取り得るように量子化される）、
輪郭線Ｌｂ上の各画素の各極座標（ｒ _i ，α _i ）の画素はいずれかの方向値φ _iを持つから、図１７に示すように、各方向値φ _iごとにその方向値φ _iを持つ極座標（ｒ _i ，α _i ）を分類したテーブルを作成し、このテーブルを記憶装置に格納してテンプレートテーブルとして用いるのである。

【０００５】次に、テンプレートテーブルと対象物とを比較して対象物の基準物Ｓに対する位置および角度を求める方法について説明する。 対象物は基準物Ｓと同様に画像入力装置で撮像され、撮像によって得られた濃淡画像から輪郭線Ｌｂのような特徴となる対象画素群が抽出される。 ここで、テンプレートテーブルの作成に際して輪郭線Ｌｂを用いているから、図１８に示すように、対象物Ｔについても対象画素群として輪郭線Ｌｃを用いる。 まず、輪郭線Ｌｃの上の各画素について画像の水平方向および垂直方向の座標軸を持つ直交座標系で座標（ｘ _j ，ｙ _j ）を求めるとともに各画素の方向値φ _jを求める。 上記直交座標系は右手系であるものとする。

【０００６】いま、対象物Ｔが基準物Ｓに対して、上記直交座標系での位置が（ｘ，ｙ）であり角度がθであるものとする。 この場合、図１９に示すように、上記直交座標系で座標（ｘ _j ，ｙ _j ）である画素が方向値φ _jを持っていたとすると、基準物Ｓの上でこの画素と等価な画素の方向値φ _iは（φ _j −θ）になる。 また、対象物Ｔでは基準点Ｏ _Tが基準物Ｓの基準点Ｏ _Sに対して（ｘ，ｙ）だけ位置しているから、基準物Ｓの基準点Ｏ
_Sの座標を（０，０）とすれば、対象物Ｔの基準点Ｏ _T
は（ｘ，ｙ）であって、この基準点Ｏ _Tを原点とし基準物Ｓの基準方向に対して角度θだけ回転した極座標系では、上記直交座標系での座標（ｘ _j ，ｙ _j ）の画素の極座標（ｒ _j ，α _j ）を、次式に示す一般化ハフ変換式で表すことができる。 ｘ＝ｘ _j −ｒ _j・cos(α _j ＋θ) ｙ＝ｙ _j −ｒ _j・sin(α _j ＋θ) しかして、対象物Ｔの輪郭線Ｌｃの上の画素が基準物Ｓ
の輪郭線Ｌｂの上の画素と等価であれば、ｒ _j ＝ｒ _iかつα _j ＝α _iであるから、角度θを所定角度ずつ変化させながら対象物Ｔの輪郭線Ｌｃの上の画素の方向値φ _i
に対して（φ _i −θ）を求め、この値をテンプレートテーブルのφ _iと照合することによって抽出した極座標（ｒ _i ，α _i ）を上式に適用したときに、輪郭線Ｌｃの上の多数の画素について（ｘ，ｙ）がほぼ一致していれば、そのときの角度θを対象物Ｔの角度とし、求めた（ｘ，ｙ）を対象物Ｔの位置と考えることができる。

【０００７】上述した原理に基づいて、テンプレートテーブルを用いて対象物Ｔの基準物Ｓに対する位置および角度を一般化ハフ変換を適用して求める方法として次のものが考えられている。 すなわち、上述したように、対象物Ｔの輪郭線Ｌｃの上の画素について求めた方向値φ
_jから適当に決めた角度θを減算した値をテンプレートテーブルと照合して得た極座標（ｒ _j ，α _j ）および角度θを一般化ハフ変換式に代入して得た座標（ｘ，ｙ）
の一致度を求めればよいから、一般化ハフ変換式の適用によって得られた座標（ｘ，ｙ）の発生度数を求め、度数が極大となれば一致度が高いと評価することができる。 そこで、図２０に示すように、対象物Ｔを含む画像と同じサイズを有するアドレス空間（アキュムレータ配列Ａと称する）を各角度θごとに設け、各角度θごとに一般化ハフ変換によって上述のようにして座標（ｘ，
ｙ）を求めたときに、その座標（ｘ，ｙ）に対応したアドレスのアキュムレータ配列Ａの格納値を１だけインクリメントする。 このような処理によって、アキュムレータ配列Ａの各アドレスには、一般化ハフ変換によってそのアドレスに対応する座標（ｘ，ｙ）が得られた度数が格納される。

【０００８】アキュムレータ配列Ａに度数を格納する処理を、各角度θごとに設けたすべてのアキュムレータ配列Ａに対して行なえば、角度θが対象物Ｔの角度θに一致するアキュムレータ配列Ａでは、特定の座標（ｘ，
ｙ）に対応したアドレスに格納された度数が他のすべてのアキュムレータ配列Ａの各アドレスに格納された度数よりも高くなると考えられるから、このアキュムレータ配列Ａに対応した角度θが対象物Ｔの角度θであり、度数のもっとも多いアドレスに対応した座標（ｘ，ｙ）が対象物Ｔの位置（ｘ，ｙ）になる。

【０００９】以上説明したように、一般化ハフ変換を適用して対象物Ｔの基準物Ｓに対する位置および角度を求めようとすると、角度を変化させる個数分のアキュムレータ配列Ａ（すなわち、記憶空間）が必要になる。 たとえば、角度θを１度ずつ変化させるとすれば、３６０個のアキュムレータ配列Ａが必要になり、大きな記憶空間が必要になる。 また、一般化ハフ変換の演算には三角関数を含むから、このような演算を多数回に亙って行なうと処理時間が非常に長くなるという問題が生じる。

【００１０】この種の問題を解決する目的で、特開平２
−１５８８８８号公報では、対象物の濃淡画像から得た情報を位置および角度が保存されるような圧縮方法で圧縮した後に、上述のような一般化ハフ変換によって対象物Ｔの位置および角度を求める方法が提案されている。

【００１１】

【発明が解決しようとする課題】上記公報で提案されている方法では、画像の圧縮によって記憶空間が削減されかつ処理の高速化が図られているが、圧縮された画像のみを用いて角度を認識するものであるから、角度分解能が低いという問題がある。 本発明は上記問題点の解決を目的とするものであり、記憶空間を小さくしかつ高速な処理を可能としながらも、位置および角度を高精度に検出できる画像認識方法およびその装置を提供しようとするものである。

【００１２】

【課題を解決するための手段】請求項１の発明は、認識すべき対象物の基準物に対する相対的な位置および角度を求めるに際して、基準物の濃淡画像から抽出した特徴部分の画素群の各画素の極座標と各画素の近傍の濃度勾配を画像の基準方向に対する角度で表した方向値とを対応付けたテンプレートテーブルを設けておき、対象物の濃淡画像から抽出した特徴部分の画素群の各画素の座標および方向値を求めた後、対象物に対する基準方向を所定角度ずつ変化させて得た方向値をテンプレートテーブルに照合することにより対象物から抽出した各画素の極座標の候補を求め、次に設定した角度と極座標の候補とに一般化ハフ変換を適用して得られる座標の発生度数を各基準方向ごとに求め、度数が極大になる座標および基準方向の角度をそれぞれ対象物の位置および角度とする画像認識方法において、基準物に対する対象物の位置および角度をあらかじめ低精度で抽出する前処理の後、求めた位置および対象物の大きさに基づく制限された位置範囲内、かつ求めた角度を含む制限された角度範囲内で上記基準方向を変化させて対象物の位置および角度を求めることを特徴とする。

【００１３】請求項２の発明では、前処理は、対象物の濃淡画像を対象物の角度が保存できる圧縮方法により圧縮した圧縮画像を処理対象とし、基準物の圧縮画像から抽出した特徴部分の画素群の各画素の極座標と方向値とを対応付けた圧縮テンプレートテーブルを設けておき、
対象物の圧縮画像から抽出した特徴部分の画素群の各画素の座標および方向値を求めた後、対象物に対する基準方向を所定角度ずつ変化させて得た方向値を圧縮テンプレートテーブルに照合することにより対象物から抽出した各画素の極座標の候補を求め、次に設定した角度と極座標の候補とに一般化ハフ変換を適用して得られる座標の発生度数を各基準方向ごとに求め、度数が極大になる座標および基準方向の角度をそれぞれ対象物の位置および角度とすることを特徴とする。

【００１４】請求項３の発明では、前処理は、対象物を含むサイズの比較領域を濃淡画像内で順次移動させるとともに、比較領域の画素群の方向値のヒストグラムの最大度数があらかじめ基準物の特徴部分について求めた方向値のヒストグラムの最大度数との差が許容範囲内であるときの比較領域の位置を対象物の位置とし、かつそのときの両ヒストグラムで最大度数となる方向値の差を対象物の角度とすることを特徴とする。

【００１５】請求項４の発明では、テンプレートテーブルには、方向値と基準方向の角度との角度差に、上記角度差と基準方向の角度とを用いて極座標を直交座標に変換した座標を対応付けてあることを特徴とする。 請求項５の発明では、一般化ハフ変換を適用して得られる座標の発生頻度を格納するアキュムレータ配列は、対象物を含む濃淡画像と同じ座標空間を有する領域を中心として、水平方向と垂直方向とに対象物を含む濃淡画像の３
倍ずつの座標空間を有することを特徴とする。

【００１６】請求項６の発明では、一般化ハフ変換を適用して得られる座標の発生頻度を格納するアキュムレータ配列の座標空間の一部のサイズを有する位置検出マスクをアキュムレータ配列内で順次移動させるとともに、
位置検出マスク内で所定のしきい値以上の度数を有する領域の重心の位置を対象物の位置とすることを特徴とする。

【００１７】請求項７の発明は、認識すべき対象物の基準物に対する相対的な位置および角度を求める装置であって、対象物の濃淡画像から抽出した特徴部分の画素群の各画素の座標および各画素の近傍の濃度勾配を画像の基準方向に対する角度で表した方向値を求める第１の微分処理回路と、基準物の濃淡画像から抽出した特徴部分の画素群の各画素の極座標と方向値とを対応付けたテンプレートテーブルと、対象物に対する基準方向を所定角度ずつ変化させて得た方向値をテンプレートテーブルに照合することにより対象物から抽出した各画素の極座標の候補を求め、設定した角度と極座標の候補とに一般化ハフ変換を適用して得られる座標の発生度数を各基準方向ごとに求めるハフ変換回路と、度数が極大になる座標および基準方向の角度をそれぞれ対象物の位置および角度とする位置角度検出回路とを備える画像認識装置において、対象物の濃淡画像を対象物の角度が保存できる圧縮方法により圧縮して圧縮画像を得る画像圧縮回路と、
対象物の圧縮画像から抽出した特徴部分の画素群の各画素の座標および方向値を求める第２の微分処理回路と、
基準物の圧縮画像から抽出した特徴部分の画素群の各画素の極座標と方向値とを対応付けた圧縮テンプレートテーブルとを付加し、ハフ変換回路および位置角度検出回路には、第２の微分処理回路で求めた方向値と圧縮テンプレートテーブルとを用いて対象物の位置および角度を低精度で求める機能を付加し、第１の微分処理回路で求めた方向値とテンプレートテーブルとを用いて位置および角度を求める際のハフ変換回路の処理範囲を、第２の微分処理回路で求めた方向値および圧縮テンプレートテーブルを用いて求めた位置および対象物の大きさに基づく制限された位置範囲内、かつ求めた角度を含む制限された角度範囲内とする２次処理範囲設定回路を付加して成ることを特徴とする。

【００１８】請求項８の発明は、認識すべき対象物の基準物に対する相対的な位置および角度を求める装置であって、対象物の濃淡画像から抽出した特徴部分の画素群の各画素の座標および各画素の近傍の濃度勾配を画像の基準方向に対する角度で表した方向値を求める第１の微分処理回路と、基準物の濃淡画像から抽出した特徴部分の画素群の各画素の極座標と方向値とを対応付けたテンプレートテーブルと、対象物に対する基準方向を所定角度ずつ変化させて得た方向値をテンプレートテーブルに照合することにより対象物から抽出した各画素の極座標の候補を求め、設定した角度と極座標の候補とに一般化ハフ変換を適用して得られる座標の発生度数を各基準方向ごとに求めるハフ変換回路と、度数が極大になる座標および基準方向の角度をそれぞれ対象物の位置および角度とする第１の位置角度検出回路とを備える画像認識装置において、対象物を含むサイズの比較領域を濃淡画像内で順次移動させるとともに、比較領域の画素群の方向値のヒストグラムの最大度数があらかじめ基準物の特徴部分について求めた方向値のヒストグラムの最大度数との差を求めるヒストグラム比較回路と、ヒストグラムの最大度数の差が許容範囲内であるときの比較領域の位置を対象物の位置とし、かつそのときの両ヒストグラムで最大度数となる方向値の差を対象物の角度とする第２の位置角度算出回路と、第２の位置角度算出回路で求めた対象物の位置および対象物の大きさに基づく制限された位置範囲、かつ求めた角度を含む制限された角度範囲内とする２次処理範囲設定回路とを付加して成ることを特徴とする。

【００１９】

【作用】本実施例の基本的な処理手順を図１４に示す。
各請求項の発明では、前処理（１次処理）で対象物の角度を低精度で求めた後に、求めた角度を含む制限された角度範囲でのみ従来の技術として説明した一般化ハフ変換を適用した方法で対象物の位置および角度を求める処理（２次処理）を行なう方法を採用している。 このことによって、大きな記憶空間を必要とし処理量の多い一般化ハフ変換によるマッチング処理のうち無駄な処理を低減し、記憶空間および処理量の低減を図っているのである。

【００２０】ここでは、テンプレートテーブルはあらかじめ作成されているものとする。 対象物について画像入力装置によって撮像して濃淡画像を得た後（１０１）、
濃淡画像の各画素に対して空間微分を行なって画像の水平方向（ｘ方向）および垂直方向（ｙ方向）の微分値ｄ
ｘ、ｄｙを求める（１０２）。 次に、各画素の微分値ｄ
ｘ、ｄｙが所定のしきい値以上か否かを判断する（１０
３）。 対象物と背景との境界で明るさが十分に変化するような照明を行なっていれば、この処理によって、対象物の輪郭線を抽出することができる。 ステップ１０３で対象物の輪郭線上の画素が抽出されると、その画素について濃度勾配ｄｙ／ｄｘの逆正接を求めてこの角度を方向値とする（１０４）。 ここに、方向値は有限な個数となるように量子化される。 以上のような微分により輪郭線を抽出し方向値を求める処理を全画素について行なった後（１０５）、対象物の輪郭線上の画素について、画像内に設定した直交座標系での座標（ｘ _j ，ｙ _j ）および方向値とφ _jを対応付けて図１５に示すような方向値データテーブルを作成し、記憶装置に格納する（１０
６）。

【００２１】次に１次処理によって対象物の位置および角度を低精度で検出し（１０７）、また、既知である対象物の寸法と１次処理で求めた位置とに基づいて画像内で後述する２次処理を行なう空間領域を制限する（１０
８）。 また、１次処理によって求めた角度を含むような角度範囲で２次処理を行なう角度範囲を制限する（１０
９）。 対象物を含む画像空間のうちステップ１０８で制限した空間領域を対象物とのマッチング処理を行なう領域とし（１１０）、かつステップ１０９で求めた角度範囲の下限値を角度の初期値として設定する（１１１）。

【００２２】以後の処理は従来の技術として説明したとおりであって、空間領域および角度範囲を制限した状態で、ステップ１０６で作成した方向値データテーブルから対象物の輪郭線上の画素の方向値φ _jおよび座標（ｘ
_j ，ｙ _j ）を順次読み出して一般化ハフ変換を適用する（１１２）。 一般化ハフ変換で用いる角度をステップ１
１１で求めた初期値から所定角度（たとえば１度）ずつ変化させ、各角度での一般化ハフ変換により座標が求められると、各角度ごとに設けたアキュムレータ配列において上記座標に対応するアドレスの格納値をインクリメントする（１１３）。 ステップ１０９で制限した角度範囲の上限値に達するまでこのような処理を繰り返す（１
１４、１１５）。 ステップ１０９で制限した角度範囲での一般化ハフ変換による処理が終了した後、アキュムーレタ配列中で格納値が最大になっているものを検出し（１１６）、格納値が最大であるアキュムレータ配列に対応した角度および格納値が最大であるアドレスに対応した位置を求める（１１７）。 その後、２次処理を行なう空間領域が他に残っていれば（１１８）、その空間領域に移動し（１１９）、ステップ１１０からの処理を繰り返す。 また、他の空間領域が残っていなければ処理を終了する。

【００２３】以上説明したように、１次処理によって対象物の位置および角度を低精度で検出し、その位置と角度とに基づいて２次処理を行なう空間領域および角度範囲を制限し、制限された範囲で一般化ハフ変換を適用して高精度に位置および角度を求めるから、画像内のすべての空間領域についてすべての角度で一般化ハフ変換を適用する場合に比較して、記憶および処理すべきデータ量が大幅に低減し、記憶空間および処理量の大幅が低減を図ることができる。

【００２４】

【実施例】以下の実施例では、対象物が部品であるものとして説明する。 （実施例１）本実施例の処理手順は、図１に示すように、基本的には作用で説明した処理手順と同様であるが、部品の撮像後に濃淡画像を一旦記憶し（２０１）、
この濃淡画像に１次処理を施した後に（２０２〜２１
４）、先に記憶した濃淡画像を読み出し微分処理を施して方向値データテーブルを作成し（２１５〜２１９：図１４の１０２〜１０６に相当）、２次処理の空間領域および角度範囲を制限し（２２０：図１４の１０８〜１０
９に相当）、２次処理を行なう（２２１：図１４の１１
０〜１１９に相当）のであり、１次処理を行なう順序が相違している。 また、本実施例では１次処理として濃淡画像を圧縮した圧縮画像に対して一般化ハフ変換を適用することで、部品の位置および角度を低精度で求めている。

【００２５】さらに具体的に説明すると、本実施例では、図２に示すように、画像入力装置としてのＴＶカメラ１により撮像して得た部品を含む濃淡画像を濃淡画像記憶部２に記憶し、この濃淡画像に対して画像圧縮回路３で圧縮を施すようになっている。 圧縮方法としては、
図４（ａ）に示すように画像の水平方向および垂直方向について一定個数の画素毎（１つのます目が１画素を表す）に画素を取り出し（取り出す画素に斜線を付してある）、取り出した画素を隣合わせに並べて図４（ｂ）のような圧縮画像を得る方法がある。 すなわち、一定個数ずつ画素を間引くのである。 このような圧縮方法では、
図３（ａ）に示す元の画像に対して図３（ｂ）に示すように部品の位置や角度は保存される。 また、元の濃淡画像から４画素毎に画素を取り出すものとすれば、データ量は１６分の１に圧縮されることになる。 つまり、濃淡画像における対象物Ｔは圧縮画像では１６分の１の大きさの対象物Ｔ′として表され、角度は保存されるが位置は４分の１になる。

【００２６】画像圧縮回路３で上述のようにして得た圧縮画像に対して微分処理回路４では各画素の近傍（８近傍）の画素の濃度を用いて水平方向（ｘ方向）と垂直方向（ｙ方向）との濃淡の変化率（微分値ｄｘ、ｄｙ）を求め、方向値記憶部５では、微分処理回路４で求めた微分値ｄｘ、ｄｙが所定のしきい値以上であるときにのみ（すなわち、圧縮画像内で主として部品の輪郭線上と考えられる画素について）微分値ｄｘ、ｄｙを方向値ルックアップテーブル６と照合して方向値φを求め、求めた方向値φを圧縮画像内での画素の座標に対応付けて方向値データテーブルとして記憶する。 いま、圧縮画像内での画素の座標が（ｘ _p ，ｙ _p ）であり、方向値がφ _pであるとすれば、方向値記憶部５には、（ｘ _p ，ｙ _p ，φ
_p ）の３つ組が記憶される。 方向値ルックアップテーブル６は、微分値ｄｘ、ｄｙと方向値φ（φ＝Arctan（ｄ
ｙ／ｄｘ）であるから、量子化した微分値ｄｘ、ｄｙを与えることで、量子化された方向値φを得ることができる）とを対応付けてあらかじめ登録したテーブルであって、微分処理回路４で求めた微分値ｄｘ、ｄｙを入力すれば、その微分値ｄｘ、ｄｙに対応する方向値φを出力する。

【００２７】圧縮画像内で主として部品の輪郭線上の画素についての方向値を求めた後、ハフ変換回路７では従来の技術で説明した一般化ハフ変換の技術を適用して、
圧縮画像テンプレートテーブル８を参照することにより、圧縮画像内での部品についてのアキュムレータ配列を作成する。 圧縮画像テンプレートテーブル８は、圧縮画像についてのテンプレートテーブルであり、基準となる部品について圧縮画像から求めた輪郭線上の各画素の極座標を方向値ごとにまとめて格納したものである。 ハフ変換回路７で作成されたアキュムレータ配列は位置角度検出回路９に入力され、アキュムレータ配列の度数分布に基づいて圧縮画像内での部品の位置および角度が求められる。 求めた位置は圧縮画像の作成時の画素の間引き率に応じて補正され、また求めた角度はそのままで２
次処理範囲設定回路１２に与えられる。

【００２８】２次処理範囲設定回路１２は、圧縮画像について求められた補正後の位置と既知である部品の大きさとに基づいて元の濃淡画像内で部品が存在する位置範囲を推定し、２次処理を行なう位置範囲を制限する。 また、２次処理範囲設定回路１２は、圧縮画像について求められた角度を含む比較的狭い範囲で２次処理を行なうように、２次処理を行なう角度範囲を制限する。 このようにして決定された２次処理の位置範囲および角度範囲は２次処理サイズ記憶部１３に格納される。

【００２９】ここに、位置範囲は、圧縮画像について求めた部品の１つの長辺に両端４画素ずつ加算した直線を直径とする円に外接し一辺が画像の水平方向に平行な正方形内とする。 ４画素ずつ加算しているのは元の濃淡画像から４画素ずつ間引きして圧縮画像を作成したことにより元の濃淡画像と圧縮画像とでは最大で４画素分のずれが生じるからである。 また、角度範囲は、後述する２
次処理で用いるテンプレートテーブル１３に格納した極座標の距離値のうちの最大値Ｌ（つまり、基準点からもっとも遠い画素までの距離）に対して、（８／Ｌ）の逆正接の角度（Arctan（８／Ｌ））を求め、圧縮画像から求めた角度をψとするとき、ψ±Arctan（８／Ｌ）として設定する。 これは、基準点からの距離が最大となる２
画素間について圧縮画像と元の濃淡画像とではそれぞれ最大で４画素分の誤差を有するからである。

【００３０】２次処理を行なう位置範囲および角度範囲が決まれば、処理範囲を制限する以外は圧縮画像と同様の手順の処理を行なうことにより、部品の位置および角度を求めることができる。 すなわち、濃淡画像記憶部２
に格納されている元の濃淡画像の全画素について微分処理回路１０での微分処理を行なって各画素の微分値ｄ
ｘ、ｄｙを求め、方向値記憶回路１１では微分値ｄｘ、
ｄｙが所定のしきい値以上である画素（主として部品の輪郭線上の画素）についてのみ微分値ｄｘ、ｄｙを方向値ルックアップテーブル６と照合し方向値φを求め、画素の座標と方向値との３つ組として記憶する。 ここで、
方向値ルックアップテーブル６は、圧縮画像と共通に用いることができる。

【００３１】次に、方向値記憶回路１１に記憶された３
つ組のうち、座標が２次処理範囲設定回路内である画素についてのみハフ変換回路７でテンプレートテーブル１
４を参照して一般化ハフ変換を適用しアキュムレータ配列を作成する。 したがって、画像内で背景から抽出されて方向値記憶回路１１に記憶されている画素を除去することができ、処理量が低減することになる。 ここで、一般化ハフ変換を適用する際に変更される角度は、２次処理範囲設定回路１２で決められた角度範囲に制限される。 たとえば、２次処理範囲設定回路１２において１次処理で求めた角度に対して仮に±５度の範囲でアキュムレータ配列を作成する角度範囲を制限しているとしても、仮に０．５度刻みでアキュムレータ配列を作成するとしても２０個のアキュムレータ配列を作成すればよいから、３６０度について１度刻みで３６０個のアキュムレータ配列を作成する場合よりも精度を高くしながらも、処理量を大幅に低減できるのである。 したがって、
この例で考えると、従来の技術に比較して１次処理での処理量として１６分の１を要し、２次処理での処理量として１８分の１を要するのであり、両者を合わせても８
分の１を越えることはない。 実際には、角度範囲は±５
度よりも小さい範囲に制限されるから、処理量はさらに低減し、加えて、２次処理を行なう画素の位置範囲を制限しているから、角度を求める精度を高くしても、全体としての処理量が大幅に低減することがわかる。

【００３２】ハフ変換回路７で作成されたアキュムレータ配列は位置角度検出回路９に入力されて、上述した処理により部品の位置および角度が求められるのである。
以上の処理手順をまとめると図１のようになる。 ここに、圧縮画像テンプレートテーブル８、テンプレートテーブル１４はあらかじめ作成されているものとする。 上述したように、図１は作用で説明した処理手順のうち、
ステップ２０２〜２１４が主な相違点であり、以後の処理は作用で説明した処理手順に準じている。 すなわち、
ステップ２０２〜２１４に示す１次処理では、部品について画像入力装置によって撮像して得た濃淡画像の各画素に対して圧縮（ここでは１６分の１）を施した後（２
０２）、空間微分を行なって画像の水平方向（ｘ方向）
および垂直方向（ｙ方向）の微分値ｄｘ、ｄｙを求める（２０３）。 次に、各画素の微分値ｄｘ、ｄｙが所定のしきい値以上か否かを判断し（２０４）、しいき値以上の画素について濃度勾配ｄｙ／ｄｘの逆正接を求めてこの角度を方向値とする（２０５）。 微分処理により特徴となる画素群を抽出し方向値を求める処理を全画素について行なった後（２０６）、抽出した画素群の画素について、画像内に設定した直交座標系での座標と方向値とを対応付けて方向値データテーブルを作成し、記憶装置に格納する（２０７）。

【００３３】次に、角度を０度に設定して（２０８）、
方向値データテーブルの画素に一般化ハフ変換を施し（２０９）、アキュムレータ配列を作成する（２１
０）。 この処理を角度が３５９度になるまで行ない（２
１１、２１２）、すべての角度についてアキュムレータ配列を作成した後に、アキュムレータ配列内の度数分布を調べて極大値を求める（２１３）。 度数が極大となっている画素の座標が部品の位置を示し、そのアキュムレータ配列に対応した角度が部品の角度として出力されるのである（２１４）。

【００３４】（実施例２）本実施例は、実施例１とは１
次処理が相違する。 図５におけるステップ３０１〜３０
６は、図１４に示したステップ１０１〜１０６と同じ処理であって、方向値データテーブルが作成される。 また、図５におけるステップ３１３，３１４は実施例１の図１に示したステップ２２０，２２１に相当する。 本実施例では、部品の輪郭線等の画素群の各画素の方向値の度数分布に基づいて部品のおおよその角度を検出して２
次処理を行なう角度範囲を決定する。 したがって、以下では、図５におけるステップ３０７〜３１２についてのみ説明する。

【００３５】いま、図７に示すように部品Ｔの輪郭線を一方向（たとえば左回り）に追跡したときに４方向のみの成分しかなければ、理想的には方向値も４種類しかないことになる。 そこで、図７のような形状の部品Ｔであれば、方向値のヒストグラムは図８に示すように４つのピークを持つことになる。 このように、部品Ｔの形状によって方向値の度数分布のパターンに特徴が生じる。

【００３６】上述したような方向値のヒストグラムを作成するために、対象物についてはヒストグラムを作成する対象となる画素を抽出する領域を制限する（３０
７）。 すなわち、方向値データテーブルに格納されたの画素のうち、図９のように部品Ｔの最長の特徴量（たとえば、最長の対角線の長さなど）Ｍを直径とする円に外接する大きさで一辺が画像の水平方向に平行な正方形を比較領域を設定し、この比較領域内の画素について方向値のヒストグラムを作成するのである。 このようにして得た比較領域を対象物を含む画像内で順次移動（ラスタ走査など）させ、各位置での方向値の最大度数を求める。 実際には方向値データテーブル内で上記正方形内の座標を有する画素について方向値の最大度数と、その方向値とを求める（３０８）。

【００３７】次に、あらかじめ基準物Ｓの特徴部分について求めた最大度数と部品Ｔについて上述のようにして求めた最大度数とを比較し、基準物の最大度数に対して部品Ｔの最大度数が既定の許容範囲（たとえば、±１０
％）以内であれば（３０９）、上述のようにして部品Ｔ
に対して設定した比較領域を２次処理の位置範囲として用いる。

【００３８】また、基準物Ｓと部品Ｔとについて、ともに最大度数となる方向値の差を求める（３１０）。 図１
０（ａ）に示す基準物Ｓについてのヒストグラムが図１
０（ｂ）のようであるときに、部品Ｔが図１１（ａ）に示すように基準物Ｓに対して角度θだけ傾いていたとすれば、図１１（ｂ）に示すような方向値のヒストグラムについても角度θだけ度数分布が偏移するから、基準物Ｓと部品Ｔとの最大度数となる方向値φ ₀₂ ，φ ₂の差φ
₂ −φ ₀₂が角度θに相当する。 このようにして求めた角度θは方向値の度数分布から求めたものであり、比較的精度が低いから、実施例１と同様に、この角度θに対して所定の角度範囲を設定して２次処理を行なうのである。 ステップ３０９において基準物Ｓと部品Ｔとの最大度数の差が許容範囲を越えている場合は、方向値データテーブルでヒストグラムを作成する領域を変更し、比較領域を次の位置に移動させる（３１１）。

【００３９】以上のような１次処理を行なうことによって、１次処理の終了時点（３１２）では部品Ｔについて２次処理を行なう位置範囲および部品Ｔのおおよその位置がわかっているから、２次処理を行なう位置範囲および角度範囲を決定することができ（３１３）、２次処理（３１４）の処理量を大幅に低減できるのである。 本実施例を実現する装置は、図６に示すようなものであって、ＴＶカメラ１により撮像した濃淡画像を濃淡画像記憶部２に格納し、この濃淡画像について微分処理回路４
で各画素の近傍の画素の濃度を用いて水平方向（ｘ方向）と垂直方向（ｙ方向）との濃淡の変化率（微分値ｄ
ｘ、ｄｙ）を求め、方向値記憶部５では、微分処理回路４で求めた微分値ｄｘ、ｄｙが所定のしきい値以上であるときにのみ微分値ｄｘ、ｄｙを方向値ルックアップテーブル６と照合して方向値φを求め、求めた方向値φを圧縮画像内での画素の座標に対応付けて方向値データテーブルとして記憶する。 微分処理回路４での微分処理にはソーベルオペレータを用いる。

【００４０】方向値のヒストグラムはヒストグラム算出回路１５で制限された領域内で求められ、基準物についてあらかじめ求めてあるヒストグラムを登録したヒストグラム分布データ記憶部１６に登録されているヒストグラムとヒストグラム比較回路１７で最大度数が比較される。 ヒストグラム比較回路１７では、比較した最大度数の差が所定の許容範囲内であれば、位置角度算出回路１
８では両方の方向値の差を求める。 最大度数の差が許容範囲を越えているときには、方向値データテーブルからヒストグラムを求める領域を広げ、最大度数の差が許容範囲内になるまでこの処理を繰り返す。 部品Ｔのサイズは既知であって、部品Ｔのサイズから２次処理を行なう位置範囲のサイズもわかるから、２次処理を行なう位置範囲のサイズを２次処理サイズ記憶部１９にあらかじめ格納しておき、位置角度算出回路１８で求めた角度とその角度を求めた領域と２次処理サイズ記憶部１９に格納されているサイズとに基づいて、２次処理範囲設定回路１２において２次処理を行なうための位置範囲および角度範囲を設定する。 位置範囲および角度範囲の決定方法は実施例１と同様である。

【００４１】２次処理のための位置範囲および角度範囲が決まれば、方向値記憶部５に格納されている画素の座標と方向値との３つ組のうち、座標が位置範囲内であるものを抽出し、ハフ変換回路７でテンプレートテーブル１４を参照して一般化ハフ変換を適用しアキュムレータ配列を作成する。 この段階で、画像内で背景から抽出されて方向値記憶回路５に記憶されている画素を除去することができ、処理量が低減する。 また、一般化ハフ変換を適用する際に変更される角度は、２次処理範囲設定回路１２で決められた角度範囲に制限されるから、角度を求める精度を高くしても、全体としての処理量が大幅に低減する。 ハフ変換回路７で作成されたアキュムレータ配列は位置角度検出回路９に入力されて、従来の技術でも説明した処理により部品の位置および角度が求められる。 他の処理手順および構成については実施例１と同様である。

【００４２】（実施例３）上述した各実施例では、アキュムレータ配列を作成する際に従来の技術とした説明したテンプレートテーブルを使用していたが、本実施例では部品Ｔの位置および角度を求める演算を行なう際の演算量を低減させるようにテンプレートテーブルを作成した例を示す。

【００４３】すなわち、上記各実施例で用いたテンプレートテーブルは、図１７に示したように、基準物Ｓについての方向値φ _iに、基準物Ｓの特徴となる画素群（たとえば、輪郭線上の画素群）の各画素の極座標を対応付けたものである。 一方、アキュムレータ配列を作成する際には、部品Ｔについて求めた方向値φ _jから各アキュレータ配列ごとに設定する角度θを減算した値φ _j −θ
をテンプレートテーブルの方向値φ _iと照合し、（φ _j
−θ）の方向値に対応した極座標（ｒ _j ，α _j ）を抽出して、この極座標（ｒ _j ，α _j ）に一般化ハフ変換式を適用している。 ここで、一般化ハフ変換式におけるｒ _j
・cos(α _j ＋θ）およびｒ _j・sin(α _j ＋θ）の項は、
角度θと方向値φ _jとが決まればテンプレートテーブルを用いることで決定することができる値であるから、あらかじめ演算して求めておくことができる。 つまり、 Ｃ _xj ＝ｒ _j・cos(α _j ＋θ） Ｃ _yj ＝ｒ _j・sin(α _j ＋θ） とおけば、 ｘ＝ｘ _j ＋Ｃ _xj ｙ＝ｙ _j ＋Ｃ _yjであるから、φ _j −θ＝φ _i ′とし、角度φ _i ′に（Ｃ
_xj ，Ｃ _yj ）の組を対応付けてテンプレートテーブルとして格納しておけば、部品Ｔについて求めた方向値φ _jから各アキュレータ配列ごとに設定する角度θを減算した値φ _j −θと、新たに設けたテンプレートテーブルの角度φ _i ′とを照合して、この角度φ _i ′に対応する（Ｃ
_xj ，Ｃ _yj ）の組を抽出して一般化ハフ変換に用いるようにすれば、部品Ｔの位置および角度を求める処理を行なう間には三角関数の演算が不要になり、実際の計測時における処理の高速化を図ることができる。

【００４４】他の構成および動作は実施例１、２と同様である。 （実施例４）本実施例は、アキュムレータ配列の記憶空間を上記実施例よりも広くすることによって、アキュムレータ配列の作成に要する時間を短縮したものである。
通常、アキュムレータ配列は、部品Ｔを含む画像と同じアドレス空間を持っていれば部品の位置および角度を認識するには十分であるが、部品Ｔがアドレス空間の中央付近に位置していなかったり、部品Ｔがアドレス空間よりも大きかったりすると、一般化ハフ変換の演算結果の一部しかアキュムレータ配列に格納できなくなる。 したがって、一般には演算結果がアキュムレータ配列のアドレス空間内であることを確認する処理が必要になっている。 本実施例は、このような確認処理を不要にするために、アキュムレータ配列のアドレス空間を十分に大きくしたものである。

【００４５】具体的には、図１２に示すように、通常のアキュムレータ配列Ａ ₀を中心として同じサイズのアドレス空間を持つ８個のアキュムレータ配列Ａ ₁ 〜Ａ ₈を追加しているのであって、上記実施例で用いたアキュムレータ空間の９倍のアドレス空間を有している。 このようにアキュムレータ配列Ａ ₀ 〜Ａ ₈のアドレス空間を非常に大きくとったことによって、一般化ハフ変換による演算結果について確認処理を行なうことなくアキュムレータ配列Ａ ₀ 〜Ａ ₈に格納することができる。 他の構成および動作は実施例１、２と同様である。

【００４６】上述のように、アキュムレータ配列Ａ ₀ 〜
Ａ ₈に要する記憶空間が大きくなっているが、実施例１、２で説明したように、圧縮画像に対してアキュムレータ配列を作成したり２次処理を行なう角度範囲を制限してアキュムレータ配列を作成するから、記憶空間の総量は極端に大きくなることがなく、従来構成よりも小さい記憶空間での実現が可能である。

【００４７】（実施例５）上記実施例においては、アキュムレータ配列において度数が最大になる画素が１個であると仮定しているが、実際には最大度数となる画素が複数個存在することが多い。 本実施例ではアキュムレータ配列における最大度数の画素を精度よく求める方法を示す。

【００４８】処理手順は図１３に示す通りであって、実施例１、２のような処理手順でアキュムレータ配列を作成した後（４０１）、所定サイズを有する正方形の位置検出マスクを発生させる（４０２）。 また、２次処理を行なう位置範囲および角度範囲の初期値を設定し（４０
３）、位置範囲の初期値の位置に位置検出マスクの左上隅を一致させる（４０４）。 次に、位置検出マスク内の度数を所定のしきい値で２値化し（４０５）、位置検出マスク内でしきい値以上の度数を有する部位のの幾何学的な重心位置を求める（４０６）。 ここで、２値化のしきい値は、テンプレートテブルに登録される画素数に基づいて、その画素数よりもやや小さい値に設定される。
また、重心位置は度数を２値化したことにより度数分布に関係なく幾何学的に決まることになる。 このようにして求めた重心位置の座標および度数と、そのアキュムレータ配列に対応する角度θとを記憶する（４０７）。

【００４９】以後、位置検出マスクの座標を変更し、また角度θを変更しながら上述の処理を繰り返し（４０
８、４０９）、２次処理を行なう位置範囲および角度範囲のすべてのアキュムレータ配列について上記処理結果が得られると、記憶した度数について所定のしきい値以上の度数が得られていれば（４１０）、その角度θを対象物Ｔの角度とし、その重心位置を対象物Ｔの位置として出力する（４１１、４１２）。 他の構成および処理手順は実施例１、２と同様である。

【００５０】

【発明の効果】請求項１の発明は、認識すべき対象物の基準物に対する相対的な位置および角度を一般化ハフ変換を用いて求めるに際して、対象物の位置および角度を低精度で求める前処理の後に、前処理で求めた位置および対象物の大きさに基づく制限された位置範囲、かつ前処理で求めた角度を含む制限された角度範囲で、一般化ハフ変換を適用して対象物の位置および角度を高精度に求めるから、比較的処理量の少ない前処理で対象物のおおよその位置および角度を把握した後に、制限された範囲内でのみ高精度の処理を行なうことになり、全体を高精度に処理する場合に比較して処理量が大幅に低減し、
処理に用いる記憶空間の低減および処理速度の向上につながるという利点がある。

【００５１】請求項２の発明は、前処理として、対象物の濃淡画像を対象物の角度が保存できる圧縮方法により圧縮した圧縮画像について一般化ハフ変換を適用して位置および角度を求めるのであって、圧縮画像から位置および角度を求める処理は、元の濃淡画像から位置および角度を求める場合よりも処理量が大幅に低減するから、
請求項１の前処理として好適である。

【００５２】請求項３の発明の前処理では、対象物を含むサイズの比較領域の画素群の方向値のヒストグラムの最大度数を基準物の特徴部分の方向値のヒストグラムと比較し、この差が所定範囲内であるときの比較領域の位置を対象物の位置とし、かつその差を対象物の角度とするのであって、この方法でも前処理での処理量は非常に少ないものになる。

【００５３】請求項４の発明のように、方向値と基準方向の角度との角度差に、上記角度差と基準方向の角度とを用いて極座標を直交座標に変換した座標を対応付けたテンプレートテーブルを作成すれば、テンプレートテーブルとの照合の後における三角関数の演算や乗算などの処理を省略することができ、認識処理の際の処理時間を短縮できるという利点を有する。

【００５４】請求項５の発明のように、一般化ハフ変換を適用して得られる座標の発生頻度を格納するアキュムレータ配列を、対象物を含む濃淡画像の９倍の大きさに設定すれば、一般化ハフ変換を適用して座標がアキュムレータ配列内に入るか否かの判定を行なう必要がなく、
判定処理が削除できる分だけ処理量が低減する。 請求項６の発明のように、一般化ハフ変換を適用して得られる座標の発生頻度を格納するアキュムレータ配列の座標空間の一部のサイズを有する位置検出マスク内で所定のしきい値以上の度数を有する領域の重心の位置を対象物の位置とすれば、度数が最大になる座標が複数個存在している場合でも、もっともらしい１つの座標に決定することができる。

【００５５】請求項７および請求項８の発明は、請求項２および請求項３の発明を実現する装置であって、請求項２、３と同様の効果を奏する。 また、請求項７の発明ではハフ変換回路および位置角度検出回路を前処理と兼用することで、回路構成が簡略化される。

【図面の簡単な説明】

【図１】実施例１の処理手順を示す流れ図である。

【図２】実施例１のブロック図である。

【図３】実施例１における圧縮画像の概念説明図である。

【図４】実施例１における圧縮画像の作成例を説明する図である。

【図５】実施例２の処理手順を示す流れ図である。

【図６】実施例２のブロック図である。

【図７】実施例２の原理説明図である。

【図８】実施例２の原理説明図である。

【図９】実施例２における比較領域の設定例を示す図である。

【図１０】実施例２での基準物に対する方向値のヒストグラムの例を示す図である。

【図１１】実施例２での対象物に対する方向値のヒストグラムの例を示す図である。

【図１２】実施例３におけるアキュムレータ配列の設定例を示す概念説明図である。

【図１３】実施例４の処理手順を示す流れ図である。

【図１４】本発明の基本の処理手順を示す流れ図である。

【図１５】本発明に用いる方向値テーブルの例を示す図である。

【図１６】基準物における極座標と方向値との概念説明図である。

【図１７】テンプレートテーブルの例を示す図である。

【図１８】対象物の座標と方向値との概念説明図である。

【図１９】一般化ハフ変換の概念説明図である。

【図２０】アキュムレータ配列の概念説明図である。

【符号の説明】

１ ＴＶカメラ ２ 濃淡画像記憶部 ３ 画像圧縮回路 ４ 微分処理回路 ５ 方向値記憶部 ６ 方向値ルックアップテーブル ７ ハフ変換回路 ８ 圧縮画像テンプレートテーブル ９ 位置角度検出回路 １０ 微分処理回路 １１ 方向値記憶回路 １２ ２次処理範囲設定回路 １３ ２次処理サイズ記憶部 １４ テンプレートテーブル １５ ヒストグラム算出回路 １６ ヒストグラム分布データ記憶部 １７ ヒストグラム比較回路 １８ 位置角度算出回路 １９ ２次処理サイズ記憶回路 Ｓ 基準物 Ｔ 対象物

───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐久間 ▲祐▼治 大阪府門真市大字門真1048番地松下電工株 式会社内