首页 / 专利库 / 电脑图像 / 霍夫变换 / 广义霍夫变换 / Image processing method, image processing apparatus, image processing program, and recording medium with the image processing program stored

Image processing method, image processing apparatus, image processing program, and recording medium with the image processing program stored

阅读:320发布:2020-06-25

专利汇可以提供Image processing method, image processing apparatus, image processing program, and recording medium with the image processing program stored专利检索,专利查询,专利分析的服务。并且PROBLEM TO BE SOLVED: To provide an image processing method, an image processing apparatus, an image processing program and a recording medium with an image processing program stored that realize improved detection accuracy, fast processing, and the reduced memory capacity required.
SOLUTION: In Step S1, smoothing is applied as preprocessing. In Step S2, a Sobel operator is applied to provide an edge strength under pixel skipping, and edge direction and position coordinates are registered regarding pixels whose strength is within a threshold range. In Step S3, the generalized Hough transformation is applied, as a rough search at fixed rotation angle increments to select candidate pixels, in the descending order of votes. In Step S4, a plurality of pixels having similar coordinates and rotation angles are clustered, and a representative pixel is selected therefrom. In Step S5, the generalized Hough transformation is reapplied as an intermediate search at smaller rotation angle increments than the rough search; and in Step 6, a normalized correlation is applied as a final search.
COPYRIGHT: (C)2008,JPO&INPIT,下面是Image processing method, image processing apparatus, image processing program, and recording medium with the image processing program stored专利的具体信息内容。

  • 画像データに含まれる対象ワークを検出する画像処理方法において、
    前記画像データを構成する画素からエッジ画素を抽出し、エッジ方向および位置を登録するエッジ抽出ステップと、
    第1の角度ごとに設定された回転角度に基づいて一般化Hough変換を実行するステップであって、投票時に注目画素の周辺画素の投票数を足し込むようにして投票数を決定し、予め定める指定数分の画素を第1候補画素として選択する粗サーチステップと、
    前記第1候補画素を対象に、画素間の距離および回転角度差に基づくクラスタリングを行い、各クラスタから代表画素を選出して第2候補画素を選択するクラスタリングステップと、
    前記第2候補画素を対象に、前記第1の角度よりも小さい第2の角度ごとに設定された回転角度に基づいて一般化Hough変換を実行し、予め定める指定数分の画素を第3候補画素として選択する中間サーチステップと、
    前記第3候補画素を対象に、正規化相関によって対象ワークの回転角度および位置を検出する最終サーチステップとを含むことを特徴とする画像処理方法。
  • 前記エッジ抽出ステップでは、間引かれた画素に対して5×5画素のSobelオペレータを使用してエッジの抽出を行うことを特徴とする請求項1記載の画像処理方法。
  • 前記第1の角度は、5°〜15°であることを特徴とする請求項1記載の画像処理方法。
  • 前記クラスタリングステップでは、単純クラスタリング法を使用し、回転角度差の閾値は前記第1の角度であり、前記画素間距離の閾値は、基準テンプレートの中心から最も遠いエッジ画素までの距離に予め定める割合を掛けた距離であることを特徴とする請求項1記載の画像処理方法。
  • 前記エッジ抽出ステップより前に、前記画像データに対して平滑化処理を行う平滑化ステップを含むことを特徴とする請求項1〜4のいずれか1つに記載の画像処理方法。
  • 請求項1〜5のいずれか1つに記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
  • 請求項1〜5のいずれか1つに記載の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
  • 画像データに含まれる対象ワークを検出する画像処理装置において、
    前記画像データを構成する画素からエッジ画素を抽出し、エッジ方向および位置を登録するエッジ抽出手段と、
    第1の角度ごとに設定された回転角度に基づいて一般化Hough変換を実行する手段であって、投票時に注目画素の周辺画素の投票数を足し込むようにして投票数を決定し、予め定める指定数分の画素を第1候補画素として選択する粗サーチ手段と、
    前記第1候補画素を対象に、画素間の距離および回転角度差に基づくクラスタリングを行い、各クラスタから代表画素を選出して第2候補画素を選択するクラスタリング手段と、
    前記第2候補画素を対象に、前記第1の角度よりも小さい第2の角度ごとに設定された回転角度に基づいて一般化Hough変換を実行し、予め定める指定数分の画素を第3候補画素として選択する中間サーチ手段と、
    前記第3候補画素を対象に、正規化相関によって対象ワークの回転角度および位置を検出する最終サーチ手段とを含むことを特徴とする画像処理装置。
  • 说明书全文

    本発明は、撮像装置などから入された画像データに対して図形処理を行う画像処理方法、画像処理装置、画像処理プログラムおよび画像処理プログラムを記録する記録媒体に関し、特に画像データに含まれるワークの輪郭形状から回転度と位置を検出する画像処理方法および画像処理装置に関する。

    製品組立ての自動化および検品作業の自動化などを高精度で実現するために、食品容器、印刷文字、プリント基板上の部品、電子部品などの工業製品をカメラで撮像し、得られた画像データに対して各種画像処理を行う画像処理装置が必要となっている。

    画像処理を利用して組立て、検査などの作業を行うためには、まず画像データに含まれる対象ワークを検出する必要がある。

    対象ワークの検出を行う場合、よく知られている方法の1つに、対象ワークの形状を示す輪郭成分の解析がある。

    対象ワークの輪郭成分を得るには、まず対象ワークの画像データに対して空間微分フィルタを施し、画像データ中の輪郭を成す濃度変化点のエッジ成分を抽出することが行なわれる。 エッジ成分抽出としてよく利用されるSobelオペレータによる方法では、注目画素を中心とする3×3画素の画素ブロックに対して、以下のA式に示すようなX方向(平方向)フィルタFXと、Y方向(垂直方向)フィルタFYとで構成されるSobelオペレータを適用し、注目画素のX方向エッジ強度fxおよびY方向エッジ強度fyを算出する。

    算出した水平方向エッジ強度fxおよび垂直方向エッジ強度fyに基づくエッジ強度(2方向の強度の二乗和平方根)と閾値とを比較し、閾値以上の値を持つ画素をエッジ点として登録する。

    こうして、エッジ点が求められた後、対象ワークの輪郭形状に対応する部分を求める手法としては、一般化Hough変換(Generaled Hough Transform,GHT)が挙げられる(非特許文献1参照)。

    一般化Hough変換では、まず検査対象の図形をテンプレートとし、テンプレートが幾何学変換されて画像中に存在していると考える。 次にテンプレートの位置および方向などを規定する幾何変換パラメータに着目し、そのパラメータ空間で投票を行う。 この処理は、大まかには次の1〜4の手順で行なわれる。
    手順1 テンプレートの形状定義 手順2 パラメータ空間の設定 手順3 投票 手順4 ピーク点の抽出 このうち手順2〜4は、回転画像照合に該当する。

    手順1では、図7に示すようなuv座標系におけるテンプレートを定義し、図8に示すようにθとr,αとを形状定義表に登録する。

    手順2では、まず、投票箱([φ][X][Y] φ=回転角、X,Y=基準点、用途の少ないサイズ変動のパラメータは割愛)を用意する。 テンプレートが回転後、テンプレート上の点Pi(i=1,2,3,・・・)が画像中の座標(xi,yi)に置かれたとすると、基準点の画像座標(
    X,Y)は次式で表される。
    X=ricos(αi+φ)+xi、 Y=risin(αi+φ)+yi …(1)

    ここで、点Piにおけるθi、xi、yiが求められたとし、形状定義表登録時のθをθ´とすると、次の関係が成り立つ。
    θ=θ´+φ …(2)

    この後、手順3で各φに対して、次の手順で投票する。
    (1)式2を満たすθ´を求める。
    (2)形状定義表のθ´の箇所から、r、αを求める。
    (3)式1を満たす(X,Y)セル空間に投票する。

    最終的に最も投票数の多いセル空間(X,Y)が、ピーク点であり、テンプレートの検出位置となる。

    一般化Hough変換は、計算コストが大きい処理であると言われているため、非特許文献2に記載されているように、求めたエッジ点について予め細線化を施すことで高速化を図る場合がある。 また、特許文献1記載の画像認識方法および装置は、圧縮画像による一般化Hough変換で概略の回転角度と位置を求めた後、圧縮画像から求めた回転角度および位置により制限し、原画像による一般化Hough変換を適用する2段処理で高速化を図っている。

    画像処理テキストブック編集委員会、「画像処理標準テキストブック」、財団法人画像情報教育振興協会、平成9年、p. 254−259 木村彰男、渡辺孝志著、「高速一般化ハフ変換−相似変換不変な任意図形検出法−」、電子情報通信学会誌 D−II、電子情報通信学会、1998年4月、Vol. J81−D−II、No. 4、p. 726−734

    特開平8−123963号公報

    原理的に一般化Hough変換のみで回転画像照合を行い、回転角度と位置を検出することは可能であるが、投票処理に多くの計算コストを要し、検出精度もSobelオペレータなど空間微分フィルタを用いるため満足しているとは言い難い。 また、平行移動および回転に関する投票空間も膨大であり、何らかの工夫が必要とされる。

    そのため、非特許文献2では細線化処理で選別したエッジ点を対象に一般化Hough変換しているが、実使用では細線化による選別が誤検出の原因となる場合がある。

    また、特許文献1では、一般化Hough変換の2段処理を行っているが、空間微分フィルタでエッジ方向を求めており、検出精度に問題がある。 一般化Hough変換における検出精度の成否はエッジ手法の結果に大きく依存するという知見が見出されており(五十嵐悟、他3名、「方向ヒストグラムの自己回帰モデルに基づく回転不変画像照合」、精密工学会誌、精密工学会、2001年、vol.67、no.9、p.1519−1523参照)、特に閾値の設定がエッジの検出精度に与える影響は大きい。

    さらに、2段処理を用いた場合、最初の粗サーチ段階で選出された候補点の中には、同じものとみなせる点が重複して候補となる可能性がある。 この重複したものに対し、各々後続の処理を行うと時間的な無駄が発生する。

    本発明の目的は、検出精度向上するとともに、処理の高速化および必要なメモリ容量の縮小を実現する画像処理方法、画像処理装置、画像処理プログラムおよび画像処理プログラムを記録する記録媒体を提供することである。

    本発明は、画像データに含まれる対象ワークを検出する画像処理方法において、
    前記画像データを構成する画素からエッジ画素を抽出し、エッジ方向および位置を登録するエッジ抽出ステップと、
    第1の角度ごとに設定された回転角度に基づいて一般化Hough変換を実行するステップであって、投票時に注目画素の周辺画素の投票数を足し込むようにして投票数を決定し、予め定める指定数分の画素を第1候補画素として選択する粗サーチステップと、
    前記第1候補画素を対象に、画素間の距離および回転角度差に基づくクラスタリングを行い、各クラスタから代表画素を選出して第2候補画素を選択するクラスタリングステップと、
    前記第2候補画素を対象に、前記第1の角度よりも小さい第2の角度ごとに設定された回転角度に基づいて一般化Hough変換を実行し、予め定める指定数分の画素を第3候補画素として選択する中間サーチステップと、
    前記第3候補画素を対象に、正規化相関によって対象ワークの回転角度および位置を検出する最終サーチステップとを含むことを特徴とする画像処理方法である。

    また本発明は、前記エッジ抽出ステップでは、間引かれた画素に対して5×5画素の
    Sobelオペレータを使用してエッジの抽出を行うことを特徴とする。

    また本発明は、前記第1の角度は、5°〜15°であることを特徴とする。
    また本発明は、前記クラスタリングステップでは、単純クラスタリング法を使用し、回転角度差の閾値は前記第1の角度であり、前記画素間距離の閾値は、基準テンプレートの中心から最も遠いエッジ画素までの距離に予め定める割合を掛けた距離であることを特徴とする。

    また本発明は、前記エッジ抽出ステップより前に、前記画像データに対して平滑化処理を行う平滑化ステップを含むことを特徴とする。

    また本発明は、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムである。

    また本発明は、上記の画像処理方法をコンピュータに実行させるための画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。

    また本発明は、画像データに含まれる対象ワークを検出する画像処理装置において、
    前記画像データを構成する画素からエッジ画素を抽出し、エッジ方向および位置を登録するエッジ抽出手段と、
    第1の角度ごとに設定された回転角度に基づいて一般化Hough変換を実行する手段であって、投票時に注目画素の周辺画素の投票数を足し込むようにして投票数を決定し、予め定める指定数分の画素を第1候補画素として選択する粗サーチ手段と、
    前記第1候補画素を対象に、画素間の距離および回転角度差に基づくクラスタリングを行い、各クラスタから代表画素を選出して第2候補画素を選択するクラスタリング手段と、
    前記第2候補画素を対象に、前記第1の角度よりも小さい第2の角度ごとに設定された回転角度に基づいて一般化Hough変換を実行し、予め定める指定数分の画素を第3候補画素として選択する中間サーチ手段と、
    前記第3候補画素を対象に、正規化相関によって対象ワークの回転角度および位置を検出する最終サーチ手段とを含むことを特徴とする画像処理装置である。

    本発明によれば、エッジ抽出ステップで、画像データを構成する画素からエッジ画素を抽出し、エッジ方向および位置を登録し、粗サーチステップでは、第1の角度ごとに設定された回転角度に基づいて一般化Hough変換を実行する。 粗サーチステップにおいては、投票時に注目画素の周辺画素の投票数を足し込むようにして投票数を決定し、予め定める指定数分の画素を第1候補画素として選択する。

    クラスタリングステップでは、前記第1候補画素を対象に、画素間の距離および回転角度差に基づくクラスタリングを行い、各クラスタから代表画素を選出して第2候補画素を選択し、中間サーチステップで、前記第2候補画素を対象に、前記第1の角度よりも小さい第2の角度ごとに設定された回転角度に基づいて一般化Hough変換を実行し、予め定める指定数分の画素を第3候補画素として選択する。

    最終サーチステップでは、前記第3候補画素を対象に、正規化相関によって対象ワークの回転角度および位置を検出する。

    これにより、検出精度向上するとともに、処理の高速化および必要なメモリ容量の縮小を実現することができる。

    また本発明によれば、前記エッジ抽出ステップでは、間引かれた画素に対して5×5画素のSobelオペレータを使用してエッジの抽出を行う。

    これにより、エッジ方向の精度が向上し、後続の全ステップでの精度を向上させることができる。

    また本発明によれば、前記第1の角度は、5°〜15°である。
    第1の角度が5°よりも小さいと投票処理に要する計算時間が短縮されず、15°よりも大きいと十分な検出精度が達成できない。

    また本発明によれば、前記クラスタリングステップでは、単純クラスタリング法を使用する。 このとき、回転角度差の閾値は前記第1の角度とする。 また、前記画素間距離の閾値は、基準テンプレートの中心から最も遠いエッジ画素までの距離に予め定める割合を掛けた距離とする。

    これにより、適切なクラスタが生成されるので、無駄な計算が減少し、精度も向上する。

    また本発明によれば、前記エッジ抽出ステップより前に、平滑化ステップで前記画像データに対して平滑化処理を行う。
    これにより、エッジ抽出ステップにおける抽出精度を向上させることができる。

    また本発明によれば、上記の画像処理方法を、コンピュータに実行させるための画像処理プログラムおよび、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体として提供することができる。

    また本発明によれば、エッジ抽出手段が、画像データを構成する画素からエッジ画素を抽出し、エッジ方向および位置を登録し、粗サーチ手段が、第1の角度ごとに設定された回転角度に基づいて一般化Hough変換を実行する。 粗サーチ手段は、投票時に注目画素の周辺画素の投票数を足し込むようにして投票数を決定し、予め定める指定数分の画素を第1候補画素として選択する。

    クラスタリング手段は、前記第1候補画素を対象に、画素間の距離および回転角度差に基づくクラスタリングを行い、各クラスタから代表画素を選出して第2候補画素を選択し、中間サーチ手段が、前記第2候補画素を対象に、前記第1の角度よりも小さい第2の角度ごとに設定された回転角度に基づいて一般化Hough変換を実行し、予め定める指定数分の画素を第3候補画素として選択する。

    最終サーチ手段は、前記第3候補画素を対象に、正規化相関によって対象ワークの回転角度および位置を検出する。

    これにより、検出精度向上するとともに、処理の高速化および必要なメモリ容量の縮小を実現することができる。

    本発明は、以下に示す手順から構成される画像処理方法により、対象ワークの回転角度と位置の検出を行う。
    手順1:平滑化処理 手順2:エッジ抽出処理 手順3:粗サーチ処理 手順4:クラスタリング処理 手順5:中間サーチ処理 手順6:最終サーチ処理

    まず、各手順について、図1に示す画像処理のフローチャートを基に概略について説明する。

    本発明では、一般化Hough変換による回転画像照合において、対象ワークの回転角度と位置の検出について、高速化と省メモリ化を図りながら、検出精度の向上を実現する。

    手順1:平滑化処理(ステップS1)
    ノイズ除去するための前処理として、画像データに対して平滑化フィルタを用いた平滑化処理を行う。

    手順2:エッジ抽出処理(ステップS2)
    平滑化した画像データを対象に、画素を飛ばしながらSobelオペレータによるエッジ強度を求め、その強度が予め設定された閾値範囲内であれば、エッジ方向と位置座標とを登録して抽出する。

    手順3:粗サーチ処理(ステップS3)
    手順2で抽出したエッジの方向と座標とを登録した後、対象ワークの輪郭形状に対応する部分の概略の回転角度と位置を求めるため、一定の回転角度刻みの粗サーチとして一般化Hough変換を実行する。 一般化Hough変換で求めた投票数の多い順に、指定数分の第1候補画素を選択する。

    手順4:クラスタリング処理(ステップS4)
    手順3で選択された第1候補画素の中には、同じワークとみなせる画素が重複して挙げられている可能性がある。 そのため座標および回転角度とも近似した複数の画素を同じクラスタとし、その中から最も投票数の多い点だけを第2候補画素とする。 その他の画素は後続の処理の対象から外す。

    手順5:中間サーチ処理(ステップS5)
    第2候補画素を対象に、手順3の粗サーチにおける刻み角度よりも小さな回転角度で中間サーチとして一般化Hough変換の再投票を行い、第3候補画素を選出する。

    手順6:最終サーチ処理(ステップS6)
    手順3と手順5の一般化Hough変換2段処理で求めた回転角度と座標は、ピクセル精度であり、ピクセル単位の誤差が予想される。 そのため、一般化Hough変換で求めた位置周辺について、第3候補画素を対象に、正規化相関を用いた最終サーチを行う。

    次に各手順について詳細に説明する。
    手順1:平滑化処理 平滑化処理に用いる平滑化フィルタとしては、平均値フィルタとメディアンフィルタとがあり、実験結果から平均値フィルタが望ましい。

    平均値フィルタは、図2に示すように、注目画素の画素値G11にその周辺8画素の画素値G00,G10,G20,G01,G21,G02,G12,G22を加えた9画素の画素値の平均が注目画素の画素値となるようなフィルタである。

    平滑化処理後の注目画素の画素値G(平均)は、式3で算出する。
    G(平均)=(G00+G10+G20+G01+G11+G21+G02+G12+G22)/9 …(3)

    手順2:エッジ抽出処理 図3は、エッジ抽出処理を示すフローチャートである。

    ステップS11では、平滑化処理した画像データを対象に、Sobelオペレータを用いてエッジ強度を求める。

    Sobelオペレータは、3×3画素ではなく、以下のB式に示すような5×5画素の改良型オペレータを使用する。

    X方向(水平方向)フィルタFXと、Y方向(垂直方向)フィルタFYとで構成されるSobelオペレータを適用し、注目画素のX方向エッジ強度fxおよびY方向エッジ強度fyを算出する。 なお、注目画素と注目画素に隣接する周辺画素との差分値が比較的大きい場合は、式Aで表す従来の3×3画素Sobelオペレータを用いても良い。

    エッジ強度fxyは式4で算出し、エッジ方向θは式5で算出する。
    fxy=√(fx 2 +fy 2 ) …(4)
    θ=tan -1 (fy/fx) …(5)

    ステップS12では、エッジ強度fxyが、下限側閾値TH と上限側閾値TH との範囲内にあるかどうかを判断する。

    下限側閾値TH は、形状定義表登録時にテンプレート領域のみを対象として、判別分析法により求める。 判別分析法については、田村秀行編著、「コンピュータ画像処理」、オーム社、平成15年7月、p. 140の記載に基づいて求めることができる。

    上限側閾値TH は、以下に示すような統計処理に基づいて算出する。
    下限値以上のエッジ強度を有する画素数を計数し、計数値に予め定める割合M%を掛けて得た画素数を算出する。 下限値以上のエッジ強度を有する画素数が、算出された画素数となるときのエッジ強度を上限値とする。 割合M%としては、95%〜100%が望ましい。

    エッジ強度fxyが、範囲内にあればステップS13に進み、範囲外であればステップS14に進む。 ステップS13では、エッジ方向と画素の座標を記憶する。 ステップS14では、全ての画素について処理が終了したかどうかを判断し、終了していればエッジ抽出処理を終了する。 終了していなければステップS15で画素を間引いて(例えば、偶数アドレスの画素のみを処理の対象とする。)ステップS12に戻る。

    手順3:粗サーチ処理 手順3では、粗サーチとして、所定の回転角度刻みで一般化Hough変換を行う。

    図4は、粗サーチ処理を示すフローチャートである。 ステップS21で投票空間をクリアして、ステップS22で投票処理を行う。 投票処理では、まず、回転角度(式1中のφ)を0°,ΔA,2×ΔA,・・・,(360°−ΔA)とΔA(単位は[°])刻みで、式2を満たすθ´を求め、形状定義表のθ´の箇所から、rおよびαを求める。 そして、式1を満たす(X,Y)セル空間に投票する。

    ステップS23では全てのエッジについて投票処理を行ったかどうかを判断し、全て行っていればステップS24に進み、行っていなければ次のエッジを対象にしてステップS22に戻る。

    ステップS24では、最大の投票数となる回転角度と位置とを探し、第1候補画素を選択する。 最大の投票数は各刻み角度ごとに求め、ステップS25では、これまでの最大投票数(全角度を通した最大の投票数である全最大投票数)と比較する。 全最大投票数以上であればステップS26に進み、全最大投票数よりも小さければステップS27に進む。 ステップS26では、全最大投票数、回転角度および位置を更新する。 たとえば、10°回転したと仮定すると、50°のエッジ画素は、登録時には40°のエッジ画素であったと考えられる。 登録時40°であったエッジ画素を形状定義表から集め、基準点との相対位置関係から、現在の基準位置を計算しそこに投票する。

    ステップS27では全ての回転角度についての処理が終了したかどうかを判断する。 全て終了していれば粗サーチ処理を終了し、終了していなければステップS28に進んで現在の回転角度に刻み角度ΔAを加えてステップS21に戻る。

    手順3における刻み角度ΔAは、5°〜15°が望ましく、特に8°〜10°が望ましい。 刻み角度が5°よりも小さいと投票処理に要する計算時間が短縮されず、15°よりも大きいと十分な検出精度が達成できない。

    また、ステップS24では、Sobelオペレータで求めたエッジ方向の精度誤差を改善するため、周辺画素の投票数を足し込むようにして最大投票数を求める。 投票数を足し込む周辺画素は、注目画素を中心とする3×3画素における周辺8画素とすることが望ましい。

    手順4:クラスタリング処理 手順3の粗サーチで選択された第1候補画素の中から、クラスタリングにより位置座標および回転角度がともに近似した画素を集めて同じクラスタとし、その中の最大投票数の画素だけを第2候補画素とする。 1つのクラスタ内におけるその他の画素は、後続処理の対象から外す。 クラスタリングとしては、単純クラスタリング(Nearest Neighbor法−
    NN法)を採用する。 その手順は、以下の通りである。

    たとえば、図5の模式図に示すように、一つのデータP1をクラスタ中心とし、それから距離Tだけ離れたデータP2,P4,P5などは新たなクラスタ中心とする。 距離T以内にあるP3は、P1と同じクラスタに属する。

    このようにして、既存のクラスタ中心に近いものはそのクラスタのメンバとし、離れたものは新たなクラスタ中心とする。 新たなクラスタ中心とするかどうかは、予め閾値を規定しておき、閾値以上に離れた場合に新たな中心とする。

    本発明においては、クラスタのメンバであるか新たなクラスタ中心であるかを判断するために、2つのエッジ画素について、回転角度と、画素間の距離とを比較し、閾値よりも離れていれば新たなクラスタ中心であると判断する。

    回転角度の閾値は、粗サーチにおける刻み角度ΔAを採用し、2つのエッジ画素の回転角度が刻み角度以上に離れていれば、同一クラスタのメンバではないと判定する。 距離の閾値は、基準テンプレートのエッジ画素の中で、中心から最も遠いエッジ画素までの距離をSとしたとき、S×N%の距離を閾値とする。 ここで、割合N%は70%〜100%である。

    クラスタリングの対象となる候補画素の数は予め設定されており、その数分の候補画素が粗サーチで選択される。 選択された候補画素がクラスタリングされ、上位のクラスタの代表画素(1つのクラスタ内で最大の投票数である画素)が後続処理の対象として選択される。

    手順5:中間サーチ処理 手順5では、中間サーチとして、所定の回転角度刻みで一般化Hough変換を行う。

    手順4のクラスタリングで絞り込んだ第2候補画素について、手順3のフローと同様のサーチ処理を行う。 手順3との違いは、クラスタリングでさらに絞り込まれた候補画素を対象にすることと、回転角度の刻み角度を手順3よりも小さくすることである。 粗サーチでの刻み角度を9°とすると、ピーク角度±6°を3°刻みとし、さらにピーク角度±2°を1°刻みとする。

    刻み角度を小さくした上で、最大投票数の画素から順に指定候補数分の第3候補画素について回転角度と座標とを後続処理に渡す。

    手順6:最終サーチ処理 手順5の中間サーチで求めた第3候補画素について、その位置と回転角度周辺について、取込画像側を回転させながら、正規化相関を行い、最も一致度の高い回転角度と座標を検出結果として出力する。

    正規化相関は、以下の式6の相関式を用いて行う。
    相関式={A÷√(B×C)}×100 …(6)

    また、A=Σ(I×T)−(ΣI)×(ΣT)/N:入力画像と基準画像の相互相関であり、B=Σ(I×I)−(ΣI)×(ΣI)/N:入力画像自己相関であり、C=Σ(T×T)−(ΣT)×(ΣT)/N:基準画像自己相関である。 ここで、Nは基準画像の画素数、Tは基準画像濃度であり、Iは入力画像濃度である。

    本発明は、対象ワークの検出のための画像処理において、検出精度向上するとともに、処理の高速化および必要なメモリ容量の縮小を実現することができる。

    図6は、画像処理システム100の構成を示すブロック図である。 画像処理システム100は、撮像装置101、画像処理装置102、表示装置103を有し、前述のような部品の位置検出システムを構成する。

    撮像装置101は、CCD(電荷結合素子)カメラ111、A/D(アナログ/デジタル)変換器112、カメラコントローラ113、D/A変換器114およびフレームメモリ115からなる。 CCDカメラ111が、部品などを撮像し、受光量をアナログ画像信号として出力する。 A/D変換器112は、CCDカメラ111から出力されたアナログ画像信号をデジタルデータに変換し、デジタル画像データとして出力する。 カメラコントローラ113は、デジタル画像データを1フレームごとにフレームメモリ115に格納するとともに、表示装置103に表示させるために、D/A変換器114に出力する。 D/A変換器114は、カメラコントローラ113から出力されたデジタル画像データを表示装置103に応じたアナログ画像信号に変換して表示装置103に出力する。 表示装置103は、LCD(Liquid Crystal Display)やCRT(Cathode Ray Tube)ディスプレイなどで実現され、撮像装置101から出力されたアナログ画像信号を表示する。

    画像処理装置102は、CPU(中央演算処理装置)121、RAM(Random Access
    Memory)122、ROM(Read Only Memory)123およびI/O(Input/Output)コントローラ124からなる。 CPU121は、ROM123に記憶されている制御プログラムに基づいて画像処理装置102の動作を制御する。 処理中の画像データや演算中のデータなどは一時的にRAM122に記憶される。 I/Oコントローラ124は、キーボードやマウスなどの入力装置や部品の移動装置などが接続され、これらの入出力データの制御を行う。

    CPU121およびROM123は、エッジ抽出手段、粗サーチ手段、クラスタリング手段、中間サーチ手段、最終サーチ手段を構成し、撮像装置101のカメラコントローラ113を介してフレームメモリ115から画像データを取得し、図1のフローチャートで示した画像処理を実行する。 画像処理によって対象ワークの位置、回転角度が決定されると、たとえば、部品が正しい方向に実装されているかなどの検査を行うことができる。

    また、本発明の他の実施形態は、コンピュータを画像処理装置102として機能させるための画像処理プログラム、および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。 これによって、画像処理プログラムおよび画像処理プログラムを記録した記録媒体を持ち運び自在に提供することができる。

    記録媒体は、プリンタやコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで、画像処理プログラムが実行される。

    コンピュータシステムの入力手段としては、フラットベッドスキャナ・フィルムスキャナ・デジタルカメラなどを用いてもよい。 コンピュータシステムは、これらの入力手段と、所定のプログラムがロードされることにより画像処理などを実行するコンピュータと、コンピュータの処理結果を表示するCRTディスプレイ・液晶ディスプレイなどの画像表示装置と、コンピュータの処理結果を紙などに出力するプリンタより構成される。 さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのLAN(
    Local Area Network)インターフェイスなどが備えられる。

    なお、記録媒体としては、プログラム読み取り装置によって読み取られるものには限らず、マイクロコンピュータのメモリ、たとえばROMであっても良い。 記録されているプログラムはマイクロプロセッサがアクセスして実行しても良いし、あるいは、記録媒体から読み出したプログラムを、マイクロコンピュータのプログラム記憶エリアにダウンロードし、そのプログラムを実行してもよい。 このダウンロード機能は予めマイクロコンピュータが備えているものとする。

    記録媒体の具体的な例としては、磁気テープやカセットテープなどのテープ系、フレキシブルディスクやハードディスクなどの磁気ディスクやCD−ROM(Compact Disc-
    Read Only Memory)/MO(Magneto Optical)ディスク/MD(Mini Disc)/DVD(
    Digital Versatile Disc)などの光ディスクのディスク系、IC(Integrated Circuit)
    カード(メモリカードを含む)/光カードなどのカード系、あるいはマスクROM、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically
    Erasable Programmable Read Only Memory)、フラッシュROMなどの半導体メモリを含めた固定的にプログラムを担持する媒体である。

    また、本実施形態においては、コンピュータはインターネットを含む通信ネットワークに接続可能なシステム構成とし、通信ネットワークを介して画像処理プログラムをダウンロードしても良い。 なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード機能は予めコンピュータに備えておくか、あるいは別な記録媒体からインストールされるものであっても良い。 また、ダウンロード用のプログラムはユーザーインターフェースを介して実行されるものであっても良いし、決められたURL(Uniform Resource Locater)から定期的にプログラムをダウンロードするようなものであっても良い。

    本発明の回転画像照合処理を実現する「一般化Hough変換+正規化相関」が、従来の手法である「一般化Hough変換」のみ、および「正規化相関」のみの場合と比較し、性能の向上を確認する。

    (計算条件)
    ・コントローラとしてはIVS33(シャープマニファクチャリングシステム株式会社製)を使用し、正規化相関は、標準ソフトV3.14を使用し、その他は独自開発のソフトウェアを使用した。
    ・サーチエリアサイズ512×480、
    ・矩形テンプレート96×96
    「一般化Hough変換+正規化相関」による処理を実施例、「一般化Hough変換」のみ、および「正規化相関(回転角度10°刻み)」のみによる処理をそれぞれ比較例1,2とする。 また、参考例として、「正規化相関(回転角度20°刻み)」のみによる処理も行った。

    なお、比較例2および参考例では、10°単位のテンプレートを36枚用意して行った。
    まず処理速度の結果について表1に示す。

    実施例1で処理に要した時間を1.00とし、これに対する比によって処理速度を評価した。
    次に検出精度の結果について表2に示す。

    処理速度については、実施例に比べて比較例1のほうが良い結果であったが、検出精度では実施例が大きく上回った。 したがって、総合的に判断すれば、比較例1,2にくらべて実施例がより優れていることが明確となった。

    本発明の画像処理を示すフローチャートである。

    平均値フィルタの例を示す図である。

    エッジ抽出処理を示すフローチャートである。

    粗サーチ処理を示すフローチャートである。

    クラスタリング処理を説明するための模式図である。

    画像処理システム100の構成を示すブロック図である。

    形状テンプレートの定義例を示す図である。

    形状定義表の例を示す図である。

    符号の説明

    100 画像処理システム 101 撮像装置 102 画像処理装置 103 表示装置 111 CCDカメラ 112 A/D変換器 113 カメラコントローラ 114 D/A変換器 115 フレームメモリ 121 CPU
    122 RAM
    123 ROM
    124 I/Oコントローラ

    高效检索全球专利

    专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

    我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

    申请试用

    分析报告

    专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

    申请试用

    QQ群二维码
    意见反馈