【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、画像を用いて被検査物の、例えば良、不良を外観検査したり、物体を分類、
あるいは認識したりする画像検査／認識方法およびこれに用いる参照データ作成装置に関するものである。

【０００２】

【従来の技術】まず、以下に従来の代表的な画像検査方法を説明する。 ２値化処理による従来の検査方法を図１
を参照して説明する。 被検査物の投影画像が図１Ａに示すものとして得られ、その中央の矩形領域１１ａのかけや膨らみ具合を判定する検査の問題を考える。

【０００３】図１Ａにおいて領域１１ｂ，１１ｃ，１１
ｄ，１１ａの順に濃度が順次高い部分を示す。 その画像中の領域１１ａ，１１ｄの中央を通る点線１２上の濃度変化は図１Ｂの曲線１３で示すステップ状変化と、曲線１４で示す変動分とを加算した曲線１５となるが、この曲線１５をしきい値１６以下と以上とで２値化（パターン化）する。 この２値化処理を行うためのしきい値１６
は、図１Ｃに示すような領域１１ａと１１ｄとにおける濃度ヒストグラム曲線１７ａ，１７ｄの２つの山が最も低い値１８とする。 通常はステップ状の理想的なパターン（曲線１３）は入力されず、汚れや、照明条件の変化により濃度変動が生じ、その濃度変動が重畳したパターン１５となり、これをしきい値１６で２値化処理を行う。 このような２値化処理を注目の矩形領域１１ａの全体に施し、その結果の分布状態の形状が所定のものか否かにより被検査物の良、不良を判定する。 しかし、濃度変動１４の仕方を予測して、しきい値１６を決定できれば良いが、多くの場合困難を伴う。 しきい値１６の設定を誤ると、領域１１ａ，１１ｂの各部を２値化した形状が図１Ｄに示すように、本来の矩形領域１１ａの形状から外れ、汚れや照明条件の変化の影響を直接受け、斜線部１９のような変動成分によって安定的な形状が検出できなくなる。 これにより、実際に検出すべき、かけや膨らみといった不良の状態を判定できなくなる。

【０００４】次に、従来の濃度正規化相関による検査方法を図２に示す。 図２Ａに示す基準画像２１中の検査対象となる基準ウィンドウ２２における各画素の濃度分布Ｍ _kl （ｋ＝１，…，Ｋ；ｌ＝１，…，Ｌ）を図２Ｂに示すように得、これを濃度パターンとして登録する。 図２
Ｃに示す検査画像２３中の基準ウィンドウ２２と対応する領域２４を左上隅から右下隅まで走査し、各走査点（ｉ，ｊ）に対して全て以下の演算を実行し、相関係数γ _ij （−１≦γ _ij ≦１）を算出する。

【０００５】

【数１】

₀は基準ウィンドウ２２内の濃度平均値、Ｔ

₀は検査画像中の領域２４の大きさ内の濃度平均値である。 このように走査点に対して定義される相関係数γ

_ij

の中で最大の値γ

_maxを検出し、γ

_maxが１に近い程良品であるとする。 この相関係数は、濃度のオフセット変動には不変であるが、汚れや照明条件の変化等の不均一的な濃度変動に対して、図２Ｄに示すように基準濃度パターン２５と検査濃度パターン２６で囲まれた変動成分（斜線部）２７が生じ、良品に対しても大きく相関係数が変動してしまい、誤判定の原因となる。

【０００６】以上のように、画像検査方法を実現する上では、どのような画像特徴を抽出するか（画像特徴抽出方法）、どの画像特徴を用いるか（画像特徴選択方法）、および選択された画像特徴をどのように用いるか（マッチング方法）が重要となる。 画像特徴抽出方法としては、日本国特開昭６３−２２６７８５号「画像特徴抽出装置」に各種方法が示されている。 即ち、対象画像から、その濃度統計量や複雑度、広がり度等の領域の性質を反映した領域特徴画像や、エッジやエッジ屈曲度等の輪郭の性質を反映した輪郭特徴画像を抽出する。 ここで領域特徴画像における領域とは、セグメンテーションの結果得られる領域ではなく、局所フィルタリングにより処理対象となる局所領域を示す。

【０００７】濃度統計量は、各画素からある視野半径内での濃度値の分散を画素の特徴値とするものである。 複雑度は、各画素からある視野半径内で放射状に走査したとき、視野半径内に存在する走査線上のエッジの個数を累積し、つまり各走査方向毎に計数し、走査方向間でその平均値を各画素の特徴値として定義したものである。
ただし、出力の先鋭度を高めるため、 w _t (r) = a/r _k
(a，k は定数、ｒは走査線のアドレス）とし、また、真のエッジの密度を算出するため、エッジの単純な累積値でなく、エッジを横切る回数を累計する演算とする。 広がり度は、領域の面積に相当する量であり、各画素からある視野半径内で放射状に走査したとき、最初のエッジに衝突するまでの距離を各走査方向毎に計数し、走査方向間でのその距離平均を各画素の特徴値として定義したものである。 エッジ屈曲度は、各画素からある視野半径内での視野中心の画素のエッジ方向に対する周囲のエッジ方向のばらつき量（２乗ノルム）として算出される。
この特徴は、外乱によるエッジの途切れがあっても、積分効果により影響を受けにくい性質を有する。

【０００８】領域特徴画像と輪郭特徴画像は、互いに相補的な画像特徴であり、領域特徴だけでは形を十分に表現することが難しく、また輪郭特徴だけではテクスチャの違いを十分に表現することが難しい。 更に領域特徴画像と輪郭特徴画像では、ノイズに対する感度も異なり、
ノイズにより輪郭が多少途切れていても領域特徴では比較的特徴値のばらつきが少ない。 このように、性質の異なる画像特徴を検査、認識などに適用することは、画像を種々の角度から表現するということであり、このような相補的な関係の特徴画像を多く用いれば検査や認識の信頼度を向上させることができる。

【０００９】画像特徴選択方法およびマッチング方法を用いるものとして、日本国特開平４−１７５８８５「一般化ハフ変換における画像特徴選択方式」が既に提案されている。 この「一般化ハフ変換における画像特徴選択方式」における処理のフローチャートを図３に示す。 まずステップＳ１で、各カテゴリ、つまり検査の場合良品と不良品、分類や認識では互いに区別されるべき複数の対象物に対して、それぞれ基準となるサンプルを選択し、そのサンプル画像について、複数の性質の異なる特徴画像を抽出してそれぞれ基準特徴画像とする。 その各基準特徴画像について特徴点を選択する、つまり、特徴画像がエッジ画像の場合、そのエッジ画像からその各エッジを示す各点（特徴点）の各画素を選択し、特徴画像が濃度画像であれば、量子化された各濃度値について、
その濃度値（特徴値）をとる各画素（特徴点）をその濃度画像から選択する。 次の、ステップＳ２で、選択された特徴点に対して、各カテゴリ、各特徴毎に参照テーブルを作成する。 参照テーブルは、図４中の参照テーブル２７として示すように各特徴値ｆ _iをインデックスとして、その特徴値をもつ各画素（その特徴画像のその特徴値の特徴点）の位置が参照点を起点とする極座標ベクトル（ｒ _i , α _i ）, i ＝1,...,Ｎ _p （Ｎ _pは特徴点数）
として保持される。 前記参照点は原理的にはどこでも良いが、物体の重心位置に置くと一般化ハフ変換の変換誤差が最小となることが知られている。

【００１０】ステップＳ３では、各カテゴリ、各種外乱が付加されたＭサンプルの各特徴の特徴画像を抽出し、
その特徴画像をステップＳ２で作成した参照テーブルを用い一般化ハフ変換を行う。 一般化ハフ変換の導出原理の説明をエッジ画像を例にとり図４を参照して示す。 基準画像２１のエッジ画像（基準特徴画像）２８は、物体の輪郭点を示す。 従って、エッジ画像の特徴点は輪郭点でおって、その特徴値、つまりエッジ値は１であり、輪郭点以外はエッジ値は０である。 従って、ステップＳ２
では参照テーブル２７には、特徴点の特徴値ｆ _iのインデックス欄にはエッジ点の値１のみがインデックスとして格納され、基準画像のエッジ画像２８の輪郭像（エッジ像）２９の各画像（特徴点）ｐ _iの極座標表現されたアドレス（ｒ _i , α _i ）, ｉ＝1,...,Ｎp （Ｎp は輪郭点数、つまり特徴点数）がアドレス欄に格納される。 次に、この参照テーブル２７を用いた未知の入力画像３１
に対するステップＳ３での処理を説明する。 ここで算出したいパラメータは、入力画像３１における物体の位置と姿勢（回転角）である。 物体の位置は基準特徴画像２
８で既に決定した参照点（極座標原点）の位置、つまり入力画像の物体の参照点である。 基準特徴画像２８と同一の特徴画像、つまりエッジ画像３２を入力画像３１について生成し、そのエッジ画像３２の各画素（その直交座標は（ｘ，ｙ））のエッジ値が参照テーブル２７に格納された値（特徴値）である１のときのみ、参照テーブル２７に格納されているその特徴値に対する極座標アドレス（ｒ _i , α _i ）を１個ずつ読みだして、以下のアドレス変換を行う。

【００１１】 ｘ _G ＝ｘ＋ｒ _i cos（αi＋θ） ｙ _G ＝ｙ＋ｒ _i sin（αi＋θ） ここで、θは物体の回転角である。 今、簡単のため、物体の回転角θは既知とする。 このようなアドレス変換により算出された座標（ｘ _G ｙ _G ) は予測される物体の参照点の可能性を示す位置である。 エッジ値１が得られた１つの画素位置（ｘ，ｙ）についての各変換アドレスｘ
_G ，ｙ _Gを図５に示すように、パラメータ空間であるアキュムレータアレイ３４上のｘ _G ，ｙ _Gの位置の値に１
だけ加算投票する。 つまり未知エッジ画像３２の、例えば、Ａ点に対して参照テーブル２７中の全てのアドレスを順に読みだし、アドレス変換し、その変換されたアドレスｘ _G ，ｙ _Gをアキュムレータアレイ３４のｘ _G ，ｙ
_Gの値に加算投票していくと、物理的にはアキュムレータアレイ３４上に参照点の可能性のある軌跡（値が１の軌跡）３５ａが描画されることを意味する。 未知エッジ画像３２のＢ点、Ｃ点に対して同じような処理をして軌跡３５ｂ，３５ｃを得る。 アキュムレータアレイ３４の各位置ｘ _G ，ｙ _Gの各値は加算投票（累積加算）であるため、軌跡３５ｂ，３５ｃが描画される際に、軌跡３５
ａと重なる位置で１回の重なりで値が２となり、２回の重なりで値が３となる。 未知エッジ画像３２のエッジ像が基準エッジ画像２８のエッジ像２９と少なくともＡ
点、Ｂ点、Ｃ点との相対位置関係が維持され、同じであるとすると、３つの軌跡３５ａ，３５ｂ，３５ｃは１つの交点３６で交わることになる。 この処理を、３点だけでなく、未知エッジ画像３２上のエッジ点の全てに対して行うことにより、アキュムレータアレイ３４上の参照点の可能性の軌跡は、入力画像３１の物体が基準画像２
１の物体と完全に同一であるならば、Ｎp 回同一点で交差することになる。 この交差回数、即ち累積投票値分布が例えば図４中の曲線３７で示すように得られ、その分布の最大ピーク点（位置）および、最大ピーク値（最大頻度値）を求めることが入力画像３１中での参照点位置および基準画像に対する形の保存の度合いを算出することとなる。 回転角θが未知の場合は、回転し得るθの範囲分だけ角度刻みΔθピッチでθを変化させ、今度は、
アキュムレータアレイ３４は（ｘ _G, ｙ _G ) の２次元ではなく、（ｘ _G, ｙ _G , θ）の３次元とし、各θに対して同様の処理をすることにより、最大ピーク値を与える（ｘ
_G ^* _, ｙ _G ^* _, θ ^* ）を算出する。 そしてこのθ ^*が求める物体の回転角となる。 例えば検査の場合、その物体の製造時の治具の精度により回転角θの変動範囲が例えば±１０°以内と予測され、その範囲内で角度θを小刻みに変化させればよい。

【００１２】以上、パラメータ空間のアキュムレータアレイ３４上の投票値が最大となるアドレスｘ _G ^* _, ｙ _G
^* _, θ ^*中のｘ _G ^* _, ｙ _G ^*が参照点の位置、θ ^*が物体の回転角であり、その投票値最大値（最大頻度値）が基準との近さを示す量となる。 図３中のステップ３ではこの最大頻度値を各カテゴリ内のサンプルに対して算出し、そのカテゴリ内最大頻度値分布を作成し、あるカテゴリ間のサンプル、例えば良品に対する不良品の画像サンプルに対してカテゴリ間最大頻度値分布を作成する。
各カテゴリ／各特徴毎にこのカテゴリ内最大頻度値分布とカテゴリ間最大頻度値分布との距離を算出する。 この距離により各カテゴリ／各特徴に対する重みを決定する。 ステップ４により、各カテゴリに対して、各特徴の重みのソーティングを行い、各特徴のランク付けを行う。 ステップＳ５により各カテゴリに対して、特徴のランクの高いものから順に組み合わせる参照テーブルの数を増加し、つまり組み合わせる特徴の数を多くし、それぞれについて、カテゴリ間の区別がどの程度可能になるかについて評価する。 ステップＳ６により入力画像の解像度を変えて、エラー率が十分小さくなるまで、つまり、例えば良品、不良品の区別が十分できるまで、または識別できないカテゴリの個数が０になるまでステップＳ１〜Ｓ５を繰り返す。

【００１３】以上のような処理によって、入力画像から得られる各特徴画像と、基準画像から得られる各特徴画像の参照テーブルの内容との一般化ハフ変換出力について、当該一般化ハフ変換出力のアキュムレータアレイ上の頻度分布のカテゴリ内変動と、一般化ハフ変換出力のアキュムレータアレイ上の頻度分布のカテゴリ間変動との関係から決まる距離を重みとし、その重みの高い順から特徴を組み合わせてカテゴリ間の距離を評価し、その重み付き距離がある一定値以上になるか、あるいはこれ以上改善されなくなるまで特徴の組み合わせを行う。 この従来の方法では、特徴種別の重み付けおよび特徴種別の組み合わせの選択方法について提案している。

【００１４】

【発明が解決しようとする課題】しかし、特徴点の選択方法については、基準画像から得られる各特徴画像に対して、相互距離が最大となる特徴点を選択するに方法に留まっている。 この特徴点の選択方法では、選択対象となる基準画像の特徴点の中に、ゴミや他のノイズによって汚されている点が混在していると、基準が不完全となるので、検査能力を低下させる原因となる。 また、基準となる画像をマニュアルで選んだとしても、それが、本当に基準となる画像かどうかの保証はない。 従って、複数の良品画像の系列から、自動的に特徴点に対しても重み付けをし、重みが高い、即ち信頼度の高い特徴点に対しては、特徴種別選択およびマッチングに対してより影響力を与え、また、重みが低い、即ち信頼度の低い特徴点に対しては、特徴種別選択およびマッチングに対して、影響力を軽減させる必要がある。

【００１５】図６に検査パターンの画像例を示す。 図６
Ａに示す理想パターンに対し、実際に得られる良品の画像は、ゴミや汚れ等によりノイズ成分が重畳した画像となっており、例えば図６Ｂ乃至図６Ｄに示すように理想パターンに対して位置ずれや回転が生じている。 図６Ｅ
に示す不良品の画像は、図６Ａの理想パターンに対して少し扁平になっており、同様にノイズが重畳し、位置ずれ／回転が生じている。 このような状況の中から、良品と不良品を区別する必要がある。 この問題は画像を用いて対象物を分類したり、認識したりする場合に同様に生じる。

【００１６】この発明の目的は上記問題点の解決を図り、図６に示したような状況において、照明環境やサンプル表面の反射特性が変化することにより、またはゴミ等の付着により発生する良品や基準サンプル画像の濃度変動に対しても、良品／不良品を確実に区別でき、あるいは正しく、分類したり認識したりすることができる検査／認識方法を提供することにする。

【００１７】

【課題を解決するための手段】この発明によれば、入力画像から画像特徴を抽出して特徴画像を第１ステップで得、その特徴画像を第２ステップで量子化して量子化特徴画像を得、その量子化特徴画像の特徴点の類似度または相違度を、複数の学習画像により予め求めた対応特徴の学習データを用いて第３ステップで求めて画像検査や認識を行う方法において、複数の学習画像に対するその量子化特徴画像の各特徴点での特徴値ヒストグラムから特徴点の重みを予め計算しておき、その重みを用いて第３ステップでの類似度または相違度を重み付き類似度または重み付き相違度として求める。 その第３ステップは互いに異なる複数の特徴画像について求めた重み付き類似度または重み付き相違度に対し、特徴重み付け組み合わせを行って重み付き類似度または重み付き相違度を求める。

【００１８】第３ステップの重み付き類似度は、パラメータ空間へ特徴点の重みを加算投票する重み付き一般化ハフ変換演算で行って求める。 あるいは入力画像に対する特徴画像の特徴点特徴値系列と、学習画像に対する特徴画像の特徴点特徴値系列との正規化相関係数、特徴点の重み系列で重みを与えて求める重み付き正規化相関演算を行って求める。 第３ステップの重み付き相違度は、
量子化特徴画像を量子化レベルごとにパラメータ空間へ特徴点の重みを加算投票する重み付きハフ変換してハフ平面を得、このハフ平面と学習画像の特徴画像から得た参照ハフ平面との差分演算を行って求める。

【００１９】１つの特徴画像について、各特徴点の重みの合計をその特徴点の数で正規化する。 複数の学習画像のコントラストが所定値より大きい場合は、第１ステップで特徴画像として領域特徴画像を抽出し、第３ステップで正規化相関演算を行い、コントラストが所定値より小さい場合は第１ステップで特徴画像として輪郭特徴画像を抽出し、第３ステップで重み付き一般化ハフ変換演算を行う。 あるいは良品と不良品とのような異なるカテゴリの各複数の学習画像について、それぞれ重み付き一般化ハフ変換演算と重み付き正規化相関演算を行い、それぞれ各カテゴリの類似度分布の分布間距離を求め、分布間距離が大きい方の演算を行う。

【００２０】特徴画像の量子化は、複数の学習画像に対して、良品と不良品のような各カテゴリごとの類似度または相違度分布間の相互の分布間距離が最大となる量子化幅を用いるが、複数の学習画像の特徴画像における特徴点の特徴値ヒストグラムの平均積分平方誤差を最小にする量子化幅を用いる。 特徴点の重みは、複数の学習画像から量子化特徴画像を求め、その量子化特徴画像の各特徴点での特徴値のヒストグラムを求め、そのヒストグラムのばらつきの程度に応じて重みを求める。

【００２１】この発明のもう１つの方法では、先の発明と同様に入力画像の量子化特徴画像を求め、その量子化特徴画像の特徴点の類似度または相違度を学習画像から得た参照データを用いて同様に求めるが、この場合は量子化特徴画像を、その各量子化レベルに対するビット平面よりなる多重ビット平面を作り、その各ビット平面を参照データを用いて一般化ハフ変換または単なるハフ変換を行って、一般化ハフ変換したものから上記類似度を演算するか、ハフ変換したものと参照多重ハフ平面との差分演算により相違度を求める。 この何れの場合も、ビット平面に与えられた重みを用いた重み付き類似度演算または重み付き差分演算を行う。

【００２２】複数のカテゴリの複数の学習画像からそれぞれ複数の量子化特徴画像を求め、第３ステップで用いた学習データを用いて複数の学習画像の各特徴画像の特徴点の重み付き類似度または重み付き相違度を、第３ステップで行う演算と同一手法の演算で求め、その演算結果から各特徴画像についての類似度または相違度を求め、これら類似度または相違度から特徴間の重みを求め、特徴を組み合せ、カテゴリ内の類似度または相違度と、そのカテゴリと他のカテゴリとの類似度または相違度との距離を求め、この距離が所定の条件を満すまで特徴の組み合わせを変更して、第３ステップの演算に用いる特徴画像の組み合わせを決定する。

【００２３】この決定された組み合わせにおけるカテゴリ内の類似度または相違度とカテゴリ間の類似度または相違度との間にこれらカテゴリ間を区別するしきい値を決める。 つまりこのしきい値を用いて第３ステップで求めた類似度または相違度と比較して、良品、不良品の判定をしたり、分類や認識のための判定に用いる。 また第３ステップで得た重み付き類似度が最大または重み付き相違度が最小となる対象原点の位置ずれ量、回転量、またはスケール変化量を求め、その量を検査尺度とする。

【００２４】この発明の画像検査／認識装置によれば、
入力画像が画像メモリに蓄えられ、上記入力画像から画像の特徴を抽出して特徴画像を生成する手段、特徴画像を量子化する手段が設けられ、上記量子化された特徴画像が特徴画像メモリに蓄えられ、各特徴画像ごとに特徴値とその特徴点及び重みとが参照テーブルとして参照テーブルメモリに記憶され、上記量子化特徴画像につき、
上記参照テーブルメモリ内の対応する参照テーブルを用いて重み付き類似度または相違度を演算する演算手段と上記各手段を制御する制御手段が設けられる。

【００２５】この発明の画像検査／認識用参照データ生成装置によれば、入力学習画像が画像メモリに蓄えられ、上記学習画像から画像の特徴を抽出して特徴画像を生成する手段と、上記特徴画像を量子化する手段とが設けられ、上記量子化された特徴画像が特徴画像メモリに蓄えられ、上記量子化特徴画像からその特徴点の特徴値分布を求める手段が設けられ、上記特徴画像ごとの上記特徴点特徴値分布が特徴点特徴値分布メモリに蓄えられ、上記特徴値分布から各特徴点の重みを決定する手段が設けられ特徴ごとの特徴点とその重みが参照テーブルメモリに記憶され、その参照テーブルメモリの特徴点重みを用いて、上記特徴画像に対する相関演算を行って重み付き類似度または相違度を得る重み付き類似度（相違度）演算手段が設けられ、上記重み付き類似度または相違度の分布が類似度（相違度）分布メモリに蓄えられ、
カテゴリと対応する上記類似度または相違度の分布から特徴間の重みを求める手段と、特徴間の組み合わせを決めて、その組み合わせについてのカテゴリ内の重み付き類似度または重み付き相違度とカテゴリ間の重み付き類似度または重み付き相違度との距離を求める手段と、上記距離が予め決めた条件を満たすまで上記特徴の組み合わせを変更して、その時の組み合わせの各特徴画像の特徴点とその重みを参照データとする手段とが設けられる。

【００２６】学習すべき複数画像サンプルの多元セル特徴（領域特徴や輪郭特徴等の多重解像度の特徴）のばらつきから決定される特徴点の重みを求めるために、学習特徴画像の特徴点の位置ずれ補正を行い、各特徴点の特徴値のばらつきを測定し、その結果に基づき各特徴点の重みを決定する。 この各特徴点の重みは、各特徴毎に算出される。 この特徴点の重みは、重み付き類似度演算及び重み付き相違度演算の係数として与えられ、得られる類似度または相違度分布のカテゴリ内変動とカテゴリ間変動との関係から決まる距離を特徴種別間の重みとし、
その重みの高い順から特徴を組み合わせて適用し、その距離がある一定以上になるかあるいはそれ以上改善されなくなるまで特徴の組み合わせを行う。

【００２７】これにより、照明条件変動や表面の汚れに対し、多元特徴の集合から良品と不良品を安定に区別するための特徴点を自動的に選択し（特徴種別も同時に自動的に選択し）、検査信頼度を向上させることができる。

【００２８】

【実施例】

第１の実施例 図７にこの発明の第１実施例の流れ図を示す。 この処理は、画像検査用参照データ作成処理部１００と、検査処理部２００とに分けられる。 実施例の説明では、この発明の特徴とする重み付き類似度算出演算および重み付き相違度算出演算を具体化して説明する。 図７は、重み付き類似度算出演算では、重み付き一般化ハフ変換を行う場合である。 この第１の実施例において、特に学習特徴画像生成ステップ１０２〜参照データ格納ステップ１０
７、重み付き一般化ハフ変換ステップ１１３および重み付き一般化ハフ変換ステップ２０４の部分が、この発明に関連する最も特徴的な部分である。 学習画像入力ステップ１０１において、良品の学習画像を複数枚入力する。 画像は、多諧調（通常２５６諧調）に量子化されて入力されるとする。 学習特徴画像生成ステップ１０２では、良品の学習画像に対して、多元セル特徴抽出処理により、学習特徴画像を生成する。 多元セル特徴抽出を図８に示す。 つまり入力学習画像の濃度分布４１，方向分布４２，エッジ密度分布４３，エッジ空間分布４５の４
つの基本表現に着目する。 濃度分布４１からは、局所フィルタリングにより濃度分散等の濃度統計量画像４５が生成される。 方向分布４２からは、曲率画像（エッジ屈曲度画像）４６や平行性を示す量（バー特徴）の画像４
７が生成される。 エッジ密度分布４３からは、放射状に走査したときエッジを横切る本数を示す複雑度画像４
８，エッジ空間分布４４からは、放射状に走査したときエッジに最初に衝突するまでの距離（放射状距離）を示す広がり度画像４９，放射状距離の対角方向の距離比から算出される「形状のまとまりの良さ」を示すブロッブ特徴画像５０が生成される。 これらの特徴画像４５〜５
０の抽出方法は、例えば日本国特開昭６３−２１３０８
５号公報「画像特徴抽出演算方式」、日本国特開昭６２
−２１３０９３号公報「画像特徴抽出方法」、日本国特開昭６２−２２６７８５号公報「画像特徴抽出装置」等に示されている。 これらの特徴画像４５〜５０は、濃度統計量や複雑度、広がり度等の領域の性質を反映した領域特徴画像（ここで、領域とは、セグメンテーションの結果得られる領域ではなく、局所フィルタリングにより処理対象となる局所領域を示す）と、エッジや曲率等の輪郭の性質を反映した輪郭特徴画像とに分けられる。 オリジナルの濃度画像およびエッジ画像を含めこのような特徴画像種別の違いの他に、フィルタリングする際の空間周波数の違い、解像度の違い（パターンを表現する単位（セル）の違い）により前記各種の特徴について新たな特徴画像を生成する。

【００２９】例として、図６に示した検査パターンの画像に対して、輪郭特徴であるゼロクロス点画像を抽出することを考える。 ゼロクロス点画像は、原画像とラプラシアンガウシアンフィルタとの畳み込み積分により算出される原画像の２次微分画像に対し、２次微分値がゼロ交差（ゼロクロス）する点（原画像の濃淡値が変化する変曲点に相当）を算出し、それをゼロクロス点と定義する。 ガウシアンフィルタは（Ｇ（x,y,σ）＝（１／（２
πσ ² )）exp（−（ｘ ² ＋ｙ ² )／（２σ ² )））の２次微分Ｇ" により定義され、ラプラシアンガウシアンのσを変化させ、異なるσに対して、それぞれゼロクロス点を抽出する。

【００３０】図９Ａ〜Ｄはそれぞれ図６Ｂ〜Ｅの各画像からそれぞれ抽出したゼロクロス点画像を示す。 図９Ａ
〜Ｄ中の一番上の特徴画像はσが小さい場合で、空間周波数が高く細かい輪郭構造が抽出できる反面、ノイズも検出してしまうことになる。 図９中の一番下の画像の特徴画像はσが大きい場合で、空間周波数が低くノイズに対しては反応しないが、おおまかな輪郭構造しか抽出できない。

【００３１】以上のように、多元でかつ解像度の異なるセル（多元セル特徴）は、ピラミッド構造をした多層の特徴プレーン５１（図８）により一括管理される。 このように４つの基本表現（図８中の４１〜４４）に基づき、かつ空間周波数の違い、解像度の違いにより生成される多元セル特徴を抽出することにより、ノイズが存在しても、良品と不良品とを安定して区別することが可能となる。 図７中の学習特徴画像生成ステップ１０２では、通常、システムの効率上、対象に合わせて有効と考えられる多元セル特徴の一部を抽出する。

【００３２】次に、学習特徴点位置ずれ補正ステップ１
０３では、学習特徴画像生成ステップ１０２で得られた複数枚の学習特徴画像に対して、位置ずれ／回転／スケール補正を行う。 ここで、特徴点は、特徴画像の中から対象の性質を端的に表す画素点のことであり、例えばゼロクロス点画像では値が１の画素点が特徴点となる。 位置ずれ／回転／スケール補正は、単なる位置補正であるので、特徴点のずれを最小２乗フィッティングにより算出し、そのずれ量を補正するためにアフィン変換を行うなど、どのような方法でもよいが、簡便な方法が好ましい。

【００３３】この実施例としては、マッチング処理である一般化ハフ変換を用いた方法について説明する。 学習特徴画像の中でどれか１枚を基準特徴画像とし、対象（学習画像の物体）中の特徴点と補正を行う対象原点（参照点）位置を指定する。 この補正を行う対象原点位置は、補正誤差を最小に抑えるため、対象の中心にとることが好ましい。 前記基準特徴画像における前記対象原点からの特徴点位置を、図３のステップＳ２と同様に対象の特徴点の特徴値をインデックスとして参照テーブルに記憶する。 この参照テーブルを用いて、他の学習特徴画像に対して、一般化ハフ変換を実行する。 ここでは、
後で詳しく説明する重み付き一般化ハフ変換において、
まだ特徴点重みｗは決まっていないので、ｗは特徴点間で同じ値にする。 即ち、累積ヒストグラムへのインクリメント値はｗでなく、従来の一般化ハフ変換と同様に１
である。

【００３４】この一般化ハフ変換では、学習特徴画像の各特徴点の特徴値が参照テーブルの特徴値インデックスと一致するとき、図４の場合と同様に一致した特徴値インデックスに格納されている特徴点位置を用いてアドレス変換を行い、対象原点の位置／回転角のパラメータ空間に投票し、多数決の原理により対象原点の位置／回転角／スケール変化を算出する。 決定された対象原点の位置／回転角／スケール変化を用いて、基準特徴画像との位置ずれ量／回転変化／スケール変化の分だけアフィン変換により補正処理を行い、その結果として学習特徴補正画像を算出する。 図９Ａ乃至Ｄ中の空間周波数がそれぞれ高、中、低の各学習特徴画像に対して、それぞれ補正処理した結果のイメージを図１０Ａ乃至図１０Ｃに示す。

【００３５】次に、特徴値として多階調をもつ場合には、画像特徴量子化ステップ１０４において、後述するように好ましい量子化幅で画像特徴を量子化する。 画像特徴をＦ（x,y)とし、量子化画像特徴をＧ（x,y)、量子化レベル数をI q とすれば Ｇ(x,y) ＝（Ｆ(x,y) −Ｆ _min /Ｒ）×I _q ０≦G (x,y) ≦I _q −１ となる。 ただし、Ｆ _minはＦの最小値、ＲはＦのダイナミックレンジである。 量子化幅は、Ｒ／Ｉ _qとして定義される。 ここで、後で定義される良品の類似度分布（図３の説明におけるカテゴリ内最大頻度分布）と不良品の類似度分布（カテゴリ間最大頻度分布）から相互の分布間距離を最大にする量子化幅を用いて量子化するのが好ましい。 量子化幅が最適でないと、一般化ハフ変換のヒット率が低下し、検査性能が低下する原因となる。 最適な量子化幅を算出するには類似度分布の分布間距離を評価することが的確であり、そのため量子化幅を少しずつ変化させて最適な値を求めるのは学習といえども処理時間が無視できなくなる。 従って、類似度の分布間距離を算出しなくても、良品の画像特徴の分布から大体の最適量子化幅の存在範囲を限定できれば、学習システムとしての効率上好ましい。

【００３６】最適量子化幅の存在範囲を限定する評価尺度として、良品の学習画像のその特徴値ヒストグラムの平均積分平方誤差に着目し、この誤差を最小にする量子化幅をおおよその最適量子化幅として用い、その存在範囲の中で、類似度の分布間距離を最大にする量子化幅を探索することとする。 特徴値ヒストグラムの平均積分平方誤差は次の式で定式化される。

【００３７】特徴値ヒストグラムをＨ（ｋ）,k=1,...,I
q 、理想の特徴値ヒストグラムをＨ _ideal ｋ）とすると、 error （I _q ) ＝Σ ^iq _k=1 (Ｈ _ideal (k) −Ｈ（k)） ²により定義される積分平方誤差を最小化する。 Ｈ _ideal
（k ）は未知であるので、最尤推定法により、上式の誤差の期待値、即ち平均積分平方誤差が次式で算出される。

【００３８】E _error (I _q ）＝（Ｉ _q ／（ｎＲ））［１
ー（（ｎ＋１）／（ｎー１））（Σ ^iq _k=1 Ｈ（k) ² ／
ｎー１）］ ここで、ｎは特徴値ヒストグラムの頻度値の合計である。 このE _error (I _q ) を最小にするＩ _qを求めることにより、最適量子化レベル数（量子化幅）の存在範囲を限定することが可能となる。

【００３９】更に、もっと簡便な尺度として、 I _q ^* ≦（２ｎ） ^1/3として、最適量子化レベル数（量子化幅）の存在範囲が求められる。 次に学習特徴点特徴値分布測定ステップ１
０５で、特徴毎に格納された学習特徴補正画像（量子化画像）の系列から各特徴点毎に特徴値ヒストグラムを作成する。 ここで特徴値ヒストグラム作成においては、通常、位置補正誤差が存在するので、その誤差を考慮し、
許容補正誤差の分だけ特徴点周囲の画素を取り込んでヒストグラム作成をする。 また、あらかじめ許容補正誤差の分だけオーバーラップした画像ブロックに分割しておき、各ブロック単位にヒストグラムを作成してもよい。
図１１にゼロクロス点特徴画像（ゼロクロス点では１／
ゼロクロス点以外では０）５２の系列に対する特徴値ヒストグラムを示す。 即ち境界付近５３の特徴値ヒストグラム５４はゼロクロス点１の頻度が大きく、ゼロクロス点（特徴点）らしさが大きいことを示しており、境界から可なり離れた非境界の部分５５の特徴値ヒストグラム５６では、ゼロクロス点１の頻度が小さく、ゼロクロス点らしさが小さいことを示している。

【００４０】学習特徴点重み決定ステップ１０６では、
各特徴点に対する学習特徴点特徴値ヒストグラム分布の状態から、各特徴点に対してその特徴の程度を示す重みを設定する。 ここで、学習サンプル数をＭとする。 図１
１の場合では、ゼロクロス点（ゼロクロス点特徴画像の値が１の点）の頻度比率Ｒ（＝頻度／Ｍ）の大小に比例して重みが決定される。 値が０の点はゼロクロス点でないので重み付けの対象にはならない。 重みが低い点は、
この段階で除去しておいた方が演算コストの点から好ましい。 例えば頻度比率Ｒが１／２近辺以上であれば、頻度比率の低下分は量子化誤差に起因したものと考えられるので、ゼロクロス点とみなしてもよいが、Ｒが極端に低い場合には、ノイズ成分と考えられるので、ゼロクロス点とみなさない方がよい。 このように頻度比率Ｒでしきい値処理し、ノイズらしい点を除去する。 残ったゼロクロス点に対して、頻度比率Ｒにより重み付けを行う。
この残った各ゼロクロス点に対する重み分布を用いて、
基準ゼロクロス点集合（基準特徴点集合）の各点（特徴点）に重みを付ける。 また、この特別な場合として、残った各点に対して重みを一様に設定することも可能である。 基準ゼロクロス点集合を求めるには、 １）ゼロクロス点の重み分布から、その各分布の峰（ピーク）を捜し、これを新たなゼロクロス点をとし、これらを基準ゼロクロス点集合とする方法、 ２）ゼロクロス点学習特徴補正画像（ゼロクロス点特徴補正画像）のうちの最も平均的なゼロクロス点画像に着目し、そのゼロクロス点画像のゼロクロス点を基準ゼロクロス点集合とする方法、 等が考えられる。 いずれの方法にせよ、基準ゼロクロス点集合の各ゼロクロス点に、同位置のゼロクロス点重み分布の重み値ｗ _i （ｉ＝１，…，Ｎ _p ）を付与する。 ここで、各重み値は、基準ゼロクロス点集合における各ゼロクロス点の重みの合計が基準ゼロクロス点数Ｎ _pとなるように正規化する。 従って、各重みを同一値とすると重みは１／Ｎ _pとなる。 このようにして各特徴の種類にかかわらず特徴点の重みを一般化している。

【００４１】濃度化画像の例において特徴値の分布が例えば図１２Ａ乃至Ｄに示すようになったとする。 図１２
Ｂに示すように、分布がある特徴値（濃度）に集中しているほど、即ち、分布のばらつきが小さいほど重みが大きくなる。 この場合、最大頻度をＭで割った頻度比率Ｒ
を重みの尺度とみなすことができる。 または、分布の分散の大小に反比例して重みを設定することもできる。 ここで、先の場合と同様頻度比率Ｒまたは分布の分散の値でしきい値処理し、ノイズらしき点を除去する。 残った特徴点の集合を基準特徴点集合とする。 基準特徴点集合の各特徴点の特徴値は、例えば、最大頻度を与える特徴値かまたは分布の平均値を与える特徴値とする。 基準特徴点集合に対する重み値ｗ _i （ｉ＝１，…，Ｎ _p ）はその合計がＮ _pとなるように正規化する。 または、この特別な場合として、残った各点に対して、重みを一様に設定し、重みの全合計がＮ _pとなるように設定することも可能である。

【００４２】また、画面上からオペレータがマウスやカーソル等の手段により直接特徴点を指定することにより予め重み付けの対象とならない背景画像等を除去することができる。 あるいは、検査対象のＣＡＤ（Computer A
id Design)データを読み取り、不要な検査箇所を除くことができる。 このように、画面上からオペレータまたは
CADデータが直接指定した特徴点を優先して、学習特徴点の重み決定を行うことにより、より綿密な特徴点の重み付けが可能となる。

【００４３】図７中の参照データ格納ステップ１０７では、図１３に示すように、特徴画像５２の計算の対象（物体）原点Ｃ _G （ｘ _G, ｙ _G ）を決定し、ステップ１０
５で求めた各特徴点Ｐｉとの位置関係を曲座標表現（ｒ
_i ，α _i ）（ｉ＝１，…，Ｎ _p ）を用いて表現する。 これらの特徴点Ｐｉは、ステップ１０５または１０６で求めた特徴値をインデックスとして、その特徴値を有する特徴点の極座標（ｒ _i ，α _i ）とステップ１０６で求めたその特徴点の重みｗ _iとを参照テーブル６１に格納する。 図１３では、空間周波数が高、中、低の各ゼロクロス点特徴画像５２に対する参照テーブル６１ａ，６１
ｂ，６１ｃの構成例を示す。 ゼロクロス点特徴画像５２
では、特徴点の特徴値は１のみであり、従って、各テーブル６１ａ，６１ｂ，６１ｃではインデックス欄は省略されている。

【００４４】図１４に、Ｎ個の特徴画像に対する参照テーブル６１の例を示す。 特徴画像ｆ(1) に対して、特徴値Ｉ ₀ (1), Ｉ ₁ (1)，…をインデックスとして、その特徴値を有する特徴点の位置情報と重み情報（ｒ _{i 0} (1)，α
_{i 0} (1), ｗ _{i 0} (1) （ｉ＝１，…，Ｎ _p0 (1))），（ｒ _i1
(1),α _i1 (1),ｗ _i1 (1) （ｉ＝１，…，Ｎ _p1 (1) ）…）が参照テーブル６１ ₁に格納され、以下同様に参照テーブル６１ _k （ｋ＝１，…，Ｎ）に特徴値Ｉ ₀ (k)，Ｉ ₁ (k)…
をインデックスとして位置情報および重み情報（ｒ
_i0 (k),α _i0 (k),ｗ _i0 (k) ），（ｒ _i1 （k ），α _i1 （k
），ｗ _i1 （k ），…）がそれぞれ格納される。 次に、
特徴画像間の重みＷ _k ，ｋ＝１，…，Ｎを決定し、特徴の組み合わせ処理を行い、最適な組み合わせを決定する。 この特徴組み合わせ処理における特徴画像間の重みを用いた場合については、日本国特開平４−１７５８８
５号「一般化ハフ変換における画像特徴選択方式」において詳しく述べられている。 これに対し、この発明の第１の実施例では、特徴点の重み（アナログ値）を前述したように複数画像から決定し、その特徴点重みを、特徴画像間重みの枠組みの中で一般化ハフ変換に適用するように拡張している。

【００４５】このためまず、図７中の学習画像入力ステップ１０９において、良品の学習画像と不良品の学習画像の両方を入力する。 学習特徴組み合わせ処理ステップ１１０では、これらの学習画像に対して、学習特徴画像生成ステップ１１１において、良品と不良品の学習特徴画像をステップ１０２（図８）と、同じく多元セル特徴抽出によりそれぞれ作成し、その各特徴画像に対し画像特徴量子化演算ステップ１１２により、学習量子化特徴画像を生成する。 この量子化幅はステップ１０４のそれと同一とする。

【００４６】重み付き一般化ハフ変換ステップ１１３では、算出された学習量子化特徴画像の各特徴点（ｘ，
ｙ）に対して以下のように、重み付き一般化ハフ変換処理を行う。 既に位置ずれ補正がなされている良品画像に対しては、基準物体の外接矩形枠内の点列のみが対象となる。 回転角θは０，スケール変化率ｓは１と固定してよい。 一方、位置ずれ補正されていない良品画像や不良品画像に対しては、対象点列は学習画像内の全点、回転角、スケール変化率はフリーとする。 位置ずれ補正を強制的に良品、不良品を問わず実行してもよいが、一般に不良品やノイズが混入した画像に対しては、例えばエッジ画像やゼロクロス点画像のように半角部特徴画像はノイズの影響を受け易く、位置ずれ補正による画質劣化の影響が大きいこともあり、画像特徴の種類により、位置ずれ補正の性能が異なることから、位置ずれ補正を正しくした学習は一般には難しい。 従って、ここでは、位置ずれ補正はあらかじめ敢て行わないこととする。 しかし、前述したように一般化ハフ変換では位置ずれに対するマッチングが自動的に行われる。

【００４７】以下は、重み付き一般化ハフ変換の一般式を示す。 ステップ１０９で入力された画像の特徴画像の各点（ｘ，ｙ）の特徴値が、参照テーブル６１に格納されている特徴値インデックスと一致したとき、一致した特徴値インデックスに格納されている特徴点位置（ｒ，
α）を用いて、次のアドレス変換を行う。

【００４８】 ｘ′＝ｘ＋ｓ×ｒ× cos（θ＋α） （２） ｙ′＝ｙ＋ｓ×ｒ× sin（θ＋α） ここで、ｘ′，ｙ′は学習画像中の予測される対象原点（参照点）位置、θは予測される回転角、ｓは予測されるスケールである。 これらの予測されるパラメータから構成されるパラメータ空間（ｘ′，ｙ′，θ，ｓ）のアドレス位置に、特徴点の重みｗだけ累積加算する。 即ち、Ａ（ｘ′，ｙ′，θ，ｓ）をパラメータ空間（ｘ′，ｙ′，θ，ｓ）における累積ヒストグラムとすると、 Ａ（ｘ′，ｙ′，θ，ｓ）：＝Ａ（ｘ′，ｙ′，θ，ｓ）＋ｗ （３） とする。

【００４９】以上の処理は、θおよびｓに関して予測される変動範囲、例えば画像中の対象を製造する際の治具の精度で決まる±１０°の変動範囲、±１０％の位置やスケールＳの変動範囲の分だけその変動成分をわずか変化させて繰り返し処理が行われる。 通常の使い方では、
ｓを固定し、（ｘ′，ｙ′，θ）のパラメータ空間でＡ
（ｘ′，ｙ′，θ）の累積ヒストグラムを構成する場合が多い。

【００５０】類似度決定ステップ１１４では、以上の重み付き一般化ハフ変換処理により算出された累積ヒストグラムＡ（ｘ′，ｙ′，θ，ｓ）に対して、最大頻度を与える最適原点位置／回転角／スケールパラメータ（ｘ
^* ，ｙ ^* ，θ ^* ，ｓ ^* ）を算出し、その最大頻度Ｈ _mを特徴点数Ｎ _pで正規化し、その値を類似度Ｓとして算出する。

【００５１】特徴間重み測定ステップ１１５では、良品／不良品のそれぞれについてＮ個の特徴画像に対して、
重み付き一般化ハフ変換および類似度決定をする。 即ち、良品のサンプル画像数をＭ _ok ，不良品のサンプル画像数をＭ _ngとすると、第ｋ特徴画像に対する類似度は、
良品の場合、Ｓ _ok （ｋ，ｍ），ｍ＝１，…，Ｍ _ok ，不良品の場合、Ｓ _ng （ｋ，ｍ），ｍ＝１，…，Ｍ _ngの類似度系列となる。 このように、第ｋ特徴画像に対して、図１
５に示すように良品の類似度分布６３と不良品の類似度分布６４が生成される。 第ｋ特徴画像に対する重みは、
良品の類似度分布６３と不良品の類似度分布６４との開きの度合いによって算出される。 サンプル数が多い場合には、両分布の平均と分散を用いてバタチャリア距離等の距離尺度により開きの度合いが算出されるが、学習サンプルが少ないことも予想されるので、簡易的な統計尺度として、例えば、良品の最悪値、つまり良品中で基準特徴画像から最も離れた値と不良品の最良値、つまり不良品中の良品は最も近い値との距離Ｗ（ｋ）を両分布の開きの度合いとし、これを重み係数とする。 即ち、第ｋ
特徴画像に対する重み係数Ｗ（ｋ）は Ｗ（ｋ）＝ＭＩＮ（Ｓ _ok （ｋ，ｍ）） −ＭＡＸ（Ｓ _ng （ｋ，ｍ））＋ｃ （４） となる。 ここで、ｃはＷ（ｋ）≧０となるように調整する定数である。 この重み係数Ｗ（１）…，Ｗ（Ｎ）は、
図１６に示すように図１４で示した参照データテーブル６１ ₁ 〜６１ _Nの各特徴のヘッダ部分に格納される。

【００５２】特徴組み合わせステップ１１６では、特徴を重み係数Ｗ（ｋ）の大きい順から順に組み合わせる。
まず、重み係数Ｗ（ｋ）は、大きさの大きい順にソーティングされる。 その後特徴組み合わせを行うが、特徴の組み合わせ方としては、ＯＲ結合とＡＮＤ結合が考えられる。 ＡＮＤ結合は、組み合わせた特徴画像上の同じ特徴点の値が同時に成立するときのみ、重み付き一般化ハフ変換におけるインクリメント、つまりその特徴点についての荷重累積加算をする。 ここで、加算するｗ（特徴点重み）は、例えば、特徴間で平均化した値を用いる等が考えられる。 ＯＲ結合では、重み係数の大きい順に並べ換えられた特徴画像に対し、第ｋ特徴画像に対する一般化ハフ変換の累積ヒストグラムをＡ（ｋ｜ｘ'，
ｙ'，θ，ｓ）とし、上位Ｎ _c個まで組み合わせるとすると、 Ａｃｃ（Ｎ _c ｜ｘ′，ｙ′，θ，ｓ） ＝ΣＷ（ｋ）Ａ（ｋ｜ｘ′，ｙ′，θ，ｓ） （５） （ただし、ΣはＮ _c個の総和）となる荷重加算累積ヒストグラムＡｃｃ（Ｎ _c ｜ｘ′，ｙ′，θ，ｓ）を算出する。 ここで、累積ヒストグラムの荷重加算処理は、全てのパラメータ空間の値に対して実行するのではなく、効率化のために、ピーク値に近い近傍のみに対して実行する。

【００５３】良品／不良品距離測定ステップ１１７では、上位Ｎ _c個まで組み合わせられた特徴の良品／不良品を分離する度合い（良品／不良品距離）を測定する。
Ａｃｃ（Ｎ _c ｜ｘ′，ｙ′，θ，ｓ）に対して、最大頻度値Ｓ（Ｎ _c ）を算出し、それを基準特徴点数Ｎ _p （Ｎ
_c ），つまりその組み合わせられた特徴の参照テーブル内の特徴点数の和（基準特徴点数も特徴の重み係数の大きい順に並べ換えられている）で正規化した類似度Ｓ
（Ｎ _c ）を算出する。 即ち、 Ｓ（Ｎ _c ）：＝Ｓ（Ｎ _c ）／（Ｎ _p （Ｎ _c ）ΣＷ（ｋ）） （６） （ただし、ΣはＮ _c個の総和）となる。 ここで、良品サンプルに対する正規化類似度分布をＳ _ok （Ｎ _c ，ｍ），
ｍ＝１，…，Ｍ _ok ，不良品サンプルに対する正規化類似度分布をＳ _ng （Ｎ _c ，ｍ），ｍ＝１，…，Ｍ _ngとし、両分布に対する開きの度合いＤ（Ｎ _c ）を、簡易的統計尺度として、Ｓ _ok （Ｎ _c ，ｍ）の最小値と、Ｓｎｇ
（Ｎ _c ，ｍ）の最大との差、つまり Ｄ（Ｎ _c ）＝ＭＩＮ（Ｓ _ok （Ｎ _c ，ｍ）） −ＭＡＸ（Ｓ _ng （Ｎ _c ，ｍ）） （７） により算出する。

【００５４】特徴選択終了判定ステップ１１８では、両分布が余裕を持って交差しない、即ち、 Ｄ（Ｎ _c ）−ε＞０ （８） の特徴組み合わせ終了条件が成立するか否かを判定する。 ε（≧０）は余裕度を調整するパラメータである。
εは対象画像によって異なるが、正しくはεを少しずつ大として再評して、系が安定する値とする。 通常、0.１
とか0.２程度の値である。

【００５５】終了条件が成立すれば、良否判定しきい値決定ステップ１１９で、良品と不良品を分離する判定しきい値Ｔ _hを決定する。 Ｔ _hの決定法としては、良否判定のきびしさの程度により、良品の限界値に設定する方法や良品の限界値ＭＩＮ（Ｓ _ok （Ｎ _c ，ｍ））と不良品の限界値ＭＡＸ（Ｓ _ng （Ｎ _c ，ｍ））との中間に設定する方法が考えられる。 一方、終了条件が成立しなければ、特徴組み合わせステップ１１６に戻って特徴組み合わせ数Ｎ _cを１つ増やして、特徴組み合わせ処理を実行する。

【００５６】次に検査処理部２００の処理について説明する。 検査画像入力ステップ２０１において、検査画像を入力する。 検査特徴画像生成ステップ２０２により、
多元セル特徴抽出演算を行い、検査特徴画像を生成する。 この検査特徴画像は、学習過程で終了条件（（８）
式）が成立したときの特徴の組み合わせについて生成する。 画像特徴量子化演算ステップ２０３で、学習過程において算出された最適な量子化レベル数で各特徴毎に画像特徴量子化処理が行われる。 算出されたこの検査量子化特徴画像に対して、重み付き一般化ハフ変換ステップ２０４で、学習処理により決定された特徴組み合わせおよび特徴点重み情報が格納された参照テーブル６１を用いて、（３）式の重み付き一般化ハフ変換を行う。

【００５７】類似度決定ステップ２０５では、学習処理により決定された組み合わせ数Ｎ _cを用いて、（５）式および（６）式の処理を行い、検査類似度Ｓ _tを算出する。 良否判定ステップ２０６では、良否判定しきい値Ｔ
_hを用いて、Ｓ _t ≧Ｔ _hならば良品、Ｓ _t ＜Ｔ _hならば不良品として決定する。 第２の実施例 次に、この発明方法の第２の実施例について、図１７を参照して説明する。 図１７で図７と対応する部分には同一符号付けてあり、第１の実施例と異なる部分を中心に説明する。

【００５８】良品の学習画像を入力して、学習特徴画像生成ステップ１０２で図７での処理と同様に学習特徴画像が生成され、更に学習特徴点位置ずれ補正ステップ１
０３での位置／回転／スケール補正が行われる。 この補正は後で説明する重み付き正規化相関演算を用いてもよい。 まだ特徴点重みｗは決まっていないので、重み付き正規化相関演算におけるｗは特徴点間で同じ値とする。
例えば、ｗ _i （ｋ）＝１，ｉ＝１，…，Ｎ _p （ｋ）とする。 位置ずれ補正された学習特徴画像に対し、図７中のステップ１０４と同様に最適量子化幅で量子化する。

【００５９】更に各特徴点の特徴値ヒストグラムを作成し、その分布から特徴点の重みを決定する。 学習データ格納ステップ３０７で格納する参照テーブル７１のテーブル構造が第１の実施例の場合と異なる。 例えば図１８
に示すように、各特徴画像に対して特徴点数分だけ、
ｘ，ｙ座標値と、特徴値ｆ、特徴点重みｗの系列を格納する。 即ち、第１の特徴画像ｆ（１）については、参照テーブル７１ ₁は各特徴点について（（ｘ _i （1)，ｙ _i
（1)，ｆ _i (1) ，ｗ _i (1) ），ｉ＝１，…，Ｎ _p (1) ）
を格納し、第Ｎの特徴画像ｆ（ｋ）についてはその各特徴点について（（ｘ _i （N)，ｙ _i （N)，ｆ _i (N) ，ｗ _i
(N) ），ｉ＝１，…，Ｎ _p (N) ）を参照テーブル７１ _N
に格納する。

【００６０】学習特徴組み合わせ処理１１０における学習特徴画像生成部ステップ１１１は第１の実施例と同様である。 既に位置ずれ補正がなされている特徴画像については、基準物体の外接矩形枠内の点列のみが対象となる。 この場合回転角θは０，スケール変化率ｓは１と固定してよい。 一方、位置ずれ補正されてない良品画像や不良品画像に対しては、対象点列は学習画像内の全点、
回転角、スケール変化率はフリーとする。 位置ずれ補正を強制的に良品、不良品を問わず実行してもよいが、一般に不良品やノイズが混入した画像に対しては、画像特徴の種類により、位置ずれ補正の性能が異なることから、位置ずれ補正誤差を含めた特徴選択が必要となる。
従って、ここでは、位置ずれ補正は敢て行わないこととする。

【００６１】ステップ１１１で生成した学習特徴画像をステップ１０４で用いた量子化幅で量子化してステップ３０９で重み付き正規化相関演算を行う。 このステップ３０９では、各θ，各スケールｓ，各点（ｘ，ｙ）に対して以下の処理を行う。 各点（ｘ′，ｙ′）を予測される対象原点位置としたとき、学習特徴点特徴値の系列ｆ
_i （ｋ），ｉ＝１，…，Ｎ _p （ｋ），ｋ＝１，…，Ｎ
（特徴点重みの系列：ｗ _i （ｋ），ｉ＝１，…，Ｎ
_p （ｋ））と学習特徴点と同一の相対位置（ｘ′＋ｘ _i
（ｋ），ｙ′＋ｙ _i （ｋ））にある検査画像特徴値ｇ _i
（ｋ），ｉ＝１，…，Ｎ _p （ｋ）との重み付き正規化相関を行う。 ここで、学習特徴点特徴値の、ｘ _i （ｋ），
ｙ _i （ｋ）アドレスは、予測される回転角θ，スケールｓの値に対して、アドレス変換（アフィン変換）されたものを適用する。 予測パラメータ（ｘ′，ｙ′，θ，
ｓ）に対する重み付き正規化相関係数をＡ（ｋ｜ｘ′，
ｙ′，θ，ｓ）とすると、 Ａ（ｋ｜ｘ′，ｙ′，θ，ｓ） ＝Σ（ｗ _i （ｋ）（ｆ _i （ｋ）−ｆ′ _m （ｋ））× （ｇ _i （ｋ）−ｇ′ _m （ｋ））） ／（（Σｗ _i （ｋ））（Σ（ｆ _i （ｋ）−ｆ′ _m （ｋ）） ² × Σ（ｇ _i （ｋ）−ｇ′ _m （ｋ）） ² ） ^1/2 ） （９） となる。 ここで、ｆ′ _m （ｋ），ｇ′ _m （ｋ）は、それぞれ特徴値系列の平均値であり、 ｆ′ _m （ｋ）＝（１／Ｎ _p （ｋ））Σｆ _m （ｋ） (10) ｇ′ _m （ｋ）＝（１／Ｎ _p （ｋ））Σｇ _m （ｋ） である。 Σは何れもｉ＝１からＮ _p （ｋ）までの総和である。 算出されたＡ（ｋ｜ｘ′，ｙ′，θ，ｓ）は、重み付き一般化ハフ変換ではパラメータ空間（ｘ′，
ｙ′，θ，ｓ）に対する累積ヒストグラムであるが、重み付き正規化相関の場合は、パラメータ空間（ｘ′，
ｙ′，θ，ｓ）に対する正規化相関係数分布となる。

【００６２】以下のＡ（ｋ｜ｘ′，ｙ′，θ，ｓ）に対する処理手順は、第１の実施例の処理と同じである。 特徴間重み測定ステップ１１５における特徴画像に対する重み値の格納方法に関しても第１の実施例と同じであり、図１９に示すように、図１８の参照テーブル７１の各特徴のヘッダ部分に重み値Ｗ（ｋ）が格納される。

【００６３】検査処理２００においても、第１の実施例における重み付き一般化ハフ変換スステップ２０４の代わりに重み付き正規化相関演算ステップ３１０で（９）
式による重み付き正規化相関係数が演算される他は第１
の実施例と同様である。 次に、あらかじめ良品の複数の学習画像に対して、濃度画像のダイナミックレンジＲと濃度画像のばらつきσ ²の比として定義されるコントラスト Contrast＝Ｒ／σ ²を測定し、良品の学習画像のコントラストの大小により、マッチング方法を選択することにより、検査対象により柔軟な対応が可能となる。 即ち、エッジ画像のような輪郭特徴画像に基づく重み付き一般化ハフ変換は、ノイズが多くコントラストが低い画像に極めて優れた効果を示す。 一方、ノイズが比較的少なくコントラストが大きい画像には濃度特徴画像のような領域特徴画像に基づく重み付き正規化相関が適している。 従って図２９Ａに示すように、学習画像のコントラストを測定し、しきい値処理することにより、コントラストがしきい値より小さければ輪郭特徴画像を用い図７に示した重み付き一般化ハフ変換を行い学習データを生成し、コントラストがしきい値より大きければ領域特徴画像を用い、図１７に示した重み付き正規化相関演算を行い学習データを生成する。 このようにしてマッチング方法の選択を自動的に行い、より柔軟な検査制御が可能となる。 この場合のしきい値は対象画像により異なり、実験的に決める。

【００６４】また、もっと厳密には、学習画像の輪郭特徴画像に対し図７に示した重み付き一般化ハフ変換を行って良／不良品の類似度分布の分布間距離を測定し、また領域特徴画像に対し、図１７に示した重み付き正規化相関演算を行って良／不良品の類似度分布の分布間距離を測定し、これら分布間距離が大きい方の学習データを選択することにより、最適なマッチング方法を採用することが可能となる。

【００６５】第３の実施例 次に、重み付き相違度演算により検査を行う例として、
ハフ平面の重み付き差分演算に基づく検査の例を図２
０，図２１を用いて説明する。 この実施例は、エッジ点周囲の位相関係を取り込んだ特徴として、広がり度を採用する。 広がり度は、図２２に示すように、各画素からある視野範囲内で放射状に走査したとき、最初のエッジに衝突するまでの距離ｄ _iを各走査方向毎に計数し、走査方向間でのその距離平均Σ ⁿ _i=1 ｄ _i ／ｎを特徴値として定義したものである。 エッジ上では、広がり度は０であり、エッジとしての性質も含んでいる。 ここでのエッジ点は濃度変動の影響を受けにくいゼロクロス点とする。 この実施例は、この広がり度分布と濃度分布の両方の特徴集合を適用し、対象画像の認識能力の向上を目指す。 これらの画像特徴は、ハフ変換において、Coarse
-to-Fineの効率的な認識戦略がとれるように、多重解像度の枠組み（多重解像度平面）の中で記述される。

【００６６】この実施例は「特徴多次元化ハフ変換」に基づく検査処理であって、学習特徴画像生成ステップ１
０２では、複数枚の良品の各学習特徴画像に対して平滑化・再サンプリング処理により圧縮後、指定された解像度レベル毎に特徴抽出され、多重解像度・多層特徴平面に格納される。 ここで、解像度毎に抽出された特徴集合Ωを Ω=(((F _k (x,y),x=1,.,D _x ),y=1,.,D _y ),k=1,.,N _f ) と表す。 ただし、Ｎ _fは特徴数、Ｄ _x ×Ｄ _yは解像度である。

【００６７】第１、第２実施例と同様に、ステップ１０
４で画像特徴量子化を行い、ステップ１０５および１０
６各学習特徴点の特徴値ヒストグラム分布から、各特徴点の重みを決定する。 重みは特徴点の合計があらかじめ決められた特徴点数Ｎ _pになるように正規化されるものとする。 また、同時に、基準画像生成ステップ４０１で各学習特徴点の特徴値ヒストグラムから、最大頻度を与える特徴値か平均値を算出し、それを各特徴点に付与することにより、基準となる特徴画像を生成する。

【００６８】この基準特徴画像に対して、以下の処理を行う。 基準特徴画像に対して、第１の実施例において述べたと同様にの効率化とハフ変換によるマッチングの効率化のために特徴量子化をステップ１０４で行う。 各特徴画像ｋに対し、特徴点(x,y) における特徴値Fk(x,y)
を量子化レベル数Ｉq(k）で量子化したときの特徴値をG
k (x,y)とすると、 G _k (x,y)=((F _k (x,y)-F _min ))/(R _k ))×I _q (k) 0≦G _k (x,y)≦I _q (k)-1 となる。 ただし、Ｆ _minはＦ _kの最小値、Ｒ _kはＦ _kのダイナミックレンジである。

【００６９】ここで、多重ビット平面生成ステップ４０
２において、Ｇ _k (x,y) を、その各量子化レベル（特徴値レベル）に対する(x,y) 平面のＯＮ／ＯＦＦを表現した多重特徴ビット平面Ｂ _kにマッピングする。 即ち、 Ｂ _k =[B _ku (x,y),u=0,...,I _q (k)-1] 例えば、I _q (k)=4 で量子化し、点(x,y) における量子化後の特徴値Ｇ _k (x,y)＝２とすれば、Ｂ _ku (x,y)において、ｕ＝２のときのみビットがＯＮとなり、つまりＢ
_{k 2} (x,y）＝１となり、ｕ≠２ではビットがＯＦＦになり、つまりＢ _{k 0} (x,y)＝Ｂ _{k 1} (x,y)＝Ｂ _{k 3} (x,y)＝０となる。 例えば図２３Ａに示すようなあるセルの３値に量子化された特徴画像（Ｇ _k (x, ｙ））７３は量子化値（特徴値レベル）０の特徴ビット平面（Ｂ _k0 (x,y))７４
と、量子化値（特徴値レベル）１の特徴ビット平面（Ｂ
_{k 1} (x,y)）７５と、量子化値（特徴値レベル）２の特徴ビット平面（Ｂ _{k 2} (x,y)）７６とにマッピングされる。

【００７０】このマッピングを各特徴毎に行い：要素をカスケードに結合して、全ての特徴に対する多重特徴ビット平面Ｂを定義する。 即ち、 [ [B _lu (x,y),u=0,...,I _q (1)-1], ・・・ [B _ku (x,y),u=0,...,I _q (k)-1], ・・・ [B _Nfu (x,y),u=0,...,I _q (Nf)-1]] --->>> B=[B _v x,y),v=0,...,V-1] ここで、Ｖは多重特徴ビット平面Ｂの多重度であり、 Ｖ＝Σ ^Nf _K=1 I _q (k) である。

【００７１】次に、重み付きハフ変換演算ステップ４０
３において、重み付きハフ変換を行う。 即ち、点(x,y）
におけるビットがＯＮのときだけ、 θ = (t−1)Δθ,

【００７２】

【数２】

₀ ) cosθ＋( ｙ−ｙ

₀ ) sinθ なるアドレス変換を行い、（ρ, θ) を

【００７３】

【数３】

₀ )／Δρ, ただし、 ρ

₀ ＝√（Ｄ

_x

² ＋Ｄ

_y

² ）／２

【００７４】

【数４】

₀ ,ｙ

₀ )：原点座標 この操作を全ての(x,y）点(x=1,..,Ｄ

_x ,y=1,..,Ｄ

_y )

に対して実行する。 多重ハフ平面生成ステップ４０４では、以上の操作を多重特徴ビット平面の各ビット平面B

_v (v=0,...,V-1) に対して実行することにより，多重ハフ平面HM HM＝(((h

_v (r,t),r=1,.,D(ρ)),t=1,.,D (θ)),v=0,.,V-

1) を生成する。

【００７５】以上により算出された各特徴点の重み情報と多重ハフ平面の情報は、ステップ１０７で各画像特徴毎に参照テーブルに格納される。 また各ビット平面について各特徴点の位置と重みとを図１４に示したような参照テーブルを作り、テーブルに格納する。 この場合、各特徴点の重みは、同一特徴画像について各ビット平面に共通に用いてもよく、各ビット平面ごとに特徴点の重みをそれぞれ求めてもよい。 図２３では多重ビット平面７
３に対し共通の特徴点重み平面７４を用いた場合である。 これらと参照多重ハフ平面７５とが参照メモリに格納される。

【００７６】学習特徴組み合わせ処理１１０では、良品、不良品の学習画像から、まず、ステップ１１１で学習特徴画像を生成し、学習特徴点位置ずれ値をステップ４０５で学習特徴点位置ずれ補正を行う。 ここで、位置ずれ補正を行うのは、重み付きハフ変換を行う際に、基準画像の特徴点のアドレスとの対応をとり易くするためである。

【００７７】ステップ１７２で位置ずれされた特徴画像は画像特徴量子化し、ステップ４０６で多重ビット平面を作成し、ステップ４０７で基準画像の特徴点の重み値を用いて重み付きハフ変換を行う。 これによりステップ４０８で多重ハフ平面を生成し、ステップ４０９で多重ハフ平面と参照テーブルに格納されている基準画像に対する多重ハフ平面との間で、以下の相違度算出を行う。

【００７８】ここで、相違度算出は、多重ハフ平面同志の位置補正が既になされているので、特徴値レベル（量子化値）ｖに関する２つのハフ平面ｈとh'間の相違度ｄ
ist(v)は以下のように定義される。

【００７９】

【数５】

【００８０】

【数６】

相違度が最小となるずれ量を算出することにより実現される。

【００８１】ビット平面重み測定ステップ４１０で相違度の重み付けを行うが、特徴値レベルｖの重み付け、即ち、ビット平面間の重み付けを行う。 統計的な重み係数は、相違度に関するカテゴリ内分布（例えば良品分布）
とカテゴリ間分布（例えば不良品の良品に対する分布）
が正規分布に従うならば、Bhattacharyyａ距離等が知られているが、学習サンプルは少ない場合が多いので、別の尺度が必要となる。 本実施例では、最もシンプルなカテゴリ内分布の最悪値（例えば良品中の最も悪いもの）
とカテゴリ間分布の最悪値（例えば不良品中の最も良品に近いもの）との距離を尺度とする。

【００８２】各カテゴリ毎の学習サンプル数をＭとしたとき、良品に対する第ｖ特徴値レベルの相違度の良品内分布の系列を dist _W (v)=｛dist _W (1,v),..,dist _W (m,v),..,dist
_W (M,v）｝ とし、不良品のサンプル数をＮとしたとき、良品と不良品との第ｖ特徴値レベルの相違度の良品不良品間分布の系列を dist _B (v)=｛dist _B (1,v),..,dist _B (n',v),..,dist _B (N,
v) ｝ とする。 ここで、第ｖ特徴値レベルに対する重みは W(v)=MIN(dist _B (v))-MAX(dist _W (v))+c となる。 ただし、ｃはW(v)≧０とするためのオフセット値である。

【００８３】一般的には、各特徴値レベルの全ての組み合わせについて検査能力を評価すべきであるが、学習の効率化の観点から、特徴組み合わせステップ４１１で重みが大きい特徴値レベルから順に組み合わせる逐次形特徴選択手順を適用する。 即ち、順序付けされた新たな重み系列を、 W(v)＝SORT[v~W(v)] とおき、重みが大きい順にVr番目まで組み合わせたとき生成される相違度の良品内分布dist _w (m, Ｖ _r ）および良品不良品間分布dist _B (n',Ｖ _r ）は、 dist _W (m,V (n)）＝Σ ^Vr _v=1 (W(v) dist _W (m,v))／Σ ^Vr _v=1 W(v) (11) dist _B (n',V (n))＝Σ ^Vr _v=1 (W(v) dist _B (n',v))/Σ ^Vr _v=1 W(v) (12) となる。 そこで、ステップ４１２では、相違度の良品内分布dist _W (m, Ｖ _r ）および良品不良品間分布dist
_B (n',Ｖ _r ) の相互の開きを与える簡易的な尺度として、良品不良品間分布の系列が良品内分布の系列とオーバラップするカウント数、即ち、

【００８４】

【数７】

_B (n',Ｖ

_r ) のカウント数overlap(n,Ｖ

_r )

を算出する。 このカウント数は、特徴値レベルの組み合わせ数Ｖ

_rを多くするにつれ、一般的には漸近的に０に近づく。 （ここで、ε（≧0)はオーバーラップ数を増やし、その結果として特徴値レベルの組み合わせ数を強制的に増加させ、システムを安全サイドに働かせる安全パラメータである。）しかし、特徴値レベルの組み合わせ数Ｖ

_rを増加させても、カウント数が減少しない場合は、ステップ４１３で特徴値レベルの組み合わせを打ち切る。 そのときの組み合わせ数をLr

^* ，限界のカウント数を不良品のサンプル数Ｎで割った値をＮ

_U

^* (0≦Ｎ

_U

^*

≦１) とする。 即ち、 Ｌr

^* (n)＝OPTMIN[V

_r ~overlap(V

_r )] Ｎ

_U

^* (n)＝overlap(Lr

^* )／N (13) Ｎ

_U * は値が小さいほど検査能力が大きいことを示す評価尺度である。 この評価尺度を、値が高いと検査能力が大きくなるように変換した尺度Ψを Ψ = 1− N

_U

^* (14) とおく。

【００８５】ステップ４１４では、良否判定しきい値は、カテゴリ内（良品内）の相違度分布と、カテゴリ間（良品不良品間）相違度分布の中央、または、良品の限界値（安全パラメータεだけ余裕をとった値）を判定しきい値とする。 一方、検査画像に対してはステップ２０
１で検査特徴画像を生成し、ステップ４２０で位置ずれを補正し、ステップ２０３で検査特徴画像を量子化し、
ステップ４２１で多重ビット平面を生成し、ステップ４
２２で重み付きハフ変換を行い、ステップ４２３で多重ハフ平面を生成し、必要に応じて位置ずれ補正を行い、
更にステップ４２７で学習過程において構成された最適特徴点重み、最適特徴値レベル組み合わせを用いて、ステップ４０４で得た参照多重ハフ平面との相違度を（１
２）式により算出し、ステップ２０６で良否判定しきい値に基づき良否を判別する。

【００８６】第４の実施例 第３の実施例では、特徴点重みを用いた重み付きハフ変換を行ったが、単なるハフ変換としてもノイズの影響や照度環境の変化、濃度変動が存在しても良品／不良品の区別の信頼度が高く、認識率が高く、分類も確実に行うことができる。 この場合の処理の流れを図２４，図２５
に示し、図２０，図２１と対応する部分に同一符号を付けてあり、大部分は同様の処理であるから、主として違いの部分を述べる。 またこの実施例でもエッジ点周囲の位相関係を取り込んだ特徴として、図２２に示した広がり度の分布と、濃度分布の両方の特徴集合を適用した場合である。 この例では量子化した学習特徴画像から多重ビット平面生成ステップ４０２で多重ビット平面Ｂを生成する。 この多重ビット平面Ｂの各ビット平面に対し、
ハフ変換演算ステップ５０１でハフ変換を行う。 図２
０，図２１中の重み付きハフ変換演算ステップにおいてはビットがオンの点（ｘ，ｙ）と対応する点（ρ, θ)
に点（ｘ，ｙ）の特徴点重みＷを累積加算（加算投票）
したが、ステップ５０１では１を加算投票する。 このような多重ハフ平面を生成して、参照データ格納ステップ１０７では前記多重ハフ平面を参照テーブルに格納する。

【００８７】学習特徴組み合わせ処理１１０における位置ずれ補正ステップ４０５ではステップ１０９で入力された画像の特徴画像の重心を座標原点（ｘ _0, ｙ ₀ )に合わせ、姿勢についてはｉ）モーメント演算による主軸方向、ii）平均方向算出、iii)最大頻度方向などによる尺度が考えられるが、ロバスト性とハフ変換との親和性の観点から、最大頻度方向による姿勢の回転補正を行う。
つまり図２０，図２１のステップ４０５と同様の補正を行う。 ステップ４０６で得た多重ビット平面に対し、ステップ５０２では重み付きではなく、単なるハフ変換演算を行う。 このハフ変換演算はステップ５０１での演算と同様の手法による。 このようにしてステップ１０９で入力した学習画像の多重ハフ平面をステップ４０９でステップ１０７で格納した参照ハフ平面に対する相違度の演算、ステップ４０８でのビット平面間の重みの決定、
ステップ４１１での特徴値レベルの組み合わせ、ステップ４１２での良品不良品間分布の系列が良品内分布の最悪値より小となる数、つまりオーバラップする数を計数し、ステップ４１３でカウント数が減少しなくなるまで特徴値レベルの組み合わせ数を増加し、その時、計数値から検査、認識の評価尺度を求め、更にステップ４１４
で良否判定しきい値の決定は図２０，図２１に示した実施例と同様の処理により行う。

【００８８】更に検査処理２００においては入力画像に対し、多重ビット平面を生成するまでは図２０，図２１
の第４実施例と同様であるが、この実施例ではその多重ビット平面に対し、ステップ５０３でその各ビット平面に対し、ハフ変換を行い、つまり図２０，図２１中のステップ４２２での特徴点の重みを１としたハフ変換を行い、予め決められた特徴値レベルについての多重ハフ平面をステップ４２３で生成し、その後、この多重ハフ平面をステップ１０７で得られている参照多重ハフ平面との相違度をステップ４２４で演算し、ステップ２０６で良否判定を行うのは図２０，図２１の実施例を同様の処理により行う。

【００８９】第５の実施例 このような多重ハフ平面を用いる場合に相違度の代わりに類似度を求めて画像検査／認識を行うこともできる。
この場合は図２８に図７、図２０，図２１と対応する部分に同一符号を付けて示すように、ステップ１６４で得られた量子化特徴画像は、ステップ４０２で多重ビット平面に生成され、ステップ１０７でその各ビット平面について、特徴値レベルをインデックスとした特徴点のアドレスが格納された参照テーブルが作られて、メモリに格納される。 学習特徴画像組み合わせ処理では、ステップ１１２で量子化された特徴画像がステップ４０６で多重ビット平面とされ、ステップ１３１でその各ビット平面について、対応参照テーブルを用いて一般化ハフ変換がなされる。 つまり図７中のステップ１１３での処理における加算投票は特徴点の重みＷではなく常に１とされる。 ステップ１１４では各特徴値レベル、つまり各ビット平面ごとに図７のステップ１１４と同様の手法により類似度が演算され、更にステップ１１５では図７中のステップ１１５と同様の処理により、ビット平面間（特徴値レベル間）の重みが決定され、ステップ１１７では組み合わされたビット平面（特徴値レベル）について、図７中のステップ１１７と同様の処理により良品／不良品間距離が求められ、ステップ１１８で図７の場合と同様に、特徴値レベルの組み合わせが決定され、更に同様にしてステップ１１９でしきい値が決定される。 検査処理２００ではステップで得られた量子化特徴画像からステップ４２１で多重ビット平面が生成され、ステップ１３
２でその各ビット平面について、ステップ１０７で格納された参照テーブルを用いて一般化ハフ変換を行い、ステップ２０５で図７中のステップ２０５と同様に類似度を求め、その類似度としきい値とをステップ２０６で比較して良否判定を行う。

【００９０】以上の良否判定の検査尺度は、類似度であったが、取付け位置検査を行う場合には、基準に対する位置ずれ量、回転変化量、スケール変化量が重要となる。 重み付き一般化ハフ変換、重み付き正規化相関演算とも、最大の類似度を与える対象原点の位置、回転量が算出でき、また、スケール変化量も検出できることから、取付け位置検査への適用が可能となる。 以上の各種実施例を分類又は認識に用いる場合は、例えば入力画像が第１乃至第ｎカテゴリの何れに該当するかの判断をするには、第ｉカテゴリ（ｉ＝１，２，…，ｎ）を前記良品とし、それ以外の各カテゴリを前記不良品とし、第ｉ
カテゴリについての学習データ、つまり実施例における参照テーブル（参照ハフ面）を作り、これを用いて、第ｉカテゴリ内類似度分布又は相違度分布と第ｉカテゴリと他のカテゴリ間との類似度分布又は相違度分布とを求め、これら両分布間の各距離から最適の特徴組み合わせ（特徴値レベル組み合わせ）を決定し、検査画像について、第１乃至第ｎカテゴリのそれぞれについて、得られたｎ個の類似度中の最大のもの、又は相違度中の最小のものと対応するカテゴリに、その入力画像のものは属すと、分類又は認識する。

【００９１】図１７に示した重み付き正規化相関演算を行う場合も、図２０，図２１に示したように多重ビット平面を作り、その対応ビット平面間の重み付き正規化相関演算を行い、更に特徴値レベル間（ビット平面内）の重みを求め、特徴値レベルの組み合わせを決定し、その組み合わせについて、入力画像の特徴画像の多重ビット平面と学習画像の特徴画像多重ビット平面との重み付き正規化相関演算を行うようにしてもよい。 図２４，図２
５と図２８との関係と同様に、図２０，図２１について、多重ビット平面について類似度を求め、つまり図７
に示した手法を多重ビット平面にも適用できる。

【００９２】第３実施例においてＮ値のカテゴリに対する認識を行う場合はＮカテゴリ全てを平均的に弁別する評価尺度ＭＥＡＮ（Ｎ _u ^* ）は（１２）式から ＭＥＡＮ（Ｎ _u ^* ）＝Σ _n=1 ^N Ｎ _u ^* （ｎ）／Ｎ となる。 この評価尺度を、値が高い程弁別能力が大きくなるようにする尺度Ψとして次式を用いることができる。

【００９３】Ψ＝１−ＭＥＡＮ（Ｎ _u ^* ） この時のＮカテゴリ全ての平均特徴値レベル組み合わせ数をＭＥＡＮ（Ｌ _r ^* ）とする。 つまり ＭＥＡＮ（Ｌ _r ^* ）＝Σ _n=1 ^N Ｌ _r ^* （ｎ）／Ｎ このΨを特徴値レベル（ビット平面）組み合わせ選択の評価尺度として用いる。

【００９４】未知入力画像と各カテゴリとの相違度は、
予め学習により決定された最適特徴値レベル組み合わせを用いて、（１１）式から次式で表せる。 ｄｉｓ（ｎ，Ｌ _r ^* （ｎ））＝Σ（Ｗ（ｎ，ｖ）ｄｉｓ
ｔ（ｖ））／ΣＷ（ｎ，ｖ） Σはｖ＝１からＬ _r ^* （ｎ）まで この相違度を最小にするカテゴリｎが未知入力画像の認識結果であるが、カテゴリ間で相違度を比較する際に、
予め相違度を正規化する必要がある。 特徴値レベル組み合わせ選択時に決定される各カテゴリごとの相違度のカテゴリ内分布（１０）式とカテゴリ間分布（１１）式との中間値Ｄｍ（ｎ）を用いて、次式で示される余裕度Ｖ
ａを定義する。

【００９５】

【数８】

_m （ｎ）は安全パラメータεを考慮したものである。 Ｖａ＞０で、かつＶａが最大となるカテゴリを、認識結果と決定すべきカテゴリであると判断する。 次に上述した方法を実施する装置の構成例を図２６を参照して説明する。 共通バス８１に、フレームメモリ８２、画像特徴抽出ユニット８３、特徴画像メモリ８４、画像特徴量子化ユニット８５、重み付き類似度（相違度）、演算ユニット８６、参照テーブルメモリ８

７、良否判定ユニット８８、パーソナルコンピュータなどの制御ユニット８９が接続され、更にメモリ８２，８

４，８７、ユニット８３，８５，８６，８８が専用バス９０で相互に接続されている。

【００９６】ビデオカメラユニット９１から図に示していない被検査物が撮影され、これよりの入力画像（検査画像）は図に示してないがＡＤ変換器でデジタル信号としてフレームメモリ８２に蓄えられる。 特徴抽出ユニット８３において、図７、図１７、図２０，図２１中のステップ２０２で行う処理により入力画像から、予め決められて、つまり参照テーブルメモリ８７に記憶されている参照テーブルの各特徴について、特徴画像が抽出されて特徴画像メモリ８４に蓄えられる。 この抽出された特徴画像に対して画像特徴量子化ユニット８５で、図７、
図１７、図２０，図２１中のステップ２０３で行う処理により量子化され、その量子化特徴画像は特徴画像メモリ８４に蓄えられる。 参照テーブル８７には図７の方法では図１６に示した参照テーブル中の、ステップ１１８
で選択が終了した特徴についてのものが記憶され、同様に図１７の方法ではステップ１１８で選択終了した図１
９に示した参照テーブルが、図２０，図２１の方法ではステップ４１３で選択終了した特徴点重みの参照テーブルと参照多重ハフ平面が、図２４，図２５の方法では参照多重ハフ平面が、図２８の方法では特徴点とその重みが格納され、更にこれらと対応して図７、図１７の各ステップ１８、図２０，図２１、図２４，図２５、図２８
のステップ４１４で決められた各しきい値が格納されている。 重み付き類似度（相違度）演算ユニット８６ではメモリ８４中の量子化画像と、参照テーブルメモリ８７
の参照テーブルとを用いて、図７の方法ではステップ２
０４の重み付き一般化ハフ変換演算を行い、図１７の方法ではステップ３１０の重み付き正規化相関演算を行い、図２８の方法では一般化ハフ変換を行い、更にそれぞれ類似度演算を行い、図２０，図２１の方法ではステップ４２１，４２２，４２４における多重ビット平面の生成、その重み付きハフ変換演算、更に相違度算出を行い、図２４，図２５の方法ではステップ４２１、５０
３、４２４における多重ビット平面の生成、ハフ変換演算、相違度算出を行う。 重み付き類似度（相違度）演算ユニット８６の演算結果は良否判定ユニット８８で参照テーブルメモリ８７のしきい値と比較され、その判定結果が制御ユニット８９を通じて外部へ出力され、図に示していない表示器に表示される。 なお良否判定ユニット８８は制御ユニット８９内の機能を利用してもよい。

【００９７】例えば各種部品の良品不良品検査を行う場合、多くの参照データを必要とし、参照データ及びしきい値は外部の磁気ディスクなどの大容量メモリに記憶されてあり、制御ユニット８９に対して検査する部品番号を入力すると、制御ユニット８９が対応する参照テーブルの組及びしきい値を前記大容量メモリから読出して、
参照テーブルメモリ８７にロードして検査を実行する。
この際、しきい値は制御ユニット８９に保持して最終の良否判定を制御ユニット８９で行う。

【００９８】次に参照データ作成部分の装置構成の例を図２７を参照して説明する。 この装置は図２６に示した画像検査装置のもつ機能の大部分を有し、かつ画像検査装置を兼ねている場合も多い。 よって図２６と対応する部分に同一符号を付けてある。 この装置では更に学習特徴点特徴値分布メモリ９３、特徴値分布測定ユニット９
４、特徴点重み決定ユニット９５、類似度（相違度）分布メモリ９６、特徴間重み測定ユニット９７、特徴重み合わせユニット９８、良否しきい値決定ユニット９９が設けられ、かつ特徴画像メモリ８４、特徴点特徴値分布メモリ９３、類似度（相違度）分布メモリ９６はそれぞれ図２６の検査装置と比較して多くのデータを記憶できるように多面構成とされている。

【００９９】この場合は前述したように学習画像がフレームメモリ８２に入力され、それらについてそれぞれ各種の特徴画像が抽出ユニット８３で抽出されて、特徴画像メモリ８４に蓄えられ、これら特徴画像は量子化ユニット８５でそれぞれ量子化されてメモリ８４に再び格納される。 同一の特徴画像について特徴値分布測定ユニット９４でステップ１０５の特徴点特徴値分布が求められ、その特徴点特徴値分布がメモリ９３に蓄えられる。
この特徴点特徴値分布を用いて、特徴点重み決定ユニット９５によりステップ１０６の特徴点重み決定がなされ、各特徴値ごとに各特徴点とその重みとからなる参照テーブルがメモリ８７に格納される。 ただし図２０，図２１の方法ではステップ４０１の基準画像の生成、ステップ４０２の多重ビット平面の生成、ステップ４０３の重み付きハフ変換演算がなされて、多重ハフ平面が生成され、これも参照テーブルメモリ８７に格納される。

【０１００】次に良品学習画像、不良品学習画像を各複数入力して、これらに対する特徴画像を生成し、更にこれを量子化して特徴画像メモリ８４に格納する。 これら量子化特徴画像を、重み付き類似度（相違度）演算ユニット８６でステップ１１３の重み付き一般化ハフ変換演算、ステップ３０９の重み付き正規化相関演算、ステップ４０６乃至４０８の多重ビット平面生成、重み付きハフ変換演算、多重ハフ平面の生成を行い、これらの演算結果から類似度（相違度）を求めてその分布をメモリ９
６に格納する。 特徴間重み測定ユニット９７によりステップ１１５（ステップ４１０）の特徴間重み（ビット平面間重み）が演算されてメモリ９６に格納される。 更に特徴組み合わせユニット９８でステップ１１６（ステップ４１１）により特徴を組み合わせ（ビット平面を組み合わせ）ステップ１１７（ステップ４１２）で良品分布と不良品分布間距離を求め、その距離が前記条件を満すまで特徴（ビット面）の組み合わせが行われる。 その後、良否しきい値決定ユニット９９によりしきい値が決定される。

【０１０１】図２６、図２７の何れにおいても、各ユニットはその１又は複数をＤＳＰ（デジタルシグナルプロセッサ）により構成することができる。

【０１０２】

【発明の効果】第１実施例によれば、図９に示すように、輪郭特徴として例えばエッジ画像においてゼロクロス点を抽出し、エッジの空間周波数を変化させ、最も適したゼロクロス点を一般化ハフ変換を行うことにより、
濃度のオフセット変動や相対的感度低下に影響されにくい特徴抽出機能と、万が一ノイズが存在しても、一般化ハフ変換の多数決の論理により、類似度が変化しないマッチング機能が実現される。 更に、複数の学習画像に対する各特徴点の重み学習により、ノイズに対して安定した特徴点の抽出が保証され、かつ、領域特徴と輪郭特徴という相補的な特徴を併用し解像度の変化も考慮した多元セル特徴抽出の機能を、重み付き一般化ハフ変換に適用し、その特徴に対する重み値を学習処理により画像の性質に合わせて自動決定し、特徴を組み合わせて適用することにより、照明環境やサンプル表面の反射特性が変化しゴミ等の付着により発生する良品サンプル画像の濃度変動が存在する環境に対し、良品／不良品の区別の誤り率が少なく信頼度が高い画像検査が実現できる。 また認識率が高い画像認識や誤り率が低い画像分類が可能となる。

【０１０３】第２実施例によれば、複数の学習画像に対する各特徴点の重み学習により、ノイズに対して安定した特徴点の抽出が保証され、かつ、領域特徴と輪郭特徴という相補的な特徴を併用し解像度の変化も考慮した多元セル特徴抽出の機能を、重み付き正規化相関演算に適用し、その特徴に対する重み値を学習処理により画像の性質に合わせて自動決定し、特徴を組み合わせて適用することにより、照明環境やサンプル表面の反射特性が変化しゴミ等の付着により発生する良品サンプル画像の濃度変動が存在する環境に対し、良／不良品の区別の誤り率が少なく信頼度が高い画像検査方式や認識率が高い画像認識方式、誤り率が低い画像分類方式が実現できる。

【０１０４】第３実施例および第４実施例によれば、照明変化により生じる濃度変化やノイズの存在下でも、互いに相補的な性質を示す広がり度等の多数の特徴集合に対する選択的特徴抽出系をハフ変換の枠組みに適用し、
その結果得られる多重ハフ平面に対する相違度または類似度に基づき認識を行い、識別能力を低下させることなく効率的な画像認識系や画像分類系、また信頼度が高い検査系を構成することができる。

【図面の簡単な説明】

【図１】Ａは検査画像の例を示す図、Ｂは図１Ａの実線１２上の理想濃度変化曲線１３と濃度変動曲線１４の例とこれら曲線の剛性曲線１５を示す図、Ｃは図１Ａ中の領域１１ａの濃度ヒストグラムの例を示す図、Ｄは図１
Ａ中の領域１１ａの従来の検査法による抽出結果を示す図である。

【図２】Ａは基準画像中の基準ウインドウを示す図、Ｂ
は図２Ａ中の基準ウインドウ内の濃度パターンの例を示す図、Ｃは検査画像中のサーチ領域を示す図、Ｄはサーチ領域の濃度パターンと対応基準ウインドウの濃度パターンとの関係例を示す図である。

【図３】従来の一般化ハフ変換を用いた画像検査方法における処理手順を示す流れ図である。

【図４】従来の一般化ハフ変換を説明するための図である。

【図５】基準エッジ画像に対する入力エッジ画像の一般ハフ変換実行時のアキュムレータアレイ（パラメータ空間）に対する投票の様子を示す図である。

【図６】Ａは理想パターンを示す図、Ｂ乃至Ｄは図６Ａ
の理想パターンに対し、それぞれ多少の雑音、回転を含む良品パターンを示す図、Ｅは不良品パターンを示す図である。

【図７】この発明方法の第１実施例の処理手順を示す流れ図である。

【図８】入力画像から多元セル特徴抽出の概念を説明するための図である。

【図９】Ａ乃至Ｄはそれぞれ図６Ｂ乃至図６Ｅに対する空間周波数が異なる画像を示す図である。

【図１０】図９Ａの画像を例とした学習特徴補正画像の例を示す図である。

【図１１】学習ゼロクロス点画像における特徴点特徴位分布の例を示す図である。

【図１２】Ａ乃至Ｄは濃度画像を例とした学習特徴点特徴値分布の各種例を示す図である。

【図１３】第１実施例におけるゼロクロス点画像の参照テーブルの例を示す図である。

【図１４】Ｎ特徴の場合の参照テーブルの例を示す図である。

【図１５】不良品類似度分布（カテゴリ間類似度分布）
と良品類似度分布（カテゴリ内類似度分布）との開きの度合（距離）の概念を示す図である。

【図１６】第１実施例における参照テーブルに特徴重みを登録した状態を示す図である。

【図１７】この発明方法の第２実施例の処理手順を示す流れ図である。

【図１８】第２実施例における参照テーブルの例を示す図である。

【図１９】図１８の参照テーブルに特徴重みを登録した状態を示す図である。

【図２０】第３実施例の参照データ生成における処理手順を示す流れ図である。

【図２１】第３実施例の検査処理における手順を示す図である。

【図２２】広がり特徴の例を示す図である。

【図２３】特徴画像とその多重ビット平面との関係と参照テーブルとを概念的に示す図である。

【図２４】第４実施例の参照データ生成における処理手順を示す流れ図である。

【図２５】第４実施例の参照データ生成における処理手順を示す流れ図である。

【図２６】この発明の画像検査／認識装置の実施例を示すブロック図である。

【図２７】この発明の参照データ生成装置の実施例を示すブロック図である。

【図２８】この発明の第５実施例の処理手順を示す流れ図である。

【図２９】ＡおよびＢはそれぞれ学習画像について特徴画像選択の手順を示す流れ図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐橋 襄治 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内 (72)発明者 大原 秀一 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内 (72)発明者 三ツ矢 英司 東京都千代田区内幸町１丁目１番６号 日 本電信電話 会社内