【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は電子部品の実装基板検査装置に係り，特に，電子部品の基板実装後のはんだ付け状態の検査装置に関する。

【０００２】

【従来の技術】従来の装置は特開６１−４１９０６号公報に記載のように，被検査対象であるはんだ付け部に異なった複数のランプで照射し，はんだ付け面に対して，
その都度得られる反射面の値の変化を，受光素子またはテレビカメラによりはんだ付け面の幾つかの傾斜面の画像情報を得る。 この種々の画像情報を数値的演算処理により判断基準を作り高度のソフトにより，はんだの状態別，例えば，はんだ付けの「ａ：良，ｂ：不足，ｃ：過剰，ｄ：ぬれ不良，ｅ：無し，ｆ：リード浮き，ｇ：リードずれなどに分類し判定をしていた。

【０００３】

【発明が解決しようとする課題】上記従来技術は，特に，はんだ表面状態の多様性，及びその進展性，柔軟性について考慮されていない。 つまり，実装基板に搭載する電子部品はより一層高密度化され，小形化され，はんだ付け技術は進歩し，また，当該基板の採用先により，
当然なことながら，その都度，はんだ付けの良，不良を判定する基準は変化する。 従って，その毎に画像情報の数値的演算処理内容を変更する必要がある。

【０００４】しかし，これらの検討は大変に手間の掛かるものであり，非常に困難である。 また，この判定基準を設定することは種々のノウハウの積み重ねが必要であるため高度の解析判定ソフトが必要であり，また，その判定基準を設定は大変困難であり判定も微妙となってきている。 このため判定が不十分であったり，時により検査結果に大きなバラツキが出る為に検査精度が低下するという問題もあった。 また，判定処理時間も長くなり問題であった。

【０００５】

【課題を解決するための手段】本発明は上記の問題を解決するために，電子部品の基板実装後のはんだ付け状態を発光手段により照射し，それぞれの画像を撮像カメラにて撮像し，画像処理装置により必要抽出画像分布データから得られた，各段により構成される形状データの配列分布状態のパターンを認識判定検査するものである。
また，該発光手段は照明角度を順次切り替えるか，相異なる色相の光源を用いて照明する多段多照明手段で，さらに，該照明手段により照明されたはんだ付け面を照明角度に応じて複数の画像の電気信号（画像データ）に変換する手段と，このはんだ付け状態のそれぞれの画像データをもとに，はんだ付け状態を最適に判断する学習認識機能をもったニューロ・ファジィコンピュータの手段により構成される。 なお，このニューロ・ファジィコンピュータの入力層が光電変換機能を有する場合は前記電気信号（画像データ）に変換する手段は必要ない。

【０００６】

【作用】本発明は多段多照明による照明を順次切り替える手段または，相異なる色相の光源を用いて照明された被検査はんだ付け面を複数の角度から撮像し，このはんだ付け面のそれぞれの角度の画像情報を得る。 その後，
このはんだ付け状態の画像詳細情報をデータ化（例えば，画像処理装置により必要抽出画像分布データから得られた，各段により構成される形状コードの配列分布状態のパターンのデータ）し，この画像詳細情報のデータを学習認識機能をもったニューロ・ファジィコンピュータに入力し，はんだ付け状態の各種判定基準の出力との関係を対応させながらはんだ付け状態の各種レベルの豊富なデータにより学習させニューロ・ファジィコンピュータ内のネットワークが最適な判断構成となるように重み付けを実施，構成する。 このようなニューロ・ファジィコンピュータの動作により，微妙なはんだ付けの条件変化に対応し最適に判断を行うものであり，この解決策は判定するための高度解析プログラム即ち高度論理判定アルゴリズムを不要とし，単純な学習のみで誰でも何処でも判定内容を容易に充実させることが出来，はんだ付け状態の検査，測定レベルを的確にし，検査，測定の効率を大幅に向上することが出来る。

【０００７】

【実施例】以下に本発明によるはんだ付けの状態検査装置の一実施例について図面により詳細に説明する。 図１
は，はんだ付けの状態検査装置の主要部簡略構成図である。 同図において，電子部品がはんだ付けされた実装基板１の上方には被検査はんだ付け部への照射角度が変えられる光源，一例として複数の環状の照明装置１１，照明装置１３，照明装置１５，照明装置１７を配置している。 更に撮像カメラ２，２′を上方に配置し，この撮像カメラ２，または２′は画像処理装置３，４及び認識判定装置５に接続される。 尚，実装基板１上面においては電子部品のリード部２１とはんだ付け部２２の側断面図を示してある。

【０００８】図２は図１の実装基板１を拡大したはんだ付け部側面図を示したものである。 同図において，各段各照明装置１１，１３，１５，１７を順次切り替えた場合，各段各照明を入射（入射光：１ａ，３ａ，５ａ，７
ａ）し，反射（反射光：１ｂ，３ｂ，５ｂ，７ｂ）するはんだ傾斜角度を順番に示した詳細状態を示すものである。

【０００９】図３は電子部品のリード部２１とはんだ付け部２２の平面図を示している。 同図の二点鎖線で現したほぼ正方形の枠２３は撮像カメラ２，２′の撮像取り込み範囲を示す。

【００１０】図４は画像処理装置により得たはんだ付けの状態のはんだ形状コードを示した詳細データ状態図を示している。 同図は，多段多照明装置１１，１３，１
５，１７により各照明をはんだ付け面に順次切り替えた場合，撮像カメラ２，２′から得た撮影画像を画像処理装置３によりはんだ面からの相対的に反射率の高い箇所の領域を摘出し画像処理装置４で各画像データを合成して再構築し，表示したものである。 例えば，形状傾斜角度のコード番号１ｃは照明装置１１で照射した場合の相対的に反射率の高い箇所の領域を示し，コード番号３ｃ
は照明装置１３で照射した場合の相対的に反射率の高い箇所の領域を示す。 このように画像処理装置４により各照明に対応した各撮像データは合成される。 従って，図４は画像処理後に得たはんだ面の形状傾斜角度のコード番号をはんだ付け上面より示した詳細データ状態を示していることになる。 なお，形状傾斜角度のコード番号２
ｃは多段多照明装置１１，１３の中間値コード番号，４
ｃは多段多照明装置１３，１５の中間値，コード番号６
ｃは多段多照明装置１５，１７の中間値を画像処理装置３，４により求め設定したものである。

【００１１】図５ははんだ付け上面より示した詳細データ（すなわち，図４）の結果を入力し，認識判定処理し，各種のはんだ付け状態別に分類し出力する認識判定装置５の構成図を示す。 同図において認識判定装置５の構成は公知のニューラルネットワークの一種である学習形階層式パーセプトロンからなる，ニューロ・ファジィコンピュータである。

【００１２】ニューラルネットワークの構成は入力層Ｉ，中間層Ｈ，出力層Ｏである。 ここで各層のニューロンユニットが互いにシナプス結合，すなわち，各シナプス（図示省略）はそれぞれ１個づつ係数を記憶し，他のニューロンユニットからきた信号を受けて，該係数を掛ける作用を介して接続された後，ニューロン（図示省略）に取り込む。 各ニューロンが出す信号は該ニューロンユニットが取り込んだ信号の総和のレベルにより決まる。 記憶している係数が該ニューラルネットワークの持つ知識である。

【００１３】ここで，ニューラルネットワークの学習にはバックプロパゲーションを用いる。 すなわち，始めに入力層Ｉに詳細データを入力し，中間層Ｈを経て出力層Ｏに回答，すなわち，はんだ付け状態別分類を得る。 ニューラルネットワークはこの回答と理想回答とを比較しその差が小さくなるようにシナップス結合を出力層Ｏから中間層Ｈ，入力層Ｉへと逆にだどり，自ら変更していく。 この学習を多くのデータを用いて繰り返すことにより，ニューラルネットワークはあらゆるデータに対して正確な回答を出力するようになる。 すなわち，ニューラルネットワーク内のネットワークが最適な判断構成となるように結合の重み付けを実施されるように構成される。

【００１４】以上のニューラルネットワークの動作式は，まず，順伝播の動作は，入力層ＩにパターンＰが入力されると，中間層Ｈの各ユニットｊは式（１）で示される内部ポテンシャルＵｊを蓄積する。 結合の重み値をＷとし，ｆをシグモイド関数とする。 Ｕｊ＝ΣＷｊｉ・
Ｉｉ＋θｊ−−−−−（１） Ｕｊ：中間層Ｈのユニットの内部ポテンシャル Ｗｊｉ：入力層Ｉのユニットから中間層Ｈのユニットへの結合係数 Ｉｉ：入力層Ｉのユニットの出力 θｊ：中間層Ｈのユニットのオフセット係数 Ｈｊ＝ｆ（Ｕｊ）−−−−−−（２） Ｈｊ：中間層Ｈのユニットの出力 これは，中間層Ｈのユニットの出力が，入力層Ｉのユニットの出力と結合係数の荷重和により求められることを表している。 この内部ポテンシャルＵｊは，例として単調非減少のシグモイド関数ｆ（ｘ）により，中間層Ｈのユニットの出力Ｈｊとなる。 同様に，出力層Ｏの各ユニットｋも次式により求められる。 Ｓｋ＝ΣＶｋｊ・Ｈｊ＋γｋ−−−−−（３） Ｓｋ：出力層Ｏのユニットの内部ポテンシャル Ｖｋｊ：中間層Ｈのユニットから出力層Ｏのユニットへの結合係数 γｊ：出力層Ｏのユニットのオフセット係数 Ｏｋ＝ｆ（Ｓｋ）−−−−−−−（４） Ｏｋ：出力層Ｏのユニットの出力 次に，学習データにもとづく結合係数の逆伝播の動作は，出力層Ｏの出力Ｏｋと教師データＴｋとが一致するように，結合係数の修正値を求める。 学習の評価としては，誤差関数Ｅｐとする。 Ｅｐ＝ｇ（Ｔｐｋ−Ｏｋｐ）−−−−−−（５） を考える。 中間層と出力層の結合係数の更新値△Ｖｋｊ
は，各結合係数を微小変化させたとき，誤差関数への影響δＥｐ／δＶｋｊに比例した量ずつ，最小値へ変化させれば， △Ｖｋｊ＝−α・δＥｐ／δＶｋｊ−−（６） α：定数 結合係数の誤差関数Ｅｐへの影響は δＥｐ／δＶｋｊ＝−θｋ・Ｈｊ−−−（７） θｋ：誤差 新たな結合係数Ｖｋｊは， △Ｖｋｊ＝α・θｋ・Ｈｊ−−−−−−（８） Ｖｋｊ＝Ｖｋｊ（前回）＋△Ｖｋｊ−−−−（９） 同様に，入力層と中間層の結合係数の更新値△Ｗｊｉ
は，各結合係数を微小変化させたとき，誤差関数への影響δＥｐ／δＷｊｉに比例した量ずつ，最小値へ変化させれば， △Ｗｊｉ＝−β・δＥｐ／δＷｊｉ−−−−（１０） β：定数 結合係数の誤差関数Ｅｐへの影響は δＥｐ／δＷｊｉ＝−εｊ・Ｉｉ−−−−（１１） εｊ：誤差 新たな結合係数Ｗｉｊは， △Ｗｊｉ＝β・εｊ・Ｉｉ−−−−（１２） Ｗｊｉ＝Ｗｊｉ（前回）＋△Ｗｊｉ−−−（１３） となる。 この結合の重み値の更新の動作を繰り返す事により，誤差を０に近付けていく学習方法である。

【００１５】本発明の実施例においては，ニューラルネットワークの具体的構成例として，ニューラルネットワークの構成は中間層を二重とした入力層Ｉ，中間層Ｈ，
中間層Ｈ′，出力層Ｏの４層にて，ニューロ・ファジィコンピュータを構成している。 係る中で，ニューラルネットワークの入力層Ｉ，中間層Ｈ，中間層Ｈ′の構成において，中間層Ｈ′の一群はファジィ出力的に結合されている。

【００１６】ニューロ・ファジィコンピュータである該認識判定装置５の入力層Ｉは図４に示した詳細データ状態図に対応し，その画素に対応する（冗長度の多い場合には必要に応じて，一定間隔に間曳いた後）たてデータｎ×よこデータｍ＝ｎｍニューロンユニットを設ける。
この入力層Ｉに画像処理装置４からのデータが入力する。

【００１７】中間層Ｈは入力層Ｉに対応しｐｑのニューロンユニットを実験的に設ける。 中間層Ｈ′は，詳細分類Ｎニューロンユニットに，はんだ状態をファジィ的に出力する一群を設ける。 例えば，はんだ形状計測の要素である，「はんだ高さが，非常に高い，高い，普通，低い，かなり低い」の５分類と，かんだ長さが，「非常に長い，長い，普通，短い，かなり短い」の５分類と，はんだ形状状態の要素であるはんだ部中央の急峻性が，
「非常に急峻，急峻，普通，盛り上がる，かなり盛り上がる」の５分類と，リードに接続する先端付近のはんだ部の平坦性が，「非常に平坦，平坦，普通，平坦が少ない，平坦が全くない」の５分類と，はんだ部とリード位置のずれが，「非常に大，大，普通，少ない，全くない」の５分類の，この群の計２５ニューロンユニットに，さらに別群として，後段の出力層Ｏの認識判定に必要なニューロンユニット数を加えて，中間層Ｈ′のニューロンユニット数Ｎを設けられる。

【００１８】次に，出力層Ｏには認識判定カテゴリ結果の詳細分類Ｍニューロンユニットを設ける。 予め設定した認識判定カテゴリとして各種はんだ付けの状態別，
ａ：良，ｂ：不足，ｃ：過剰，ｄ：ぬれ不良，ｅ：無し，ｆ：リード浮き，ｇ：リードずれ，ｈ：異常などに，Ｍ分類される。

【００１９】学習段階においては，上記係数（知識）を適切な値に修正する事になる。 先ず，はんだ付けの状態の自動分類をするために，予め詳細分類が分かっているはんだ面の形状傾斜角度の特徴パラメータである形状傾斜角度別の形状情報データが，入力層Ｉに，画素分たてデータｎ×よこデータｍ＝ｎｍニューロンユニット入力される。 この時のはんだ付け状態のデータは，はんだ付けの実面積領域，急峻性，平坦性，リード位置との対象性等の形状データをふくんでいる。 学習には，各分類のお手本の例題となるデータと正しい出力値を準備し，例題を入力層Ｉに入力し，中間層Ｈ′の出力をえて，出力層Ｏが出す出力と正しい出力値の差（誤差）が小さくなるように，各シナプスが記憶している係数を更新する。
外部へ出力しない中間層Ｈ′，中間層Ｈについては，お手本に対する直接の誤差を測定出来ないため，出力層Ｏ
と，中間層Ｈ′の一群に表れている誤差を逆伝播させることによって，中間層Ｈ′，中間層Ｈによる誤差を修正する。 具体的には後段の層のニューロンユニットの誤差とシナプスの係数を掛け算し，そのシナプスにつながる前段の層Ｈのニューロンユニットにつたえ記憶している係数を更新し学習する。

【００２０】しかるのちに，任意のはんだ付けの状態を撮像すれば，画像処理し，認識判定し，はんだ付けの状態の結果を抽出し明確にする。 以上の実施例によれば，
簡単な構成と，高級なソフトを使用しないで，必要時に詳細データ状態図即ち画像分布データの入力のみで，はんだ付けの状態をファジィ判定しつつ，認識判定カテゴリのレベルを学習し，検査基準を任意に最適な検査条件を設定できる。 使用時には極めて高速に，正確に判定検査できる。 はんだ付けの状態の条件の変更も学習により容易である。

【００２１】なお，既述の実施例では，図４において形状情報データとして，各撮像される画素毎に，形状傾斜角度のコード番号を記載し構成し表示したが，さらに，
詳細な形状データとして，各画素で撮像される濃度の階調レベルを併せ表示処理することもできる。 即ち，形状傾斜角度のコード１，３，５，７のときの実データ，形状傾斜角度のコード２，４，６，のときは重なり部の平均階調レベルデータが用いられる。 例えば，（コード番号，＆階調レベル）とされる。 （１ｃ＆２５６），（２
ｃ＆１２０）等。 本データを形状データとして，ニューラルネットワークに入力し，出力し，より高度に，認識判定処理される。

【００２２】また，以上の実施例では，図１に示した画像処理装置３，４の動作を分けた例を説明したが，認識判定装置５に含めて実行することも可能である。 すなわち，多段多照明装置１１，１３，１５，１７により各照明をはんだ付け面に順次切り替え毎に，撮影カメラ２，
または２′からの画像データを直接入力する。 はんだ付けの状態の詳細データ状態は各撮影画像のデータを，順次順番にタイミングをとり入力し，前後の比較から，順次，はんだ面からのもっとも反射率の高い箇所の領域を形状データとし，データが重なる毎に情報処理すれば，
一つのはんだ面のデータが入力完了し，時分割的に入力することになり，（画像処理装置３，４を有する場合の空間分割的入力に対し），認識判定装置５のみで，はんだデータから認識判定装置５の入力層Ｉ，中間層Ｈ，中間層Ｈ′，出力層Ｏをえて，はんだ付け状態毎の結果を，学習し，識別し，検査可能である。

【００２３】更に，また認識判定装置５の入力層Ｉに受光出来る面を形成し，撮像カメラ２，または２′の替わりに直接結像面を入力層Ｉの前面（図示省略）に形成する。 この時の図１に示した画像処理装置３，４の動作も認識判定装置５に含められて実行する。 すなわち，多段多照明装置１１，１３，１５，１７により各照明をはんだ付け面に順次切り替え毎に，撮影画像を入力する。
はんだ付けの状態の詳細データ状態は各撮影画像のはんだ面からのもっとも反射率の高い箇所の領域を順次入力することになり，一つのはんだ面のデータが入力完了し，データが重なる毎に情報処理すれば，認識判定装置５のみで，同様の手順で，アナログのデータから認識判定装置５の入力層Ｉ，中間層Ｈ，中間層Ｈ′，出力層Ｏ
をえて，学習し，識別し，検査可能である。 この場合更に最も簡素な構成とすることができる。

【００２４】また，実施例では照明式で説明したがレーザー光線を用いてもよい。 この場合は例えば図１の撮像カメラの位置にレーザー光源を置き多段照明装置のそれぞれの位置にリング状のセンサを設け角度又は高さの画像分布データをもとに入力しても同様の効果が得られることが可能である。 更に，多段の照明装置は当該各段，
すなわち，光の各照射角度に対応して固有の色を発光させることにより，画像分布データの抽出をより高速化することが出来る。 例えば，照明手段を赤色，青色，緑色等の複数の色相とした場合は反射光の色相の違い，変化により照射角度が特定出来るため，時間と共に光源を切換（多段光源の場合）たり，移動（光源を移動することにより照射角度を変える）する必要が無い。

【００２５】

【発明の効果】以上説明したように本発明は，電子部品の基板実装後のはんだ付け状態を多段多照明装置により照射し，それぞれの画像を撮像カメラにて撮像し，画像処理装置により必要画像分布データを，認識判定装置に入力し，ニューラルネットワーク一種である学習形階層式パーセプトロンにてニューラル・ファジィコンピュータを構成し，形状状態のファジィデータも含め，且つはんだ付け状態を高速，正確に認識判定検査する。

【図面の簡単な説明】

【図１】本発明によるはんだ付けの状態検査装置の主要部簡略構成図。

【図２】はんだ付け部拡大側断面図。

【図３】電子部品のリード部とはんだ付け部の拡大平面図。

【図４】本発明によるはんだ形状コードを示した詳細データ状態図。

【図５】本発明に用いる認識判定装置のブロック構成図。

【符号の説明】

１ 実装基板 １１，１３，１５，１７ 照明装置 １ａ，３ａ，５ａ，７ａ 入射光 １ｂ，３ｂ，５ｂ，７ｂ 反射光 １ｃ，３ｃ，５ｃ，７ｃ コード番号 ２，２′ 撮像カメラ ３，４ 画像処理装置 ５ 認識判定装置 Ｉ 入力層 Ｈ 中間層 Ｈ′ 中間層 Ｏ 出力層