【発明の詳細な説明】 本発明は、物体上のフィーチャー、例えば、プリントされたテキストの方位を、物体の方位を決定するための順フィード ニューラル網の形式の判定装置を含む網を使用して検出するための技術に関する。

発明の背景 組み立てプロセスが“ジャスト イン タイム（Just I
n Time）”運転に近付くに従って、自動検査がより重要な技術となる。例えば、製造動作と検査との間の密接なループが作られ、これによって、製造設定に起因するエラーが発生した場合、最低数以上の欠陥品目が製造されないように保証される。これは、ロット或はバッチ単位の製品が製造された後に初めてエラーが検出される従来のバッチ製造と対照的である。迅速な検出は他の長所も持つ。例えば、回路パケットの表面搭載アセンブリーにおいては、半田付けされる前に、最初に、要素が粘着剤にて所定の位置に保持される。従って、この据え付け動作の後のライン内に置かれた検査システムは、半田付けプロセスが遂行される前にエラーを見付けることができ、こうして、修理コストを最小限に削減する。

回路基板の欠陥を検出するための様々な構成が考案されている。 例えば1977年６月７日付にて、BHシャープ（BHSharp）に交付された合衆国特許第4,028,827号は、物品上の少なくとも二つの異なるタイプの光反射表面の存在或は不在、及びこれらの間の弁別を選択的に達成する為のビデオ システムを開示する。 これらシステムは、回路経路及び半田接続を検査するために使用が可能である。 もう一つの装置がJWマクファーレン（JW
MacFarlane）らに、1986年５月25日付けで交付された合衆国特許4,578,810号において開示されるが、ここでは、自動ビジョン テスターによって、印刷配線基板（printed wiring board,PWB）の欠陥が検出される。 これら検出器は、印刷配線回路を光学的に検出するための
PWBの二進イメージ パターンを形成するアレイの光学センサーを含む。

SPデンカー（SPDenker）らによって、ペニシルバニア州、フィラデルフィウにて、1984年10月に開催された国際テスト会議（International Test Conference）の議事録、ページ、558−563に掲載の論文は、マシーン
ビジョン技術を使用して回路印刷回路器板（Printed ci
rcuit board,PCB）アセンブリー エラーを検出するための自動ビジョン テスターを開示する。 このテスターにおいては、カメラがPCBのイメージを捕捉し、このイメージの電気的表現をコンピューターに送るために使用される。 コンピューターは、PCBイメージのフィーチャーをメモリー内に格納された理想イメージと比較し、アセンブリー エラーの検出を行なう。 もう一つの構成が、ハイブリッド回路（Hybrid Circuits、GB）、No.1
3,1987年、ページ５−８にDJスベトコフ（DJSvetko
ff）らによって発表の論文において開示されるが、ここでは、テスト下の回路基板の三次元マップ及びグレー
スケール（Gray−Scale）ビジョン データの両方を使用する要素基板を自動的に検査するための技術が開示される。 この技術は、要素、例えば、半田ペーストの量の検出及び方位の測定に有効であると説明される。

先行技術は、要素の様々な位置、並びに接続及び全ての要素が回路基板上に正しく置かれているか否かを検査するが、欠陥を持たない品目が、常に、格納されているイメージと同一に見えるような状況に限定される。 先行技術において欠落しているものは、製造の様々な段階、例えば、ホッパーのローディング、半田付け前の基板への要素の搭載、回路基板上へのチップの搭載等の段階において、要素自体の方位を決定するための低コストで、信頼性の高い完全な検査システムを得るための方法が存在しないことである。 更に、先行技術によるシステムのもう一つの問題は、これらシステムが検出された要素と比較するための格納された理想イメージを持たず、一方において、これら要素上のマークが、例えば、日付スタンプの使用、或は、印刷位置及びスタイルの変動のために、大きく変動することである。

発明の概要 先行技術の前述の欠陥及び問題が本発明に従って解決されるが、本発明は、物体、例えば、電気要素上のフィーチャー或はマーク、例えば、文字、数字、商標記号の方位を決定し、それから、その物体自体の方位を決定するための技術に関する。 本発明によるシステムにおいては、物体の全て或は一部のイメージがラインのシンボル或は個々のシンボルを抽出するために使用される。 こうして分離されたシンボルが、次に、各々適当にトリミング及びスケーリングされ正規化されたシンボルが得られる。 その後、例えば、順フィード ニューラル網の形式での最適ベイズ決定法（Optimal Bayesian Decisionmet
hod）によって、所定の数のシンボルが処理された後にテキストの方位が“上向き（right−side up）”であるか、“逆さ向き（upside−down）”であるか、或は“不定（indeterminate）”であるかが決定される。 本発明は、フィーチャー或はマーキングの方位を格納された理想イメージを使用せずに決定するため、これは、内容、
例えば、日付スタンプ及び活字スタイルの変更にインセンシティブであり、一方において、方位に対する要求されるセンシティビティは保持する。

実施例の説明 第１図は、本発明による物体方位検出システムの好ましい構成のブロック図を示すが、このシステムは、要素、
例えば、電気デバイス或はチップ上の情報、例えば、プリントされたテキスト或はマークを読み出し、この情報の方位を決定する。 このシステムは、例えば、しばしば、数百の要素が一つの回路パック上に置かれる電子アセンブリー ライン内に使用することが可能である。 このようなアセンブリー内においては、これら要素は、最初に、例えば、手作業にて、それらのホッパーに入れられるが、セットアップ時或は補給時に、これら要素の対称性から方位エラーが起こる。 多くの物品は、方位マーク、例えば、ノッチ、斜面或はドットを持つが、現在の所、これらマークの標準化が存在せず、また、マークが使用される場合、これらは、通常、コンピューター ビジョン システムにて検出するのが非常に困難である。
前部方位検出問題の幾つかの重要要件として、（１）フィーチャーのきっちりとした特長或は内容、例えば、活字スタイル或はサイズに関する事前の知識が存在しない；（２）フィーチャーが、通常、読みにくく、例えば、プリントは、通常、低品質である；（３）検出が迅速に遂行されなければならない一方、（ａ）誤方位検出の確率が可能な限り高くなければならず、そして（ｂ）
“誤破棄（false reject）”の確率が非常に低くなければならない；そして（４）180度の回転に対して一定不変或はほぼ一定不変であり、どちらの方位からも正しく読めるような多くのフィーチャー、例えば、文字が存在する。 この後者のセクションに関しては、文字Ａ−Ｚ及び数字０−９のセットのうち、約40％（つまり、BHIMOQ
SWXZ01689）は回転的に不変或は回転的に共役不変（con
jugate−invariant）である。 つまり、180度の回転の後の記号が、使用される活字によっては、セットにて、他の記号と同じように見える。 説明の目的上、本発明のシステムは、チップの方位を決定するために使用されるが、本発明のシステムは、その上に単一或は複数のフィーチャー、例えば、コンベア ベルト上のボックス、ボトル上のラベルを持つ任意の物体の方位を決定するために修正することもできる。 さらに、このシステムは、テキスト以外の要素或はマークの方位を決定するためにも同様に適用できる。 このシステムは、入力として、任意のセットの基準イメージを持つことに依存する。

第１図の方位検出システムにおいては、（１）ビデオ
カメラ；（２）ビデオ ピクチャーのフレームと関連するピクチャー信号を捕らえるためのフレーム グラバー；及び（３）例えば、約0.002インチ／画素，及び256
グレイ レベル／画素の実物体スケール（real object
scale）を持つ512x512画素フレームを提供するためのアナログ／デジタル（A/D）ハードウエアを含むビデオ
イメージング デバイス10が準備される。 基準設計データ ベース11が個々の調べられるデバイス、例えば、基板上にアセンブルされるチップのその基板に対する正確なフートプリント或は位置、及び正確に位置された或は挿入されたデバイスに対するフィーチャー方位を格納及び提供するために使用される。 ビデオ イメージ デバイス10からの一例としてのチップの結果としてのイメージが適応域値モジュール（Adaptive Threshold Module,
ATM）12への一つの入力として提供される。

ATM12内において、設計データベース11からのチップのフートプリントが注意をビデオ イメージング デバイス10からのチップのイメージ上の関心のある特定の要素或は領域に向けるために使用され、そして、この結果としての要素或は領域のイメージは、この時点において、
ビデオ イメージング デバイス10によって提供される
256x256画素イメージングのかわりに、例えば、200x130
画素のみを含む。 ATM12は、結果としての要素或は領域のイメージを二進イメージに変換するが、ここで、個々の画素は一例としての256グレイ レベルの一つのかわりに０或は１のレベルのみを含む。 この二進化ステップを省略し、イメージをグレイ スケール データのまま処理することも可能であるが、好ましい実施態様においては、これがより高速、低コストの実施態様を与えるために、ATMニ進化ステップが使用される。 一般に、元の2
56個のグレイ レベルと２個の二進レベルとの間の適当な域値の自動評価は大変困難な問題であるか、但し、本システムにおいては、殆どのケースにおいて、テキストがコントラストの背景上の一つの色として現われ、グレイ レベル ヒストグラムが二つのかなり簡単に決定できるピークを持つために、単純なヒストグラム法が使用できる。 これらピークは、二つのパラメータ、つまり、
ラジアル サーカムスペクション（radial circumspect
ion）とマス域値（mass threshold）の相互作用を満足のできる解が得られるまで適応的に使用することによって決定される。 ラジアル サーカムスペクションは、ヒストグラム内の近似の半径であり、これが、ある値が局所最大であることを検証するために調べられる。 ピークを構成するためには、グレイ レベルが局所最大であり、しかも、マス域値を越える質量を持たなければならない。 この技術は、プリントが黒上のライト或はライト上の黒、等と関係なく、前景が“1"として表わされ、そして背景が“0"として表わされるようにも修正することができる。

ATM12によって生成される二進イメージは、フレーマー モジュール（Framer Module）13に入力として提供され、ここで、イメージのシンボル（文字、数等）が捕えられる。 より具体的には、これらシンボルの捕獲は、例えば、最初に二進イメージの０と１のビットマップ マトリックスの水平総和をとってラインのシンボルを抽出し、次に、個々のシンボルを抽出するためにライン内の垂直総和をとることによって遂行される。 この目的のために、本発明による最適値（quantile thresholds）が使用される。 より詳細には、二進イメージの個々の走査ラインｉに対して、“1"ビットの列の合計ｒ［ｉ］が形成される。 こうして、ｒ［ｉ］はテキストの列のピーク、及びテキストの列の間の谷或はギャップを含む。 これらピーク及びギャップは、テキストのノイズ及び振動によって妨害されることがある。 従って、域値ｄがギャップからピークを分離するために使用される。 ここで、
例えば、ｄ＝δγmax、δは所定の定数、例えば、0.0
7、そしてγmaxは、列の総和ベクトル［］内の最も大きな項目である。 このプロセスは、本質的に、最も上部の走査ラインから開始され、所定の域値の上のピークの開始を探すために順次走査ラインを進み、そして、ある域値の下の谷を求めて、ピーク領域を通じて継続し、ラインのシンボルを抽出する。 小さく見え過ぎるようなライン或はギャップは、ノイズに起因するものとして破棄される。 これらプロセスが二進イメージの行の総和を用いて反復され、個々のシンボルが抽出される。 これら水平及び垂直ヒストグラムの技術は90度の回転を暴露し、直ちにこれを修正できることに注意する。 ATM12のプロセスを通じて分離されたドットをろ波するために、フレーマー モジュール13が所定の定数以下の“接続されたドット質量（connected dot mass）”を持つ領域も無視するために使用される。 このプロセスは、砕かれた有効なシンボルの一部を失うリスクを持つが、認識器手順に対する悪影響は見られない。 フレーマー モジュール13
は、また、シンボルが常に所定の位置にあるときは、省略することができる。 但し、好ましい実施態様においては、このモジュールがプリントの位置がかなり変動する従来の方法にてマークされた電子要素を検査することを可能とするためにこれが使用される。 フレーマー モジュール13は、従って、システム全体に対する変位不変能力（displacement−invariance capability）を与える。

正規化モジュール（Normalization Module、NM）14は、
フレーマー モジュール13からの出力を受信し、個々の抽出されたシンボルを“トリム”及び“スケーリング”
する。 このトリミングは、抽出されたシンボルが両側部、上部及び／或は下部の所に付随する白或は殆ど白の空間を持つことがあるために遂行される。 スケーリングは、シンボル イメージが、例えば、24列x16行の所定の標準サイズを占拠するようにスケール アップするために遂行される。 幾つかのケースにおいては、この正規化プロセスは、元のイメージに歪を与える。 例えば、薄い文字、例えば、文字“I"が、16行を占拠するように“肥大化（fatten）”される。 但しこれは、入力データ及び下に説明の基準ベクトルの両方が同一方法にて変換されるために問題とはならない。 一例としての“I"の肥大化を起こさないこれにかわる方法は、基準及びサンプル イメージの垂直整合ミスに起因する整合ミスを許容できるという潜在的な長所を持つ。 正規化モジュール14
は、シンボルが常に所定のサイズであるときは、省略することができる。 但し、好ましい実施態様においてはNM
14がシステムに対するスケール不変能力（scale−invar
iance capability）を与えるために使用される。

正規化されたシンボルを表わす信号は、次に、判定モジュール15に送られ、ここで、設計データベース11情報を用いて、シンボルの方向が“上”を向いているか、
“下”を向いているか、或は“不確定”であるか否かの決定が行なわれる。 後に説明されるように、その特定の形式が“順フィード（Feed forward、FF）”ニューラル網法とも呼ばれる好ましい最適検出（Optimal Detectio
n,OD）法を使用する判定モジュール15に対する好ましい構成は、例えば、検索テーブルを用いて捕獲されたシンボルと基準イメージのビットマップ間の“類似測定値（similarity measure）”、例えば、ハミング距離（Ha
mming distance）を計算することにより、シンボルの方向が“上”を向いているか、“下”を向いているか、或は、“不確定”であるかの確率を計算する。 シンボル、
例えば、文字は、正常な方位にあるときは、“上”向きであるといわれ、逆転した位置にあるときは、“下”向きであるといわれる。 物体、或はチップは、“上”或は“下”方向を向いた正常に方位したテキストを持つ。 正常に方位したチップは、ここでは“表向き（right−sid
e up）”と呼ばれ、正常でない方位を持つチップは“逆向き（upside down）”と呼ばれる。

より具体的には、観察されたイメージは、長さＮのビットマップである。 つまり、Ω＝｛0,1｝ ^Ｎ内のベクトルである。 “上”向きの方位の時u ₁ 、u ₂ 、・・・u ₃ 、として現われ、“下”向きのときd ₁ 、d ₂ 、・・・dsとして現われる基準イメージ或はシンボル（つまり、様々な活字サイズの文字、数字、商品ログ）の集合が存在するものと想定される。 また、そのイメージに固有のノイズ、イメージ捕獲プロセスに起因するノイズの両方、及び基準セット内にない活字スタイル、サイズ等の使用に起因する変動を表わす歪プロセスが存在するものと想定する。
これら歪みプロセスは、以降、ｐ（x|y）によって表わされるが、これは、基準ベクトルｙが観察されたベクトルｘ内に確率ｐ（x|y）にて歪められることを示す。
又、ｐ（x|u）或はｐ（x|d）は、ベクトルｘが観察される確率であると定義される。 ここで、ベクトルｘは、それぞれu ₁ 、u ₂ 、・・・u ₃或はd ₁ 、d ₂ 、・・・dsの基準セットからランダムに選択されたシンボルの歪である。 従って、確率

₁ ）或はｐ（d

₁ ）は、シンボルが“上”或は“下”の方位を持つとき、それぞれ、シンボルu

₁或はd

₁が使用されるアプリオリ確率である。 上の基準セットのシンボルは、例えば、様々なサイズ、活字スタイル、及び方位の文字Ａ−Ｚ、及び数字０−９から成る。 スケーリング動作が正規化モジュール14内において遂行されるが、基準セットの複数のサイズの存在が、活字が、典型的には、スケール不変（scale−invariant）

であるために要求されることに注意する。

この問題の一つの公式化は、従って、Ωの判定“上（u
p）”、“下（down）”或は“不確定（indeterminat
e）”を表わす領域Ωｕ、Ωｄ、Ωｉへの分割を見つけることである。この問題は、“誤破棄（false rejec
t）”の確率の制限内において方位の但しい決定の確率を最大化することである。これは、単一シンボルの方位の最適決定のための以下の実用的な技術を導く。

この技術は、以下を出力する。

ｐ（x|d）/p（x|u）≧λの場合は、ｄ（“下”）、 ｐ（x|d）/p（x|u）≦λ ^-1の場合は、ｕ（“上”）、 その他の場合は、ｉ（“不確定”） 次に、パラメータλ≧１が分析或は実験からできる限り小さいが、ただし、過剰数の誤破棄が存在しないように調節される。

複数のシンボル:x（１）、ｘ（２）、・・・ｘ（Ｌ）から成るチップに対する方位の決定が必要となる。 従って、以下の条件付き独立前提が採用される。

Ｐ｛ｘ（１）,x（２），…,x（Ｌ）|u｝＝Ｐ｛ｘ（１）
|u｝.P｛ｘ（２）|u｝． …Ｐ｛ｘ（Ｌ）|u｝， Ｐ｛ｘ（１）,x（２），…,x（Ｌ）|d｝＝Ｐ｛ｘ（１）
|d｝.P｛ｘ（２）|d｝． …Ｐ｛ｘ（Ｌ）|d｝ 次に、この最適テストは以下の出力を与える。

基板を検査するために割り当てられた時間が十分である場合は、物体上に発見される全てのシンボルを調べることによって最良の結果が得られる。 ただし、通常、全てのシンボルを読まなくても方位に関して非常に高い確かさを得ることが可能である。 これは、A.ウォールド（A.
Wald）による著書『シーケンシャル アナリシス（Sequ
ential Analiysis）』、ドーバー パブリケーション（Dover Publications）、1947年、ページ34−43について説明されるシーケンシャル テスト手順を使用することを示唆する。 この方法においては、シンボルが確率比の累積的な積がある上限λを越えるまで、或は下限λ ^-1
以下に落ちるまで読まれ、その時点において、方位の決定が行なわれる。 これは、チップ当りの平均時間で測定した場合、潜在的にプロセスの十分な高速化を達成する。 ただし、前の分布に関してのバイアスがあったり或は分布に関しての知識が乏しい場合は、緩やかに成長するλ関数を使用するか、或は、この分布を任意の一つの観察の積に制限することが必要となる。

判定モジュール15に上に説明のプロセスを遂行するために順フィード ニューラル網を実現するための一例としての構成が第２図に示される。 第２図において、正規化モジュール14からの入力は、正規化されたシンボルに対するビットマップ（マトリックス）の別個の要素を持ち、これらには、x ₁からx _Nの記号が与えられる。 個々のビットマップ要素xiは、入力として個々の入力ユニット（Input Unit、IU）20 ₁から20 _Nに送られる。 より具体的には、個々の正規化シンボルが24x16要素の一例としてのビットマップ マトリックス内に置かれるように配列された場合、Ｎは384要素に等しくなり、そして、判定モジュール15は、384個の入力ユニット20を含む。 個々の入力ユニット20iからの出力は、Ｍ個のパターン ユニット21 ₁から21 _Mまでに分配される。 ここで、例えば、
Ｍ個のパターン ユニット21の第一の半分が以下の確率を決定するために使用される。

di）を得るためには、歪プロセスについての幾つかの仮定を立てる必要がある。 単純な一例としてのモデルは、

（１）確率ｇ（ｋ）において、ビットマップのｋビット変化され、（２）これらビットが独立した同一に分布するトライアルに従って変化するという想定を行なう。 従って ここで、ｈ（x,ui）はベクトルｘとuiの間のハミング距離を表わす。 この手順のニューラル網の図が第２図に示される。 パターン ユニット21から成る第一のアクティブ層は、上の式に従って、ｐ（x|ui）及びｐ（x|di）を計算する。 総和ユニット22

₁及び22

₂から成る次の層は、

確率ｐ（x|u）及びｐ（x|d）を生成し、シーケンシャル判定ユニット23は、チップに対する最終判定を与える。

第２図の部分及び使用される用語は、DFスペクト（D.

F.Specht）によって、ニューラル網に関するIEEE国際会議議事録（The Proceedings of the IEEE Internationa

l Conference On Neural Networks）、1988年、６月、

カリフォルニア州、サンジエゴ、Vol.1,ページＩ−525

からＩ−532に掲載の論文において使用されるのと類似する。 ただし、このパターン ユニットの内部構造は大きく異なる。 第２図は、直ちに、パラレル実現を示唆する。 第２図内の相互接続上に示される代数量はこれら要素間をパスされる値であり、括弧にて囲まれる量は、倍数ウエートであることに注意する。

このパターン ユニットの内部構造は、シリアルでもパラレルでもあり得る。 このパラグラフの残りの部分においては、“類似測定値（similarity measure）”がハミング距離であるようなパターン ユニット21を十分に実現する方法について説明する。 ハミング距離を計算するための専用のハードウエアがない場合は、これらを迅速に計算するために採用できる技術がある。 この方法では、ビットマップ間のハミング距離は、ビットごとの“排他的OR"を取り、次に、結果としての語内の１ビットの数をリターンする事前に計算されたテーブル検索を使用することによって、一度に一語づつ計算される。 これは、ハミング距離の計算を語当たり数マシーン インストラクションに整理し、現在のマイクロプロセッサにて秒当たり数ミリオン語のオーダーの距離を計算することを可能にする。

第２図の要素20から22の動作が完了した後に、個々のシンボルに対して、出力確率値が得られる。 これらが、シーケンシャル判定ユニット23内の乗数を使用して、FF法にて結合される。 この結果が、次に、シーケンシャル判定ユニット23内の上限および下限域値と比較され、そのチップに対する全体的な決定、或は不確定が生成される。 この手順は、“ストッピング”規則に従って進行する。 つまり、チップ上のシンボルの処理が所定の確かさが得られた時点において中止される。 最後に、このチップに対する結果が、比較器24内において、“設計データベース”内に格納された但しい方位と比較され、そして、設定、例えば、“ストップ オン エラー（stop o
n errors）”或は“ストップ オン エラー プラス
インデシジョン（stop on errors plus indeciions）
に従って、例えば、アラームを動作したりしなかったりするように出力し号が生成される。

順フィード ニューラル網法の上の説明は、説明のためのものであり、限定することを目的とするものではなく、所定の決定を生成するために他の適当な方法を使用することもできる。 例えば、T.コーネン（T.Kohnen）によって、著書『自己編成および連想メモリー（Self−Or
ganization and Associative Memory）』、第二版、スプリンガー バーレッグ（Springer−Verlag）、ページ
199−209に説明される方法と類似する学習ベクトル量子化（Learning Vector Quantization,LVQ）を使用することも可能である。 LVQ法が使用されるときは、判定モジュール15内において得られる結果は、単に、“投票”であり、つまり“上”向きスコアの数が観察の総数で割られるのみであり、FF法におけるように明示的な確率値ではない。

【図面の簡単な説明】

第１図は本発明に従う物体方位検出システムの好ましい実施態様のブロック図であり；そして 第２図は第１図のシステムに使用される判定モジュールのための一例としての構成のブロック図である。 ＜主要部分の符号の説明＞ ビデオ イメージングデバイス……10 適応閾値モジュール……12 フレーマー モジュール……13 正規化モジュール……14 判定モジュール……15 設定モジュール……11