다수의 개별 도형 판별용 기계시각 인식 방법 및 장치

제1도는 본 발명에 따른 장치의 구성을 개략적으로 나타낸 실시도.

제2도는 본 발명에 따른 영상처리 유니트를 사용하여 넓은 영역에서 도형을 검사시 그리드(Grid)점 건너뛰기 도달점을 나타내는 도면.

제3도는, 본 발명에 따른 개략 영상중의 도형의 개략적은 중심을 계산하는 원리도.

제4도는 본 발명에 따른 두형 분류 규칙의 설명예시도이다.

* 도면의 주요부분에 대한 부호의 설명

1 : XY 테이블면 3 : 찰영장치

4 : 테이블 5: 촬영장치

6 : 촬영처리 유니트 7 : 영상(影像)표시용 디스플레이

8 : 가공장치 11 : 구동기

20 : 도면

본 발명은 기계 시각 인식 방법 및 장치에 관한 것으로서, 보다 상세하게는 다수의 개별 도형을 포함하는 평면 도면을 촬영하고 그 도형을 영상전기 신호로 변환하고 또한 영상처리 유니트에 입력하여, 개별 도형의 중심 좌표를 알아내고 도형의 크기, 형상과 적절한 연결순서등을 분석하는 장치 및 방법에 관한 것이다.

종래의 인쇄배선기판에 대한 구멍위치 인식절차에 있어서는, 인식공정의 속도, 정밀도 및 신뢰도등이 수동작업에 의하여 제한되었다. 또한 고가의 프로그래밍기가 제조단가를 증가시켰다. 따라서, 인쇄배선기판의 구멍 위치를 고속으로 정밀하게 신뢰성을 가지고 인식할 수 있는 방법 및 장치가 요구되어 왔다.

일반적으로 거래선에 의하여 제공된 인쇄배선 기판상에 구멍을 뚫기전에 생산자는 구멍위치 도면위의 각 구멍의 위치. 크기 및 형상을 분석하여 가장 적합한 구멍 뚫기 경로를 구하므로서 구멍 뚫는 기계의 작업순서를 설정한다. 통상적인 인쇄 배선기판의 구멍 위치 도면 처리 순서는 : (1)구멍위치 도면을 수정하고 투명한 네가티브 필름을 제작하기 위하여 촬영한다. (2) 지름에 따라 구멍들이 색깔별로 분류된다. (수작업처리) (3) 같은색의 같은 종류의 구멍들을 정렬한다(수작업처리) (4) 프로그래밍기(Programmingmachine)를 사용하여 각 구멍의 좌표를 알아낸다.(수작업처리)(5) 구멍위치의 좌표를 컴퓨터에 입력하고 가장 적합한 구멍 뚫는 경로의 순열을 구한다. (6) 구멍위치의 좌표 및 구멍 뚫기 경로의 자료가 디지탈 제어 프로그램으로 변환되어 구멍 뚫는 기계에 입력한다.

본 발명은 상술한 문제 및 요구에 대하여 작업 속도가 빠르고, 또한 정밀도 신뢰성이 높은 기계 시각 인식 방법 및 장치를 개발한 것이다. 즉 본 발명의 주요한 목적은 카메라와 같은 촬영장치를 사용하여 평면도면을 스캐닝하기 용이하도록 다수개의 개별 도형을 가지는 평면도면을 이동할 수 수평적으로 움직이는 XY테이블을 마련하여 구멍의 위치를 인식하도록 영상처리 유니트로 도형의 영상을 전달하고 상기한 수작업절차를 대신하도록 한 것이다.

본 별명의 다른 목적은 제1의 촬영장치가 개략적인 상을 찍고, 제2의 촬영장치가 정밀한 상을 찍는 구조를 이용하여, 특수 영상처리 및 분석 절차를 용이하게 하여, 빠른 작업 속도의 자동 도면 인식 방법 및 장치를 제공하는 것이다. 본 발명의 또 다른 목적은 정밀한 도형의 촬영법과, 자동 2진 드레쉬홀딩(Thresholding)법 및 기하학적 왜곡의 정정법을 제공하여 높은 정밀도의 자동 도면 판독 방법과 장치를 얻는 것에 있다.

본 발명의 상세한 내용은 첨부한 도면에 의하여 실시예로써 설명하면 다음과 같다.

본 발명의 구성은 제1도에 나타낸 바와같이, XY 테이블면(1)이 하나의 구동기(11)로 제어되어 하나의 평면내에 고정 및 이동할 수가 있고 그 위에 도면(20)이 얹어지며 테이블면(1) 아래에는, 도면(20)을 복제하기 위한 광원이 장착된다. 카메라등의 촬영장치(3)는 지지프레임(4)위에 고정되며 도면을 개략적으로 촬영한다.

다른 촬영장치(5)도 도면(20)을 세밀하게 촬영하기 위하여 지지프레임(4)상에 장착된다. 영상처리 유니트(6)는 영상 디지털화 장치 및 통상의 영상분석 소프트웨어를 포함하고 영상처리와 도면 자료의 분석을 하는 동시에 테이블면(1) 촬영장치(3), (5) 및 영상처리 유니트(6) 자체의 작동을 제어하는 소프트웨어를 포함한다. 그 밖에 영상 표시용 디스플레이(7)와 접속할 수가 있고, 또한 테이프 펀치(Tape puncher)또는 도시하지 아니한 처리장치(8)에 접속될 수 있다.

본 발명의 장치의 운용 절차는 다음과 같이 요약된다.

1. 개략적인 도면 촬영장치(3)가 도면(20)을 촬영하여 영상신호로 변환되고 영상처리 유니트(6)로서, 영상위의 각 도형의 개략적은 중심위치를 구한다.

2. 영상처리 유니트(60에 의하여 구해진 각 도형의 개략적인 중심의 영상좌표를 XY 테이블면(도면)의 좌표로 변환한다.

3. 전부의 도형을 적절한 순서로서 배열하여, 각각 정밀한 상을 찍는 경로를 구한다.

4. 보다 작은 범위의 상을 찍는 촬영장치(5)는 상기 절차③에서 얻어진 경로 순서에 의하여, 각 도형을 촬영하고 또한 영상에서 각 도형의 정확한 중심위치, 도형의 크기, 형상등의 자료를 계산한다.

5. 모든 도형의 정밀한 중심위치의 영상좌표 및 영상의 치수를 XY 테이블면이 좌표계로 변환한다.

6. 도형의 크기, 형상에 의하여 도형을 분류 및 배열하여, 영상처리 유니트(6)에 운용자료를 제공한다. 또한 처리절차를 상세하게 설명하면 다음과 같다.

1. 계략적인 영상처리 : 촬영장치(3)가 도면(20)에 대하여 개략적으로 상을 촬영한다. 즉 전체의 도면을 몇 개의 블록으로 나누어서 순서대로 촬영하고, 영상을 자동 2진 드레쉬호울딩법(이하 상술함)으로 처리하여 도달점 도약 검사법으로 각 도형을 탐색하고, 또한 개략적인 중심위치도 계산하여 낸다.

(1) 자동 2진 드레쉬호울딩 : 처리된 영상은 전부 도형에 대한 배경의 강한 흑백 대비 영상이므로, 이하의 1내지 4의 계산순서에 의하여 빨리 해당 2진 드레쉬 호울드가 빨리 판별될 수 있다. 예를 들면, TV 카메라 의하여 포착된 이미지는, 아날로그/디지탈 변환기에 의하여 디지털화될 수 있으며, 메트릭스 형으로 프레임내에 저장될 수 있다. 이미지의 각 요소는 픽셀(Pixel)이라 불리우며, 메모리내에 해당 회색도 값을 가진다. 다수계층 회색도의 영상은 흑백 대비의 밝고 선명한 2계층 영상으로 드레쉬호울드에 따라 전환된다. 즉 도형 범위는 검고 어둡고, 도형 이외의 배경은 밝거나 또는 이와 반대이다.

① 영상위의 제반 픽셀은 영상 디지탈화 장치에 의하여 그 개별적 희색도 값(Gray Level)이 얻어지고 : 영상처리 프로그림은 각 픽셀의 회색도값 각 회색치에 대응하는 픽셀의 수 i=0, 1, 2, 3,...m, 여기에서 : m= 최대 회색도 값 즉 ∑ni=N, N은 전체픽셀 수를 얻는다.

② 평균 분포 회색도값 (t)를 구함으로써 2진 드레쉬 호울드가 결정된다.

그중 Gi=회색도값

③ 다음의 각각의 값을 구한다 : N ₁ , N ₂ , t ₁ , t ₂ ;

N ₁ 회색도 값이 2진 드레쉬 호울드와 같거나 픽셀의 총수이다.

N ₂ 는 회색도값이 2진 드레쉬 호울드와 같거나 큰 픽셀의 총수이다.

t ₁ =t .N ₁ /N ₂

t ₁ 은 왼쪽 옵셋치이다.

t ₂ 는 오른쪽 옵셋치이다.

④ 2진화 회색도 분포 값(T)를 구한다 :

T = 1/2(t ₁ +t ₂ )

(2)그리드점 건너뛰기 검사법(개략적인 영상중에서 도형을 구하는 방법) : 이상적인 도형 탐색 방법은 다음의 요점을 포함한다.

①어떠한 도형도 1회만의 처리인 것.

②처리완료된 도형을 영상위에서 제거하여, 중복처리를 피할 것.

③ 하나의 도형 처리를 완료한 후에, 신속하게 다음의 도형을 탐색하여 하나라도 빠뜨리지 않을 것.

④ 도형 중심 좌표의 계산을 신속히 할 것.

본 발명자들은 상기의 4가지점을 만족시키기 위하여 다음과 같이 독특한 그리드점 건너뛰기 검사법을 개발하였다.

1) 제2도에서 나타낸 바와 같이 모든 영상위에 수평간격 △X, 수직간격 △Y의 망(網) 그리드점(D ₁₁ ),(D ₁₂ ),..., (D ₂₁ ), (D ₂₂ ), ...(D ₃₁ ), ... 등을 설정하고 그리고 순차적으로 그리드점의 명암을 검사하여 도형의 존재를 알아낸다.

이것에서 한도의 어떠한 도약 검사만을 하기 위하여, 작업 속도를 크게 상승할 수 있는 그리드점 간격 △X, △Y의 설정은 최소 도형의 폭(예를들면 도형의 지름)(D _S )을 탐색하여 결정하고 그리고 한쪽 도달의 4도달점은 최소 도형내에 들어가고, 이로 인하여 저하한 도형이더라도 반드시 2개의 그리드점을 포함하며 이에 의하여 그리드점을 검사할때에 도형을 빠뜨리지 않는다. 계산의 편리를 도모하여, 본 발명은 △Y = D _S -C, 를 취하고, △X =1/2 △Y이기 때문에 그중 일반적인 도형의 지름 D _S = 18의 상황에서도 적용하기 위하여 C=2를 사용할 수가 있다.

2)제3도에서와 같이 그리드점 A ₁ 에서 도형 P(A ₁ 어두운 점)를 탐색할 경우에 A ₁ 점을 포함하는 도형 P 범위내의 수평선 단 BC의 중심점 D에서 △Y의 길이에서 아래로 건너뛰어 H 점에 도달하고 이때에 만일 H점이 아직 도형 P 내에 있는 경우에는, 도형 P 도형 범위내에 H 점을 포함하는 수평선 KL을 그리고, 그때에 선위에 포함 가능한 그리드점 A ₄ ,A ₅ 의 DJ두운점을 밝은 점으로 전환하고(도형이 아닌 것을 나타냄)이로 인하여 그후의 검사는 중복되지 않는다. 또한 A ₁ 점을 검사한 후에, 다음의 검사점을 C점의 그리드점(A ₃ )으로 되고, 거기에서 A ₁ 과 C점의 사이에 가능과 어떠한 그리드점 A ₂ 도 검사되지 않는 것이 있다.

3) 그리드점 A ₁ 에서 도형 중심을 구하는 방법은 제3도를 참조하고, 직선 BC에서 그의 중심점 D을 취하고 또한 D에서 위와 아래로 향하여서는 도형 P의 아래 가장자리점 E 및 F를 구하고 직선 EF에서 중심 G로 구하면 도형 P의 중심으로 된다.

2. 각 도형 중심의 영상좌표에서 XY 테이블면(도면) 좌표의 환산 : 각 도형 중심의 영상 위 좌표를 XY 테이블 좌표로 환산할 경우에, 수학적인 방법을 이용하여 영상의 기하학적 변형을 수정하여, 좌표변환의 오차를 최소로 한다. 영상의 변형에는 촬영장치에 있는 렌즈가 발생하는 왜곡, 변형 및 전기 장치에 관한 오차등이 있고 이들 오차는 영상중의 길이와 실제 도면의 상관 길이와는 비선형 관계가 있다. 영상위의 도형의 중심좌표를 정확하고도 신속하게 XY 테이블면 좌표로 전환하기 위하여 본 발명은 1개의 매트릭스 변환법 또는1개의 비중 내 차이법을 운용하여 다음에서 설명한다.

(1) 매트릭스 변환법 :

XY 테이블면 위의 몇 개인가의 이미 알고 있는 좌표 기준점을 이용하여 영상위에서 이들 기준점의 영상 좌표를 알아내고, 상술한 2조의 좌표(XY 테이블면 좌표 및 영상 좌표)에서 1개의 변환 매트릭스(T)를 도출하고, 이것에서 영상과 XY 테이블면 사이의 좌표를 전환한다. 이와같은 매트릭스(T)는 다음의 표시와 같이,

영상위의 임의점에 대하여, 이미 알고 있는 좌표가 (X,Y)일때에 XY 테이블면 위에 대응하는 좌표 (X,Y)는 다음식에서 구하여 진다.

매트릭스[T]를 구하는 방법에 관하여, 4개의 기준점의 영상좌표(uj,vj), j=1,2,3,4 및 대응하는 XY 테이블 좌표(Uj, Vj), j=1,2,3,4를예로서 설명한다.

간단하게 하면 :

즉, [T]는 다음의 메트릭스 방정식으로 구하여 진다.

운용상에는 필요한 정밀도에 따라서 영사을 약간의 개수인 매트릭스형 블록으로 분할하는 각 매트릭스형 블록의 4개의 꼭대기점에서 개별적으로 1개의 전환 매트릭스[T]를 계산하여 좌표의 반환을 행한다.

(2) 특정 비중차별법 :

①영상위의 다수의 기준점의 좌표(ui,vi), i=1,2,3...nn은 정수로서, 예를들면 9이에 대응하는 XY 테이블면 좌표는 (Ui,Vi), i=1,2,3,..., n.

②Ki=Mi를 계산한다 :

Ki=Ui/ui, i=1에서 n까지 ;

Mi=Vi/vi, i=1에서 n까지 ;

③영상위의 임의점에 대하여, 이미 알고 있는 좌표를(x,y)로 하여, 각 기준점(Ui,Vi)의 개별거리 di는, 다음식으로 계산한다:

i=1에서 n까지 ;

④ K, M값을 계산한다 ;

⑤ 영상좌표(x,y)에 대응하는 xy 테이블면 좌표(x,y)를 구한다 :

X=K*Y

Y=M*Y

3. 모든 도형을 적당한 순서로 배열하여, 1개씩의 정밀한 상을 찍는 유효경로를 획득한다 : 본 스텝은, 모든 도형을 순서대로 배열하고, 후에 1개씩 각 도형의 상을 찍는 근거를 제공한다.

이상적인 배열원칙에 의하면, 제1도형에 가장 가까운 도형을 제2도형으로 하여 나란히 하고 또한 제2도형에 가장 가까운 도형을 제3도형으로 하고, 뒤에는 이에 준한다. : 그러나 도형의 수량이 많을때는, 상술한 이상적 원칙으로 배열하면, 많은 시간을 소비하여, 시스템 작업의 속도에 영향을 미친다. 따라서 본 발명은 독특하고 빠른 「영역구분 및 방향 변환 순열법」을 다음과 같이 나타낸다 :

(1)영역 구분 : 효율을 상승시키기 위하여 , 본 발명은 영상처리 유니트(6)가 어떠한 1개의 도형 자료를 정밀하게 계산할때에, XY 테이블(1)이 양측도면 사이에 이동하는 시간보다도 영상처리 유니트(6)가 정밀하게 계산한 도형 자료의 시간이 크도록 고안되었다. XY 테이블면(1)의 이동되는 제한되기 때문에 이로 인하여, 본 발명은 1매 전체면의 도형(20)을 적당히 구분하여, 개별적으로 대부분의 상을 찍음과 처리를 행한다. 구분이 원칙은, 테이블면(1)의 이동하는 블록내의 가장 먼 양측 도형 사이의 거리에 필요한 시간이 영상처리 유니트(6)의 1개의 도형 자료를 정밀하게 계산하는 데에 걸리는 시간보다 짧거나 또는 같은 것이므로, 그후에 각 도형을 1개씩 정밀하게 상을 찍을 때에, 영상처리 유니트(6)의 계산작업은 중단되지 않고 완료된다.

(2) 순열순서 : 제4도에 나타낸 바와같이 앞에서 설명한 그리드점 건너뛰기 검사법에서 얻어진 Y=D _S -C값과 같고, 영상을 △Y*△Y의 정반격자로 구분하면 한쪽격자에 대부분 한 개의 도형 중심과 대응할 수 있는 즉 n조의 도형 중심좌표(Ci(ui,vi), i=1,2... n에 대하여, n조의 수열(ai,bi,i)을 순열순서의 근거로 하여 세울수가 있고 그 중에, I는 도형의 반호로서 1에서 n까지의 정수인 ; ai=(ui/△y)의 정수값을 취하여 도표 Ci의 U측 방향의 위치를 표시하고 : bi=(vi/△y)의 정수값을 취하여, 도포Ci의 v측 방향의 위치를 표시한다. 예를들면, 제4도에 관한 도형(C ₁₎ 에 대응하는 수열은, (2,1,1)이고, 도형(C ₂ )에 대응하는 수열은 (9,1,2)인, ... 등, 이에 기초하여 각 수열의 첫 번째 값 ai 은 작은데서부터 큰 순서로서 각 수열을 배열하고, 수열의 세 번째 값 I에서 도형의 순서를 획 득하고: 첫 번째 값 ai의 수열이 동일하면, 두 번째 값 bi의 대소로서 앞뒤의 순서를 결정하고, 이 경우에는, 이전의 1개의 ai값의 수열의 존재를 vi값의 대소배열을 변환하는 방식의 의하여 결정한다.

제4도를 예로서 열거하면 비교적 용이하게 설명할 수가 있고 화살표로 나타낸 순열(P ₁ ), (P ₂ ),...(P ₉ )등은 1개씩 각각의 도형의 실행순서가 있는가 어떤가를 검사하는 것을 나타내고, 그 중에 화살표(P ₁ )행중에는, 도형이 존재않지 않는 것이어서 (P ₂ )행은 또한 동일 방향에서 검사를 하고 이에 의하여 도형(C ₅ )을 검출한 후에(P ₃ )행이 검사 방향을 변경하여, 도형 (C ₃ )을 획득하고, 그리고 (P ₄ )행이 다시 검사방향을 변경하여 도형 (C ₃ ),(C ₇ )을 획득한다. 이에 관련하여, 각 도형은 도시한 바와같이 화살표로 나타낸 순열(Q)과 연이어 접속되는 경로(C ₅ ), (C ₁ ), (C ₃ ), (C ₇ ), (C ₆ ), (C ₄ ) 및 (C ₂ )순서로서 배열하고, 이것에서 1개씩 상을 찍는 순서의 경로로 하고, 이 방향변환 순서 배열 방법에서는, 각장 적합한 (가장 짧다)경로의 배열에 가장 접근하며 획득하는 속도를 제일 먼저 빨리 할 수 있는 방법이고, 거기에 (C ₁ ), (C ₂ ), (C ₃ ), ...(C ₇ )의 순서로서 배열하는 방법에 비하면 테이블면(1)의 운동거리와 소요시간을 단축 할 수가 있어 작업 효율을 상승시킬 수가 있다.

4. 도형 영상의 순서 처리 : 상을 찍는 범위가 비교적 작은 촬영장치(5)는, 스텝(3)에 의하여 얻어진 경로에서, 도형(20)의 각 도형을 1개씩 상을 찍는다. 물론 상을 찍는 것은 XY 테이블면(1)(도면20)이 고정위치로 이동하였을 때에 상을 찍는다. 그의 확인 방법은 임의의 공지의 검축 수단으로서 XY 테이블면 또는 구동장치가 정지하였는가 아닌가를 알게 된다. 상을 찍은 후에, XY 테이블면(1)은 계속적으로 다음의 위치로 이동하여 영상처리 유니트(6)가 동시에 영상처리를 진행하고 영상은 앞에서 설명한 2진화로서 먼저 처리하고, 또한 상을 찍는 것은 도형 개략중신에 대하기 때문에, 영상의 중심점은 반드시 도형의 범위내에 있고, 따라서 그 중심점에서 사방 둘레를 향하여서 도형의 전부의 변 가장자리점을 구하고, 변 가장자리점의 좌표를 평균하여 도형의 대소와 형상을 판별한다.

5. 각 도형의 정확한 중심위치의 영상좌표를 XY 테이블면 좌표로 환산하는, 즉 도면위의 좌표로 하는 이 방법은 스탭(2)과 동일하다.

6. 스텝(4)에 의하여 구해진 도형의 대소, 형상등의 자료로서 도형을 분류하고, 또한 적당한 순서로서 배열하는 배열 방법은 스탭(3)과 동일하고, 이에 의하여 가공장치에 필요한 제어자료를 제공할 수가 있다. 또한, 이들의 자료는 직접적으로 가공장치에 출력하거나, 또는 테이프 펀쳐로써 기록한 후에, 다시 가공장치로서 사용되는 이 방식은 이미 알려진 기술에 의하여 달성된다.

상술한 바와같이 본 발명은 2개의 촬영장치를 이용하여 테이블면의 이동으로서 도형의 개략 및 각 도형의 순차적인 상을 찍고, 테이블면의 이동과 영상 처리 작업이 동시에 진행되고, 자동 2진화 기술로서 촬영을 2진화하여, 영상처리 유니트의 도형 중심위치, 치수 및 형상 분석계산에 공급하고, 다시 수정기하변형 기능이 있는 좌표 전환방법으로서 테이블면의 대응좌표를 획득하며, 또한 도면 구분 및 도형 변환 순열법으로 유효한 배합과 처리를 하여, 고정밀도의 도면 판별 기능을 달성하고, 이와같이 최초에 창조한 방법과 장치 로서 확실하게 산업상의 이용가치를 갖춘 것이다.