선형 푸시브룸 영상에서 3차원 지상점의 2차원 영상 좌표값을 구하는 방법 { Transformation Method of Three-dimension Object Points onto Two-dimension Image Points for Linear Pushbroom Images }

본 발명은 카메라 등의 영상 취득장치를 이용하여 촬영한 영상에서 3차원 좌표계상의 지상점을 촬영한 영상내의 2차원 좌표계상의 영상 좌표값으로 변환하는 방법에 관한 것이다. 본 발명의 변환방법은 영상의 기하학적 보정, 영상으로부터의 정사투영영상 생성, 및 3차원 지형정보 생성 등에 필수적으로 사용되는 기술이다.

선형 푸시브룸(Pushbroom) 영상이란, 영상 촬영 시에 영상취득장치가 연속적으로 이동하여, 촬영방식 혹은 주사(Scanning)방식에 따라 영상의 각 라인당 혹은 각 부분별로 별도의 초점이 존재하는 영상을 의미한다. 또한 이러한 방식으로 영상을 취득하는 장치를 선형 푸시브룸 센서라 칭한다. 본 명세서에서 별도의 언급이 없는 한, 센서는 선형 푸시브룸 센서를 말한다. 이러한 선형 푸시브룸 영상에 반해 영상에 하나의 초점만이 존재하는 영상을 투시도법(Perspective) 영상이라 한다.

투시도법 영상의 경우, 지표면의 한 지상점(X,Y,Z)에 해당하는 영상 좌표값(x,y) 혹은 (column, row)을 찾는 기술은 이미 개발되어 널리 사용되고 있다. 그러나, 선형 푸시브룸 영상의 경우, 지표면의 한 지상점(X,Y,Z)에 해당하는 영상 좌표값(x,y)을 찾는 문제의 완전한 해법은 개발되지 않았다.

선형 푸시브룸 영상에서, 임의의 한 지상점에 해당하는 영상 좌표값을 찾는 방법으로서 종래에는 뉴튼-래프슨(Newton-Raphson) 방식에 기초하여 해를 구하였다. 그러나, 이러한 뉴튼-래프슨 방식은 초기값에 매우 민감하여, 초기값에 따라 해를 구하지 못하거나 매우 큰 에러를 가지는 해가 구해지는 등의 문제점이 있었다. 따라서, 이렇게 구해진 영상 좌표값은 실제 선형 푸시브룸 영상의 기하학적 보정이나 정사투영영상 생성 등에 적용하기는 매우 어려웠다.

이러한 문제를 해결하기 위하여 종래에는, 지상점(X,Y,Z)에 해당하는 영상 좌표점(x,y)을 직접적으로 찾아내지 못하고 우회하는 방법을 이용하였다. 즉, 여러 영상 좌표점들(xi,yi)에 해당하는 지상점들(Xi,Yi,Zi)을 구한 후, 구해진 지상점들과 이에 해당하는 영상 좌표점들로부터 주어진 지상점(X,Y,Z)에 해당하는 영상 좌표점(x, y)을 유추하는 방식을 이용하였다.

그러나, 이러한 방식의 경우, 불필요한 연산과정이 수반되어 전체 처리시간이 지연되는 문제점이 있다. 또한, 응용분야에 따라 여러 영상 좌표점들(xi,yi)에 해당하는 지상점들(Xi,Yi,Zi)을 구할 수 없는 경우에는 전혀 사용할 수 없는 방식이라는 문제점이 있다.

따라서, 상기와 같은 종래기술의 문제점을 해결하기 위하여 안출된 본 발명의 목적은, 선형 푸시브룸 센서로 촬영한 선형 푸시브룸 영상에서 지표면의 한 지상점(X,Y,Z)에 해당하는 영상 좌표값(x,y)을 직접적으로 찾는 해법을 제공하기 위한 것이다.

도 1은 본 발명에 따라 임의의 지상점에 해당하는 선형 푸시브룸 영상에서의 영상 좌표값을 찾는 방법을 도시한 동작 흐름도,

도 2 및 도 3은 본 발명의 동작 원리를 설명하기 위하여 도시한 그래프도이다.

상기한 목적을 달성하기 위한 본 발명에 따른 선형 푸시브룸 영상에서 3차원 지상점의 2차원 영상 좌표값을 구하는 방법은, 선형 푸시브룸 센서로부터 촬영한 선형 푸시브룸 영상에서 임의의 지상점에 해당하는 영상 좌표값을 구하는 방법에 있어서,

상기 지상점(X,Y,Z)에 해당하는 영상 좌표값(x,y)를 구하기 위한 비선형 공선방정식을 설정하는 제 1 단계와,

상기 지상점(X,Y,Z)에 해당하는 영상 좌표값 중 라인좌표의 초기값을 가정하고 상기 초기값을 이용하여 상기 센서의 자세(회전이동각, κ,φ,ω)를 가정하는 제 2 단계,

상기 센서의 자세정보를 이용하여 상기 공선방정식의 해를 구하는 제 3 단계,

상기 제 3 단계에서 구한 해와 상기 초기값의 차이가 임계치보다 작으면 상기 구한 해를 상기 영상 좌표값의 라인좌표로 설정하고, 상기 차이가 임계치보다 크면 상기 구한 해를 상기 초기값으로 설정하여 상기 제 2 단계와 제 3 단계를 반복 수행하는 제 4 단계; 및

상기 제 4 단계에서 구해진 영상 좌표값의 라인좌표를 상기 공선방정식에 적용하여 영상 좌표값의 컬럼좌표를 구하는 제 5 단계를 포함한 것을 특징으로 한다.

또한, 본 발명에 따르면 선형 푸시브룸 센서로부터 촬영한 선형 푸시브룸 영상에서 임의의 지상점에 해당하는 영상 좌표값을 구하는 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.

이하, 첨부된 도면을 참조하면서 본 발명의 한 실시예에 따른 선형 푸시브룸 영상에서 3차원 지상점의 2차원 영상 좌표값을 구하는 방법을 보다 상세하게 설명하기로 한다.

본 발명에서 제안하는 기술을 설명하기 위해서는 먼저, 영상 촬영 당시의 선형 푸시브룸 센서와 촬영영역 또는 촬영 지표면의 기준좌표계 간의 기하학적 관계,또는 영상 좌표값(x,y)과 지상점(X,Y,Z)간에 존재하는 기하학적 관계를 나타내는 센서 모델이 필요하다. 이러한 선형 푸시브룸 센서의 센서 모델은 아래의 수학식 1과 수학식 2의 공선방정식을 이용하여 표현한다. 그러나, 본 발명은 아래의 수학식 1과 수학식 2에 표현된 선형 푸시브룸 센서의 공선방정식에 의해 한정되지 아니하며, 다소 상이하게 표현되어도 본 발명의 범위에 속한다.

위의 수식에서 f는 카메라의 초점거리이고, (Xs,Ys,Zs)는 선형 푸시브룸 센서의 초점위치, r ₁₁ ∼ r ₃₃ 은 선형 푸시브룸 센서좌표계를 지상 기준좌표계와 일치되도록 회전이동시키는 행렬 R의 각 행렬값이며, 행렬 R은 수학식 3과 같다.

위의 수학식 3에서, κ,φ,ω는 선형 푸시브룸 센서좌표계를 기준좌표계와 일치되도록 각각 Z축, Y축, X축을 중심으로 회전이동하는 회전각이다. 투시도법 센서와는 달리 선형 푸시브룸 센서는 라인당 혹은 부분별로 초점이 존재하고, 또한 라인당 혹은 부분별로 센서의 자세가 바뀔 수 있기 때문에 위의 수학식 1과 수학식 2에서 센서의 선형 푸시브룸 센서의 초점위치(Xs,Ys,Zs)와 회전이동각 κ,φ,ω는 선형 푸시브룸 센서의 촬영방식 혹은 주사방식에 따라 영상 좌표 x값에 대한 선형 혹은 비선형 다항식으로 표현된다.

본 발명에서는 선형 푸시브룸 센서의 공선방정식을 기초한 센서 모델을 이용함으로써, 임의의 다항식으로 표현된 선형 푸시브룸 센서의 초점위치(Xs,Ys,Zs)와 회전이동각 κ,φ,ω에 대해서도 지상점(X,Y,Z)에 해당하는 영상 좌표값(x,y)을 찾는 방법을 제시한다.

이제부터는 선형 푸시브룸 센서에서 촬영한 영상에서 지상점(X,Y,Z)에 해당하는 영상 좌표값(x,y)을 찾는 과정을 설명한다.

먼저, 수학식 1로부터 유도되는 아래의 수학식 4의 방정식을 만족하는 영상 좌표 x값을 구한 후, 구해진 x와 수학식 2를 이용하여 영상 좌표 y값을 구한다.

위의 수학식 4에서, 선형 푸시브룸 센서의 초점위치(Xs,Ys,Zs)는 촬영방식또는 주사방식에 따라 x의 선형 혹은 비선형 다항식으로 표현되며, 행렬값 r ₁₁ , r ₂₁ , r ₃₁ 은 x의 선형 혹은 비선형 다항식으로 표현되는 κ,φ,ω의 사인(sine), 코사인(cosine) 함수들의 조합이다. 따라서, 수학식 4는 x의 비선형 방정식이다.

종래에 제안되었던 기술의 경우, 위의 수학식 4에서 초기값(x ₀ )을 가정하고 이로부터 참값 x를 뉴튼-래프슨 방식에 의하여 계산하였다. 그러나 앞서 설명한 바와 같이 이 뉴튼-래프슨 방식은 초기값에 매우 민감한 방식으로서, 이 초기값(x ₀ )에 따라 해를 아주 못구하거나 구하더라도 아주 다른 해를 구하게 된다. 뉴튼-래프슨 방식을 이용하여 참값 x를 구하려면, 초기값 x ₀ 와 참값 x, 그리고 그 사이에 존재하는 모든 값들에서 수학식 4의 우변에 의하여 정의되는 함수의 2차 미분값의 부호가 동일해야만 한다. 그러나 실제로 수학식 4의 비선형적인 특성 때문에 초기값(x ₀ )을 위의 이러한 조건에 만족하도록 설정하기가 매우 어렵다.

따라서, 본 발명에서는 다음과 같은 과정들을 통해 선형 푸시브룸 영상에서 지상점(X,Y,Z)에 해당하는 영상 좌표값(x,y)을 찾는다.

먼저, 임의의 초기값 x ₀ 을 설정하고(S11), 이 초기값 x ₀ 을 이용하여 선형 푸시브룸 센서의 자세 즉, 회전이동각 κ,φ,ω을 구하고(S12), 이 값들을 수학식 3에 적용하여 행렬값 r ₁₁ ,r ₂₁ ,r ₃₁ 을 계산한다(S13).

이렇게 구한 행렬값 r ₁₁ ,r ₂₁ ,r ₃₁ 을 상수로 취급하여 수학식 4에 대입한다. 이렇게 하면, 수학식 4는 선형 푸시브룸 센서의 초점위치(Xs,Ys,Zs)에 의해 x에 대한 방정식으로 표현되는데, 이 방정식을 만족하는 해를 구하고 이중에서 초기값 x ₀ 에 인접한 해 x ₁ 을 구한다(S14).

다음, 초기값 x ₀ 과 구해진 해 x ₁ 의 차이가 정해진 임계값보다 작으면 찾아진 해 x ₁ 을 영상 좌표 x값으로 설정한다. 그러나, 초기값 x ₀ 과 구해진 해 x ₁ 의 차이가 정해진 임계값보다 크면 x ₁ 을 이용하여 단계 S12부터 반복한다.

이를 일반적으로 설명하면 변수 i를 0으로 초기화하고(S11), x _i 를 이용하여 선형 푸시브룸 센서의 회전이동각, 행렬값, 방정식의 해(x _i+1 )를 순차적으로 구하고(S12,S13,S14), 구해진 방정식의 해(x _i+1 )와 앞서의 x _i 와의 차를 임계값과 비교한다(S15). 두 값의 차이가 임계값보다 작으면 영상 좌표 x값을 x _i+1 로 설정하고(S17), 두 값의 차이가 임계값보다 크면 i를 1증가시켜서(S16) 단계 S12부터 반복한다.

이렇게 영상 좌표 x값이 구해지면 이 x값을 수학식 2에 적용하여 영상좌표 y값을 구한다(S18).

이하에서는 본 발명의 각 과정에서의 동작원리를 도 2와 도 3을 참조하여 설명한다.

도 2는 선형 푸시브룸 센서(혹은 카메라)의 궤적과 센서에 의하여 촬영되는 지표면의 궤적, 그리고 지상점 A(X,Y,Z)과의 관계를 표시한 도면이다. 도 1의 동작 흐름도에서 초기값 x ₀ 에 대한 센서의 회전이동각 κ,φ,ω를 구하고, 행렬값(r ₁₁ , r ₂₁ , r ₃₁ )을 구하는 것은 도 2에 표시된 x ₀ 에 해당하는 센서의 영상 좌표축을 정의하는 과정이다. 이때, 촬영되는 지표면은 점선으로 표시되어 있다. 초기값 x ₀ 은 구하고자 하는 참값(실제 영상 좌표 x값)이 아니므로 x ₀ 에서 촬영한 지표면은 지상점 A를 포함하고 있지 않다.

다음, 이렇게 구해진 행렬값(r ₁₁ , r ₂₁ , r ₃₁ )을 상수로 놓고 수학식 4에 적용한 후 해당 방정식의 해를 구하는 단계는, 초기값 x ₀ 에서 선형 푸시브룸 센서의 자세를 고정시키고 이 선형 푸시브룸 센서에 의해 촬영되는 지표면에 지상점 A가 포함되도록 센서의 위치를 이동시키는 과정이다.

그러나, 도 3에 도시된 바와 같이 실제 x ₁ 에서의 선형 푸시브룸 센서의 자세(회전이동각)는 x ₀ 에서의 자세와는 다르기 때문에, 실제 x1에서 촬영한 지표면에는 지상점 A가 포함되지 않는다. 따라서, x ₁ 을 이용하여 위의 단계를 반복수행하는데, 이는 선형 푸시브룸 센서의 자세를 x ₁ 의 자세로 갱신한 후 센서의 새로운 위치를 구하는 작업을 반복수행하는 과정을 말한다. x ₀ 와 x ₁ 의 차이가 주어진 임계값이하가 되어, 센서의 위치라고 가정한 위치와 가정된 자세에서 구한 센서의 위치가 일치하면 이때의 선형 푸시브룸 센서의 위치를 참값 즉, 영상 좌표 x값으로 설정한다.

본 발명의 핵심은 센서의 자세와 센서의 위치가 복합된 형태로 표현되는 수학식 4식의 해(센서의 위치)를 구하는 과정에서, 센서의 자세를 가정하여 수학식 4를 센서의 위치에 관한 식으로 단순화시켜서 해를 구한다. 일반적으로 선형 푸시브룸 센서의 경우, 센서의 위치를 시간 혹은 x에 대한 선형 다항식으로 표현하기 때문에 본 발명에서 제시한 방법을 사용하면 복잡한 비선형 방정식에서의 해를, 선형방정식에서 해를 구하는 과정을 반복함으로써 구할 수 있다.

위에서 양호한 실시예에 근거하여 이 발명을 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것이다. 이 발명이 속하는 분야의 숙련자에게는 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.

이상과 같이 본 발명에 의하면, 선형 푸시브룸 영상에서 3차원 좌표계로 표현되는 지상점에 해당하는 2차원 영상 좌표값을 직접적으로 계산할 수 있기 때문에, 선형 푸시브룸 영상의 기하학적 보정과정의 수행시간을 크게 단축시킬 수 있을 뿐만 아니라 이 과정의 정확도를 크게 증가시킬 수 있다. 또한, 선형 푸시브룸 영상으로부터 3차원 지형정보를 추출하는 작업에 있어서도 본 발명을 이용하면 보다 빠르고 정확하게 작업을 수행할 수 있게 된다.