首页 / 专利库 / 空中管制 / 无人机导航系统 / 고속 영상 지오레퍼런싱 방법 및 장치

고속 영상 지오레퍼런싱 방법 및 장치

阅读:240发布:2020-12-06

专利汇可以提供고속 영상 지오레퍼런싱 방법 및 장치专利检索,专利查询,专利分析的服务。并且PURPOSE: A method for georefrencing an image and an apparatus thereof are provided to determine the location/posture of UAV through GPS/INS, thereby generating georefrenced geographic information through the location/posture. CONSTITUTION: A GPS/INS(Global Positioning System/Inertial Navigation System)(130) provides location and posture information of a UAV(Unmanned Aero Vehicle)(110) to a georeferencing apparatus(150). A conjugate point extracting unit(152) extracts an observed value of a conjugate point from an image of the UAV. A relation setting unit(154) sets the relation of an observation equation. A replacement unit(156) groups or replaces the elements when there are many elements in the observation equation. A georeferencing unit(158) georeferences the image.,下面是고속 영상 지오레퍼런싱 방법 및 장치专利的具体信息内容。

  • 특정 지역을 촬영을 촬영한 촬영장치로부터 수신된 영상 중 공액점의 관측값을 추출하는 단계;
    상기 추출된 공액점의 관측값과 상기 촬영장치내에 있는 GPS/INS(Global Positioning System/Inertial Navigation System)로부터 수신된 외부표정요의 관측값을 이용하여 후보 외부표정요소 및 후보 지상점 좌표가 포함된 관측방정식(oservation equation)을 설정하는 단계; 및
    상기 관측방정식에서 오차가 최소가 될 때의 후보 외부표정요소 및 후보 지상점 좌표를 외부표정요소 및 지상점 좌표로 결정하고, 상기 결정된 외부표정요소 및 지상점 좌표를 상기 영상에 할당함으로써 지오레퍼런싱하는 단계;를 포함하는 것을 특징으로 하는 영상의 지오레퍼런싱하는 방법.
  • 제 1항에 있어서,
    상기 영상의 개수가 임계 영상 개수 미만인 경우,
    상기 관측 방정식은 하기 수학식과 같은 것을 특징으로 하는 영상의 지오레퍼런싱하는 방법.
    여기서, 은 공액점들에 대한 관측값이고, 은 각각은 후보 외부표정요소 및 지상점 좌표로서 미지수벡터라고도 한다. 은 공선조건식을 미지수벡터에 대해 편미분한 설계행렬, 은 GPS/INS로부터 제공된 외부표정요소에 대한 관측값으로서 지상 좌표계상에서 지구 중심으로부터 외부표정요소의 위치를 나타내는 벡터이다. 또한, 은 미지수 벡터 중 후보 외부 표정 요소에 대해 편미분한 설계행렬이다. 은 관측값와 관계된 오차벡터이다.
  • 제 1항에 있어서,
    상기 영상의 개수가 임계 영상 개수 이상인 경우,
    상기 추출하는 단계는,
    새 영상이 추가되면, 상기 새 영상의 영상좌표계상에서의 기존 영상의 공액점에 대한 제1 관측값( ), 기존 영상의 영상좌표계상에서의 새 영상의 공액점에 대한 제2 관측값( ) 및 상기 새 영상의 영상좌표계상에서의 상기 새 영상의 공 액점에 대한 제3 관측값( )을 추출하는 것을 특징으로 하는 영상의 지오레퍼런싱하는 방법.
  • 제 3항에 있어서,
    상기 설정하는 단계는,
    상기 기존 영상의 외부표정요소, 상기 기존 영상의 지상점 좌표, 상기 제1 내지 제3 관측값 및 상기 새 영상의 외부표정요소에 대한 관측값을 이용하여 관측 방정식을 설정하는 것을 특징으로 하는 영상의 지오레퍼런싱하는 방법.
  • 제 4항에 있어서,
    상기 관측 방정식은 하기 수학식과 같은 것을 특징으로 하는 영상의 지오레퍼런싱하는 방법.
    여기서, 은 기존 영상좌표계상에서의 기존 영상의 공액점에 대한 관측값, 는 현재 영상좌표계상에서의 기존 영상의 공액점에 대한 관측값, 는 기존 영상좌표계상에서의 현재 영상의 추가로 인해 새롭게 생긴 공액점에 대한 관측값 및 는 현재 영상좌표계상에서의 현재 영상의 추가로 인해 새롭게 생긴 공액점에 대한 관측값이다. 은 GPS/INS(130)로부터 제공된 기존 영상의 외부표정요소에 대한 관측값이고, 은 GPS/INS(130)로부터 제공된 현재 영상의 외부표정요소에 대한 관측값이며, 은 공선 조건식을 미지수 벡터 에 대해 편미분한 설계행렬로 아래첨자 1은 기존 미지수벡터와의 관계를, 2는 추가된 미지수벡터와의 관계를 나타낸다. 은 기존 영상의 외부표정요소 및 지상점 좌표에 대한 편미분한 설계행렬이고, 는 현재 영상의 미지수 벡터에 대한 설계 행렬이다. 및 는 기존 영상의 외부표정요소 및 지상점 좌표이고, 및 는 현재 영상의 후보 외부표정요소 및 지상점 좌표로서 미지수 벡터라고 한다. 는 오차 벡터로서, 아래첨자 1은 이전 영상과의 관계, 아래 첨저 2는 새 영상과의 관계를 나타낸다.
  • 제 5항에 있어서,
    상기 영상의 개수가 임계 영상 개수 이상인 경우,
    관측방정식에 포함되어 있는 요소를 그룹화하여 치환하는 단계;를 더 포함하는 것을 특징으로 하는 영상의 지오레퍼런싱하는 방법.
  • 제 6항에 있어서,
    상기 치환하는 단계는,
    하기 수학식과 같이 치환하는 것을 특징으로 하는 영상의 지오레퍼런싱하는 방법.
  • 제 7항에 있어서,
    상기 지오레퍼런싱하는 단계는,
    하기 수학식과 같이 상기 새 영상의 외부표정요소를 결정하는 것을 특징으로 하는 영상의 지오레퍼런싱하는 방법.
    여기서, , 이 고, 이다.
  • 제 8항에 있어서,
    상기 지오레퍼런싱하는 단계는,
    하기 수학식과 같이 상기 새 영상의 지상점 좌표를 결정하는 것을 특징으로 하는 영상의 지오레퍼런싱하는 방법.
    여기서, 및 이다.
  • 특정 지역을 촬영한 촬영장치로부터 수신된 영상 중 공액점의 관측값을 추출하는 공액점 추출부;
    상기 공액점의 관측값과 상기 촬영장치내의 GPS/INS(Global Positioning System/Inertial Navigation System)로부터 수신된 외부표정요소의 관측값을 이용하여 후보 외부표정요소 및 후보 지상점 좌표가 포함된 관측방정식(oservation equation)을 설정하는 관계 설정부; 및
    상기 관측방정식에서 오차가 최소가 될 때의 후보 외부표정요소 및 후보 지상점 좌표를 상기 영상의 외부표정요소 및 지상점 좌표로 결정하고, 상기 결정된 외부표정요소 및 지상점 좌표를 상기 영상에 할당함으로써 상기 영상을 지오레퍼런 싱하는 지오레퍼런싱부;를 포함하는 것을 특징으로 하는 영상의 지오레퍼런싱 장치.
  • 제 10항에 있어서,
    상기 공액점 추출부는,
    새 영상이 추가되면, 상기 새 영상의 영상좌표계상에서의 기존 영상의 공액점에 대한 제1 관측값( ), 기존 영상의 영상좌표계상에서의 새 영상의 공액점에 대한 제2 관측값( ) 및 상기 새 영상의 영상좌표계상에서의 상기 새 영상의 공액점에 대한 제3 관측값( )을 추출하는 것을 특징으로 하는 영상의 지오레퍼런싱 장치.
  • 제 11항에 있어서,
    상기 관계 설정부는,
    상기 기존 영상의 외부표정요소, 상기 기존 영상의 지상점 좌표, 상기 제1 내지 제3 관측값 및 상기 새 영상의 외부표정요소에 대한 관측값을 이용하여 관측 방정식을 설정하는 것을 특징으로 하는 영상의 지오레퍼런싱 장치.
  • 제 12항에 있어서,
    상기 관측 방정식은 하기 수학식과 같은 것을 특징으로 하는 영상의 지오레 퍼런싱 장치.
    여기서, 은 기존 영상좌표계상에서의 기존 영상의 공액점에 대한 관측값, 는 현재 영상좌표계상에서의 기존 영상의 공액점에 대한 관측값, 는 기존 영상좌표계상에서의 현재 영상의 추가로 인해 새롭게 생긴 공액점에 대한 관측값 및 는 현재 영상좌표계상에서의 현재 영상의 추가로 인해 새롭게 생긴 공액점에 대한 관측값이다. 은 GPS/INS(130)로부터 제공된 기존 영상의 외부표정요소에 대한 관측값이고, 은 GPS/INS(130)로부터 제공된 현재 영상의 외부표정요소에 대한 관측값이며, 은 공선 조건식을 미지수 벡터에 대해 편미분한 설계행렬로 아래첨자 1은 기존 미지수벡터와의 관계를, 2는 추가 된 미지수벡터와의 관계를 나타낸다. 은 기존 영상의 외부표정요소 및 지상점 좌표에 대한 편미분한 설계행렬이고, 는 현재 영상의 미지수 벡터에 대한 설계 행렬이다. 및 는 기존 영상의 외부표정요소 및 지상점 좌표이고, 및 는 현재 영상의 후보 외부표정요소 및 지상점 좌표로서 미지수 벡터라고 한다. 는 오차 벡터로서, 아래첨자 1은 이전 영상과의 관계, 아래 첨저 2는 새 영상과의 관계를 나타낸다.
  • 제 13항에 있어서,
    상기 관측방정식에 포함되어 있는 요소를 그룹화하여 치환하는 치환부;를 더 포함하는 것을 특징으로 하는 영상의 지오레퍼런싱 장치.
  • 제 14항에 있어서,
    상기 치환부는,
    하기 수학식과 같이 치환하는 것을 특징으로 하는 영상의 지오레퍼런싱 장치.
  • 제 15항에 있어서,
    상기 지오레퍼런싱부는,
    하기 수학식과 같이 상기 새 영상의 외부표정요소를 결정하는 것을 특징으로 하는 영상의 지오레퍼런싱 장치.
    여기서, , 이고, 이다.
  • 제 16항에 있어서,
    상기 지오레퍼런싱부는,
    하기 수학식과 같이 상기 새 영상의 지상점 좌표를 결정하는 것을 특징으로 하는 영상의 지오레퍼런싱 장치.
    여기서, 및 이다.
  • 说明书全文

    영상 지오레퍼런싱 방법 및 장치 {THE METHOD FOR GEOREFRENCING IMAGE AND THE APPARATUS THEREOF}

    영상을 지오레퍼런싱하는 방법 및 그 장치에 관한 것으로, 보다 구체적으로 실시간으로 영상을 지오레퍼런싱하는 방법 및 그 장치에 관한 것이다.

    최근 급증하는 재난/재해의 발생 빈도와 피해규모, 무인정찰/감시 시스템과 공간정보분야 시장의 확대 전망에 힘입어 무인항공기(Unmanned Aero Vehicle: UAV)에 기반한 공중모니터링 시스템에 대한 관심이 많아졌다. UAV기반 공중모니터링 시스템은 자율자동비행이 가능함으로써 안정적인 매핑이 가능할 뿐만 아니라 운용에 소요되는 시간, 비용, 인력이 상대적으로 적다.

    더욱이 실시간 데이터 전송 기술이 확보됨에 따라 긴급 상황 발생시 대응체계를 신속하고 용이하게 구축할 수 있게 되었다. 그러나 기존 고가의 UAV 기반 시스템은 실시간 데이터 전송 기능은 있지만 지상에서 지오레퍼런싱(georeferencing) 등을 고속자동으로 처리하는 기능을 확보하지 못하고 있는 실정이다.

    특히, 중저가의 GPS/INS를 이용하여 보다 정확하게 UAV의 위치/자세를 결정하고, 이를 통해 지오레퍼런싱된 지형정보를 고속으로 생성하는 기술이 개발되지 않은 상태이다.

    본 발명은 상기한 문제점을 해결하기 위해 특정 지역을 촬영한 영상과 상기한 특정 지역에 대한 GPS/INS로부터 획득한 데이터를 이용하여 실시간으로 영상을 지오레퍼런싱하는 방법 및 이를 적용한 장치을 제공하는 것을 목적으로 한다.

    상기 목적을 달성하기 위한 본 발명에 따른, 영상의 지오레퍼런싱하는 방법은, 특정 지역을 촬영을 촬영한 촬영장치로부터 수신된 영상 중 공액점의 관측값을 추출하는 단계; 상기 추출된 공액점의 관측값과 상기 촬영장치내에 있는 GPS/INS(Global Positioning System/Inertial Navigation System)로부터 수신된 외부표정요의 관측값을 이용하여 후보 외부표정요소 및 후보 지상점 좌표가 포함된 관측방정식(oservation equation)을 설정하는 단계; 및 상기 관측방정식에서 오차가 최소가 될 때의 후보 외부표정요소 및 후보 지상점 좌표를 외부표정요소 및 지상점 좌표로 결정하고, 상기 결정된 외부표정요소 및 지상점 좌표를 상기 영상에 할당함으로써 지오레퍼런싱하는 단계;를 포함한다.

    그리고, 상기 영상의 개수가 임계 영상 개수 미만인 경우, 상기 관측 방정식은 하기 수학식과 같은 것이 바람직하다.

    여기서,

    은 공액점들에 대한 관측값이고, 은 각각은 후보 외부표정요소 및 지상점 좌표로서 미지수벡터라고도 한다. 은 공선조건식을 미지수벡터에 대해 편미분한 설계행렬, 은 GPS/INS로부터 제공된 외부표정요소에 대한 관측값으로서 지상 좌표계상에서 지구 중심으로부터 외부표정요소의 위치를 나타내는 벡터이다. 또한, 은 미지수 벡터 중 후보 외부 표정 요소에 대해 편미분한 설계행렬이다. 은 관측값와 관계된 오차벡터이다.

    또한, 상기 영상의 개수가 임계 영상 개수 이상인 경우, 상기 추출하는 단계는, 새 영상이 추가되면, 상기 새 영상의 영상좌표계상에서의 기존 영상의 공액점에 대한 제1 관측값(

    ), 기존 영상의 영상좌표계상에서의 새 영상의 공액점에 대한 제2 관측값( ) 및 상기 새 영상의 영상좌표계상에서의 상기 새 영상의 공액점에 대한 제3 관측값( )을 추출하는 것이 바람직하다.

    그리고, 상기 설정하는 단계는, 상기 기존 영상의 외부표정요소, 상기 기존 영상의 지상점 좌표, 상기 제1 내지 제3 관측값 및 상기 새 영상의 외부표정요소에 대한 관측값을 이용하여 관측 방정식을 설정하는 것이 바람직하다.

    또한, 상기 관측 방정식은 하기 수학식과 같은 것이 바람직하다.

    여기서,

    은 기존 영상좌표계상에서의 기존 영상의 공액점에 대한 관측값, 는 현재 영상좌표계상에서의 기존 영상의 공액점에 대한 관측값, 는 기존 영상좌표계상에서의 현재 영상의 추가로 인해 새롭게 생긴 공액점에 대한 관측값 및 는 현재 영상좌표계상에서의 현재 영상의 추가로 인해 새롭게 생긴 공액점에 대한 관측값이다. 은 GPS/INS(130)로부터 제공된 기존 영상의 외부표 정요소에 대한 관측값이고, 은 GPS/INS(130)로부터 제공된 현재 영상의 외부표정요소에 대한 관측값이며, 은 공선 조건식을 미지수 벡터에 대해 편미분한 설계행렬로 아래첨자 1은 기존 미지수벡터와의 관계를, 2는 추가된 미지수벡터와의 관계를 나타낸다. 은 기존 영상의 외부표정요소 및 지상점 좌표에 대한 편미분한 설계행렬이고, 는 현재 영상의 미지수 벡터에 대한 설계 행렬이다. 및 는 기존 영상의 외부표정요소 및 지상점 좌표이고, 및 는 현재 영상의 후보 외부표정요소 및 지상점 좌표로서 미지수 벡터라고 한다. 는 오차 벡터로서, 아래첨자 1은 이전 영상과의 관계, 아래 첨저 2는 새 영상과의 관계를 나타낸다.

    또한, 상기 영상의 개수가 임계 영상 개수 이상인 경우, 관측방정식에 포함되어 있는 요소를 그룹화하여 치환하는 단계;를 더 포함하는 것이 바람직하다.

    그리고, 상기 치환하는 단계는, 하기 수학식과 같이 치환하는 것이 바람직하다.

    또한, 상기 지오레퍼런싱하는 단계는, 하기 수학식과 같이 상기 새 영상의 외부표정요소를 결정하는 것이 바람직하다.

    여기서,

    , 이고, 이다.

    그리고, 상기 지오레퍼런싱하는 단계는, 하기 수학식과 같이 상기 새 영상의 지상점 좌표를 결정하는 것이 바람직하다.

    여기서,

    및 이다.

    한편, 상기 목적을 달성하기 위한 본 발명에 따른, 영상의 지오레퍼런싱 장치는, 특정 지역을 촬영한 촬영장치로부터 수신된 영상 중 공액점의 관측값을 추출하는 공액점 추출부; 상기 공액점의 관측값과 상기 촬영장치내의 GPS/INS(Global Positioning System/Inertial Navigation System)로부터 수신된 외부표정요소의 관측값을 이용하여 후보 외부표정요소 및 후보 지상점 좌표가 포함된 관측방정식(oservation equation)을 설정하는 관계 설정부; 및 상기 관측방정식에서 오차가 최소가 될 때의 후보 외부표정요소 및 후보 지상점 좌표를 상기 영상의 외부표정요소 및 지상점 좌표로 결정하고, 상기 결정된 외부표정요소 및 지상점 좌표를 상기 영상에 할당함으로써 상기 영상을 지오레퍼런싱하는 지오레퍼런싱부;를 포함한다.

    그리고, 상기 공액점 추출부는, 새 영상이 추가되면, 상기 새 영상의 영상좌표계상에서의 기존 영상의 공액점에 대한 제1 관측값(

    ), 기존 영상의 영상좌표계상에서의 새 영상의 공액점에 대한 제2 관측값( ) 및 상기 새 영상의 영상좌표계상에서의 상기 새 영상의 공액점에 대한 제3 관측값( )을 추출하는 것이 바람직하다.

    또한, 상기 관계 설정부는, 상기 기존 영상의 외부표정요소, 상기 기존 영상의 지상점 좌표, 상기 제1 내지 제3 관측값 및 상기 새 영상의 외부표정요소에 대 한 관측값을 이용하여 관측 방정식을 설정하는 것이 바람직하다.

    그리고, 상기 관측 방정식은 하기 수학식과 같은 것이 바람직하다.

    여기서,

    은 기존 영상좌표계상에서의 기존 영상의 공액점에 대한 관측값, 는 현재 영상좌표계상에서의 기존 영상의 공액점에 대한 관측값, 는 기존 영상좌표계상에서의 현재 영상의 추가로 인해 새롭게 생긴 공액점에 대한 관측값 및 는 현재 영상좌표계상에서의 현재 영상의 추가로 인해 새롭게 생긴 공액점에 대한 관측값이다. 은 GPS/INS(130)로부터 제공된 기존 영상의 외부표정 요소에 대한 관측값이고, 은 GPS/INS(130)로부터 제공된 현재 영상의 외부표정요소에 대한 관측값이며, 은 공선 조건식을 미지수 벡터에 대해 편미분한 설계행렬로 아래첨자 1은 기존 미지수벡터와의 관계를, 2는 추가된 미지수벡터와의 관계를 나타낸다. 은 기존 영상의 외부표정요소 및 지상점 좌표에 대한 편미분한 설계행렬이고, 는 현재 영상의 미지수 벡터에 대한 설계 행렬이다. 및 는 기존 영상의 외부표정요소 및 지상점 좌표이고, 및 는 현재 영상의 후보 외부표정요소 및 지상점 좌표로서 미지수 벡터라고 한다. 는 오차 벡터로서, 아래첨자 1은 이전 영상과의 관계, 아래 첨저 2는 새 영상과의 관계를 나타낸다.

    또한, 상기 관측방정식에 포함되어 있는 요소를 그룹화하여 치환하는 치환부;를 더 포함하는 것이 바람직하다.

    그리고, 상기 치환부는, 하기 수학식과 같이 치환하는 것이 바람직하다.

    또한, 상기 지오레퍼런싱부는, 하기 수학식과 같이 상기 새 영상의 외부표정요소를 결정하는 것이 바람직하다.

    여기서,

    , 이고, 이다.

    그리고, 상기 지오레퍼런싱부는,

    하기 수학식과 같이 상기 새 영상의 지상점 좌표를 결정하는 것이 바람직하다.

    여기서, 및 이다.

    본 발명에 의하면, 실시간으로 영상을 지오레퍼런싱할 수 있는 효과가 있다.

    이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

    도 1은 본 발명의 일 실시예에 따른 영상을 지오레퍼런싱하는 시스템을 개략적으로 도시한 도면이다.

    도 1에 도시된 바와 같이, 본 시스템은 특정 지역을 촬영하여 지오레퍼런싱장치에 제공하는 UAV(unmanned aero vehicle)(110), 상기한 UAV(110)의 위치 및 자세 정보를 지오레퍼런싱 장치(150)에 제공하는 GPS/INS(Global Positioning System/Inertial Navigation System)(130) 및 실시간으로 영상을 지오레퍼런싱하는 지오레퍼런싱 장치(150)를 포함한다. UAV(110), GPS/INS(130)는 지오레퍼런싱 장치(150)와 유선 또는 무선으로 통신하는 것이 바람직하다.

    UAV(110)에 의해 촬영된 영상은 영상 좌표계상에서의 위치 정보가 포함되어 있고, UAV(110)의 위치 및 자세 정보는 외부표정요소라고도 한다.

    지오레퍼런싱 장치(150)는 공액점 추출부(152), 관계 설정부(154), 치환부(156) 및 지오레퍼런싱부(158)를 포함한다.

    공액점 추출부(152)는 UAV(110)로부터 수신된 영상 중 공액점의 관측값을 추출한다. UAV(110)는 매 프레임마다 촬영된 영상을 지오레퍼런싱 장치(150)로 전송하고, 지오레퍼런싱 장치(150)의 공액점 추출부(152)는 프레임 단위로 영상을 수신 하면서 연속적인 프레임에 공통으로 있는 영상을 공액점으로 추출한다. 공액점을 추출함에 있어서, 공액점의 영상좌표계상에서의 좌표 정보를 추출하는데, 이는 UAV(110)에서 측정된 값이다.

    관계 설정부(154)는 후보 외부표정요소 및 후보 지상점 좌표를 획득하기 위해 공액점 추출부(152)에서 추출된 공액점의 관측값과 GPS/INS(130)로부터 수신된 외부표정요소의 관측값을 이용하여 선형화된 공선조건식에 기초하여 관측방정식(oservation equation)이라는 관계를 설정하는데, 이에 대한 구체적인 내용은 후술하기로 한다.

    여기서 공선조건(Collinearity Condition)은 공간상의 임의의 대상점과 그에 대응하는 촬영된 영상의 대응점 및 촬영센서의 투영중심이 동일한 직선상에 존재하는 조건이고, 공선조건에 의해 수립되는 영상 좌표와 대상점 좌표, 투영중심좌표사이의 관계식을 공선조건식(Collinearity Condition Equation)이라 한다. 이러한 공선조건식을 각각의 미지수에 대해 편미분하여 선형화된 공선조건식의 관계를 설계행렬을 통해 설정한다.

    치환부(156)는 관측방정식에 포함되어 있는 요소가 많은 경우, 상기한 요소를 그룹화하여 치환한다. 즉, 치환부(156)는 관측방정식에 포함되는 영상의 개수가 임계 영상 개수보다 많은 경우에만, 관측방정식에 포함되어 있는 요소를 치환한다. 임계 영상 개수는 가변될 수 있다.

    지오레퍼런싱부(158)는 관계 설정부(154) 또는 치환부(156)에서 설정된 관측방정식에서 오차가 최소가 될 때의 후보 외부표정요소 및 후보 지상점 좌표를 외부 표정요소 및 지상점 좌표로 결정하고, 영상에 결정된 외부표정요소 및 지상점 좌표를 할당함으로써 영상을 지오레퍼런싱한다.

    이하에서는 지오레퍼런싱 장치(150)가 실시간으로 영상을 지오레퍼런싱하는 방법에 대해 구체적으로 설명한다.

    도 2는 본 발명의 일 실시예에 따른 획득된 영상의 개수가 임계 영상의 개수미만인 경우, 영상을 지오레퍼런싱하는 방법에 대한 흐름도이다. 지오레퍼런싱은 프레임단위로 수행되는 것이 바람직하다.

    공액점 추출부(152)는 UAV(110)로부터 영상을 수신하여 영상 중 공액점의 관측값을 추출한다(S210). 상기한 공액점의 관측값은 영상좌표계상에서의 좌표 정보이다.

    관계 설정부(154)는 외부표정요소 및 지상점 좌표를 획득하기 위해 공액점의 관측값 및 GPS/INS(130)로부터 제공된 외부표정요소에 대한 관측값을 이용하여 관측방정식을 하기 수학식 1과 설정한다(S220).

    여기서,

    은 공액점들에 대한 관측값이고, 은 각각은 후보 외 부표정요소 및 지상점 좌표로서 미지수벡터라고도 한다. 은 공선조건식을 미지수벡터에 대해 편미분한 설계행렬, 은 GPS/INS(130)로부터 제공된 외부표정요소에 대한 관측값으로서 지상 좌표계상에서 지구 중심으로부터 외부표정요소의 위치를 나타내는 벡터이다. 또한, 은 미지수 벡터 중 후보 외부 표정 요소에 대해 편미분한 설계행렬이다. 은 관측값와 관계된 오차벡터이다.

    상기한 오차 벡터의 오차 평균은 0이고 분산은 이며, 는 scale factor와 는 weight matrix(cofactor matrix의 역수)이다.

    지오레퍼런싱부(158)는 관계 설정부(154)에서 설정된 관측방정식에서 오차가 최소가 될 때의 미지수 벡터(

    )를 각각 외부표정요소 및 지상점 좌표로 결정하고, 그리고, 영상에 결정된 외부표정요소 및 지상점좌표를 할당함으로써 영상에 대한 지오레퍼런싱을 수행한다(S230). 설명의 편의를 도모하기 위해 결정된 외부표정요소 및 지상점 좌표를 각각 라고 한다.

    한편, 도 3은 본 발명의 일 실시예에 따른 실시간으로 영상을 지오레퍼런싱하는 방법에 대한 흐름도이다.

    영상의 개수가 임계 영상 개수이상인 경우, 새로운 영상에 대한 외부표정요소 및 지상점 좌표를 결정하고, 기존 영상에 대한 외부표정요소와 지지상점 좌표를 갱신한다. 그러나, 영상이 많아짐에 따라 외부표정요소 및 지상점 좌표를 결정하기 위한 연산시간이 많이 소요되는 문제가 있다. 그리하여 영상의 개수가 임계 영 상 개수이상인 경우에는 하기와 같이 영상을 지오레퍼런싱한다.

    새로운 영상(현재 영상이라고 함)이 추가되면, 공액점 추출부(152)는 공액점에 대한 관측값을 추출하는데, 현재 영상좌표계상에서의 기존 영상의 공액점에 대한 관측값(

    ), 기존 영상좌표계상에서의 현재 영상의 추가로 인해 새롭게 생긴 공액점에 대한 관측값( ) 및 현재 영상좌표계상에서의 현재 영상의 추가로 인해 새롭게 생긴 공액점에 대한 관측값( )을 추출한다(S310).

    관계 설정부(154)는 기존 영상의 외부표정요소, 기존 영상의 지상점 좌표, 현재 영상의 추가로 인해 추출된 공액점들에 대한 관측값 및 현재 영상의 외부표정요소에 대한 관측값을 이용하여 관측 방정식을 설정하는데, 구체적으로 하기 수학식 2와 같은 관계를 설정한다(S320).

    여기서,

    은 기존 영상좌표계상에서의 기존 영상의 공액점에 대한 관측값, 는 현재 영상좌표계상에서의 기존 영상의 공액점에 대한 관측값, 는 기존 영상좌표계상에서의 현재 영상의 추가로 인해 새롭게 생긴 공액점에 대한 관측값 및 는 현재 영상좌표계상에서의 현재 영상의 추가로 인해 새롭게 생긴 공액점에 대한 관측값이다. 은 GPS/INS(130)로부터 제공된 기존 영상의 외부표정요소에 대한 관측값이고, 은 GPS/INS(130)로부터 제공된 현재 영상의 외부 표정요소에 대한 관측값이며, 은 공선 조건식을 미지수 벡터에 대해 편미분한 설계행렬로 아래첨자 1은 기존 미지수벡터와의 관계를, 2는 추가된 미지수벡터와의 관계를 나타낸다. 은 기존 영상의 외부표정요소 및 지상점 좌표에 대한 편미분한 설계행렬이고, 는 현재 영상의 미지수 벡터에 대한 설계 행렬이다. 및 는 기존 영상의 외부표정요소 및 지상점 좌표이고, 및 는 현재 영상의 후보 외부표정요소 및 지상점 좌표로서 미지수 벡터라고 한다. 는 오차 벡터로서, 아래첨자 1은 기존 영상과의 관계, 아래 첨자 2는 현재 영상과의 관계를 나타낸다.

    치환부(156)는 관계 설정부(154)에서 인가된 관측방정식의 요소를 하기 수학식 3과 같이 그룹화하여 치환하고 그 결과를 지오레퍼런싱부(158)로 인가한다(S330).

    지오레퍼런싱부(158)는 치환부(156)에서 치환된 결과를 이용하여 후보 외부표정요소 및 후보 지상점 좌표를 결정하고, 오차가 최소가 되는 후보 외부표정요소 및 후보 지상점 좌표를 지오레퍼런싱을 하기 위한 외부표정요소 및 지상점 좌표로 결정한다(S340). 지오레퍼런싱을 위한 외부표정요소 및 지상점 좌표는 하기 수학식 4 및 5와 같이 결정한다.

    여기서,

    , 이고, 이다. 그리고, 및 이다.

    지오레퍼런싱부(158)는 현재 영상에 상기 수학식 4 및 5의 외부표정요소 및 지상점 좌표를 할당함으로써 현재 영상에 대한 지오레퍼런싱을 수행한다.

    이와 같이, 기존 영상의 관측 방정식 및 현재 영상으로 인해 관측된 공액점 및 외부표정요소를 이용하여 관측방정식을 설정하고, 상기한 관측방정식을 간소화하여 새로운 미지수 벡터를 산출함으로써 실시간으로 영상의 지오레퍼런싱을 할 수 있다.

    이하에서는 본 발명을 적용하여 지오레퍼런싱할 때의 연산속도 및 정확도를 측정한 결과에 대해 설명한다.

    먼저, 시뮬레이션하기 위해 사용된 변수들은 하기 표 1과 같다.

    즉, 200m의 비행고도에서 초당 2 프레임의 영상을 획득하는 상황을 가정하여 95%의 중복도를 갖는 384장의 영상을 생성하였다. 영상점 측정오차는 한 픽셀 크기로 하였고 관측된 외부표정요소 중 위치측정오차와 자세측정오차는 센서의 정확도를 고려하여 각각

    로 설정하였다.

    도 4는 본 발명의 일 실시예에 따른 외부표정요소 중 위치정보의 RMSE(root mean square error)를 나타낸 도면이고, 도 5는 본 발명의 일 실시예에 따른 외부표정요소 중 자세정보의 RMSE를 나타내는 도면이며, 도 6은 본 발명의 일 실시예에 따른 지상점 좌표의 RMSE를 나타내는 도면이다. 도 4 내지 도 6에 도시된 바와 같이, 외부표정 요소 및 지상점 좌표에 대한 RMSE가 낮음을 확인할 수 있다.

    또한, 도 7은 본 발명의 일 실시예에 따른 영상이 추가될수록 조정된 지상점 좌표 차에 대한 표준편차를 나타내는 도면이다. 도 7에 도시된 바와 같이, 영상이 추가될수록 조정된 좌표 차에 대한 표준편차가 감소하여

    이내의 정확도를 갖음을 확인할 수 있다.

    도 8은 본 발명의 일 실시예에 따른 시간에 따른 지오레퍼런싱 연산 시간을 도시한 도면이다. 도 8에 도시된 바와 같이, 영상의 개수가 증가함에도 불구하고, 연산시간은 일정 범위내에 있음을 확인할 수 있다. 즉 새로운 영상이 추가 될 때마다 지오레퍼런싱을 위해 평균 0.1초미만이 소요됨을 확인할 수 있다.

    본 실시예에서는 UAV에서 촬영된 영상을 지오레퍼런싱하는 것에 대해 설명하였으나, 이에 한정되지 않는다. 즉, UAVRK 아닌 유인항공기 지상 차량 등에 탑재한 카메라 또는 캠코더 등에서 취득한 영상에도 적용될 수 있음은 물론이다.

    상기에서 설명한 실시예는, 다양한 분야에서 활용될 수 있다. 예를 들어, 각종 토지 이용 계획의 수립 및 관리 등을 위한 지역 정보 시스템(Regional Information System), 도시 현황 파악 및 도시 계획, 정비 등을 위한 도시 정보 시스템(Urban Information System), 다목적 국토 정보 및 지적 정보 구축을 위한 토지 정보 시스템(Land Information System), 항공 교통 관리 및 육,해상 교통 계획 등을 위한 교통 정보 시스템(Transportation Information System), 중소 축척 지도 제작 등을 위한 수치 지도 제작 및 지도 정보 시스템(Digital Mapping/Map System), 대기, 수질, 폐기물 관련 정보 관리를 위한 환경 정보 시스템(EnvironmentalInformation System), 각종 자연 재해 방재, 대기 오염 경보 등을 위한 재해 정보 시스템(Disaster Information System), 해저 지형 정보 및 해저 지질 정보를 위한 해양 정보 시스템(Marine Information System), 기상 변동 추적 및 일기 예보 등을 위한 기상 정보 시스템(Meteorological Information System), 국방 정보 자료 기반 및 작전 정보 구축을 위한 국방 정보 시스템(National Information System) 등에 이용될 수 있다.

    또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

    도 1은 본 발명의 일 실시예에 따른 영상을 지오레퍼런싱하는 시스템을 개략적으로 도시한 도면,

    도 2는 본 발명의 일 실시예에 따른 획득된 영상의 개수가 임계 영상의 개수미만인 경우, 영상을 지오레퍼런싱하는 방법에 대한 흐름도,

    도 3은 본 발명의 일 실시예에 따른 실시간으로 영상을 지오레퍼런싱하는 방법에 대한 흐름도,

    도 4는 본 발명의 일 실시예에 따른 외부표정요소 중 위치정보의 RMSE(root mean square error)를 나타낸 도면,

    도 5는 본 발명의 일 실시예에 따른 외부표정요소 중 자세정보의 RMSE를 나타내는 도면,

    도 6은 본 발명의 일 실시예에 따른 지상점 좌표의 RMSE를 나타내는 도면,

    도 7은 본 발명의 일 실시예에 따른 영상이 추가될수록 조정된 지상점 좌표 차에 대한 표준편차를 나타내는 도면, 그리고,

    도 8은 본 발명의 일 실시예에 따른 시간에 따른 지오레퍼런싱 연산 시간을 도시한 도면이다.

    * 도면의 주요 부분에 대한 부호의 설명 *

    110: UAV 130: GPS/INS

    150: 지오레퍼런싱 장치 152: 공액점 추출부

    154: 관계 설정부 156: 치환부

    158: 지오레퍼런싱부

    高效检索全球专利

    专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

    我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

    申请试用

    分析报告

    专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

    申请试用

    QQ群二维码
    意见反馈