权利要求

삼차원 물체 인식 시스템 및 방법 {system and method of 3D object recognition using a tree structure}

이 발명은 삼차원 물체 인식 시스템 및 방법에 관한 것으로서, 보다 상세하게는 제너릭 랜덤마이즈드 포레스트(Generic Randomized Forest)를 이용하여 특징점 매칭과 물체인식을 동시에 할 수 있는 삼차원 물체 인식 시스템 및 방법에 관한 것이다.

이 발명은 앞으로 상용화될 서비스 로봇의 두뇌부에 해당하는 기술로서, 로봇이 주어진 임무를 수행하기 위해서는 물체 인식이 필수적이다. 예컨대, 로봇에게 "냉장고에 가서 콜라캔을 가져오라"는 명령을 할 경우, 냉장고 인식, 손잡이 인식, 콜라캔 인식 등과 같은 물체 인식 과정이 필요하다.

물체 인식 기술은 1970년대 컴퓨터가 본격적으로 나오면서부터 활발히 연구되어 왔다. 1980년대에 물체 인식 기술은 2차원 모양 매칭에 기반한 기술로 주로 산업비전에서 부품검사 등에 이용되었으며, 1980년대 말부터 3차원 모델 기반 물체 인식 기술이 활발히 연구되었다. 특히, 3차원 다면체 인식을 위해 얼라인먼트(Alignment) 기법이 성공적으로 적용되었다. 1990년 중반부터 영상 기반 기법이 서서히 대두되면서 좀 더 본격적인 물체 인식 연구가 진행되었는데, PCA와 같은 주성분 분석 기법을 이용한 물체 인식 기법이 그 중 한 예이다.

그러나, 종래의 얼라인먼트(Alignment) 기법은 직선성분이 잘 나오는 다면체에만 작동하는 한계가 있었으며, 영상 기반 방법은 픽셀값을 바로 인식에 사용하기 때문에 조명 변화 등과 같이 환경에 민감하다는 문제가 있다. 특히, 종래의 방법들은 전체 모양 매칭을 근간으로 하기 때문에 가려짐이나 배경잡음에 민감하고, 물체인식과 추적을 별개로 생각하여 인식 따로 추적 따로 하기 때문에 처리 효율이 매우 떨어지는 문제가 있다.

이러한 문제를 해결하기 위한 발명으로서, 이 출원의 출원인은 물체 인식 및 추적방법의 기술을 2003년 9월 16일자로 특허출원하였으며, 이는 2005년 10월 27일자로 특허등록(등록번호 제10-0526018호, 이하 선행특허라 함)된 바 있습니다. 이 선행특허는 물체를 촬영한 모델영상과 그 물체의 외형인 캐드모델 사이의 대응관계를 설정하고 상기 모델영상의 제니케모멘트를 계산하여 데이터베이스로 구축한다. 그리고, 물체가 포함된 영상이 입력되면 그 입력영상의 제니케모멘트를 계산하고, 데이터베이스에 구축된 모델영상의 제니케모멘트와 입력영상의 제니케모멘트 사이의 매칭확률을 계산하여 상기 입력영상에 포함된 물체를 인식한다. 또한, 입력영상에 캐드모델을 매칭시켜서 초기 자세를 추정하고, 입력영상과 캐드모델의 대응쌍으로부터 물체의 움직임을 추적한다.

그러나, 이러한 선행특허는 물체를 촬영한 모델영상 이외에 물체의 외형인 캐드모델을 생성하여야 하고, 입력영상과 캐드모델을 매칭하여 물체의 자세를 추정하고 그 움직임을 추정하기 때문에, 데이터량이 많고 계산식이 복잡하며 처리 시간이 오래 걸리는 문제점이 있다.

상술한 종래기술의 문제점을 해결하기 위하여 안출된 이 발명의 목적은, 카메라로부터 입력되는 입력영상만으로 물체를 인식하고 특징점 매칭을 하여 물체의 위치 및 자세를 추정할 수 있는 삼차원 물체 인식 시스템 및 방법을 제공하기 위한 것이다.

상기한 목적을 달성하기 위한 이 발명의 한 실시예에 따른 삼차원 물체 인식 시스템은, 복수의 랜덤마이즈드 트리를 포함하고, 상기 각각의 랜덤마이즈드 트리가 복수의 리프노드를 포함한 확장 랜덤마이즈드 포레스트를 저장하는 저장부와,

다수의 학습대상 물체별로 입력되는 학습대상물체 이미지로부터 다수의 특징점들을 추출하고, 상기 추출된 다수의 특징점들을 상기 확장 랜덤마이즈드 포레스트에 적용하여 상기 리프노드별로 물체인식 사후확률분포와 학습대상 물체별 특징점매칭 사후확률분포를 계산하여 상기 저장부에 저장하는 학습수단과,

매칭대상물체 이미지로부터 다수의 특징점들을 추출하고 상기 확장 랜덤마이즈드 포레스트에 적용하여 복수의 리프노드에 매칭시키고, 상기 매칭된 복수의 리프노드에 저장된 물체인식 사후확률분포를 이용하여 상기 매칭대상물체 이미지에 포함된 물체를 인식하고, 상기 매칭된 복수의 리프노드에 저장된 학습대상 물체별 특징점매칭 사후확률분포를 이용하여 상기 매칭대상물체 이미지에서 추출된 다수의 특징점들을 상기 인식된 물체의 특징점과 매칭시키는 매칭수단을 포함한 것을 특징으로 한다.

또한, 이 발명의 다른 실시예에 따른 삼차원 물체 인식 시스템은, 복수의 랜덤마이즈드 트리를 포함하고, 상기 각각의 랜덤마이즈드 트리가 복수의 리프노드를 포함하며, 상기 리프노드별로 물체인식 사후확률분포와 학습대상 물체별 특징점매칭 사후확률분포를 저장한 확장 랜덤마이즈드 포레스트를 저장하는 저장부와,

매칭대상물체 이미지로부터 추출된 다수의 특징점들을 상기 확장 랜덤마이즈드 포레스트에 적용하여 복수의 리프노드에 매칭시키고, 상기 매칭된 복수의 리프노드에 저장된 물체인식 사후확률분포를 이용하여 상기 매칭대상물체 이미지에 포함된 물체를 인식하고, 상기 매칭된 복수의 리프노드에 저장된 학습대상 물체별 특징점매칭 사후확률분포를 이용하여 상기 매칭대상물체 이미지로부터 추출된 다수의 특징점들을 상기 인식된 물체의 특징점과 매칭시키는 매칭수단을 포함한 것을 특징으로 한다.

또한, 이 발명의 한 실시예에 따른 삼차원 물체 인식 방법은, 복수의 랜덤마이즈드 트리를 포함하고, 상기 각각의 랜덤마이즈드 트리가 복수의 리프노드를 포함한 확장 랜덤마이즈드 포레스트가 포함된 삼차원 물체 인식 시스템에서의 삼차원 물체 인식 방법에 있어서,

다수의 학습대상 물체별로 입력되는 학습대상물체 이미지로부터 다수의 특징 점들을 추출하고, 상기 추출된 다수의 특징점들을 상기 확장 랜덤마이즈드 포레스트에 적용하여 상기 리프노드별로 물체인식 사후확률분포와 학습대상 물체별 특징점매칭 사후확률분포를 계산하여 저장하는 학습단계와,

매칭대상물체 이미지로부터 추출된 다수의 특징점들을 상기 확장 랜덤마이즈드 포레스트에 적용하여 복수의 리프노드에 매칭시키고, 상기 매칭된 복수의 리프노드에 저장된 물체인식 사후확률분포를 이용하여 상기 매칭대상물체 이미지에 포함된 물체를 인식하고, 상기 매칭된 복수의 리프노드에 저장된 학습대상 물체별 특징점매칭 사후확률분포를 이용하여 상기 매칭대상물체 이미지에서 추출된 다수의 특징점들을 상기 인식된 물체의 특징점과 매칭시키는 매칭단계를 포함한 것을 특징으로 한다.

또한, 이 발명의 다른 실시예에 따른 삼차원 물체 인식 방법은, 복수의 랜덤마이즈드 트리를 포함하고, 상기 각각의 랜덤마이즈드 트리가 복수의 리프노드를 포함며, 상기 리프노드별로 물체인식 사후확률분포와 학습대상 물체별 특징점매칭 사후확률분포를 저장한 확장 랜덤마이즈드 포레스트가 포함된 삼차원 물체 인식 시스템에서의 삼차원 물체 인식 방법에 있어서,

매칭대상물체 이미지로부터 추출된 다수의 특징점들을 상기 확장 랜덤마이즈드 포레스트에 적용하여 복수의 리프노드에 매칭시키고,

상기 매칭된 복수의 리프노드에 저장된 물체인식 사후확률분포를 이용하여 상기 매칭대상물체 이미지에 포함된 물체를 인식하고,

상기 매칭된 복수의 리프노드에 저장된 학습대상 물체별 특징점매칭 사후확률분포를 이용하여 상기 매칭대상물체 이미지에서 추출된 다수의 특징점들을 상기 인식된 물체의 특징점과 매칭시키는 것을 특징으로 한다.

또한, 이 발명의 한 실시예에 따른 삼차원 물체 인식을 위한 학습방법은, 복수의 랜덤마이즈드 트리를 포함하고, 상기 각각의 랜덤마이즈드 트리가 복수의 리프노드를 포함한 확장 랜덤마이즈드 포레스트가 포함된 시스템에서의 삼차원 물체 인식을 위한 학습방법에 있어서,

다수의 학습대상 물체별로 입력되는 학습대상물체 이미지로부터 다수의 특징점들을 추출하고,

상기 추출된 다수의 특징점들을 상기 확장 랜덤마이즈드 포레스트에 적용하여 상기 리프노드별로 물체인식 사후확률분포와 학습대상 물체별 특징점매칭 사후확률분포를 계산하는 것을 특징으로 한다.

상술한 이 발명에 따르면 삼차원 물체 인식에 소요되는 시간을 줄일 수 있기 때문에 실시간 시스템에 유용하게 적용할 수 있는 잇점이 있다.

이하, 첨부된 도면을 참조하여 이 발명의 한 실시예에 따른 삼차원 물체 인 식 시스템 및 방법을 설명한다.

도 1은 이 발명에 따른 삼차원 물체 인식 시스템을 도시한 기능 블록도이다. 이 발명에 따른 삼차원 물체 인식 시스템은, 확장 랜덤마이즈드 포레스트 저장부(11)와, 특징점추출부(12)와, 학습부(13)와, 매칭부(14)로 구성된다.

확장 랜덤마이즈드 포레스트

이 발명은 랜덤마이즈드 포레스트(Randomized Forest)을 응용한 기술로서, 랜덤마이즈드 포레스트는 통상적으로 특징점이 포함된 일부 이미지 영역(특징점영역)이 물체의 어느 부분에 해당하는 특징점인지를 매칭하여 물체의 자세를 보정하는데 사용되는 알고리즘이다. 이 발명은 랜덤마이즈드 포레스트를 확장하여 입력된 특징점영역이 어떠한 물체에 속한 특징점인 지를 인식하고, 동시에 해당 입력 특징점영역이 해당 물체의 어느 특징점에 매칭되는 지를 인식함으로써, 물체인식과 특징점매칭을 동시에 수행한다. 이를 위해 확장 랜덤마이즈드 포레스트를 생성하여 확장 랜덤마이즈드 포레스트 저장부에 저장한다. 확장 랜덤마이즈드 포레스트는 도 2에 도시된 바와 같이 다수의 랜덤마이즈드 트리(T ₁ , T ₂ , ... T _NT )로 이루어진다. 이 다수의 랜덤마이즈드 트리 각각은 완전한 이진트리로서, 각각의 랜덤마이즈드 트리는 다층의 노드로 이루어지며, 랜덤마이즈드 트리의 최하단 노드를 리프노드라 한다. 각 리프노드에는 후술하는 학습을 통해 임의의 물체가 해당 리프노드에 매칭된 횟수 및 확률과, 임의의 물체의 임의의 특징점이 해당 리프노드에 매 칭된 횟수 및 확률 등의 정보가 저장된다.

도 2의 'A'부분은 하나의 랜덤마이즈드 트리를 구성하는 다수의 노드들을 확대하여 도시한 부분으로서, 입력된 특징점영역을 구성하는 임의의 두 픽셀을 선택하고 해당 두 픽셀의 픽셀값을 비교하여, 제1픽셀의 픽셀값이 제2픽셀의 픽셀값보다 크면 우측 자식 노드로 진행시키고, 그렇지 않으면 좌측 자식 노드로 진행시킨다. 예컨대, 도 2의 최상위 노드에서는 125 픽셀과 650 픽셀을 선택하고 125 픽셀의 픽셀값이 650 픽셀의 픽셀값보다 크면 우측 자식 노드로 진행하며, 그렇지 않으면 좌측 자식 노드로 진행한다. 최상위 노드의 우측 자식 노드에서는 36 픽셀과 742 픽셀을 선택하여 각각 그 픽셀값을 비교하고, 최상위 노드의 좌측 자식 노드에서는 326 픽셀과 500 픽셀을 선택하여 각각 그 픽셀값을 비교한다. 여기서, 픽셀값은 특정 색상의 색상값, 해당 픽셀의 그레이스케일값, 밝기값, 채도값, 명도값을 포함한 다양한 값들 중 선택될 수 있다.

이 발명의 확장 랜덤마이즈드 포레스트는 각각 깊이가 10인 40개의 독립적인 랜덤마이즈드 트리를 포함하여 이루어진다. 확장 랜덤마이즈드 포레스트를 구성하는 각 노드들에서 선택하는 두 픽셀의 번호 및 픽셀값은 랜덤하게 설정되어 생성되며, 생성된 확장 랜덤마이즈드 포레스트는 확장 랜덤마이즈드 포레스트 저장부(11)에 저장된다.

특징점 추출

특징점추출부(12)는 학습단계에서 학습대상물체 이미지와 물체의 경계 및 길 이를 입력받고, 그 학습대상물체 이미지로부터 특징점을 추출한다. 아울러, 특징점추출부(12)는 매칭단계에서 매칭대상물체 이미지로부터 특징점을 추출한다. 학습대상물체 이미지로부터 특징점을 추출하는 알고리즘과 매칭대상물체 이미지로부터 특징점을 추출하는 알고리즘은 동일하다. 특징점추출부에서 추출하는 특징점은 이미지 내에 포함된 코너점이며, 이 발명의 실시예에서는 패스트 검출기(FAST detector)를 사용하여 특징점을 추출한다. 이 패스트 검출기에 대한 상세한 설명은 Edward Rosten와 Tom Drummond가 발표한 논문 "Machine learning for high-speed corner detection, Department of Engineering, Cambridge University, UK" 에 기재되어 있다. 이 패스트 검출기(FAST detector)는 간단한 알고리즘으로서, 640*480 크기의 2차원 이미지에서 특징점을 추출하는데 약 2ms 정도만이 소요된다.

패스트 검출기(FAST detector)는 도 3에 도시된 바와 같이 임의의 점 p를 중심으로 반지름이 3인 원을 구성하는 16개의 픽셀들에 대해(밝기를 고려), 점 p의 16개의 이웃 픽셀들 중 연속된 12개(예컨대, 75%) 이상이 p보다 밝거나 어두우면 그 점 p를 특징점으로 추출한다.

특징점추출부는 추출된 특징점을 중심으로 32*32개의 픽셀로 이루어진 특징점영역 즉, 이미지 패치를 추출한다.

학습부

학습부(13)는 학습단계에서 학습대상물체 이미지를 대상으로 수행되며, 물체인식학습부와 특징점학습부로 대별된다.

물체인식학습부는 각 학습대상물체 이미지에 대해 어핀변환(affine transformation)을 랜덤하게 적용하여 새로운 시점에서의 이미지를 생성한다. 도 4는 Nc개의 학습대상물체 이미지에 대해 각각 랜덤하게 어핀변환을 수행하여 각 학습대상물체 이미지별로 얻어진 학습 데이터 세트를 도시한 도면이다. 각각의 학습 데이터 세트를 M ₁ , M ₂ , ... M _Nc 라고 한다. 각 학습 데이터 세트의 이미지들마다 특징점을 중심으로 32*32 특징점영역을 추출한다.

도 4의 예에서, 1번째 학습대상물체 이미지에는 4개의 특징점이 추출되었으며, 어핀변환을 통해 다수의 새로운 시점에서의 이미지가 얻어질 경우 각 새롭게 얻어진 이미지에 대해서도 각각 4개의 특징점영역이 얻어지게 된다. 이렇게 하나의 학습대상물체 이미지에 대해 모든 학습 데이터 세트에서 얻어진 모든 특징점영역이 모두 학습의 대상이 되는 바, 모든 특징점영역의 이미지 패치를 확장 랜덤마이즈드 포레스트의 모든 랜덤마이즈드 트리에 적용시킨다. 그러면 각 특징점영역은 모든 랜덤마이즈드 트리의 노드들을 거쳐 임의의 한 리프노드에 매칭되게 된다.

만약 i번째 물체(여기서 i는 물체에 부여된 클래스 번호를 의미함)에서 추출된 특징점영역이 t번째 트리 Tt의 l번째 리프노드

에 도달하여 매칭되면, 그 리프노드 에 저장된 사후확률분포 세트의 해당 물체 클래스 i의 빈도수를 증가시킨다. 결과적으로 각 리프노드에는 그 리프노드로 매칭된 특징점의 총 개수와 그 리프노드로 매칭된 특징점이 속한 물체 클래스의 빈도수를 저장한다. 리프노드 의 전체 매칭 특징점 총 개수가 이고, 물체 클래스 i의 빈도수를 라 하면, 해당 물체 클래스 i의 리프노드 에서의 사후확률분포는 아래의 수학식 1과 같다.

각 리프노드에는 각 물체 클래스별로 계산된 사후확률분포값이 저장된다.

다음 특징점학습부에 대해 설명한다. 특징점학습부는 특징점추출부가 원본 학습대상물체 이미지로부터 추출한 32*32 특징점영역의 이미지패치를 얻고, 도 5에 도시된 바와 같이 각 특징점영역에 대해 어핀변환(affine transformation)을 수행하여 학습 데이터 세트를 생성한다. 임의의 한 물체의 모든 특징점영역에 대한 학습 데이터 세트가 완성되면, 해당 학습 데이터 세트에 포함된 모든 특징점들의 이미지패치를 확장 랜덤마이즈드 포레스트의 모든 랜덤마이즈드 트리에 적용시킨다. 그러면 각 특징점영역은 모든 랜덤마이즈드 트리의 임의의 한 리프노드에 매칭되게 된다.

i번째 물체(여기서 i는 물체에 부여된 클래스 번호를 의미함)에서 추출된 k번째 특징점영역이 t번째 트리 Tt의 l번째 리프노드

에 도달하여 매칭되면, 그 리프노드 에 저장된 i번째 물체의 사후확률분포 세트의 해당 특징점 클래스 k의 빈도수를 증가시킨다. 결과적으로 각 리프노드에는 그 리프노드로 매칭된 특징점의 총 개수와 그 리프노드로 매칭된 특징점 클래스의 빈도수를 저장한다. 리프노드 의 전체 매칭 특징점 총 개수가 이고, 특징점 클래스 k의 빈도수를 라 하면, 해당 특징점 클래스 k의 리프노드 에서의 사후확률분포는 아래의 수학식 2와 같다.

각 리프노드에는 각 물체의 각 클래스별로 계산된 사후확률분포값이 저장된다.

이러한 특징점 매칭을 위한 학습과정은 모든 물체에 대해서 반복적으로 수행된다.

상술한 물체인식을 위한 학습과 특징점 매칭을 위한 학습의 결과로서, 확장 랜덤마이즈드 포레스트의 모든 리프노드들은 도 2에 도시된 바와 같이 물체인식을 위한 하나의 사후확률분포 세트와, 각 물체 내에서의 특징점인식을 위한 Nc(여기서, Nc는 학습된 총 물체의 개수)개의 사후확률분포 세트를 저장한다. 즉, 하나의 리프노드당 총 1 + Nc개의 사후확률분포 세트를 저장한다.

물체인식 사후확률분포 세트에는 해당 리프노드로 매칭된 특징점이 물체 1일 확률, 물체 2일 확률, ..., 물체 Nc일 확률값이 저장되며, 제1물체 특징점매칭 사후확률분포 세트에는 해당 리프노드로 매칭된 특징점이 물체 1의 특징점 1일 확률, 특징점 2일 확률, ..., 특징점 k일 확률이 저장되며, 제2물체 특징점매칭 사후확률분포 세트에는 해당 리프노드로 매칭된 특징점이 물체 2의 특징점 1일 확률, 특징점 2일 확률, ..., 특징점 k일 확률이 저장된다. 마찬가지로 제Nc물체 특징점매칭 사후확률분포 세트에는 해당 리프노드로 매칭된 특징점이 물체 Nc의 특징점 1일 확률, 특징점 2일 확률, ..., 특징점 k일 확률이 저장된다.

매칭부(14)

매칭대상물체 이미지가 입력되면, 앞서 설명한 특징점추출부가 해당 매칭대상물체 이미지로부터 N개의 특징점들을 추출하여 N개의 특징점영역(이미지패치)들을 얻는다. 그리고, 추출된 각 특징점영역들에 대해 미리 학습되어진 확장 랜덤마이즈드 포레스트를 구성하는 N _T 개의 랜덤마이즈드 트리를 통과시킨다. 임의의 특징점 m _j 를 N _T 개의 랜덤마이즈드 트리에 통과시키면 각 트리마다 하나의 리프노드에 도달하기 때문에, 결과적으로 각 특징점 m _j 는 N _T 개의 리프노드에 도달하며, 이로 인해 1개의 물체인식 사후확률분포 세트값과 N _T 개의 특징점매칭 사후확률분포 세트값을 얻을 수 있다.

매칭부(14)는 모든 특징점에 대해 매칭된 리프노드에 저장된 물체인식 사후확률분포 세트값을 이용하여 물체인식을 수행하고, 물체인식 후 해당 물체의 특징점매칭 사후확률분포 세트값을 이용하여 특징점을 매칭한다.

앞서 언급한 바와 같이 리프노드에는 물체인식 사후확률분포 세트가 저장되는데, 이는 해당 리프노드에 매칭된 특징점이 어느 물체에서 추출된 것인지를 나타내는 값으로서, 이를 풀어서 설명하면 물체인식 사후확률분포 세트에는 해당 리프노드에 매칭된 특징점이 물체 1에 속할 확률, 물체 2에 속할 확률, ..., 물체 Nc에 속할 확률이 저장된다.

임의의 한 특징점 m _j 를 N _T 개의 랜덤마이즈드 트리에 통과시키면 N _T 개의 물체인식 사후확률분포 세트가 얻어지며, 각 물체인식 사후확률분포 세트에는 각각 해당 특징점 m _j 가 물체 1에 속할 확률, 물체 2에 속할 확률, ..., 물체 Nc에 속할 확률이 저장되기 때문에, 결과적으로 특징점 m _j 가 물체 i(여기서, i는 1, 2, ..., Nc)에 속하게 될 N _T 개의 사후확률이 얻어진다.

특징점 m _j 가 물체 i(여기서, i는 1, 2, ..., Nc)에 속하게 될 N _T 개의 사후확률에 대해 평균을 구한다. 특징점 m _j 가 물체 i(여기서, i는 1, 2, ..., Nc)에 속하게 될 평균 사후확률은 아래의 수학식 3와 같이 나타낼 수 있다.

다음, 모든 특징점들에 대해 확장 랜덤마이즈드 포레스트를 적용하여 N _T 개의 물체인식 사후확률분포세트를 얻고, 이를 이용하여 수학식 3과 같은 해당 특징점이 물체 i(여기서, i는 1, 2, ..., Nc)에 속하게 될 평균 사후확률(Pj)를 구한다.

그리고, 얻어진 모든 특징점들에 대해서 계산한 물체 i(여기서, i는 1, 2, ..., Nc)에 속하게 될 평균 사후확률의 평균값

을 구하며, 그 평균 사후확률의 평균값이 가장 큰 물체 클래스를 매칭대상물체 이미지에 포함된 물체로 인식한다. 이를 수학식으로 표현하면 수학식 4와 같다.

물체를 인식한 후, 특징점매칭을 수행한다. 모든 특징점들에 대해 모든 랜덤마이즈드 트리를 적용하여 리프노드로 매칭되었기 때문에, 매칭된 리프노드로부터 인식된 물체의 특징점매칭 사후확률분포 세트를 얻는다. 예컨대, 물체인식과정에서 인식된 물체의 클래스가 2번일 경우, 각 리프노드에 저장된 제2물체 특징점매 칭 사후확률분포 세트를 얻는다. 이 제2물체 특징점매칭 사후확률분포 세트에는 해당 각 물체인식 사후확률분포 세트에는 해당 특징점이 물체 2의 특징점 1에 속할 확률, 특징점 2에 속할 확률, ..., 특징점 N에 속할 확률이 저장되기 때문에, 결과적으로 해당 특징점이 물체 2의 각 특징점에 속하게 될 N _T 개의 사후확률이 얻어진다. 위 물체 인식하는 과정과 마찬가지로 매칭대상물체 이미지로부터 추출된 N개의 특징점 각각에 대해 기인식된 물체의 임의의 특징점에 속하게 될 사후확률을 평균하여, 그 평균 사후확률이 가장 높은 특징점 클래스를 해당 특징점에 매칭한다. 이를 수식으로 표현하면 아래의 수학식 5와 같다.

도 6은 이 발명에 따라 학습대상물체 이미지를 통해 물체를 학습하는 과정을 도시한 동작 흐름도이다.

먼저, 변수 i,j를 1로 초기화한다(S601). 학습하고자 하는 제i물체가 포함된 제i학습대상물체 이미지를 입력받고(S602), 그 제i학습대상물체 이미지를 패스트 검출기(FAST detector)에 적용하여 제i학습대상물체 이미지로부터 특징점들을 추출한다(S603). 다음, 제i학습대상물체 이미지에 대해 다수의 어핀변환을 랜덤하게 수행하여 새로운 시각에서의 다양한 학습 데이터 세트 이미지를 얻는다(S604). 어핀변환된 학습 데이터 세트 이미지에서 특징점영역의 이미지패치를 추출한다(S605).

다음, 제j특징점영역을 확장 랜덤마이즈드 포레스트의 각 랜덤마이즈드 트리에 적용하여(S606), 각 트리마다 하나의 리프노드에 매칭되도록 하고 매칭된 리프노드의 제i물체의 매칭 빈도수를 1 증가시킨다(S607). j가 마지막 특징점인지를 판단하고(S608), j를 1씩 증가시키면서(S609) 단계 S606부터 반복 수행한다.

아울러, i가 마지막 물체인지를 판단하고(S610), i를 1씩 증가시키면서(S611) 단계 S602부터 반복 수행한다.

즉, 학습하고자 하는 모든 물체의 학습대상물체 이미지를 어핀변환하여 얻어진 모든 특징점영역의 이미지패치에 대해 각각 확장 랜덤마이즈드 포레스트를 적용하여 매칭되는 리프노드의 해당 물체 매칭 빈도수를 누적시킨다.

모든 물체의 모든 특징점영역에 대해 물체 매칭 빈도수가 모두 누적되면, 각 리프노드별로 물체인식 사후확률분포를 계산한다(S611).

도 7은 이 발명에 따라 학습대상물체 이미지를 통해 물체들의 특징점을 학습하는 과정을 도시한 동작 흐름도이다.

먼저, 변수 i,j,k를 1로 초기화한다(S701). 학습하고자 하는 제i물체가 포함된 제i학습대상물체 이미지를 입력받고(S702), 제i학습대상물체 이미지를 패스트 검출기(FAST detector)에 적용하여 제i학습대상물체 이미지로부터 특징점영역의 이미지패치들을 추출한다(S703). 다음, 각 특징점영역의 이미지패치들에 대해 다수 의 어핀변환을 랜덤하게 수행하여 새로운 시각에서의 다양한 학습 데이터 세트 이미지패치를 얻는다(S704).

다음, 제j특징점영역의 제k이미지패치를 확장 랜덤마이즈드 포레스트의 각 랜덤마이즈드 트리에 적용하여(S705), 각 트리마다 하나의 리프노드에 매칭되도록 하고 매칭된 리프노드의 제i물체의 제j특징점의 매칭 빈도수를 1 증가시킨다(S706). k가 마지막 이미지패치인지를 판단하고(S707), k를 1씩 증가시키면서(S708) 단계 S705부터 반복 수행한다. 아울러, j가 마지막 특징점인지를 판단하고(S709), j를 1씩 증가시키면서(S710) 단계 S705부터 반복 수행한다.

즉, 학습하고자 하는 임의의 물체의 학습대상물체 이미지로부터 특징점을 추출하고, 각 특징점영역의 이미지패치를 어핀변환하여 얻어진 모든 특징점의 모든 이미지패치에 대해 각각 확장 랜덤마이즈드 포레스트를 적용하여 매칭되는 리프노드의 해당 물체의 해당 특징점의 매칭 빈도수를 누적시킨다.

제i물체의 모든 특징점의 모든 이미지패치에 대해 특징점 매칭 빈도수가 모두 누적되면, 각 리프노드별로 제i물체의 특징점매칭 사후확률분포를 계산한다(S711). i가 마지막 물체인지를 판단하고(S712), i를 1씩 증가시키면서(S713) 단계 S702부터 반복 수행한다. 이로써 모든 물체에 대한 특징점매칭 사후확률분포 세트가 학습되어 진다.

도 8은 이 발명에 따라 매칭대상물체 이미지에 포함된 물체를 인식하고 특징점을 매칭하는 과정을 도시한 동작 흐름도이다.

매칭대상물체 이미지가 입력되면(S801), 매칭대상물체 이미지에 대해 물체인식 후 해당 인식된 물체의 특징점매칭을 수행한다. 먼저, 해당 매칭대상물체 이미지를 패스트 검출기(FAST detector)에 적용하여 특징점들을 추출한다(S802). 이때, 추출된 특징점의 개수를 N이라 한다.

변수 j를 1로 초기화하고(S803), 제j특징점영역을 확장 랜덤마이즈드 포레스트에 적용하여 각 랜덤마이즈드 트리별로 하나의 리프노드에 매칭되도록 한다(S804). 각 매칭된 리프노드의 물체인식 사후확률분포를 이용하여, 제j특징점영역이 i(여기서, 1≤i≤Nc) 물체에 속할 평균 사후확률(Pj)를 계산한다(S805). j가 N인지를 판단하고(S806), j를 1씩 증가시키면서(S807) 상기 S804와 S805를 반복 수행한다.

모든 특징점영역에 대해 구해진 평균 사후확률(Pj)들의 평균값(

)을 계산하고(S808), 평균 사후확률들의 평균값이 최대이 imax를 추출하여 매칭대상물체로 인식한다(S809). 이로써, 매칭대상물체 이미지에 포함된 물체를 인식하게 된다.

다음, 물체의 특징점을 매칭하기 위해 변수 j를 초기화한다(S810). 단계 S804에서 매칭된 각 리프노드의 imax 물체의 특징점매칭 사후확률분포를 이용하여 imax 물체의 각 특징점에 속할 평균 사후확률을 계산한다(S811). 그 평균 사후확률이 최대인 특징점을 추출하여 제j특징점영역과 매칭한다(S812). j가 N인지를 판 단하고(S813), j를 1씩 증가시키면서(S814) 상기 S811과 S812를 반복 수행한다.

실험결과

이 발명에서 제시한 확장 랜덤마이즈드 포레스트를 이용한 물체 인식이 온바르게 동작하는지 알기 위해 실시간을 요구하는 증강현실 응용프로그램 중 에이알북(AR; Augmented Reality)에 적용하는 실험을 하였다. 실험을 위해 2.2GHz 코어 2 듀오 CPU, 2GB 메모리, ATI 모빌리티 라디온(mobility Radeon) HD 2400 그래픽 카드가 장착된 노트북을 사용하였고, 로지텍 울트라 웹캠을 사용하였다. 웹캠으로부터 640×480 사이즈의 이미지를 입력받았고, 입력된 이미지에 대한 특징점은 패스트 검출기(FAST detector)를 사용하여 추출하였다. 확장 랜덤마이즈드 포레스트는 N _T = 40 개의 랜덤마이즈드 트리로 구성되며, 각 트리의 깊이 d = 10 이다.

다른 실험에 앞서 이 발명에서 제안한 확장 랜덤마이즈드 포레스트를 이용한 물체 인식기의 인식 성능을 평가할 필요가 있다. 따라서, 확장 랜덤마이즈드 포레스트를 20개의 페이지로 학습시켜 20개의 페이지를 인식할 수 있도록 한 후 학습 이미지와 다른 다른 9개의 테스트 이미지를 준비한 후 각 테스트 이미지에 대해 어필변환을 하여 다른 뷰에서 합성한 9개의 이미지를 생성하였다. 결과적으로 성능테스트를 위해 총 180개의 테스트 이미지를 준비하였다.

확장 랜덤마이즈드 포레스트의 학습 단계에서 한 페이지당 몇 개의 특징점을 추출하면 그 물체를 잘 묘사할 수 있는지를 알아보기 위해 페이지당 추출될 특징점 의 개수를 10개에서 300개까지 차례로 증가시키면서 인식 성능을 테스트하였다. 도 9는 성능 테스트 결과를 도시한 그래프이다. 테스트 결과 약 100개의 특징점을 추출할 경우 인식률이 약 89%정도이고, 그 이상의 특징점을 추출하더라도 인식률이 90%에 수렴하였다.

도 10은 삼차원 물체 인식 테스트에 사용된 44 페이지 이미지를 도시한 도면이다. 페이지가 올바르게 인식되었는지 알기 위해 인식된 페이지 위에 인식된 페이지 아이디를 증강시켰고, 페이지의 자세가 올바르게 추정되었는지 알기 위해 인식된 페이지의 테두리를 추정된 카메라의 자세로 이미지에 투영시켰다. 도 10에 따르면, 44개의 페이지가 올바르게 인식되고 특징점 매칭을 통해 페이지의 자세도 올바르게 추정되었음을 알 수 있다.

도 11은 11페이지의 책을 순서대로 인식하는데 소요된 시간을 도시한 그래프이다. 도 11에서 타원으로 표시된 부분이 이 발명에서 제안한 삼차원 물체 인식이 수행된 부분으로서, 11페이지의 평균 삼차원 인식시간은 약 30ms(33fps)로서 실시간성이 보장되기에 충분함을 알 수 있다.

이 발명의 핵심적인 원리는 다음과 같이 세가지로 나타낼 수 있다.

첫째, 종래의 랜덤마이즈드 포레스트는 특징점 매칭만 가능하였으나, 이 발명은 이를 확장하여 물체 인식과 특징점 매칭을 동시에 수행가능하도록 한 것이다.

둘째, 확장 랜덤마이즈드 포레스트를 구성하는 랜덤마이즈드 트리의 리프노드에 두 가지 일을 모두 수행할 수 있는 사후확률분포를 모두 저장함으로써 특징점에 대해 확장 랜덤마이즈드 포레스트를 한 번만 통과시키더라도 물체 인식과 특징 점 매칭 계산을 동시에 수행할 수 있는 것이다.

셋째, 이 발명에서 제안한 발명은 매칭 시간을 절감할 수 있기 때문에 증강현실시스템과 같은 실시간성을 요구하는 시스템에 효과적으로 활용할 수 있다.

이 발명은 특징점 기반 삼차원 물체 인식을 필요로 하는 모든 분야에 적용될 수 있다. 즉, 물체 인식이 필요한 지능형 로봇 시스템, 얼굴 인식이 필요한 사용자 인증 시스템 또는 지능형 감시 시스템과 같은 보안 관련 분야 뿐만 아니라 지능형 가전 제품, 증강현실 기술을 이용한 교육, 광고 등 삼차원 물체 인식을 요하는 많은 산업 분야에 응용할 수 있다.

이상에서 본 발명에 대한 기술사상을 첨부도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것은 아니다. 또한, 이 기술분야의 통상의 지식을 가진 자라면 누구나 본 발명의 기술사상의 범주를 이탈하지 않는 범위 내에서 다양한 변형 및 모방이 가능함은 명백한 사실이다.

도 1은 이 발명에 따른 삼차원 물체 인식 시스템을 도시한 기능 블록도,

도 2는 이 발명에 따른 확장 랜덤마이즈드 포레스트를 도시한 도면,

도 3은 패스트 검출기(FAST detector)를 이용하여 특징점을 추출하는 과정을 도시한 도면,

도 4는 Nc개의 학습대상물체 이미지에 대해 어핀변환을 수행하여 얻어진 학습 데이터 세트를 도시한 도면,

도 5는 각 특징점영역에 대해 어핀변환(affine transformation)을 수행하여 얻어진 학습 데이터 세트를 도시한 도면,

도 6은 이 발명에 따라 학습대상물체 이미지를 통해 물체를 학습하는 과정을 도시한 동작 흐름도,

도 7은 이 발명에 따라 학습대상물체 이미지를 통해 물체들의 특징점을 학습하는 과정을 도시한 동작 흐름도,

도 8은 이 발명에 따라 매칭대상물체 이미지에 포함된 물체를 인식하고 특징점을 매칭하는 과정을 도시한 동작 흐름도,

도 9는 성능 테스트 결과를 도시한 그래프,

도 10은 삼차원 물체 인식 테스트에 사용된 44 페이지 이미지를 도시한 도면,

도 11은 이 발명을 적용하여 11페이지의 책을 순서대로 인식하는데 소요된 시간을 도시한 그래프이다.