웨이블릿 기반의 중심대칭-국부이진 패턴과 계층적 랜덤 포레스트를 이용한 사람 검출 방법{A METHOD FOR DETECTING HUMAN USING WAVELET-BASED CS-LBP AND A CASCADE OF RANDOM FORESTS}

본 발명은 사람 검출 방법에 관한 것으로서, 보다 구체적으로는 웨이블릿 기반의 중심대칭-국부이진 패턴(CS-LBP)과 계층적 랜덤 포레스트를 이용하여 실시간으로 정확하게 사람을 검출하는 방법에 관한 것이다.

영상 및 비디오에서 사람을 검출하는 방법은, 비디오 감시, 휴먼 행동 인식 및 내용기반 영상/비디오 검색 등의 연구에 다양하게 적용될 수 있는바, 현재 컴퓨터 영상 분야에서 많은 관심을 받고 있다. 하지만, 조명, 그림자, 자세, 배경화면 등의 여러 가지 변화들로 인해 영상/비디오에서 사람을 효과적으로 검출하는 것은 매우 어려운 작업이다. 이를 위해, 최근 특정 타입의 특징(feature)과 분류기(classifier)를 조합하여 영상에서 자동으로 사람을 검출하는 방법들이 연구되고 있다.

Papageorgiou 및 Poggio(C. Papageorgiou and T. Poggio, “A trainable system for object detection,” Int. Journal of Computer Vision, vol. 38, no. 1, pp.15-33, 2000.)는 색상과 질감의 변화에 강인한 특징을 가지는 Haar 웨이블릿 기술자를 이용하고, Adaboost 분류기를 학습시켜 사람 검출 영역을 검출하는 방법을 제안하였다.

Dalal 및 Triggs(N. Dalal and B. Triggs, “Histograms of oriented gradients for human detection,” IEEE Int. Conf. on Computer Vision and Pattern Recognition, vol. 1, pp.886-893, 2005.5)는 사람 검출을 위해 HOG(Histogram of Oriented Gradient) 기술자와 SVM(Support Vector Machines) 분류기를 결합한 방법을 제안하였다.

하지만 상기 제안된 방법에서 사용되는 특징(기술자), 예컨대 HOG는 차원 수가 매우 커서 실시간으로 사람을 검출할 수 없는 문제점이 있다. 또한, SVM 분류기는 인간 검출에 사용되는 가장 대표적인 분류기 중 하나로서, 그 성능이나 정확성이 우수한 장점이 있음에도 불구하고, 적용되는 특징이 고차원인 경우에는 연산 시간이 길어져서 실시간으로 사람을 검출할 수 없는 바, 이러한 분류기는 고차원의 특징을 적용시키기에는 적합하지 않은 문제점이 있다.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 입력 영상의 웨이블릿 변환으로 인하여 얻어지는 복수의 서브 영상에서 CS-LBP 특징을 추출하고, 추출된 CS-LBP 특징 각각에 대해 랜덤 포레스트에 의한 학습을 수행하여 수행된 랜덤 포레스트를 계층적으로 연결하고, 이들을 모두 통과하는 영역을 최종 사람 영역으로 결정함으로써 차원 수를 줄여 실시간으로 사람을 검출함과 동시에 검출 능력이 향상된, 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법을 제공하는 것을 그 목적으로 한다.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법은,

(1) 입력 영상으로부터 복수 개의 웨이블릿 기반의 중심대칭-국부이진 패턴(Center Symmetric Local Binary Pattern; 이하 'CS-LBP'라 함) 특징을 추출하는 단계;

(2) 추출된 상기 웨이블릿 기반의 CS-LBP 특징 각각에 대하여 랜덤 포레스트(random forest)에 의한 학습을 수행하는 단계;

(3) 학습된 각각의 상기 랜덤 포레스트를 계층적으로 연결하는 단계; 및

(4) 계층적으로 연결된 상기 랜덤 포레스트 모두를 통과한 영역을 최종 사람 영역으로 결정하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.

바람직하게는,

(5) 상기 랜덤 포레스트 모두를 통과하면, 각 랜덤 포레스트에서 산출된 확률의 평균을 구하여 상기 입력 영상에서 사람의 최종 확률 값을 산출하는 단계를 더 포함할 수 있다.

바람직하게는, 상기 웨이블릿 기반의 CS-LBP 특징은,

상기 입력 영상의 웨이블릿 변환으로 인하여 얻어지는 복수의 서브 영상에서 추출된 CS-LBP 특징일 수 있다.

바람직하게는, 상기 단계 (1)은,

(1-1) 상기 입력 영상을 웨이블릿 변환하여 복수 개의 서브 영상을 얻는 단계;

(1-2) 각각의 상기 서브 영상을 복수 개의 셀로 분할하는 단계;

(1-3) 분할된 각각의 상기 셀에서 CS-LBP 특징을 추출하는 단계;

(1-4) 상기 CS-LBP 특징을 추출한 각각의 상기 셀에서 CS-LBP 히스토그램을 생성하는 단계; 및

(1-5) 각각의 상기 셀에서 생성된 상기 히스토그램을 연결하여 최종 CS-LBP 히스토그램을 생성하는 단계를 포함할 수 있다.

더욱 바람직하게는, 상기 단계 (1-1)에서,

상기 복수 개의 서브 영상은 고역 필터링된(high-pass filtered) 서브 영상인 LH, HH 및 HL일 수 있다.

더욱 바람직하게는, 상기 단계 (1-1)에서,

상기 웨이블릿 변환은 도비시 웨이블릿(Daubechies wavelet) 변환을 이용할 수 있다.

더욱 바람직하게는, 상기 단계 (1-2)에서,

각각의 상기 서브 영상을 16개의 셀로 분할할 수 있다.

더욱 바람직하게는, 상기 단계 (1-2)에서,

상기 셀은 서로 중첩되지 않도록(non-overlapped) 분할될 수 있다.

더욱 바람직하게는, 상기 단계 (1-4)에서,

상기 CS-LBP 히스토그램은 16개의 빈을 가질 수 있다.

더욱 바람직하게는, 상기 단계 (1-5)에서,

상기 최종 CS-LBP 히스토그램은 256개의 빈을 가질 수 있다.

바람직하게는, 상기 단계 (2)는,

(2-1) 상기 랜덤 포레스트의 결정 트리의 개수를 선택하는 단계;

(2-2) 상기 랜덤 포레스트의 변수의 개수를 선택하여 각 노드(node)를 분할하는 단계; 및

(2-3) 상기 결정 트리를 성장시키는 단계를 포함할 수 있다.

더욱 바람직하게는, 상기 단계 (2)는,

상기 단계 (2-1) 전에, 상기 랜덤 포레스트의 클래스를 정의하는 전처리 단계를 더 포함할 수 있다.

더욱더 바람직하게는, 상기 전처리 단계는,

상기 클래스를 사람 및 비-사람(non-human)의 두 개의 클래스로 정의할 수 있다.

바람직하게는, 상기 단계 (2-1)에서,

상기 결정 트리의 개수는 120개일 수 있다.

더욱 바람직하게는, 상기 단계 (2-3)은,

(2-3-1) 훈련 세트로부터 새로운 부트스트랩 샘플을 선택하고, 상기 부트스트랩 샘플을 이용하여 가지치기 되지 않은(unpruned) 트리를 성장시키는 단계;

(2-3-2) 상기 트리의 각 내부 노드가 랜덤하게 변수를 선택하고, 선택된 상기 변수만을 이용하여 최상(best)의 스플릿 함수(split function)를 결정하는 단계; 및

(2-3-3) 상기 트리를 최대 트리 깊이까지 성장시키는 단계를 포함할 수 있다.

더욱더 바람직하게는, 상기 단계 (2-3-3)에서,

상기 최대 트리 깊이는 20일 수 있다.

바람직하게는, 상기 단계 (3)에서,

랜덤 포레스트를 필터 체인 형식으로 계층적으로 연결하되,

LH 서브 영상으로부터 추출된 웨이블릿 기반의 CS-LBP를 사용하는 랜덤 포레스트가 첫 번째 필터에 위치되고,

HL 서브 영상으로부터 추출된 웨이블릿 기반의 CS-LBP를 사용하는 랜덤 포레스트가 마지막 필터에 위치될 수 있다.

본 발명에서 제안하고 있는 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법에 따르면, 본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 입력 영상의 웨이블릿 변환으로 인하여 얻어지는 복수의 서브 영상에서 CS-LBP 특징을 추출하고, 추출된 CS-LBP 특징 각각에 대해 랜덤 포레스트에 의한 학습을 수행하여 수행된 랜덤 포레스트를 계층적으로 연결하고, 이들을 모두 통과하는 영역을 최종 사람 영역으로 결정함으로써 차원 수를 줄여 실시간으로 사람을 검출함과 동시에 검출 능력이 향상될 수 있다.

도 1은 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 순서도.
도 2는 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S100에 대한 세부 순서도.
도 3은 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S110에 의해 얻은 서브 영상 결과를 나타낸 도면.
도 4는 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S120에 의해 복수 개의 셀로 분할된 LH 서브 영상을 나타낸 도면.
도 5는 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S130에 의해 각 셀에서 CS-LBP 특징을 추출한 결과를 나타낸 도면.
도 6은 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S140에 의해 각 셀에서 생성된 CS-LBP 히스토그램을 나타낸 도면.
도 7은 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S150에 의해 생성된 최종 CS-LBP 히스토그램을 나타낸 도면.
도 8은 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S200에 대한 세부 순서도.
도 9는 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S230에 대한 세부 순서도.
도 10은 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S300에 의해 계층적으로 연결된 랜덤 포레스트 결과를 나타낸 도면.
도 11은 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법에 따라 영상에서 사람이 검출된 결과를 나타낸 도면.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결' 되어 있다고 할 때, 이는 '직접적으로 연결' 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결' 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함' 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 순서도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법은, 입력 영상으로부터 복수 개의 웨이블릿 기반의 중심대칭-국부이진 패턴(Center Symmetric Local Binary Pattern; 이하 'CS-LBP'라 함) 특징을 추출하는 단계(S100), 추출된 웨이블릿 기반의 CS-LBP 특징 각각에 대하여 랜덤 포레스트(random forest)에 의한 학습을 수행하는 단계(S200), 학습된 각각의 랜덤 포레스트를 계층적으로 연결하는 단계(S300), 계층적으로 연결된 랜덤 포레스트 모두를 통과한 영역을 최종 사람 영역으로 결정하는 단계(S400), 및 랜덤 포레스트 모두를 통과하면, 각 랜덤 포레스트에서 산출된 확률의 평균을 구하여 입력 영상에서 사람의 최종 확률 값을 산출하는 단계(S500)를 포함하여 구성될 수 있다.

단계 S100에서는, 입력 영상으로부터 복수 개의 웨이블릿 기반의 CS-LBP(Wavelet-based CS-LBP, WCS-LBP) 특징을 추출한다. 단계 S100에 대하여, 도 2 내지 도 7을 참조하여 상세히 설명하도록 한다.

도 2는 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S100에 대한 세부 순서도이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S100은, 입력 영상을 웨이블릿 변환하여 복수 개의 서브 영상을 얻는 단계(S110), 각각의 서브 영상을 복수 개의 셀로 분할하는 단계(S120), 분할된 각각의 상기 셀에서 CS-LBP 특징을 추출하는 단계(S130), CS-LBP 특징을 추출한 각각의 셀에서 CS-LBP 히스토그램을 생성하는 단계(S140), 및 각각의 셀에서 생성된 히스토그램을 연결하여 최종 CS-LBP 히스토그램을 생성하는 단계(S150)를 포함할 수 있다.

단계 S110에서는, 입력 영상을 웨이블릿 변환하여 복수 개의 서브 영상을 얻는다. 보다 구체적으로, 64× 128 크기의 입력 윈도에 웨이블릿 변환을 적용하여, 4개의 서브 영상을 얻을 수 있으며, 도 3은 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S110에 의해 얻은 서브 영상 결과를 나타낸 도면이다. 도 3에 도시된 바와 같이, 웨이블릿 변환을 통하여 LL, LH, HH, HL의 총 4개의 서브 영상을 얻을 수 있고, 이 중 고역 통과 필터를 적용하여 고역 필터링된(high-pass filtered) LH, HH 및 HL 서브 영상을 사람 영역 검출을 위해 사용하는 것이 바람직하다. 한편, 웨이블릿 변환은 도비시 웨이블릿(Daubechies wavelet)을 사용하는 것이 바람직하다.

단계 S120에서는, 단계 S110에 의해 얻은 각각의 서브 영상을 복수 개의 셀로 분할하며, 도 4는 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S120에 의해 복수 개의 셀로 분할된 LH 서브 영상을 나타낸 도면이다. 도 4에 도시된 바와 같이, 서브 영상은 서로 중첩되지 않는 16(4×4)개의 셀로 분할되는 것이 바람직하다. 또한, 설명의 편의상 도 4는 16개의 셀로 분할된 LH 서브 영상만을 나타내고 있지만, 이와 동일한 방법으로 HH 및 HL 서브 영상도 각각 16개의 셀로 분할된다.

단계 S130에서는, 단계 S120에 의해 분할된 각각의 셀에서 CS-LBP 특징을 추출하며, 도 5는 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S130에 의해 각 셀에서 CS-LBP 특징을 추출한 결과를 나타낸 도면이다. CS-LBP는 중심 픽셀의 이웃하는 픽셀들의 관계를 나타내는 기술자로서, 이는 LBP와 동일한 성능을 나타내면서 차원 수를 현저히 줄일 수 있다. 즉, CS-LBP는 조명 변화에 강하고, 단일 톤의(monotonic) 그레이 레벨의 변화에 대한 견고성(robustness)과 같은 특징을 유지하면서 계산을 단순화한다. 견고성은 하기의 수학식 1과 같이, small value T를 사용하여 그레이 레벨 차이를 임계화 처리(thresholding)하여 평면 영상 영역으로 얻어지며, CS-LBP는 하기의 수학식 2에 따라 계산되어 얻는다.

여기서, n _i 및 n _i +(N/2)는 반지름 R을 갖는 원에서 N 동일한 간격의 픽셀에 대한 중심 대칭 픽셀 쌍의 그레이 값을 나타낸다.

보다 구체적으로, 도 5에 도시된 바와 같이, P=8을 이용하여, 서브 영상(예컨대, LH)에서 분할된 16개의 셀에서 각각 CS-LBP 특징을 추출하고, 그 결과, 하나의 서브 영상마다 총 16개의 CS-LBP 특징을 추출한다. 또한, 설명의 편의상 도 5는 16개의 셀로 분할된 LH 서브 영상의 셀에서 CS-LBP 특징을 추출한 결과만을 도시하고 있지만, 이와 동일한 방법으로 HH 및 HL 서브 영상의 셀에서도 각각 CS-LBP 특징을 추출한다.

단계 S140에서는, 단계 S130에 의해 CS-LBP 특징을 추출한 각각의 셀에서 CS-LBP 히스토그램을 생성하며, 도 6은 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S140에 의해 각 셀에서 생성된 CS-LBP 히스토그램을 나타낸 도면이다. 도 6에 도시된 바와 같이, CS-LBP 히스토그램은 16개의 빈(bin)을 가지며, 이는 각 셀에서 나타나는 CS-LBP 분포를 나타낸다. 또한, 설명의 편의상 도 6은 LH 서브 영상의 각 셀에서 생성되는 CS-LBP 히스토그램만을 도시하고 있지만, 이와 동일한 방법으로 HH 및 HL 서브 영상의 각 셀에서도 CS-LBP 히스토그램이 생성된다.

단계 S150에서는, 단계 S140에 의해 각각의 셀에서 생성된 히스토그램을 연결하여 최종 CS-LBP 히스토그램을 생성하며, 도 7은 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S150에 의해 생성된 최종 CS-LBP 히스토그램을 나타낸 도면이다. 도 7에 도시된 바와 같이, 16개의 셀에서 생성된 16개의 빈을 가진 CS-LBP 히스토그램을 연결하여 생성되는바, 최종 CS-LBP 히스토그램은 256(16×16)개의 빈을 가진다. 또한, 설명의 편의상 도 7은 LH 서브 영상에서 생성된 최종 CS-LBP 히스토그램만을 도시하고 있지만, 이와 동일한 방법으로 HH 및 HL 서브 영상에서도 각각 최종 CS-LBP 히스토그램이 생성된다.

단계 S200에서는, 단계 S100에 의해 추출된 웨이블릿 기반의 CS-LBP 특징 각각에 대하여 랜덤 포레스트(random forest, RF)에 의한 학습을 수행한다. 즉, 웨이블릿 변환을 통해 얻은 각각의 LH, HL 및 HH 서브 영상에서 추출된 CS-LBP 특징은 기본적인 특성이 서로 상이한바, 세 개의 각 서브 영상에서 추출된 각 CS-LBP 특징별로 세 개의 랜덤 포레스트(RF1, RF2, RF3)에 의한 학습을 진행한다.

랜덤 포레스트는 결정 트리 앙상블 분류기로서, 단일 결정 트리보다는 이진 결정 트리의 집합을 기본으로 하며, 이는 하기의 수학식 3으로 표현될 수 있다.

여기서, h _t 는 t번째 각각의 트리(t-th individual tree)이고, h()은 트리의 예측(prediction)을 나타낸다. x는 사람 및 비-사람(non-human) 윈도 샘플을 나타내고, x={S _n }, n=1, ..., N _samples 인데, 여기서 S _n 은 데이터베이스 샘플을 나타낸다.

이러한 랜덤 포레스트를 이용하여 정확하고 빠른 훈련 속도로 많은 양의 데이터를 처리할 수 있다. 단계 S200에 대하여 도 8 및 도 9를 참조하여 상세히 설명하도록 한다.

도 8은 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S200에 대한 세부 순서도이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S200은, 랜덤 포레스트의 결정 트리의 개수를 선택하는 단계(S210), 랜덤 포레스트의 변수의 개수를 선택하여 각 노드(node)를 분할하는 단계(S220) 및 결정 트리를 성장시키는 단계(S230)를 포함할 수 있다.

단계 S210에서는, 랜덤 포레스트의 결정 트리의 개수를 선택하며, 보다 구체적으로, 세 개의 랜덤 포레스트(RF1, RF2, RF3)의 결정 트리의 개수를 선택하며, 120개로 선택하는 것이 바람직하다. 한편, 단계 S210 전에 랜덤 포레스트의 클래스를 정의하는 전처리 단계를 수행할 수 있으며, 보다 구체적으로 사람과 비-사람의 두 클래스로 정의하는 것이 바람직하다.

단계 S220에서는, 랜덤 포레스트의 변수의 개수를 선택하여 각 노드(node)를 분할하며, 바람직하게는, 256 입력 변수로부터 각 노드를 분할한다. 즉, 다른 i번째 변수를 사용하여, 스플릿 함수(split function) f(v _i )는 하기의 수학식 4에 따라 훈련 데이터를 왼쪽(I _l ) 및 오른쪽(I _r ) 서브 세트로 반복적으로 분할한다.

여기서, 임계값(threshold) t는 영역에서 스플릿 함수 f(v _i )에 의해 랜덤하게 선택된다(

단계 S230에서는, 결정 트리를 성장시키며, 도 9는 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S230에 대한 세부 순서도이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S230은, 훈련 세트로부터 새로운 부트스트랩 샘플을 선택하고, 부트스트랩 샘플을 이용하여 가지치기되지 않은(unpruned) 트리를 성장시키는 단계(S231), 트리의 각 내부 노드가 랜덤하게 변수를 선택하고, 선택된 변수만을 이용하여 최상(best)의 스플릿 함수를 결정하는 단계(S232) 및 트리를 최대 트리 깊이까지 성장시키는 단계(S233)를 포함할 수 있다.

단계 S231에서는, 훈련 세트(Sn)로부터 새로운 n 부트스트랩 샘플(n bootstrap samples)을 선택하고, n 부트스트랩 샘플을 이용하여 가지치기 되지 않은(unpruned) 트리를 성장시킨다.

단계 S232에서는, 트리의 각 내부 노드가 랜덤하게 m 변수(m variables)를 선택하고, 선택된 변수만을 이용하여 최상의 스플릿 함수를 결정한다.

단계 S233에서는, 트리를 최대 트리 깊이까지 성장시키며, 보다 구체적으로 최대 트리 깊이는 20인 것이 바람직하다.

단계 S300에서는, 단계 S200에 의해 학습된 각각의 랜덤 포레스트를 계층적으로 연결하며, 도 10은 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법의 단계 S300에 의해 계층적으로 연결된 랜덤 포레스트 결과를 나타낸 도면이다.

도 10에 도시된 바와 같이, 랜덤 포레스트를 연속으로 필터 체인(filter chain) 형식으로 결합하여 계층적으로 연결하며, 이때 각 필터는 비교적 적은 수의 n 약한 분류기(n weak classifier)(결정 트리)를 가진 별개의 랜덤 포레스트 분류기이다.

또한, 이러한 계층적 랜덤 포레스트에서, 각 랜덤 포레스트(R1, R2, R3)는 분류를 위해 할당된 웨이블릿 기반의 CS-LBP 특징, 보다 구체적으로, 각각의 LH, HH 및 HL 서브 영상에서 추출된 웨이블릿 기반의 CS-LBP 특징만을 사용한다.

뿐만 아니라, 사람은 신체 경계를 따라 강한 수직 에지를 가지는 것을 고려하여, LH 서브 영상으로부터 추출된 웨이블릿 기반의 CS-LBP를 사용하는 랜덤 포레스트가 첫 번째 필터에 위치되고, HL 서브 영상으로부터 추출된 웨이블릿 기반의 CS-LBP를 사용하는 랜덤 포레스트가 마지막 필터에 위치되는 것이 바람직하다.

단계 S400에서는, 단계 S300에 의해 계층적으로 연결된 랜덤 포레스트 모두를 통과한 영역을 최종 사람 영역으로 결정한다. 즉, 도 10에 도시된 바와 같이, 첫 번째 필터에 위치된 LH 서브 영상으로부터 추출된 웨이블릿 기반의 CS-LBP를 사용하는 랜덤 포레스트에서, 대부분의 스캐닝 윈도는 하기의 수학식 5에 따라 필터를 통과하거나 탈락된다.

여기서,

여기서, T는 트리의 개수이고, l _t 는 t번째 트리의 분포를 나타낸다.

i번째 랜덤 포레스트의 확률 분포는 랜덤 포레스트의 각 분포의 평균에 의해 생성되며, 스캐닝 윈도에서 평균 확률 분포의 최댓값을 갖는 클래스가 사람이고, 최소 기준 값 t ₁ 을 초과하는 경우, 상기 기재된 수학식 5에 따라, 스캐닝 윈도는 다음 랜덤 포레스트로 전달된다.

첫 번째 필터의 랜덤 포레스트를 통과한 스캐닝 윈도는, 두 번째 필터인 HH 서브 영상으로부터 추출된 웨이블릿 기반의 CS-LBP를 사용하는 랜덤 포레스트에 적용되고, 동일한 방법을 이용하여 수학식 5를 만족하는 경우에는 두 번째 랜덤 포레스트도 통과하여 마지막 필터의 랜덤 포레스트로 적용되고, 그렇지 못한 경우에는 통과되지 못하고 탈락된다. 두 번째 필터의 랜덤 포레스트를 통과한 스캐닝 윈도는, 마지막 필터인 HL 서브 영상으로부터 추출된 웨이블릿 기반의 CS-LBP를 사용하는 랜덤 포레스트로 적용되고, 동일한 방법을 이용하여 수학식 5를 만족하는 경우 사람 영역으로 판단한다. 이와 같이, 세 가지 필터를 모두 통과하게 되면 최종적으로 사람으로 분류가 이루어지게 된다.

단계 S500에서는, 단계 S400에 의해 랜덤 포레스트 모두를 통과한 영역을 최종 사람 영역으로 판단함과 동시에, 하기의 수학식 7에 따라 각 단계(LH, HH, HL)의 랜덤 포레스트에서 산출된 확률의 평균을 구하여 입력 영상에서 사람의 최종 확률 값을 산출한다.

도 11은 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법에 따라 영상에서 사람이 검출된 결과를 나타낸 도면이다. 도 11에 도시된 바와 같이, 본 발명의 일실시예에 따른 웨이블릿 기반의 CS-LBP와 계층적 랜덤 포레스트를 이용한 사람 검출 방법은, 정확하고 신속하게 영상에서 사람을 검출하는 것을 확인할 수 있다.

본 발명은 이하의 실시예에 의하여 더욱 상세히 설명되나, 본 발명이 이하의 실시예에 의해 어떤 식으로든 제한되는 것은 아니다.

ATPR , AFPR 및 AMR 비교 실험

ATPR, AFPR 및 AMR 비교에 따른 본 발명 따른 사람 검출 방법의 사람 검출 성능 효과를 확인하기 위해 하기와 같이 실험을 진행하였다.

훈련(training) 및 시험(testing) 시스템을 위해 매우 다양한 신체 및 배경 화면을 포함하는 INRIA person dataset를 이용하였다. 이 데이터베이스는, 64×128 픽셀의 2416 positive 및 negative 샘플뿐만 아니라, negative 견본(exemplar)으로 사용될 수 있는 사람을 포함하지 않는 동적 배경화면을 포함하는 훈련 데이터 세트(집합)를 제공한다. 훈련을 위해 950 영상을 사용하였고, 시험을 위해 320×240 픽셀의 100 영상을 사용하였다.

시험을 위해, 원본 해상도에서 384×288 픽셀로의 120% 비율로 업-샘플링, 원본 해상도에서 256×192 픽셀로의 80% 비율로 다운-샘플링, 및 원본 해상도에서 192×144 픽셀로의 60% 비율로 다운-샘플링한 세 개의 샘플링을 원본 영상에 적용하였다. 스캐닝 윈도의 이동하는 단계-크기(shifting step-size)는 4 픽셀이고, 60% 다운-샘플된 영상에서 2 픽셀이 감소되었다.

본 발명에 따른 웨이블릿 기반의 CS-LBP 특징(WCS-LBP)과 계층적 랜덤 포레스트(CRF)의 결합에 의한 방법을 통해 ATPR(average true positive rate), AFPR(average false positive rate) 및 AMR(average miss rate) 값을 산출하였고, 그 결과를 세 개의 국부 기술자 및 분류기를 조합한 4개의 방법(HOG+SVM, HOG+RF, CS-LBP+SVM, 및 WCS-LBP(연결된 LH, HL, HH)+RF)을 통해 산출된 값과 비교하였고, 그 결과를 표 1에 나타내었다.

표 1에 나타낸 바와 같이, 본 발명에 따른 사람 검출 방법은, 우수한 사람 검출 성능에 우수한 효과가 있음을 확인하였다.

미스 비율( miss rate ) 비교 실험

미스 비율(miss rate) 비교에 따른 본 발명 따른 사람 검출 방법의 사람 검출 성능 효과를 확인하기 위해 하기와 같이 실험을 진행하였다.

본 발명에 따른 웨이블릿 기반의 CS-LBP 특징(WCS-LBP)과 계층적 랜덤 포레스트(CRF)의 결합과 실시예 1과 동일한 4개의 조합 간의 FPPW(False Positive Per Window)와 미스 비율(miss rate)을 비교하였고, 그 결과를 표 2에 나타내었다. 여기서, FPPW는 FalsePos/(TrueNeg+FalsePos)로 정의되고, 미스 비율은 FalseNeg/(FalseNeg+TruePos)로 정의된다.

표 2에 나타낸 바와 같이, 본 발명에 따른 사람 검출 방법은, 10 ^-4 의 오류 검출(false alarm)에서 다른 4개의 방법 즉, HOG+SVM, HOG+RF, CS-LBP+SVM 및 WCS-LBP+RF보다 각각 약 0.01, 0.007, 0.005 및 0.002 낮은 값을 가지는 것을 확인하였다. 더욱이, HOG+SVM, HOG+RF, CS-LBP+SVM, WCS-LBP+RF, 및 WCS-LBP+CRF 방법은, 동일한 시스템 환경에서 영상당 각각 9.8, 4, 3.4, 2.6, 및 2초의 평균 처리 속도를 나타내었다. 따라서 본 발명에 따른 사람 검출 방법은, 사람 검출 성능 효과가 우수함과 동시에 짧은 시간 안에 사람을 검출할 수 있음을 확인하였다.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.

S100: 입력 영상으로부터 복수 개의 웨이블릿 기반의 CS-LBP 특징을 추출하는 단계
S200: 추출된 웨이블릿 기반의 CS-LBP 특징 각각에 대하여 랜덤 포레스트에 의한 학습을 수행하는 단계
S300: 학습된 각각의 랜덤 포레스트를 계층적으로 연결하는 단계
S400: 계층적으로 연결된 랜덤 포레스트 모두를 통과한 영역을 최종 사람 영역으로 결정하는 단계
S500: 랜덤 포레스트 모두를 통과하면, 각 랜덤 포레스트에서 산출된 확률의 평균을 구하여 입력 영상에서 사람의 최종 확률 값을 산출하는 단계