다중 이동물체 추적/감시 시스템{System tracking and watching multi moving object}
본 발명은 물체추적시스템에 관한 것으로, 특히 광역감시카메라와 지역감시카메라를 이용하여 이동물체를 추적/감시하는 시스템에 관한 것이다. 종래의 물체추적시스템의 문제점은 사람, 동물, 차량, 항공기 등의 다중이동물체의 식별이 불가능하고, 감시영역의 변경에 추가설비 및 추가비용이 필요하다. 또한, 센서 그 자체가 단일 기능(라인감시, 화면감시)이며 구축비용이 많이 들고 시스템이 복잡해진다.
본 발명이 이루고자하는 기술적 과제는 실시간 감시 시스템 구축을 위한 이동 물체 검출 및 추적을 위한 다중 이동물체 추적/감시 시스템을 제공함에 있다.
도 1은 본 발명에 의한 다중 이동물체 추적/감시 시스템의 구성을 도시한 것이다. 도 2는 본 발명에 의한 다중 이동물체 추적/감시 시스템에서 광역감시장치의 구성을 도시한 것이다. 도 3은 본 발명에 의한 다중 이동물체 추적/감시 시스템에서 지역감시장치의 구성을 도시한 것이다. 도 4는 입력된 영상을 이용한 움직임 영역추출(좌)과 필터링을 한 영상을 이용한 움직임 영역추출(우)을 도시한 것이다. 도 5는 시간경과에 따른 입력영상과 disturbance map, 움직임 영역 추출결과를 도시한 것이다. 도 6은 이진필터링의 전(좌)과 후(우) 비교를 도시한 것이다. 도 7은 Object merge의 전(좌)과 후(우) 비교를 도시한 것이다. 도 8은 칼만 필터의 순서도를 도시한 것이다. 도 9는 2차원 영상에 대한 수직 및 수평 방향의 투영결과를 도시한 것이다. 도 10은 투영신호에 대한 벡터표현과 그 벡터합을 도시한 것이다. 도 11은 Template matching에 의한 물체추적을 도시한 것이다. 도 12는 초반 프레임에서의 입력이미지와 배경이미지를 도시한 것이다. 도 13은 일정시간이후의 입력이미지와 배경이미지를 도시한 것이다. 도 14는 입력된 이미지와 배경이미지와의 차를 이용하여 움직임 추출이미지를 도시한 것이다. 도 15a는 현재 들어오는 프레임에서의 에지이미지를 도시한 것이고, 도 15b는 결과이미지를 도시한 것이다. 도 16은 이전 프레임에 등록된 템플릿(좌)과 현재 프레임에서 찾아진 템플릿(우)을 도시한 것이다. 도 17a 내지 도 17c는 카메라 움직임 보정 전과 후의 움직임 추출결과를 비교하여 도시한 것으로, 도 17a는 입력영상이고, 도 17b는 카메라 움직임 보정 전의 움직임 추출결과이고, 도 17c는 카메라 움직임 보정 후의 움직임 추출결과를 도시한 것이다. 도 18a 내지 도 18b는 블록정합을 이용한 움직임 벡터 추출을 도시한 것으로, 도 18a는 이전프레임, 도 18b는 현재 프레임을 나타낸다. 도 19는 블록 정합을 이용하여 움직임 영역을 추출한 결과를 도시한 것이다. 도 20a 내지 도 20e는 입력이미지와 배경이미지를 이용하여 움직임 추출과정을 도시한 것으로, 도 20a는 초반 프레임에서 입력이미지와 배경이미지, 도 20b는 일정시간 이후의 입력이미지와 배경이미지, 도 20c는 입력된 이미지와 배경이미지와의 차를 이용하여 추출된 움직임 이미지, 도 20d는 현재 들어오는 프레임에서의 에지 이미지, 도 20e는 결과 이미지를 도시한 것이다. 도 21은 각 프레임간의 차 이미지를 도시한 것이다. 도 22는 현재의 이미지와 차를 이용하여 추출해낸 움직이는 물체의 윤곽선 이미지를 도시한 것이다. 도 23은 카메라 움직임을 프레임별로 나타낸 테이블을 도시한 것이다. 도 24는 카메라에 입력되고 있는 영상을 도시한 것이다. 도 25는 카메라의 움직임을 보정한 후의 독립적으로 움직이는 물체를 도시한 것이다.
상기 기술적 과제를 해결하기 위한 본 발명에 의한 다중 이동물체 추적/감시 시스템은 고정된 위치에서 감시범위내에 있는 움직이는 물체를 등록하여 추적하는 광역감시장치; 및 상기 광역감시장치에 의해 등록된 물체들 중에서 추적하고자 하는 이동물체가 감시영역을 벗어날 때까지 이동물체를 추적하면서 감시하는 적어도 하나의 지역감시카메라를 구비하는 지역감시장치를 포함하고, 상기 광역감시장치는 움직이는 물체를 포착하여 이동물체의 위치를 인식하여 상기 지역감시장치에 추적명령을 내려, 상기 지역감시장치로 하여금 상기 이동물체를 감시영역을 벗어날 때까지 상기 이동물체를 추적토록 함을 특징으로 한다. 또한, 상기 광역감시장치는 카메라; 상기 카메라로부터 영상을 입력하는 영상입력부; 상기 입력된 영상을 보정하는 영상보정부; 상기 보정된 영상에서 움직임을 검출하는 움직임검출부; 상기 움직임 물체를 추출하는 움직임물체추출부; 및 상기 추출된 움직임 물체의 위치 및 속도를 추적하는 움직임물체추적부를 포함함을 특징으로 한다. 또한, 상기 지역감시장치는 적어도 하나의 카메라; 상기 카메라로부터 영상을 입력하는 영상입력부; 상기 입력된 영상을 보정하는 영상보정부; 상기 보정된 영상에서 움직임을 검출하는 움직임검출부; 상기 움직임 물체를 추출하는 움직임물체추출부; 상기 추출된 움직임 물체의 위치 및 속도를 추적하는 움직임물체추적부; 및 상기 물체 이동에 따라 상기 카메라의 이동을 보정하는 카메라이동보정부를 포함함을 특징으로 한다. 또한, 상기 영상보정부는 입력영상의 잡음성분을 제거하기 위하여 잡음제거필터를 이용함을 특징으로 한다. 또한, 상기 잡음제거필터는 미디언 필터, 가우시안 필터, 평활화 필터, 평균 필터 중에서 어느 하나를 선택하여 사용함을 특징으로 한다. 또한, 상기 평균 필터는 블록을 이동시키면서 이전에 계산된 평균값을 이용하여 계산함을 특징으로 한다. 또한, 상기 움직임물체추출부는 움직임 영역 정보를 이용하여 세그먼테이션 및 머징을 통하여 하나의 물체를 추출함을 특징으로 한다. 또한, 상기 움직임물체추적부는 움직이는 물체의 속도 및 위치정보를 칼만필터를 이용한 예측알고리듬에 적용하여 물체의 다음 위치를 예측하여 추적함을 특징으로 한다. 또한, 상기 움직임물체추적부는 추적중인 물체가 정지하여 움직임이 없어지거나 여러 물체가 서로 교차하여 정확한 추적이 어려울 경우 템프레이트 매칭(template matching)을 이용하여 물체를 추적함을 특징으로 한다. 또한, 상기 카메라이동보정부는 카메라의 페닝모드에서 연속적으로 입력되는 영상 데이터들의 에지를 추출하고, 상기 추출된 에지를 xy축으로 프로젝션시키고, 상기 프로젝션된 값을 비교하여 카메라의 움직임을 보정함을 특징으로 한다. 이하 도면을 참조하여 본 발명을 상세히 설명하기로 한다. 도 1은 본 발명에 의한 다중 이동물체 추적/감시 시스템의 구성을 도시한 것으로, 광역감시장치(10) 및 지역감시장치(20)로 이루어진다. 광역감시장치(10)는 고정된 카메라를 이용하여 넓은 영역을 감시하기 위한 장치로 입력된 영상을 분석하여 움직임을 추출하고 추출된 움직임 정보를 이용하여 움직이는 물체를 등록하고 그 자취를 추적하는 장치로서, 감시 범위 내에 있는 모든 움직이는 물체를 등록하여 추적하게 된다. 이러한 광역감시장치(10)는 카메라(110), 영상입력부(120), 영상보정부(130), 움직임검출부(140), 움직임물체추출부(150) 및 움직임물체추적부(160)로 이루어진다. 카메라(110)는 고정된 카메라를 이용하여 감시영역의 영상데이터를 수집한다. 영상입력부(120)는 카메라(110)로부터 수집된 영상을 입력한다. 영상보정부(130)는 영상입력부(120)로부터 입력된 영상을 보정하는 수단으로, 필터링(Filtering)을 통하여 영상을 보정한다. 여기서, 상기 영상보정부(130)는 입력 영상의 잡음 성분을 제거하여 보다 정확한 움직임 검출 및 이동 물체 추출을 위한 영상을 보정하는 수단으로, 잡음 제거 필터를 이용하여 입력 영상의 잡음을 제거한다. 움직임검출부(140)는 영상보정부(130)로부터 보정된 영상에서 움직임을 검출하는 수단으로, 잡음이 제거된 영상에서 움직임이 있는 영역과 배경을 분리하기 위한 과정으로 Disturbance map을 이용하여 움직임이 발생한 부분을 검출한다. 움직임물체추적부(150)는 상기 Disturbance map을 이용하여 추출된 움직임 영역에서 실제 움직이는 물체를 분리하기 위한 수단으로, 움직임 영역 정보를 이용하여 segmentation 및 merging을 통하여 실제 하나의 물체를 추출한다. 움직임물체추적부(160)는 상기 추출된 움직임 물체의 위치 및 속도를 추적하는 수단으로, 움직이는 물체의 빠르고 정확한 추적을 위하여 움직이는 물체의 속도 및 위치정보를 칼만필터(Kalman Filter)를 이용한 예측 알고리즘에 적용하여 움직이는 물체의 다음 위치를 정확히 예측하여 추적한다. 또한, 움직임물체추적부(160)는 추적중인 물체가 정지하여 움직임이 없어지거나 여러 물체가 서로 교차하여 정확한 추적이 어려울 경우 template matching을 이용하여 물체를 놓치지 않고 추적 가능하게 한다. 지역감시장치(20)는 근거리에서 Fan/Tilt 카메라를 이용하여 카메라를 움직이면서 이동 물체를 감시하는 장치이다. 자동 가시 모드에서는 카메라가 좌우로 움직이면서 움직임을 감시하며 움직임이 검출 될 경우 Zooming 하여 물체를 검출하고 물체의 이동경로에 따라 카메라를 이동시켜 추적하는 장치이다. 또한, 지역감시장치(20)에서는 카메라의 움직임이 발생하기 때문에 광역감시장치(10)에서 수행하는 과정에 추가하여 카메라의 움직임을 보정하는 과정과 움직이는 물체가 등록되었을 때 물체를 따라 카메라를 이동시키면서 추적하는 과정이 필요하게 된다. 이러한 지역감시장치(20)는 카메라(210), 영상입력부(220), 영상보정부(230), 움직임검출부(240), 움직임물체추출부(250), 움직임물체추적부(260) 및 카메라이동보정부(270)로 이루어진다. 카메라(210)는 근거리에서 사용되는 Fan/Tilt 카메라를 이용하여 감시영역의 영상데이터를 수집한다. 영상입력부(220)는 카메라(210)로부터 수집된 영상을 입력한다. 영상보정부(230)는 영상입력부(220)로부터 입력된 영상을 보정하는 수단으로, 필터링(Filtering)을 통하여 영상을 보정한다. 여기서, 상기 영상보정부(230)는 입력 영상의 잡음 성분을 제거하여 보다 정확한 움직임 검출 및 이동 물체 추출을 위한 영상을 보정하는 수단으로, 잡음 제거 필터를 이용하여 입력 영상의 잡음을 제거한다. 움직임검출부(240)는 영상보정부(230)로부터 보정된 영상에서 움직임을 검출하는 수단으로, 잡음이 제거된 영상에서 움직임이 있는 영역과 배경을 분리하기 위한 과정으로 Disturbance map을 이용하여 움직임이 발생한 부분을 검출한다. 움직임물체추적부(250)는 상기 Disturbance map을 이용하여 추출된 움직임 영역에서 실제 움직이는 물체를 분리하기 위한 수단으로, 움직임 영역 정보를 이용하여 segmentation 및 merging을 통하여 실제 하나의 물체를 추출한다. 움직임물체추적부(260)는 상기 추출된 움직임 물체의 위치 및 속도를 추적하는 수단으로, 지역감시장치(20)에서는 움직임이 검출되면 그 움직이는 물체를 고정(Lock)시킨 후 카메라(210)를 이동물체의 움직임에 맞추어 움직이면서 물체를 추적하게 된다. 이동 물체를 빠르고 정확하게 추적하기 위한 방법으로 색상 정보를 이용하거나 Matching 기법을 이용하거나 Optical Flow등을 이용하는 방법이 이용될 수 있다. 카메라이동보정부(270)는 지역 감시에서는 카메라(210)가 auto-panning mode로 동작하게 되는데, 이 경우 움직임을 추출하게 되면 카메라 움직임에 의한 전체적인 움직임이 검출되어 실제 움직이는 물체의 움직임 추출이 어려워지게 된다. 이러한 문제를 해결하기 위하여 카메라의 움직임을 검출하여 보정하여 실제 움직이는 물체들의 움직임만을 검출 가능하게 한다. 상술한 설명에 의거하여 본 발명에 의한 다중 이동물체 추적/감시 시스템에 사용되는 알고리듬에 대하여 설명하기로 한다. 1. Filtering을 통한 잡음 제거 알고리즘 1.1. 배경 CCD 카메라를 이용한 영상 획득시 입력되는 잡음이나 기후 변화에 의한 영상 변화는 움직임 검출 단계에서 오류를 유발할 가능성을 크게 한다. 이러한 잡음 성분을 효과적으로 제거하기 위한 이미지 Filtering이 필요하다. 1.2. 적용 방법 영상의 잡음 성분을 제거하기 위한 filter로는 median filter, Gaussian smoothing filter, mean filter 등 여러 가지 filter들이 사용된다. 이들 중 실시간 시스템 구현을 위하여 빠른 구현이 가능한 mean filter를 이용하여 카메라에서 입력된 영상의 잡음 성분을 제거한다. 보통의 mean filter는 3x3 마스크를 영상에 적용하여 구현하게 되지만 보다 빠른 구현을 위하여 마스크 연산을 수행하지 않고 블록을 이동시키면서 이전에 계산된 평균값을 이용하여 빠르게 평균값을 계산하는 방법을 이용하였다. 1.3. 적용 결과 도 4는 입력된 영상을 이용한 움직임 영역추출(좌)과 필터링을 한 영상을 이용한 움직임 영역추출(우)을 도시한 것이다. 도 4에서 볼 수 있듯이 Filtering을 거치지 않은 영상의 경우 잡음에 의한 움직임 영역이 추출됨을 볼 수 있다. 2. 움직임 검출 알고리즘 2.1. 배경 입력된 영상으로부터 움직이는 물체를 추적하기 위해서는 움직이는 물체의 움직임을 검출하고 그 위치를 찾아내는 것이 선행되어야 한다. 움직임 영역을 검출하는 방법에는 두 영상의 차이를 이용하는 방법, optical flow를 이용하는 방법, 움직임 벡터를 이용하는 방법 등이 이용되고 있다. 2.2. Disturbance map 움직임을 검출하는 방법 중 차를 이용하는 방법은 계산이 간단하고 빠른 특징을 가기고 있으나 조도 변화나 잡음에 매우 민감한 특징을 가지고 있으며, optical flow나 움직임 벡터를 이용하는 방법은 많은 계산량을 필요로 하는 단점을 가지고 있다. 본 발명에서는 이를 극복하기 위하여 disturbance map을 이용하고 있다. disturbance map은 현재 영상과 배경(이전까지 입력된 영상의 평균 영상) 영상을 이용하여 disturbance map을 생성하고 이것을 이용 물체의 움직임 영역을 검출하는 방법이다. disturbance map은 간단하여 빠른 계산이 가능하면서도 잡음 및 조도 변화에 강인한 특성을 갖는다. Disturbance map은 시평균(temporal average) 개념을 이용하는 방법으로 이전 프레임까지 평균에 historical weight를 두어 배경 영상을 생성하고, 이것과 현재 프레임과의 차를 구하여 생성한다.
2.3. 움직임 영역 추출 Disturbance map은 움직임이 존재하는 영역에서는 값을 가지며 움직임이 없는 배경에서는 0에 가까운 값을 가지게 된다. 이것을 이용하여 disturbance map에서는 실제 움직임이 있는 영역을 추출하기 위해서 임계치 분할 방법(thresholding)을 이용하게 된다. Disturbance map 전체에 절대값을 취하여 그 값이 일정 기준치(threshold)보다 크면 움직임 영역, 작으면 배경영역으로 분류한다.
도 5는 시간경과에 따른 입력영상과 disturbance map, 움직임 영역 추출결과를 도시한 것이다. 3. 움직이는 물체 추출 알고리즘 3.1. 배경 Disturbance map에 의해 추출된 움직임 영역을 레이블링 과정을 각각의 영역으로 분리해 낸다. 이 때 크기가 기준치 보다 작은 영역은 잡음으로 간주하여 제거하게 되며, 각각의 레이블 된 물체의 무게중심을 구하여 표적의 위치로 정하게 된다. 그러나, 실제 영상에 Disturbance map을 적용하면 하나의 물체에 대하여 여러 개의 움직임 영역이 추출되는 경우가 종종 발생하게 된다. 이는 한 물체가 다른 밝기의 여러 부분으로 이루어져있어 각 부분을 개별 물체로 인식하기 때문에 발생하는 문제이다. 이를 보완하기 위하여 여러 물체로 분리되어 인식된 하나의 물체를 하나로 합치는 과정이 필요하게 된다. 3.2. Binary Filtering(이진필터링) 분리된 물체를 하나의 영역으로 합치기 위하여 우선 움직임 영역에 대하여 binary filtering을 하게 된다. Binary filtering을 통하면 잡음 제거 효과를 볼 수 있으며 나누어진 물체에 대하여 1,2 pixel 떨어진 물체간에는 합쳐진 결과를 얻을 수 있다. 도 6은 이진필터링의 전(좌)과 후(우) 비교를 도시한 것이다. 3.3. Object Merge Binary filtering에 의해 잡음이 제거되고 물체가 합쳐지기는 하지만 완벽하게 합쳐지는 것은 아니다. 따라서 labeling 후 생성되는 물체의 위치 정보 및 추적에 사용되는 속도 및 방향 정보를 이용하여 하나의 물체로 추정되는 물체들끼리 합쳐주는 작업을 수행하게 된다. 현재는 두 물체의 거리 정보만 이용하여 물체를 합치고 있다. 도 7은 Object merge의 전(좌)과 후(우) 비교를 도시한 것이다. 4. 칼만필터(kalman filter)를 이용한 위치 및 속도 추적 알고리듬 4.1. 배경 이전 단계에서 추출된 움직이는 물체는 단지 현제 프레임에서의 위치 정보만을 가지고 있다. 움직이는 물체를 추적하기 위해서는 각 프레임에서 추출된 물체의 위치 정보를 바탕으로 이들 사이의 상관관계를 파악하여 하나의 이동 물체로 분류하고 현재까지의 물체의 동작을 파악하여 다음 위치를 예측하기 위한 방법이 필요하게 된다. 그리고 이동 물체의 운동 특징을 파악하고 예측을 함으로써 보다 빠르고 정확하게 이동 물체 추적이 가능하게 된다. 4.2 칼만 필터(Kalman Filter) 움직이는 물체를 추적하기 위하여서는 주로 칼만 필터를 사용하게 된다. 본 연구에서도 측정된 화상정보로부터 표적을 추적하기 위하여 칼만 필터를 사용하였다. 칼만 필터는 필터의 구조가 선형으로 구성되어 있으며, 선형시스템에서 주어진 조건들을 만족할 경우에 그 특성이 최적의 상태를 나타냄은 잘 알려져 있다. 수학식 3과 같이 주어지는 이산선형시스템에서는 는 시간 에서 임의의 개수를 갖는 상태벡터이며, 는 시스템 특성을 나타내는 상수 행렬이다. 그리고, 센서의 특성이 되는 벡터에서 에 의해서 출력을 얻는 측정방정식이 수학식 4와 같이 주어지는 경우에 구성되는 칼만 필터를 살펴보도록 하자.
여기에서 는 시스템에 부가되는 공정잡음을 의미하며, 측정방정식에서의 는 신호를 측정할 때에 발생하는 잡음을 의미한다. 이들은 서로 상관관계가 없으며, 각각의 공분산이 , 로 주어지고, 각각 평균이 영인 백색잡음의 특성을 지닌다고 가정한다. 시간 에 가 입력되면, 이 측정값이 지니고 있는 정보를 보강하여 주어야 한다. 여기에서 필터의 구조가 선형이라고 하면, 새로운 측정값에 포함된 정보를 보강한 추정값 는 수학식 5과 같은 선형구조로 표현할 수 있으며, 필터의 설계는 수학식 5에서의 필터의 이득 를 결정하는 문제로 바뀌게 된다.
필터의 성능지표를 추정오차의 제곱평균을 최소로 하도록 설정하면, 수학식 6와 같이 주어지는 추정오차의 공분산 행렬에서 그 대각요소들의 합을 최소로 하는 문제로 정리된다
수학식 6에서의 는 수학식 5에서 측정값의 정보가 보강되기 전까지의 측정값 의 추정오차에 관한 공분산 행렬로서 수학식 7와 같이 표현할 수 있다.
수학식 6로 표현되는 공분산 행렬의 대각 요소의 합으로 가격함수(cost function)는 필터의 이득 에 관하여 이차식이고, 그 이차항의 계수가 상태변수와 측정잡음의 공분산의 양의 성질을 지니므로 항상 최소값을 갖게 된다. 따라서 에 관한 1차 미분식을 '0'으로 하는 값은 수학식 8과 같이 나타난다. 이 값을 수학식 6에 대입하여 정리하면, 측정치 보강 작업을 진행한 뒤의 추정오차의 공분산 행렬은 수학식 9과 같이 표현할 수 있다.
수학식 5로 주어지는 상태변수의 추정값은 다음의 측정값이 입력될 때까지 필터가 가지고 있는 정보인 시스템의 동특성에 따라 계속하여 최적의 추정값으로 전개될 수 있다. 수학식 10은 상태변수에 관한 새로운 측정값이 입력될 때까지 시스템의 동특성에 의하여 진행되는 상태변수의 추정식을 나타내고 있으며, 수학식 11는 이와 같이 전개된 상태변수의 추정값 의 공분산 행렬을 나타내고 있다.
수학식 10과 수학식 11를 이용하여 구한 추정값과 이의 공분산 행렬은 수학식 8으로 주어지는 다음상태의 필터이득이 되며, 다음의 측정값 이 입력되면 수학식 8과 같이 상태변수의 추정값 를 구하고, 또 그 공분산행렬 을 수학식 9과 같이 구하게 된다. 이와 같은 방법으로 최적의 필터인 칼만필터를 매번의 측정값이 있을 때마다 순환식으로 구할 수 있게 된다. 이상과 같은 칼만필터는 도 8과 같이 주어지는 흐름도의 순서대로 정리될 수 있다. 도 8은 칼만 필터의 순서도를 도시한 것이다. 5. Template Matching 알고리즘 5.1. 배경 일반적으로 움직임 검출을 이용한 물체 추적 시 움직이던 물체가 정지하게 되면 움직임 검출이 되지 않아서 추적하던 물체를 놓치게 되는 일이 발생하게 된다. 이러한 경우를 해결하기 위하여 입력 영상을 이용하여 직접 물체를 찾는 template matching 기법을 이용한다. 5.2. 투영 벡터 합을 이용한 Template matching 알고리즘 일반 적인 template matching 방법은 많은 연산량을 필요로 하기 때문에 실시간 추적 시스템에 적용하기 어려운 문제가 있다. 이를 해결하기 위하여 본 연구에서는 투영 벡터 합을 이용한 고속 template matching 알고리즘을 이용하였다. 투영법은 기존은 2차원 영상 신호의 유사도를 비교하는 방법을 2차원 영상을 투영 시켜 얻은 1차원 신호의 유사도 만을 비교하는 방법으로 하여 수행 속도를 향상시키고 있다. 도 9는 2차원 영상에 대한 수직 및 수평 방향의 투영결과를 도시한 것이다. 투영법에 의해 속도가 많이 향상되게 되지만, 정지한 물체의 수가 많아지게 되면 전체 계산 시간이 길어지게 되는 문제가 있다. 이러한 문제를 해결하기 위하여 벡터 합 방법을 도입하게 된다. 벡터 합은 투영된 1차원 신호를 벡터형태로 펼친 후 그 합을 구하여 하나의 벡터로 표현하는 방법으로 매우 큰 속도 향상을 가져오게 된다. 도 10은 투영신호에 대한 벡터표현과 그 벡터합을 도시한 것이다. 5.3. 결과 도 11은 Template matching에 의한 물체추적을 도시한 것이다. 이러한 도 11은 이동 중인 차를 template으로 등록하고 그 다음 프레임에서 matching에 의해 위치를 찾은 결과를 도시한 것이다. Matching 기법을 이용하면 물체가 정지나 이동에 상관없이 영상에 존재하는 물체의 위치를 찾을 수 있게 된다. 이러한 결과는 지역 감시 시스템에서 검출된 이동 물체를 추적하는데도 이용될 수 있다. 6. 움직임 분할 알고리즘( Motion Segmentation) 6.1. 목적 기존의 Disturbance map을 이용한 움직임 추출 방법은 하나의 움직이는 물체가 여러 개의 움직이는 물체로 나누어지는 단점을 가지고 있어 나누어진 물체를 하나로 합쳐주는 부가 과정이 필요하게 된다. 본 방법은 이러한 문제를 해결하기 위한 새로운 움직임 추출 방법으로 고정된 카메라에서 얻은 영상에서 움직임이 있는 물체를 정확하게 추출하여 분리(Segmentation) 하는 것을 목적으로 아직 연구중인 방법이다. 6.2. 주요 알고리즘 Background Image 생성 : 입력되는 영상으로부터 background Image를 생성한다. Difference Image 생성 : 입력되는 영상과 background Image에서의 차이를 이용하여 변화가 있는 부분을 추출한다. Image Edge 추출 : 움직임이 있는 이미지의 윤곽선을 검출한다. 6.3. 특징 입력되는 영상으로부터 배경이미지의 생성을 유도해내어 현재 이미지에서 배경이미지와의 차를 이용하여 움직임이 있는 부분의 영역을 분리한다. 이렇게 분리된 영역에 대한 윤곽선을 검출하여 표시해 주는 시스템이다. 이 연구에 쓰인 방법은 종전의 Disturbance의 방법보다 배경이미지의 변화가 적어 움직이는 일정 크기 이상의 하나의 물체에 대하여 둘로 분리되는 현상을 극복하였으며. 점차적인 조명의 변화에 알맞은 시스템으로 도로주행검사 시스템이나 일정한 공간의 감시 시스템으로 유용하게 사용할 수 있다. 6.4. 세부 알고리즘 설명 6.4.1 배경이미지 생성 움직임이 있는 물체를 찾아내기 위하여 적절한 배경 이미지의 생성은 이 시스템에서 중요한 역할은 한다. 여기서 제안한 방법은 배경이미지의 변화를 최소화하여 급격한 이미지의 변화에도 배경이미지의 동요가 발생하지 않도록 되어 있다. 배경이미지 생성 알고리즘은 다음과 같다. a. 처음에 들어오는 이미지를 배경이미지로 입력한다. b. 처음의 이미지에 움직이는 물체가 존재할 수도 있으므로 어느 정도의 초반frame 까지는 이미지의 변화를 일정량 이상 주게 한다. c. 일정시간이 지난 후에는 배경이미지의 변화를 최소화하여 현재 입력되는 영상에서의 영향을 줄인다. 도 12는 초반 프레임에서의 입력이미지와 배경이미지를 도시한 것이다. 도 13은 일정시간이후의 입력이미지와 배경이미지를 도시한 것이다. 6.4.2 Difference Image 생성 현재 들어오는 이미지에 대하여 background image와의 차이를 이용하여 변화가 일어난 부분을 표시해준다. 배경이미지와 움직이는 물체와의 brightness 값이 적은 경우를 대비하여 약간의 morphology 기법을 적용하여 영역을 확대하여 준다. 이렇게 작성된 Difference Image는 도 14와 같다. 도 14는 입력된 이미지와 배경이미지와의 차를 이용하여 움직임 추출이미지를 도시한 것이다. 6.4.3 윤곽선 이미지 생성 현재의 입력된 이미지에 대하여 Edge-detection을 수행한 이미지를 생성한다. 이렇게 생성된 Edge image에서 영역이미지의 안에 포함되는 윤곽선만을 추출하여 표시해준다. Edge detection은 sobel mask 방법을 사용하여 생성하였다. 도 15a는 현재 들어오는 프레임에서의 에지이미지를 도시한 것이고, 도 15b는 결과이미지를 도시한 것이다. 6.5. 요약 입력되는 프레임들을 이용하여 배경이미지를 만드는 방법으로 흔히 Disturbance 사용한다. 그러나 이 방법은 최근의 프레임에 민감한 반응을 보이므로 하나의 물체에 대하여 분할되는 효과를 보이기도 하였다. 본 연구에서는 이러한 단점을 보안하기 위하여 배경이미지를 생성한 후에는 변화량을 최소화하도록 제한하여 하나의 물체에 대한 segmentation을 원활하게 수행하도록 하는데 중점을 두었다. 또한 이미지의 Edge 정보를 이용함으로써 물체의 segmentation의 효과를 증대하도록 노력하였다. 7. 카메라 움직임 보정 알고리즘 7.1. 배경 지역 감시 시스템에서 자동 감시 모드로 동작 할 경우 카메라는 자동으로 회전하면서 넓은 영역을 감시하게 된다. 이러한 카메라의 움직임이 있을 경우 기존의 움직임 검출 방법으로는 물체의 움직임을 검출하기가 어렵게 된다. 이를 해결하기 위한 방법으로 카메라의 움직임을 추정하여 영상을 보정하여 줌으로써 움직임을 검출하는 방법이 필요하게 된다. 7.2. Template matching과 그 위치 관계를 이용한 움직임 추정 알고리즘 입력된 영상을 이용하여 카메라의 움직임을 보정하기 위하여 영상의 일정한 위치와 간격으로 template를 등록하고 다음 프레임에 그 위치를 찾게 된다. 다음 프레임에서 찾아진 template들의 위치와 이전 프레임의 위치 사이의 차이를 이용하면 카메라의 움직임을 추정 할 수 있게 된다. 이 때 matching의 오류에 의한 잘못된 카메라 움직임 추정을 피하기 위하여 이전 프레임에서 각 template 사이의 위치 관계와 현재 프레임에서 찾아진 template 사이의 위치 관계를 이용하여 오류가 큰 위치는 움직임 추정에서 제외함으로써 보다 정확한 카메라 움직임을 추정 할 수 있다. 도 16은 이전 프레임에 등록된 템플릿(좌)과 현재 프레임에서 찾아진 템플릿(우)을 도시한 것이다. 도 12처럼 현재 프레임에서 찾아진 template의 위치가 이전 프레임에서 설정된 위치와 큰 오차를 보이는 template(회색)는 움직임 추정에서 제외하고 나머지 template들을 이용하여 움직임 벡터를 계산하고 구해진 움직임 벡터를 이용하여 카메라 움직임을 보정하게 된다. 도 13은 실제 카메라가 움직이는 영상에 대하여 그냥 움직임을 검출 한 것과 본 방법을 통하여 카메라의 움직임을 계산하고 그것을 보정한 이후에 움직임을 추출한 결과를 비교하여 보여 주고 있다. 본 알고리즘을 적용하였을 경우 카메라의 움직임이 많이 보정 되어 실제 움직이는 물체들의 움직임이 검출됨을 볼 수 있다. 도 17a 내지 도 17c는 카메라 움직임 보정 전과 후의 움직임 추출결과를 비교하여 도시한 것으로, 도 17a는 입력영상이고, 도 17b는 카메라 움직임 보정 전의 움직임 추출결과이고, 도 17c는 카메라 움직임 보정 후의 움직임 추출결과를 도시한 것이다. 8. 블록 정합을 이용한 움직임 검출 알고리즘 8.1. 배경 일반적으로 입력 영상의 차이를 이용하여 움직임을 검출하는 방법은 카메라의 움직임이 있을 경우는 적용이 어려워지는 문제를 가지고 있다. 이러한 경우 영상을 작은 블록으로 나누고 그 블록의 움직임 벡터를 추출하는 블록 정합을 이용하게 되면 카메라의 움직임 벡터와 물체의 움직임 벡터가 서로 다르게 나타나게 되어 카메라의 움직임이 있을 경우도 물체의 움직임을 추출하는 것이 가능하게 된다. 8.2. 알고리즘 입력 영상을 NXN의 작은 블록으로 나눈 후 다음 입력 영상에서 각각의 블록이 어디로 이동하였는지를 검색하는 것이 블록 정합 알고리즘이다. 도 18a 내지 도 18b는 블록정합을 이용한 움직임 벡터 추출을 도시한 것으로, 도 18a는 이전프레임, 도 18b는 현재 프레임을 나타낸다. 8.2.1 전역 탐색 알고리즘 현재 프레임 블록과 같은 좌표를 갖는 이전 프레임 블록의 위치를 중심으로 탐색 영역에 포함되는 모든 점들을 조사하여 움직임 벡터를 찾는 방법으로 최적의 움직임 벡터를 찾을 수 있으나 계산량이 너무 많은 단점이 있다. 8.2.2 고속 탐색 알고리즘 8.2.2.1 세 단계 탐색 알고리즘(three-step search algorithm) 일정한 탐색 패턴에 따라서 움직임 벡터를 탐색, 계산량을 줄이고 간단하면서도 효율적인 알고리즘으로, 첫 번째 탐색이 잘못 되었을 경우 local optima에 빠질 수 있다. 8.2.2.2 다이아몬드 탐색 알고리즘(unrestricted center-biased diamond search algorithm) 움직임 벡터의 가운데 중심적인 특성을 이용해서 정확한 움직임 벡터를 찾는 확률을 높임, 급격한 움직임이 있는 영상의 경우 부적합하다. 8.2.2.3 예측 탐색 알고리즘(prediction search algorithm) 인접한 이전 블록의 움직임 벡터의 정보를 이용, 인접한 블록의 움직임 벡터의 연관성이 떨어질 경우 성능이 떨어진다. 8.2.3 적응적 예측 방향성 탐색 알고리즘 전역 탐색 알고리즘에서 계산량의 문제와 고속 탐색 알고리즘에서 부족한 정보로 인한 국부적인 탐색 문제를 방지할 수 있는 알고리즘으로 연속된 프레임에서 움직임이 일관성을 갖는 시간적인 연관성과 현재 프레임 내에서 블록들 사이에서의 공간적인 연관성을 이용해서 움직임 벡터 계산하는 방법이다. 8.3. 결과 도 19는 블록 정합을 이용하여 움직임 영역을 추출한 결과를 도시한 것이다. 현재는 카메라의 움직임이 없을 경우만 대상으로 실험하였지만 추후 카메라의 움직임이 있을 경우 카메라의 움직임 벡터와 물체의 움직임 벡터를 구분하여 움직임을 추출하게 될 것이다. 9. Adaptive Background Method 9.1 배경이미지 생성 움직임이 있는 물체를 찾아내기 위하여 적절한 배경 이미지의 생성은 이 시스템에서 중요한 역할은 한다. 여기서 제안한 방법은 배경이미지의 변화를 최소화하여 급격한 이미지의 변화에도 배경이미지의 동요가 발생하지 않도록 되어 있다. 배경이미지 생성 알고리즘은 다음과 같다. a. 처음에 들어오는 이미지를 배경이미지로 입력한다. b. 처음의 이미지에 움직이는 물체가 존재할 수도 있으므로 일정시간동안의 frame 까지는 이미지의 변화를 일정량 이상 배경이미지로 간주한다. c. 일정시간이 지난 후에는 배경이미지의 변화를 최소화하여 현재 입력되는 영상이 배경이미지에 주는 영향을 줄인다. 도 20a는 초반 프레임에서 입력이미지와 배경이미지, 도 20b는 일정시간 이후의 입력이미지와 배경이미지를 도시한 것이다. 9.2 Difference Image 생성 현재 들어오는 이미지에 대하여 background image와의 차이를 이용하여 변화가 일어난 부분을 표시해준다. 배경이미지와 움직이는 물체와의 brightness 값이 적은 경우를 대비하여 약간의 morphology 기법을 적용하여 영역을 확대하여 준다. 이렇게 작성된 Difference Image는 다음과 같다. 도 20c는 입력된 이미지와 배경이미지와의 차를 이용하여 추출된 움직임 이미지를 도시한 것이다. 9.3 윤곽선 이미지 생성 현재의 입력된 이미지에 대하여 Edge-detection을 수행한 이미지를 생성한다. 이렇게 생성된 Edge image에서 영역이미지의 안에 포함되는 윤곽선만을 추출하여 표시해준다. Edge detection은 sobel mask 방법을 사용하여 생성하였다. 도 20d는 현재 들어오는 프레임에서의 에지 이미지, 도 20e는 결과 이미지를 도시한 것이다. 9.4 요약 입력되는 프레임들을 이용하여 배경이미지를 만드는 방법으로 흔히 Disturbance 사용한다. 그러나 이 방법은 최근의 프레임에 민감한 반응을 보이므로 하나의 물체에 대하여 분할되는 효과를 보이기도 하였다. 본 연구에서는 이러한 단점을 보안하기 위하여 배경이미지를 생성한 후에는 변화량을 최소화하도록 제한하여 하나의 물체에 대한 segmentation을 원활하게 수행하도록 하는데 중점을 두었다. 또한 이미지의 Edge 정보를 이용함으로써 물체의 segmentation의 효과를 증대하도록 노력하였다. 10. 3-Different Image Method 10.1 3-different Image 현재의 프레임에서 전 프레임의 이미지와 다음 프레임의 이미지와의 변화를 검출한다. 이때 움직이는 물체는 각각의 이미지의 비교에서 검출이 되고 정지되어있는 물체는 검출이 되지 않는다. 이를 이용하여 전 프레임과의 비교에서 검출된 difference와 다음 프레임과의 비교에서 얻은 difference를 이용하여 현재 프레임에서의 움직이는 물체를 segmentation 한다. 도 21은 각 프레임간의 차 이미지를 도시한 것이다. 도 22는 현재의 이미지와 차를 이용하여 추출해낸 움직이는 물체의 윤곽선 이미지를 도시한 것이다. 10.2 요약 이 움직이는 물체의 segmentation 기법은 앞에 소개한 adaptive background 기법에서 발생하는 잔류 현상을 극복하고 빠르게 움직이는 물체에 적응 가능한 알고리즘으로 간단하게 구현가능하나 현재의 프레임에서의 움직이는 물체를 강인하게 분리해내는 방법이다. 11. Global motion Detection and Moving Object segmentation 11.1 Global Motion Detection 카메라의 움직임을 입력되는 영상만으로 파악하기는 많은 어려움이 산재한다. 그러므로 정확히 움직임을 보정하는 연구는 지금도 수많은 연구기관에서 수행되고 있다. 이번 연구에서 카메라의 움직임을 유추해내는 알고리즘으로 이미지 라인별 correlation 방식을 취하였다. 이는 들어오는 영상에 대하여 이전 프레임과 현재 프레임을 라인별로 비교하여 각 라인별 움직임을 검출하고 이를 토대로 전체 움직임을 보정하는 방식을 취하였다. 즉 이미지를 라인별로 좌우로 이동하여 그 중에서 가장 correlation 크게 나타나는 곳을 그 라인의 이동 범위로 잡는다. 이렇게 라인별로 잡힌 이동범위 중에서 가장 많이 나온 이동 수를 전체의 이동범위로 잡는다. 이러한 방법은 수평과 수직 방향으로 같이 적용하여 검출한다. 11.2 Moving Object Segmentation 카메라의 움직임을 알아낸 후에 그 움직임을 역으로 보정해주면 카메라의 움직임이 없는 두 이미지로 가정할 수가 있다. 이렇게 각 들어오는 프레임에 대하여 카메라의 움직임을 보정해 가면서 앞에서 언급한 3-difference Image 방식으로 segmentation 을 수행해 가면 움직이는 카메라에서도 카메라의 이동경로와 다르게 나타나는 즉 실제로 움직이는 물체(independent moving object)를 검출해 낼 수 있다. 도 23은 카메라 움직임을 프레임별로 나타낸 테이블을 도시한 것이다. 도 24는 카메라에 입력되고 있는 영상을 도시한 것이다. 도 25는 카메라의 움직임을 보정한 후의 독립적으로 움직이는 물체를 도시한 것이다. 11.3 요약 카메라의 움직임을 보정하고 이를 이용하여 화면 속에서 움직이는 물체에 대한 검출을 하는 알고리즘에 대하여 연구하였으며 이는 앞으로 수많은 응용 분야에 사용 가능한 알고리즘으로 정확성과 실시간 연산에 맞도록 알고리즘을 보완하는 작업이 요구된다. 본 발명은 카메라 입력 영상을 이용한 실시간 움직이는 물체 검출 및 추적 시스템으로 다양한 응용 분야를 가질 수 있다. 가)군사용 응용 각종 군사시설에 대하여 24시간 무인 감시 시스템 구성이 가능하다. 예) 미사일 기지 감시, 탄약고 및 무기고 감시 나)민간 응용 분야 각종 공공시설이나 개인 시설의 무인 감시 시스템 구성이 가능하다. 예) 취수장 및 정수장 감시, 항만 감시, 교통 흐름 감시 도면과 명세서는 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
본 발명에 의하면, 이동물체 식별기능, 자동추적 및 줌 인/아웃, 감시영역 및 감시방법 설정, 속도계산 및 분석, 다중물체 추적상황 발생 시에만 녹화기능, 뛰어난 압축률, 악천후 또는 야간추적. 실내, 실외, 위험물 등의 감시대상의 다양화. 감시의 자동화(사람에 의한 감시에서 탈퇴) 및 영상감시 복합기능(침입자의 자동감지-추적-경보 및 화상분석)의 시스템 구축. 감시자의 부하경감, 비용절감. 열악한 환경감시 등 환경보전의 파트너로서 인명구조 효과. 감시영상을 이동시키면서 다중이동물체의 자동감지 등과 같은 효과가 있다. |
