가중된 블럭 정합 알고리즘에 의한 움직임 추정 방법 및 장치{MOTIOM ESTIMATION METHOD AND APPARATUS USING WEIGHTED BLOCK MATCH ALGORITHM}

본 발명은 이전 및 현재 프레임을 갖는 이진 영상 신호를 부호화함에 있어서 물체의 움직임을 추정하는 방법 및 장치에 관한 것으로서, 현재 프레임의 탐색 블럭과 이전 프레임의 후보 블럭들 간의 에러를 계산하고 최소 에러값을 갖는 후보 블럭의 변위 벡터를 최적 움직임 벡터로 선택하되, 인간 시각 특성에 따라 실제 주관적 화질에 영향을 많이 주는 경계 화소(boundary pixel)에 보다 많은 가중치(weight)를 부여하여 에러를 계산하고, 이를 이용하여 움직임을 추정하는 것이다.

디지탈 영상 신호 전송은 아날로그 영상 신호 전송에 비해 훨씬 더 양질의 영상을 전송할 수 있다. 그러나 프레임으로 이루어진 영상 신호를 디지탈 형식으로 전송하는 경우, 특히 고화질 텔레비젼(HDTV)와 같은 시스템의 경우에는 상당한 양의 데이터가 발생한다. 또한 종래의 전송 채널은 사용 가능한 주파수 대역폭이 한정되어 있기 때문에, 이를 통해 많은 양의 디지탈 데이터를 전송하기 위해서는 전송 데이터의 양을 압축할 필요가 있다. 통상의 다양한 영상 데이터 압축 기법 중에서, 시간적 및 공간적인 압축 기법을 통계적인 부호화 기법과 함께 결합하여 사용하는 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.

대부분의 하이브리드 부호화 기법은 움직임 보상된 DPCM (differential pulse code modulation), 2 차원 이산 코사인 변환(DCT : discrete cosine transform), DCT 계수의 양자화 및 가변 길이 부호화(VLC : variable length coding)를 이용한다. 움직임 보상된 DCPM은 현재 프레임과 이전 프레임 사이의 객체의 움직임 흐름에 따라 현재 프레임을 예측하여 예측 프레임을 생성하고, 현재 프레임과 예측 프레임 사이의 차이를 나타내는 차분을 구한다.

움직임 보상된 DCPM 데이터와 같은 영상 데이터 사이의 공간적인 중복성을 줄이거나 제거하는 2 차원 DCT는 디지탈 영상 데이터 블럭을 DCT 계수 데이터 세트로 변환한다. 이러한 기법은 Chen과 Pratt에 의해 "Scene Adaptive Coder", IEEE Transaction on Communication, Com-32, No.3, pp225-231, (1984년 3월)에서 제안되었다. 전술한 DCT 계수 데이터를 양자화기, 지그재그 스캐닝 및 VLC를 이용하여 처리함으로써, 전송되는 데이터의 양을 효율적으로 감소시킬 수 있다.

특히 움직임 보상된 DCPM에서 현재 프레임 데이터는 현재 및 이전 프레임 사이의 움직임 추정에 따라, 예를 들면, 블럭 정합 알고리즘을 이용하여, 이전 프레임 데이터로부터 예측할 수 있다. (JR Jain et al., "Displacement Measurement and Its Application in Interframe Image Coding" IEEE Transactions of Communications, COM-29, No.12, pp.1799-1808(1981년 12월) 참조) 이렇게 추정된 움직임은 이전 및 현재 프레임 사이의 화소의 이동을 나타내는 2 차원 움직임 벡터의 견지에서 기술된다.

블럭 정합 알고리즘에 따르면, 현재 프레임은 다수 개의 탐색 블럭(search block)으로 분할되는데, 탐색 블럭의 크기는 일반적으로 8×8에서 32×32 화소 크기를 사용한다. 현재 프레임에서 탐색 블럭에 대한 움직임 벡터를 결정하기 위해, 현재 프레임의 탐색 불럭과 이전 프레임의 탐색 영역(search region) 내에 포함된 동일한 크기의 다수 개의 후보 블럭(candidate blodk) 사이에서 유사성 계산(similarity calculation)이 각각 수행된다. 평균 절대 에러(mean absolute error) 혹은 평균 제곱 에러(mean square error)와 같은 에러 함수는 현재 프레임의 탐색 블럭과 이전 프레임의 탐색 영역 내에 있는 각각의 후보 블럭 사이에서 유사성 계산을 수행하는데 사용된다. 그리고 움직임 벡터는 탐색 블럭과 최소 에러 함수값을 산출하는 후보 블럭(최적 블럭) 사이의 변위를 나타낸다.

그러나 이진 영상(binary mask)의 움직임을 추정할 때, 평균 절대 에러 함수를 사용하는 기존의 블럭 정합 알고리즘을 그대로 적용하면, 영상 자체가 이진 영상이므로 오차를 구하는 것은 단순히 블럭 내에서 서로 화소값이 다른 화소의 수를 카운트함으로써 얻을 수 있다. 즉, 도1에서와 같이, 탐색 블럭 SB와 두 개의 후보 블럭 CB1, CB2가 있는 경우, 각각의 후보 블럭에 탐색 블럭을 겹쳐 놓고 화소값이 다른 것을 카운트하여 "ｏ"로 표시하면, CB1가 CB2보다 많은 오차를 갖는다. 따라서, 인간 시각 특성에 따르면 CB2가 형상(shape)면에서 SB와 더 유사함에도 불구하고, CB1을 최적 움직임 벡터를 갖는 블럭으로 선택하게 된다. 이런 방법으로 이진 영상의 움직임 벡터를 찾으면, 실제 의미있는 윤곽선 정보를 이용하지 못하고 단순히 겹치는 물체 영역의 크기만을 가지고 움직임 벡터를 결정하기 때문에 실제로 주관적 화질의 열화를 초래할 수도 있다.

따라서 본 발명의 목적은 실제로 이진 영상에서 가장 많은 정보량을 가지고 있는 경계 화소에 보다 많은 가중치(weight)를 주어 최대한 인간 시각에 민감한 경계 형상 정보를 유지할 수 있는 방향으로 블럭 정합을 행하여 물체의 움직임을 추정하는 방법 및 장치를 제공하는 것이다.

상기 목적을 달성하기 위해, 본 발명에서는 이진 영상 신호의 현재 프레임과 이전 프레임 사이의 움직임을 추정하는 방법 및 장치에 있어서, 상기 현재 프레임은 동일한 크기의 다수 개의 탐색 블럭으로 나뉘어질 때, 상기 움직임 추정 방법은, 상기 탐색 블럭에 해당하는 탐색 영역을 이전 프레임 내에 설정하는 제 1 단계; 탐색 블럭과 동일한 크기의 다수 개의 후보 블럭을 상기 탐색 영역 내에 생성하고, 탐색 블럭과 상기 생성된 각각의 후보 블럭 사이의 2 차원 변위를 각각의 변위 벡터로서 제공하는 제 2 단계; 상기 각각의 후보 블럭과 탐색 블럭을 겹쳐놓고 부정합 영역과 정합 영역의 경계 및 탐색 블럭의 경계를 구하는 제 3 단계; 상기 부정합 영역의 화소들에 가중치를 부여하는 제 4 단계; 각각의 후보 블럭에 대해 상기 제 3 단계에서 구한 부정합 영역의 화소수와 상기 제 4 단계에서 부여한 가중치를 이용하여 가중화 에러를 구하는 제 5 단계; 상기 제 5 단계에서 구한 가중화 에러들을 비교하여 가장 작은 가중화 에러를 선택하여 최소 가중화 에러로 정하고, 상기 최소 가중화 에러에 해당하는 변위 벡터를 선택하도록 선택 신호를 제공하는 제 6 단계; 및 상기 제 6 단계에서 제공한 선택 신호에 따라 변위 벡터를 선택하여 최적 움직임 벡터로서 제공하는 제 7 단계를 포함하는 것을 특징으로 하는 움직임 추정 방법 및 장치를 구현하였다.

도 1은 종래의 블럭 정합 알고리즘에 의해 탐색 블럭과 후보 블럭 사이의 에러를 구하는 방법을 도시한 도면,

도 2는 본 발명의 실시예에 따라 윤곽선을 부호화하는 장치를 도시한 도면,

도 3a 및 b는 본 발명의 실시예에 따라 도 2에 도시된 움직임 추정부를 세부적으로 묘사한 상세도,

도 4a는 본 발명의 제 1 실시예에 따라 정합 영역의 경계 화소를 중심으로 가중치를 부여한 것을 도시한 도면,

도 4b는 본 발명의 제 2 실시예에 따라 탐색 블럭의 경계 화소를 중심으로 가중치를 부여한 것을 도시한 도면.

＜도면의 주요부분에 대한 부호의 설명＞

100 : 탐색 블럭 형성부 200 : 감산부

300 : 프레임 메모리 400 : 움직임 추정부

410 : 탐색 영역 형성부

420-1 ∼ 420-N : 후보 블럭 형성부

430-1 ∼ 430-N : 블럭 정합부

440-1 ∼ 440-N : 가중치 할당부

450-1 ∼ 450-N : 가중화 에러 계산부

460 : 비교부 470 : 다중화부

500 : 움직임 보상부 600 : 부호화부

700 : 복호화부 800 : 가산부

도 2에는 본 발명에 의한 윤곽선 부호화 장치(1)가 도시되어 있으며, 현재 프레임의 이진 영상 데이터(현재 영상 데이터)는 탐색 블럭 형성부(100)로 제공된다.

탐색 블럭 형성부(100)는 현재 프레임을 다수 개의 탐색 블럭으로 분할하여 그 중 하나의 탐색 블럭을 경로 L10을 통해 감산부(200)와 움직임 추정부(400)로 인가한다.

움직임 추정부(400)에서는, 프레임 메모리(300)로부터 경로 L20을 통해 제공되는 이전 프레임의 이진 영상 데이터(이전 영상 데이터)를 입력받아 탐색 영역을 형성하고 탐색 영역을 탐색 블럭과 동일한 크기의 후보 블럭으로 나눈다. 또한, 탐색 블럭 형성부(100)로부터 탐색 블럭 데이터를 경로 L10을 통해 입력받아, 탐색 블럭과 탐색 영역 내에 있는 각각의 후보 블럭 사이의 에러를 가중된 블럭 정합 알고리즘을 이용하여 구한다. 가중된 블럭 정합 알고리즘을 이용한 움직임 추정 방법은 도 3 및 4와 함께 이후에 상술될 것이다. 움직임 추정부(400)는 가중된 블럭 정합 알고리즘을 통해 찾은 최적 움직임 벡터를 움직임 보상부(500)로 인가한다.

움직임 보상부(500)는 움직임 추정부(400)로부터 최적 움직임 벡터를 입력받고, 최적 움직임 벡터에 상응하는 후보 블럭(최적 후보 블럭)의 화소 데이터를 프레임 메모리(300)으로부터 경로 L20을 통해 입력받는다. 그리고 최적 후보 블럭을 최적 움직임 벡터를 이용하여 움직임 보상하여, 움직임 보상된 최적 후보 블럭을 경로 L30을 통해 감산부(200)와 가산부(800)로 인가한다.

감산부(200)는 탐색 블럭 형성부(100)로부터 경로 L10을 통해 입력된 탐색 블럭에서, 움직임 보상부(500)로부터 경로 L30을 통해 입력된 움직임 보상된 최적 후보 블럭을 감산하여, 그 결과값인 에러 신호를 부호화부(600)로 인가한다.

부호화부(600)는, 예를 들면, RCB(Reference Contour Based) 부호화 방법을 이용하여 에러신호를 부호화하고 부호화된 데이터를 경로 L40을 통하여 전송단(도시되지 않음) 및 복호화부(700)로 제공한다.

복호화부(700)은 부호화된 에러 신호를 복호화하여 가산기(800)로 제공한다. 가산기(800)는 움직임 보상부(500)으로부터 경로 L30을 통해 입력받은 움직임 보상된 최적 후보 블럭과, 복호화부(700)로부터 입력받은 복호화된 에러 신호를 가산하여 현재 프레임의 재구성된 신호를 제공하며 이는 프레임 메모리(300)에 저장된다.

도 3a 및 b를 참조하면, 도 2에 도시된 움직임 추정부(400)의 구성이 상세하게 묘사되어 있다. 프레임 메모리(300)로부터 경로 L20을 통해 인가된 이전 영상 데이터는 탐색 영역 형성부(410)로 입력된다. 탐색 영역 형성부(410)는 탐색 블럭에 상응하며 임의의 크기, 형태 및 탐색 패턴을 갖는 탐색 영역을 정의하고, 이를 이용하여 탐색 블럭의 움직임 추정이 수행된다. 결정된 탐색 영역 데이터는 N 개의 후보 블럭 형성부(420-1 내지 420-N)로 인가된다.

각각의 후보 블럭 형성부(420-1 내지 420-N)에서는 탐색 블럭의 크기와 동일한 후보 블럭들이 탐색 영역 내에서 생성되고 각 후보 블럭의 이진 영상 데이터는 N 개의 블럭 정합부(430-1 내지 430-N)로 출력된다. 현재 프레임의 탐색 블럭의 위치로부터 각각의 후보 블럭의 위치까지의 변위를 나타내는 변위 벡터 DV1 내지 DVN은 다중화기(470)로 인가된다.

각각의 블럭 정합부(430-1 내지 430-N)에서는 탐색 블럭과 각각의 후보 블럭의 화소값들을 비교하는데, 본 발명은 이진 영상(Binary Mask)에 대해 부호화를 수행하는 것이므로 화소값은 0 또는 1의 값을 갖는다. 상술하면, 블럭 정합부(430-1 내지 430-N)는 탐색 블럭과 각각의 후보 블럭을 겹쳐놓고, 정합 영역의 경계와 부정합 영역 및 탐색 블록의 경계를 탐색 블럭에 표시한다. 정합 영역의 경계는, 탐색 블럭과 후보 블럭을 겹쳐놓았을 때, 같은 위치에 있는 두 화소의 값이 모두 1인 부분 중, 두 화소의 값이 서로 다르거나 모두 0인 부분과 인접하는 부분을 말하고, 부정합 영역은 상응하는 두 화소가 서로 다른 부분을 말하며, 탐색 블록의 경계는 탐색 블럭에서 화소값이 1인 부분 중 화소값이 0인 화소에 인접하는 부분을 말한다. 정합 영역의 경계와 부정합 영역 및 탐색 블록의 경계가 표시된 탐색 블럭 정보는 경로(L50-1 내지 L50-N)를 통하여 가중치 할당부(440-1 내지 440-N)로 인가된다.

본 발명의 제 1 실시예에 따르면, 가중치 할당부(440-1 내지 440-N)는, 탐색 블럭과 정합 영역의 경계 화소를 기준으로 하여, 부정합 영역을 구성하는 화소인 부정합 화소들에 가중치를 할당한다. 즉, 정합 영역의 경계 화소를 중심으로 정합 영역의 경계 화소와 인접한 정도에 따라 부정합 화소에 가중치를 할당하는데, 예를 들면 정합 영역의 경계 화소 양쪽에 인접한 부정합 화소들에는 제 1 가중치를, 정합 영역의 경계 화소에서 한 화소만큼 떨어져 있는 부정합 화소들에는 제 2 가중치를, 정합 영역의 경계 화소에서 두 화소만큼 떨어져 있는 부정합 화소들에는 제 3 가중치를 할당하는 방식으로 가중치를 할당한다.

도 4a를 참조하면, 본 발명의 제 1 실시예에 따라, 임의의 탐색 블럭과 후보 블럭에 대해 위의 과정을 수행한 결과가 도시되어 있는데, 검게 칠해진 부분이 정합 영역의 경계이며, 가중치가 할당되어 있는 부분이 부정합 영역이다. 도 4a에서는 정합 영역의 경계를 중심으로 가중치를 부여하였는데, 정합 영역의 경계에 인접한 부정합 화소들에는 제 1 가중치 w1을, 정합 영역의 경계로부터 한 화소만큼 떨어져 있는 부정합 화소에는 제 2 가중치 w2를, 정합 영역의 경계로부터 두 화소만큼 떨어져 있는 부정합 화소에는 제 3 가중치 w3을 할당하였고, 각각의 가중치들은 w1<w2<w3인 관계를 만족시킨다.

한편, 본 발명의 제 2 실시예에 따르면, 가중치 경계 설정부(440-1 내지 440-N)는, 탐색 블럭의 경계 화소를 기준으로 하여 부정합 화소들에 가중치를 부여한다. 탐색 블럭의 경계 화소를 중심으로 탐색 블럭의 경계 화소와 인접한 정도에 따라 부정합 화소에 가중치를 할당하는데, 이를테면 탐색 블럭의 경계 화소에 해당하는 부정합 화소에는 제 1 가중치를, 탐색 블럭의 경계 화소에서 한 화소만큼 떨어져 있는 부정합 화소에는 제 2 가중치를, 탐색 블럭의 경계 화소에서 두 화소만큼 떨어져 있는 부정합 화소에는 제 3 가중치를 할당하는 방식으로 가중치를 할당한다.

도 4b를 참조하면, 본 발명의 제 2 실시예에 따라, 임의의 탐색 블럭과 후보 블럭에 대해 위의 과정을 수행한 결과가 도시되어 있는데, 검게 칠해진 화소들은 탐색 블럭의 경계 화소이다. 도4B에서 탐색 블럭의 경계 화소에는 w1, 제 1 가중치 경계에는 w2, 제 2 가중치 경계에는 w3, 제 3 가중치 경계에는 w4의 가중치가 할당되었는데, 각각의 가중치들은 w1<w2<w3<w4인 관계를 만족시킨다.

가중치가 할당된 부정합 영역을 표시한 탐색 블록 데이터는 가중화 에러 계산부(450-1 내지 450-N)로 인가된다.

가중화 에러 계산부(450-1 내지 450-N)는 입력받은 정보를 이용하여 각 후보 블럭에 해당하는 가중화 에러를 계산한다. 상술하면 부정합 영역에 포함된 화소들의 개수를 카운트하되, 할당받은 가중치를 곱하여 카운트하고, 각 후보 블럭들의 가중화 에러를 계산하여 비교부(460)로 인가한다.

다시 도 4a를 참조하면, 제 1 실시예에 따라 도1의 후보 블럭 CB1과 CB2에 대해 가중화 에러를 계산하는 과정이 도시되어 있는데, 검게 칠해진 화소들이 정합 영역의 경계 화소이다. 정합 영역의 경계 화소를 기준으로 가중치가 할당되어 있으며, 편의상 w1은 1, w2는 2, w3은 3으로 정하였다.

후보 블럭 CB1은 탐색 블럭 SB와 비교할 때, 6 개의 화소가 부정합 영역으로 판정되었고, 부정합 영역에 속한 각 화소에 할당된 가중치를 고려하여 가중화 에러 WE1(CB1)을 구하면, 다음의 수식과 같이,

WE1(CB1) = w3+w2+w1+w1+w2+w3

= 2(w1+w2+w3) = 12

이다. 후보 블럭 CB2는 탐색 블럭 SB와 비교할 때, 7 개의 화소가 부정합 영역으로 판정되었고, 부정합 영역에 속한 각 화소에 할당된 가중치를 고려하여 가중화 에러 WE1(CB2)를 구하면, 다음의 수식과 같이,

WE1(CB2) = w1+w1+w1+w1+w1+w1+w1

= 7w1 = 7

이다.

한편, 도 4b는 제 2 실시예에 따라 도1의 후보 블럭 CB1과 CB2에 대해 가중화 에러를 계산하는 과정을 도시한 도면으로, 검게 칠해진 화소들이 탐색 블럭의 경계 화소이다. 탐색 블럭의 경계 화소를 기준으로 도4D에서와 같은 방법으로 가중치가 할당되어 있는데, 편의상, w1은 1, w2는 2, w3은 3, w4는 4로 정하였다.

후보 블럭 CB1은 탐색 블럭 SB와 비교할 때, 6 개의 화소가 부정합 영역으로 판정되었으며, 부정합 영역에 속한 각 화소에 할당된 가중치를 고려하여 가중화 에러 WE2(CB1)을 구하면, 다음의 수식과 같이,

WE2(CB1) = w2+w3+w4+w1+w1+w1

= 3w1+w2+w3+w4 = 12

이다. 후보 블럭 CB2는 탐색 블럭 SB와 비교할 때, 7 개의 화소가 부정합 영역으로 판정되었으며, 부정합 영역에 속한 각 화소에 할당된 가중치를 고려하여 가중화 에러 WE2(CB2)를 구하면, 다음의 수식과 같이,

WE2(CB2) = w1+w1+w1+w1+w1+w2+w1

= 6w1+w2 = 8

이다.

따라서 단순하게 평균 절대 에러를 이용하면 CB1이 더 적은 에러를 갖게 되어 CB1에 해당하는 변위 벡터를 최적 움직임 벡터로서 선택하게 되지만, 본 발명의 제 1 실시예와, 제 2 실시예에 따라 가중화 에러를 이용하면 CB2이 더 적은 에러를 갖게 되어 CB2에 해당하는 변위 벡터를 최적 움직임 벡터로서 선택하게 된다.

비교부(460)는 각 후보 블럭들의 가중화 에러를 비교하여 최소값을 갖는 것(최소 가중화 에러)을 선택하고, 다중화부(470)가 최소 가중화 에러에 상응하는 변위 벡터를 선택하도록 선택 신호를 다중화부(470)로 제공한다. 다중화부(470)는 선택 신호에 따라, 해당 변위 벡터, 즉 최소 가중화 에러를 갖는 후보 블럭의 변위를 나타내는 벡터를 최적 움직임 벡터로서 도1에 도시된 움직임 보상부(500)로 출력한다.

결과적으로 본 발명에서 제안한 가중화된 블럭 정합 알고리즘을 이용하면, 최대한 인간 시각에 민감한 경계 형태 정보를 유지할 수 있는 방향으로 블럭 정합을 행하게 되는 것이다.

상기 본 발명에서 제안한 가중된 블럭 정합 알고리즘을 이용하여 움직임을 추정하게 되면, 이진 영상에서 많은 정보량을 가지고 있는 경계 화소에 보다 많은 가중치를 주어 움직임 벡터를 선택하므로, 효과적으로 윤곽선을 부호화할 수 있다.