프레임 차이 기반의 적응형 확장 블록을 이용한 움직임 추정 방법{METHOD OF MOTION ESTIMATION BY USING ADAPTIVE EXPANDED BLOCK BASED ON FRAME-DIFFERENCE}

본 발명은 움직임 추정 방법에 관한 것으로, 더욱 상세하게는 종래의 방법에 비하여 적은 연산량을 가지면서도 보다 정확한 움직임 벡터의 산출이 가능하도록 하는, 프레임 보간 기법에 적용될 수 있는 움직임 추정 방법에 관한 것이다.

오늘날 디스플레이 시장에서 액정 디스플레이(LCD: Liquid Crystal Display) 장치는 기술의 발전에 따라 많은 관심을 받고 있다. 그러나 액정 디스플레이 장치와 같이 프레임 단위로 픽셀 값이 유지되는 홀드 타입(hold-type)의 디스플레이 장치에서는 동영상에서 화면 끌림 현상(motion blur)이 발생한다. 이 현상은 프레임 단위로 픽셀 값이 유지되기 때문에 생기는 현상으로 동영상에서 움직임이 심한 영역에 대하여 화질 열화를 일으킨다. 이와 같은 현상을 줄이기 위한 기법으로 기존의 프레임 사이에 새로운 프레임을 보간하여 삽입하는 프레임 보간(frame interpolation) 기법이 존재한다. 프레임 보간을 수행하면 프레임 당 픽셀 값을 유지하는 시간이 감소하기 때문에 화면 끌림 현상(motion blur)이 줄어들게 된다.

도 1a 및 도 1b는 프레임 보간에 의한 화면 끌림 현상 감소를 설명하기 위한 프레임 단위 픽셀값 변화를 보여주는 그래프이다.

도 1a를 참조하면, 프레임 보간이 적용되지 않은 경우의 프레임 단위 화소값 변화가 예시된다. 예컨대, n번째 프레임(101) 내지 n+3 번째(104) 프레임까지 동영상이 구현될 때에 프레임 단위로 픽셀 값이 유지되기 때문에 프레임 단위로 픽셀 값의 변화가 큰 움직임 영역에 대해서는 인지폭(perception width; 110)이 커지게 된다. 즉, 프레임 보간이 적용되지 않는 경우에는 움직임이 큰 영상의 경우에 부자연스러운 화면 끌림 현상이 커지게 된다.

도 1b를 참조하면, 프레임 보간이 적용되는 경우의 프레임 단위 화소값 변화가 예시된다. 예컨대, n번째 프레임(101)과 n+1 번째 프레임(104) 사이에 n번째 프레임(101)과 n+1 번째 프레임(102)을 이용하여 보간된 n 프레임(101-1)이 개입된다. 마찬가지로 n+1 번째 프레임(102)과 n+2 번째 프레임(103) 사이에 (n+1) 프레임(102-1)이 개입된다.

이와 같이, 도 1a에서 예시한 프레임 보간이 적용되지 않은 경우의 디스플레이 장치에서 프레임 갱신율(frame refresh rate)이 60Hz의 주파수를 가진다면, 도 1b에서 예시한 프레임 보간이 적용된 경우의 디스플레이 장치에서는 프레임 갱신율이 120Hz의 주파수를 가지게 된다. 즉, 프레임 보간에 의하여 더 높은 프레임 갱신율을 가지도록 하므로써(FRC: frame rate up conversion), 프레임 단위의 인지폭(120)이 작아지게 되므로, 화면 끌림 현상이 제거되고 움직임의 변화가 큰 동영상의 경우에도 자연스럽고 눈의 피로도가 적은 영상의 출력이 가능해지는 것이다.

이때, 상기와 같은 프레임 보간 방법으로는 여러 가지 방법들이 존재하나, 대표적인 방법으로는 프레임 반복과 연속되는 프레임들의 평균 프레임을 사용하는 방법, 움직임 추정(motion estimation)을 이용하는 방법들을 들 수 있다.

특히, 상기 방법들 중에서 화면 끌림 현상을 최대한 줄일 수 있는 방법은 움직임 추정을 이용하여 프레임을 보간하는 것이다.

움직임 추정을 통한 프레임 보간은 두 과정으로 구성된다. 첫 번째 과정은 움직임 추정을 수행하여 움직임 벡터(motion vector)를 추출하는 과정이고, 두 번째 과정은 추출된 움직임 벡터를 기반으로 보간 프레임을 생성하는 것이다. 특히, 프레임 보간을 위한 움직임 추정을 수행함에 있어 가장 중요한 것은 정확한 움직임 벡터를 찾는 것이다. 움직임 추정은 연속된 두 프레임에서 현재 프레임 내의 블록들에 대하여 참조 프레임에서 오차 에너지가 가장 작은 블록을 가리키는 움직임 벡터를 추출하는 과정으로 탐색 영역의 모든 위치에 대하여 오차에너지를 구하기 때문에 많은 연산량을 필요로 한다. 또한 새로운 프레임을 생성하는 과정에서 잘못된 움직임 벡터를 사용하게 될 경우, 영상의 끊어짐 현상이 발생되므로 정확한 움직임 추정이 요구된다.

기존에 널리 이용되는 움직임 추정 기법으로는 일반적인 블록 기반의 전역 탐색 움직임 추정 방법과 중첩 블록 기반의 움직임 추정 방법을 들 수 있다.

일반적인 블록 기반의 전역 탐색 움직임 추정 방법(full-search motion estimation)은 직전 프레임(previous frame)의 탐색 영역(search range)내의 모든 위치에 대하여 블록 기반 움직임 추정을 하는 방식으로, 구현이 용이하고 MPEG1,2,4, H.261, H.263, H.264 등의 동영상 표준에서 사용되고 있는 방식이다. 즉, 현재 프레임의 MⅹN 픽셀로 구성된 블록들에 대하여 직전 프레임의 탐색 영역내의 후보 블록들과의 오차 에너지를 모두 산출하고 오차 에너지가 최소인 블록까지의 변위를 움직임 벡터로 구한다. 이때 오차 에너지의 산출은 일반적으로 SAD(Sum of an absolute difference of pixel by pixel)가 이용된다.

한편, 일반적인 블록 기반의 전역 탐색 방법은 구현이 용이하고 가장 기본이 되는 방법이지만 영상 내의 노이즈나 빛의 변화, 카메라의 줌인, 줌아웃, 패닝(panning) 등의 현상에 대하여 잘못된 움직임 추정이 유발될 수 있다는 문제점이 있다.

다음으로, 중첩 블록 기반의 움직임 추정 방법(overlapped block motion estimation)은 움직임 벡터를 찾게 될 블록의 크기보다 확장된 블록을 사용하여 움직임 추정을 수행하는 방법으로 영상 내에서 이웃하는 픽셀들간에는 상관도가 높다는 점을 이용하여 앞서 언급된 노이즈나 카메라 패닝 등의 현상에 의한 잘못된 움직임 추정을 줄일 수 있다는 장점이 있으나, 많은 연산량을 필요로 하기 때문에 실시간 구현에 있어서는 적합하지 않다는 문제점이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 종래의 움직임 추정 방법들에 비하여 연산량을 줄여 실시간 구현에 적합하면서도 보다 정확한 움직임 벡터의 산출이 가능하도록 하는 움직임 추정 방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명은, 프레임 보간을 위한 연속된 프레임 간의 움직임 추정을 수행하는 방법에 있어서, 연속된 프레임간의 차이값을 이용하여 움직임 추정이 필요한 블록을 판단하는 움직임 추정 블록 판단 단계, 상기 움직임 추정이 필요한 블록 주위의 블록들 중에서 상기 움직임 추정이 필요한 블록과 상관도가 높은 주위 블록들을 상기 움직임 추정이 필요한 블록과 결합시킨 적응형 확장 블록을 결정하는 적응형 확장 블록 결정 단계 및 상기 적응형 확장 블록을 이용하여 연속된 프레임 간의 움직임 벡터를 산출하는 움직임 벡터 산출 단계를 포함한 프레임 차이 기반 적응형 확장 블록 움직임 추정 방법을 제공한다.

여기에서, 상기 움직임 추정 블록 판단 단계에서, 상기 움직임 추정이 필요한 블록을 판단하는 것은 하나의 블록에 포함된 픽셀들의 프레임간 차이값 총합이 소정의 임계치보다 큰 경우에 상기 하나의 블록을 움직임 추정이 필요한 블록으로 판단하는 것에 의해 이루어질 수 있다.

여기에서, 상기 적응형 확장 블록 결정 단계는 상기 움직임 추정이 필요한 블록 주위의 블록들 중에서 블록에 포함된 픽셀들의 프레임간 차이값 총합이 소정 의 임계치보다 큰 블록들을 상기 움직임 추정이 필요한 블록과 결합하여 적응형 확장 블록을 결정하도록 구성될 수 있다.

이때, 상기 움직임 추정이 필요한 블록 주위의 블록들은 상기 움직임 추정이 필요한 블록에 인접한 상,하,좌,우 블록들을 포함할 수 있다.

상기와 같은 본 발명에 따른 움직임 추정 방법을 이용하면, 프레임 차이를 이용하여 움직임 추정의 대상이 되는 블록의 수를 줄임으로써 연산량을 대폭적으로 감소시켜 실시간 구현에 적합하면서도, 확장 블록을 이용하여 카메라가 움직이는 영상에 대해서도 정확한 움직임 벡터를 산출하는 것이 가능해진다.

특히, 고정적인 확장 블록을 단순히 이용하는 것이 아니라, 확장 블록의 구성 또한 움직임 추정의 대상이 되는 블록 주위의 블록들의 프레임 차이에 기반하여 적응적(adaptively)으로 이루어지므로 해당 영상의 특성을 제대로 반영하여 동작하는 효과를 가져올 수 있다.

이러한 연산량의 감소에 의하여 실시간 구현에 적합한 움직임 추정이 가능하므로 적은 비용과 비교적 간략한 구성만으로 프레임 보간 기법이 적용된 프레임율 업 컨버전 디스플레이 장치의 구현이 가능해진다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발 명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 2는 본 발명에 따른 움직임 추정 방법을 설명하기 위한 순서도이다.

도 2를 참조하면, 본 발명에 따른 움직임 추정 방법은 움직임 추정 블록 판단 단계(S110), 적응형 확장 블록 결정 단계(S120) 및 움직임 벡터 산출 단계(S130)를 포함하여 구성될 수 있다. 한편, 상기 각 단계들을 거친 다음, 산출된 움직임 벡터를 이용하여 보간 영상(interpolated frame)을 구성하는 단계(S140)가 수행된다.

이하에서, 본 발명에 따른 움직임 추정 방법을 구성하는 각 단계들을 단계별로 상술한다.

1) 움직임 추정 블록 판단 단계(S110)

본 단계는 연속된 프레임간의 차이값을 이용하여 움직임 추정이 필요한 블록을 판단하는 단계이다.

움직임 추정 블록 판단 단계(S110)는 다시 세부적으로, 연속된 프레임의 차이값을 구하는 단계(S111)와 프레임 차이값에 기반하여 움직임 추정을 수행할 블록을 판단하는 단계(S112)로 구성될 수 있다.

종래 기술에서 언급된 바와 같이, 움직임 추정은 연속된 두 프레임에서 현재 프레임 내의 블록들에 대하여 참조 프레임에서 오차 에너지가 가장 작은 블록을 가리키는 움직임 벡터를 추출하는 과정이므로 움직임 추정 대상이 되는 블록별로 탐색 영역(search range)내의 모든 위치에 대하여 오차에너지를 구하기 때문에 많은 연산량을 필요로 한다. 따라서, 본 발명에 따른 움직임 추정 방법에서는 연속되는 프레임간의 차이값을 연산하고 연산된 차이값을 토대로 움직임 추정을 수행할 블록을 판별한다. 즉, 동영상에서 프레임내의 영역은 움직임이 없는 영역과 움직임이 있는 영역으로 분류할 수 있으므로 움직임이 있는 영역의 블록만을 움직임 추정을 수행할 블록으로 결정하는 것이다.

먼저, 연속된 프레임의 차이값을 구하는 단계(S111)는 영역을 구분하기 위하여 현재 프레임과 이전 프레임의 픽셀 값의 차이를 이용하여 프레임 차이값(frame difference)를 생성한다. 하기 수학식 1은 본 발명에 따른 움직임 추정 방법에 연속된 프레임 간의 차이값을 구하기 위하여 이용될 수 있는 수식이다.

[수학식 1]

여기에서, f(x,t) 는 현재( t 번째) 프레임의 x 번째 픽셀 값을 의미하며, f(x,t-1) 는 직전( t-1 번째) 프레임의 x 번째 픽셀 값을 의미하고, FD(x,t) 는 x 번째 픽셀의 t-1 번째 프레임과 t 번째 프레임의 차이값을 의미한다.

상술된 프레임 차이값에서는 움직임이 없는 영역의 픽셀 값은 직전 프레임의 픽셀 값과 다르지 않기 때문에 '0'값을 갖는다. 반대로 움직임이 있는 영역의 픽셀은 직전 프레임의 픽셀 값과 차이가 있으므로 '1' 이상의 값(절대치를 취할 경우)을 가지게 된다. 이를 바탕으로, 블록을 구성하는 픽셀들의 프레임 차이값 총합이 미리 설정된 임계값 이상인 블록은 움직임이 발생한 블록으로 판단할 수 있고 그렇지 않은 경우는 움직임이 일어나지 않은 블록으로 판단할 수 있다.

따라서, 프레임 차이값에 기반하여 움직임 추정을 수행할 블록을 판단하는 단계(S112)에서는 상술된 프레임 차이값의 블록 단위 총합을 소정의 임계값과 비교하여 움직임 추정을 수행할 블록을 판단할 수 있다.

하기 수학식 2는 프레임 차이값에 기반하여 움직임 추정을 수행할 블록을 판단하기 위한 수학식으로서, 임계값은 영상에서 발생할 수 있는 노이즈로 인해 움직임 추정을 수행할 블록이 잘못 판단되는 것을 방지하기 위해서 실험에 의해 구한 소정의 값이 선택되어 사용될 수 있다.

[수학식 2]

여기에서,

i 는 해당 블록을 지정하는 첫번째 픽셀의 번호를 의미하며,

FD(x,t) 는

i+x 번째 픽셀의

t 번째 프레임과

t-1 번째 프레임 간 차이값을 의미하며,

FDB(i,t) 는

i 블록에 포함된 픽셀들의

t 번째 프레임과

t-1 번째 프레임간 차이값의 총합을 의미한다.

도 3a 및 도 3b는 본 발명에 따른 움직임 추정 방법에서 움직임 추정 블록 판단 단계의 처리를 예시하는 개념도이다.

도 3a를 참조하면, 직전 프레임과 현재 프레임을 중첩시켜 표현함으로써 연속된 프레임에서 객체의 움직임이 예시한다. 즉, 직전 프레임 내의 객체(310)가 현재 프레임 내에서는 객체(320)로 위치가 우측(330)으로 이동되어 있음을 예시하고 있다.

도 3b를 참조하면, 흰색 영역(340)은 픽셀들의 프레임 차이값이 발생된 부분이고, 회색 블록들(350)은 움직임이 있는 블록들로 판단되어 움직임 추정이 필요한 블록들로 판단된다. 즉, 상술된 수학식 1에 의하여 직전 프레임과 현재 프레임 간의 프레임 차이값을 연산하고, 수학식 2에 의하여 블록 단위로 픽셀들의 프레임 차이값의 총합이 소정의 임계값보다 큰 블록들로 움직임 추정을 수행할 블록들을 선 정하면 도 3b에서 예시된 회색 블록들(350)로 움직임 추정이 필요한 블록들을 판단할 수 있다.

한편, 움직임 추정이 필요한 블록으로 판정되지 않은 블록들은 움직임 추정의 대상이 되지 아니하므로, 예컨대, 해당 블록은 직전 프레임이나 현재 프레임의 대응되는 블록을 그대로 이용하여 (S125), 보간 영상을 구성하는 단계(S140)에 직접 입력될 수 있을 것이다.

1) 적응형 확장 블록 결정 단계(S120)

본 단계는 상기 움직임 추정 블록 판단 단계(S110)에서 판단된 움직임 추정이 필요한 블록 주위의 블록들 중에서 움직임 추정이 필요한 블록과 상관도가 높은 주위 블록들을 판단하여 상기 움직임 추정이 필요한 블록과 상관도가 높은 주위 블록들이 결합된 적응형 확장 블록을 결정하는 단계이다.

기본적으로 움직임 추정을 수행할 때, 움직임을 갖는 객체는 관성을 가지고 있다는 것과 움직이는 객체는 블록의 사이즈보다는 크다는 것을 가정할 수 있다. 이 사실을 근거로 이웃한 블록의 움직임은 현재 블록의 움직임과 상관도가 높다는 것을 알 수 있다. 그러나 움직이는 객체와 배경이 인접해 있는 블록에서는 이웃한 블록의 상관도가 낮기 때문에 움직임 추정을 수행할 때, 사용되어서는 안 된다. 본 발명에서는 프레임 차이를 기반으로 이웃한 블록이 상관도가 큰 블록인지 판단하고, 사용 가능한 블록일 경우, 움직임 추정이 필요한 블록과 결합시켜 확장 블록을 형성시킨다. 이렇게 결정된 적응형 확장 블록은 직전 프레임의 블록들과 SAD(Sum of an absolute difference of pixel by pixel)를 구할 때 사용되며, 움직임 추정이 필요한 블록과 결합될 주위 블록을 판단하는 과정은 다음과 같다.

첫번째로, 현재 움직임 추정을 수행할 블록의 주위 블록들에 대하여 블록들을 구성하는 픽셀들의 프레임 차이값 총합을 소정의 임계값과 비교한다. 여기에서, 현재 움직임 추정을 수행할 블록의 주위 블록들은 해당 블록의 상,하,좌,우에 위치한 블록들이 포함될 수 있다.

두번째로, 상기 주위 블록들 중에서 블록을 구성하는 픽셀들의 프레임 차이값 총합이 소정의 임계값보다 큰 블록은 현재 움직임 추정을 수행할 블록과 상관도가 큰 블록으로 판단할 수 있으므로 적응형 확장 블록내에 포함시킨다.

도 4a 및 도 4b는 본 발명에 따른 움직임 추정 방법에서 적응형 확장 블록의 구성예를 설명하기 위한 개념도이다.

도 4a 및 도 4b는 앞서 설명된 도 3b와 병행하여 참조된다.

도 3b에 예시된 블록 1(360)이 움직임 추정 대상 블록이 되는 경우에는 블록 1(360)의 좌측 블록(360-1)과 우측 블록(360-2), 상단 블록(360-3)이 블록 1(360)과 상관도가 높은 블록으로 판별되어 도 4a에 예시된 바와 같은 적응형 확장블록(410)을 구성하게 된다.

마찬가지로, 도 3b에 예시된 블록 2(370)가 움직임 추정 대상 블록이 되는 경우에는 블록2(370)의 좌측 블록(370-1; 즉, 도 3b의 블록 1임)과 상측 블록(370-3)이 블록 2(370)와 상관도가 높은 블록으로 판별되어 도 4b에 예시된 바와 같은 적응형 확장 블록(420)을 구성하게 된다.

2) 움직임 벡터 산출 단계(S130)

본 단계는 상기 적응형 확장 블록 결정 단계(S120)에서 결정된 적응형 확장 블록을 이용하여 연속된 프레임 간의 움직임 벡터를 산출하는 단계이다.

즉, 앞선 단계에서 결정된 적응형 확장 블록을 이용하여 탐색 영역에 대하여 최소의 SAD를 가지는 위치를 결정하고, 그 변위로부터 움직임 벡터(motion vector)를 산출한다.

이후에, 움직임 벡터 산출 단계(S130)에서 산출된 움직임 벡터를 이용하여 블록들을 재배치시켜 보간 영상을 생성하는 단계(S140)가 실행되며 이에 대한 자세한 설명은 생략한다.

시뮬레이션 결과

두 가지의 실험 영상에 대하여 각각, 종래 기술에서 설명된 일반적인 전역탐색 방법, 종래 기술에서 설명된 중첩 블록 기반의 움직임 추정 방법, 마지막으로 본 발명에 따른 움직임 추정 방법을 적용하였고 그 얻어진 결과값을 비교하여 검증하였다.

정확한 움직임 추정이 이루어졌는지에 대한 정성적인 판단은 상술된 각 방법으로 수행된 움직임 추정을 통하여 프레임 보간된 영상을 비교함으로써 검증하였다.

또한, 연산량에 대한 검증은 본 발명이 적용되었을 경우에 연산의 대상이 되 지 않는 블록의 개수와 전체 블록의 개수를 비교하는 것에 의하여 가능하다.

한편, 결과의 정량적인 평가는 각 결과 영상에 적용한 PSNR(Peak to Signal Noise Ratio) 값을 비교함으로써 수행되었다. PSNR 값은 입력된 영상의 픽셀과 연산 후의 모든 픽셀들에 대한 차이의 합을 의미한다. 그러나 PSNR은 영상 전체에 내포되어 있는 오차에 대한 결과이므로 시각적인 판단과 PSNR 값의 결과는 다를 수 있기 때문에 PSNR의 결과가 절대적인 수치는 아니다. PSNR 값이 높을수록 원영상에 가까운 결과로 판단할 수 있지만, 일반적으로 30dB 이상의 결과에 대하여 신뢰성 있는 영상으로 판단한다. 이용된 PSNR 식은 하기 수학식 3과 같다.

[수학식 3]

여기에서, FS는 이미지의 사이즈, f _n (x)는 원본 이미지의 픽셀 값, f _i (x)는 보간된 이미지의 픽셀 값을 이미한다.

1) 실험 영상 1

도 5a 내지 도 5d는 실험 영상 1에 대한 시뮬레이션 결과를 설명하기 위한 영상 예시들이다.

도 5a는 시뮬레이션에 이용된 실험 영상 1의 원 영상으로서 현재 프레임을 예시하고 있다. 도 5b 내지 도 5d는 각각 종래의 전역탐색 방법, 중첩블록기반 움직임 추정 방법, 본 발명에 따른 움직임 추정 방법을 이용한 경우에 현재 프레임과 직전 프레임을 이용하여 산출된 보간 영상을 예시한 것이다.

실험 영상 1의 해상도는 640×352이고 기본 블록의 크기는 8×8, 탐색 영역은 16×16로 정하여 연속된 30 프레임에 대하여 시뮬레이션을 수행하였다.

먼저 정성적인 검증의 부분에서, 종래의 단순한 전역탐색방법(도 5b) 및 중첩 블록 기반 움직임 추정 방법(도 5c)에서는 사람의 움직임의 경계 부분(512, 513)과 사람의 머리카락 부분(511) 등에 대해서 잘못된 움직임 벡터가 산출되어 아티팩트(artifact)가 생성된 반면에 본 발명에 따른 움직임 추정 방법(도 5d)에서는 정확한 움직임 벡터가 산출되어 아티팩트가 존재하지 않음을 결과 영상으로부터 확인 가능하다.

하기 표 1은 상기 세 가지 방법에 의하여 만들어진 영상들을 구성하는 각각 세 개씩의 프레임에 대하여 산출된 평균 PSNR과 연산량을 정리한 것이다.

[표 1]

표 1을 참조하면, 본 발명에 따른 평균 PSNR은 42.278dB로서 중첩 블록 기반 움직임 추정에 비해서는 약 2dB 높은 수치이지만 단순 전역 탐색방법에 비해서는 0.3dB 낮은 결과임을 알 수 있다. 본 발명에 따른 방법을 이용한 영상은 중첩 블록 기반 움직임 추정에 비해서는 약 2dB 높은 평균 PSNR을 보이지만 기준이 되는 30dB보다는 높은 수치로서 충분히 신뢰성있는 보간 영상을 얻을 수 있음을 확인 가능하다.

한편, 연산량의 관점에서는 종래 두가지 방법들이 모든 블록들에 대하여 움직임 추정을 수행하는 반면에 본 발명에서는 프레임 차이값을 기반으로 움직임 추정 대상 블록 수를 줄이는 것에 의하여 종래 방법들에 비하여 약 46.64%의 블록들에 대해서만 움직임 추정을 수행하여 약 53% 정도의 연산량 감소 효과가 있음을 알 수 있다.

2) 실험 영상 2

도 6a 내지 도 6d는 실험 영상 2에 대한 시뮬레이션 결과를 설명하기 위한 영상 예시들이다.

도 6a는 시뮬레이션에 이용된 실험 영상 2의 원 영상으로서 현재 프레임을 예시하고 있다. 도 6b 내지 도 6d는 각각 종래의 전역탐생방법, 중첩블록기반 움직임 추정 방법, 본 발명에 따른 움직임 추정 방법을 이용한 경우에 현재 프레임과 직전 프레임을 이용하여 산출된 보간 영상을 예시한 것이다.

실험 영상 2의 해상도는 720×304이고 기본 블록의 크기는 8×8, 탐색 영역은 16×16로 정하여 연속된 30 프레임에 대하여 시뮬레이션을 수행하였다. 실험 영 상 2는 앞선 실험 영상 1과는 달리, 카메라의 움직임이 우측에서 좌측 방향으로 이동(panning)하고 동시에 사람이 이동하는 영상이라는 점에 특징이 있다.

하기 표 2는 상기 세가지 방법에 의하여 만들어진 영상들을 구성하는 각각 세 개의 프레임에 대하여 산출된 평균 PSNR과 연산량을 정리한 것이다.

[표 2]

실험영상 2에 대한 결과를 살펴보면, 제안된 방법의 평균 PSNR이 33.123dB이고 중첩 블록 움직임 추정이 31.373dB, 전역탐색법은 34.675dB의 PSNR을 보여준다. 제안된 방법으로 구한 영상의 PSNR이 기준 PSNR인 30dB보다 높기 때문에 신뢰성이 있는 영상으로 판단할 수 있다. 또한 도 6b 내지 도 6d에 대한 시각적인 비교 평가를 통하여 기존의 방법들보다 아티팩트들이 적은 것을 확인 할 수 있다.

실험 영상 2와 같이 카메라가 움직이는 영상의 경우에는 프레임의 차이값들이 평균적으로 커지게 되므로 움직임 추정의 대상이 되지 않는 블록들의 수는 실험 영상 1에 비하여 작아지게 된다. 그러나, 제안된 방법의 complexity는 84.05%로써 기존의 방법들보다 약 16%정도가 감소되었으며, 여전히 기존의 방법들에 비해서는 연산량의 우위가 유지됨을 알 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

도 1a 및 도 1b는 프레임 보간에 의한 화면 끌림 현상 감소를 설명하기 위한 프레임 단위 픽셀값 변화를 보여주는 그래프이다.

도 2는 본 발명에 따른 움직임 추정 방법을 설명하기 위한 순서도이다.

도 3a 및 도 3b는 본 발명에 따른 움직임 추정 방법에서 움직임 추정 블록 판단 단계의 처리를 예시하는 개념도이다.

도 4a 및 도 4b는 본 발명에 따른 움직임 추정 방법에서 적응형 확장 블록의 구성예를 설명하기 위한 개념도이다.

도 5a 내지 도 5d는 실험 영상 1에 대한 시뮬레이션 결과를 설명하기 위한 영상 예시들이다.

도 6a 내지 도 6d는 실험 영상 2에 대한 시뮬레이션 결과를 설명하기 위한 영상 예시들이다.