전역탐색 블럭정합 움직임 추정기

제1a도는 종래의 움직임 추정기를 도시한 블럭도.

제1b도와 c도는 a도에 있는 각 처리소자의 연산기능을 설명하기 위한 블럭도.

제2도는 본 발명의 실시예에 의한 전역탐색 블럭정함 움직임 추정기의 블럭도.

제3a도 내지 e도는 제2도의 전역탐색 블럭정합 움직임 추정기에 있는 각 처리 소자의 연산기능을 설명하기 위한 블럭도.

* 도면의 주요부분에 대한 부호의 설명

20 : 이전영상 데이터 블럭 22 : 데이터 입력 및 지연부

24 : 왜곡함수값 계산부 26 : 왜곡함수값 출력부

28 : 입력데이터 절환부 30 : 움직임 벡터 출력부

본 발명은 영상데이터 압축장치에 사용되는 움직임 추정기에 관한 것으로, 보다 상세하게는 영상의 움직임 정도를 나타내는 움직임 백터를 실시간적으로 검출하는 전역탐색 블럭정합 움직임 추정기에 관한 것이다.

통신기술의 발달은 음성정보의 전달에서 영상정보의 전달로 발전되어 왔으며, 앞으로는 영상정보를 이용한 정보통신산업이 급속히 발전할 것으로 보인다. 이 영상정보통신기술에서는 제한된 대역폭과 메모리의 효율의 극대화를 위하여, 음성정보에 비해 데이타량이 많은 영상데이타를 처리하는 신호처리기술이 고품질의 영상정보서비스를 위한 필수적인 핵심기술로서 연구되고 있다.

영상신호 전송장치의 영상신호처리부는 영상입력부, 동검출 및 보상부, 예측오차부호화부 및 가변길이부호화부등으로 구성되어 있다. 그중에서, 동검출 및 보상부는 다른 부분에 비해 계산량이 방대하여, 움직이는 영상을 효율적으로 실시간 전송하기 위해서는 고속처리기술을 적용하여야 한다.

상기 동검출 및 보상부는 주로 동영상 부호화에 많이 이용되는 동보상부호화기법(motion compensated coding method)을 적용하고 있다.

이 동보상부호화기법은 움직임을 검출하고 이 움직임에 따른 시간적인 중복성을 제거하며, 움직임을 나타내는 움직임 벡터와 움직임 보상에 따른 예측오차를 전송하여 영상 데이터를 압축한다.

움직임을 검출하는 동보상부호화기법중에서 블록정합알고리즘(block matching algorithm;BMA)은 시간적으로 서로 이웃한 두장의 프레임에서 각각의 프레임을 일정한 크기의 블록들로 나눈 후 해당블록의 움직임을 추정하는 알고리즘으로 다른 방법에 비해 알고리즘이 간단하고, 하드웨어구현이 용이하여 화상전화, 화상회의 및 HDTV (high definition television)등에 사용되고 있다.

최대 변위가 P이고 부블럭의 크기가 N×N 일 때, 움직임 추정은 (k-1)번째 프레임에서 (N×2P)× (N×2P)의 탐색영역을 정하고 k번째 프레임에서의 N×N 블럭과 같은 크기의 블럭을 (k-1)번째 프레임에서 탐색영역내에서 서로간의 유사도를 계산하여 최적의 블럭을 찾아 이때의 변위를 계산함으로써 해당 블럭의 움직임 정도를 구한다. 유사도를 측정하는 평가 함수로는 MSE(mean square error)나 MAD(mean-of-the-absolute-differences) 를 주로 사용한다.

블럭정합 알고리즘에 있어서, 가장 대표적인 방법은 탐색영역내의 모든 점들을 후보점으로 하여 움직임 벡터를 추정하는 전역탐색 블럭정합 방법이다.

이 전역탐색 블럭정합 방법의 하드웨어구조로는 제1a도에 도시한 SMCA(systolic mesh-connected architecture)가 있다.

제1a도는 블록의 크기 (N×N)이 3×3이고 탐색영역의 크기(P)가 -2이상 2이하인 경우를 예로 든 것이다. 여기서, 숫자의 열(10)은 어레이구조의 입력인 이전영상 데이터를 나타내며, 움직임블록과 탐색영역의 상대좌표이다. 그러므로, 탐색영역데이타 12는 탐색영역내의 첫번째 행, 두번째 열의 화소값을 의미한다. 제1a도에서 현재영상 데이터(10)는 미리 각 AD블럭(AD1, AD2, ..., AD9)에 저장되어 있는 것으로 가정한다.

제1a도에 도시된 SMCA는 이전영상 데이타(10)를 입력하여 현재프레임내 화소 데이터와 이전프레임내 화소 데이터들 사이의 차이값을 계산하는 블럭(AD1, AD2, ..., AD9)과, 각 데이터 블록에 대한 블록왜곡함수값 MAD(v,w) (v,w는 0이상인 정수)를 구하기 위하여 그 차이값들을 누산하는 블럭(A1, A2, A3) 및 계산된 블록왜곡함수값들로부터 MAD(v,w)값을 유지하여 최소값을 결정함으로써 최종 움직임 베터를 출력하는 블럭(MI)을 구비하고 있다.

또한, 제1b도는 AD블럭의 연산기능을 나타낸 블럭도로서, 좌측과 상측 데이터(i1, i0)를 입력하여, 입력된 좌측데이터(i1)를 우측으로 출력하고(o1=i1), 현재영상 데이터(X)에서 좌측 데이터(i1)를 감산한 후 절대값을 취한 값을 상측에서 입력되는 데이터(i0)에 가산하여 현재영상 데이터 블럭과 이전영상 데이터 블럭 사이의 왜곡함수값을 하측으로 출력한다(o0=|X-i1|+i0). 그리고, 제1c도는 A블럭의 연산기능을 나타낸 블럭도로서, 좌측과 상측 데이터(i1, i0)의 값을 가산하여 우측에 이들 값을 출력한다(o0=i0+i1).

제1a도의 SMCA는 최소왜곡함수값을 갖는 블록을 찾기 위하여 이전 프레임에서의 탐색범위내 가능한 모든 변위된 후보블록들을 정합시킨다.

제1도에서 MAD(mean-of-the-absolute-differences)(v,w) (v, w는 0이상인 정수)는 현재영상과 이전영상의 화소값들의 차이의 절대값의 평균을 나타내며, 움직임 벡터를 찾는데 사용된다. AD1, AD2,.....AD9블럭은 개별적인 시스톨릭 성분을 나타내며, 현재프레임내 화소 데이터와 이전프레임내 화소 데이터들 사이의 차이값을 계산한다. A1, A2, A3블럭은 각 데이터 블록에 대한 블록왜곡함수값 MAD(v,w)을 구하기 위하여 그 차이값들을 누산한다. MI블럭은 이들 블록왜곡함수값들로부터 최소 MAD (v,w)를 유지하여 최소값을 결정함으로써 최종 움직임 벡터를 출력한다.

다시 말하면, 제1a도에서 A1, A2, A3블럭은 입력들을 계속적으로 더하는 처리소자들을 나타내는 블록들이고, AD1, AD2, .....AD9블록은 탐색영역데이타와 기준영역데이타, 즉 이전영상 데이터와 현재영상 데이터 사이의 차의 절대값을 계산하는 블록이다. 다음, MI블럭은 입력값들중 최소값을 찾는 블록이다.

하지만 상기와 같은 전역탐색방법은 성능은 우수하나 방대한 양의 계산으로 실시간 처리에 많은 어려움이 따른다. 그러므로 이 문제를 해결하기 위하여 최근에는 급속한 반도체집적회로 기술을 이용하여 하드웨어구조를 설계함으로써 실시간 처리가 가능하도록 하는 연구가 활발히 진행되고 있다. 이중 시스톨릭 어레이(systolic array)는 반도체집적회로 기술을 이용하여 특정한 알고리즘의 수행속도를 향상시키기 위하여 최대한의 동시 실행을 이룬 전용 하드웨어 구조로서, 이의 특징은 모듈성, 규칙성, 국부적 연결성, 고도의 종속 연결성 및 잘 동기된 다중 처리 등이다. 이에 본 발명에서는 상기 시스톨릭 어레이 구조 및 양방향 데이터 입출력 방식을 적용하여 동작속도가 종래의 전역탐색 블럭정합 움직임 추정기 보다 더 빠른 움직임 추정기를 제공하여 움직임 검출의 실시간 처리가 가능해진다.

따라서, 본 발명의 목적은 시스톨릭 어레이(systolic array)및 양방향 데이터 입출력 방식을 적용하여 실시간 처리가 가능한 전역탐색 블럭정합 움직임 추정기를 제공하는 데 있다.

상기 목적을 달성하기 위하여 본 발명은, 좌측과 우측의 양방향으로 입력되는 데이터 블럭을 각각 우측과 상측으로 지연출력시키기 위한 데이터 입력 및 지연수단; 입력되는 일련의 소정 크기의 이전영상 데이터 블럭 및 상기 데이터 입력 및 지연수단의 상측에서 출력되는 데이터 블럭을 제어신호에 따라 상기 데이터 입력 및 지연수단으로 선택적으로 출력시키기 위한 입력데이터 절환수단; 상기 데이터 입력 및 지연수단에 접속되어 상기 이전영상 데이터 블럭을 순차적으로 입력한 후, 상기 이전영상 데이터 블럭을 좌측과 우측의 양방향으로 입력 및 출력하여 소정 연산식에 따라 미리 저장되어 있는 현재영상 데이터 블럭과 상기 이전영상 데이터 블럭 사이의 왜곡함수값을 계산하여 출력하는 왜곡함수값 계산수단; 상기 일련의 소정 크기의 이전영상 데이터 블럭을 입력하여 지연출력시켜 상기 왜곡함수값 계산수단에 입력시키고, 상기 왜곡함수값 계산수단에서 출력되는 왜곡함수값을 최종적으로 누산하여 탐색영역의 2블럭에 대한 2개의 최종 왜곡함수값을 출력하는 왜곡함수값 출력수단; 및 상기 왜곡함수값 출력수단에 접속되어 상기 2개의 왜곡함수값을 입력하고 유지하여 그 중 최소값을 출력함으로써 최종 움직임 벡터를 출력하는 움직임 벡터 출력수단을 포함하는 것을 특징으로 하는 전역탐색 블럭정합 움직임 추정기를 제공한다.

상기 데이터 블럭의 크기가 N×N (N은 양인 정수)이라 할 때, 상기 입력데이터 절환수단은 좌측과 하측 2개의 데이터와 제어신호를 입력하고, 상기 입력된 좌측과 하측 데이터중 하나를 상기 제어신호에 따라 선택적으로 우측으로 출력하는 스위칭블럭 (N-1)개를 구비하는 것이 바람직하다.

또한, 상기 데이터 블럭의 크기가 N×N (N은 양인 정수)이라 할 때, 상기 왜곡함수값 계산수단은 좌측과 우측 2개의 데이터를 입력하고, 상기 입력된 좌측과 우측 데이터를 각각 우측과 좌측으로 출력하고, 미리 저장되어 있는 2개의 현재영상 데이터에서 각각 상기 좌측과 우측 입력 데이터를 감산한 후 절대값을 취한 값을 상기 상측에서 입력되는 2개의 데이터에 각각 가산하여 상기 현재영상 데이터 블럭과 상기 이전영상 데이터 블럭 사이의 왜곡함수값을 출력하는 Q블럭이 N×N개의 어레이 형태로 배열되고 접속되어 있는 것이 바람직하다.

또한, 상기 데이터 블럭의 크기가 N×N (N은 양인 정수)이라 할 때, 상기 왜곡함수값 출력수단은 2개의 좌측과 2개의 상측 데이터 및 1개의 우측 데이터를 입력하여, 상기 좌측 입력데이터중 하나를 한 클럭 지연시켜 우측으로 출력시키고, 상기 상측과 좌측의 각각 2개의 입력데이터중 하나씩을 가산하여 우측으로 출력시키며, 상기 상측과 우측의 각각 2개의 입력데이터중 나머지 하나씩을 가산하여 좌측으로 출력시키는 P블럭 N개가 직렬로 접속되어 있으며, 상기 각 P블럭들은 상기 N행에 있는 N개의 Q블럭과 각각 접속되어 있는 것이 바람직하다.

또한, 상기 데이터 블럭의 크기가 N×N (N은 양인 정수)이라 할 때, 상기 데이터 입력 및 지연수단은 좌측과 우측의 양방향으로 입력되는 데이터를 입력하고, 상기 입력된 좌측과 우측 데이터를 각각 우측과 상측으로 출력하여 한 클럭 지연 출력시키는 블럭 N개를 구비하는 것이 바람직하다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 의한 전역탐색 블럭정합 움직임 추정기의 동작을 설명하기로한다.

본 실시예에서는 기준블럭의 크기 (N×N)이 3×3 이고, 탐색영역은 -2이상 2이하인 경우를 예로 들었다.

제2도에 본 발명의 실시예에 의한 전역탐색 블럭정합 움직임 추정기의 블럭도를 도시하였고, 제3a도 내지 제 3e도에는 제2도의 전역탐색 블럭정합 움직임 추정기에 있는 각 처리 소자의 연산기능을 설명하기 위한 블럭도를 나타내었다.

제2도를 참조하면, 본 발명의 실시예에 의한 전역탐색 블럭정합 움직임 추정기는 좌측과 우측의 양방향으로 입력되는 데이터를 각각 우측과 상측으로 지연출력시키기 위한 데이터 입력 및 지연부(28)와, 입력되는 일련의 소정 크기의 이전영상 데이터 블럭(20) 및 데이터 입력 및 지연부(22)의 상측에서 출력되는 데이터를 제어신호 (CS1, CS2)에 따라 상기 데이터 입력 및 지연부(22)로 선택적으로 출력시키기 위한 입력데이터 절환부(28)와, 데이터 입력 및 지연부(22)의 출력을 입력하여 소정 연산식에 따라 현재영상 블럭과 이전영상 블럭 사이의 왜곡함수값을 계산하는 왜곡함수값 계산부(24)와, 계산된 왜곡함수값들을 최종 가산하여 2개의 왜곡함수값을 출력하는 왜곡함수값 출력부(26) 및 왜곡함수값 출력부(26)에서 출력되는 2개의 왜곡함수값들중 최소값을 판별하여 움직임 벡터를 출력하는 움직임 벡터 출력부(30)를 구비하고 있다.

제2도에서 데이터 입력 및 지연부(22)는 제3b도에 도시된 T블럭 3개(T1, T2, T3)가 직렬로 접속되어 있고, 입력데이터 절환부(28)는 제3e도에 도시된 SW블럭 2개(SW1, SW2)를 구비하며, 왜곡함수값 계산부(24)는 제3a도에 도시된 Q블럭 9개(Q1, Q2, ..., Q9)가 어레이형태로 접속되어 있고, 왜곡함수값 출력부(26)는 제3c도에 도시된 P블럭 3개(P1, P2, P3)가 직렬로 접속되어 있으며, 움직임 벡터 출력부(30)는 제3d도에 도시된 M블럭(M)으로 되어 있다.

제3a도 내지 제3e도를 참조하면, 제3a도의 Q블럭은 좌측과 우측데이터(i2, i3)를 입력하고, 입력된 좌측과 우측 데이터를 각각 우측과 좌측으로 출력하고(o2=i2, o3=i3), 미리 저장되어 있는 2개의 현재영상데이터(γ와δ)에서 각각 좌측과 우측 입력 데이터(i2, i3)를 감산한 후 절대값을 취한 값을 상측에서 입력되는 데이터(i0, i1)에 가산한다(o0=i0+ |γ-i2|, o1=i1+ |δ-i3|). 따라서, Q블럭에서는 현재영상 데이터 블럭과 이전영상 데이터 블럭 사이의 왜곡함수값 2개가 동시에 계산되어 출력되며, 또한, 좌측 및 우측 데이터가 그대로 출력된다.

제3a도에 있는 2개의 현재영상 데이터 γ와 δ중 γ는 좌측에서 우측으로 입력되는 이전영상 데이터와 연산하기 위한 현재영상 데이터이며, δ는 우측에서 좌측으로 입력되는 이전영상 데이터와 연산하기 위한 현재영상 데이터로서, 각 Q블럭(Q1, Q2, ..., Q9)에 미리 저장되어 있는 γ와 δ 데이터 어레이는 양방향으로 입력되는 이전영상 데이터를 이용하여 2개의 왜곡함수값을 동시에 계산하기 위하여 표1에 나타낸 바와 같이 중간 열의 데이터를 기준으로 서로 데이터가 맞바뀌어 있는 형태로 저장되어 있어야 한다.

제3b도의 T블럭은 좌측과 우측 데이터(i0, i1)를 입력하고, 입력된 좌측과 우측 데이터를 각각 우측과 상측으로 출력한다(o0=i0, o1=i1). 따라서, T블럭에서는 2개의 입력 데이터를 한 클럭 지연시켜 출력시키게 된다.

제3c도의 P블럭은 2개의 좌측과 2개의 상측 데이터들(i2, i3와 i0, i1)및 1개의 우측 데이터(i4)를 입력하여, 2개의 우측, 1개의 좌측데이터를 출력한다(o0=i2, o1=i1+i3, o2=i0+i4). 따라서, P블럭은 좌측 입력데이터중 하나를 한 클럭 지연시켜 우측으로 출력시키고(o0=i2), 상측과 좌측 입력데이터중 하나씩을 가산하여 우측으로 출력시키며(o1=i1+i3), 나머지 상측과 우측 입력데이터 하나씩을 가산하여 좌측으로 출력시키게 된다(o2=i0+i4).

제3d도의 M블럭은 좌측과 우측 데이터(m0,m1)를 입력하여 두 값중 최소값을 출력한다(m=min(m0,m1)). 따라서, M블럭은 입력되는 2개의 왜곡함수값중 최소값을 판별하여 출력하게 된다.

제3e도의 SW블럭은 좌측 데이터(i0)와 하측 데이터(i1)를 입력하여 제어신호(CS)가 O 일 때에는 좌측 데이터(i0)를 출력하고(o0=i0), 제어신호(CS)가 1 일 때에는 하측 데이터(i1)을 출력한다(o0=i1).

상기와 같이 구성된 본 발명의 실시예에 의한 전역탐색 블럭정합 움직임 추정기의 동작을 제2도 및 제3a도 내지 제3e도를 참조하여 설명하기로 한다.

현재영상 데이터 블럭은 미리 Q블럭들(Q1, Q2, ..., Q9)에 저장되어 있다고 가정하고, 이전 영상데이터 블럭(20)이 SW블럭들(SW1,SW2)을 경유하여 T블럭들(T1,T2,T3)을 거쳐 Q블럭들(Q1, Q2, ..., Q9)로 입력되며, 이전 영상 데이터 블럭(20)은 또한, P블럭들(P1, P2, P3)을 경유하여 Q블럭들(Q1, Q2, ..., Q9)과 T블럭들 (T1, T2, T3) 및 SW블럭들(SW1, SW2)을 거쳐 Q블럭들(Q1, Q2, ..., Q9)로 입력된다.

SW블럭들(SW1, SW2)은 좌측에서 입력되는 소정 크기의 이전영상 데이터 블럭의 입력이 완료되면 제어신호(CS1, CS2)의 변화에 따라 절환됨으로써, T2와 T3블럭의 상측에서 출력되는 데이터가 각각 입력되어 우측으로 출력된다. P블럭들(P1, P2, P3)에 이전영상 데이터가 입력되는 것은 탐색영역에 있는 2개의 데이터 블럭에 대한 왜곡함수값을 계산하기 위한 것이다.

Q블럭들(Q1, Q2, ..., Q9)은 입력되는 이전 영상 데이터 블럭(20)과 미리 저장되어 있던 현재영상 데이터 블럭을 이용하여 현재영상과 이전영상 데이터블럭 사이의 왜곡함수값들을 계산하고, 좌측과 우측에서 입력된 데이터를 우측과 좌측으로 전파시키며, 계산된 왜곡함수값들을 아래로 전파시켜 P블럭들(P1, P2, P3)에 입력시킨다. P블럭들(P1, P2, P3)은 Q블럭들(Q1, Q2, ..., Q9)에서 출력된 왜곡함수값들을 최종 가산하여 현재영상 블럭과 2개의 이전영상 블럭 사이의 왜곡함수값 2개를 동시에 출력한다. M블럭(M)에서는 P블럭들(P1, P3)에서 출력된 2개의 최종 왜곡함수값중 최소값을 찾아 최소값, 즉 최종 움직임 벡터를 출력한다. 제2도에 도시된 바와 같이 본 발명의 구조는 종래의 구조와 달리 이전영상 데이터가 좌측에서 우측으로, 그리고 우측에서 좌측으로 양방향으로 전파되어 2개의 왜곡함수값이 동시에 계산되므로 종래의 구조와 비슷한 수의 처리소자를 갖고도 더 빠르게 동작된다.

상술한 바와 같이, 본 발명에 의한 전역탐색 블럭정합 움직임 추정기는 종래의 움직임 추정기와 비슷한 처리소자를 갖고도 더 빠른 동작을 할 수 있어 움직임 추정의 실시간 처리가 가능하다는 이점이 있다.