모션 추정의 방법과 유닛 및 그러한 모션 추정 유닛에 제공되는 이미지 처리 장치{Unit for and method of motion estimation and image processing apparatus provided with such motion estimation unit}

이 발명은 모션 벡터(motion vector)들을 발생하기 위한 모션 추정 유닛(motion estimation unit)에 관한 것으로, 모션 벡터들 각각은 제 1 이미지의 각각의 세그먼트에 대응하고, 세그먼트의 픽셀 값들과 제 2 이미지의 픽셀 값들 사이의 절대 차(absolute difference)들의 합산(summation)에 의해 세그먼트의 모션 벡터의 매치 에러(match error)를 계산하기 위한 제 1 합산 수단을 포함한다.

이 발명은 또한 모션 벡터들을 발생하기 위한 방법에 관련한 것으로, 모션 벡터들 각각은 제 1 이미지의 각각의 세그먼트에 대응하고, 세그먼트의 픽셀 값들과 제 2 이미지의 픽셀 값들 사이의 절대 차들의 합산에 의해 세그먼트의 모션 벡터의 매치 에러를 계산하는 제 1 합산 단계를 포함한다.

이 발명은 또한,

-모션 벡터들을 발생하기 위한 모션 추정 유닛으로서, 모션 벡터들 각각은 제 1 이미지의 각각의 세그먼트에 대응하고, 세그먼트의 픽셀 값들과 제 2 이미지의 픽셀 값들 사이의 절대 차들의 합산에 의해 세그먼트의 모션 벡터의 매치 에러를 계산하기 위한 제 1 합산 수단을 포함하는, 상기 모션 추정 유닛과;

-모션 보상된 이미지 처리 유닛을 포함하는 이미지 처리 장치에 관련한다.

개시한 단락에 설명되는 종류의 방법의 실시예는 논문 "3 차원 반복 검색 블록 매칭을 이용한 트루-모션 추정(True-Motion Estimation with 3-D Recursive Search Block Matching)" by G. de Haan et. al. in IEEE Transactions on circuits and systems for video technology, vol.3, no.5, October 1993, pages 368-379로부터 알려진다.

영상 신호 처리에서의 많은 어플리케이션들에 대해, 광 플로우(optical flow)로서 알려진, 이미지들의 시퀀스의 명백한 속도 필드를 아는 것이 필요하다. 이 광 플로우는 시변(time-varing) 벡터 필드 즉, 이미지 당 하나의 벡터 필드로서 주어진다. 인용된 논문에 있어서, 이 모션 벡터 필드는 이미지를 블록들로 나눔으로써 추정된다. 각 블록의 후보 모션 벡터들의 세트에 대해, 매치 에러는 블록의 후보 모션 벡터들의 세트로부터 가장 적당한 모션 벡터를 발견하도록 최소화 과정(minimization procedure)으로 계산 및 이용된다. 매치 에러는 SAD에 대응한다 : 이미지의 블록의 픽셀들과 모션 벡터에 의해 시프트(shift)되는 다음 이미지의 블록의 픽셀들 사이의 절대 휘도 차들의 합 :

여기서, (x, y)는 블록의 위치이고, (d _x , d _y )는 모션 벡터이고, n은 이미지 수이고, N 및 M은 블록의 폭과 높이, 그리고 Y(x, y, n)는 이미지(n)에 위치(x, y)에서의 픽셀의 휘도값이다.

추정된 모션 벡터는 트루 모션 벡터(true motion vector)로부터 벗어날 수 있다, 즉 모션 벡터 에러가 있을 수 있다. SAD의 값은 단지 상대적인 측정으로서, 비교들에 이용될 수 있다. 계산된 SAD는 모션 벡터, 즉 모션 벡터 에러의 정확성의 신뢰성 있는 표시를 주지 않는다. 이것은 종래 기술에 따른 방법의 결점이다.

모션 벡터 에러를 계산하기 위해 구성되는 서두 단락에 설명된 종류의 모션 추정 유닛을 제공하는 것이 이 발명의 제 1 목적이다.

모션 벡터 에러가 계산되는 서두 단락에서 설명된 종류의 방법을 제공하는 것이 이 발명의 제 2 목적이다.

모션 벡터 에러를 계산하기 위해 구성된 서두 단락에서 설명된 종류의 이미지 처리 장치를 제공하는 것이 이 발명의 제 3 목적이다.

이 발명의 목적은,

-세그먼트의 픽셀 값들과 제 1 이미지의 픽셀 값들 사이의 절대 차들의 합산에 의해 편차 파라미터(variance parameter)를 계산하기 위한 제 2 합산 수단과;

-매치 에러와 편차 파라미터를 비교함으로써 모션 벡터 에러를 추정하기 위한 추정 수단을 더 포함하는 모션 추정 유닛에서 성취된다.

제 2 합산 수단으로, 블록에서 상세하게 레벨의 측정인 편차 파라미터가 계산될 수 있다. 블록은 세그먼트 유형이다. 불규칙한 모양의 세그먼트들에 대한 모션 추정은 또한 아주 일반적이다. 이 발명은 또한 불규칙한 모양의 세그먼트들에 응용할 수 있다. 블록에서 매우 상세하면, 즉 편차 파라미터의 비교적 높은 값이 만들어지면, 매치 에러의 값은 또한 비교적 높은 값을 가질 수 있다. 매치 에러의 비교적 높은 값과 조합하여 편차 파라미터의 비교적 낮은 값은 추정된 모션 벡터가 오류일 수 있음을 나타낸다.

모션 벡터 에러 값에 관심있는 어플리케이션들이 있기 때문에, 모션 추정 유닛이 모션 벡터 에러를 제공한다는 이 발명에 따른 모션 추정 유닛의 이점이 있다. 예를 들어, 모션 벡터가 매우 충분할 때, 그것을 개선하기 위한 시도에 대해 시간을 소비하는 것이 필요하지 않다. 효율(Efficiency)과 벡터 필드 일관성(consistency)은 그것에 의해 개선된다. 모션 벡터 에러는 또한 대체(fall-back) 선택들 또는 소수의 아티팩트(artifact)들을 발생하는 매우 정교한 알고리즘들을 이용하려고 할 때를 결정하기 위해, 모션 벡터 필드의 전체 품질을 추정하기 위해 유용할 수 있다. 또한 대상 모서리(object edge)들에 오버랩(overlap)하는 블록들을 찾는데 이용될 수 있고, 대상 모서리들은 그 후 더 적절한 방식으로 처리될 수 있다.

관련된 아이디어는 모션 추정기 유닛이 모션 벡터를 결정하기 위해 적어도 4 개의 이미지들 상에서 동작하는 것이 설명되는 EP 0 549 681 B2에 제안된다. 그 특허 출원서에 있어서, 그라디언트(gradient)로 불리는 후속적인 이미지들의 픽셀들의 값들 사이의 차를 나눔으로써 계산되는 할당 에러들의 최소화에 의해 모션 벡터들을 추정하는 것이 제안된다. 이 그라디언트는 2차(quadratic) 차들의 제곱근을 취함으로써 계산된다. 이 발명에 따른 모션 추정 유닛과 EP 0 549 681 B2에 설명된 모션 추정 유닛 사이의 아래의 중요한 차들이 있다:

-이 발명에 따른 모션 추정 유닛의 매치 에러 및 편차 파라미터는 등가 측정(equivalent measure)에 기초한다: 절대 차들의 합. EP 0 549 681 B2에 설명되는 모션 추정 유닛에 있어서, 2 개의 다른 측정들이 계산된다: 차들 및 2차 차들의 제곱근. 절대 차들의 2 배의 합을 이용하는 이점들은 모션 벡터 에러가 트루 모션 벡터로부터 추정된 모션 벡터의 편차(deviation)에 대한 질적인(qualitative) 및 심지어 양적인 정보를 제공할 수 있다는 것이다. 이것을 증명하기 위해 실험(Experiment)들이 수행된다. 이 실험들의 결과들은 도 3 내지 도 7에 관련하여 아래에 설명된다. 절대 차들의 2 배의 합을 이용하는 또다른 이점들은 계산이 덜 집약적이라는 것이다.

-편차 파라미터는 모든 후보 모션 벡터들의 매치 에러들의 정규화(normalization)에 대한 이 발명에 따른 모션 추정 유닛에서 이용될 수 있다. 그러나, 이것은 편차 파라미터가 세그먼트의 모든 후보 모션 벡터들에 대해 상수(constant)이기 때문에 필요하지 않다.

단지 추정된 모션 벡터, 즉 후보 모션 벡터들의 세트 중의 추정된 모션 벡터에 대한 것이면, 모션 벡터 에러는 추정된 모션 벡터가 트루 모션의 적당한 값일 수 있는 지의 여부를 결정하기 위해 계산되는 것이 충분하다. EP 0 549 681 B2에 설명된 모션 추정 유닛에 있어서, 정규화(normalization)는 모든 후보 모션 벡터들에 대해 수행된다.

이 발명에 따른 모션 추정 유닛의 실시예에 있어서, 제 2 합산 수단은,

-세그먼트의 픽셀 값들과 제 1 방향으로 적어도 한 픽셀 시프트되는 세그먼트에 대응하는 제 2 세그먼트의 픽셀값들 사이의 절대 차들과;

-세그먼트의 픽셀 값들과 제 2 방향으로 적어도 한 픽셀 시프트되는 세그먼트에 대응하는 제 3 세그먼트의 픽셀값들 사이의 절대 차들을 더함으로써 편차 파라미터를 계산하도록 설계되고, 제 1 방향은 제 2 방향과 교차한다.

편차 파라미터 측정의 목적은 알려진 모션 벡터 편차로부터 만들어진 절대 차들의 합을 예측하는 것이다. 트루 모션 벡터가 알려지지 않기 때문에, 세그먼트는 동일한 이미지에서 조금 변위된, 즉 시프트된 세그먼트에 대해 매칭된다. 에러의 방향이 알려지지 않음으로서, 2 개의 방향들에 대한 평균이 만들어진다. 다시 말해서, 둘 다 변환의 측정인, 2 개의 측정들, 즉 편차 파라미터를 가진 매치 에러를 비교함으로써, 추정된 모션 벡터와 트루 모션 벡터 사이의 차에 관련되는 모션 벡터 에러를 유도하는 것이 가능하다. 매치 에러는 후속적인 이미지들 사이의 블록의 변환에 기초하고, 편차 파라미터는 하나의 이미지 내의 블록의 변환에 기초한다. 편차 파라미터를 계산하기 위한 블록에 적용되는 시프트 값은 확률적으로 편차 파라미터에 관련된다. 편차 파라미터를 계산하기 위한 블록에 적용되는 시프트가 증가하면, 편차 파라미터도 또한 증가할 것이라는 확률이 비교적 크다. 편차 파라미터의 도움으로, 정의문(statement)은 모션 벡터 에러의 함수로서 매치 에러 값의 분포에 관련하여 만들어질 수 있다.

이 발명에 따른 모션 추정 유닛의 실시예의 수정에 있어서, 제 2 합산 수단은 또한 세그먼트 픽셀 값들과 제 1 방향으로 적어도 한 픽셀 그리고 제 2 방향으로 적어도 한 픽셀 시프트되는 세그먼트에 대응하는 제 4 세그먼트의 픽셀값들 사이의 절대 차들을 더하도록 설계된다. 이 실시예의 이점은 또한 제 1 및 제 2 방향 상의 대각(diagonal) 방향들이 모션 추정 유닛이 동작할 때 고려된다는 것이다.

이 발명에 따른 모션 추정 유닛의 실시예는 픽셀들의 블록이 되는 세그먼트의 모션 벡터를 발생하도록 설계된다. 픽셀들의 블록들에 기초하는 모션 추정 유닛의 이점은 그것의 설계의 간단함이다. 이 발명에 따른 모션 추정 유닛의 또다른 실시예는 불규칙한 모양의 세그먼트들을 처리하도록 설계된다.

이 발명에 따른 모션 추정 유닛의 실시예는 픽셀 값들로서 휘도값에 기초하는 세그먼트의 모션 벡터를 발생하도록 설계된다. 휘도는 모션 추정에 대한 적절한 양이다. 이 발명에 따른 모션 추정 유닛의 또다른 실시예는 크로미넌스 (chrominance) 값들에 동작하도록 설계된다.

이 발명의 제 2 목적은,

-세그먼트의 픽셀 값들과 제 1 이미지의 픽셀 값들 사이의 절대 차들의 합산에 의해 편차 파라미터를 계산하는 제 2 합산 단계와;

-매치 에러와 편차 파라미터를 비교함으로써 모션 벡터 에러를 추정하는 추정 단계를 더 포함하는 방법으로 성취된다.

이 발명의 제 3 목적은,

-세그먼트의 픽셀 값들과 제 1 이미지의 픽셀 값들 사이의 절대 차들의 합산에 의해 편차 파라미터를 계산하기 위한 제 2 합산 수단과;

-매치 에러와 편차 파라미터를 비교함으로써 모션 벡터 에러를 추정하기 위한 추정 수단을 더 포함하는 이미지 처리 장치의 모션 추정 유닛으로 성취된다.

이미지 처리 장치 및 그것들의 편차들의 수정들은 설명되는 모션 추정기의 그것의 변환들 및 수정들에 대응할 수 있다. 이미지 처리 장치는, 예를 들어 신호 표시 이미지들을 수신하기 위한 수신 수단, 처리된 이미지들을 디스플레이하기 위한 디스플레이 장치와 같은 추가 성분들을 포함할 수 있다. 모션 보상된 이미지 처리 유닛은 하나 이상의 아래의 이미지 처리 유형을 지원할 수 있다:

-디-인터레이싱(De-interlacing) : 인터레이싱은 교호적으로 홀수 또는 짝수로 넘버링된 라인들을 전송하기 위한 공통 영상 방송 처리이다. 디-인터레이싱은 완전한 수직 해상도를 복원하는, 즉 각 이미지에 대해 동시에 이용 가능한 홀수 및 짝수 라인들을 만드는 것을 시도한다.

-상향 변환(Up-conversion) : 원래 입력 이미지들의 시리즈들로부터, 출력 이미지들의 큰 시리즈들이 계산된다. 출력 이미지들은 2 개의 원래 입력 이미지들 사이에 템포럴하게(temporal) 위치된다 ; 그리고

-템포럴 잡음 감소

이 발명에 따른 이미지 처리 장치 및 방법의 모션 추정 유닛의 이러한 것들 및 다른 양상들은 첨부된 도면들을 참조하고 아래에 설명되는 실시예들 및 구현들에 관련하여 설명될 것이다.

도 1은 모션 추정 유닛의 실시예를 개략적으로 도시한 도면.

도 2는 이미지 처리 장치의 실시예를 개략적으로 도시한 도면.

도 3은 최상의 가우시안 피트(Gaussian fit)와 함께, 1500의 고정된 VAR, 및 1의 픽셀의 VE에 대한 실험들에서 이용되는 테스트 시퀀스에 대한 SAD 값들의 히스토그램.

도 4a는 테스트 시퀀스에 대해, VE=0에 대한 VAR의 함수로서 μ의 종속을 도시한 도면.

도 4b는 테스트 시퀀스에 대해, VE=0에 대한 VAR의 함수로서 σ의 종속을 도시한 도면.

도 5a는 테스트 시퀀스에 대해, VE=1에 대한 VAR의 함수로서 μ의 종속을 도시한 도면.

도 5b는 테스트 시퀀스에 대해, VE=1에 대한 VAR의 함수로서 σ의 종속을 도시한 도면.

도 6은 테스트 시퀀스에 대해, VE 상의

도 7은 x/ν의 다양한 값들에 대한 e의 함수로서 P(VE=e|SAD=x, VAR=ν)의 플롯들.

대응하는 참조 번호들은 모든 도면들에서 같은 의미를 가진다.

도 1은 모션 추정기(100)의 실시예를 개략적으로 도시하고,

-제 1 이미지(118)의 세그먼트(116)의 후보 모션 벡터들의 세트를 발생하기 위한 발생 수단(102)과;

-세그먼트(116)의 픽셀 값들과 제 2 이미지(120)의 픽셀 값들 사이의 절대 차들의 합산에 의해 세그먼트(116)의 후보 모션 벡터들의 매치 에러들을 계산하기 위한 제 1 합산 수단(106)과;

-세그먼트(116)의 픽셀 값들과 제 1 이미지(118)의 픽셀 값들 사이의 절대 차들의 합산에 의해 편차 파라미터를 계산하기 위한 제 2 합산 수단(108)과;

-특정한 매치 에러와 편차 파라미터를 비교함으로써 모션 벡터 에러(130)를 추정하기 위한 추정 수단(110)과;

-매치 에러들을 기반으로 후보 모션 벡터들의 세트로부터 특정한 모션 벡터(126)를 선택하기 위한 선택 수단(104)을 포함한다.

모션 추정 유닛(100)의 입력은 이미지들을 포함하고 입력 접속기(112)에 제공된다. 모션 추정기 유닛(100)의 출력은 세그먼트들(예를 들어 116)의 모션 벡터들을 포함하는 모션 벡터 필드들(예를 들어 124)이다. 모션 벡터 유닛(100)의 출력은 출력 접속기(114)에 제공된다. 모션 추정 유닛(100)의 동작은 다음과 같다. 먼저, 발생 수단(102)은 예를 들어 픽셀들의 블록인 후보 모션 벡터들의 세트를 세그먼트(116)에 대해 발생한다. 그 후, 제 1 합산 수단(106)은 매치 에러들을 이들 후보 모션 벡터들에 대해 계산한다. 그 후, 선택 수단(104)은 이들 매치 에러들을 기반으로 후보 모션 벡터들의 세트로부터 특정한 모션 벡터들(126)을 선택한다. 이 특정한 모션 벡터(126)는 그것의 매치 에러가 최저값을 가지기 때문에 선택된다. 제 2 합산 수단(108)은 세그먼트(116)의 편차 파라미터를 계산한다. 특정한 모션 벡터(126)에 대해서 그리고 선택적으로 후보 세트의 일부 다른 모션 벡터들에 대해 모션 벡터 에러들(예컨대, 130)이 매치 에러들 및 편차 파라미터에 기초하여 계산된다. 모션 벡터 에러(예를 들어 130)는 매치 에러 계산에 이용되는 모션 벡터(126)와 트루 모션 벡터(128) 사이의 다른 벡터의 길이에 대응한다. 이들 모션 벡터 에러들(예를 들어 130)은 선택 수단(104)에 대한 입력이다. 특정한 모션 벡터(126)의 모션 벡터 에러들(130)의 값이 미리 규정된 임계값 미만이면, 특정한 모션 벡터(126)는 세그먼트(116)에 할당된다. 선택 수단(104)은 특정한 모션 벡터(126)의 모션 벡터 에러(130)의 값이 미리 규정된 임계값보다 높으면 후보 모션 벡터들의 새로운 세트를 발생하기 위해 발생 수단(102)를 트리거(trigger)하도록 구성된다. 선택 수단(104)은 모션 벡터 에러들이 또한 계산된 모션 벡터들이 다른 세그먼트들에 대한 적절한 후보들일 수 있는 지의 여부가 추정 수단(110)에 의해 통지된다.

제 1 합산 수단(106)에 의해 계산되는 매치 에러는 SAD에 대응한다 : 이미지의 특정한 블록의 픽셀들과, 모션 벡터에 의해 시프트되는 특정한 블록에 대응하는 다음 이미지에서의 블록의 픽셀들 사이의 절대 휘도 차들의 합 :

여기서, (x, y)는 블록의 위치이고, (d _x , d _y )는 모션 벡터이고, n은 이미지 수이며, N 및 M은 폭과 높이, 그리고 Y(x, y, n)는 이미지 n의 위치 (x, y)에서의 픽셀의 휘도 값이다.

제 2 합산 수단(108)에 의해 계산되는 편차 파라미터는 VAR에 대응한다 : 이미지의 특정한 블록에서의 픽셀들과 동일한 이미지에 있으나 픽셀들의 미리 규정된 양이 시프트되는 블록의 픽셀들 사이의 절대 휘도 차들의 합. 편차 파라미터를 정의하기 위해, 함수 DIFF는

로 도입된다. 여기서 또한 N 및 M은 블록의 폭과 높이이다. 이 함수, 즉 수학식(1)에 수학식(2)의 대체에 의해, SAD는 아래와 같이 된다 :

편차 파라미터 VAR은 다음과 같이 정의될 수 있다 :

이것은 1개의 픽셀의 모션 벡터 에러에 대한 매치 에러 SAD의 기대치(expectation)를 준다. 이 경우에 있어서, 편차 파라미터는 2 개의 다른 방향들을 통한 평균에 기초한다.

편차 파라미터를 계산하기 위한 또다른 방법은 또한 대각 방향들을 고려함으로써 이루어진다 :

편차 파라미터를 계산하기 위한 또다른 방법은, 예를 들어 2 개의 픽셀들인 큰 시프트들을 이용함으로써 이루어진다 :

시프트의 이 크기는 블록 크기에 관련된다. VAR4 측정은 다른 것들의 2 배만 큼 비싸다. VAR2 측정은 VAR보다 잡음에 대해 덜 민감하다.

도 2는 개략적으로 다음을 포함하는 이미지 처리 장치(200)의 성분들을 도시한다 :

-어떤 처리가 수행된 후 디스플레이될 이미지들을 표현하는 신호를 수신하기 위한 수신 수단(201). 이 신호는 안테나를 통해 수신되는 방송 신호일 수 있거나 아니면 또한 VCR(Video Cassette Recorder) 또는 Digital Versatile Disk(DVD)와 같은 저장 장치로부터의 신호일 수 있다. 이 신호는 입력 접속기(206)에 제공된다.

-도 1에 관련하여 설명된 바와 같은 모션 추정 유닛(100);

-모션 보상된 이미지 처리 유닛(202); 및

-처리된 이미지들을 디스플레이하는 디스플레이 장치(204).

모션 보상된 이미지 처리 유닛(202)은 선택적으로 하나 이상의 다음 이미지 처리 유형들을 지원한다 :

-디-인터레이싱(De-interlacing) : 인터레이싱은 교호적으로 홀수 또는 짝수로 넘버링된 이미지 라인들을 전송하기 위한 공통 비디오 방송 절차이다. 디-인터레이싱은 완전한 수직 해상도를 복원하는 것을 시도한다, 즉 각 이미지에 대해 동시에 이용 가능한 홀수 및 짝수 라인들을 만든다 ;

-상향-변환(Up-conversion) : 원래 입력 이미지들의 시리즈들로부터, 출력 이미지들의 큰 시리즈들이 계산된다. 출력 이미지들은 2 개의 원래 입력 이미지들 사이에 템포럴하게 위치된다 ; 그리고

-템포럴 잡음 감소.

모션 보상된 이미지 처리 유닛(202)은 그것의 입력으로서 모션 벡터들과 이미지들을 요구한다.

실험들은 편차 파라미터 VAR, 매치 에러 SAD, 및 모션 벡터 에러 VE 사이의 관계를 조사하도록 수행된다. 이들 실험들에 기초하여, 이들 관계들에 관련한 가정(hypotheses)이 채택된다. 제 1 VE 및 VAR은 독립 변수들로서 SAD는 종속 변수로서 취해졌다. 제 2 SAD 및 VAR은 독립 변수들로서 VE는 종속 변수로서 취해진다. 이 후자의 관계가 가장 관련이 있다. 그것은 특정한 정도로 모션 벡터를 질적으로 한정하고, 심지어 모션 벡터 에러를 정량화한다. 결과는 추정된 모션 벡터가 다음과 같이 카테고리화될 수 있다는 것이다 :

-추정된 모션 벡터는 트루 모션 벡터와 실질적으로 같다 : 미리 규정된 작은 수 a에서 SAD<a*VAR.

-추정된 모션 벡터는 트루 모션 벡터로부터 e 픽셀들을 대략적으로 벗어난다, 즉 모션 벡터 에러의 크기는 대략적으로 e 픽셀들과 같다. 이것은 예를 들어 0≤e≤3 픽셀들인, 모션 벡터 에러들의 값들의 범위에 대해 단지 나타낼 수 있다 :

어떤 미리 규정된 작은 임계값 b에서 SAD>b, (3/5)SAD/VAR<e[픽셀들].

-추정된 모션 벡터는 트루 모션 벡터와 실질적으로 같지 않다 :

SAD>b, (3/5)SAD>3*VAR.

-추정된 모션 벡터와 트루 모션 벡터 사이의 차는 알려지지 않는다 : 나머지 경우들.

실험들의 셋-업(set-up)은 다음과 같았다. 간단한 모션을 가진, 즉 교합(occlusion)들이 조금 있거나 없는 이미지들의 다수의 시퀸스들에 대해, 종래의 기술의 3DRS 모션 추정기는 고 정밀도(precision), 즉 0.25 픽셀에 모이도록(converge) 이용되었다. 서브-픽셀을 얻기 위해, 정확한 쌍선형 보간(bilinear interpolation)이 이용되었다. 추정된 모션 벡터들은 "트루" 모션 벡터들에 대응한다. 그 후, "트루" 벡터들은 임의의 방향들로 고정된 양에 의해 변위되었다. 다시 말하자면, "트루" 모션 벡터들은 모션 벡터 에러로 적응되었다. 만들어진 모션 벡터들에 대응하는 SAD의 값들은 그 후 VAR 값에 대해 2D-히스토그램에 입력되었다. 고정된 VE 및 VAR에 대해, SAD 값들의 분포가 가우시안 분포에 의해 잘 접근될 수 있다는 것이 실험적으로 밝혀진다. 이것은 임의의 VAR에 대해, 그리고 0에서 약 3 까지의 픽셀들로의 범위에서의 VE에 대해 유지하는 것으로 보인다. N=M=8 픽셀들의 블록 크기가 이용되었다. 도 3은 최상의 가우시안 피트와 함께, 고정된 1500의 VAR 및 1 픽셀의 VE에 대한 실험들에서 이용되는 테스트 시퀀스에 대한 SAD 값들의 히스토그램을 도시한다. 실험 결과들에 기초하여 고정된 VE 및 VAR에 대해, SAD 값들의 분포가 가우시안 분포에 의해 잘 근사된다는 가정이 채택된다:

A exp(-(x-μ) ² /2σ ² ) (8)

에 의해 주어진 확률 밀도 함수를 가짐

VAR 및 VE 상의 μ 및 σ의 종속은 가우시안 커브들로 2D 히스토그램의 1D 슬라이스들을 근사하는 최소 제곱에 의해 분석되었다. VAR 상의 μ 및 σ의 선형적 종속의 비례 상수는 명백히 VE에 의존한다. 이들 상수들은 VE=0, 0.5, 1, 1.5, 2 및 3 픽셀들에 대해 추정된다. 범위 0≤VE≤3 픽셀들에 있어서, VAR 함수로서 μ 의 종속은 매우 정밀하게 선형적이고, 반면 VAR 상의 σ의 종속은 VE가 커질 때 선형적 종속으로부터 벗어나기 시작한다는 것이 명백하다. 선형적 종속은 여전히 약 VE=3 픽셀들 까지의 적절한 근사로 보인다. VE=0에 대해, VAR의 함수로서 만들어진 측정들은 도 4a 및 도 4b에서 도시된다. 도 4a는 테스트 시퀀스에 대해, VE=0에 대한 VAR의 함수로서 μ의 종속을 도시한다. 도 4b는 테스트 시퀀스에 대해, VE=0에 대한 VAR의 함수로서 σ의 종속을 도시한다. 라인들이 VE=0에 대해서 까지도, 남은 SAD에 대응하는, 원점(origin)을 통해 통과하지 않는다는 것을 유의하라. 이에 대한 몇 개의 이유들이 있다 : "트루" 모션 필드, 0.25 픽셀 벡터 정확성 및 서브-픽셀 보간 에러들에서의 벡터 에러들 즉, 3. 도 5a는 테스트 시퀀스에 대해, VE=1에 대한 VAR의 함수로서 μ의 종속을 도시하고 도 5b는 테스트 시퀀스에 대해, VE=1에 대한 VAR의 함수로서 σ의 종속을 도시한다.

도 6에 있어서, VE 상에서 μ=α VAR 에서 비례 상수 α의 종속이 도시된다. VE 상의 이 종속은 범위 0≤VE≤3 픽셀들에서 대략적으로 선형이다. 최소 제곱 피트는 다음이 된다 :

μ=(0.7 + 1.5 VE)VAR (9)

σ=(0.2 + 0.5VE)VAR (10)

이것은 σ= μ/3 으로 간단해질 수 있다.

따라서, VE 및 VAR이 주어진 SAD 값들의 조건부 확률 분포가 유도된다. VAR 및 VE가 주어지는, SAD는 확률 분포에 따라 분포된다 :

여기서, μ _e,ν =(0.7 +1.5e)ν 및 σ _e,ν = μ _e,ν /3.0

위에서, SAD가 어떻게 독립 변수들 VE 및 VAR에 의존하는 지가 설명된다. 이 발명에 따른 모션 추정 유닛에 있어서, SAD 및 VAR은 직접 계산될 수 있다. 다음, VE가 어떻게 SAD 및 VAR에 기초하여 추정될 수 있는 지가 설명될 것이다. Bayes의 규칙을 이용하여, SAD 및 VAR이 주어진 VE의 확률 분포가 계산될 수 있다 :

VE 분포에 관해서 종래에 알려진 것이 없기 때문에, 일정한 분포가 선택된다. 픽셀들의 관련 범위는 0에서 3까지의 픽셀들이고, 따라서 0≤e≤3이면 P(VE=e｜VAR=ν)=1/3이고 그렇지 않으면 0이다. 실험들의 결과들은 기대된 SAD가 VAR로 선형적으로 스케일된다는 것을 나타내었다. 그 외에 종래에 알려진 것이 없기 때문에, 0≤x≤cν이면 P(SAD=x｜VAR=ν)=1/cν이고 그렇지 않으면 0으로 선택되고, 여기서 c는 임의의 비교적 큰 스케일링 인자이다. 이것은 다음과 같이 된다 :

도 7에 있어서, 확률 밀도 함수는 x/ν의 몇 개의 값들에 대해 도시된다. 이들 분포들에 따른 VE의 표준 편차 SD(VE)와 기대값 E(VE)가 표 1에 도시된다.

표 1 :

유용한 범위를 교차하여, 이들 결과들은

의해 요약될 수 있다.

수학식(14)으로, 모션 벡터 에러의 기대값은 편차 파라미터 VAR 및 매치 에러 SAD의 값이 알려지면 추정될 수 있다. 수학식(14)은 표 1에 나타낸 바와 같은 범위들을 유지한다. 실제로 그것은 수학식(14)를 잡음에 덜 민감하게 만들고, 영(0)에 의해 나눠지는 것을 피하도록 VAR에 작은 수를 더할 수 있다는 것에 유의하라. 위의 개략된 분석은 또한 위에 언급된 측정들 VAR4 및 VAR2에 대해 수행된다. 그 결과들은 매우 유사하다.

위에 언급된 실시예들은 이 발명을 제한하기보다는 예시하는 것이고 이 기술 분야에 숙련된 자들이 첨부된 청구항들의 범위를 벗어나지 않고 대안적인 실시예들을 설계할 수 있을 것에 유의해야 한다. 청구항들에 있어서, 괄호들 내에 있는 임의의 참조 표시들은 청구항을 제한하는 것으로 해석되어서는 안된다. 단어 "포함하는(comprising)"는 청구항에 리스트되지 않은 단계들 또는 성분들의 존재를 배제하지 않는다. 성분들 앞의 단어 "하나(a)" 또는"하나(an)"는 복수의 그러한 성분들의 존재를 배제하지 않는다. 이 발명은 몇 개의 별도의 성분들을 포함하는 하드웨어와 적절히 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇 개의 수단을 나열한 장치 청구항들에 있어서, 이들 수단들 중 몇 개는 하드웨어와 하드웨어의 동일한 아이템에 의해 구성될 수 있다.