화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 화상 부호화 복호 시스템

화상의 고능류 부호화에 있어서의 움직임 보상 예측 방식의 종래 기술을 설명한다.

종래 움직임 보상 예측 방식의 제1 예로서, 평행 이동에 의한 블록 매칭을 사용한 움직임 보상 예측 방식이 있다. 예를 들면, ISO/IEC11172-2(MPEG1 비디오 규격)에서는 블록 매칭을 사용한 전방향/후방향/내삽 움직임 보상 예측 방식에 대하여 해설하고 있다. 또한, 종래 움직임 보상 예측 방식의 제2 예로서, 어파인(affine) 변환을 사용한 움직임 보상이 있다. 예를 들면, 「어파인 변환을 사용한 움직임 보상 예측에 관한 검토」(전자정보통신학회기술보고 IE94-36)에서는 화상의 임의 형상 영역의 움직임량을 어파인 움직임 파라미터로 모델화하고, 그 파라미터를 검출하는 것에 의해 움직임 보상 예측을 실행하는 방식에 대하여 해설하고 있다.

이하, 이들 해설을 기본으로 하여 종래 평행 이동에 의한 움직임 보상 방식 및 어파인 변환을 사용한 움직임 보상 방식에 대하여 설명한다.

블록 매칭에 의한 움직임 보상 예측의 개념을 도 42에 도시한다.

동도에 있어서,

i는 움직임 보상 예측의 단위로 되는 블록 화면내 위치,

fi(x, y, t)는 화면 내 위치 i, 시간 t에서 블록 위치(x, y)에서의 화소값,

R은 움직임 벡터 탐색 범위,

v는 움직임 벡터(∈R)

이다. 블록 매칭은 동도와 같이 참조 화상(201)의 탐색 범위 R중에서, 피예측 화상(202) 중의 예측 대상 블록 i의 화소값 fi(x, y, t)에 가장 가까운 블록, 즉 수학식 1에 나타낸 오차 전력 Dv를 최소화하는 블록 fi+v(x, y, t-1)를 찾아내는 처리에 상당한다.

Dv를 최소로 하는 v의 값이 움직임 벡터로 된다. 도면중, 참조 화상중의 실표본점인 실화소 만을 사용하여 적합한 블록을 탐색하는 방법을 정수 화소 정도 탐색, 정수 화소에 부가하여 정수 화소의 중간 반화소도 사용하는 탐색 방법을 반화소 정도 탐색이라고 한다. 일반적으로, 동일 탐색 범위의 조건하에서는 반화소 정도 탐색쪽이 정수 화소 정도 탐색보다 탐색점이 많게 되어, 예측 효율이 높다.

도 43은 예를 들면, MPEG1 비디오 규격 등에서 채용되고 있는 움직임 보상 예측 방식을 사용하는 화상 부호화 장치의 움직임 보상 예측부(블록 매칭부)의 구성예를 도시한 도면이다.

도면에 있어서, 207은 수평 방향 이동량 카운터, 208은 수직 방향 평행 이동량 카운터, 211은 메모리 판독 어드레스 생성부, 213은 패턴 매칭부, 216은 최소 예측 오차 전력 판정부이다. 또한, 203은 수평 방향 평행 이동량 탐색 범위 지시 신호, 204는 수직 방향 평행 이동량 탐색 범위 지시 신호, 205는 피예측 블록 데이터, 206은 피예측 블록의 화상내 위치 신호, 209는 수평 방향 평행 이동량 탐색점 데이터, 210은 수직 방향 평행 이동량 탐색점 데이터, 212는 판독 어드레스, 214는 판독 화상 데이터, 215는 예측 오차 전력 신호, 217은 움직임 벡터, 218은 최소 예측 오차 전력 신호이다. 219는 참소 화상을 기억하는 프레임 메모리이다.

한편, 도 44는 상기 도 43에 도시한 구성의 움직임 보상 예측부의 동작을 나타내는 동작 흐름도이다.

도면에 있어서,

dx는 수평 방향 평행 이동량 탐색점,

dy는 수직 방향 평행 이동량 탐색점,

range_h_min은 수평 방향 평행 이동량 탐색 범위 하한값,

range_h_max는 수평 방향 평행 이동량 탐색 범위 상한값,

range_v_min은 수직 방향 평행 이동량 탐색 범위 하한값,

range_v_max는 수직 방향 평행 이동량 탐색 범위 상한값,

D_min은 최소 예측 오차 전력,

(x, y)는 매크로 블록내 화소 위치를 나타내는 좌표,

D(dx, dy)는 dx, dy 탐색시의 예측 오차 전력,

f(x, y)는 피예측 화상의 화소(x, y)의 값,

fr(x, y)는 참조 화상의 화소(x, y)의 값,

D(x, y)는 dx, dy 탐색시의 (x, y)에 있어서의 예측 오차,

MV_h는 움직임 벡터 (평행 이동량) 수평 성분,

MV_v는 움직임 벡터 (평행 이동량) 수직 성분

이다.

이하, 도 43, 도 44에 따라, 블록 매칭 동작에 대하여 상세히 설명한다.

1) 움직임 벡터 탐색 범위의 설정

수평 방향 평행 이동량 탐색 범위 지시 신호(203) 및 수직 방향 평행 이동량 탐색 범위 지시 신호(204)에서, 수평 방향 이동량 카운터(207)에 range_h_min/range_h_max를, 수직 방향 이동량 카운터(208)에 range_v_min/range_v_max를 설정한다. 또한, 카운터 초기값을 각각 dx=range_h_min, dy=range_v_min으로 세트한다. 최소 예측 오차 전력 판정부(216)에 있어서, 최소 예측 오차 전력 D_min을 최대값 MAXINT(예를 들면, 0xFFFFFFFF)로 세트한다. 이것은 도 44의 S201에 상당한다.

2) 예측 화상 후보 화상의 판독

피예측 매크로 블록의 화소 위치 (x, y)에서 (dx, dy)만큼 떨어진 위치에 있는 참조 화상중의 위치 (x+dx, y+dy)의 화소를 프레임 메모리에서 꺼낸다. 도 43에서 메모리 판독 어드레스 생성부(211)가 수평 방향 이동량 카운터(207)에서 dx의 값을, 수직 방향 평행 이동량 카운터(208)에서 dy의 값을 수취하여, 프레임 메모리중의 어드레스를 생성한다.

3) 예측 오차 전력의 산출

먼저, 움직임 벡터가 (dx, dy)일 때의 예측 오차 전력 D(dx, dy)를 제로로 초기화한다. 이것은 도 44의 (S202)에 상당한다. 2)에서 판독된 화소값과 피예측 매크로 블록내의 위치 (x, y)의 화소값의 차를 취하고, 그의 절대값을 D(dx, dy)에 누적하여 간다. 이 처리를 x=y=16으로 될 때까지 반복하고, (dx, dy)시의 예측 오차 전력 D(dx, dy), 즉 수학식 1에서의 Dv를 얻는다. 이 처리는 도 43에서 패턴 매칭부(213)이 실행하고, 패턴 매칭부(213)는 D(dx, dy)를 예측 오차 전력 신호(215)에 의해, 최소 예측 오차 전력 판정부(216)로 수수한다. 여기서의 처리는 도 44에서 S203∼S209의 처리에 상당한다.

4) 최대 예측 오차 전력값의 갱신

3)의 결과 얻어진 D(dx, dy)가 그 때까지의 탐색 결과 중에서 최소 오차 전력을 주는가 어떤가를 판정한다. 판정은 도 43에서 최소 예측 오차 전력 판정부(216)가 실행한다. 또한 도 44에서 S210이 이 판정 처리에 상당한다. 최소 예측 오차 전력 판정부(216)은 내부에 갖는 최소 예측 오차 전력 D_min의 값과 예측 오차 전력 신호(215)에 의해 수수되는 D(dx, dy)의 대소를 비교하여, D(dx, dy)쪽이 작을 때에만 D_min의 값을 D(dx, dy)로 갱신한다. 또한, 그 때의 (dx, dy)의 값을 움직임 벡터 후보(MV_h, MV_v)로서 유지하여 둔다. 이들 갱신 처리는 도 44에서 S211에 상당한다.

5) 움직임 벡터값의 결정

상기 2)∼4)를 움직임 벡터 탐색 범위 R중의 모든 (dx, dy)에 대하여 반복하고(도 44의 S212∼S215), 최종적으로 최소 예측 오차 전력 판정부(216)내에 유지되어 있는 계산값(MV_h, MV_v)를 움직임 벡터(217)로서 출력한다.

도 45는 MPEG1 비디오 규격에서 채용되고 있는 움직임 보상 예측 방식의 개욜르 도시한 도면이다.

MPEG1 비디오 규격에서는 동화상의 1장1장의 프레임을 픽쳐라고 부르고, 픽쳐를 매크로 블록이라고 하는 16×16화소(색차 신호는 8×8화소)의 블록으로 분할하여, 각 매크로 블록에 대하여 블록 매칭에 의한 움직임 보상 예측을 실행한다. 그결과 얻어지는 움직임 벡터와 예측 오차 신호를 부호화한다.

MPEG1 비디오 규격에서는 다른 픽쳐마다 움직임 보상의 방식이 바뀌도록 되어 있어, 도면중 I픽쳐에서는 움직임 보상 예측을 실행하지 않고 픽쳐내에서 닫힌 부호화를 실행하지만, P픽쳐에서는 시간적으로 전에 표시되는 화상에서 예측을 실행하는 전방향 움직임 보상 예측을 실행하고, B픽쳐에서는 전방향 움직임 보상 예측외에, 시간적으로 후에 표시되는 화상에서 예측을 실행하는 후방향 움직임 보상 예측과 전방향 움직임 보상 예측 및 후방향 움직임 보상 예측에서 얻어지는 2개의 예측 화상의 가산 평균에 의해 예측을 실행하는 내삽 움직임 보상 예측이 허용된다. 단, 전방향/후방향/내삽의 각 움직임 보상 예측은 예측에 사용하는 참조 화상만 다르고, 기본적으로 모두 블록 매칭에 의한 움직임 보상 예측이다.

블록 매칭은 상술한 바와 같이, 현재 비디오 부호화 방식에 있어서의 움직임 보상 예측의 주된 표현 수단으로서 확립되어 있다. 그러나, 블록 매칭의 처리는 「휘도가 같은 영역은 동일 물체임」이라고 하는 등휘도 가정에 입각하여, 매크로 블록과 같은 정방 블록 단위로 물체의 평행 이동량을 구하고 있은 것에 상당한다. 따라서, 정방 블록 형상 방향으로의 이동이외의 움직임을 검출하는 것은 원리상 불가능하고, 회전이나 확대, 축소, 카메라의 줌잉, 3차원적인 물체의 움직임 등, 평행 이동으로 충분히 설명할 수 없는 움직임이 발생하는 영역에서는 예측 정도가 떨어진다.

이와 같은 블록 매칭에 의한 움직임 검출의 문제점을 해소하고, 보다 정확한 움직임량을 검출하는 것을 목표로 하여, 평행 이동량 뿐만 아니라, 회전이나 스케일링이라고 하는 움직임량을 포함하여 정도가 높은 움직임 보상 예측을 실행하고자 하는 것이 어파인 변환을 사용한 움직임 보상 예측이다. 이 방식에서는 예측 대상의 화소값 (x, y)가 다음의 수학식 2에 나타낸 어파인 변환에 의해 참조 화상중의 화소값 (x`, y`)로 변환된다고 하는 가정에 기초하여, 어파인 변환의 각 파라미터를 움직임 파라미터로서 검출한다. 「어파인 변환을 사용한 움직임 보상 예측에 관한 검토」(전자정보통신학회기술보고IE94-36)에서는 임의의 형상의 예측 화상 영역에 대하여 어파인 움직임 파라미터를 검출하고, 움직임 보상 예측을 실행하는 수단을 제안하고 있다.

여기서, θ, (C _x , C _y ), (t _x , t _y )의 정의는 다음에 설명한다.

도 46은 어파인 변환을 사용한 움직임 보상 예측 처리의 개념을 나타낸 것이다.

동도에 있어서,

i는 움직임 보상 예측의 단위로 되는 영역의 화면내 위치,

fi(x, y, t)는 화면내 위치 i, 시간 t로서 영역의 위치 (x, y)에 있어서의 화소값,

Rv는 평행 이동량 탐색 범위,

Rrot, scale는 회전/ 스케일량 탐색 범위,

v는 평행 이동 파라미터(= (tx, ty))를 포함하는 움직임 벡터,

rot는 회전 파라미터(= 회전각 θ),

scale는 스케일 파라미터(= (Cx, Cy))

이다. 어파인 움직임 보상 예측에서는 움직임 벡터에 상당하는 평행 이동 파라미터(tx, ty)에 부가하여, 회전각 θ, 스케일(Cx, Cy)의 계5파라미터로 이루어지는 어파인 움직임 파라미터를 검출해야 한다. 최적해는 전파라미터의 전탐색에서 주어지는 것이 매우 팽대한 연산량으로 되므로, 여기서는 평행 이동량이 지배적이라고 하는 가정에 따라, 2 단계의 탐색 알고리즘을 채용하고 있다. 먼저, 제1 단계에서는 영역의 평행 이동량(tx, ty)을 탐색한다. 제2 단계에서는 제1 단계에서 결정된 (tx, ty) 근방에서 회전각 θ, 스케일(Cx, Cy)의 탐색을 실행하고, 또한, 평행 이동량의 미조정을 실행한다고 하는 수순을 밟는다. 탐색 후보중 최소 예측 오차 전력을 부여하는 예측 영역과 현재 영역의 차분을 취하고, 예측 오차를 부호화한다. 어파인 변환 방식의 예측 오차 전력은 다음의 수학식 3으로 나타내어진다.

도 47은 어파인 변환을 사용한 움직임 보상 예측부의 구성예를 도시한 도면이다.

동도에 있어서, 220은 평행 이동 미조정량 탐색 범위 지시 신호, 221은 회전량 탐색 범위 지시 신호, 222는 스케일량 탐색 범위 지시 신호, 223은 평행 이동량 탐색 범위 지시 신호, 224는 피예측 영역 화면내 위치 신호, 225는 피예측 영역 데이터, 226은 수평 방향 평행 이동량 카운터, 227은 수직 방향 평행 이동량 카운터, 228은 평행 이동량 가산부, 229는 제1단 최소 예측 오차 전력 판정부, 230은 메모리 판독 어드레스 생성부, 231은 보간 연산부, 232는 반화소 생성부, 233은 회전량 카운터, 234는 스케일량 카운터, 235는 평행 이동/회전/스케일량 가산부, 236은 제2단 최소 예측 오차 전력 판정부, 237은 평행 이동 미조정량 카운터, 238은 평행 이동 미조정량 가산부, 239는 최종 최소 예측 오차 전력 판정부이다.

도 48은 종래 장치의 그 동작 흐름도이다. 또한, 도 49는 도 48 중의 S224에서 도시된 어파인 움직임 파라미터 검출 행정의 상세를 도시한 흐름도이다.

이들 도면에 있어서,

MV_h[4]는 움직임 벡터 수평 성분(4후보),

MV_v[4]는 움직임 벡터 수직 성분(4후보),

D_min은 최소 예측 오차 전력,

θ는 회전량[radian],

Cx, Cy는 스케일량,

tx, ty는 움직임 벡터 미조정량이고,

또한, D(θ[i], Cx[i], Cy[i], tx[i], ty[i])는 MV_h[i], MV_v[i] 선택시에 있어서의 어파인 움직임 파라미터 검출 결과 얻어지는 최소 예측 오차 전력,

dθ는 회전량 탐색점,

dCx는 수평 방향 스케일량 탐색점,

dCy는 수직 방향 스케일량 탐색점,

dtx는 수평 방향 평행 이동 미조정량 탐색점,

dty는 수직 방향 평행 이동 미조정량 탐색점,

range_radian_min은 회전량 탐색 범위 하한값,

range_radian_max는 회전량 탐색 범위 상한값,

range_scale_min은 스케일량 탐색 범위 하한값,

range_scale_max는 스케일량 탐색 범위 상한값,

range_t_h_min은 수평 방향 평행 이동 미조정량 탐색 범위 하한값,

range_t_h_max는 수평 방향 평행 이동 미조정량 탐색 범위 상한값,

range_t_v_min은 수직 방향 평행 이동 미조정량 탐색 범위 하한값,

range_t_v_max는 수직 방향 평행 이동 미조정량 탐색 범위 상한값,

D_min은 최소 예측 오차 전력,

(x, y)는 피예측 영역내 화소 위치,

f(x, y)는 피예측 화상의 화소 (x, y)의 값,

fr(x, y)는 참조 화상의 화소 (x, y)의 값,

ax는 수평 방향 어파인 변환값,

ay는 수직 방향 어파인 변환값,

D(ax, ay)는 ax, ay 탐색시의 예측 오차 전력,

D(x, y)는 ax, ay 탐색시의 (x, y)에 있어서의 예측 오차

이다.

이하, 도 47∼도 49에 따라 어파인 변환을 사용한 움직임 보상 예측 처리의 동작에 대하여 상세히 설명한다.

이들 도면에 있어서, 상기 도면과 동일 부호를 붙인 요소 또는 스텝에 대해서는 동일 동작 또는 처리를 실행하는 것으로 한다.

1) 제1 단계

제1 단계로서, 종래것에서는 먼저, 상술한 블록 매칭 상당의 처리에 의해, 영역마다 부여된 탐색 범위내에서 평행 이동 파라미터(= 움직임 벡터)의 검출을 실행한다.

도 47에 있어서, 평행 이동량 탐색 범위 지시 신호(223)에서, 수평 방향 이동량 카운터(226) 및 수직 방향 평행 이동량 카운터(227)에 탐색 범위를 설정하고, 탐색점을 변화시켜 간다. 평행 이동량 가산부(228)에서, 이 카운트값에 피예측 화상 영역에 있어서의 현재 영역 위치를 가산하고, 그 결과가 메모리 판독 어드레스 생성부(230)로 인도되고, 예측 화상 후보의 화소값이 프레임 메모리(219)에서 판독된다. 판독된 화소값은 패턴 매칭부(213)으로 인도되고, 블록 매칭과 마찬가지의 오차 계산이 이루어진다. 이 매칭 결과가 제1단 최소 예측 오차 전력 판정부(229)로 보내지고, 예측 오차가 작은 쪽부터 4 후보의 평행 이동 파라미터를 얻는다. 이들을 MV_h[4](수평 성분) 및 MV_v[4](수직 성분)으로 표기한다. 제1단 최소 예측 오차 전력 판정부(229)의 동작은 최소 예측 오차 전력 판정부(216)과 마찬가지이다. 이 처리 과정은 도 48의 S221, S222에 상당한다.

2) 제2단계

2-1) 준비(탐색 범위의 설정, 최소 예측 오차 전력값의 초기화)

각 MV_h[i]/MV_v[i](0≤i≤3)에 대하여, 그 근방의 미소 공간에 있어서 회전량/스케일량을 탐색한다. 이것은 도 48의 S224에 상당하고, 도 49에 상세한 처리 과정을 도시한다. 도 47의 장치의 동작과 관련지으면서 동작을 설명한다.

먼저, 회전량 탐색 범위 지시 신호(221) 및 스케일량 탐색 범위 지시 신호(222)에서, 회전량 카운터(233), 스케일량 카운터(234)에 각각 탐색 범위를 설정한다. 또한, 평행 이동 미조정량 탐색 범위 지시 신호(220)에서 평행 이동 미조정량 카운터(237)에도 탐색 범위의 설정을 실행한다. 제2단 최소 예측 오차 전력 판정부(236)은 내부에 갖는 최소 예측 오차 전력 D_min의 값을 MAXINT로 설정한다. 이것은 도 49의 S229에 상당한다.

2-2) 회전량의 탐색

이하, 각 MV_h[i]/MV_v[i] (0≤i≤3)에 대하여 같은 처리를 반복하므로, MV_h[0]/MV_v[0]의 케이스에 대해서만 설명한다. 스케일량 Cx, Cy 및 평행 이동 미조정량 tx, ty의 값을 고정하고, 회전량 θ의 값을 탐색 범위내에서 변화시키고, 이하의 어파인 변환값 ax, ay를 얻는다.

참조 화상 중의 (ax, ay)에 있어서의 화소값 fr(ax, ay)와 f(x, y)의 차분 절대값을 구하고, 이것을 D(ax, ay)에 누적하여 간다.

이상의 처리는 도 47에 있어서, 스케일량 카운터(234) 및 평행 이동 미조정량 카운터(237)의 카운트값을 고정하고, 회전량 카운터(233)의 카운트값에 따라 평행 이동/회전/스케일량 가산부(235)에서 수학식 4의 ax, ay를 구하고, 메모리 판독 어드레스 생성부(230)을 거쳐 fr(ax, ay)를 산출하기 위해 필요한 화소를 프레임 메모리(219)에서 판독하고, 이어서 보간 연산부(231)에 있어서, 이들 화소에서 fr(ax, ay)를 산출하여, 패턴 매칭부(213)에 있어서 피예측 화소값 f(x, y)의 차분 절대값을 구하는 동작에 의해 실행된다. 도 49에서는 S231∼S234에 상당한다.

이상의 처리를 회전량 탐색 범위 전역에 걸쳐 실행하고, 제2단 최소 예측 오차 전력 판정부(236)에 있어서, 회전량 탐색 범위 내에서의 최소 예측 오차를 부여하는 회전량 θ가 결정된다.

2-3) 스케일량의 탐색

회전량의 탐색과 마찬가지로, 평행 이동 미조정량 카운터(237)의 카운트값을 고정하고, 회전량으로서 2-2)에서 결정된 회전량 θ를 수학식 4에 대입하여, 스케일량 Cx, Cy의 값을 탐색 범위내에서 변화시키고, 수학식 4의 어파인 변환값 ax, ay를 얻는다.

이하, 회전량의 탐색과 마찬가지 처리를 실행하여, D(ax, ay)를 최소로 하는 스케일량 Cx, Cy를 얻는다. 스케일량 탐색점의 카운트는 스케일량 카운터(234)가 실행한다.

2-4) 평행 이동 미조정량의 탐색

2-2) 및 2-3)에서 결정된 회전량 θ/스케일량 Cx, Cy를 사용하여, 평행 이동 미조정량 tx, ty의 값을 탐색 범위 내에서 변화시키고, 수학식 4의 어파인 변환값 ax, ay를 얻는다.

이하, 회전량/스케일량의 탐색과 마찬가지 처리를 실행한다. 평행 이동 미조정량 탐색점의 카운트는 평행 이동 미조정량 카운터(237)가 실행한다. 단, tx, ty는 반화소 정도로 탐색되므로, 패턴 매칭부(21)로 보내지기 전에 필요에 따라 반화소 생성부(232)에 있어서 반화소값이 계산된다. 반화소값의 계산은 도 50에 도시한 바와 같이, 정수 화소와의 공간적인 위치 관계에 따라 이하의 수학식 5와 같이 계산된다. 단, x, y는 모두 0부터 계수하고, 정수 화소 위치는 모두 EVEN으로 한다.

이상에서, 도 49의 처리 흐름을 종료한다.

2-5) 최종 어파인 움직임 파라미터의 결정

모든 MV_h[i]/MV_v[i]에 대하여, 상기 2-2)에서 2-4)의 파라미터 탐색을 실행한 결과 얻어지는 θ[i], Cx[i], Cy[i], tx[i], ty[i]를 사용하여 얻어지는 예측 화상과의 예측 오차를 구하고, 가장 작은 오차값을 부여하는 영역 위치 i와 그 파라미터 세트를 최종적인 탐색 결과로 한다. 이것은 도 48에 있어서의 S225∼S228에 상당한다.

이상과 같이, 어파인 움직임 파라미터 탐색은 매우 많은 처리 과정을 요할 뿐만 아니라, 탐색시의 연산 부하도 크다.

도 51은 회전량 및 스케일량을 탐색하는 과정에서 생기는 비정수 화소값의 산출 방법, 즉 보간 연산부(231)에 있어서의 fr(ax, ay)의 산출 방법을 도시한 도면이다.

도면에 있어서, ○는 화상의 실표본점, ●는 연산에 의해 생성되는 화소값이다. fr(ax, ay)는 참조 화상상에서 계산하였고 이하의 수학식 6의

즉, 어파인 움직임 파라미터 탐색에서는 화소간 매칭을 취하고 오차 전력 최소의 것을 선택하므로, 상기 5 파라미터를 변화시킬때마다 예측 화상 후보로 되는 화상 영역을 다시 생성해야 한다. 회전이나 스케일링은 비정수 화소값을 발생시키므로, 수학식 6의 연산이 탐색 처리중 몇번이고 반복된다. 이것에 의해, 어파인 움직임 파라미터 탐색 처리는 매우 부하가 크고, 시간도 걸리는 것으로 된다.

단순한 확대 또는 축소 화상에 대하여 매칭을 실행하여 움직임 보상을 얻는 방법으로서, 특개평 6-153185호 공보에 기재된 움직임 보상 장치 및 이것을 사용한 부호화 장치가 개시되어 있다. 이것은 참조 화상으로 되는 프레임 메모리중의 화상을 추출 회로 또는 보간 회로를 마련하여, 화상을 축소 또는 확대한 후, 움직임 벡터를 검출하는 구성으로 되어 있다. 이 구성에서는 어파인 변환과 같은 복잡한 연산을 하지 않지만, 참조 화상에서 고정 블록을 인출하여 보간 또는 추출 연산을 하고 있다. 즉, 고정 화면 영역을 잘라내고, 미리 설정한 처리를 실시하고 나서, 입력 화상과 비교하므로, 처리 내용이 고정적이고 사실상 단순한 확대, 축소 등에 한정된다.

종래 화상 부호화 장치의 움직임 예측 방식은 이상과 같이 구성되어 동작한다.

따라서, 제1 종래예에 있어서는 예측 화상 영역의 형성은 참조 화면의 잘라낸 영역을 평행 이동하여 실행하므로 단순한 평행 이동의 움직임밖에 예측할 수 없고, 회전이나 확대, 축소, 카메라의 줌잉 등, 평행 이동 이외의 이동인 경우에는 성능 열화가 심하다고 하는 과제가 있다.

한편, 제2 종래예에 있어서는 예측 화상읠 생성을 어파인 변환에 의해 실행하고 있으므로, 회전 등, 예측 가능 대상의 종류는 많게 되지만, 연산의 처리가 복잡하게 되고, 장치 규모가 크게 된다고 하는 과제가 있다.

이상, 처리를 단순하하면 예측되지 않는 경우가 많고, 어파인 변환을 사용하면, 예측할 수 있는 경우가 증가하지만, 처리가 큰일로 된다고 하는 딜레마가 있었다.

복호 처리에 대해서는 종래 장치의 구성을 유지하면서 복잡한 처리를 실행하는 것의 구체적인 제안이 없었다.

<발명의 개시>

본 발명은 상기와 같은 과제를 해소하기 위해 이루어진 것으로, 참조 화면상의 기존 화소 또는 간단한 필터 처리에 의해 얻어진 화소를 사용하여, 예측해야할 화상 영역과는 다른 형상 또는 다른 크기의 예측 화상 영역을 형성하여, 비교적 간단한 처리에 의해, 여러 가지 종류의 움직임이나 시간 변화에 대응할 수 있는 화상의 움직임 보상 예측 방식을 사용한 부호화 장치를 얻는 것을 목적으로 한다.

또한, 비교적 간단한 부호화 처리에 대응하는 복호를 실행하는 복호 장치와 마찬가지 구성으로 정밀하고 보다 스무스한 움직임을 재현하는 화상 복호 장치를 얻는 것을 목적으로 한다.

본 발명에 관한 화상 부호화 장치는 입력 화상을 소정의 블록으로 분할하여,이 블록의 프레임간의 움직임 검출에 의한 움직임 보상 예측 수단을 구비하여, 입력 화상을 압축부호화하는 구성에 있어서, 움직임 검출용 참조 화상의 대응하는 부분 영역에 존재하는 실표본점인 정수 화소 만을 소정의 형식으로 변형화하고 좌표 지정하여 추출하고, 입력 화상의 상기 블록의 정수 화소와 비교하는 변형 블록 매칭부를 포함하여 상기 좌표 지정하여 추출한 최소 오차를 부여하는 움직임 벡터를 출력하는 움직임 검출부와, 이 변형 블록 매칭부를 포함한 비교 출력에서 얻어지는 움직임 파라미터에 따라 참조 화상의 블록을 대응하여 좌표 지정하고 변형하여 결정하는 대응점 결정부를 포함하여 예측 부분 화상을 출력하는 움직임 보상부를 구비하였다.

또한, 변형 블록 매칭부는 참조 화상의 부분 영역의 소정의 형식의 변형화시 정수 화소와 정수 화소의 중점인 반화소를 사용하여 변형화하도록 하였다.

또한, 입력 화상을 부호화의 대상 영역으로 하여 화상 오브젝트의 부분 영역으로 분리하는 전처리부를 부가하여, 분리한 이들 각 화소 오브젝트를 블록으로 분할하여 움직임 검출 및 움직임 보상을 하도록 하였다.

또한, 변형 블록 매칭부 및 대응점 결정부는 정수 화소 또는 반화소를 좌표 지정할때에, 인접 또는 소정 정수배한 인접점을 좌표 지정하고 추출하여 비교하는 변형 블록 매칭부와 마찬가지로 참조 화상을 처리하여 출력하는 대응점 결정부로 하였다.

또한, 변형 블록 매칭부 및 대응점 결정부는 정수 화소 또는 반화소를 소정의 각도 방향으로 회전한 좌표 지정을 하여 추출하고 비교하는 변형 블록 매칭부와 마찬가지로 참조 화상을 처리하여 출력하는 대응점 결정부로 하였다.

소정의 각도 방향의 회전은 정부 45도, 90도, 135도 또는 180도로 하였다.

또한, 변형 블록 매칭부 및 대응점 결정부는 평행 이동후의 참조 화상의 부분 영역이 나타내는 영역을 탐색하여, 그 탐색 영역을 확대 또는 축소, 또는 소정의 각도 방향의 회전을 조합시켜 움직여 비교하는 변형 블록 매칭부와 마찬가지로 참조 화상을 처리하여 출력하는 대응점 결정부로 하였다.

또한, 변형 블록 매칭부는 참조 화상의 부분 영역을 변형 가공하여 비교하기 위한 변형 패턴 테이블을 구비하고, 상기 변형 패턴 테이블에서 인출된 변환값에 따른 부분 영역의 화상을 입력 화상의 블록의 정수 화소 또는 반화소와 비교하는 변형 블록 매칭부로 하고, 대응점 결정부도 마찬가지로 참조 화상을 처리하여 출력하는 대응점 결정부로 하였다.

또한, 변형 블록 매칭부는 대응 평가를 위해 추출된 참조 화상의 특정 화소를 선택적으로 필터 처리를 하여 비교하도록 하였다.

움직임 검출을 위한 프레임은 시간적으로 전 또는 후의 프레임으로 하고, 참조 화상은 상기 시간적으로 전 또는 후의 프레임을 기억하여 입력 화상과 비교하도록 하였다.

본 발명에 관한 화상 복호 장치는 움직임 보상 수단을 구비한 입력 정보의 화상 압축부호를 신장재생하는 구성에 있어서, 입력 정보중의 움직임 파라미터를 추출하여 움직임의 방향과 양을 나타내는 움직임 벡터와 변형 처리의 지시 내용을 나타내는 변형 패턴 정보를 얻는 엔트로피 복호부와, 이 엔트로피 복호부 출력의 움직임 파라미터에 의해 프레임에 대응하여 기억되어 있는 참조 화상의 부분 영역의 정수 화소의 좌표값을 입력 정보중의 변형 패턴 정보에 따라 소정의 형식으로 변형 처리하여 얻어진 화소값으로 입력의 피예측 화상에 가산하기 위한 화상을 생성하는 움직임 보상 수단을 구비하였다.

또한, 움직임 보상 수단은 참조 화상의 반화소의 좌표값도 사용하여 좌표 계산하여, 얻어진 화소값을 소정의 형식으로 변형 처리하도록 하였다.

본 발명에 관한 화상 부호화 방법은 입력의 디지털 화상의 압축 부호화를 위해 참조 화상을 기억하고 소정 블록으로 분할하여 프레임간의 움직임 검출을 하는 움직임 보상 예측 수단을 구비하여, 참조 화상의 부분 영역의 정수 화소를 소정의 형식으로 변형화하고 좌표 지정하여 추출하고, 예측 부분 화상을 생성하여 입력 화상의 상기 블록과 비교하는 변형 블록 매칭 스텝과, 상기 변형 블록 매칭을 포함하여 선택된 최소 오차를 부여하는 움직임 벡터에서 상기 좌표 지정에 의해 상기 부분 영역을 대응점 결정하여 움직임 보상 출력으로 하는 대응점 결정 스텝을 구비하였다.

또한, 변형 블록 매칭 스텝은 참조 기준으로서 참조 화상의 부분 영역의 정수 화소외에 그의 중점의 반화소도 부가하여 소정의 형식으로 변형화하고 좌표지정하여 추출하고, 예측 부분 화상을 생성하여 비교하는 변형 블록 매칭 스텝으로 하였다.

또한, 참조 화상의 부분 영역을 변형 가공하는 변형 패턴 테이블을 구비하여, 변형 블록 매칭시, 이 변형 패턴 테이블을 참조하여 대응 어드레스를 판독한 변환값에 따른 부분 영역의 화상을 입력 화상과 비교하는 변형 블록 매칭 스텝으로 하였다.

본 발명에 관한 화상 복호 방법은 움직임 보상을 실행하고 입력 정보의 화상 압축 부호를 신장 재생하기 위해, 입력 정보중의 움직임 파라미터를 추출하여 움직임 방향과 양을 나타내는 움직임 벡터와 변형 처리의 지시 내용을 나타내는 변형 패턴 정보를 얻는 엔트로피 복호 스텝과, 이 엔트로피 복호 스텝에서 얻어진 움직임 파라미터에 의해 프레임에 대응하여 기억되어 있는 참조 화상의 부분 영역의 정수 화소의 좌표값을 입력 정보 중의 변형 패턴 정보에 따라 소정의 형식으로 변형처리하여 얻어진 화소값으로 입력의 피예측 화상에 가산하기 위한 화상을 생성하는 움직임 보상 스텝을 구비하였다.

또한, 움직임 보상 스텝은 참조 화상의 반화소의 좌표값도 사용하여 좌표 계산하여, 얻어진 화소값을 소정의 형식으로 변형처리하도록 하였다.

본 발명에 관한 화상 부호화 복호 시스템은 입력 화상을 소정의 블록으로 분할하여, 상기 입력 화상을 압축 부호화하기위한, 움직임 검출용 참조 화상의 대응하는 부분 영역에 존재하는 실표본점인 정수 화소 만을 소정의 형식으로 변형화하고 좌표 지정하여 추출하고, 입력 화상의 상기 블록의 정수 화소와 비교하는 변형 블록 매칭부를 포함하여 상기 좌표 지정하여 추출한 최소 오차를 부여하는 움직임 벡터를 출력하는 움직임 검출부와, 상기 변형 블록 매칭부를 포함한 비교 출력에서 얻어지는 움직임 파라미터에 따라 상기 참조 화상의 블록을 대응하여 변형하고 좌표 지정하여 결정하는 대응점 결정부를 포함하여 예측 부분 화상을 출력하는 움직임 보상부를 구비한 화상 부호화 장치와, 프레임간의 움직임 검출에 의한 움직임 보상 예측 수단을 � �비하여 입력 정보의 화상 압축 부호를 신장재생하기 위한, 움직임 보상 예측 수단에는 입력 정보중의 움직임 파라미터에 따라 대응하는 부분 영역의 미리 준비된 정수 화소를 소정의 형식으로 좌표 지정하여 추출하는 기구를 구비하고, 상기 소정의 형식으로 처리한 부분 영역의 화상 신호를 출력 가산하도록 한 화상 복호 장치로 구성된다.

본 발명은 화상의 고능률 부호화 또는 복호에 있어서, 기존 화상에서 부호화해야할 화상 또는 복호해야 할 화상의 움직임 보상 예측을 실행하고, 예측 오차를 부호화하는 또는 예측 오차와 참조 화상 데이터의 가산에 의해 복호를 실행하는 장치와 시스템에 관한 것이다.

도 1은 본 발명의 화상 부호화 장치의 기본 구성도.

도 2는 도 1중의 움직임 검출부(8)의 내부 구성도.

도 3은 도 2의 구성에 의한 움직임 검출부(8)의 동작을 나타내는 흐름도.

도 4는 실시 형태1에 있어서의 변형 블록 매칭부(21)에 있어서의 동작 개요를 설명하는 도면.

도 5는 변형 블록 매칭부(21)의 내부 구성도.

도 6은 변형 블록 매칭부(21)의 동작을 나타내는 흐름도.

도 7은 도 1 중의 움직임 보상부(9)의 내부 구성도.

도 8은 움직임 보상부(9)의 동작 상태를 나타내는 흐름도.

도 9는 전처리부(2)에 의한 화상 오브젝트의 분리 동작을 설명하는 도면.

도 10은 실시 형태 2에 있어서의 움직임 검출부(8b)의 다른 내부 구성도.

도 11은 실시 형태 3에 있어서의 움직임 검출부(8c)의 내부 구성도.

도 12는 변형 블록 매칭부(42)에 있어서의 동작 개요를 설명하는 도면.

도 13은 변형 블록 매칭부(42)의 내부 구성도.

도 14는 변형 블록 매칭부(42)의 동작을 나타내는 흐름도.

도 15는 실시 형태 4에 있어서의 변형 블록 매칭부(42b)의 동작 개요를 설명하는 도면.

도 16은 실시 형태 4에 있어서의 변형 블록 매칭부(42b)의 내부 구성도.

도 17은 변형 블록 매칭부(42b)의 동작을 나타내는 흐름도.

도 18은 실시 형태 4에 있어서의 다른 변형 블록 매칭을 설명하는 도면.

도 19는 실시 형태 4에 있어서의 다른 변형 블록 매칭을 설명하는 도면.

도 20은 실시 형태 5에 있어서의 대응점 결정부(34)의 다른 내부 구성도.

도 21은 실시 형태 6에 있어서의 변형 블록 매칭을 설명하는 도면.

도 22는 실시 형태 6에 있어서의 예측 화상을 구성하는 정수 화소에 대하여 실시하는 필터링의 예를 도시한 도면.

도 23은 변형 블록 매칭부(42c)의 동작 개요를 설명하는 도면.

도 24는 변형 블록 매칭부(42c)의 내부 구성도.

도 25는 변형 블록 매칭부(42c)의 동작을 나타내는 흐름도.

도 26은 실시 형태 6에 있어서의 움직임 보상부(9b)의 내부 구성도.

도 27은 실시 형태 6에 있어서의 움직임 보상부(9b)의 동작을 나타내는 흐름도.

도 28은 실시 형태 7에 있어서의 화상 복호 장치의 구성을 도시한 도면.

도 29는 실시 형태 7에 있어서의 움직임 보상부(9)의 내부 구성도.

도 30은 도 29의 움직임 보상부(9)의 동작을 나타낸 흐름도.

도 31은 도 29의 움직임 보상부(9)가 실행하는 좌표점 이동 동작을 설명하는 도면.

도 32는 도 29의 움직임 보상부(9)가 실행하는 변형 처리의 예를 설명하는 도면.

도 33은 좌표점 연산이 반화소를 구하는 연산을 도시한 도면.

도 34는 변형 처리가 회전 확대인 경우의 동작을 설명하는 도면.

도 35는 실시 형태 8에 있어서의 화상 복호 장치의 구성을 도시한 도면.

도 36은 실시 형태 8에 있어서의 움직임 보상부(90)의 내부 구성도.

도 37은 도 36의 움직임 보상부(90)의 동작을 나타낸 흐름도.

도 38은 도 36의 움직임 보상부(90)가 실행하는 변형 처리의 예를 설명하는 도면.

도 39는 도 36의 움직임 보상부(90)가 실행하는 좌표점 연산의 예를 도시한 도면.

도 40은 실시 형태 9에 있어서의 움직임 보상부중의 대응점 결정부(37c)의 동작을 나타낸 흐름도.

도 41은 실시 형태 9에 있어서의 움직임 보상부가 실행하는 변형 처리의 예를 설명하는 도면.

도 42는 종래예 1의 블록 매칭에 의한 움직임 보상 예측의 개념을 설명하는 도면.

도 43은 종래예 1의 화상 부호화 장치의 움직임 보상 예측부(블록 매칭부)의 구성을 도시한 도면.

도 44는 종래예 1의 움직임 보상 예측부의 동작을 나타낸 흐름도.

도 45는 MPEG1 비디오 규격에서 채용되고 있는 움직임 보상 예측 방식의 개요를 도시한 도면.

도 46은 종래예 2의 어파인 변환을 사용한 움직임 보상 예측의 개념을 설명하는 도면.

도 47은 종래예 2의 어파인 변환을 사용한 움직임 보상 예측부의 구성을 도시한 도면.

도 48은 종래예 2의 움직임 보상 예측부의 동작을 나타낸 흐름도.

도 49는 도 48 중의 어파인 움직임 파라미터 검출 스텝의 상세를 도시한 흐름도.

도 50은 반화소 생성부(232)에 있어서의 반화소값의 계산 방법을 설명하는 도면.

도 51은 보간 연산부(231)에 있어서의 회전/스케일량의 탐색 스텝에서 생기는 비정수 화소값의 산출 방법을 설명하는 도면.

실시 형태 1

본 발명의 부호화 장치, 복호 장치는 구체적으로 위성이나 지상파, 우선 통신망을 거쳐 실행하는 디지털 화상 전송 시스템, 디지털 화상 기록 장치, 디지털 화상 축적 데이터베이스와 탐색·열람 시스템 등에 사용된다.

도 1은 화상 부호화 장치의 기본 구성도이다.

도면에 있어서, 1은 입력 디지털 화상 신호, 2는 전처리부, 3 및 13은 인트라(프레임 내)/인터(프레임 간) 부호화 선택부, 4는 직교 변환부, 5는 양자화부, 6은 역양자화부, 7은 역직교 변환부, 8은 움직임 검출부, 9는 움직임 보상부, 10은 프레임 메모리(참보 화상), 11은 움직임 벡터를 포함하는 움직임 파라미터, 12는 예측 화상 데이터, 14는 부호화 제어부, 15는 강제 모드 지시 플래그, 16은 인트라/인터 부호화 지시 플래그, 17은 양자화 스텝·파라미터, 18은 엔트로피 부호화부, 19는 압축 화상 데이터이다. 본 발명의 중요한 요소는 움직임 검출부(8) 및 움직임 보상부(9)이다.

이하, 본 발명의 실시 형태 1에 있어서의 화상 부호화 장치의 동작을 설명한다.

본 장치는 칼라 동화상 계열의 구성 요소인 각 프레임의 화상 신호(1)를 입력으로 하고, 입력 화상 신호(1)는 디지털화되어, 전처리부(2)에 있어서 전처리와 포맷 변환, 블록 데이터로의 분리를 실행한다. 본 실시 형태에서는 여기서 분리되는 블록 데이터가 휘도 신호 성분 및 그것에 공간적으로 대응하는 색차 신호 성분의 페어로 구성되는 것으로 하여, 이후, 휘도 성분을 휘도 블록, 색차 성분을 색차 블록이라고 한다.

이어서, 각 블록 데이터를 프레임내 부호화하는가 브레임간 부호화하는가를 인트라/인터 부호화 선택부(3)에 있어서 결정한다. 인트라(프레임 내) 부호화가 선택된 경우는 전처리부(2)에서 출력된 원화상 데이터로 구성되는 블록 데이터를 직교 변환부(4)에 입력하고, 인터(프레임 간) 부호화가 선택된 경우는 전처리부(2)에서 출력된 원화상 데이터와 움직임 보상부(9)에서 출력되는 예측 화상 데이터(12)의 차분으로 구성되는 예측 오차 블록 데이터를 직교 변환부(4)에 입력한다. 이 인트라/인터·프레임 부호화의 선택은 부호화 제어부(14)로부터의 강제 모드 지시 플래그(15)에 의해 강제적으로 실행되는 일도 있다. 선택된 부호화 모드는 인트라/인터 부호화 지시 플래그(16)로서 엔트로피 부호화부(18)로 보내지고, 부호화 비트스트림(19)에 다중화된다.

직교 변환부(4)에는 예를 들면, 이산 코사인 변환(DCT) 등이 사용된다. 직교 변환 계수는 양자화부(5)에 있어서 부호화 제어부(14)에서 산출된 양자화 스텝·파라미터(17)을 사용하여 양자화되고, 양자화후의 직교 변환 계수는 엔트로피 부호화부(18)에서 용장도를 삭감한 후, 부호화 비트스트림(19)에 다중화된다. 동시에, 역양자화부(6)에서 역양자화되고, 또 역직교 변환부(7)에서 역직교 변환되어 예측 오차 신호가 복원된다. 이것에 움직임 보상부(9)에서 출력되는 예측 화상 데이터(12)를 가산하여, 국소 복호 화상이 생성된다. 단, 인트라/인터 부호화 지시 플래그(16)가 인트라 모드인 경우는 부호화 선택부(13)에서 0 신호가 선택되고, 예측 오차 신호의 가산이 실행되지 않는다. 국소 복호 화상은 다음 프레임이후의 움직임 보상 예측의 참조 화상으로서 사용하므로, 그 내용이 프레임 메모리(10)에 기록된다.

이하, 본 실시 형태 장치의 가장 중요한 요소의 하나인 움직임 보상 예측의 동작에 대하여 설명한다.

본 실시 형태에 있어서는 전처리부(2)에 있어서 분리되는 블록을 움직임 보상 예측에 있어서의 피예측 블록으로 한다. 움직임 보상 예측 처리는 움직임 검출부(8) 및 움직임 보상부(9)에 있어서 실행되고, 움직임 검출부(8)에 있어서 피예측 블록의 움직임 벡터를 포함하는 움직임 파라미터(11)가 검출되고, 움직임 보상부(9)가 움직임 파라미터(11)를 사용하여 프레임 메모리(10)에서 예측 화상 데이터(12)를 인출한다. 움직임 검출 처리는 휘도 블록을 사용하여 실행하고, 색차 블록의 움직임 보상 예측은 휘보 블록의 움직임 검출 결과를 이용한다. 이하에서는 휘도 블록의 움직임 보상 예측 동작에 한정하여 설명한다.

먼저, 움직임 검출 처리부터 설명한다.

움직임 검출 처리는 움직임 검출부(8)에서 실행된다. 움직임 검출부(8)는 참조 화상 중의 소정의 범위내에서 피예측 블록의 휘도 블록에 가장 유사한 영역을 탐색하고, 피예측 블록의 화면내 위치로부터의 변화를 나타내는 파라미터를 검출한다. 종래예에서 설명한 블록 매칭에서는 피예측 블록의 휘도 블록에 가장 유사한 블록을 탐색하고, 피예측 블록의 화면내 위치로부터의 평행 이동량을 움직임 벡터로서 검출한다.

본 실시 형태의 움직임 검출부(8)는 종래 정방 블록에 따른 블록 매칭과 후술하는 변형 블록을 사용한 블록 매칭 양쪽을 실행하고, 보다 예측 정도가 높은 쪽을 선택하는 구성을 취한다.

이하, 본 실시 형태에 있어서의 움직임 검출부(8)의 동작을 설명한다.

도 2는 도 1 중의 움직임 검출부(8)의 상세 구성도, 도 3은 그의 동작 상태를 나타낸 흐름도이다.

도 2에 있어서, 20은 블록 매칭부, 21은 변형 블록 매칭부, 22는 움직임 보상 예측 모드 판정부, 23은 변형 블록 매칭에 의한 움직임 벡터, 24는 변형 블록 매칭에 의한 최소 예측 오차값, 25는 최종 움직임 벡터, 26은 움직임 보상 예측 모드 신호이다. 최종 움직임 벡터(25) 및 움직임 보상 예측 모드 신호(26)를 일괄해서 표현한 것이 움직임 파라미터(11)라고 한다.

블록 매칭부(20)의 내부 구성 및 동작 흐름도는 종래예에서 도시한 도 43 및 도 44와 마찬가지이다. 또한, 도 3에 있어서, D_BM은 블록 매칭에 의한 최소 예측 오차 전력의 값, D_DEF는 변형 블록 매칭에 의한 최소 예측 오차 전력의 값을 나타낸다.

도 4는 본 발명의 가장 중요 부위인 변형 블록 매칭부(21)에 있어서의 동작의 개용 설명도, 도 5는 변형 블록 매칭부(21)의 상세한 내부 구성도, 도 6은 변형 블록 매칭부(21)의 동작을 나타낸 흐름도이다.

도 5에 있어서, 29는 수평 방향 평행 이동량 탐색 범위 지시 신호, 30은 수직 방향 평행 이동량 탐색 범위 지시 신호, 31은 수평 방향 이동량 카운터, 32는 수직 방향 이동량 카운터, 33은 신요소인 회전량 카운터, 34는 같은 신요소인 대응점 결정부, 35는 메모리 판독 어드레스 생성부이다. 패턴 매칭부(213), 최소 예측 오차 전력 판정부(216)는 도 47에 도시한 구성의 대응 요소와 동일한 동작을 실행한다.

또한, 도 6에 있어서,

dx는 수평 방향 평행 이동량 탐색점,

dy는 수직 방향 평행 이동량 탐색점,

range_h_min은 수평 방향 탐색 범위 하한값,

range_h_max는 수평 방향 탐색 범위 상한값,

range_v_min은 수직 방향 탐색 범위 하한값,

range_v_max는 수직 방향 탐색 범위 상한값,

D_min은 최소 예측 오차 전력,

D(dx, dy)는 dx, dy 탐색시의 예측 오차 전력,

(x, y)는 피예측 블록내 화소 위치,

(rx, ry)는 (x, y)에 대한 참조 화상중의 대응점,

(rdx, rdy)는 회전 파라미터,

D(dx, dy)는 dx, dy 탐색시의 (x, y)에 있어서의 예측 오차,

f(x, y)는 피예측 화상중의 화소(x, y)의 값,

fr(x, y)는 참조 화상중의 화소(x, y)의 값,

MV_h는 움직임 벡터 수평 성분,

MV_v는 움직임 벡터 수직 성분,

ix는 수평 방향 오프셋값(정수),

iy는 수직 방향 오프셋값(정수),

block_size는 피예측 블록 사이즈

이다.

1) 블록 매칭에 의한 움직임 벡터의 검출

블록 매칭부(20)에 있어서, 종래예에서 도시한 순서와 동작으로 피예측 블록에 대한 움직임 벡터를 구한다. 이 결과, 움직임 벡터(217), 블록 매칭부(20)에 있어서의 최소 예측 오차 전력 D_BM(218)을 얻는다. 이것은 도 3에 있어서의 S1에 상당한다.

2) 변형 블록 매칭에 의한 움직임 벡터의 검출

이어서, 변형 블록 매칭부(21)에 있어서, 변형 블록 매칭의 처리를 실행한다(도 3의 S2).

이하, 이 동작에 대하여 더욱 상세히 설명한다. 또한, 이하의 설명에 있어서는 정수 화소를 단위로 하는 8×8화소 블록을 피예측 블록으로 하여 설명을 진행한다.

2-1) 처리 개요

변형 블록 매칭부(21)에 있어서의 처리 개요를 도 4에 도시한다.

동도에 있어서, 피예측 화상(27)은 움직임 보상 예측에 의해 부호화된다. 예를 들면, 전처리부(2) 중에 있는 프레임(픽쳐), 참조 화상(28)은 피예측 화상(27)보다 이전에 부호화되어 프레임 메모리(10)에 저장되어 있는 국소 복호 프레임(픽쳐) 화상으로 한다. 각 화상 내의 ○는 프레임내에 실제로 존재하는 휘도 신호의 실표본점인 정수 화소를, ×는 실표본점간의 중점 화소인 반화소를 나타낸다. 피예측 화상(27)의 8×8(정수 화소)로 되는 부분 영역을 피예측 블록(의 휘도 블록 부분)으로 하고, 참조 화상(28)의 □의 화소로 되는 그룹이 예측 화상 후보의 변형 그룹을 구성하는 것으로 한다. 즉, 도 1, 도 2의 ( ) 표시의 프레임 메모리(10) 출력과 전처리부(2) 출력의 일부가 분리되어, 움직임 검출부(8)내의 변형 블록 매칭부(21)에서 비교된다.

본 실시 형태에서는 참조 화상의 휘도 블록을 오른쪽 또는 왼쪽으로 45도 회전시키고, 각변의 스케일을 √2배한, 즉 참조 화상의 크기는 피예측 화상(입력 화상)과 비교할때는 1/√2의 거리로 하여, 프레임의 입력 디지털 화상(1)의 수평 수직 방향의 표본점 거리와 합치시킨 영역을 변형 블록으로서 정의한다. 이 영역은 참조 화상(28)의 정수 화소 간격의 화소점으로만 구성되는 것에 특징이 있다. 즉, 본 실시 형태에 있어서의 변형 블록 매칭은 부여된 탐색 범위내에서, 도 4에 도시한 8×8 정수 화소로 되는 피예측 블록의 휘도 블록에 가장 유사한 동도의 변형 블록 영역을 참조 화상(28) 중에서 찾아내는 처리에 상당한다.

2-2) 초기 설정(탐색 범위의 설정, 초기값의 설정)

피예측 블록과 예측 화상 후보 영역의 형상이 다르므로, 탐색에 즈음해서는 검출되는 움직임 벡터가 어디를 기점으로 하고 있는가를 특정할 필요가 있다. 즉, 미리 피예측 블록의 휘도 블록의 각 구성점과 예측 화상 후보 영역의 변형 블록의 각 구성점을 일대일로 대응시킨다.

이하에서는 도 4의 점선 화살표로 도시한 바와 같이, 미리 피예측 블록의 왼쪽 위 모서리의 화소 위치와 변형 블록의 좌측 정점을 대응시키는 것으로 한다. 즉, 예측 화상 후보 화상은 참조 화상(28) 중의 변형 블록을 오른쪽으로 45도 회전시키고, 각변을 1/√2배의 길이로 수정한 부분 화상이라고 하는 것으로 된다. 이 대응지음을 바꾸면, 회전 방향이 바뀌게 된다. 이와 같이 취하여 결정하여 두는 것에 의해, 다른 각 구성점은 일의로 대응이 취해진다. 피예측 블록의 각 구성점과 예측 화상 후보의 각 구성점이 일대일로 대응지어 있으므로, 움직임 검출은 블록 매칭과 마찬가지로 실행할 수 있다.

즉, 도 4의 참조 화상(28)의 비교를 위한 부분 영역의 인출형을 패턴화하여 어드레싱(좌표)으로 지정하여 두고, 더욱이 이 경우에는 정수 화소가 선택되도록 지시하여 두고, 이 어드레싱 지시된 화소와 대응하는 피예측 화상(27)인 원화소 데이터중의 화소의 오차를 누적하여, 최소 오차 전력을 판정하고 있다. 따라서, 어드레싱의 지시만으로 연산을 수반하지 않으므로, 고속으로 비교할 수 있고, 더욱이 어드레싱(좌표 지정)의 사방에서 단순한 확대, 축소 뿐만 아니라 회전도, 또한 회전과 확대, 축소의 동시 처리 등, 플렉시블한 추출 지시를 할 수 있다.

구체적으로는 수평 방향 평행 이동량 탐색 범위 지시 신호(29) 및 수직 방향 평행 이동량 탐색 범위 지시 신호(30)에서, 수평 방향 이동량 카운터(31) 및 수직 방향 이동량 카운터(32)에 대하여 변형 블록 매칭의 탐색 범위를 설정한다. 최소 예측 오차 전력 판정부(216)에 있어서, 최소 예측 오차 전력 D_min을 최대값의 MAXINT(예를 들면, 0xFFFFFFFF)로 세트한다. 이것은 도 6의 S4에 상당한다.

2-3) 블록 변형 파라미터의 설정

본 실시 형태에 있어서는 블록 변형 파라미터로서, 도 6의 S6, S8에 도시한 rdx, rdy를 사용한다. 이 파라미터의 설정은 회전량 카운터(33)가 실행한다. 즉, 도 4의 참조 화상을 45도 오른쪽으로 회전시키는 관계를 정의한다. 이들 초기값으로서 y의 값을 주고, 이하, x가 인크리먼트될때마다 rdx를 인크리먼트, rdy를 디크리먼트한다. 이들 처리는 도 6에 있어서의 S6∼S8에 상당한다. 또한, 이 설정은 우회전의 설정이고, S6에서 rdy=-y, S8에서 ry=iy+(rdy++)로 설정하면, 좌회전의 변형을 의미한다. 또한, S8은 rx=ix+(rdx+1), ry=iy+(rdy-1)로도 표현된다.

즉, S8에서는 참조 화상(28)에서 추출하는 화소의 어드레싱을 지시하여 두고, 다음 화소인 rx, ry의 어드레스가 45도 오른쪽 아래 방향의 다음 정수 화소를 지시하고 있다. 이것을 S12에서 x의 블록 사이즈까지 반복하고, S14에서 y의 블록 사이즈까지 반복하고 있는 것이다. 이와 같이, S8의 어드레싱에 의한 추출 화소를 S9에서 오차 비교하고, S10에서 누적하고 있으므로, 도 6의 동작 흐름에 있어서는 일절의 연산을 하지 않아, 고속 동작이 가능하다. 또한, S10도 D(dx, dy)=D(dx, dy)+D(x, y)로도 표현된다. 마찬가지로, S11, S13, S17, S19는 x=x+1, y=y+1로도 표현된다. 이것은 이후의 흐름도에서도 마찬가지이다.

2-4) 피예측 화상 후보 화상의 판독

먼저, 피예측 블록의 휘도 블록내의 위치(x, y)에 대응하는 참조 화상중의 대응점 rx, ry를 결정한다. 즉, 도 4의 최초 위치간의 대응지음을 실행한다. 이것은 대응점 결정부(34)에서 실행된다. 도 6의 S8에 도시한 바와 같이, rx, ry는 미리 부여되는 오프셋값 ix, iy에 2-3)에서 얻어진 rdx, rdy를 가산하는 것에 의해 얻어진다. 이어서, 참조 화상에서 (rx+dx, ry+dy)만큼 떨어진 위치에 있는 참조 화상중의 화소를 프레임 메모리에서 인출한다. 도 5에 있어서의 메모리 판독 어드레스 생성부(35)가 수평 방향 이동량 카운터(31)에서 dx의 값을, 수직 방향 이동량 카운터(32)에서 dy의 값을, 대응점 결정부(34)에서 rx, ry를 수취하고, 프레임 메모리중의 어드레스를 생성한다.

2-5) 예측 오차 전력의 산출

먼저, 움직임 벡터가 (dx, dy)일 때의 예측 오차 전력 D(dx, dy)를 제로로 초기화한다. 이것은 도 6의 S5에 상당한다. 2-4)에서 판독된 화소값과 피예측 블록의 휘도 블록의 대응하는 위치의 화소값의 차를 취하고, 그의 절대값을 D(dx, dy)에 누적하여 간다. 이 처리를 x=y=block_size(여기서는 block_size=8)로 될 때까지 반복하고, (dx, dy)시의 예측 오차 전력 D(dx, dy)를 얻는다. 이 처리는 도 5에 있어서의 패턴 매칭부(213)이 실행하고, 패턴 매칭부(213)은 D(dx, dy)를 예측 오차 전력 신호(215)에 의해 최소 예측 오차 전력 판정부(216)로 수수한다.

이상의 처리는 도 6에 있어서의 S9∼S14에 상당한다.

2-6) 최소 예측 오차 전력값의 갱신

2-5)의 결과 얻어진 D(dx, dy)가 그 때까지의 탐색 결과중에서 최소의 오차 전력을 부여하는가 어떤가를 판정한다. 판정은 도 5에 있어서의 최소 예측 오차 전력 판정부(216)가 실행한다. 또한, 도 6에 있어서의 S15가 이 판정 처리에 상당한다. 최소 예측 오차 전력 판정부(216)는 내부에 갖는 최소 예측 오차 전력 D_min의 값과 예측 오차 전력 신호(215)에 의해 수수되는 D(dx, dy)의 대소를 비교하고, D(dx, dy) 쪽이 작을 때에만 D_min의 값을 D(dx, dy)로 갱신한다. 또한, 그 때의 (dx, dy)의 값을 움직임 벡터 후보(MV_h, MV_v)로서 유지하여 둔다. 이들 갱신 처리는 도 6에 있어서의 S16에 상당한다.

2-7) 움직임 벡터값의 결정

상기 2-2)∼2-6)을 탐색 범위 중의 모든 (dx, dy)에 대하여 반복하고(도 6의 S17∼S20), 최종적으로 최소 예측 오차 전력 판정부(216)내에 유지되어 있는 (MV_h, MV_v)를 움직임 벡터(23)로서 출력한다.

이상과 같이 하여, 피예측 블록에 오차 전력 최소의 의미에서 가장 유사한 예측 화상을 찾아낸다. 탐색의 결과, 선택된 예측 화상의 기점으로부터의 편이량이 변형 블록 매칭의 결과로서의 움직임 벡터(23)로서 얻어지고, 그 때의 예측 오차 전력 D_DEF(24)도 유지된다.

3) 최종 움직임 보상 예측 모드의 판정

이어서, 움직임 보상 예측 모드 판정부(22)에 있어서, 블록 매칭부(20)에서 얻어진 최소 예측 오차 전력 D_BM(218)과 변형 블록 매칭부(21)에서 얻어진 최소 예측 오차 전력 D_DEF(24)를 비교하고, 블록 매칭이 변형 블록 매칭인가 어느것인가 작은쪽을 최종적인 움직임 보상 모드로서 선택한다. 이것은 도 3의 S3에 상당한다.

움직임 보상 예측 모드 판정부(22)는 최종적으로 선택한 움직임 보상 예측 모드 신호(26) 및 최종 움직임 벡터(25)를 움직임 파라미터(11)로서 움직임 보상부(9) 및 엔트로피 부호화부(18)로 보낸다.

이어서, 움직임 보상 처리에 대하여 설명한다.

움직임 보상 처리는 움직임 보상부(9)에서 실행된다. 움직임 보상부(9)는 움직임 검출부(8)에 있어서 얻어진 움직임 파라미터(11)에 따라, 참조 화상중에서 예측 화상을 추출한다. 본 실시 형태의 움직임 보상부(9)는 종래 정방 블록에 따른 블록 매칭과 특정 변형 블록을 사용한 블록 매칭 어느것의 움직임 보상 처리도 서포트하고, 우직임 파라미터(11) 중의 움직임 보상 예측 모드에 의해 이들 처리를 교체하는 구성을 취한다.

이하, 본 실시 형태에 있어서의 움직임 보상부(9)의 동작을 설명한다.

도 7은 도 1 중의 움직임 보상부(9)의 구성도, 도 8은 그의 동작 상태를 도시한 흐름도이다.

도 7에 있어서, 37은 신요소인 대응점 결정부, 38은 메모리 판독 어드레스 생성부이다.

1) 대응점의 결정

도 8의 S21에 상당하는 처리에서, 피예측 블록의 화면내 위치 지시 신호(206)와 움직임 검출부(8)에서 보내져 오는 움직임 파라미터(11)에서, 참조 화상(28) 중의 예측 화상에 대응하는 표본점을 결정한다. 이 처리는 도 7에 있어서의 대응점 결정부(37)에 있어서 실행된다. 움직임 파라미터(11)에 포함되는 움직임 보상 예측 모드가 블록 매칭을 나타내고 있을 때는 대응점이 피예측 블록의 화면내 위치 신호(206)에서 움직임 벡터로 지시되는 양만큼 평행 이동시킨 영역에 포함되는 표본점으로 된다. 이 처리는 도 44에 있어서의 S204에서, (dx, dy)를 움직임 벡터로 하였을 때의 참조 화상(28) 중의 위치(x+dx, y+dy)를 결정하는 동작에 상당한다. 움직임 파라미터(11)에 포함되는 움직임 보상 예측 모드가 변형 블록 매칭을 나타내고 있을 때는 움직임 검출부(8)의 설명에서 2-4)에서 설명한 바와 같이, 피예측 블록의 화면내 위치 신호(206)에 각 화소 위치에 따른 회전량분을 가산한 후, 움직임 벡터로 지시되는 양만큼 평행 이동시킨 표본점으로 된다. 이 처리는 도 6에 있어서의 S9에서, (dx, dy)를 움직임 벡터로 하였을 때의 참조 화상(28) 중의 위치(rx+dx, ry+dy)를 결정하는 동작에 상당한다.

2) 예측 화상 데이터의 판독

도 8의 S22∼S25에 상당하는 처리에서, 대응점 결정부(34)의 결과를 받아서, 메모리 판독 어드레스 생성부(38)가 프레임 메모리(10)에 축적되는 참조 화상(28) 중의 예측 화상 위치를 특정하는 메모리 어드레스를 생성하고, 예측 화상을 판독한다.

이 경우에, 예측 화상이 반화소 정도의 화소를 포함하고 있으면, 움직임 보상부(9)에서 출력되기 전에 반화소 생성부(232)에 의해 반화소 값이 생성된다. 이것은 도 8의 S23, S24에 상당하는 처리로, 예측 화상이 반화소 정도의 화소를 포함하는가 않는가는 대응점 결정부(37)가 움직임 파라미터(11) 중의 움직임 벡터값을 기본으로 식별하고, 선택 스위치(36)에 알린다.

도 5의 변형 블록 매칭부(21)의 구성에서는 도 4의 설명에 대응하도록 실표본점만의 대응점을 생성하였다. 그러나, 반화소가 있는 경우의 구성은 후에 설명하는 바와 같이 도 13의 반화소 생성부(232)를 갖는 변형 블록 매칭부(42)로 된다.

이상의 처리 과정을 거쳐, 최종적인 예측 화상 데이터(12)가 출력된다. 또한, 상기 실시 형태에서의 변형 블록 매칭으로서의 회전은 45도의 예를 설명하였지만, 90도, 135도, 180도 등은 물론, dx와 dy가 취하는 쪽에서 다른 회전도 실현할 수 있다.

또한, 본 실시 형태에서는 화상 프레임을 단위로 하는 화상 부호화 장치를 설명하였지만, 전처리부(2)에 있어서 입력 디지털 화상계열을 화상 오브젝트(움직임이나 그림 등의 특징을 같게 하는 부분 영역, 하나의 피사체 등)로 분리하는 처리를 실행시키고, 각 화상 오브젝트를 그것을 포함하는 블록군으로서 정의하도록 하여두면, 화상 오브젝트를 단위로 하여 부호화하는 장치에서도 본 발명을 적용할 수 있다.

예를 들면, 도 9에 도시한 바와 같이, 정지한 배경 전에 인물상이 존재하는 신에 있어서, 인물상을 화상 오브젝트로 하여, 도면과 같이 그것을 둘러싸는 외접 사각형내의 영역을 소블록으로 분할하고, 화상 오브젝트를 포함하는 블록을 유효 블록으로서 부호화하는 경우를 고려할 수 있다. 이 경우는 이들 유효 블록에 대하여, 상기 실시 형태에서 설명한 변형 블록 매칭과 움직임 보상에 관하여 마찬가지 처리를 적용한다. 이것은 이하의 실시 형태에 있어서도 마찬가지이다.

본 실시 형태에서는 직교 변환 부호화에 의한 부호화 장치를 설명하였지만, 움직임 보상 예측 오차 신호를 다른 부호화 방식을 사용하여 부호화하는 장치에서도 본 발명을 적용할 수 있는 것은 물론이다. 이것은 이하의 실시 형태에 있어서도 마찬가지이다.

실시 형태 2

평행 이동에 의한 움직임 벡터의 값에서, 변형 블록 매칭 처리의 대상으로 되는 부분 영역의 대략적인 이동량을 파악할 수 있다. 변형 블록 매칭의 부분 영역 설정선을 블록 매칭부(20)의 탐색 결과인 움직임 벡터(217)가 나타내는 영역 정보를 받고, 이 부근으로 한정하여 변형하여 비교하면, 처리 스텝 및 처리 시간을 단축할 수 있다. 본 실시 형태에서는 이 구성에 대하여 설명한다. 또한, 이것은 이후의 다른 실시 형태에 있어서도 마찬가지이다.

본 실시 형태는 움직임 검출부(8)의 다른 실시 형태를 나타낸 것이다.

도 10은 본 실시 형태에 있어서의 움직임 검출부(8b)의 내부 구성도이고, (39)는 변형 블록 매칭부, (40)은 가산부, (41)은 탐색 초기 위치 지시 신호이다. 또한, 변형 블록 매칭부(39)는 입력(206) 대신에 탐색 초기 위치 지시 신호(41)을 사용할 뿐이고, 그밖의 동작은 실시 형태 1에 있어서의 변형 블록 매칭부(21)와 모두 같다.

대략적인 값을 얻는 장치의 구체 회로를 도 10에 도시한다.

도 10에 있어서, 변형 블록 매칭부(39)에 피예측 블록의 화면내 위치 신호(206) 대신에 피예측 블록 데이터(205)에 블록 매칭부(20)의 결과 얻어진 움직임 벡터(217)를 가산부(40)에 의해 가산하고, 그 가산 결과를 탐색 초기 위치 지시 신호(41)로서 입력한다. 또한, 수평 방향 평행 이동량 탐색 범위 지시 신호(29) 및 수직 방향 평행 이동량 탐색 범위 지시 신호(30)에서 설정하는 탐색 범위는 실시 형태 1보다도 작게 설정하여 둔다. 이것에 의해, 도 6에 있어서의 S17∼S20에서의 반복 처리를 단축할 수 있다.

실시 형태 3

앞서의 실시 형태에서는 변형 블록 영역이 참조 화상(28)중의 정화소 간격의 화소점으로만 구성되는 경우를 설명하였다. 본 실시 형태에서는 변형 블록 영역이 참조 화상(28)중의 반화소 간격의 화소점을 포함하여 구성되는 경우를 설명한다.

본 실시 형태에서는 도 1에 있어서의 움직임 검출부(8) 및 움직임 보상부(9)의 내부 구성이 실시 형태 1과 다르다. 또한, 동작이 다른 것은 움직임 검출부중의 변형 블록 매칭부 및 움직임 보상부중의 대응점 결정부 뿐이고, 그밖의 부재 및 동작은 실시 형태 1과 전부 같다. 따라서, 이하에서는 변형 블록 매칭부의 동작과 그것에 대응하는 움직임 보상부의 동작에 대해서만 설명한다. 실시 형태 1과 마찬가지로, 움직임 검출부(8c)와 움직임 보상부(9)로 나누어 동작을 설명한다.

도 11은 본 실시 형태에 있어서의 움직임 검출부(8c)의 내부 구성도, 도 12는 본 발명의 가장 중요 부위중 하나인 변형 블록 매칭부(42)에 있어서의 동작 개요 설명도, 도 13은 변형 블록 매칭부(42)의 상세한 내부 구성도, 도 14는 변형 블록 매칭부(42)의 동작을 나타낸 흐름도이다.

이들 도면에 있어서, 지금까지의 도면과 동일 부호를 붙인 요소, 스텝은 동일 요소, 동작을 의미하는 것으로 한다.

먼저, 변형 블록 매칭부(42)의 동작에 대하여 설명한다.

1) 처리 개요

변형 블록 매칭부(42)에 있어서의 처리 개요를 도 12에 도시한다.

동도에 있어서, 피예측 화상(27) 및 참조 화상(28)은 실시 형태 1에서 정의한 바와 같다. 각 화소내의 ○는 프레임의 휘도 신호의 실표본점(정수 화소)를, ×는 실표본점간의 중점 화소(반화소)를 나타낸다. 피예측 화상(27)의 8×8(정수 화소)로 되는 부분 영역을 피예측 블록(의 휘도 블록 부분)으로 하고, 참조 화상(28)의 □ 화소로 되는 그룹이 예측 화상 후보의 변형 블록을 구성하는 것으로 한다.

본 실시 형태에서는 휘도 블록을 오른쪽 또는 왼쪽으로 45도 회전시키고, 각변의 스케일을 1/√2배한, 즉 참조 화상의 크기는 √2의 거리로서 프레임의 입력 디지털 화상(1)의 수평 수직 방향의 표본점 거리와 합치시킨 영역을 변형 블록으로서 정의한다. 이 영역은 참조 화상(28)의 반화소 간격의 화소점도 포함하여 구성되는 것에 특징이 있다. 즉, 본 실시 형태에 있어서의 변형 블록 매칭은 부여된 탐색 범위내에서, 도 12에 도시한 8×8 샘플(이하, 샘플은 정수 화소 또는 반화소의 의미임)으로 되는 피예측 블록의 휘도 블록에 가장 유시한 동도의 변형 블록 영역을 참조 화상(28)중에서 찾아내는 처리에 상당한다.

2) 초기 설정(탐색 범위의 설정, 초기값의 설정)

실시 형태 1과 마찬가지 논리에서, 미리 피예측 블록의 휘도 블록의 각구성점과 예측 화상 후보 영역의 변형 블록의 각구성점을 일대일로 대응시킨다. 이하에서는 도 12의 점선 화살표로 나타낸 바와 같이, 미리 피예측 블록의 왼쪽 위 모서리의 화소 위치와 변형 블록의 좌측 정점을 대응시키는 것으로 한다. 동도에서는 변형 블록측의 좌측 정점이 반화소 위치에 놓여있지만, 이것은 움직임 벡터가 반화소 성분을 포함하는 경우를 나타내고 있다. 즉, 예측 화상 후보 화상은 참조 화상(28) 중의 변형 블록을 오른쪽으로 45도 회전시키고, 각변을 √2배의 길이로 수정한 부분 화상이라고 하는 것으로 된다. 이 대응지음을 바꾸면, 회전 방향이 바뀌게 된다. 이와 같이 취하여 결정하여 두는 것에 의해, 다른 각 구성점은 일의로 대응이 취해진다. 피예측 블록의 각 구성점과 예측 화상 후보의 각 구성점이 일대일로 대응지어져있으므로, 움직임 검출은 블록 매칭과 마찬가지로 실행할 수 있다. 실제 장치에 있어서의 탐색 범위의 설정 동작은 실시 형태 1과 같고, 도 13에 있어서의 필요한 요소를 사용하여 설정한다. 이 동작은 도 14에서 S26의 스텝에 상당한다.

3) 블록 변형 파라미터의 설정

본 실시 형태에 있어서는 실시 형태 1과 마찬가지로, 블록 변형 파라미터로서 도 14에 도시한 rdx, rdy를 사용한다. 이 파라미터의 설정은 회전량 카운터(45)가 실행한다. 이들의 초기값으로서 y의 값을 주고, 이하 x가 1씩 인크리먼트될때마다 rdx를 0.5씩 인크리먼트, rdy를 0.5씩 디크리먼트한다. 이들 처리는 도 14에 있어서의 S28∼S30에 상당한다. 이 설정은 우회전의 설정으로 되고, S28에서 rdy=-y, S30에서 ry=iy+(rdy+=0.5)로 설정하면, 좌회전의 변형을 의미한다.

4) 에측 화상 후보 화상의 판독

먼저, 피예측 블록의 휘도 블록 내의 위치(x, y)에 대응하는 참조 화상중의 대응점 rx, ry를 결정한다. 이것은 대응점 결정부(46)에서 실행된다. 도 14의 S30에 도시한 바와 같이, rx, ry는 미리 부여되는 오프셋값 ix, iy에 3)에서 얻어진 rdx, rdy를 가산하는 것에 의해 얻어진다.

이어서, 참조 화상에서 (rx+dx, ry+dy)만큼 떨어진 위치에 있는 참조 화상중의 화소를 프레임 메모리에서 인출한다. 도 13에 있어서의 메모리 판독 어드레스 생성부(47)가 수평 방향 이동량 카운터(31)에서 dx의 값을, 수직 방향 평행 이동량 카운터(32)에서 dy의 값을, 대응점 결정부(46)에서 rx, ry를 수취하고, 프레임 메모리 중의 어드레스를 생성한다. 또한, 도 14의 S31에 있어서 판독된 데이터는 필요에 따라 반화소 생성부(232)에 있어서 반화소값을 생성하기 위해 사용된다.

5) 예측 오차 전력의 산출

먼저, 움직임 벡터가 (dx, dy)일 때의 예측 오차 전력 D(dx, dy)를 제로로 초기화한다. 이것은 도 14의 S27에 상당한다. 4)에서 판독된 화소값과 피예측 블록의 휘도 블록의 대응하는 위치의 화소값의 차를 취하고, 그의 절대값을 D(dx, dy)에 누적하여 간다. 이 처리를 x=y=block_size(여기서는 block_size=8)로 될 때가지 반복하고, (dx, dy)시의 예측 오차 전력 D(dx, dy)를 얻는다. 이 처리는 도 13에 있어서의 패턴 매칭부(213)이 실행하고, 패턴 매칭부(213)은 D(dx, dy)를 예측 오차 전력 신호(215)에 의해 최소 예측 오차 전력 판정부(216)로 수수한다. 여기서의 처리는 도 14에 있어서의 S32∼S37의 처리에 상당한다.

6) 최소 예측 오차 전력값의 갱신

5)의 결과 얻어진 D(dx, dy)가 그 때까지의 탐색 결과중에서 최소의 오차 전력을 부여하는가 어떤가를 판정한다. 판정은 도 13에 있어서의 최소 예측 오차 전력 판정부(216)가 실행한다. 또한, 도 14에 있어서의 S38이 이 판정 처리에 상당한다. 판정 처리는 실시 형태 1과 모두 같고, 그 때의 (dx, dy)의 값을 움직임 벡터 후보(MV_h, MV_v)로서 유지하여 둔다. 이 갱신 처리는 도 14에 있어서의 S39에 상당한다.

7) 움직임 벡터값의 결정

상기 2)∼6)을 탐색 범위중의 모든 (dx, dy)에 대하여 반복하고(도 14의 S40∼S43), 최종적으로 최소 예측 오차 전력 판정부(216) 내에 유지되어 있는 (MV_h, MV_v)를 움직임 벡터(43)로서 출력한다.

이상과 같이 하여, 피예측 블록에 오차 전력 최소의 의미에서, 가장 유사한 예측 화상을 찾아낸다. 탐색 결과, 선택된 예측 화상의 기점으로부터의 편이량이 변형 블록 매칭의 결과로서의 움직임 벡터(43)로서 얻어지고, 그 때의 예측 오차 전력 D_DEF(44)도 유지된다.

상기 움직임 벡터(43), 예측 오차 전력 D_DEF(44)가 최종적인 움직임 보상 모드 판정에 사용되고, 최종적인 움직임 보상 모드가 결정된다. 이 결정 방법은 실시 형태 1과 모두 같다.

이어서, 움직임 보상 처리에 대하여 설명한다.

움직임 보상 처리는 움직임 보상부(9)에서 실행된다. 본 실시 형태에서는 대응점 결정부(37)의 동작 만이 실시 형태 1과 다르므로, 그 부분만을 설명한다. 움직임 보상의 전체적인 흐름도는 도 8에 준한다.

본 실시 형태에 있어서는 대응점의 결정이 다음과 같이 실행된다.

움직임 파라미터(11)에 포함되는 움직임 보상 예측 모드가 블록 매칭을 나타내고 있을 때는 대응점이 피예측 블록의 화면 내 위치 신호(206)에서 움직임 벡터로 지시되는 양만큼 평행 이동시키는 영역에 포함되는 표본점으로 된다. 이 처리는 도 44에 있어서의 S204에서, (dx, dy)를 움직임 벡터로 하였을때의 참조 화상(28) 중의 위치(x+dx, y+dy)를 결정하는 동작에 상당한다.

움직임 파라미터(11)에 포함되는 움직임 보상 예측 모드가 변형 블록 매칭을 나타내고 있을 때는 움직임 검출부(8)의 설명에서 4)에서 설명한 바와 같이, 피예측 블록의 화면내 위치 신호(206)에 각 화소 위치에 따른 회전량분을 가산한 후, 움직임 벡터로 지시되는 양만큼 평행 이동시킨 영역에 포함되는 표본점으로 된다. 이 처리는 도 14에 있어서의 S32에서, (dx, dy)를 움직임 벡터로 하였을 때의 참조 화상(28) 중의 위치(rx+dx, ry+dy)를 결정하는 동작에 상당한다.

이하의 예측 화상 데이터의 판독, 예측 화상의 생성에 대해서는 실시 형태 1에 준한다.

실시 형태 4

본 실시 형태는 피예측 블록의 면적이 단순히 축소되는 변형 블록을 사용하는 경우에 대하여 설명한다. 또한, 설명은 생략하지만, 단순한 확대도 같다. 이와 같이, 보다 단순한 변형 블록 매칭과 움직임 보상에 대해서 설명한다.

이하에서는 상기 실시 형태와 동작이 다른 움직임 검출부중의 변형 블록 매칭부(42b) 및 움직임 보상부중의 대응점 결정부의 동작에 대해서만, 도 16을 참조하면서 상세히 설명한다. 또한, 설명의 혼란을 피하기 위해, 변형 블록 매칭부(42b)는 도 13에 있어서의 변형 블록 매칭부(42)의 배리에이션이라고 하고, 그의 입력은 모두 같고, 출력은 움직임 벡터(43) 내지 예측 오차 전력(44)의 배리에이션인 것으로 한다. 또한, 움직임 보상부(9)중의 대응점 결정부에 대해서도, 도 7에 있어서의 대응점 결정부(37)의 배리에이션인 것으로 한다. 따라서, 이하에서는 본 실시 형태의 변형 블록 매칭부의 번호는 (42b)로 하여, 대응점 결정부의 번호는 (37)로서 설명을 진행한다.

도 15는 본 실시 형태에 있어서의 변형 블록 매칭부(42b)에 있어서의 동작 개요 설명도, 도 16은 변형 블록 매칭부(42b)의 상세한 내부 구성도, 도 17은 변형 블록 매칭부(42b)의 동작을 나타내는 흐름도이다.

이들 도면에 있어서, 지금까지의 도면과 동일 부호를 붙이 요소, 스텝은 동일 요소, 동작을 의미하는 것으로 한다.

먼저, 변형 블록 매칭부(42b)의 동작에 대하여 설명한다.

1) 처리 개요

변형 블록 매칭부(42b)에 있어서의 처리 개요를 도 15에 도시한다. 피예측 화상(27) 및 참조 화상(28), 각 화상내의 표시의 설명은 상술한 바와 같다. 본 실시 형태에서는 휘도 블록의 각변을 단순히 1/2배한 축소 영역을 변형 블록으로서 정의한다. 본 실시 형태에 있어서의 변형 블록 매칭은 부여된 탐색 범위내에서, 도 15에 도시한 8×8 샘플로 되는 피예측 블록의 휘도 블록에 가장 유사한 동도의 변형 블록 영역을 참조 화상(28)중에서 찾아내는 처리에 상당한다.

2) 초기 설정(탐색 범위의 설정, 초기값의 설정)

실시 형태 1과 마찬가지 논리에서, 미리 피예측 블록의 휘도 블록의 각구성점과 예측 화상 후보 영역의 변형 블록의 각구성점을 일대일로 대응시킨다. 본 실시 형태에서는 도 15의 점선 화살표로 나타낸 바와 같이, 미리 피예측 블록의 왼쪽 위 모서리의 화소 위치와 변형 블록의 왼쪽 위 모서리의 화소 위치를 대응시킨다. 피에측 블록의 각구성점과 예측 화상 후보의 각구성점이 일대일로 대응지어져 있으므로, 움직임 검출은 블록 매칭과 마찬가지로 실행할 수 있다. 실제 장치에 있어서의 탐색 범위의 설정 동작은 실시 형태 1과 같고, 도 16에 있어서의 필요한 요소를 사용하여 설정한다. 이 동작은 도 17에서 S44의 스텝에 상당한다.

3) 예측 화상 후보 화상의 판독

본 실시 형태에 있어서는 특정 블록 변형 파라미터는 사용하지 않고, 도 17의 S47에 도시한 바와 같이, 수평 수직 각 성분의 오프셋값 ix, iy에 x/2, y/2의 값을 가산하는 것에 의해, x, y의 대응점 sx, sy를 얻는다. 이 대응점은 대응점 결정부(48)에서 실행된다. 이어서, 참조 화상에서 (sx+dx, sy+dy)만큼 떨어진 위치에 있는 참조 화상중의 화소를 프레임 메모리에서 인출한다. 도 16에 있어서의 메모리 판독 어드레스 생성부(49)가 수평 방향 이동량 카운터(31)에서 dx의 값을, 수직 방향 평행 이동량 카운터(32)에서 dy의 값을, 대응점 결정부(48)에서 sx, sy를 수취하고, 프레임 메모리중의 어드레스를 생성한다. 또한, 도 17의 S48에서 판독된 데이터는 필요에 따라 반화소 생성부(232)에 있어서 반화소값을 생성하기위해 사용된다.

4) 예측 오차 전력의 산출

먼저, 움직임 벡터가 (dx, dy)일때의 예측 오차 전력 D(dx, dy)를 제로로 초기화한다. 이것은 도 17의 S45에 상당한다. 3)에서 판독된 화소값과 피예측 블록이 휘도 블록의 대응하는 위치의 화소값의 차를 취하고, 그의 절대값을 S50에서 D(dx, dy)에 누적하여 간다. 이 처리를 x=y=block_size(여기서는 block_size=8)로 될 때까지 S52, S54에서 반복하고, (dx, dy)시의 예측 오차 전력 D(dx, dy)를 얻는다. 이 처리는 도 16에 있어서의 패턴 매칭부(213)가 실행하고, 패턴 매칭부(213)는 D(dx, dy)를 예측 오차 전력 신호(215)에 의해 최소 예측 오차 전력 판정부(216)로 수수한다. 여기서의 처리는 도 17에 있어서의 S49∼S54의 처리에 상당한다.

5) 최소 예측 오차 전력값의 갱신

4)의 결과 얻어진 D(dx, dy)가 그 때까지의 탐색 결과중에서 최소의 오차 전력을 부여하는가 어떤가를 판정한다. 판정은 도 16에 있어서의 최소 예측 오차 전력 판정부(216)가 실행한다. 또한, 도 17에 있어서의 S55가 이 판정 처리에 상당한다. 판정 처리는 실시 형태 1과 모두 같고, 그 때의 (dx, dy)의 값을 움직임 벡터 후보로서 유지하여 둔다. 이 갱신 처리는 도 17에 있어서의 S56에 상당한다.

6) 움직임 벡터값의 결정

상기 2)∼5)를 도 17의 S57∼S60에서 탐색 범위중의 모든 (dx, dy)에 대하여 반복하고, 최종적으로 최소 예측 오차 전력 판정부(216) 내에 유지되어 있는 (dx, dy)를 움직임 벡터(43)로서 출력한다.

이상과 같이 하여, 피예측 블록에 오차 전력 최소의 의미에서 가장 유사한 예측 화상을 추출한다. 탐색의 결과, 선택된 예측 화상의 기점으로부터의 편이량이 변형 블록 매칭의 결과로서의 움직임 벡터(43)로서 얻어지고, 그 때의 예측 오차 전력 D_DEF(44)도 유지된다.

상기 움직임 벡터(43), 예측 오차 전력 D_DEF(44)가 최종적인 움직임 보상 모드 판정에 사용되고, 최종적인 움직임 보상 모드가 결정된다. 이 결정 방법은 실시 형태 1과 모두 같다.

이어서, 움직임 보상 처리에 대하여 설명한다.

움직임 보상 처리는 움직임 보상부(9)에서 실행된다. 본 실시 형태에서는 대응점 결정부(37)의 동작 만이 실시 형태 1과 다르므로, 그 부분만을 설명한다. 움직임 보상의 전체적인 흐름도는 도 8에 준하다.

본 실시 형태에 있어서는 대응점의 결정은 이하와 같이 실행한다.

움직임 파라미터(11)에 포함되는 움직임 보상 예측 모드가 블록 매칭을 나타내고 있을 때는 대응점이 피예측 블록의 화면 내 위치 신호(206)에서 움직임 벡터로 지시되는 양만큼 평행 이동시킨 영역에 포함되는 표본점으로 된다. 이 처리는 도 44에 있어서의 S204에서 (dx, dy)를 움직임 벡터로 하였을 때의 참조 화상(28)중의 위치(x+dx, y+dy)를 결정하는 동작에 상당한다.

움직임 파라미터(11)에 포함되는 움직임 보상 에측 모드가 변형 블록 매칭을 나타내고 있을 때는 피예측 블록의 화면내 위치 신호(206)에 각 화소 위치에 따른 편이량분을 가산한 후, 움직임 벡터로 지시되는 양만큼 평행 이동시킨 영역에 포함되는 표본점으로 된다. 이 처리는 도 17에 있어서의 S47에서 (dx, dy)를 움직임 벡터로 하였을 때의 참조 화상(28) 중의 위치(sx+dx, sy+dy)를 결정하는 동작에 상당한다. 이하의 예측 화상 데이터의 판독, 예측 화상의 생성에 대해서는 실시 형태 1에 준한다.

상기 각 실시 형태에 있어서의 변형 블록은 1)피예측 블록과 예측 화상의 각 구성 화소 위치의 일대일 대응지음이 실행되고 있고, 2)참조 화상측의 대응 화소점이 정수 화소 간격으로 구성되어 있다고 하는 2가지 전제가 있으면, 어떠한 형상도 취할 수 있다. 예를 들면, 도 18이나 도 19에 도시한 바와 같은 형상을 고려할 수 있다. 또한, 한변만 절반으로 축소하는 것 뿐만 아니라 각각의 변을 독립으로 임의의 비율로 축소, 확대하면, 각종 형상으로 변형하여 블록 매칭할 수 있다. 그렇게 하여, 미리 여러 가지 형상을 정의하여 두는 것에 의해, 가장 양호한 예측 결과가 얻어지는 변형 블록을 선택하도록 구성할 수 있다. 이 때는 선택된 변형 블록의 종류를 움지임 파라미터(11)중에 포함하여 엔트로피 부호화부(18)로 보내면 좋다.

상기 각 실시 형태에 의하면, 반화소 정도의 보간 화소값의 생성만으로, 어파인 변환과 같은 복잡한 연산에 의한 보간 화소값을 생성하는 일없이, 회전 및 축소 스케일링을 포함하는 움직임 보상을 실행할 수 있고, 평행 이동량인 움직임 벡터만으로는 예측 오차를 최소로 할 수 없고, 즉 예측이 좋게 집중하지 않는 부분 화상에 대해서도 양호한 예측을 실행할 수 있다.

또한, 상기 각 실시 형태에서는 미리 준비되는 고정점으로서, 정수 화소, 또는 반화소의 경우를 설명하였지만, 예를 들면, 1:3등, 다른 비율의 중간점 화소를 비교 대상용으로서 준비하여도 좋다. 이 경우에도 종래 어파인 변화의 경우와 달리, 비교 처리 동작중의 보간 처리가 불요하고, 그것만큼 처리 규모를 줄일 수 있어, 고속 처리가 가능하게 된다.

실시 형태 5

상기 각 실시 형태에 있어서는 화소마다 블록 변형 파라미터의 카운트 처리 또는 그것에 상당하는 좌표 변환 처리를 실행하는 구성으로 되어 있지만, 이 화소마다의 좌표 변환값을 미리 ROM 등의 변형 파라미터로서 준비하여 두고, 피예측 블록의 각 화소 위치에 따라 테이블에서 인출한 변환값을 기본으로 대응점을 결정하는 구성을 취할 수도 있다. 이와 같이 함으로써, 연산식으로는 표현하기 어려운 임의의 대응 관계를 갖는 변형 블록 매칭과 움직임 보상을 효과적으로 할 수 있다.

예를 들면, 실시 형태 1을 예로 든다.

도 20은 도 5에 있어서의 대응점 결정부(34)의 다른 내부 구성도이고, 본 실시 형태를 표현하는 구성(대응점 결정부(34b))을 나타내고 있다. 실시 형태 1의 구체저긴 동작을 나타내는 도 6에 있어서의 S8에서, 파라미터 rdx, rdy의 값을 인트리먼트 또는 디크리먼트 연산하는 대신에, x, y에 대응하는 rdx, rdy의 값을 ROM으로서 갖고 있고, 그곳에서 x, y의 값에 따라 대응점 rx, ry를 인출하는 것에 의해 구할 수 있다. 이 경우, 도 5에 있어서의 회전량 카운터(33)는 불요하게 되고, 도 20에 도시한 바와 같이, 대응점 결정부(34b) 내에 ROM 테이블(변형 패턴 테이블(100))을 가지게 하는 구성으로 실현할 수 있다. 대응점 결정부(34b)는 피예측 블록의 각 화소 위치(x, y)에 의해 변형 패턴 테이블(100)로부터 변형 파라미터 rdx, rdy의 값을 인출하고, 이것을 가산부(110)에서 가산하는 것에 의해 대응점을 결정한다. 그리고, 메모리 판독 어드레스 생성부(35)를 향하여 출력한다. 이것은 상기 다른 실시 형태에서도 마찬가지이다. 이렇게 하여, 약간의 ROM 메모리(변형 패턴 테이블(100))로의 추가만으로, 대응점의 연산 처리를 실행하는 요소를 삭제하여 회로를 간략화하고, 또한 대응점 연산 처리량을 삭감할 수 있다. 또한, 도 21에 도시한 바와 같은 간단한 수식으로는 표현할 수 없는 서포트하는 것도 가능하게 되어, 보다 풍부한 변형 패턴 라이브러리를 고려할 수 있게 된다.

실시 형태 6

본 실시 형태에서는 상기 각 실시 형태에서 설명한 바와 같은 방법에 의해 변형 블록으로서 분리되는 예측 화상중의 주파수 특성으로 균일하게 하고, 피예측 블록의 예측을 실행할때의 미스매치를 저감하는 부호화 장치에 대하여 설명한다.

예측 화상이 정수 화소 공간 및 반화소 공간에 존재하는 화소값으로 구성되는 경우, 정수 화소와 반화소에서는 공간 주파수 특성이 다르다. 한편, 피예측 블록은 모두 정수 화소 공간의 화소로 구성되어 있으므로, 이 특성 차이가 예측시 미스매치의 원인으로 되는 것을 고려할 수 있다. 그래서 본 실시 형태에서는 상기 각 실시 형태에서 설명한 변형 블록의 정의와 마찬가지 정의를 실행한 후, 정수 화소 공간상의 화소에 대하여 필터링을 실행한다.

반화소 공간상의 화소는 주변 정수 화소에 대하여 [1/2, 1/2]의 필터링을 실행하는 것에 의해 생성된다. 즉, cos(ωt/2)의 특성을 갖는 로우 패스 필터가 실시되게 된다. 상기 각 실시 형태에서 정의한 예측 화상은 필터가 실시되어 있지 않은 정수 화소와 상기 필터링에 의해 생성되는 반화소 정도의 화소가 혼재하여 있고, 예측 화상내의 공간 주파수 특성에 변동이 있다. 이 변동이 원인으로 예측 정도가 떨어지는 경우에는 이하에 설명하는 바와 같이, 정수 화소에 대해서도 동등의 특성을 갖는 필터를 실시하면 효과적이다.

도 22는 필터링의 예를 도시한 것으로, 여기서는 정수 화소에 대해서 수학식 7에 나타내는 [1/8, 6/8, 1/8]의 로우 패스 필터 F를 실시하는 예를 나타내고 있다.

F[I(n)] = (I(n-1)+6*I(n)+I(n+1))/8

이 필터의 특성은 {cos(ωt/2)}2이고, 예측 화상 내의 공간 주파수 특성의 변동이 완화된다. 이와 같은 필터 처리후, 상기 각 실시 형태와 마찬가지로, 피예측 블록의 각점과 예측 화상의 각점의 일대일 대응지음, 탐색, 움직임 벡터의 결정, 모드 판정을 실행한다.

구체적인 장치 구성과 동작에 대하여 설명한다.

본 실시 형태에서는 이제까지의 실시 형태와는 변형 블록 매칭부와 움직임 보상부가 다르다. 이하에서는 변형 블록의 정의는 실시 형태 4에 따른 단순 축소 패턴으로 하고, 변형 블록 매칭부의 내부 구성은 움직임 검출부(8c)중의 변형 블록 매칭부(42)의 배리에이션, 움직임 보상부도 움직임 보상부(9)의 배리에이션으로서 고려한다. 따라서, 이하의 설명에 있어서는 변형 블록 매칭의 번호는 42c로 하고, 움직임 보상부의 번호는 9b로 하여 설명을 진행한다.

도 23은 본 실시 형태에 있어서의 변형 블록 매칭부(42c)의 동작 개요 설명도, 도 24는 변형 블록 매칭부(42c)의 상세한 내부 구성도, 도 25는 본 실시 형태에 있어서의 변형 블록 매칭부(42c)의 동작을 나타낸 흐름도이다.

이들 도면에 있어서, 상기까지의 도면과 동일 부호를 붙인 요소, 스텝은 동일 요소, 동작을 의미하는 것으로 한다.

먼저, 변형 블록 매칭부(42c)의 동작에 대하여 설명한다. 실시 형태 4와 같은 동작의 기술은 생략한다.

1) 처리 개요

변형 블록의 정의에 대해서는 실시 형태 4와 모두 같지만, 본 실시 형태에서는 정수 화소 위치의 화소에 대하여 필터링을 실행하는 것이 다르다. 즉, 도 23과 같이, 참조 화상중에 필터 처리 대상 화소로서 △의 화소가 정의되어 있고, 변형 블록은 △ 및 □로 나타낸 화소로 구성된다.

2) 초기 설정(탐색 범위의 설정, 초기값의 설정)

실시 형태 4와 전부 같다.

3) 예측 화상 후보 화상의 판독

피예측 블록내의 위치 x, y의 화소에 대응하는 대응점 sx, sy를 얻는 방법은 실시 형태 4와 모두 같다. 이어서, 참조 화상에서 (sx+dx, sy+dy)만큼 떨어진 위치에 있는 참조 화상 중의 화소를 프레임 메모링서 인출한다. 이 때, sx+dx, sy+dy에 대응하는 화소 위치가 정수 화소 공간상에 있는가 반화소 공간상에 있는가를 판정한다. 이것은 단지 sx+dx, sy+dy가 각각 반화소 성분을 갖는가 어떤가로 판정할 수 있다. 이 판정은 도 24에 있어서의 대응점 결정부(48)에 있어서 실행한다. 도 25에서는 S61의 스텝에 상당한다. 여기서, 반화소 공간에 있다고 판정된 경우는 반화소 생성부(232)에 있어서 반화소값이 생성된다. 또한, 정수 화소 공간에 있다고 판정된 경우는 필터부(50)에 있어서 도 22에 도시한 필터링을 실시한다. 이것은 도 25에 있어서의 S62의 스텝에 상당한다.

4) 예측 오차 전력의 산출

5) 최소 예측 오차 전력값의 갱신

6) 움직임 벡터값의 결정

실시 형태 4와 모두 같다.

이어서, 움직임 보상 처리에 대하여 설명한다.

움직임 보상 처리는 움직임 보상부(9b)에서 실행된다.

도 26은 본 실시 형태에 있어서의 움직임 보상부(9b)의 내부 구성도, 도 27은 본 실시 형태에 있어서의 움직임 보상부(9b)의 동작을 나타낸 흐름도이다.

본 실시 형태에서는 도 7에 도시한 움직임 보상부(9)에 비하여, 필터부(50)가 부가되어 있는 것에 특징이 있다. 대응점 결정부(37)은 실시 형태 4에서 설명한 것과 모두 같은 동작을 한다. 움직임 파라미터(11)에 포함되는 움직임 보상 예측 모드가 블록 매칭을 나타내고 있을 때는 대응점은 피예측 블록의 화면내 위치 신호(206)에서 움직임 벡터로 지시되는 양만큼 평행 이동시킨 영역에 포함되는 표본점으로 한다. 이 처리는 도 44에 있어서의 S204에서 (dx, dy)를 움직임 벡터로 하였을 때의 참조 화상(28) 중의 위치 (x+dx, y+dy)를 결정하는 동작에 상당한다.

움직임 파라미터(11)에 포함되는 움직임 보상 예측 모드가 변형 블록 매칭을 나타내고 있을 때는 피예측 블록의 화면 내 위치 신호(206)에 각 화소 위치에 따른 편이량분을 가산한후, 움직임 벡터로 지시되는 양만큼 평행 이동시킨 영역에 포함되는 표본점으로 된다. 이 처리는 도 17에 있어서의 S47에서 (dx, dy)를 움직임 벡터로 하였을 때의 참조 화상(28) 중의 위치(sx+dx, sy+dy)를 결정하는 동작에 상당한다. 어느 경우에도, 각 화소마다 반화소 공간상에 있는가 없는가를 판정하고, 정수 화소 공간상에 있는 화소에 대해서는 상술한 변형 블록 매칭부의 예측 화상 생성 처리와 모두 같도록, 도 22에 도시한 필터링을 실시한다. 필터링은 필터부에서 실행한다. 이하의 예측 화상 데이터의 판독, 예측 화상의 생성에 대해서는 실시 형태 1에 준한다.

본 실시 형태에 있어서의 변형 블록 매칭부(42c)는 필터를 실시하지 않는 경우의 예측 화상 및 필터 F를 실시한 경우의 예측 화상 각각의 경우에 대하여 독립으로 탐색을 실행하여, 그 결과를 움직임 보상 예측 모드 판정부(22)로 보내도 좋고, 필터 F를 실시하지 않는 경우만 탐색을 실행하고, 그 결과만에 대하여 필터 F를 실시하여 양호한 결과를 선택하도록 하여도 좋다.

이와 같이, 필터 F를 적응적으로 ON/OFF하는 기구를 마련하는 경우는 움직임 파라미터(11) 중에 필터 ON/OFF의 정보도 포함한다.

본 실시 형태에 의하면, 정수 화소값으로의 필터링만으로 예측 화상내의 공간 주파수의 변동을 제거할 수 있고, 평행 이동량인 움직임 벡터만으로는 예측 오차를 최소로 할 수 없고, 즉 예측이 좋게 적충하지 않는 부분 화상에 대해서도 양호한 예측을 실행할 수 있다.

실시 형태 7

도 28은 본 실시 형태에 있어서의 화상의 예측 방식을 사용하여 압축부호화된 디지털 화상을 신장 재생하는 화소 복호 장치의 구성을 도시한 것이다. 여기서는 실시 형태 1에 도시한 화상 부호화 장치에 의해 생성되는 압축 부호화 데이터(이하, 비트스트림)(19)를 수신하여 신장 재생을 실행하는 화상 복호 장치로서 설명한다.

도 28에 있어서, 51은 엔트로피 복호부, 6은 역양자화부, 7은 역직교 변환부, 53은 복호 가산부, 54는 프레임 메모리, 56은 표시 제어부이다.

본 발명의 복호 장치는 움직임 보상부(9)의 구성과 동작에 특징이 있고, 움직임 보상부(9) 이외의 상기 각 요소에 대하여 구성과 그의 동작은 이미 알려져 있으므로, 상세한 설명은 생략한다. 움직임 보상부(9)는 도 1에 있어서의 움직임 보상부(9)와 동일한 것을 나타낸다. 즉, 그의 내부 구성도는 도 7에 도시한 내부 구성도와 같고, 그의 동작 흐름도는 도 8에 도시한 동작 흐름도와 동일하다.

이하, 상기 구성의 장치의 동작을 설명한다.

먼저, 엔트로피 복호부(51)에 있어서 비트스트림이 해석되고, 각각의 부호화 데이터로 나누어진다. 양자화 직교 변환 계수(52)는 역양자화부(6)로 보내지고, 역양자화 스텝·파라미터(17)를 사용하여 역양자화된다. 이 결과가 역직교 변환부(7)에 있어서 역직교 변환되고, 복호 가산부(53)으로 보내진다. 역직교 변환부는 DCT등, 부호화 장치에서 사용하는 것과 같은 것을 사용한다.

움직임 보상부(9)에는 움직임 파라미터(11)로서 다음 3종의 정보가 보내진다. 즉, 엔트로피 복호부(51)에서 비트스트림으로부터 복호된 움직임 벡터(25), 변형 패턴 정보(26a)와 피예측 화상 영역(본 실시 형태에서는 고정 사이즈 블록)의 화면내 위치를 나타내는 정보(27a)가 입력된다. 이 때, 움직임 벡터(25), 피예측 화상 영역의 화면내 위치(27a)는 피예측 화상 영역마다 고유의 값이지만, 변형 패턴 정보(26a)는 피예측 화상 영역마다 고유의 값이라도 피예측 화상 영역을 복수 종합한 보다 큰 화상(예를 들면, 화상 프레임이나 ISO/IEC JTC1/SC29/WG11에 개시된 VOP 등)마다 부호화되어 있어, 그 단위로 포함되는 모든 피예측 화상 영역에 대하여 같은 변형 패턴 정보를 사용하도록 부호화되어 있어도 좋다. 움직임 보상부(9)는 이들 3종류의 정보에 따라 프레임 메모리(54) 중의 참조 화상에서 예측 화상 데이터(12)를 인출한다. 예측 화상 생성 처리에 대해서는 움직임 보상부(9)의 동작 설명 부분에서 기술한다.

움직임 보상부(9)에는 엔트로피 복호부(51)에서 복호된 움직임 파라미터(11)가 보내진다.

움직임 보상부(9)는 이들 움직임 파라미터(11)에 따라 프레임 메모리(54) 중의 참조 화상에서 예측 화상 데이터(12)를 인출한다. 본 발명에 의한 화상의 예측 방식은 피예측 블록을 구성하는 화소와 예측 화상을 구성하는 화소가 일대일로 대응하고 있으므로, 종래 블록 매칭에 있어서의 움직임 보상과 마찬가지로, 움직임 파라미터(11)에 의해 예측 화상 영역이 일의로 결정된다.

복호 가산부(53)는 인트라/인터 부호화 지시 플래그(16)의 값에 따라, 인트라 부호화 블록이면, 역직교 변환부의 출력을 그대로 복호 화상(55)으로서 출력하고, 인터 부호화 블록이면, 역직교 변환부의 출력에 예측 화상 데이터(12)를 가산하여 복호 화상(55)으로서 출력한다. 복호 화상(55)은 표시 제어부(56)로 보내지고, 도시하지 않은 표시 디바이스로 출력됨과 동시에, 이후 프레임의 복호 처리에 있어서 참조 화상으로서 사용되도록, 프레임 메모리(54)에 기록된다.

이어서, 움직임 보상부(9)에 있어서의 에측 화상 생성 처리에 대하여 설명한다.

본 실시 형태에서는 화상의 예측 방식이 피예측 화상 영역을 구성하는 화소와 예측 화상을 구성하는 화소의 위치 대응이 미리 변형 패턴 정보(26a)에 의해 규정되어 있으므로, 움직임 벡터(25)에 의한 변위와 변형 패턴 정보(26a)에 의한 위치 보정에 따라 간단한 어드레스 계산과 내삽 처리에 의해 예측 화상이 생성된다.

움직임 보상부(9)의 내부 구성을 도 29에 도시한다.

동도에 있어서, (37)은 대응점 결정부, (38)은 메모리 판독 어드레스 생성부이다.

또한, 도 30은 그의 동작을 나타낸 흐름도이다.

또한, 도 31은 움직임 벡터에 의해 참조 화상에서 분리되어 지정된 양만큼 피예측 화상의 좌표 위치로 이동하는 움직임을 설명하는 도면, 도 32는 이동선으로 다시 지정된 변형 패턴으로 어드레싱을 실행하는 동작을 설명하는 도면이다.

어느 도면에 있어서도, ○는 정수 화소, ×는 반화소의 위치를 나타내는 것으로 한다.

이하, 도 29 및 도 30에 따라, 본 실시 형태에 있어서의 움직임 보상부(9)의 동작을 설명한다.

1) 대응점의 결정

먼저, 대응점 결정부(37)에 있어서, 입력되는 움직임 벡터(25), 변형 패턴 정보(26a)에 따라, 피예측이 증량역(增量域)내의 각 화소에 대응하는 예측 화상의 샘플 위치를 산출한다. 먼저, 움직임 벡터(25)에 따라, 피예측 화상의 현재 위치에 대한 예측 화상의 기준 위치를 결정한다. 이 처리는 도 31에 도시한 바와 같이, 피예측 화상의 화면 내 위치(27a)를 (i, j), 움직임 벡터(25)를 (dx, dy)로 하였을 때, (i', j') = (i+dx, j+dy)를 정하는 것에 상당한다(도 30의 S71).

이어서, 변형 패턴 정보(26a)에 따라서, 좌표점(i', j')을 보정하고, 최종적인 예측 화상의 샘플 위치를 구한다. 도 32는 변형 패턴 정보(26a)가 「종횡 1/2축소」를 나타내는 경우의 예를 도시하고 있다. 이 변형 패턴에 의하면, 예측 화상의 실행 면적은 피예측 화상 영역의 화면중에 점유하는 실행 면적의 1/4로 된다. 즉, 예측 화상이 피예측 화상 영역에 대하여 축소되는 모양으로 되고, 이것에 의해, 화면중에서 확대를 수반하는 움직임 등의 예측을 효율화할 수 있다. 구체적인 위치 보정의 처리로서는 참조 화상 중의 위치(i', j')에 대응하는 보정 위치(i″, j″)를 구한다. 이것은 다음 연산으로 실현할 수 있다(도 30의 S72).

<수학식 7>

for(y=0 ; y<block_height ; y++)

j" = j' + y/2

for(x=0 ; x<block_width ; x++)

i" = i' + x/2

또한, 도 32에서는 block_width=block_height=4의 경우, 즉 화소수가 4×4를 1 블록으로 한 경우를 나타내고 있지만, 이들은 임의의 정의 정수, 즉 임의의 화소수의 높이와 폭의 블록을 취득한다.

이상에 의해 구한 좌표점 (i″, j″)가 (i, j)에 대응하는 예측 화상 샘플 위치로서 출력된다.

2) 예측 화상 생성용 데이터의 판독

대응점 결정부(37)에서 출력되는 예측 화상 샘플 위치를 기본으로, 메모리 판독 어드레스 생성부(38)가 프레임 메모리(54)에 축적되어 있는 참조 화상중의 예측 화상 생성에 필요한 화상 데이터의 위치를 특정하는 메모리 어드레스를 생성하고, 예측 화상 생성용 데이터를 판독한다.

3) 예측 화상의 생성

예측 화상을 생성하는 화소중, 정수 화소 위치의 좌표값 만을 어드레싱하는 경우는 예측 화상 생성용 데이터가 그대로 예측 화상 구성 화소로 된다. 한편, 반화소 정도의 위치의 좌표값이 어드레싱된 경우, 반화소 생성부(232)에 의해 예측 화상 생성용 데이터의 내삽 처리가 되어, 반화소값이 생성된다. 구체적으로, 반화소값의 생성은 도 33에 의한다. 도 33의 방법은 단지 가산 2번 연산이고, 부호화 장치의 실시 형태 1에서 설명한 반화소 생성부(232)의 흐름인 도 8의 S24를 다시 설명한 것이다.

또한, 상기 도 32에 의한 움직임 보상부(9)의 동작을 설명하였지만, 변형 패턴 정보가 도 32와는 다른 내용을 포함하고 있는 경우에는 변형 처리가 다르게 된다.

다른 변형 패턴의 예로서, 도 34의 경우를 설명한다. 이 경우, 변형 후의 (i″, j″)는 다음과 같이 하여 구해진다.

ix = i' , iy = j'+2

for(y=0 ; y<block_height : y++)

rdx = rdx = y/2 ;

for(x=0 ; x<block_width ; x++)

rdx +=0.5 ;

rdy -=0.5 ;

i" = ix + rdx ;

j" = iy + rdy ;

이와 같이, 변형 패턴 정보가 변형 블록을 어떻게 분리하는 가를 결정하여 두면, 그것에 따라 간단한 어드레싱으로 변형 처리한 움직임 보상을 실행한 복호를 할 수 있다.

이상과 같이 하여, 본 실시 형태의 화상 복호 장치에 의하면, 미리 변형 패턴을 준비하여 두고, 대응하는 모드 정보에 따라 간단한 샘블 위치의 계산을 실행하는 것만으로, 평행 이동에서는 추적되지 않는 복잡한 움직임을 효율좋게 예측하여 부호화된 비트스트림에서 재생 화상을 얻을 수 있다.

본 실시 형태에서는 직교 변환 부호화이후의 다른 부호화 방식에 의해 예측 오차 신호를 부호화한 비트스트림이라도, 움직임 보상부(9)이외의 에측 오차 신호 복호 처리를 위한 요소를 변경함으로써, 마찬가지 효과를 얻을 수 있다.

또한, 본 실시 형태에서는 고정 사이즈 블록을 단위로 하여 복호 처리를 실행하는 예에 대하여 기술하였지만, 이것은 통상의 비디오 신호의 프레임을 단위로 하는 복호 장치에 적용할 수 있을 뿐만 아니라, 고정 사이즈 블록으로 구성되는 임의 형상 화상 오브젝트(예 : ISO/IEC JTCI/SC29/WG11/N1796에서 개시되는 Video Object Plane 등)를 단위로 하는 복호 장치에도 적용할 수 있다. 예를 들면, 실시 형태 1에서 기술한 도 9에 도시한 바와 같이, 정지한 배경 앞에 인물상이 존재하는 신에 있어서, 인물상을 하나의 화상 오브젝트로 하여, 그것을 둘러싸는 외접 사각형내의 영역을 소블록으로 분할하고, 화상 오브젝트를 포함하는 블록을 유효 블록으로 하여 부호화된 비트스트림을 복호하는 경우를 고려할 수 있다. 이 경우는 이들 유효 블록에 대하여 마찬가지 처리를 적용하면 좋다.

실시 형태 8

실시 형태 7의 화상 복호 장치는 실시 형태 1 내지 6의 화상 복호 장치에 대응한 정수 화소 또는 반화소 만을 사용하여 어드레싱(좌표 지정)하는 것만으로, 미리 정해진 변형 처리를 하여 움직임 보상을 실행하는 장치를 설명하였다. 본 실시 형태에서는 어드레싱시에, 반화소 생성이외의 연산을 실행하여, 보다 정밀한 움직임 보상을 실행하는 화상 복호 장치를 설명한다.

도 35는 본 실시 형태에 있어서의 압축 부호화된 디지털 화상을 신장재생하는 화상 복호 장치의 구성을 도시한 것이다.

동도에 있어서, 90은 움직임 보상부, 256b는 0∼4줄의 움직임 벡터, 60은 내삽 처리 정도 지시 정보이다.

또한, 도 36은 움직임 보상부(90)의 내부 구성도이다.

도면에 있어서, 37b는 움직임 파라미터로서, 도 35에 도시한 움직임 벡터(25b), 변형 패턴 정보(26a), 피예측 화상 영역의 화면내 위치(27a) 및 내삽 처리 정도 지시 정보(60)를 입력으로 하여 대응점을 정하는 대응점 결정부이고, (232b)는 연산에 의해 내삽한 좌표 위치를 구하는 내삽 처리부이다. 이 때, 피예측 화상 영역의 화면내 위치(27a)는 피예측 화상 영역마다 고유의 값이지만, 움직임 벡터(25b)와 변형 패턴 정보(26a)는 피예측 화상 영역마다 고유의 값이라도, 피예측 화상 영역을 복수 종합한 보다 큰 화상(예를 들면, 화상 프레임이나 ISO/IEC JTC1/SC29/WG11에 개시된 VOP 등)마다 부호화되어 있어, 그 단위에 포함되는 모든 피예측 화상에 대하여 같은 움직임 벡터와 변형 패턴 정보를 사용하도록 부호화되어 있어도 좋다.

또한, 도 37은 도 36의 움직임 보상부의 동작 흐름도, 도 38은 같은 동작을 설명하는 도면이다.

이하, 상기 구성의 장치의 동작을 설명한다.

본 실시 형태에 있어서는, 종래 움직임 벡터가 당해 블록을 대표하는 1줄 만이었던 것에 대하여, 참조 화상의 블록의 사각의 정점 4줄까지가 입력되고, 그것에 대응하여, 먼전 좌표 위치가 후에 대응점의 결정 동작에서 설명하는 연산에서 구해진다. 또한, 그 구해진 좌표 위치를 내삽 처리 지시 정보로 라운딩하여 좌표 위치를 확정한다.

움직임 보상부(90)이외의 부분의 동작은 실시 형태 7의 장치와 마찬가지이다. 즉, 엔트로피 복호부(51)에 있어서, 비트스트림이 해석되고, 각각의 부호화 데이터로 나뉘어진다. 양자화 직교 변환 계수(52)는 양자화 스텝·파라미터(17)를 사용하여 역양자화부(6), 역직교 변환부(7)에서 복호 처리되고, 복호 가산부(53)로 보내진다. 복호 가산부(53)는 인트라/인터 부호화 지시 플래그(16)의 값에 따라, 인트라 부호화 블록, 인터 부호화 블록의 구별에 따라 예측 화상 데이터(12)를 그대로 또는 가산하여 복호 화상(55)으로서 출력한다. 복호 화상(55)은 표시 제어부(56)로 보내지고, 표시 디바이스로 출력되고, 또 참조 화상으로서 프레임 메모리(54)에 기록된다.

이하, 움직임 보상부(90)에 있어서의 예측 화상 생성 처리에 대하여 설명한다.

본 실시 형태에서는 변형 패턴 정보(26a)에 따라, 필요한 줄수의 움직임 벡터(25b)를 사용하여 변형에 필요한 변환식을 얻어서, 그 변환식에 의해 피예측 화상 영역의 각 화소에 대응하는 예측 화상 구성 화소의 샘플 위치를 결정한 후, 내삽 처리 정도 지시 정보로 정해진 화소 제도에 따른 간단한 내삽 처리에 의해 예측 화상이 생성된다.

이하, 도 36 내지 도 38에 따라, 본 실시 형태에 있어서의 움직임 보상부(90)의 동작을 설명한다.

1) 대응점의 결정

대응점 결정부(37b)에 있어서, 입력되는 움직임 벡터(25b), 변형 패턴 정보(26a)에 따라, 피예측 화상 영역내의 각 화소에 대응하는 예측 화상의 샘플해야할 좌표 위치를 산출한다. 도 38과 같이, 여기서는 움직임 벡터(25b)가 피예측 화상 영역의 외접 사각형의 각정점의 4개의 움직임 벡터로 한다. 먼저, 변형 패턴 정보(26a)에 대응하여 변형에 필요한 변환식을 얻는다. 예를 들면, 다음과 같은 변환식을 사용한다.

1-1) 움직임이 없고, 정지 상태(필요한 움직임 벡터의 줄수 : 0줄)

(i', j') + (i, j)

1-2) 평행 이동(필요한 움직임 벡터의 줄수 : 1줄)

(i', j') = (i+dx0, j+dy0)

1-3) 등방 변환(필요한 움직임 벡터의 줄수 : 2줄)

i = ((x1'-x0')/W)*i+((y0'-y1')/W*j

+ (x0'-(x0(x1'-x0`)+y0(y0'-y1'))/W)

j = ((y1'-y0')/W)*i+((x1'-x0')/W*j

+ (y0'-(y0(x1'-x0')+x0(y0'-y1'))/W)

단,

(x0, y0) : 피예측 화상 영역의 외접 사각형의 왼쪽 위 모서리 정점 좌표

(x1, y1) : 피예측 화상 영역의 외접 사각형의 오른쪽 위 모서리 정점 좌표

(x0', y0') : 제1 움직임 벡터(dx0, dy0)에 의해 (x0, y0)를 변위시킨 좌표

(x1', y1') : 제2 움직임 벡터(dx1, dy1)에 의해 (x1, y1)을 변위시킨 좌표

W : x1-x0

1-4) 어파인 변환(필요한 움직임 벡터의 줄수 : 3줄)

i' = ((x1'-x0')/W*i((x2'-x0')/H*j

+ (x0'-x0(x1'-x0')/W+y0(x2'-x0'))/H)

j = ((y1'-y0')/W*i+((y2'-y0')/H)*j

+ (y0'-(x0(y1'-y0')/W+y0(y2'-y0'))/H)

단,

(x0, y0) : 피예측 화상 영역의 외접 사각형의 왼쪽 위 모서리 정점 좌표

(x1, y1) : 피예측 화상 영역의 외접 사각형의 오른쪽 위 모서리 정점 좌표

(x2, y2) : 피예측 화상 영역의 외접 사각형의 왼쪽 아래 모서리 정점 좌표

(x0', y0') : 제1 움직임 벡터(dx0, dy0)에 의해 (x0, y0)를 변위시킨 좌표

(x1', y1') : 제2 움직임 벡터(dx1, dy1)에 의해 (x1, y1)을 변위시킨 좌표

(x2', y2') : 제3 움직임 벡터(dx2, dy2)에 의해 (x2, y2)을 변위시킨 좌표

W : x1-x0

H : y2-y0

1-5) 투시 변환(필요한 벡터의 줄수 : 4줄)

i' = (A*i+B*j+C) / (P*i+Q*j+Z*W*H)

j' = (D*i+E*j+F) / (P*i+Q*j+Z*W*H)

단,

A = Z(x1' - x0')*H+P*x1'

B = Z(x2' - x0')*W+Q*x2'

C = Z*x0'*W*H

D = Z(y1' - y0')*H+P*y1'

E = Z(y2' - y0')*W+Q*y2'

F = Z(*y0'*W*H

P = ((x0' - x1' - x2' + x3')(y2' - y3')

- (x2' -x3')(y0' - y1' - y2' + y3'))*H

Q = ((x1'- x3')(y0' - y1' - y2' + y3')

- (x0' - x1' - x2' + x3')(y1' - y3'))*W

Z = (x1' - x3')(y2' -y3')

- (x2' - x3')(y1' -y3')

(x0, y0) : 피예측 화상 영역의 외접 사각형의 왼쪽 위 모서리 정점 좌표

(x1, y1) : 피예측 화상 영역의 외접 사각형의 오른쪽 위 모서리 정점 좌표

(x2, y2) : 피예측 화상 영역의 외접 사각형의 왼쪽 아래 모서리 정점 좌표

(x3, y3) : 피예측 화상 영역의 외접 사각형의 오른쪽 아래 모서리 정점 좌표

(x0', y0') : 제1 움직임 벡터(dx0, dy0)에 의해 (x0, y0)를 변위시킨 좌표

(x1', y1') : 제2 움직임 벡터(dx1, dy1)에 의해 (x1, y1)을 변위시킨 좌표

(x2', y2') : 제3 움직임 벡터(dx2, dy2)에 의해 (x2, y2)를 변위시킨 좌표

(x3', y3') : 제4 움직임 벡터(dx3, dy3)에 의해 (x3, y3)을 변위시킨 좌표

W : x1-x0

H : y2-y0

변형 패턴 정보(26a)의 형식으로서는 상기 변환식인 수학식 9 내지 수학식 1을 직접 식별하는 비트라도 좋고, 각 변환이 움직임 벡터의 줄수에 대응하고 있으므로, 움직임 벡터의 줄수를 표현하는 비트라도 좋다. 이상의 변환식에 의해, 피예측 화상 영역의 점 (i, j)가 참조 화상 중의 (i', j')에 대응지어진다. 또한, 대응점 위치 계산시에, 예측 화상의 샘플 위치는 내삽 처리 정도 지시 정보(60)로 정해지는 정도의 값까지 취득하도록 한다. 예를 들면, 반화소 정도까지 라운딩하면, 상기 변환식에 의해 얻어진 (i', j')는 반화소 정도의 값으로 라운딩된다. 1/4 화소 정보까지로 하면, (i', j')는 1/4 화소 정도의 값으로 말어넣어진다. 이 샘플 위치 정도를 나타내는 정보는 비트스트림 중에서 추출한다.

이상과 같이, 본 실시 형태에서는 움직임 벡터(25b)에서 다이렉트로 대응점 결정 룰을 정하고, 이것에 따라 예측 화상의 샘플 위치를 결정한다.

2) 예측 화상 생성용 데이터의 판독

대응점 결정부(37b)에서 출력되는 예측 화상 샘플 위치를 기본으로, 메모리 판독 어드레스 생성부(38b)가 프레임 메모리(54)에 축적되어 있는 참조 화상중의 예측 화상 생성에 필요한 화상 데이터의 위치를 특정하는 메모리 어드레스를 생성하고, 예측 화상 생성용 데이터를 판독한다.

3) 예측 화상의 생성

예측 화상을 구성하는 화소 중, 정수 화소 위치의 좌표값 만을 어드레싱하는 경우는 예측 화상 생성용 데이터가 그대로 예측 화상 구성 화소로 된다. 본 실시 형태에서는 예측 화상을 어드레싱하여 샘플하는 위치는 상기와 같이 미리 정해진 정도, 예를 들면, 반화소, 1/4 화소의 값을 취득한다. 실수 정도의 위치의 화소인 경우는 내삽 처리부(232b)에 있어서, 내삽 처리 정도 지시 정보(60)로 정해지는 정수 정도로 하는 지시에 따라, 예측 화상의 정수 화소값이 생성된다. 본 실시 형태에서는 대응점 결정부에 있어서, 이미 최종적인 샘플 위치를 내삽 처리 정도 지시 정보(60)로 지정되는 정도로 라운딩되지만, 내삽 처리는 도 39와 같이 다음 수학식 15의 처리를 한다. 또한, 반화소 정도의 위치이면, 실시 형태 1에서 기술한 반화소 생성부(232)와 모두 같은 처리로 된다.

W _x2 W _y1 I(i _p +1, j _p )+

W _x1 W _y2 I(i _p , j _p +1)+

W _x2 W _y2 I(i _p +1, j _p +1)

W _x2 = i' - i _p

W _x1 = 1.0 - W _x2

W _y2 = j' - j _p

W _y1 = 1.0 - W _y2

이상과 같이, 본 실시 형태의 화상 복호 장치에 의하면, 제로 또는 복수줄의 움직임 벡터를 사용하여 간단한 샘플 위치 계산을 실행함으로써, 복잡도가 다른 움직임을 효율좋게 예측하여 부호화된 비트스트림에서 재생 화상을 얻을 수 있다.

실시 형태 1 내지 실시 형태 6에 있어서의 화상 부호화 장치 및 실시 형태 7에 있어서의 화상 복호 장치는 정수 화소 또는 반화소의 어드레싱 만으로 변형 처리한 움직임 보상을 사용하여 고속으로 복잡한 화상 부호화, 복호를 실행하고 있다.

이것에 대하여, 본 실시 형태에 있어서의 화상 복호 장치는 마찬가지 구성을 사용하여, 그러나 대응점 결정의 연산을 참조 화상과 피예측 화상의 대상 블록이 잘 매칭하고, 따라서 보다 적절한 움직임을 얻기 위해 강화한 것이다. 이것에 의해, 보다 스무스한 움직임을 얻을 수 있다.

본 실시 형태에서는 직교 변환 부호화 이외의 다른 부호화 방식에 의해 예측 오차 신호를 부호화한 비트스트림이라도, 움직임 보상부(90)이외의 예측 오차 신호 복호 처리를 위한 요소를 변경함으로써, 마찬가지 효과를 얻을 수 있는 것은 실시 형태 7과 같다.

또한, 본 실시 형태에서는 고정 사이즈 블록을 단위로 하여 복호 처리를 실행하는 예에 대하여 설명하였지만, 이것은 통상의 비디오 신호의 프레임을 단위로 하는 복호 장치에 적용할 수 있을 뿐만 아니라, 고정 사이즈 블록으로 구성되는 임의 형상 화상 오브젝트(Video Object Plane 등)을 단위로 하는 복호 장치에도 적용할 수 있는 것도 실시 형태 7과 같다.

실시 형태 9

상기 각 실시 형태에서는 움직임을 검출하는 피예측 화상의 1블록을 구성하는 화소수에 대해서는 언급하였다. 바꾸어말하면, 임의의 높이(H)와 폭(W)의 화소를 대상으로 고려하여 왔다. 본 실시 형태에서는 이 H와 W의 화소수를 2의 거듭제곱으로 제한하여 좌표 연산을 간략화하는 경우를 설명한다. 이와 같이 함으로써, 대응점 결정부의 부하가 줄어들고, 연산을 고속화할 수 있다.

본 실시 형태에서는 도 36에 도시한 실시 형태 8에 있어서의 움직임 보상부(90) 중 37c로서 대응점 결정부의 동작만이 다르므로, 대응점 결정부의 동작에 대해서만 설명한다.

도 40은 대응점 결정부(37c)의 동작 모양을 도시한 흐름도이다.

또한, 도 41은 대응점 결정부(37c)의 동작을 설명하는 도면이다.

이하, 도 40에 따라, 본 실시 형태에 있어서의 대응점 결정부(37c)의 동작을 설명한다.

본 실시 형태에 있어서의 대응점 결정부(37c)는 움직임 벡터(25b), 변형 패턴 정보(26a), 내삽 처리 정도 지시 정보(91), 피예측 화상 영역의 화면내 위치(27a)를 입력으로 하고, 피예측 화상 영역내의 각 화소에 대응하는 예측 화상의 샘플 위치를 다음의 식에 따라 산출하여 출력한다. 이 때, 피예측 화상 영역의 화면내 위치(27a)는 피예측 화상 영역마다 고유의 값이지만, 움직임 벡터(25b)와 변형 패턴 정보(26a)는 피예측 화상마다 고유의 값이라도 피예측 화상 영역을 복수 종합한 보다 큰 화상(예를 들면, 화상 프레임이나 ISO/IEC JTC1/SC29/WG11에 개시된 VOP 등)마다 부호화되어 있어, 그 단위로 포함되는 모든 피예측 화상 영역에 대하여 같은 움직임 벡터와 변형 패턴 정보를 사용하도록 부호화되어 있어도 좋다. 이하에서는 움직임 벡터를 최대 3줄 사용하는 경우의 예에 대하여 설명한다.

움직임 벡터(25b)는 (x0, y0)와 도 41에 도시한 바와 같이, 피예측 화상 영역의 외접 사각형의 왼쪽 위 모서리 및 오른쪽 아래 모서리의 정점을 왼쪽 위 모서리의 정점부터 2의 거듭제곱으로 표현할 수 있는 거리까지 신장한 점 (x0+W', y0) (W'≥W, W'=2 ^m ) 및 (x0, y0+H') (H'≥H, H'=2 ⁿ )의 움직임 벡터로 한다. 이들 움직임 벡터에 따라, 변형 패턴 정보(26a)에 대응하여, 이하의 변형에 필요한 변환식인 수학식 16 내지 수학식 19를 얻는다.

1-1) 움직임이 없고, 정지 상태(필요한 움직임 벡터의 줄수 : 0줄)

(i', j') = (i, j)

1-2) 평행 이동(필요한 움직임 벡터의 줄수 : 1줄)

(i', j') = (i+dx0, j+dy0)

1-3) 등방 변환(필요한 움직임 벡터의 줄수 : 2줄)

i' = ((x1" - x0')/W'*i

+ ((y0' - y1")/W'*j

+ (x0' - (x0(x1" - x0')

+ y0(y0' - y1"))/W')

j' = ((y1" - y0')/W')*i

+ ((x1" - x0')/W'*j

+ (y0' - (y0(x1" - x0')

+ x0(y0' -y1"))/W')

단,

(x0, y0) : 피예측 화상 영역의 외접 사각형의 왼쪽 위 모서리 정점 좌표

(x1, y1) : 피예측 화상 영역의 외접 사각형의 오른쪽 위 모서리 정점 좌표

(x0', y0') : 제1 움직임 벡터(dx0, dy0)에 의해 (x0, y0)를 변위시킨 좌표

(x1', y1') : 제2 움직임 벡터(dx1, dy1)에 의해 (x0+W', y0)을 변위시킨 좌표

1-4) 어파인 변환(필요한 움직임 벡터의 줄수 : 3줄)

i' = ((x1" - x0')/W')*i

+ ((x2" - x0')/H')*j

+ (x0' - x0(x1" - x0')/W'

+ y0(x2" - x0'))/H')

j' = ((y1" - y0')/W')*i

+ ((y2" - y0')/H')*j

+ (y0' - x0(y1" - y0')/W'

+ y0(y2" - y0'))/H')

단,

(x0, y0) : 피예측 화상 영역의 외접 사각형의 왼쪽 위 모서리 정점 좌표

(x1, y1) : 피예측 화상 영역의 외접 사각형의 오른쪽 위 모서리 정점 좌표

(x2, y2) : 피예측 화상 영역의 외접 사각형의 왼쪽 아래 모서리 정점 좌표

(x0', y0') : 제1 움직임 벡터(dx0, dy0)에 의해 (x0, y0)를 변위시킨 좌표

(x1″, y1″) : 제2 움직임 벡터(dx1, dy1)에 의해 (x0+W', y0)을 변위시킨 좌표

(x2″, y2″) : 제3 움직임 벡터(dx2, dy2)에 의해 (x0, y0+H')을 변위시킨 좌표

변형 패턴 정보(26a)의 형식으로서는 상기 변환식인 수학식 16 내지 수학식 19를 직접 식별하기 위해 표기한 복수의 비트로 구성된 비트열이라도 좋고, 각 변환이 움직임 벡터의 줄수에 대응하고 있으므로, 움직임 벡터의 줄수를 표현하는 비트라도 좋다.

이상의 변환식에 의해, 피예측 화상 영역의 점 (i, j)가 참조 화상 중의 (i', j')에 대응지어진다. 또한, 대응점 위치 계산시에, 예측 화상의 샘플 위치는 어느 정해지는 정도의 값까지 취득하도록 한다. 예를 들면, 반화소 정도까지로 라운딩하면, 상기 변환식에 의해 얻어지는 (i', j')는 반화소 정도의 값으로 되고, 1/4 화소 정보로 라운딩하는 지시로 하면, (i', j')는 1/4 화소 정도의 값으로 된다. 이 샘플 위치 정도를 나타내는 정보는 비트스트림 중에서 추출한다.

이상과 같이, 본 실시 형태에서는 움직임 벡터(25b)에서 다이렉트로 대응점 결정 룰을 정하고, 이것에 따라 예측 화상의 샘플 위치를 결정한다.

2) 예측 화상 생성용 데이터의 판독

3) 예측 화상의 생성

에 관해서는 실시 형태 8과 모두 같은 동작을 하므로, 상세한 기술은 생략한다.

이상과 같이, 본 실시 형태의 화상 복호 장치에 의하면, 제로 또는 복수줄의 움직임 벡터를 사용하여 샘플 위치 계산을 실행할때에, W' 또는 H'에 의한 제산 연산을 모두 비트 시프트 연산으로 치환하여 계산할 수 있으므로, 보다 고속으로 샘플 위치를 결정을 실행할 수 있음과 동시에, 복잡도가 다른 움직임을 효율좋게 예측하여 부호화된 비트스트림에서 재생 화상을 얻을 수 있다.

본 실시 형태의 움직임 보상을 다른 부호화 방식에 따른 화상 복호 장치에 사용하는 경우도 대응하는 요소를 변경함으로써 마찬가지 효과를 얻을 수 있다. 또한, 고정 사이즈 블록으로 구성되는 임의 형상 화상 오브젝트(Video Object Plane 등)을 단위로 하는 복호 장치에도 적용할 수 있는 것은 실시 형태 7과 같다.

또한, 본 발명의 화상 부호화 장치와 화상 복호 장치는 조로 하여 특징이 있는 화상 부호화 복호 시스템을 구성한다.

또한, 각 동작 흐름도에서 나타내어진 동작을 실행하는 것에 의해, 즉 변형 블록 매칭 스텝과 대응점 결정 스텝과 움직임 보상 화상 생성 스텝과 복호 가산 스텝을 구비하는 것에 의해, 특징있는 화상 부호화 방법, 화상 복호 방법을 얻을 수 있다.

이상과 같이, 본 발명에 의하면, 실표본점의 정수 화소 또는 그 중간의 반화소를 사용하여, 좌표 지정만으로 얻어지는 변형 블록으로 화상의 움직임 예측을 실행하므로, 움직임 벡터와 같은 평행 이동량 만으로는 예측이 잘되지 않는 부분 화상에서도, 어파인 변환과 같은 복잡한 연산없이 효율좋게 예측할 수 있는 효과가 있다. 또한, 회전이나 스케일링 등의 수식으로 기술 가능한 변형 뿐만 아니라, 수식으로 간단히 기술할 수 없는, 즉 연산에 의한 표현이 곤란한 변형에도 대응할 수 있는 효과가 있다. 대응 복호 장치에서도, 효율좋고 우수한 화상을 재현할 수 있는 효과가 있다.

또한, 어파인 변환과 같은 복잡한 화상 보간 연산을 실행하는 일없이, 대응점의 결정에 의한 좌표 지정만에 의해, 회전과 축소 또는 확대를 조합시킨 움직임을 좋게 예측할 수 있는 효과가 있다.

또한, 평행 이동에 의한 블록 매칭의 움직임 벡터를 이용함으로써, 변형 블록 매칭의 탐색 범위를 효과적으로 삭감할 수 있고, 움직임 보상 예측 전체의 연산량을 저감할 수 있는 효과가 있다.

또한, 어파인 변환과 같은 복잡한 화소 보간 연산을 실행하는 일없이, 좌표 지정 만에 의해, 단순 축소 또는 확대 스케일링에 의한 움직임을 효율좋게 예측할 수 있는 효과가 있다.

또한, 변형 패턴 테이블을 참조하는 것만으로 대응점을 결정할 수 있으므로, 어파인 변환과 같은 간단한 수식으로는 표현할 수 없는 임의의 변형에 따른 움직임을 맹목적으로 예측할 수 있는 효과가 있다.

또한, 필터를 사용하여 변형 블록내의 공간 주파수 특성을 플랫으로 할 수 있어, 예측의 미스매치를 저감할 수 있는 효과가 있다.

화상 부호화 장치의 변형 블록 매칭과 움직임 예측에 대응한 복호 장치를 구성하였으므로, 고속으로 최적의 움직임 예측을 실행한 화상 데이터를 복호 재생할 수 있는 효과가 있다.

또한, 화상 복호 장치의 어드레싱에 있어서, 자유도가 높은 움직임 예측을 복호할 수 있으므로, 움직임이 스무스한 화상을 재생할 수 있는 효과가 있다.