비디오 엔코딩 및 디코딩 방법{Video encoding and decoding method}

발명의 배경

비디오 압축 방법들은, 신호들을 전송하기 전에 상기 신호들로부터 여분의 정보를 제거하고, 그 뒤, 디코더 측에서, 남아 있는 압축된 정보로부터 영상의 근사치를 재구성함으로써 이루어진다. 시간적 여분(temporal redundancy)은 픽셀 값들이 연속하는 프레임들에 걸쳐 있는 이들의 이웃하는 것들과 독립적이지 않고 서로 상관된다는 사실과 일치한다. 이 시간적 여분의 감소는 주로 2가지 타입의 접근방법들, 즉, 현재 프레임의 예측(prediction)이 미리 전송된 프레임들에 근거하여 계산되고, 예측 에러(prediction error), 즉 현재 프레임과 그의 예측사이의 차만이 인트라 코딩(intra-coded) 및 전송되는 것에 따른, "하이브리드(hybrid)" 또는 예측 접근방법, 및 (픽셀 값들이 동일한 프레임내에서 독립적이지 않다는 사실에 대응하는) 공간적 여분을 제거하기 위한 공간적 기술들과 유사한 방법으로, 시간적 여분이 시간적 변형에 의하여 개척되는, 3차원(3D, 또는 2D+t) 접근방법에 의해, 달성된다.

이 3D 접근방법에서, 프레임들의 열은 3D 볼륨으로서 처리되고, 따라서, 영상 코딩에서 이용된 전통적인 서브밴드 분해는 분리가능한 변형들, 예를 들면, 필터 뱅크들(filter banks)에 의하여 실현된 웨이브렛(wavelet) 또는 웨이브렛 패킷들 변형들을 이용함으로써 3D 공간-시간 데이터로 확장될 수 있다. 그러한 3D 구조에 이방성(anisotropy)이 있지만, 공간-시간적 방향들에서 다른 필터 뱅크들이 이용되는 것도 고려될 수 있다.(일반적으로, Haar 필터들은 더 긴 필터들의 사용에 대한 추가적인 지연이 바람직스럽지 않기 때문에 시간 필터링용으로 이용되며, 더욱이, Haar 필터들은, 이들이 2탭 필터들(two-tap filters)이기 때문에, 경계 효과를 제공하지 않는 단지 왁벽한 재구성 직교 필터들(perfect reconstruction orthogonal filters)이다.)

그러한 3D 코딩 방법의 코딩 효율은 시간적 분해의 각 레벨에서 로우 시간적 서브밴드들에서의 움직임 추정/보상을 실행함으로써 개선될 수 있다. 예를 들면,1994년 9월, JR Ohm에 의한, IEEE Transactions on Image Processing, 제3권, N。5의 페이지 559-571에 개시되어 있는 "Three-dimensional subband coding with motion compensation"에 도시되어 있으며, 이는, 움직임 보상된 3D 서브밴드 코딩이, 주어진 비트전송율(bitrate)에 대해, 전통적인 예측 방법들 보다 가시성(visual) 및 피크 신호대 잡음비(PSNR;peak signal-to-noise ratio)를 더 양호하게 만든다.(상기 참조문헌에서, 전 움직임 보상(full motion compensation)의 3D 서브밴드 분해는 시간 영역에서 Haar 필터들을 이용하여 실행되고, 2D 이산 웨이브렛 변환(또는 DWT; discret wavelet transform)은 공간 영역에서 이루어진다.)

그러나, 움직임 보상은 도 1에 도시된 바와 같이 두번 필터링되거나 전혀 필터링되지 않는다는 점에서 문제점을 발생시킨다. 도 1의 좌측부에서, A 및 B는 이전 및 현재 프레임들을 각각 나타내며, a1 내지 a6, 및 b1 내지 b6는 각각 상기 프레임들의 픽셀들이다(BBY는 블록 경계). 도 1의 우측부는 블록매칭으로 결합된 움직임 보상 시간 필터링 처리를 도시한다. 접속된 픽셀들이 움직임 궤도를 따라 필터링되기 때문에, 그리고, (어떠한 움직임 또는 병진(translational) 움직임이 없는 경우는 제외하고) 매칭된 블록들이 이웃한 블록들과 겹쳐지기 때문에, 이중 접속 및 비접속된 픽셀들이 일반적으로 나타난다.

비접속된 픽셀들에 대처하기 위한 상기 참조문헌에서 채택된 궤도는 다음과 같다. 현재 프레임에서 비접속된 픽셀(예컨대, b1)에 대해, 최초(original) 픽셀 값은 시간적 로우(L) 서브 밴드로 삽입된다. 이전 프레임에서 비접속된 픽셀(예컨대, a3,a4)은 그 이웃한 것들과 동일한 움직임 벡터와 관련된다. 움직임 방향에서의 고역 통과 필터링의 결과는 비접속된 픽셀 위치에서 시간적 하이(H) 서브밴드로 놓여진다(Harr 필터들의 경우, 이것은 변위된 프레임 차를 나타낸다). 그 바로 이전에 재구성된 프레임을 이용하여, 이전 프레임에서 비접속된 픽셀들에 대한 움직임 보상된 예측을 실행하는 것도 제안된다. 시간적 서브프레임들은 최초 프레임들을 대체하는 필터링을 유발한다. 즉, 시간적 로우(L) 서브밴드는 현재 프레임의 장소를 취하고, 시간적 하이(H) 서브밴드는 참조 프레임(reference frame)을 대신한다.

비접속된 픽셀들에 대처하는 다른 방법은, 1999년 2월에, SJChoi에 의해, IEEE Transactions on Image Processing, 제8권 n。2의 페이지 155-167에 개시된 "Motion-compensated 3-D subband coding of video"의 도2에 도시되어 있다. 이전 프레임(예컨대, a3,a4)의 비접속된 픽셀에 대해, 최초 값은 시간적 로우 서브밴드로 삽입되고, 이는, 첫 번째 인용한 참조문헌에서 정의한 방법보다 더 양호한 가시성 결과들을 제공한다. 현재 프레임에서의 비접속된 픽셀(예컨대 b1)에 대해, DFD(displaced frame difference;변위된 프레임차) 값이 취해진다. 움직임 보상의 것과 일치하는 움직임 추정의 방향을 만듦으로써, 추가의 움직임 추정의 필요없이, 최상의 이용가능한 움직임 벡터가 이 DFD 값에 대하여 이용될 수 있다. 시간적 서브밴드들은 도2의 우측편에 도시된 바와 같이, 서로 다르게 재배치된다. 즉, 시간적 로우(L) 서브밴드는 참조 프레임을 대신하는 반면, 시간적 하이(H) 서브밴드는 현재 프레임을 대신한다. 이는, 고주파수 서브밴드들이 더 적은 에너지를 가지며 비접속된 픽셀들에 대한 DFD 값과 양립할수 있기 때문에, 첫 번째 인용된 참조문헌의 방법보다 비접속된 픽셀들의 경우에 더 바람직하게 적합하다.

이 접근방법을 요약하기 위하여, 다음과 같은 관계식(1) 내지 (3)이 이용된다.

접속된 픽셀에 대하여는,

(1) H[m,n] =

_m , nd

_n ])

(2) L[m-

_m , n-

_n ]= ( [m-

_m +d

_m ]+A[m-

_m ,n-

_n ])이고,

비접속된 픽셀에 대하여는,

(3) L[m,n]=

여기서, (m,n)은 픽셀의 위치를 나타내며, H[m,n], L[m,n]은 시간적 하이 및 로우 서브밴드들이고, A[m,n], B[m,n]은 이전 및 현재 프레임들이며, [d _m ,d _n ]은 픽셀에 대하여, 2개의 간주된 연속하는 프레임들 A 및 B사이에서 추정된 움직임 벡터이고, [

_m ,

_n ]는 d

_m ,d

_n 에 가장 가까운 정수들이고, 는 움직임 픽셀들이 정확한 서브픽셀인 경우 보간된 값들이다. 복수의 접속 픽셀들의 경우에는, A는 마주치는 첫 번째 쌍(A,B)로 계산된다.

사실, 비접속 및 이중 접속 픽셀들의 문제점은 움직임 동안 커버된/비커버된(covered/uncovered) 영역들의 것과 밀접한 관계를 보인다. 실제로, 시간(T)에서 프레임의 공통 부분을 갖는 2개의 물체들이 시간(T+1)에서 분리될 때, 현재 프레임의 2개의 영역들은, 움직임 보상에 의하여, 참조 프레임에서의 동일한 영역과 일치할 것이다. 이것은 비커버된 영역이며, 이는, 앞서 분석하여 주어진 관계식(1) 내지 (3)의 경우에 이중 접속으로서 나타난다. 가능한 상황이 도 3에 도시되어 있으며, 여기서, FA는 전경 영역(foreground area)을 나타내며, 전경 물체(1)에 속하고, UR은 상기 영역들이 떨어질 때(즉, 이들이 서로 겹치지 않을때) 배경 물체(2)의 비커버된 영역을 나타낸다. 두 번째의 인용문헌에 설명한 접근방법은 이러한 픽셀들과 관련되며 제 1 블록은 움직임 추정 처리에서 다루어졌다.

발명분야

본 발명은 3차원(3D) 서브밴드 분해(subband decomposition)에 의하여 프레임들의 열을 엔코딩하는 방법에 관한 것으로, 상기 3차원 서브밴드 분해는 3D 볼륨으로서 간주된 상기 프레임들의 열에 대응하는 3D 공간-시간 데이터(spatio-temporal data)에 적용된 공간 및 시간 필터링 단계를 포함하며, 상기 분해는, 상기 프레임들에 대해, 시간적 분해의 각 레벨에서 로우 시간적 서브밴드들에서의 움직임 추정 및 보상 동작들(motion estimation and compensation operations)을 실행한 이후에만, 프레임들의 연속하는 그룹들에 적용된다. 본 발명은 또한, 상기 엔코딩 방법에 의하여 미리 코딩된 신호들을 디코딩하는 방법에 관한 것이다.

도 1은 "비접속된" 및 "이중 접속된" 픽셀들의 문제점을 도시한 것으로서, 상기 문제점을 해결하기 위한 제 1 방법을 설명하는 도면.

도 2는 이 문제점을 해결하기 위한 다른 방법을 설명하는 도면.

도 3은 비커버된 영역들의 문제점을 설명하는 도면.

발명의 요약

본 발명의 목적은 앞서 설명된 접근방법에 관하여 최적의 해결책을 제안하는 것이다.

이를 위해, 본 발명은 본 명세서의 서두에 정의한 바와 같은 엔코딩 방법에 관한 것이며, 다음 단계들, 즉,

(1) 이전 참조 프레임A와 현재 프레임B 사이의 움직임 보상된 시간 필터링 단계로서, 상기 단계 자체는, 첫번째로 고주파수 서브밴드의 계산 서브단계와, 그 다음, 단지 참조 프레임A와 앞서 계산된 고주파수 서브밴드만을 이용하여, 저주파수 서브밴드의 계산 서브단계를 포함하며, 상기 계산들은 다음 관계식들, 즉;

접속된 픽셀들에 대하여는,

(a) H[m,n]=(B[m,n]-

_m ,nd

_n ])/

(b) L[m-

_m ,n-

_n ]= [m-

_m +d

_m ,n-

_n +d

_n ]+ A[m-

_m ,n-

_n ] 이고,

비접속된 픽섹들에 대하여는,

(c) L[m,n]=

여기서, (m,n)은 상기 픽셀의 위치를 나타내며, H[m,n], L[m,n]은 시간적 하이 및 로우 서브밴드들이고, A[m,n], B[m,n]은 상기 연속하는 이전 및 현재 프레임들이며, [d _m ,d _n ]은 픽셀에 대하여, 상기 프레임들(A,B)사이에서 추정된 움직임 벡터이고,

_m ,

_n 은 d

_m ,d

_n 에 가장 가까운 정수들이고, , , 는 보간된 값들인, 상기 움직임 보상된 시간 필터링 단계와;

(2) 이중 접속된 픽셀들과 관련된 바와 같은 상기 비커버된 영역들의 식별 단계로서, 그러한 픽셀들은 상세 서브밴드(detail subband)에서 최소 에너지를 이끄는, 상기 식별 단계와;

(3) 상기 현재 프레임에서 선택되면, 상기 참조 프레임의 이중 접속된 픽셀의 시간 필터링을 위하여, 상기 상세 서브밴드의 최소 에너지를 이끄는 대응하는 픽셀을 결정하는 결정 단계를 포함하는 것을 특징으로 한다.

2개의 물체들(1,2)이 참조 프레임(도 3의 좌측부)에 중첩되는 경우, 이들 중 하나에 맞물려진 영역이 존재하고 그 밖에 다른것에 속하는 전경 영역(FA)이 이용가능하다. 이러한 물체즐이 현재 프레임에서 분리되는 경우(도 3의 우측부), 움직임 추정 알고리즘은 보상에 대해 현재 프레임에서 2개의 영역들을 식별할 것이다. 실제 움직임은 물체(1)의 전경 영역에 대응하기 때문에, 물체(2)의 비커버된영역(UA)은 상세 서브밴드의 더 높은 에너지로 상승할 것이며, 이는 보상된 참조 프레임과 현재 프레임사이의 차를 나타낸다. 실제로, 실제 움직임이 물체(1)에 대응하는 경우, 이 차는 전경 영역의 경우에는 매우 작고 물체(2)의 비커버된 영역에 대해서는 높게 될 것이다. 본 발명에 따르면, 이 관찰은 시간 필터링 처리에 대해 정확한 픽셀을 선택하는데 이용된다.

본 발명은 또한, 상기 방법에 의해 이전에 코딩된 디지털 신호들을 디코딩하는 방법에 관한 것이며, 상기 디코딩 방법은,

참조 및 현재 프레임들(A,B)의 픽셀들의 재구성이 저 및 고주파수 서브밴드들에서 대응하는 픽셀들의 값들에 근거하는 계산 단계들에 의하여 얻어지고, 상기 계산들은 다음 관계식들, 즉,

접속된 픽셀들에 대하여는,

(a) A[m-

_m ,n-

_n ]= (L[m-

_m ,n-

_n ]- [m-

_m +d

_m ,n-

_n +d

_n ])이고,

비접속된 픽셀들에 대하여는,

(b) A[m,n]=

(c) B[m,n]=

_m ,nd

_n ]인 관계식들에 따라 이루어지는 것을 특징으로 한다.

본 발명은 이제, 필요하다면, 첨부된 도면들을 참조하여 예를 들어 설명될 것이다.

발명의 상세한 설명

본 발명의 기본 원리는 먼저, 시간적 분석의 근사치 및 상세 서브밴드들을 계산하도록 하는 상호관계들을 다르게 표현함으로써, 움직임 보상된 시간 필터링의 최초 분석을 제공하는 것이다. 그 뒤, 이것은, 이 계산을 실행하기 위하여, 참조 서브밴드의 동일한 픽셀에 접속된 픽셀들 사이에서, 실제 움직임에 대응하는 것을 선택하는 것이 가능함을 보여준다. 이러한 픽셀들에 의해 형성된 영역은 고주파수 서브밴드의 에너지를 최소화한다.

상기 관계식(2)를 다음과 같이 고쳐쓸 수 있다.

접속된 픽셀들에 대하여는,

(4) L[m-

_m ,n-

_n ]= [m-

_m +d

_m ,n-

_n +d

_n ]+ A[m-

_m ,n-

_n ]이고,

관계식(1)을 이용하여 고주파수 서브밴드를 첫번째로 계산할 수 있고, 그 뒤, 관계식(4)에서 처럼, 단지 참조 프레임과 앞서 계싼된 고주파수 서브밴드만을 이용하여 저주파수 서브밴드를 계산할 수 있다. 합성 부분(synthisis part)에서 고려하면, 관계식들(1),(4),(3)은 저 및 고주파수 서브밴드들에서 대응하는 픽셀들의 값들을 기초로하여, 참조 및 현재 프레임들의 픽셀들의 완전한 재구성을 얻는데 용이하게 이용될 수 있다.

접속된 픽셀들에 대하여는,

(5) A[m-

_m ,n-

_n ]= (L[m-

_m ,n-

_n ]- [m-

_m +d

_m ,n-

_n +d

_n ])이며,

비접속된 픽셀들에 대하여는,

(6) A[m,n]=

일단 참조 프레임의 값들이 이용가능하면, 현재 프레임 값들이 계산될 수 있다;

(7) B[m,n]=

_m ,nd

_n ],

참조 프레임에서 이중 접속된 픽셀의 경우(예를 들면, 위치(p,q)에서의 픽셀)에서와, 위치들(m1,n1) 및 (m2,n2)에서 움직임 추정 알고리즘에 의해 발견된 2개의 픽셀들을 고려하는 것은, 2개의 대응하는 움직임 벡터들이 (d _m1 ,d _n1 ) 및 (d _m2 ,d _n2 )인 경우를 의미한다.

(8) m1-

_m1 =m2-

_m2 =p

(9) n1-

_n1 =n2-

_n2 =q

앞의 관계식들(1) 및 (4)는 다음의 2개의 쌍들에 각각 적용된다.

및

상세 서브밴드에서의 값은 현재 프레임에서의 2개의 픽셀들과는 다르다는 것을 알 수 있다. 결과적으로, 근사치 서브밴드에서의 값은 이러한 2개의 값들 중 어느 하나를 이용하여 계산될 수 있다. 이들 모두는, 참조 프레임에서의 값을 먼저 계산함으로써, 완벽한 재구성을 허용하고, 그 뒤, 현재 프레임에서의 값들을 계산하기 위해 관계식(7)을 이용한다.

상술한 바와 같이, 2개의 영역들 중 하나는 실제 물체 움직임에 대응하며, 다른 하나는 동일한 움직임으로 인해 비커버된다. 첫 번째의 경우는 고주파수 서브밴드에서 최소 에너지를 유발하며, 비커버된 영역은 전경 영역에서의 것과는 다른 값을 갖는다. 그러므로, 정확한 값의 선택을 위한 하나의 기준은 상세 서브밴드의 에너지를 최소화하는 것이다. 이것은 다음을 유발한다.

그래서,

여기서, P(p,q)는 참조 프레임의 픽셀(p,q)에 접속된 현재 프레임의 모든 픽셀들(m,n)의 세트이다.

실제로, 이 최소화는 저주파수 서브밴드의 각각의 픽셀에 플래그를 관련시킴으로써 실현될 수 있다. 상기 서브밴드의 픽셀들로서는 이전 프레임에 재배치된 것이며, 이 플래그는 또한, 상기 프레임의 대응하는 위치와도 관련된다. 상기 프레임에서의 고련된 픽셀에 접속된 현재 프레임B의 픽셀이 존재하지 않는 경우, 플래그는 위치"0"에 남아 있는다. 그것은 각 시간에서 증분된 것으로, 현재 프레임으로부터의 픽셀은 플래그와 관련된 참조 프레임에서의 위치에 지정될 것이다.

상기 플래그가 값"0"을 갖는다면, 고주파수 서브밴드에서의 값은 관계식(12)를 이용하여 계산되고, 저주파수 서브밴드에서의 값은 관계식(13)을 이용하여 계산된다. 상기 플래그가 "0"이 아닐 때, 임의의 시점에서 A와 B 사이에 그러한 접속이 설정되고, 고주파수 서브밴드에서의 값은 이전처럼 관계식(12)을 이용하여 계산되며, 절대값은 기존의 것과 비교된다. 상기 절대값이 앞서 계산된 고주파수 값의 절대값보다 작은 경우, 그것은 관계식(13)을 이용하여 저주파수 값을 갱신하는데 이용된다.

본 발명은 또한, 상술한 바와 같은 엔코딩 방법에 의하여 코딩된 디지털 신호들을 디코딩 하는 방법에 관한 것이다. 엔코딩 측에서 수행되는 동작들의 순서는 상기 프레임A의 고려된 픽셀에 접속된 픽셀을 프레임B에서 발견하기 위하여 디코더 측에서 재생되어, 최소 에너지의 고주파수 서브밴드를 유발한다.