잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩 방법, 이를 위한 장치{Method for multi-layer video coding and decoding using residual re-estimation, and apparatus for the same}

도 1은 SVM3.0에서의 FGS 인코딩 과정을 보여주는 도면이다.

도 2는 SVM3.0에서의 FGS 디코딩 과정을 보여주는 도면이다.

도 3은 본 발명의 실시예에 따른 FGS 인코딩에서의 잔차 재 추정 과정을 보여주는 도면이다.

도 4는 본 발명의 실시예에 따른 인코더를 보여주는 블록도이다.

도 5는 본 발명의 실시예에 따른 디코더를 보여주는 블록도이다.

도 6은 본 발명의 또 다른 실시예로서 일반적인 다 계층 구조에서의 잔차 재 추정 과정을 보여주는 도면이다.

도 7은 본 발명의 다른 실시예에 따른 인코더를 보여주는 블록도이다.

도 8은 본 발명의 다른 실시예에 따른 디코더를 보여주는 블록도이다.

<도면의 주요 부분에 관한 부호의 설명>

400 : FGS 인코더 410 : 기초 계층 인코더

412 : 모션 추정부 414 : 모션 보상부

418, 454 : 공간적 변환부 420, 456 : 양자화부

422, 468 : 부호화부 424, 458 : 역 양자화부

426, 460 : 역 공간적 변환부 428, 464 : 디블록부

본 발명은 다 계층 비디오 코딩 및 디코딩 방법, 이를 위한 장치에 관한 것으로서, 더욱 상세하게는 원본 프레임 대신 복원된 프레임을 디블록한 프레임으로부터 예측 프레임 또는 기초 계층 프레임을 차분한 잔차(Residual)를 부호화하여 전송함으로써 비트스트림(Bit-stream) 전송에 사용되는 비트 수를 감소시킬 수 있는 다 계층 비디오 코딩 및 디코딩 방법, 이를 위한 장치에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 상기 데이터 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 예측 (temporal prediction)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

데이터의 중복을 제거한 후 생성되는 멀티미디어를 전송하기 위해서는, 전송매체가 필요한데 그 성능은 전송매체 별로 차이가 있다. 현재 사용되는 전송매체는 초당 수십 메가비트의 데이터를 전송할 수 있는 초고속통신망부터 초당 384 킬로비트 의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다. 이와 같은 환경에서, 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어를 전송할 수 있도록 하는, 즉 스케일러블 비디오 코딩(scalable video coding) 방법이 멀티미디어 환경에 보다 적합하다 할 수 있다.

이러한 스케일러블 비디오 코딩이란, 이미 압축된 비트스트림(bit-stream)에 대하여 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라 상기 비트스트림의 일부를 잘라내어 비디오의 해상도, 프레임율, 및 SNR(Signal-to-Noise Ratio) 등을 조절할 수 있게 해주는 부호화 방식을 의미한다. 이러한 스케일러블 비디오 코딩에 관하여, 이미 MPEG-4(moving picture experts group-4) Part 10에서 그 표준화 작업을 진행 중에 있다. 이 중에서도, 다 계층(multi-layered) 기반으로 스케일러빌리티를 구현하고자 하는 많은 노력들이 있다. 예를 들면, 기초 계층 (base layer), 제1 향상 계층(enhanced layer 1), 제2 향상 계층(enhanced layer 2)의 다 계층을 두어, 각각의 계층은 서로 다른 해상도(QCIF, CIF, 2CIF), 또는 서로 다른 프레임율(frame-rate) 또는 서로 다른 SNR을 갖도록 구성할 수 있다.

이 중 SNR 스케일러빌리티 기술로서, SNR 스케일러빌리티는 비디오 입력을 동일한 프레임 율과 동일한 해상도를 가지면서 양자화의 정확도가 다른 두 개의 계층으로 부호화하는 기술이다. 특히 FGS(Fine Grain SNR scalability)는 비디오 입력을 기초 계층과 향상 계층의 두 계층으로 인코딩하고, 향상 계층의 잔차 신호를 인코딩 한 후 네트워크 전송 효율 또는 디코더 측의 상황에 따라 전송하지 않거나 전송하더라도 디코더에 의해 디코딩되지 않도록 할 수 있다. 이를 통해 네트워크의 전송 비트율에 따라 데이터의 양을 조절하여 적절히 전송할 수 있다.

그러나, SNR 스케일러블 비디오 코딩의 경우에도 향상 계층 비트스트림의 전송은 네트워크의 전송 비트율에 의해 여전히 제한되므로 동일한 전송 비트율 하에서도 좀더 많은 향상 계층의 데이터를 전송할 수 있는 방법이 필요하게 되었다.

본 발명이 이루고자 하는 기술적 과제는, 디블록에 의해 제거될 정보를 미리 제거한 프레임을 원본 프레임 대신 사용함으로써 잔차 신호를 부호화하는데 사용되는 비트 수를 감소시킬 수 있는 다 계층 비디오 코딩 및 디코딩 방법을 제공하고자 하는 것이다.

본 발명이 이루고자 하는 다른 기술적 과제는 다 계층 구조의 비디오 코딩에 있어서 각 계층마다 디블록 과정을 수행할 수 있도록 함으로써 블록 인위성이 제거 된 향상된 질을 가진 비디오를 제공하는 다 계층 비디오 코딩 및 디코딩 방법을 제공하고자 하는 것이다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 다 계층 비디오 코딩 방법은, (a) 원본 프레임으로부터 예측 프레임을 차분한 제 1 잔차 이미지를 부호화 하는 단계, (b) 부호화된 제 1 잔차 이미지를 복호화하고 복호화된 제 1 잔차 이미지를 예측 프레임에 더하여 제 1 복원된 프레임을 생성하는 단계, (c) 제 1 복원된 프레임을 디블록하는 단계, 및 (d) 디블록된 제 1 복원된 프레임으로부터 예측 프레임을 차분한 제 2 잔차 이미지를 부호화하는 단계를 포함한다.

한편, 본 발명의 실시예에 따른 다 계층 비디오 디코딩 방법은, (a) 비트스트림으로부터 잔차 이미지에 해당하는 데이터를 추출하는 단계, (b) 데이터를 복호화하여 잔차 이미지를 복원하는 단계, 및 (c) 잔차 이미지와 기 복원된 예측 프레임을 더하여 비디오 프레임을 복원하는 단계를 포함하며, 비트스트림은 (d) 원본 프레임으로부터 예측 프레임을 차분한 제 1 잔차 이미지를 부호화 하는 단계, (e) 부호화된 제 1 잔차 이미지를 복호화하고 복호화된 제 1 잔차 이미지를 예측 프레임에 더하여 제 1 복원된 프레임을 생성하는 단계, (f) 제 1 복원된 프레임을 디블록하는 단계, 및 (g) 디블록된 제 1 복원된 프레임으로부터 예측 프레임을 차분한 제 2 잔차 이미지를 부호화하는 단계에 의해 생성된 부호화된 제 2 잔차 이미지의 비트스트림이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 다 계층 비디오 인코더는, 원본 프레임으로부터 예측 프레임을 차분한 제 1 잔차 이미지의 시간적 중복성을 제거하는 시간적 변환부, 시간적 중복성이 제거된 제 1 잔차 이미지의 공간적 중복성을 제거하는 공간적 변환부, 공간적 변환부에 의해 제공되는 변환 계수를 양자화 하는 양자화부, 양자화된 변환 계수를 부호화하는 엔트로피 부호화부, 양자화된 변환 계수를 역 양자화 하는 역 양자화부, 역 양자화된 변환 계수를 역 공간적 변환하여 복원된 제 1 잔차 이미지를 생성하는 역 공간적 변환부, 복원된 제 1 잔차 이미지를 예측 프레임에 더하여 생성된 제 1 복원된 프레임을 디블록하는 디블록부를 포함하며, 공간적 변환부는 디블록된 제 1 복원된 프레임으로부터 예측 프레임을 차분한 제 2 잔차 이미지의 공간적 중복성을 제거한다.

한편, 본 발명의 실시예에 따른 다 계층 비디오 디코더는, 비트스트림으로부터 잔차 이미지에 해당하는 데이터를 추출하는 엔트로피 복호화부, 추출된 데이터를 역 양자화하는 역 양자화부, 역 양자화된 데이터를 역 공간적 변환하여 잔차 이미지를 복원하는 역 공간적 변환부, 복원된 잔차 이미지와 기 복원된 예측 프레임을 더하여 비디오 프레임을 복원하는 가산기를 포함하며, 비트스트림은 (a) 원본 프레임으로부터 예측 프레임을 차분한 제 1 잔차 이미지를 부호화 하는 단계, (b) 부호화된 제 1 잔차 이미지를 복호화하고 복호화된 제 1 잔차 이미지를 예측 프레임에 더하여 제 1 복원된 프레임을 생성하는 단계, (c) 제 1 복원된 프레임을 디블 록하는 단계, 및 (d) 디블록된 제 1 복원된 프레임으로부터 예측 프레임을 차분한 제 2 잔차 이미지를 부호화하는 단계에 의해 생성된 부호화된 제 2 잔차 이미지의 비트스트림이다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

SVM(Scalable Video Model) 3.0의 FGS는 점진적인 정제 표현(Refinement representation)을 사용하여 구현된다. FGS에서의 SNR 스케일러빌리티는 FGS 인코딩 결과 생성되는 NAL유닛들을 어느 지점에서도 절삭(Truncate)할 수 있도록 함으로써 달성될 수 있다. FGS는 기초 계층과 FGS 향상 계층으로 구성되는데, 기초 계층은 가장 낮은 전송 비트율에 의해 전송될 수 있는 최소한의 비디오 질을 표현하는 기초 계층 프레임을 생성하고, FGS 향상 계층은 가장 낮은 전송 비트율 이상에 서 적절히 절삭되어 전송되거나 디코더에 의해 적절히 절삭되어 디코딩 될 수 있는 NAL 유닛들을 생성한다. FGS 향상 계층에서는 원본 프레임으로부터 기초 계층 또는 하위 향상 계층에서 얻어진 복원된 프레임을 차분한 잔차 신호를 변환하고 양자화하여 디코더 측에 전송하는데, 상위 계층으로 올라갈수록 양자화 파라미터(Quantization Parameter) 값을 감소시켜 더욱 정교한 잔차를 생성함으로써 SNR 스케일러빌리티를 구현하게 된다.

이 때, 잔차 값을 복원하는 과정에서 사용되는 i 번째 향상 계층의 매크로블록들을 위한 양자화 파라미터 QP _i ( i =0은 기초 계층을 명시함)는 다음과 같이 결정된다.

1) 매크로블록이 어떠한 변환 계수도 포함하지 않고, 그 매크로블록을 위하여 0이 아닌 변환 계수 레벨이 기초 계층 표현 또는 어떠한 이전 향상 계층 표현에서 전송되었다면, 양자화 파라미터는 문법 요소 mb_qp_delta 를 이용하여 AVC[1] 에 명시된 바와 같이 계산된다.

2) 그렇지 않으면 (매크로블록이 최소 하나의 변환 계수를 포함하고, 그 매크로블록을 위하여 0이 아닌 변환 계수 레벨이 기초 계층 표현 또는 어떠한 이전 향상 계층 표현에서 전송됨), 양자화 파라미터는 다음 수학식 1과 같이 계산된다.

디코더 측에서 스캐닝 위치 K에서의 변환 계수 c _k 의 복원은

에 의해 얻어진다. l _i,k 는 변환 계수 c _k 를 위한 i 번째 향상 계층에서 코딩된 변환 계수 레벨을 나타내고 QP _i 는 해당 매크로블록 양자화 파라미터이다. InverseScaling(.) 함수는 계수 복원 과정을 나타낸다.

도 1은 상술한 SVM3.0에서의 FGS 인코딩 과정을 보여주는 도면이다.

먼저 원본 프레임(20)을 가지고 기초 계층 프레임을 생성한다. 원본 프레임(20)은 일련의 비디오 데이터(Group Of Picture, GOP)에서 추출된 프레임일 수 있으며, 이러한 GOP들을 모션 보상 시간적 필터링(Motion-Compensated Temporal Filtering, MCTF)을 한 프레임일 수도 있다. 변환&양자화부(30)는 원본 프레임(20)으로부터 기초 계층 프레임(60)을 생성하기 위해서 변환과 양자화를 수행한다. 한편, 역양자화&역변환부(40)는 변환 및 양자화 단계를 거친 기초 계층 프레임을 향상 계층에 제공하기 위하여 역양자화 및 역변환을 수행한다. 이는 디코더에서 복원된 프레임만을 알 수 있으므로 디코더에서 디코딩되는 프레임과 일치시키기 위한 과정이다. 그리고 일반적인 FGS 기초 계층의 프레임은 디블록부(50)에 의해 디블록되어 향상 계층에 제공된다.

비디오 코딩은 하나의 입력 프레임을 블록 기반의 정보로 코딩하여 전송하므로, 비디오를 디코딩할 경우, 블록 인위성(Block artifact)이 나타날 수 있다. 이러한 블록 인위성을 상쇄시키는 것을 디블록(Deblock)이라 한다. 임의의 복원된 프레임이 예측(Prediction)을 위한 참조 프레임으로 사용되는 경우 디블록 과정을 거치는 경우가 일반적인데 디블록 과정을 거치게 되면 필터링에 의해 일정 비트는 제거되는 효과가 발생한다.

향상 계층(Enhancement layer)에서는 기초 계층 프레임에 부가될 정교한 잔차 신호를 생성하는 계층으로서 원본 프레임(20)과 복원된 기초 계층 프레임(22) 또는 복원된 하위 향상 계층 프레임(26)간의 차분, 즉 잔차 신호를 구한다. 이러한 잔차 신호는 추후 디코더에 의해 원본 프레임에 더해져 원래의 비디오 데이터를 복원하는데 사용된다.

제 1 향상 계층의 차분기(11)는 원본 프레임으로부터 기초 계층에서 복원된 프레임(22)을 차분한다. 차분기(11)를 통해 산출된 잔차 신호는 변환&양자화부(32)를 거쳐 제 1 향상 계층 프레임(62)이 된다. 제 1 향상 계층 프레임(62) 또한 제 2 향상 계층에 제공되기 위하여 역양자화&역변환부(42)에 의해 복원(24)된다. 가산기(12)는 복원된 기초 계층의 프레임(22)에 복원된 제 1 향상 계층의 프레임(24)을 더하여 새로운 프레임(26)을 생성하고 이를 제 2 향상 계층에 제공한다.

제 2 향상 계층의 차분기(13)는 원본 프레임(20)으로부터 제 1 향상 계층에서 제공되는 프레임 26을 차분한다. 이 차분 값은 변환&양자화부(34)를 통해 제 2 향상 계층 프레임(64)이 되고, 역양자화&역변환부(44)를 통하여 복원된 후 프레임 26에 더해져 새로운 프레임 29를 생성한다. 제 2 향상 계층이 최상위 계층인 경우 프레임 29는 다른 프레임에 대한 참조 프레임으로 사용되기 전에 디블록부(52)를 거쳐 디블록된다.

이렇게 생성한 기초 계층 프레임(60), 제 1 향상 계층 프레임(62), 제 2 향상 계층 프레임(64)은 NAL (Network Abstraction Layer) 유닛의 형태로 전송될 수 있다. 디코더는 수신한 NAL 유닛의 일부를 절삭(truncate)하여도 데이터를 복원할 수 있다.

도 2는 SVM3.0에서의 FGS 디코딩 과정을 보여주는 도면이다.

FGS 디코더는 FGS 인코더에서 생성된 기초 계층 프레임(60), 제 1 향상 계층 프레임(62), 및 제 2 향상 계층 프레임(64)을 수신한다. 이들 프레임들은 인코딩된 데이터이므로 역양자화&역변환부(200, 202, 204)를 거쳐서 디코딩된다. 이때, 복원된 기초 계층의 역양자화&역변환부(200)를 거친 복원된 프레임은 디블록부(210)에서 디블록되어 기초 계층 프레임으로 복원된다.

디코딩되어 복원된 프레임(220, 222, 224)들은 가산기(230)를 통해 더해진다. 이렇게 더해진 프레임에 대해 다시 240에서 디블록을 수행하여 블록간의 경계를 지우게 되는데 이는 FGS 인코더의 최상위 향상 계층의 디블록에 대응되는 과정이다.

도 3은 본 발명의 실시예에 따른 FGS 인코딩에서의 잔차 재 추정 과정을 보여주는 도면이다.

본 실시예에 따른 잔차 재 추정 과정은 FGS 인코더의 향상 계층에서 참조 프레임으로 사용되는 복원된 프레임을 디블록하여 새로운 원본 프레임으로 사용한다. 따라서, 디블록된 새로운 원본 프레임으로부터 하위 계층에서 생성되어 복원된 참 조 프레임을 차분한 새로운 잔차를 코딩하여 디코더에 전송함으로써 블록 인위성을 감소시키고 디블록에 의해 제거될 불필요한 데이터를 위한 비트 수 만큼을 절감하게 된다.

도 3의 왼쪽 부분(300)은 종래의 SVM3.0에서의 FGS 인코딩 과정을 나타내고, 본 실시예에 따른 잔차 재 추정을 위해 추가된 과정은 도 3의 오른쪽 부분(350)에 도시되어 있다. SVM3.0의 FGS 인코딩은 도 1에서 상술한 바와 같이 기초 계층에서 원본 프레임 O를 변환 및 양자화하여 기초 계층 프레임을 생성한다. 생성된 기초 계층 프레임의 비트스트림은 디코더 측으로 전송되는 한편 역 양자화 및 역 변환을 거쳐 향상 계층의 참조 프레임으로 사용되기 위하여 복원된다. 이 때 복원된 기초 계층 프레임은 블록 인위성을 제거하기 위하여 상위 향상 계층의 참조 프레임("B ₀ ")으로 사용되기 전 디블록 과정("D ₀ ")을 거치게 된다. 본 실시예에 따른 제 1 FGS 계층에서는 종래의 FGS 인코딩 과정과 동일하게 원본 프레임 O로부터 참조 프레임 B ₀ 를 차분한 잔차(이하 R1이라 함)를 변환 및 양자화하고 역 양자화 및 역 변환을 하여 복원 프레임 REC ₁ 를 생성한다. 그리고 복원된 프레임 REC ₁ 에 디블록 D ₁ 을 수행하여 프레임 O ₁ 을 생성하고 원본 프레임 대신 프레임 O ₁ 을 새로운 원본 프레임으로 하여 잔차(이하 R2라 함)를 재 추정한다. 여기서 새로운 잔차 R2를 수식으로 표현하면 다음과 같다.

R2 = D

₁ (B

₀ +R1') - B

₀

= O ₁ - B ₀

여기서 R1'는 R1이 변환 및 양자화 된 후 복원된 잔차를 의미한다.

프레임 O ₁ 으로부터 참조 프레임B ₀ 를 차분한 잔차를 변환 및 양자화하여 제 1 FGS 계층의 비트스트림을 생성하여 디코더에 전송한다. 한편, 재 추정된 잔차를 역 양자화 및 역 변환한 값과 참조 프레임 B ₀ 를 더하여 복원된 REC ₁ '을 상위 향상 계층(제 2 FGS 계층)의 참조 프레임(B ₁ )으로 사용한다. REC ₁ ' 프레임을 식으로 표현하면 다음과 같다.

REC

₁ ' = T

^-1 (Q

^-1 (Q(T(D

₁ (B

₀ +R1') - B

₀ ))))

잔차를 재 추정하는 과정(350)의 변환 및 양자화 과정은 동일한 계층의 FGS 인코딩을 위해 사용된 변환 및 양자화 과정과 동일하다.

제 2 FGS 계층에서도 상술한 제 1 FGS 계층과 동일한 과정을 통하여 새로운 잔차를 코딩하여 전송할 수 있다.

본 실시예에서는 기초 계층에서 디블록 D ₀ 가 수행되므로 향상 계층에서 적용되는 디블록 D _n 은 D ₀ 보다 약한 세기의 디블록을 수행할 수 있다.

도 4는 본 발명의 실시예에 따른 인코더(400)를 보여주는 블록도이다.

본 실시예에 따른 인코더는 도 3에 도시된 FGS 인코딩에서의 잔차 재 추정을 수행하는 것으로서, 크게 기초 계층 인코더(410) 및 향상 계층 인코더(450)를 포함할 수 있다. 본 실시예는 하나의 기초 계층과 하나의 향상 계층을 사용하는 경우를 예로 든 것이지만, 더 많은 계층을 이용하더라도 본 발명을 적용할 수 있음은 당업자라면 충분히 알 수 있을 것이다.

기초 계층 인코더(410)는 모션 추정부(412), 모션 보상부(414), 공간적 변환부(418), 양자화부(420), 엔트로피 부호화부(422), 역 양자화부(424), 역 공간적 변환부(426) 및 디블록부(430)를 포함하여 구성될 수 있다.

모션 추정부(412)는 입력 비디오 프레임 중에서, 참조 프레임을 기준으로 현재 프레임의 모션 추정을 수행하고 모션 벡터를 구한다. 본 실시예에서는 디블록부(430)로부터 디블록된 복원 프레임을 제공받아 예측을 위한 모션 벡터를 구한다. 이러한 움직임 추정을 위해 널리 사용되는 알고리즘은 블록 매칭(block matching) 알고리즘이다. 즉, 주어진 모션 블록을 참조 프레임의 특정 탐색영역 내에서 픽셀단위로 움직이면서 그 에러가 최저가 되는 경우의 변위를 움직임 벡터로 추정하는 것이다. 모션 추정을 위하여 고정된 크기의 모션 블록을 이용할 수도 있지만, 계층적 가변 사이즈 블록 매칭법(Hierarchical Variable Size Block Matching; HVSBM)에 의한 가변 크기를 갖는 모션 블록을 이용하여 모션 추정을 수행할 수도 있다. 모션 추정부(412)는 모션 추정 결과 구해지는 모션 벡터, 모션 블록의 크기, 참조 프레임 번호 등의 모션 데이터를 엔트로피 부호화부(422)에 제공한다.

모션 보상부(414)는 상기 모션 추정부(412)에서 계산된 모션 벡터를 이용하 여 순방향 참조 프레임 또는 역방향 참조 프레임에 대하여 모션 보상(motion compensation)을 수행함으로써 현재 프레임에 대한 시간적 예측 프레임을 생성한다.

차분기(416)는 현재 프레임과 모션 보상부(414)로부터 제공된 시간적 예측 프레임을 차분함으로써 비디오의 시간적 중복성을 제거한다.

공간적 변환부(418)는 차분기(416)에 의하여 시간적 중복성이 제거된 프레임에 대하여, 공간적 스케일러빌리티를 지원하는 공간적 변환법을 사용하여 공간적 중복성을 제거한다. 이러한 공간적 변환법으로는 주로 DCT(Discrete Cosine Transform), 웨이블릿 변환(wavelet transform) 등이 사용되고 있다. 공간적 변환 결과 구해지는 계수들을 변환 계수라고 하는데, 공간적 변환으로 DCT를 사용하는 경우 DCT 계수라고 하고, 웨이블릿 변환을 사용하는 경우 웨이블릿 계수라고 한다.

양자화부(420)는 공간적 변환부(418)에서 구한 변환 계수를 양자화한다. 양자화(quantization)란 임의의 실수 값으로 표현되는 상기 변환 계수를 일정 구간으로 나누어 불연속적인 값(discrete value)으로 나타내고, 이를 소정의 인덱스로 매칭(matching)시키는 작업을 의미한다.

엔트로피 부호화부(422)는 양자화부(420)에 의하여 양자화된 변환 계수와, 모션 추정부(412)에 의하여 제공되는 모션 데이터를 무손실 부호화하고 출력 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding) 등이 사용될 수 있다.

비디오 인코더(400)가 인코더 단과 디코더 단 간의 드리프팅 에러(drifting error)를 감소하기 위한 폐루프 비디오 인코딩(closed-loop video encoder)을 지원하는 경우에는, 역양자화부(424), 역 공간적 변환부(426) 등을 더 포함할 수 있다.

역 양자화부(424)는 양자화부(420)에서 양자화된 계수를 역 양자화한다. 이러한 역 양자화 과정은 양자화 과정의 역에 해당되는 과정이다.

역 공간적 변환부(426)는 상기 역양자화 결과를 역 공간적 변환하고 이를 가산기(664)에 제공한다.

가산기(416)는 역 공간적 변환부(426)로부터 제공되는 복원된 잔차 프레임과, 모션 보상부(414)로부터 제공되어 프레임 버퍼(미도시됨)에 저장된 예측 프레임을 가산하여 비디오 프레임을 복원하고, 복원된 비디오 프레임을 디블록부(430)에 제공한다.

디블록부(430)는 가산기(428)로부터 복원된 비디오 프레임을 제공받아 프레임 내의 블록들간의 경계에 의한 인위성을 제거하는 디블록을 수행한다. 디블록된 복원 비디오 프레임은 향상 계층 인코더(450)에 참조 프레임으로서 제공된다.

한편, 향상 계층 인코더(450)는 공간적 변환부(454), 양자화부(456), 엔트로피 부호화부(468), 역 양자화부(458), 역 공간적 변환부(460), 및 디블록부(464)를 포함하여 구성될 수 있다.

차분기(452)는 현재 프레임으로부터 기초 계층에 의해 제공된 참조 프레임을 차분하여 잔차 프레임을 생성한다. 잔차 프레임은 공간적 변환부(454), 양자화부(456)를 거쳐 코딩되고, 역 양자화부(458), 역 공간적 변환부(460)를 겨쳐 복원된다.

가산기(462)는 역 공간적 변환부(460)로부터 제공받은 복원된 잔차 프레임과 기초 계층에 의해 제공된 참조 프레임을 더하여 복원된 프레임을 생성한다. 복원된 프레임은 디블록부(464)에 의해 디블록 되는데, 차분기(466)는 디블록된 프레임을 새로운 현재 프레임으로 삼아 새로운 잔차 프레임을 생성하여 공간적 변환부(454)에 제공한다. 새로운 잔차 프레임은 공간적 변환부(454), 양자화부(456) 및 엔트로피 부호화부(468)를 거쳐 향상 계층 비트스트림을 생성하고, 역 양자화부(458) 및 역 공간적 변환부(460)를 거쳐 복원된다. 가산기(462)는 복원된 새로운 잔차 이미지와 기초 계층에 의해 제공된 참조 프레임을 더하여 복원된 새로운 프레임을 상위 향상 계층에 참조 프레임으로서 제공한다.

공간적 변환부(454), 양자화부(456), 엔트로피 부호화부(468), 역 양자화부(458), 역 공간적 변환부(460)의 동작은 기초 계층에 존재하는 동일 명칭의 구성요소와 마찬가지이므로 중복된 설명은 생략하기로 한다.

지금까지, 도 4에서는 다른 식별 번호를 가지면서 동일한 명칭을 갖는 구성요소들이 복수 개 존재하는 것으로 하여 설명하였지만, 특정 명칭을 갖는 하나의 구성요소가 기초 계층 및 향상 계층에서의 동작을 모두 처리하는 것으로 설명할 수도 있음은 당업자에게는 자명한 사실이다.

도 5는 본 발명의 실시예에 따른 디코더를 보여주는 블록도이다.

비디오 디코더(500)는 크게 기초 계층 디코더(510)와 향상 계층 디코더(550)를 포함하여 구성될 수 있다.

향상 계층 디코더(550)는 엔트로피 복호화부(555), 역 양자화부(560), 역 공 간적 변환부(565)를 포함하여 구성될 수 있다.

엔트로피 복호화부(555)는 엔트로피 부호화 방식의 역으로 무손실 복호화를 수행하여, 텍스쳐 데이터를 추출한다. 그리고, 텍스쳐 정보는 역 양자화부(560)에 제공한다.

역 양자화부(560)는 엔트로피 복호화부(555)로부터 전달된 텍스쳐 정보를 역 양자화한다. 역 양자화 과정은 인코더(600) 단에서 소정의 인덱스로 표현하여 전달한 값으로부터 이와 매칭되는 양자화된 계수를 찾는 과정이다.

역 공간적 변환부(565)는 공간적 변환을 역으로 수행하여, 상기 역 양자화 결과 생성된 계수들을 공간적 영역에서의 잔차 이미지로 복원한다. 예를 들어, 비디오 인코더 단에서 웨이블릿 방식으로 공간적 변환된 경우에는 역 공간적 변환부(565)는 역 웨이블릿 변환을 수행할 것이고, 비디오 인코더 단에서 DCT 방식으로 공간적 변환된 경우에는 역 DCT 변환을 수행할 것이다.

가산기(570)는 역 공간적 변환부에서 복원되는 잔차 이미지와 기초 계층 디코더의 디블록부(540)로부터 제공되는 참조 프레임을 가산하여 비디오 프레임을 복원한다.

한편, 기초 계층 디코더(510)는 엔트로피 복호화부(515), 역 양자화부(520), 역 공간적 변환부(525), 모션 보상부(530), 및 디블록부(540)를 포함하여 구성될 수 있다.

엔트로피 복호화부(515)는 엔트로피 부호화 방식의 역으로 무손실 복호화를 수행하여, 텍스쳐 데이터 및 모션 데이터를 추출한다. 그리고, 텍스쳐 정보는 역 양자화부(520)에 제공한다.

모션 보상부(530)는 엔트로피 복호화부(515)로부터 제공되는 모션 데이터를 이용하여, 기 복원된 비디오 프레임을 모션 보상하여 모션 보상 프레임을 생성한다. 물론, 이와 같이 모션 보상 과정은 현재 프레임이 인코더 단에서 시간적 예측 과정을 통하여 부호화된 경우에 한하여 적용된다.

가산기(535)는 역 공간적 변환부(525)에서 복원되는 잔차 이미지가 시간적 예측에 의하여 생성된 것일 때에는, 상기 잔차 이미지와 모션 보상부(530)로부터 제공되는 모션 보상된 프레임을 가산하여 비디오 프레임을 복원한다.

디블록부(540)는 도 4에 도시된 기초 계층 인코더의 디블록부(430)에 대응하는 것으로 가산기(535)에 의해 복원된 비디오 프레임을 디블록하여 기초 계층 프레임을 생성하고 이 기초 계층 프레임을 향상 계층 디코더(550)의 가산기(570)에 참조 프레임으로서 제공한다.

이외에, 역 양자화부(520), 역 공간적 변환부(525)의 동작은 향상 계층에 존재하는 동일 명칭의 구성요소와 마찬가지이므로 중복된 설명은 하지 않기로 한다.

지금까지, 도 5에서는 다른 식별 번호를 가지면서 동일한 명칭을 갖는 구성요소들이 복수 개 존재하는 것으로 하여 설명하였지만, 특정 명칭을 갖는 하나의 구성요소가 기초 계층 및 향상 계층에서의 동작을 모두 처리하는 것으로 설명할 수도 있음은 당업자에게는 자명한 사실이다.

지금까지는 SVM 3.0기반의 FGS 인코딩 과정에서의 잔차 재 추정 과정을 설명하였는바, 본 발명의 실시예에 따른 잔차 재 추정 과정은 일반적인 다 계층 구조의 비디오 코딩에도 확장될 수 있다. 즉 원본 프레임으로부터 예측 프레임을 차분한 잔차 대신 디블록된 복원된 프레임을 새로운 원본 프레임으로 하여 잔차를 재 추정함으로써 디블록에 의해 제거될 불필요한 데이터를 미리 제거하고 전송되는 비트 수를 감소시키게된다. 도 6은 본 발명의 또 다른 실시예로서 일반적인 다 계층 구조에서의 잔차 재 추정 과정을 보여주는 도면이다.

일반적인 다 계층 구조의 제 N 계층에서는 원본 프레임 O _n 으로부터 예측 프레임 P _n 을 차분한 잔차 이미지를 변환 및 양자화하여 디코더 측으로 전송하고, 그 잔차를 역 양자화 및 역 변환한 값에 예측 프레임 P _n 을 더하여 복원된 프레임 REC _n 를 생성한다. 그리고 REC _n 에 디블록 D _n 을 수행함으로써 향후 예측을 위한 참조 프레임을 생성하여 제공하게 된다. 그러나 본 실시예에 따른 제 N 계층은 상술한 잔차 생성 및 프레임 복원 과정 후 얻어지는 복원된 프레임 REC에 디블록D _n 을 적용한 O _n ' 를 새로운 원본 프레임으로 삼아 이로부터 인터 예측된(inter-predicted) 프레임 (또는 매크로블록) P를 차분한 새로운 잔차 이미지를 생성한다. 그리고 새로운 잔차 이미지를 변환 및 양자화하여 디코더 측으로 전송하게 된다. 한편, 새로운 잔차를 다시 역 양자화 및 역 변환하고 예측 프레임 P _n 과 더하여 복원되는 프레임 REC _n '은 다른 프레임의 예측 프레임을 생성하기 위한 참조 프레임으로 사용되게 된다.

도 7은 본 발명의 다른 실시예에 따른 인코더를 보여주는 블록도이다.

제 N 계층 인코더(700)는 다운 샘플러(715), 모션 추정부(720), 모션 보상부(725), 공간적 변환부(735), 양자화부(740), 역양자화부(745), 역공간적 변환부(750), 디블록부(760), 업샘플러(770) 및 엔트로피 부호화부(775)를 포함하여 구성될 수 있다.

다운 샘플러(715)는 원 입력 프레임을 제 N 계층의 해상도로 다운샘플링(down-sampling) 한다. 다만, 이는 상위 향상 계층의 해상도와 제 N 계층의 해상도가 서로 다른 것을 전제로 하는 것이며, 만약 양 계층의 해상도가 서로 같다면 다운샘플링 과정은 생략될 수도 있다.

차분기(730)는 현재 프레임과 모션 보상부(725)에 의해 생성된 시간적 예측 프레임을 차분함으로써 비디오의 시간적 중복성을 제거한다.

공간적 변환부(735)는 차분기(730)에 의하여 시간적 중복성이 제거된 프레임에 대하여, 공간적 스케일러빌리티를 지원하는 공간적 변환법을 사용하여 공간적 중복성를 제거한다. 또한, 가산기(755)와 디블록부(760)에 의해 복원된 프레임으로부터 모션 보상부(725)에 의해 생성된 시간적 예측 프레임을 차분한 새로운 잔차 이미지의 공간적 중복성을 제거한다.

가산기(755)는 역 공간적 변환부(750)에 의해 복원된 잔차 이미지(입력 프레임으로부터 시간적 예측 프레임을 차분한 값)를 시간적 예측 프레임과 더하여 제 N 계층의 입력 프레임을 복원하여 디블록부(760)에 제공한다.

디블록부(760)는 가산기(755)에 의해 복원된 제 N 계층의 입력 프레임을 디블록하여 새로운 제 N 계층의 입력 프레임을 생성하고 이를 차분기(765)에 제공한 다.

업샘플러(770)는 가산기(755)로부터 출력되는 신호, 즉 새로운 잔차 이미지와 시간적 예측 프레임을 더하여 복원된 새로운 제 N 계층 비디오 프레임을 필요시 업샘플링하여 상위 향상 계층 인코더에 참조 프레임으로 제공한다. 물론, 상위 향상 계층의 해상도와 제 N 계층의 해상도가 동일하다면 업샘플러(770)는 사용되지 않을 수 있다.

이외에, 모션 추정부(720), 모션 보상부(725), 양자화부(740), 역양자화부(745), 역공간적 변환부(750), 엔트로피 부호화부(775)의 동작은 도 4에 도시된 FGS 인코더에 존재하는 동일 명칭의 구성요소와 마찬가지이므로 중복된 설명은 하지 않기로 한다.

도 8은 본 발명의 다른 실시예에 따른 디코더를 보여주는 블록도이다.

제 N 계층 디코더(800)는 엔트로피 복호화부(810), 역 양자화부(820), 역 공간적 변환부(830), 모션 보상부(840) 및 업샘플러(860)를 포함하여 구성될 수 있다.

업샘플러(860)는 제 N 계층 디코더(800)에서 복원되는 제 N 계층 이미지를 상위 향상 계층의 해상도로 업샘플링하여 상위 향상 계층에 제공한다. 물론, 제 N 계층의 해상도와 상위 향상 계층의 해상도가 같다면 이러한 업샘플링 과정은 생략될 수 있다.

이외에, 엔트로피 복호화부(810), 역양자화부(820), 역 공간적 변환부(830), 모션 보상부(840)의 동작은 도 5에 도시된 FGS 디코더에 존재하는 동일 명칭의 구 성요소와 마찬가지이므로 중복된 설명은 하지 않기로 한다.

지금까지 도 4, 도 5, 도 7, 및 도 8의 각 구성요소는 소프트웨어(software) 또는, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)를 의미할 수 있다. 그렇지만 상기 구성요소들은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 어드레싱(addressing)할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 상기 구성요소들 안에서 제공되는 기능은 더 세분화된 구성요소에 의하여 구현될 수 있으며, 복수의 구성요소들을 합하여 특정한 기능을 수행하는 것으로 구현할 수도 있다. 뿐만 아니라, 상기 구성요소들은 시스템 내의 하나 또는 그 이상의 컴퓨터들을 실행시키도록 구현될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

상기한 바와 같은 본 발명의 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.

첫째, 디블록에 의해 필요없는 정보를 미리 제거한 프레임을 원본 프레임으 로 사용함으로써 잔차 신호를 감소시켜 사용되는 비트 수를 감소시킬 수 있다는 장점이 있다.

둘째, 다 계층 구조의 비디오 코딩에 있어서 각 계층마다 디블록 과정을 수행할 수 있도록 함으로써 블록 인위성이 제거된 향상된 질을 가진 비디오를 제공할 수 있다는 장점도 있다.