스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법, 디코딩 방법, 비디오 인코더 및 비디오 디코더{Video encoding method, video decoding method, video encoder, and video decoder, which use smoothing prediction}

도 1은 종래의 인터 예측 기법을 설명하는 도면이다.

도 2는 종래의 인트라 베이스 예측 기법을 설명하는 도면이다.

도 3은 종래의 잔차 예측 기법을 설명하는 도면이다.

도 4는 본 발명의 일 실시예에 따른 스무딩 예측 기법을 설명하는 도면이다.

도 5는 4x4 크기의 서브블록의 수직 경계에 대하여 스무딩 필터를 적용하는 예를 보여주는 도면이다.

도 6은 4x4 크기의 서브블록의 수평 경계에 대하여 스무딩 필터를 적용하는 예를 보여주는 도면이다.

도 7은 본 발명의 일 실시예에 따른 비디오 인코더의 구성을 도시한 블록도이다.

도 8은 본 발명의 일 실시예에 따른 비디오 디코더의 구성을 도시한 블록도이다.

도 9는 도 7의 비디오 인코더 또는 도 8의 비디오 디코더를 구현하기 위한 시스템의 구성도이다.

(도면의 주요부분에 대한 부호 설명)

100 : 비디오 인코더 105, 205 : 모션 추정부

103 : 다운샘플러 110, 210, 350, 450 : 모션 보상부

120,220 : 변환부 125, 225 : 양자화부

130 : 스무딩 필터 140, 380 : 업샘플러

150 : 엔트로피 부호화부 300 : 비디오 디코더

310, 410 : 역 양자화부 320, 420 : 역 변환부

370 : 스무딩 필터

본 발명은 비디오 코딩 기술에 관한 것으로, 보다 상세하게는 다계층 기반의 비디오 코딩에 있어서, 블록 인위성(block artifact)을 감소시키는 방법 및 장치에 관한 것이다.

PFGS(Progressive Fine Granular Scalability) 알고리즘의 연산량을 감소시키는 방법, 그 방법을 이용한 비디오 코딩 방법 및 장치에 관한 것이다.

인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로 하며 전송시에 넓은 대역폭을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.

데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy) 요소를 제거하는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 픽쳐에서 인접 픽쳐가 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려하여 지각적 중복을 제거함으로써 데이터를 압축할 수 있다. 일반적인 비디오 코딩 방법에 있어서, 시간적 중복은 모션 보상에 근거한 시간적 필터링(temporal filtering)에 의해 제거하고, 공간적 중복은 공간적 변환(spatial transform)에 의해 제거한다.

데이터의 중복을 제거한 후 생성되는 멀티미디어를 전송하기 위해서는, 전송매체가 필요한데 그 성능은 전송매체 별로 차이가 있다. 현재 사용되는 전송매체는 초당 수십 메가 비트의 데이터를 전송할 수 있는 초고속 통신망부터 초당 384kbit의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다. 이와 같은 환경에서, 다양한 속도의 전송매체를 지원하기 위하여 또는 전송환경에 따라 이에 적합한 전송률로 멀티미디어를 전송할 수 있도록 하는, 즉 스케일러블 비디오 코딩(scalable video coding) 방법이 멀티미디어 환경에 보다 적합하다 할 수 있다.

스케일러블 비디오 코딩이란, 이미 압축된 비트스트림(bit-stream)에 대하여 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라 상기 비트스트림의 일부를 잘라내어 비디오의 해상도, 프레임율, 및 SNR(Signal-to-Noise Ratio) 등을 조절할 수 있게 해주는 부호화 방식, 즉 다양한 스케일러빌리티(scalability)를 지원하는 부호화 방식을 의미한다.

현재, MPEG (Moving Picture Experts Group)과 ITU (International Telecommunication Union)의 공동 작업 그룹(working group)인 JVT (Joint Video Team)에서는 H.264를 기본으로 하여 다계층(multi-layer) 형태로 스케일러빌리티를 구현하기 위한 표준화 작업(이하, H.264 SE(scalable extension)이라 함)을 진행 중에 있다.

H.264 SE와 다계층 기반의 스케일러블 비디오 코덱(codec)은 기본적으로 인터 예측(inter prediction), 방향적 인트라 예측(directional intra prediction; 이하 단순히 인트라 예측이라고 함), 잔차 예측(residual prediction), 및 인트라 베이스 예측(intra base prediction)의 4가지 예측 모드를 지원한다. "예측"이라 함은 인코더 및 디코더에서 공통으로 이용 가능한 정보로부터 생성된 예측 데이터를 이용하여 오리지널 데이터를 압축적으로 표시하는 기법을 의미한다.

상기 4가지 예측 모드 중에서 인터 예측은 기존의 단일 계층 구조를 갖는 비디오 코덱에서도 일반적으로 사용되는 예측 모드이다. 인터 예측은, 도 1에 도시하는 바와 같이, 적어도 하나 이상의 참조 픽쳐로부터 현재 픽쳐의 어떤 블록(현재 블록)과 가장 유사한 블록을 탐색하고 이로부터 현재 블록을 가장 잘 표현할 수 있는 예측 블록을 얻은 후, 상기 현재 블록과 상기 예측 블록과의 차분을 양자화하는 방식이다.

인터 예측은 참조 픽쳐를 참조하는 방식에 따라서, 두 개의 참조 픽쳐가 쓰이는 양방향 예측(bi-directional prediction)과, 이전 참조 픽쳐가 사용되는 순방향 예측(forward prediction)과, 이후 참조 픽쳐가 사용되는 역방향 예측(backward prediction) 등이 있다.

한편, 인트라 예측도 H.264와 같은 단일 계층의 비디오 코덱에서도 사용되는 예측 기법이다. 인트라 예측은, 현재 블록의 주변 블록 중 현재 블록과 인접한 픽셀을 이용하여 현재 블록을 예측하는 방식이다. 인트라 예측은 현재 픽쳐 내의 정보만을 이용하며 동일 계층 내의 다른 픽쳐나 다른 계층의 픽쳐를 참조하지 않는 점에서 다른 예측 방식과 차이가 있다.

인트라 베이스 예측(intra base prediction)은 다계층 구조를 갖는 비디오 코덱에서, 현재 픽쳐가 동일한 시간적 위치를 갖는 하위 계층의 픽쳐(이하 "기초 픽쳐"라 함)를 갖는 경우에 사용될 수 있다. 도 2에서 도시하는 바와 같이, 현재 픽쳐의 매크로블록은 상기 매크로블록과 대응되는 상기 기초 픽쳐의 매크로블록으로부터 효율적으로 예측될 수 있다. 즉, 현재 픽쳐의 매크로블록과 상기 기초 픽쳐의 매크로블록과의 차분이 양자화된다.

만일 하위 계층의 해상도와 현재 계층의 해상도가 서로 다른 경우에는, 상기 차분을 구하기 전에 상기 기초 픽쳐의 매크로블록은 상기 현재 계층의 해상도로 업샘플링되어야 할 것이다. 이러한 인트라 베이스 예측은 인터 예측의 효율이 높지 않는 경우, 예를 들어, 움직임이 매우 빠른 영상이나 장면 전환이 발생하는 영상에서 특히 효과적이다. 상기 인트라 베이스 예측은 인트라 BL 예측(intra BL prediction)이라고 불리기도 한다.

마지막으로, 잔차 예측을 통한 인터 예측(Inter-prediction with residual prediction; 이하 단순히 "잔차 예측"이라고 함)은 기존의 단일 계층에서의 인터 예측을 다계층의 형태로 확장한 것이다. 도 3에서 보는 바와 같이 잔차 예측에 따르면, 현재 계층의 인터 예측 과정에서 생성된 차분을 직접 양자화하는 것이 아니라, 상기 차분과 하위 계층의 인터 예측 과정에서 생성된 차분을 다시 차감하여 그 결과를 양자화한다.

다양한 비디오 시퀀스의 특성을 감안하여, 상술한 4가지 예측 방법은 픽쳐를 이루는 매크로블록 별로 그 중에서 보다 효율적인 방법이 선택된다. 예를 들어, 움직임이 느린 비디오 시퀀스에서는 주로 인터 예측 내지 잔차 예측이 선택될 것이며, 움직임이 빠른 비디오 시퀀스에서는 주로 인트라 베이스 예측이 선택될 것이다.

다계층 구조를 갖는 비디오 코덱은 단일 계층으로 된 비디오 코덱에 비하여 상대적으로 복잡한 예측 구조를 가지고 있을 뿐만 아니라, 개방 루프(open-loop) 구조가 주로 사용됨으로써, 단일 계층 코덱에 비하여 블록 인위성(blocking artifact)이 많이 나타난다. 특히, 상술한 잔차 예측의 경우는 하위 계층 픽쳐의 잔차 신호를 사용하는데, 이것이 현재 계층 픽쳐의 인터 예측된 신호의 특성과 차이가 큰 경우에는 심한 왜곡이 발생될 수 있다.

반면에, 인트라 베이스 예측시 현재 픽쳐의 매크로블록에 대한 예측 신호, 즉 기초 픽쳐의 매크로블록은 오리지널 신호가 아니라 양자화된 후 복원된 신호이 다. 따라서, 상기 예측 신호는 인코더 및 디코더 모두 공통으로 얻을 수 있는 신호이므로 인코더 및 디코더간의 미스매치(mismatch)가 발생하지 않고, 특히 상기 예측 신호에 스무딩 필터를 적용한 후 현재 픽쳐의 매크로블록과의 차분을 구하기 때문에 블록 인위성도 많이 줄어든다.

그런데, 인트라 베이스 예측은 현재 H.264 SE의 작업 초안(working draft)으로 채택되어 있는 저복잡성 디코딩(low complexity decoding) 조건에 따르면 그 사용이 제한된다. 즉, H.264 SE에서는 인코딩은 다계층 방식으로 수행하더라도 디코딩 만큼은 단일 계층 비디오 코덱과 유사한 방식으로 수행될 수 있도록, 특정한 조건을 만족하는 경우에만 인트라 베이스 예측을 사용할 수 있도록 한다.

상기 저복잡성 디코딩 조건에 따르면, 현재 계층의 어떤 매크로블록에 대응되는 하위 계층의 매크로블록의 매크로블록 종류(macroblock type)가 인트라 예측 모드 또는 인트라 베이스 예측 모드인 경우에만, 상기 인트라 베이스 예측이 사용된다. 이는 디코딩 과정에서 가장 많은 연산량을 차지하는 모션 보상 과정에 따른 연산량을 감소시키기 위함이다. 반면에, 인트라 베이스 예측을 제한적으로만 사용하게 되므로 움직임이 빠른 영상에서의 성능이 많이 하락하는 문제가 있다.

따라서, 상기 저복잡성 조건 또는 기타 다른 조건에 따라서 인터 예측 또는 잔차 예측이 사용되는 경우에 있어서 인코더-디코더 간의 미스매치, 블록 인위성 등 각종 왜곡을 감소시킬 수 있는 기술이 필요하다.

본 발명이 이루고자 하는 기술적 과제는, 다계층 기반의 비디오 코덱에서 인 터 예측 또는 잔차 예측시 코딩 성능을 향상시키는 것을 목적으로 한다.

본 발명의 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기한 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 비디오 인코딩 방법은, (a) 현재 픽쳐의 어떤 블록과 대응되는 하위 픽쳐의 블록에 대한 인터 예측 블록과 상기 하위 픽쳐의 블록과의 차분을 구하는 단계; (b) 상기 구한 차분과, 상기 현재 픽쳐의 블록에 대한 인터 예측 블록을 가산하는 단계; (c) 상기 가산 결과 생성되는 블록을 스무딩 필터를 이용하여 스무딩하는 단계; 및 (d) 상기 현재 픽쳐의 블록과 상기 스무딩 결과 생성되는 블록과의 차분을 부호화하는 단계를 포함한다.

상기한 기술적 과제를 달성하기 위하여, 본 발명의 다른 실시예에 따른 비디오 인코딩 방법은, (a) 현재 픽쳐의 어떤 블록에 대한 인터 예측 블록을 생성하는 단계; (b) 상기 생성된 인터 예측 블록을 스무딩 필터를 이용하여 스무딩하는 단계; (c) 상기 현재 픽쳐의 블록과 상기 스무딩 결과 생성되는 블록과의 차분을 구하는 단계; 및 (d) 상기 차분을 부호화하는 단계를 포함한다.

상기한 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 비디오 디코딩 방법은, (a) 입력된 비트스트림에 포함되는 현재 픽쳐의 어떤 블록에 대한 텍스쳐 데이터로부터 상기 블록의 잔차 신호를 복원하는 단계; (b) 상기 비트스트 림에 포함되며, 상기 블록과 대응되는 하위 픽쳐의 블록에 대한 잔차 신호를 복원하는 단계; (c) 상기 (b) 단계에서 복원된 잔차 신호와 상기 현재 픽쳐에 대한 인터 예측 블록을 가산하는 단계; (d) 상기 가산 결과 생성되는 블록을 스무딩 필터를 이용하여 스무딩하는 단계; 및 (e) 상기 (a) 단계에서 복원된 잔차 신호와 상기 스무딩 결과 생성되는 블록을 가산하는 단계를 포함한다.

상기한 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 비디오 인코더는, 현재 픽쳐의 어떤 블록에 대한 인터 예측 블록을 생성하는 수단; 상기 생성된 인터 예측 블록을 스무딩 필터를 이용하여 스무딩하는 수단; 상기 현재 픽쳐의 블록과 상기 스무딩 결과 생성되는 블록과의 차분을 구하는 수단; 및 상기 차분을 부호화하는 수단을 포함한다.

상기한 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 비디오 디코딩 방법은, 입력된 비트스트림에 포함되는 현재 픽쳐의 어떤 블록에 대한 텍스쳐 데이터로부터 상기 블록의 잔차 신호를 복원하는 수단; 상기 비트스트림에 포함되며, 상기 블록과 대응되는 하위 픽쳐의 블록에 대한 잔차 신호를 복원하는 수단; 상기 하위 픽쳐의 블록에 대한 잔차 신호와 상기 현재 픽쳐에 대한 인터 예측 블록을 가산하는 수단; 상기 가산 결과 생성되는 블록을 스무딩 필터를 이용하여 스무딩하는 수단; 및 상기 현재 픽쳐의 어떤 블록에 대한 잔차 신호와 상기 스무딩 결과 생성되는 블록을 가산하는 수단을 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

현재 픽쳐의 블록을 O _F , 현재 픽쳐를 인터 예측하여 얻은 예측 블록을 P _F , 상기 현재 픽쳐의 블록에 대응되는 기초 픽쳐의 블록을 O _B , 기초 픽쳐를 인터 예측하여 얻은 예측 블록을 P _B 라고 하자. 그러면, 상기 O _B 가 갖는 잔차 신호인 R _B 는 O _B -P _B 로부터 구해진다.

이때, O _B , P _B , R _B 는 이미 양자화된 후 복원된 값이며, O _F , P _F 는 개방 루프 방식의 경우에는 오리지널 신호, 폐쇄 루프(closed-loop) 방식의 경우에는 양자화 후 복원된 값을 의미한다. 이 때, 현재 픽쳐에서 코딩하고자 하는 값을 R _F 라고 하면, 잔차 예측은 다음의 수학식 1과 같이 표현될 수 있다.

한편, 인트라 베이스 예측은 다음의 수학식 2와 같이 표현될 수 있다.

수학식 1 및 2를 비교하면 일견 공통점이 없어 보이지만 각 수학식을 다음의 수학식 3 및 4로 각각 다시 표현함으로써 그 유사성을 비교할 수 있다.

수학식 4에서 U는 업샘플링 함수를 나타내고, B는 디블록 함수를 나타낸다. 업샘플링함수는 현재 계층과 하위 계층간에 해상도가 다른 경우에만 적용되므로 선택적으로 적용될 수 있다는 의미에서 [U]로 표시하였다.

수학식 3과 수학식 4를 비교해 보면, R _B 는 양자에 공통이며, 가장 큰 차이점은 수학식 3에서는 현재 계층의 인터 예측된 예측 블록인 P _F 를, 수학식 4에서는 하위 계층의 인터 예측된 예측 블록인 P _B 를 사용하는 점이다. 또한, 인트라 베이스 예측의 경우에는 디블록 함수 및 업샘플링 함수가 적용되면, 복원되는 픽쳐의 이미지가 부드럽게 되어 블록 인위성이 감소된다.

반면에, 수학식 3의 경우 P _B 로부터 구한 기초 픽쳐의 잔차 신호인 R _B 를 현재 픽쳐의 인트 예측된 블록인 P _F 에 더함으로써 계층간 미스매치 또는 블록 인위성이 발생할 수 있다. 물론, 인트라 베이스 예측을 사용한다면 이러한 문제가 완화되겠지만, 잔차 예측에 비하여 인트라 베이스 예측의 효율이 높지 않은 경우에까지 인트라 베이스 예측을 사용할 수는 없다. 또한, 저복잡성 디코딩 조건이 적용되는 경우에는 인트라 베이스 예측이 보다 효율적인 상황에서도 인트라 베이스 예측이 사용되지 않는 블록들이 증가되어 성능 하락이 두드러지게 된다. 따라서, 이러한 경우에는 잔차 예측을 사용하면서도 블록 인위성을 줄일 수 있는 방법을 강구하여야 할 것이다.

본 발명에서는 수학식 3에 스무딩 함수(smoothing function) F를 추가함으로써 기존의 잔차 예측을 보완하고자 한다. 본 발명에 따르면, 양자화되어야 할 현재 블록의 데이터 R _F 는 다음의 수학식 5와 같이 표현된다.

상기 수학식 5에 따른 예측 모드는 인터 예측에도 그대로 적용될 수 있다. 즉, 인터 예측의 경우에는 R _B 가 0인 경우로 볼 수 있으므로, R _F 는 다음의 수학식 6과 같이 표현될 수 있다.

이상의 수학식 5 및 6에서와 같이 기존의 잔차 예측 또는 인터 예측시 스무딩 필터를 적용하는 기법을 "스무딩 예측(smoothing prediction)"이라고 정의하기로 한다. 스무딩 예측을 수행하는 보다 자세한 과정은 도 4를 참조하여 설명한다. 도 4에서는, 현재 픽쳐의 어떤 블록(20; 이하 '현재 블록'이라고 함)을 부호화하는 과정을 예로 들고 있다. 상기 현재 블록(20)과 대응되는 기초 픽쳐 내의 블록(10)을 이하 '기초 블록'이라고 명명한다.

먼저, 기초 블록(10)과 모션 벡터에 의하여 대응되는 하위 계층의 주변 참조 픽쳐(순방향 참조 픽쳐, 역방향 참조 픽쳐 등)내의 블록(11, 12)으로부터, 기초 블록(10)에 대한 인터 예측 블록(13)을 생성한다(S1). 그리고, 기초 블록과 상기 예측 블록(13)과의 차분(수학식 5에서 R _B 에 해당됨)을 구한다(S2). 한편, 현재 블록(20)과 모션 벡터에 의하여 대응되는 현재 계층의 주변 참조 픽쳐 내의 블록(21, 22)로부터, 현재 블록(20)에 대한 인터 예측 블록(23; 수학식 5에서 P _F 에 해당됨)을 생성한다(S3). S3 단계는 S1, S2 단계 이전에 수행되어도 상관 없다. 일반적으로 상기 '인터 예측 블록'은 부호화하고자 하는 픽쳐 내의 어떤 블록과 대응되는 참조 픽쳐상의 이미지(또는 이미지들)로부터 구해지는, 상기 블록에 대한 예측 블록을 의미한다. 상기 블록과 이미지와의 대응은 모션 벡터에 의하여 표시된다. 일반적으로, 상기 인터 예측 블록은, 참조 픽쳐가 하나인 경우에는 상기 대응되는 이미지 자체를 의미하기도 하고, 참조 픽쳐가 복수인 경우에는 대응되는 이미지들의 가중합을 의미하기도 한다.

그 다음, 예측 블록(23)과 상기 S2 단계에서 구한 차분을 가산한다(S4). 그리고, 상기 가산 결과 생성되는 블록(수학식 5에서 P _F +R _B 에 해당됨)을 스무딩 필터를 적용하여 스무딩한다(S5). 마지막으로, 현재 블록(20)과 상기 스무딩 결과 생성되는 블록(수학식 5에서 F(P _F +R _B )에 해당됨)과의 차분을 구한 후(S6), 상기 차분을 양자화한다(S7).

이상의 도 4는 잔차 예측을 기반으로 한 스무딩 예측 과정을 나타낸 것이다. 만약, 인터 예측을 기반으로 한 스무딩 예측 과정은 이보다는 훨씬 간단해 진다. 즉, 수학식 5에서 하위 계층에 대한 계산과 관련되는 R _B 가 생략되므로, 도 4의 설명에서 S1, S2, S4 과정은 모두 생략된다. 따라서, 현재 계층에서 생성된 인터 예측 블록(23)은 스무딩 필터에 의하여 스무딩된 후, 현재 블록(20)과 상기 스무딩 결과 생성되는 블록(수학식 6에서 F(P _F )에 해당됨)의 차분이 양자화된다.

한편, 스무딩 예측에 실제로 어떠한 스무딩 필터를 적용할 것인가도 중요한 문제이다. 먼저, 수학식 4를 참조한 스무딩 함수를 생각할 수 있다. 상기 스무딩 함수(F)는 가장 간단하게는 디블록 함수(B)만으로 구성될 수 있으며, 또는 상기 함수 B와 함수 U·D를 모두 포함할 수도 있을 것이다.

현재 계층의 해상도와 하위 계층의 해상도가 다른 경우에는 함수 U·D·B, 즉 디블록 함수(B) 적용 이후, 다운샘플링 함수(D) 및 업샘플링 함수(U)을 순차적으로 적용한다. 만약, 계층간의 해상도가 같은 경우는 단순히 디블록 함수(B) 만을 적용한다. 이를 정리하면 다음 수학식 7과 같다.

다만, F는 현재 계층의 해상도에 적용되는 함수이므로, 업샘플링 함수(U) 적용 이전에 다운샘플링 함수(D)가 먼저 적용되었다. 이와 같이 함으로써 인트라 베이스 예측에서와 유사한 방법으로 인터 예측 또는 잔차 예측에서도 블록 인위성을 효과적으로 제거할 수 있다.

한편, 디블록 함수(D)와, 업샘플링 함수(U)가 하는 일은 어차피 스무딩 작업이므로 그 역할이 중복되는 면이 있다. 또한, 디블록 함수, 업샘플링 함수, 다운샘플링 함수 등은 그 적용에 있어 상당한 연산량을 요하고, 다운샘플링 함수는 일반적으로 매우 강한 저역 통과 필터링(low-pass filtering)의 역할을 하므로, 예측시의 이미지의 디테일이 많이 저하될 가능성이 있다.

따라서, 상기 스무딩 필터 적용 과정이 작은 연산량에 의하여 수행될 수 있도록, 상기 스무딩 필터(F)는 블록 경계에 위치한 픽셀 및 주변 픽셀의 선형 결합으로 나타낼 수 있다.

도 5 및 도 6은 이러한 스무딩 필터의 예로서, 4x4 크기의 서브블록의 수직 경계 및 수평 경계에 대하여 스무딩 필터를 적용하는 예를 보여준다. 도 5 및 도 6에서 경계 부분에 위치한 픽셀(x(n-1), x(n))은 그들 자신과 그 주변의 픽셀들의 선형 결합의 형태로 스무딩될 수 있다. 픽셀 x(n-1), x(n)에 대하여 스무딩 필터를 적용한 결과를 각각 x'(n-1), x'(n)로 표시한다면, x'(n-1), x'(n)는 다음의 수학식 8과 같이 나타낼 수 있다.

x'(n-1) = α*x(n-2) + β*x(n-1) + γ*x(n)

x'(n) = γ*x(n-1) + β*x(n) + α*x(n+1)

상기 α, β, γ는 그 합은 1이 되도록 적절히 선택될 수 있다. 예컨대, 수학식 8에서 α=1/4, β=1/2, γ=1/4로 선택함으로써 해당 픽셀의 가중치를 주변 픽셀에 비하여 높일 수 있다. 물론, 수학식 8에서 보다 더 많은 픽셀을 주변 픽셀로 선택할 수도 있을 것이다.

이러한 간단한 형태의 스무딩 필터(F)를 사용하면 연산량도 크게 줄일 수 있을 뿐만 아니라, 다운샘플링 등에서 발생되는 이미지 디테일 저하 현상도 어느 정도 방지할 수 있다.

이상에서 설명된 스무딩 예측 기법은 기존의 4가지 예측 방법과 선택적으로 적용될 수 있다. P _F 가 R _B 와의 특성이 잘 매칭되지 않는 이미지에 대해서는 상기 스무딩 예측 기법이 효력을 발휘하는 반면, P _F 가 R _B 와의 특성이 잘 매칭되는 되는 이미지에는 스무딩 예측 기법을 적용하는 것이 오히려 성능의 저하를 가져올 수도 있기 때문이다.

따라서, 매크로블록(macroblock) 별로 플래그(flag)를 하나 두고, 이 플래그의 값에 따라서 인코더가 스무딩 예측 기법과 기존의 예측 기법 중 하나를 선택하 는 것으로 할 수 있다. 디코더는 상기 플래그를 읽음으로써 스무딩 예측 기법을 사용하는지 여부를 알 수 있게 된다. 일반적으로 전체 블록에 비하여 블록 인위성이 발생하는 블록의 수는 그리 많지 않으므로, 상기 플래그를 추가함으로 인해 발생하는 오버헤드 비트(overhead bit)보다는 블록 인위성을 제거함으로써 얻을 수 있는 화질 향상 효과가 더욱 클 것으로 예상할 수 있다.

도 7은 본 발명의 일 실시예에 따른 비디오 인코더(100)의 구성을 도시한 블록도이다. 상기 수학식 1 내지 수학식 8의 설명에서는 픽쳐를 구성하는 블록(매크로블록 또는 서브 블록)을 기준으로 하여 설명하였지만, 이하의 설명에서는 상기 블록을 포함하는 픽쳐의 관점에서 설명하기로 한다. 표현상의 통일을 위하여 상기 블록의 식별자는 픽쳐를 표시하는 "F"라는 문자의 첨자로 표시하였다. 예컨대, R _B 라는 블록을 포함하는 픽쳐는 F _RB 로 표시된다.

비디오 인코더(100)에 의하여 수행되는 동작 과정은 크게 네 개의 단계로 나뉘어질 수 있다. 상기 동작 과정은 현재 픽쳐의 어떤 블록과 대응되는 하위 픽쳐의 블록에 대한 인터 예측 블록과 상기 하위 픽쳐의 블록과의 차분을 구하는 제1 단계와, 상기 구한 차분과, 상기 현재 픽쳐의 블록에 대한 인터 예측 블록을 가산하는 제2 단계와, 상기 가산 결과 생성되는 블록을 스무딩 필터를 이용하여 스무딩하는 제3 단계와, 상기 현재 픽쳐의 블록과 상기 스무딩 결과 생성되는 블록과의 차분을 부호화하는 제4 단계로 이루어진다.

먼저, 제1 단계에 관하여 살펴 본다. 현재 픽쳐(F _OF )는 모션 추정부(105), 버퍼(101), 차분기(115), 및 다운샘플러(103)으로 입력된다.

다운샘플러(210)는 현재 픽쳐(F _OF )를 공간적 및/또는 시간적으로 다운샘플링하여 하위 계층 픽쳐(F _OB )를 생성한다.

모션 추정부(205)는 주변 픽쳐(F _OB ')를 참조하여 하위 계층 픽쳐(F _OB )에 대한 모션 추정을 수행함으로써 모션 벡터(MV _B )를 구한다. 이와 같이 참조되는 주변 픽쳐를 '참조 픽쳐(reference picture)'라고 한다. 일반적으로 이러한 모션 추정을 위해서 블록 매칭(block matching) 알고리즘이 널리 사용되고 있다. 즉, 주어진 블록을 참조 픽쳐의 특정 탐색영역 내에서 픽셀 또는 서브 픽셀(2/2 픽셀, 1/4픽셀 등) 단위로 움직이면서 그 에러가 최저가 되는 경우의 변위를 움직임 벡터로 추정하는 것이다. 모션 추정을 위하여 고정된 크기의 블록 매칭법을 이용할 수도 있지만, H.264 등과 같이 계층적 가변 사이즈 블록 매칭법(Hierarchical Variable Size Block Matching; HVSBM)에 의한 계층적인 방법을 사용할 수도 있다.

그런데, 비디오 인코더(100)가 개방 루프 코덱(open loop codec) 형태로 이루어진다면, 상기 참조 픽쳐로는 버퍼(201)에 저장된 오리지널 주변 픽쳐(F _OB ')를 그대로 이용하겠지만, 폐쇄 루프 코덱(closed loop codec) 형태로 이루어진다면, 상기 참조 픽쳐로는 인코딩 후 디코딩된 픽쳐(미도시됨)를 이용하게 될 것이다. 이하, 본 명세서에서는 개방 루프 코덱을 중심으로 하여 설명할 것이지만 이에 한정되지는 않는다.

모션 추정부(205)에서 구한 모션 벡터(MV _B )는 모션 보상부(210)에 제공된다. 모션 보상부(210)는 상기 모션 벡터(MV _B )를 이용하여 상기 참조 픽쳐(F _OB ')를 모션 보상하고 상기 현재 픽쳐에 대한 예측 픽쳐(F _PB )를 생성한다. 양방향 참조가 사용되는 경우 상기 예측 픽쳐는 모션 보상된 참조 픽쳐의 평균으로 계산될 수 있다. 그리고, 단방향 참조가 사용되는 경우 상기 예측 픽쳐는 모션 보상된 참조 픽쳐와 동일한 것일 수도 있다. 상기 예측 픽쳐(F _PB )는 복수의 인터 예측 블록(P _B )으로 이루어진다.

그리고, 차분기(215)는 상기 하위 계층 픽쳐(F _OB )와 상기 예측 픽쳐(F _PB )와의 차분을 구하여 잔차 픽쳐(F _RB )를 생성한다. 이러한 차분 과정은 블록 단위의 관점에서 보면, 상기 하위 계층 픽쳐(F _OB )에 포함된 블록(O _B )과 상기 예측 픽쳐(F _PB )에 포함된 잔차 블록(R _B )을 차분하는 과정으로 볼 수 있다. 상기 예측 픽쳐(F _PB )는 가산기(135)에 제공된다. 물론, 계층간의 해상도가 상이하다면, 예측 픽쳐(F _PB )는 업샘플러(140)에 의하여 현재 계층의 해상도로 업샘플링(upsampling)된 후 가산기(135)에 제공될 것이다.

다음으로, 제2 단계에 관하여 살펴 본다. 현재 픽쳐(F _OF )는 모션 추정부(105), 버퍼(101), 및 차분기(115)로 입력된다. 모션 추정부(105)는 주변 픽쳐를 참조하여 현재 픽쳐에 대한 모션 추정을 수행함으로써 모션 벡터(MV _F )를 구한다. 이 러한 모션 추정 과정은 모션 추정부(205)에서 일어나는 과정과 마찬가지이므로 중복된 설명은 생략하기로 한다.

모션 추정부(105)에서 구한 모션 벡터(MV _F )는 모션 보상부(110)에 제공된다. 모션 보상부(110)는 상기 모션 벡터(MV _F )를 이용하여 상기 참조 픽쳐(F _OF ')를 모션 보상하고 상기 현재 픽쳐에 대한 예측 픽쳐(F _PF )를 생성한다.

그러면, 가산기(135)는 상기 예측 픽쳐(F _PF )와 하위 계층으로부터 제공된 잔차 픽쳐(F _RB )를 가산한다. 이러한 가산 과정은 블록의 관점에서 보면, 예측 픽쳐(F _PF )에 포함된 인터 예측 블록(P _F )과 잔차 픽쳐(F _RB )에 포함된 잔차 블록(R _B )을 합하는 과정으로 볼 수 있다.

다음으로 제3 단계에 관하여 살펴 보면, 스무딩 필터(130)는 상기 가산기(135)의 출력(F _PF +F _RB )에 대하여 스무딩 필터(smoothing filter)를 적용하여 스무딩한다.

이러한 스무딩 필터를 구성하는 스무딩 함수는 다양한 형태로 구현될 수 있다. 예를 들어, 수학식 7에서 설명한 바와 같이, 계층간 해상도가 동일한 경우에는, 상기 스무딩 필터를 구성하는 스무딩 함수로는 디블록 함수(deblock function)를 그대로 사용할 수 있고, 해상도가 상이한 경우에는, 디블록 함수와 다운샘플링 함수와 업샘플링 함수의 조합을 사용할 수 있다.

또는, 상기 스무딩 함수는, 수학식 8과 같이 상기 스무딩되는 블록의 경계 부분에 위치한 픽셀 및 그 주변 픽셀의 선형 결합으로 이루어질 수 있다. 특히, 상기 주변 픽셀은, 도 5 및 도 6과 같이, 상기 경계 부분에 위치한 픽셀의 두 인접 픽셀이고, 상기 경계 부분에 위치한 픽셀의 가중치는 1/2이며, 상기 두 인접 픽셀의 가중치는 각각 1/4로 둘 수 있다.

마지막으로, 제4 단계에 관하여 살펴 본다. 차분기(115)는 현재 픽쳐(F _OF )와 상기 스무딩된 결과 생성되는 픽쳐의 차분(F _RF )을 생성한다. 이러한 차분 생성 과정은 블록의 관점에서 보면, 현재 픽쳐(F _OF )에 포함된 블록(O _F )에서 상기 스무딩된 결과 생성되는 블록(수학식 5의 F(P _F +R _B ))을 차감하는 과정으로 볼 수 있다.

변환부(120)는 상기 차분 픽쳐(F _RF )에 대하여, 공간적 변환을 수행하고 변환 계수(F _RF ^T )를 생성한다. 이러한 공간적 변환 방법으로는, DCT(Discrete Cosine Transform), 웨이블릿 변환(wavelet transform) 등이 사용될 수 있다. DCT를 사용하는 경우 상기 변환 계수는 DCT 계수가 될 것이고, 웨이블릿 변환을 사용하는 경우 상기 변환 계수는 웨이블릿 계수가 될 것이다.

양자화부(125)는 상기 변환 계수를 양자화(quantization) 한다. 상기 양자화(quantization)는 임의의 실수 값으로 표현되는 상기 변환 계수를 불연속적인 값(discrete value)으로 나타내는 과정을 의미한다. 예를 들어, 양자화부(125)는 임의의 실수 값으로 표현되는 상기 변환 계수를 소정의 양자화 스텝(quantization step)으로 나누고, 그 결과를 정수 값으로 반올림하는 방법으로 양자화를 수행할 수 있다.

한편, 하위 계층의 잔차 픽쳐(F _RB )도 마찬가지로 변환부(220) 및 양자화부(225)를 거쳐서 양자화 계수(F _RB ^Q )로 변환된다.

엔트로피 부호화부(150)는 모션 추정부(105)에서 추정된 모션 벡터(MV _F ), 모션 추정부(205)에서 추정된 모션 벡터(MV _B ), 양자화부(125)로부터 제공되는 양자화 계수(F _RF ^Q ), 및 양자화부(225)로부터 제공되는 양자화 계수(F _RB ^Q )를 무손실 부호화하여 비트스트림을 생성한다. 이러한 무손실 부호화 방법으로는, 허프만 부호화(Huffman coding), 산술 부호화(arithmetic coding), 가변 길이 부호화(variable length coding), 기타 다양한 방법이 이용될 수 있다.

상기 비트스트림에는 상기 양자화 계수(F _RF ^Q )가 본 발명에서 제안하는 스무딩 예측에 의하여 부호화 된 것인가, 즉 상기 제1 단계 내지 제4 단계를 거쳐서 부호화된 것인가 여부를 표시하는 플래그가 더 포함될 수 있다.

지금까지 도 7은 수학식 5의 수식을 실제로 구현하는 과정에 대하여 상세히 설명한 것이다. 본 발명은 이에 한정되지 않고, 수학식 5에서 R _B 를 0으로 둔 경우, 즉 단일 계층의 특성만을 고려하여 수학식 6의 수식에 따라 구현될 수도 있다. 이는 단일 계층에도 적용 가능한 방법으로서, 도 7에서 하위 계층의 동작 과정을 생 략하고, 모션 보상부(110)에서 출력되는 F _PF 가 가산기(135)를 거치지 않고 바로 스무딩 필터(130)로 입력되도록 하면 되므로 별도의 도면은 첨부하지 않기로 한다.

이 실시예에 의할 경우 비디오 인코딩 방법은, 현재 픽쳐의 어떤 블록에 대한 인터 예측 블록을 생성하는 단계와, 상기 생성된 인터 예측 블록을 스무딩 필터를 이용하여 스무딩하는 단계와, 상기 현재 픽쳐의 블록과 상기 스무딩 결과 생성되는 블록과의 차분을 구하는 단계와, 상기 차분을 부호화하는 단계로 이루어질 수 있다.

도 8은 본 발명의 일 실시예에 따른 비디오 디코더(300)의 구성을 도시한 블록도이다.

비디오 인코더(100)에 의하여 수행되는 동작 과정은 크게 다섯 개의 단계로 나뉘어질 수 있다. 상기 동작 과정은 입력된 비트스트림에 포함되는 현재 픽쳐의 어떤 블록에 대한 텍스쳐 데이터로부터 상기 블록의 잔차 신호를 복원하는 제1 단계와, 상기 비트스트림에 포함되며, 상기 블록과 대응되는 하위 픽쳐의 블록에 대한 잔차 신호를 복원하는 제 2단계와, 상기 제2 단계에서 복원된 잔차 신호와 상기 현재 픽쳐에 대한 인터 예측 블록을 가산하는 제3 단계와, 상기 가산 결과 생성되는 블록을 스무딩 필터를 이용하여 스무딩하는 제4 단계와, 상기 제1 단계에서 복원된 잔차 신호와 상기 스무딩 결과 생성되는 블록을 가산하는 제5 단계로 이루어진다.

먼저, 제1 단계를 살펴 본다. 엔트로피 복호화부(310)는 입력된 비트스트림 에 대하여 무손실 복호화를 수행하여, 현재 픽쳐의 텍스쳐 데이터(F _RF ^Q ), 하위 계층 픽쳐(현재 픽쳐와 동일한 시간적 위치를 갖는 픽쳐)의 텍스쳐 데이터(F _RB ^Q ), 현재 픽쳐의 모션 벡터(MV _F ), 및 하위 계층 픽쳐의 모션 벡터(MV _B )를 추출한다. 상기 무손실 복호화는 인코더 단에서의 무손실 부호화 과정의 역으로 진행되는 과정이다.

이 때, 상기 비트스트림에 상기 비디오 인코더(100) 단에서 기재된 플래그가 포함된 경우에는 상기 플래그가 본 발명에서 제안하는 스무딩 예측에 의하여 부호화 된 것임을 나타낼 경우에 한하여 이하의 동작 단계를 수행하도록 할 수도 있다.

상기 현재 픽쳐의 텍스쳐 데이터(F _RF ^Q )는 역 양자화부(310)에 제공되고 상기 현재 픽쳐의 텍스쳐 데이터(F _RF ^Q )는 역 양자화부(310)에 제공된다. 그리고, 현재 픽쳐의 모션 벡터(MV _F )는 모션 보상부(350)에, 하위 계층 픽쳐의 모션 벡터(MV _B )는 모션 보상부(450)에 각각 제공된다.

역 양자화부(310)는 상기 제공되는 현재 픽쳐의 텍스쳐 데이터(F _RF ^Q )를 역 양자화한다. 이러한 역 양자화 과정은 양자화 과정에서 사용된 것과 동일한 양자화 테이블을 이용하여 양자화 과정에서 생성된 인덱스로부터 그에 매칭되는 값을 복원하는 과정이다.

역 변환부(320)는 상기 역 양자화된 결과에 대하여 역 변환을 수행한다. 이 러한 역 변환은 인코더 단의 변환 과정의 역으로 수행되며, 구체적으로 역 DCT 변환, 역 웨이블릿 변환 등이 사용될 수 있다.

상기 역 변환 결과 현재 픽쳐에 대한 잔차 픽쳐(F _RF )가 복원된다. 상기 잔차 픽쳐(F _RF )는 복수의 잔차 신호(R _F ), 즉 복수의 잔차 블록으로 이루어진다.

한편 제2 단계를 살펴 보면, 역 양자화부(410)는 상기 제공되는 하위 계층 픽쳐의 텍스쳐 데이터(F _RB ^Q )를 역 양자화하고, 역 변환부(420)는 상기 역 양자화된 결과에 대하여 역 변환을 수행한다. 상기 역 변환 결과 상기 하위 계층 픽쳐에 대한 잔차 픽쳐(F _RB )가 복원된다. 상기 잔차 픽쳐(F _RB )는 복수의 잔차 신호(R _B )로 이루어진다.

상기 복원된 잔차 픽쳐(F _RB )는 가산기(360)에 제공된다. 물론, 계층간의 해상도가 상이하다면, 잔차 픽쳐(F _RB )는 업샘플러(380)에 의하여 현재 계층의 해상도로 업샘플링(upsampling)된 후 가산기(360)에 제공될 것이다.

다음으로 제3 단계를 살펴 본다.

모션 보상부(350)는 모션 벡터(MV _F )를 이용하여 버퍼(340)로부터 제공되는 참조 픽쳐(F _OF ')를 모션 보상함으로써, 인터 예측 픽쳐(F _PF )를 생성한다. 참조 픽쳐(F _OF ')는 기 복원되어 버퍼(340)에 저장된 현재 픽쳐의 주변 픽쳐를 의미한다.

가산기(360)는 상기 예측 픽쳐(F _PF )와 하위 계층으로부터 제공되는 잔차 픽 쳐(F _RB )를 가산한다. 이러한 가산 과정은 블록의 관점에서 보면, 예측 픽쳐(F _PF )에 포함된 인터 예측 블록(P _F )과 잔차 픽쳐(F _RB )에 포함된 잔차 블록(R _B )을 합하는 과정으로 볼 수 있다.

다음으로 제4 단계에 관하여 살펴 보면, 스무딩 필터(370)는 상기 가산기(365)의 출력(F _PF +F _RB )에 대하여 스무딩 필터(smoothing filter)를 적용하여 스무딩한다.

이러한 스무딩 필터를 구성하는 스무딩 함수는 다양한 형태로 구현될 수 있다. 예를 들어, 수학식 7에서 설명한 바와 같이, 계층간 해상도가 동일한 경우에는, 상기 스무딩 필터를 구성하는 스무딩 함수로는 디블록 함수(deblock function)를 그대로 사용할 수 있고, 해상도가 상이한 경우에는, 디블록 함수와 다운샘플링 함수와 업샘플링 함수의 조합을 사용할 수 있다.

또는, 상기 스무딩 함수는, 수학식 8과 같이 상기 스무딩되는 블록의 경계 부분에 위치한 픽셀 및 그 주변 픽셀의 선형 결합으로 이루어질 수 있다. 특히, 상기 주변 픽셀은, 도 5 및 도 6과 같이, 상기 경계 부분에 위치한 픽셀의 두 인접 픽셀이고, 상기 경계 부분에 위치한 픽셀의 가중치는 1/2이며, 상기 두 인접 픽셀의 가중치는 각각 1/4로 둘 수 있다.

마지막으로, 제5 단계에 관하여 살펴 본다. 가산기(330)는 상기 역 변환부(320)로부터 제공되는 잔차 픽쳐(F _RF )와 상기 스무딩된 결과 생성되는 픽쳐를 가산 한다. 이러한 가산 과정은 블록의 관점에서 보면, 잔차 픽쳐(F _RF )에 포함된 블록(R _F )에서 상기 스무딩된 결과 생성되는 블록(수학식 5의 F(P _F +R _B ))을 가산하는 과정으로 볼 수 있다. 상기 가산기(330)에서의 가산 결과 최종적으로 현재 픽쳐(F _OF )가 복원된다.

지금까지 도 7 및 도 8의 설명에서는 두 개의 계층으로 된 비디오 프레임을 코딩하는 예를 설명하였다. 하지만, 이에 한하지 않고 셋 이상의 계층 구조를 갖는 비디오 프레임의 코딩에 있어서도 본 발명이 적용될 수 있음은 물론이다.

도 9는 본 발명의 일 실시예에 따른 비디오 인코더(100), 또는 비디오 디코더(300)를 구현하기 위한 시스템의 구성도이다. 상기 시스템은 TV, 셋탑박스, 데스크 탑, 랩 탑 컴퓨터, 팜 탑(palmtop) 컴퓨터, PDA(personal digital assistant), 비디오 또는 이미지 저장 장치(예컨대, VCR(video cassette recorder), DVR(digital video recorder) 등)를 나타내는 것일 수 있다. 뿐만 아니라, 상기 시스템은 상기한 장치들을 조합한 것, 또는 상기 장치가 다른 장치의 일부분으로 포함된 것을 나타내는 것일 수도 있다. 상기 시스템은 적어도 하나 이상의 비디오 소스(video source; 910), 하나 이상의 입출력 장치(920), 프로세서(940), 메모리(950), 그리고 디스플레이 장치(930)를 포함하여 구성될 수 있다.

비디오 소스(910)는 TV 리시버(TV receiver), VCR, 또는 다른 비디오 저장 장치를 나타내는 것일 수 있다. 또한, 상기 소스(910)는 인터넷, WAN(wide area network), LAN(local area network), 지상파 방송 시스템(terrestrial broadcast system), 케이블 네트워크, 위성 통신 네트워크, 무선 네트워크, 전화 네트워크 등을 이용하여 서버로부터 비디오를 수신하기 위한 하나 이상의 네트워크 연결을 나타내는 것일 수도 있다. 뿐만 아니라, 상기 소스는 상기한 네트워크들을 조합한 것, 또는 상기 네트워크가 다른 네트워크의 일부분으로 포함된 것을 나타내는 것일 수도 있다.

입출력 장치(920), 프로세서(940), 그리고 메모리(950)는 통신 매체(960)를 통하여 통신한다. 상기 통신 매체(960)에는 통신 버스, 통신 네트워크, 또는 하나 이상의 내부 연결 회로를 나타내는 것일 수 있다. 상기 소스(910)로부터 수신되는 입력 비디오 데이터는 메모리(950)에 저장된 하나 이상의 소프트웨어 프로그램에 따라 프로세서(940)에 의하여 처리될 수 있고, 디스플레이 장치(930)에 제공되는 출력 비디오를 생성하기 위하여 프로세서(940)에 의하여 실행될 수 있다.

특히, 메모리(950)에 저장된 소프트웨어 프로그램은 본 발명에 따른 방법을 수행하는 스케일러블 비디오 코덱을 포함할 수 있다. 상기 인코더 또는 상기 코덱은 메모리(950)에 저장되어 있을 수도 있고, CD-ROM이나 플로피 디스크와 같은 저장 매체에서 읽어 들이거나, 각종 네트워크를 통하여 소정의 서버로부터 다운로드한 것일 수도 있다. 상기 소프트웨어에 의하여 하드웨어 회로에 의하여 대체되거나, 소프트웨어와 하드웨어 회로의 조합에 의하여 대체될 수 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

본 발명에 따르면, 잔차 예측 또는 인터 예측을 이용하는 코덱의 성능을 향상시킬 수 있다.

특히, 저복잡성 디코딩 조건을 갖는 인트라 베이스 예측을 이용하는 코덱의 성능을 향상시킬 수 있다.