영상신호의 레이어간 예측 방법{INTER-LAYER PREDICTION METHOD FOR VIDEO SIGNAL}

본 발명은, 영상신호를 엔코딩/디코딩할 때의 레이어간의 예측 방법에 관한 것이다.

스케일러블 영상 코덱(SVC:Scalable Video Codec) 방식은 영상신호를 엔코딩함에 있어, 최고 화질로 엔코딩하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스( 시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스 )를 디코딩해 사용해도 저화질의 영상 표현이 가능하도록 하는 방식이다.

그런데, 스케일러블 방식으로 엔코딩된 픽처 시퀀스는 그 부분 시퀀스만을 수신하여 처리함으로써도 저화질의 영상 표현이 가능하지만, 비트레이트(bitrate)가 낮아지는 경우 화질저하가 크게 나타난다. 이를 해소하기 위해서 낮은 전송률을 위한 별도의 보조 픽처 시퀀스, 예를 들어 소화면 및/또는 초당 프레임수 등이 낮은 픽처 시퀀스를 적어도 하나 이상의 레이어로서 계층적 구조로 제공할 수도 있다.

2개의 시퀀스를 가정할 때, 보조 시퀀스( 하위 시퀀스 )를 베이스 레이어(base layer)로, 주 픽처 시퀀스( 상위 시퀀스 )를 인핸스드(enhanced)( 또는 인핸 스먼트(enhancement) ) 레이어라고 부른다. 그런데, 베이스 레이어와 인핸스드 레이어는 동일한 영상신호원을 엔코딩하는 것이므로 양 레이어의 영상신호에는 잉여정보( 리던던시(redundancy) )가 존재한다. 따라서 인핸스드 레이어의 코딩율(coding rate)을 높이기 위해, 베이스 레이어의 코딩된 정보( 모션정보 또는 텍스처(texture) 정보 )를 이용하여 인핸스드 레이어의 영상신호를 코딩한다.

이 때, 도 1a에 도시된 바와 같이 하나의 영상 소스(1)로부터 각기 다른 전송율을 갖는 복수의 레이어로 코딩할 수도 있지만, 도 1b에서와 같이 동일한 컨텐츠(2a)에 대한 것이지만 서로 다른 주사(scanning)방식을 갖는 복수의 영상 소스(2b)를 각각의 레이어로 코딩할 수도 있다. 하지만, 이 때에도 양 소스(2b)는 동일 컨텐츠(2a)이므로 상위 레이어를 코딩하는 엔코더는 하위 레이어의 코딩된 정보를 이용하는 레이어간 예측을 수행하게 되면 코딩이득을 높일 수 있다.

따라서, 서로 다른 소스로부터 각각의 레이어로 코딩할 때 각 영상신호의 주사방식을 고려한 레이어간 예측방안이 필요하다. 또한, 비월주사(interlaced)방식의 영상을 코딩할 때도 우수(even) 및 기수(odd) 필드들로 코딩할 수도 있고, 하나의 프레임에 기수 및 우수 매크로 블록의 쌍(pair)으로 코딩할 수도 있다. 따라서, 비월주사 방식의 영상신호를 코딩하는 픽처의 유형도 레이어간 예측에 함께 고려되어야 한다.

또한, 인핸스드 레이어는 베이스 레이어에 비해 픽처의 해상도를 높여서 제공하는 것이 보통이다. 따라서, 서로 다른 소스로부터 각각의 레이어로 코딩할 때도 각 레이어의 픽처의 해상도가 상이한 경우에 픽처의 해상도를 높이기 위해( 즉, 크기를 키우기 위해 ) 인터폴레이션을 수행하여야 하는 데, 레이어간 예측을 위해 사용되는 베이스 레이어의 픽처가 예측코딩하는 인핸스드 레이어의 픽처와 이미지가 근접할수록 코딩율이 놓아지므로 각 레이어의 영상신호의 주사(scanning)방식을 고려하여 인터폴레이션하는 방안이 필요하다.

본 발명의 일 목적은, 양 레이어중 적어도 한 레이어는 비월 주사 방식의 영상신호 성분을 갖는 조건하에 레이어간 예측을 수행하는 방법을 제공하는 것이다.

본 발명의 다른 목적은, 공간적 해상도(spatial scalability)가 상이한 픽처를 갖는 레이어간의 모션예측을 픽처 유형에 따라 수행하는 방법을 제공하는 것이다.

본 발명의 또 다른 목적은, 공간적 및/또는 시간적 해상도(spatial scalability)가 상이한 픽처를 갖는 레이어간의 텍스처 예측을 수행하는 방법을 제공하는 것이다.

본 발명에 따른 레이어간 모션 예측방법의 하나는, 베이스 레이어의 수직으로 인접된 인터(inter) 모드와 인트라(intra) 모드의 양 매크로 블록에 대해, 상기 인터 모드의 매크로 블록의 모션에 대한 정보를 상기 인트라 모드의 매크로 블록의 모션에 대한 정보로 설정한 후, 상기 양 매크로 블록에 근거하여, 레이어간 모션예측에 사용될 수직으로 인접된 매크로 블록쌍에 대한 모션정보를 구한다.

본 발명에 따른 레이어간 모션 예측방법의 다른 하나는, 베이스 레이어의 수직으로 인접된 인터(inter) 모드와 인트라(intra) 모드의 양 매크로 블록 중 인트라 모드의 매크로 블록에 대해 모션에 대한 정보가 0인 인터 모드의 블록으로 설정한 후, 상기 양 매크로 블록에 근거하여, 레이어간 모션예측에 사용될 수직으로 인접된 매크로 블록쌍에 대한 모션정보를 구한다.

본 발명에 따른 레이어간 모션 예측방법의 또 다른 하나는, 베이스 레이어의 수직으로 인접된 프레임 매크로 블록쌍의 모션정보로부터 단일 매크로 블록에 대한 모션정보를 유도하고, 그 유도된 모션정보를, 현재 레이어의 하나의 필드 매크로 블록의 모션정보 또는 필드 매크로 블록쌍의 각 모션정보의 예측정보로 사용한다.

본 발명에 따른 레이어간 모션 예측 방법의 또 다른 하나는, 베이스 레이어의 단일 필드 매크로 블록의 모션정보 또는 수직으로 인접된 필드 매크로 블록쌍중 선택된 단일 필드 매크로 블록의 모션정보로부터 2개의 매크로 블록에 대한 각 모션정보를 유도하고, 그 유도된 각 모션정보를, 현재 레이어의 프레임 매크로 블록쌍의 각 모션정보의 예측정보로 사용한다.

본 발명에 따른, 픽처의 해상도가 상이한 레이어간 모션 예측방법은, 하위 레이어의 픽처를, 픽처의 유형과 픽처내의 매크로 블록의 유형에 따라 프레임 매크로 블록들로 변환하는 예측방식을 선택적으로 적용하여 동일 해상도의 프레임 픽처로 변환하고, 상기 프레임 픽처를 상위 레이어의 해상도와 동일해지도록 업샘플링한 후 그 업샘플링된 프레임 픽처내의 프레임 매크로 블록과 상위 레이어의 픽처내의 매크로 블록의 유형에 맞는 레이어간 예측방식을 적용한다.

본 발명에 따른, 픽처의 해상도가 상이한 레이어간 예측방법의 다른 하나는, 하위 레이어의 픽처와 상위 레이어의 픽처의 유형 및/또는 그 픽처내의 매크로 블록의 유형을 확인하고, 그 확인 결과에 따라, 상기 하위 레이어의 픽처에 대해 단일 필드 매크로 블록의 프레임 매크로 블록쌍으로의 예측방식을 적용하여 상기 상위 레이어의 픽처와 수직/수평의 비율이 동일한 가상 픽처를 구성하고, 상기 가상 픽처를 업샘플링한 다음, 그 업샘플링된 가상 픽처를 사용하여 상기 상위 레이어의 픽처에 레이어간 모션예측을 적용한다.

본 발명에 따른, 픽처의 해상도가 상이한 레이어간 예측방법의 또 다른 하나는, 하위 레이어의 픽처와 상위 레이어의 픽처의 유형 및/또는 그 픽처내의 매크로 블록의 유형을 확인하고, 그 확인 결과에 따라, 상기 하위 레이어의 픽처에 대해 단일 필드 매크로 블록의 프레임 매크로 블록쌍으로의 예측방식을 적용하여 상기 상위 레이어의 픽처와 수직/수평의 비율이 동일한 가상 픽처를 구성한 다음, 그 구성된 가상 픽처를 사용하여 상기 상위 레이어의 픽처에 레이어간 모션예측을 적용한다.

본 발명에 따른, 픽처의 해상도가 상이한 레이어간 예측방법의 또 다른 하나는, 하위 레이어의 픽처와 상위 레이어의 픽처의 유형을 확인하고, 상기 하위 레이어의 픽처의 유형이 필드이고 상기 상위 레이어의 픽처의 유형이 순차주사방식으로 확인되면, 상기 하위 레이어의 픽처내의 블록의 모션정보를 복사하여 가상 픽처를 구성하고, 그 구성된 가상 픽처를 업샘플링한 다음, 그 업샘플링된 가상 픽처와 상기 상위 레이어의 픽처간에 프레임 매크로 블록의 프레임 매크로 블록으로의 모션예측방식을 적용한다.

본 발명에 따른, 픽처의 해상도가 상이한 레이어간 예측방법의 또 다른 하나는, 하위 레이어의 픽처와 상위 레이어의 픽처의 유형을 확인하고, 상기 하위 레이어의 픽처의 유형이 필드이고 상기 상위 레이어의 픽처의 유형이 순차주사방식으로 확인되면, 상기 하위 레이어의 픽처내의 블록의 모션정보를 복사하여 가상 픽처를 구성한 다음, 그 가상 픽처를 사용하여 상기 상위 레이어의 픽처에 레이어간 모션예측을 적용한다.

본 발명에 따른 일 실시예에서는, 레이어간 모션 예측에 있어서, 분할모드(partition mode), 참조 인덱스, 그리고 모션 벡터의 순으로 예측한다.

본 발명에 따른 다른 일 실시예에서는, 참조 인덱스, 모션벡터, 그리고 분할모드의 순으로 예측한다.

본 발명에 따른 일 실시예에서는, 베이스 레이어의 프레임 매크로 블록 한쌍의 모션정보로부터 레이어간 모션예측에 사용될 가상 베이스 레이어의 필드 매크로 블록 한쌍의 모션정보를 유도한다.

본 발명에 따른 일 실시예에서는, 베이스 레이어의 프레임 매크로 블록 한쌍의 모션정보로부터 레이어간 모션예측에 사용될 가상 베이스 레이어의 우수 또는 기수 필드 픽처내의 하나의 필드 매크로 블록의 모션정보를 유도한다.

본 발명에 따른 일 실시예에서는, 베이스 레이어의 한쌍의 필드 매크로 블록에서 하나의 매크로 블록을 선택하고, 그 선택된 매크로 블록의 모션정보로부터 레이어간 모션예측에 사용될 가상 베이스 레이어의 프레임 매크로 블록 한쌍의 모션정보를 유도한다.

본 발명에 따른 일 실시예에서는, 베이스 레이어의 우수 또는 기수의 필드 픽처내의 하나의 필드 매크로 블록의 모션정보로부터 레이어간 모션예측에 사용될 가상 베이스 레이어의 프레임 매크로 블록 한쌍의 모션정보를 유도한다.

본 발명에 따른 다른 일 실시예에서는, 베이스 레이어의 우수 또는 기수의 필드 픽처내의 하나의 필드 매크로 블록의 정보를 복사하여 가상의 필드 매크로 블록을 추가로 구성하고, 그와 같이 구성된 한쌍의 필드 매크로 블록의 모션정보로부터 레이어간 모션예측에 사용될 가상 베이스 레이어의 프레임 매크로 블록 한쌍의 모션정보를 유도한다.

본 발명에 따른 레이어간의 텍스처 예측방법의 하나는, 베이스 레이어의 수직으로 인접된 프레임(frame) 매크로 블록쌍으로부터 필드(field) 매크로 블록쌍을 구성하고, 그 구성된 필드 매크로 블록쌍의 각 텍스처 정보를, 현재 레이어의 필드 매크로 블록쌍의 각 텍스처 예측정보로 사용한다.

본 발명에 따른 레이어간의 텍스처 예측방법의 다른 하나는, 베이스 레이어의 수직으로 인접된 프레임(frame) 매크로 블록쌍으로부터 단일 필드(field) 매크로 블록을 구성하고, 그 구성된 단일 필드 매크로 블록의 텍스처 정보를, 현재 레이어의 필드 매크로 블록의 텍스처 예측정보로 사용한다.

본 발명에 따른 레이어간의 텍스처 예측방법의 또 다른 하나는, 베이스 레이어의 하나의 필드 매크로 블록 또는 수직으로 인접된 필드 매크로 블록쌍으로부터 프레임 매크로 블록쌍을 구성하고, 그 구성된 프레임 매크로 블록쌍의 각 텍스처 정보를, 현재 레이어의 프레임 매크로 블록쌍의 각 텍스처 예측정보로 사용한다.

본 발명에 따른 레이어간의 텍스처 예측방법의 또 다른 하나는, 베이스 레이어의 수직으로 인접된 필드 매크로 블록쌍으로부터 프레임(frame) 매크로 블록 N쌍( N은 1보다 큰 정수 )을 구성하고, 그 구성된 프레임 매크로 블록 N쌍의 각 텍스처 정보를, 현재 레이어의 서로 다른 시간적 위치에 있는 프레임 매크로 블록 N쌍의 각 텍스처 예측정보로 사용한다.

본 발명에 따른 레이어간의 텍스처 예측방법의 또 다른 하나는, 하위 레이어의 각 프레임을 복수의 필드 픽처로 분리하여 상기 하위 레이어가 상위 레이어와 동일한 시간적 해상도를 갖도록 하고, 상기 분리된 각 필드 픽처를 수직방향으로 업샘플링하여 수직방향으로 확장시킨 후, 상기 업샘플링된 각 필드 픽처를 상기 상위 레이어의 각 프레임의 레이어간의 텍스처 예측에 사용한다.

본 발명에 따른 레이어간의 텍스처 예측방법의 또 다른 하나는, 하위 레이어의 각 필드 픽처를 수직방향으로 업샘플링하여 수직방향으로 확장시킨 후, 상기 업샘플링된 각 필드 픽처를 상위 레이어의 각 프레임의 레이어간 텍스처 예측에 사용한다.

본 발명에 따른 또 다른 레이어간 텍스처 예측방법의 또 다른 하나는, 상위 레이어의 각 프레임을 복수의 필드 픽처로 분리하고, 하위 레이어의 각 픽처를 수직방향으로 다운샘플링하여 수직방향으로 축소시킨 후, 상기 다운샘플링된 픽처들을 상기 상위 레이어의 분리된 필드 픽처들의 레이어간 텍스처 예측에 사용한다.

본 발명에 따른 레이어간 예측을 사용하여 영상신호를 코딩하는 일 방법은, 베이스 레이어의 임의 픽처내의 2N 블록을 교번적으로 선택하여 취한 각 라인을 취한 순서대로 배치하여 구성한 2N 블록의 각 텍스처 정보를 레이어간 예측에 사용할 것인 지, 상기 베이스 레이어의 상기 2N 블록 중에서 선택된 하나의 블록을 인터폴레이션(interpolation)하여 구성한 2N 블록의 각 텍스처 정보를 레이어간 텍스처 예측에 사용할 것인 지를 결정하고, 그 결정을 나타내는 정보를 코딩된 정보에 포함시킨다.

본 발명에 따른 레이어간 예측을 사용하여 영상신호를 디코딩하는 일 방법은, 수신되는 신호에 특정 지시정보가 포함되어 있는 지 확인하고, 그 확인 결과에 따라, 베이스 레이어의 임의 픽처내의 2N 블록을 교번적으로 선택하여 취한 라인을 취한 순서대로 배치하여 구성한 2N 블록의 각 텍스처 정보를 레이어간 텍스처 예측에 사용할 것인 지, 상기 베이스 레이어의 상기 2N 블록 중에서 선택된 하나의 블록을 인터폴레이션하여 구성한 2N 블록의 각 텍스처 정보를 레이어간 텍스처 예측에 사용할 것인 지를 결정한다.

본 발명에 따른 일 실시예에서는, 상위 또는 하위 레이어의 각 프레임을 2개의 필드 픽처로 분리한다.

본 발명에 따른 일 실시예에서는, 상기 수신되는 신호에 상기 특정 지시정보가 포함되어 있지 않으면, 그 지시정보가 0으로 지정되어 수신되는 경우와 동일한 것으로 간주하여 어떤 블록의 각 텍스처 정보를 레이어간 예측에 사용할 것인지를 결정한다.

본 발명에 따른, 베이스 레이어의 영상신호를 레이어간 텍스처 예측에 사용하는 방법의 하나는, 베이스 레이어의 비월주사방식의 영상신호를 우수 필드 성분과 기수 필드 성분으로 분리하고, 그 분리된 우수 필드 성분과 기수 필드 성분을 각각 수직 및/또는 수평방향으로 확대한 후, 그 확대된 우수 필드 성분과 기수 필드 성분을 결합하여 레이어간 텍스처 예측에 사용한다.

본 발명에 따른, 베이스 레이어의 영상신호를 레이어간 텍스처 예측에 사용하는 방법의 다른 하나는, 베이스 레이어의 순차주사방식의 영상신호를 우수라인군과 기수라인군으로 분리하고, 그 분리된 우수라인군과 기수라인군을 각각 수직 및/또는 수평방향으로 확대한 후, 그 확대된 우수 라인군과 기수 라인군을 결합하여 레이어간 텍스처 예측에 사용한다.

본 발명에 따른, 베이스 레이어의 영상신호를 레이어간 텍스처 예측에 사용하는 방법의 또 다른 하나는, 베이스 레이어의 비월주사방식의 영상신호를, 상위 레이어의 순차주사방식의 영상신호의 해상도와 동일한 해상도를 갖도록 수직 및/또는 수평으로 확대하고, 그 확대된 영상신호를 근거로 상기 상위 레이어의 영상신호에 대해 레이어간 텍스처 예측을 수행한다.

본 발명에 따른, 베이스 레이어의 영상신호를 레이어간 텍스처 예측에 사용하는 방법의 또 다른 하나는, 베이스 레이어의 순차주사방식의 영상신호를, 상위 레이어의 비월주사방식의 영상신호의 해상도와 동일한 해상도를 갖도록 수직 및/또는 수평으로 확대하고, 그 확대된 영상신호를 근거로 상기 상위 레이어의 영상신호에 대해 레이어간 텍스처 예측을 수행한다.

본 발명에 따른 일 실시예에서는, 상기 영상신호의 분리 및 확대는 매크로 블록 레벨에서 수행된다.

본 발명에 따른 다른 일 실시예에서는, 상기 영상신호의 분리 및 확대는 픽처 레벨에서 수행된다.

본 발명에 따른 일 실시예에서는, 레이어간 텍스처 예측이 적용되는 양 레이어의 픽처 포맷이 상이한 경우에, 즉 한 레이어는 순차주사방식의 픽처이고 다른 레이어는 비월주사방식의 픽처인 경우에 상기 영상신호의 분리 및 확대를 수행한다.

본 발명에 따른 다른 일 실시예에서는, 레이어간 텍스처 예측이 적용되는 양 레이어의 픽처가 모두 비월주사방식인 경우에 상기 영상신호의 분리 및 확대를 수행한다.

도 1a 및 1b는 단일 영상소스로부터 복수 레이어로 코딩하는 방식을 각각 예시한 것이고,

도 2a 및 2b는 본 발명에 따른 레이어간 예측방법이 적용되는 영상신호 엔코딩 장치의 구성을 간략히 도시한 것이고,

도 2c 및 2d는 비월주사방식의 영상신호를 엔코딩하는 픽처 시퀀스의 유형을 각기 도시한 것이고,

도 3a 및 3b는, 본 발명의 일 실시예에 따라, 레이어간 텍스처 예측을 위해, 베이스 레이어의 픽처를 구성하여 디블로킹(de-blocking) 필터링을 수행하는 과정을 도식적으로 나타낸 것이고.

도 4a 내지 4f는, 본 발명의 일 실시예에 따라, 프레임(frame) 매크로 블록(MB)의 모션정보를 이용하여, MBAFF 프레임내의 필드(field) MB의 레이어간 모션 예측( motion prediction )에 사용될 가상 베이스 레이어의 필드 MB의 모션정보를 유도하는 과정을 도식적으로 나타낸 것이고,

도 4g는, 본 발명의 일 실시예에 따라, 프레임 MB쌍의 텍스처 정보를 MBAFF 프레임내의 필드 MB쌍의 텍스처 예측( texture prediction )에 사용하는 과정을 도식적으로 나타낸 것이고,

도 4h는 본 발명의 일 실시예에 따라 프레임 MB 쌍을 필드 MB쌍으로 변환하는 방법을 나타낸 것이고,

도 5a 내지 5b는, 본 발명의 다른 일 실시예에 따른, 참조 인덱스와 모션정보의 유도과정을 예시한 것이고,

도 6a 내지 6c는, 본 발명의 일 실시예에 따라, 프레임 MB의 모션정보를 이용하여 가상 베이스 레이어의 필드 MB의 모션정보를 유도하는 과정을 도식적으로 나타낸 것이고,

도 6d는, 본 발명의 일 실시예에 따라, 프레임 MB쌍의 텍스처 정보를 필드 픽처내의 필드 MB의 텍스처 예측에 사용하는 과정을 도식적으로 나타낸 것이고,

도 7a 내지 7b는, 본 발명의 다른 일 실시예에 따른, 참조 인덱스와 모션정보의 유도과정을 예시한 것이고,

도 8a 내지 8c는, 본 발명의 일 실시예에 따라, MBAFF 프레임내의 필드 MB 의 모션정보를 이용하여, 레이어간 모션예측에 사용될 가상 베이스 레이어의 필드 MB프레임 MB의 모션정보를 유도하는 과정을 도식적으로 나타낸 것이고,

도 8d는, 본 발명의 일 실시예에 따라, MBAFF 프레임내의 필드 MB쌍의 텍스 처 정보를 프레임 MB쌍의 텍스처 예측에 사용하는 과정을 도식적으로 나타낸 것이고,

도 8e는 본 발명의 일 실시예에 따라 필드 MB 쌍을 프레임 MB쌍으로 변환하는 방법을 나타낸 것이고,

도 8f 및 8g는, 본 발명의 일 실시예에 따라, MBAFF 프레임내의 필드 MB쌍에서 하나의 MB만이 인터(inter) 모드인 경우에 프레임 매크로 블록쌍의 레이어간 예측에 사용하는 각 과정을 도식적으로 나타낸 것이고,

도 8h는 본 발명의 일 실시예에 따라, 레이어간 픽처 레이트가 다른 경우에, MBAFF 프레임내의 필드 MB쌍의 텍스처 정보를 복수의 프레임 MB쌍의 텍스처 예측에 사용하는 과정을 도식적으로 나타낸 것이고,

도 9a 및 9b는, 본 발명의 다른 실시예들에 따른, 참조 인덱스와 모션정보의 유도과정을 각각 예시한 것이고,

도 10a 내지 10c는, 본 발명의 일 실시예에 따라, 필드 픽처내의 필드 MB의 모션정보를 이용하여, 레이어간 모션예측에 사용될 가상 베이스 레이어의 프레임 MB의 모션정보를 유도하는 과정을 도식적으로 나타낸 것이고,

도 10d는, 본 발명의 일 실시예에 따라, 필드 픽처내의 필드 MB의 텍스처 정보를 프레임 MB쌍의 텍스처 예측에 사용하는 과정을 도식적으로 나타낸 것이고,

도 11은, 본 발명의 다른 일 실시예에 따른, 참조 인덱스와 모션정보의 유도과정을 예시한 것이고,

도 12a 및 12b는, 본 발명의 다른 일 실시예에 따라, 필드 픽처내의 필드 MB 의 모션정보를 이용하여, 레이어간 모션예측에 사용될 가상 베이스 레이어의 프레임 MB의 모션정보를 유도하는 과정을 도식적으로 나타낸 것이고,

도 13a 내지 13d는, 본 발명의 일 실시예에 따라, 필드 MB의 모션정보를 이용하여, 레이어간 모션예측에 사용될 가상 베이스 레이어의 필드 MB의 모션정보를 유도하는 과정을 픽처의 유형에 따라 각기 구분하여 도식적으로 나타낸 것이고,

도 14a 내지 14k는, 본 발명의 여러 실시예들에 따라, 레이어간 공간적 해상도가 상이한 경우에 레이어간 모션 예측을 수행하는 방법을 픽처의 유형에 따라 각기 구분하여 도시한 것이고,

도 15a 및 15b는, 본 발명의 일 실시예에 따라, 인핸스드 레이어는 순차주사방식이고 베이스 레이어는 비월주사방식인 경우에, 공간적 해상도가 상이한 베이스 레이어의 픽처를 레이어간 텍스처 예측에 사용하는 과정을 각각 도식적으로 나타낸 것이고,

도 16a 및 16b는, 본 발명의 일 실시예에 따라, 베이스 레이어의 픽처를 레이어간 텍스처 예측에 사용하기 위해, 픽처내의 매크로 블록쌍을 분리하고 각 분리된 매크로 블록을 개별적으로 확대하는 과정을 도식적으로 나타낸 것이고,

도 17a 및 17b는, 본 발명의 일 실시예에 따라, 인핸스드 레이어는 비월주사방식이고 베이스 레이어는 순차주사방식인 경우에, 공간적 해상도가 상이한 베이스 레이어의 픽처를 레이어간 텍스처 예측에 사용하는 과정을 각각 도식적으로 나타낸 것이고,

도 18은, 본 발명의 일 실시예에 따라, 인핸스드 레이어와 베이스 레이어 모 두가 비월주사방식인 경우에, 공간적 해상도가 상이한 베이스 레이어의 픽처를 레이어간 예측에 사용하는 과정을 도식적으로 나타낸 것이고,

도 19a는 본 발명의 일 실시예에 따라, 인핸스드 레이어가 순차주사방식의 프레임 시퀀스이면서 양 레이어간의 픽처 유형과 시간적 해상도가 상이할 때 레이어간 예측이 적용되는 과정을 예시적으로 나타낸 것이고,

도 19b는 본 발명의 일 실시예에 따라, 인핸스드 레이어가 순차주사방식의 프레임 시퀀스이면서 양 레이어간의 픽처 유형이 다르고 시간적 해상도가 동일할 때 레이어간 예측이 적용되는 과정을 예시적으로 나타낸 것이고,

도 20은 본 발명의 일 실시예에 따라, 베이스 레이어가 순차주사방식의 프레임 시퀀스이면서 양 레이어간의 픽처 유형과 시간적 해상도가 상이할 때 레이어간 예측이 적용되는 과정을 예시적으로 나타낸 것이고,

도 21은 본 발명의 일 실시예에 따라, 베이스 레이어가 순차주사방식의 프레임 시퀀스이면서 양 레이어간의 픽처 유형이 다르고 시간적 해상도가 동일할 때 레이어간 예측이 적용되는 과정을 예시적으로 나타낸 것이다.

Mode for the Invention

이하, 본 발명의 실시예에 대해 첨부도면을 참조하여 상세히 설명한다.

도 2a는 본 발명에 따른 레이어간 예측방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 간략히 도시한 것이다. 도 2a의 장치는 입력 영상신호를 2개의 레이어로 코딩하는 것이나 후술하는 본 발명의 원리는 3개 또는 그 이상의 레이어로 코딩하는 경우에도 각 레이어간에는 물론 적용될 수 있다.

본 발명에 따른 레이어간 예측방법은, 도 2a의 장치에서 인핸스드 레이어 엔코더(20)( 이하, 'EL 엔코더'로 약칭한다. )에서 수행되며, 베이스 레이어 엔코더(21)( 이하, 'BL 엔코더'로 약칭함. )에서 엔코딩된 정보( 모션정보와 텍스처 정보 )를 수신하고 그 수신된 정보( 필요한 경우에는 디코딩하고 그 디코딩된 정보 )에 근거하여 레어어간 텍스처 예측 또는 모션 예측을 수행한다. 물론, 본 발명은 도 2b에서와 같이 이미 코딩되어 있는 베이스 레이어의 영상 소스(3)를 사용하여, 입력되는 영상신호를 코딩할 수도 있으며 이 때에도 이하에서 설명하는 레이어간 예측방법이 동일하게 적용된다.

도 2a의 경우에 상기 BL 엔코더(21)가 비월주사방식의 영상신호를 엔코딩하는 방식( 또는 2b의 엔코딩되어 있는 영상소스(3)의 코딩된 방식 )은 두가지가 있을 수 있다. 즉, 도 3a에서 보는 바와 같이, 필드단위 그대로 엔코딩하여 필드 시퀀스로 엔코딩하는 경우와, 도 3b에서 보는 바와 같이, 우수 및 기수 양 필드의 각 매크로 블록을 쌍으로 하여 프레임이 구성된 프레임 시퀀스로 엔코딩하는 경우이다. 이와 같이 코딩되어 있는 프레임내에서, 한 쌍의 매크로 블록의 위에 있는 매크로 블록을 '상단(Top) 매크로 블록'으로 아래에 있는 매크로 블록을 '하단(Bottom) 매크로 블록'으로 칭한다. 상단 매크로 블록이 우수 필드( 또는 기수 필드 )의 영상성분으로 되어 있으면 하단 매크로 블록은 기수 필드( 또는 우수 필드 )의 영상성분으로 이루어진다. 이와 같이 구성된 프레임을 MBAFF(MacroBlock Adaptive Frame Field) 프레임이라고 한다. 그러나, MBAFF 프레임은 기수 필드 및 우수 필드로 구성된 매크로 블록쌍이외에도 각 매크로 블록이 프레임 MB로 구성된 매크로 블록쌍도 또한 포함할 수 있다.

따라서, 픽처내의 매크로 블록이 비월주사 방식의 영상성분인 경우( 이하에서는, 이러한 매크로 블록을 '필드 MB'라고 칭한다 이에 반해, 순차주사(progressive) 방식의 영상성분을 갖고 있는 매크로 블록을 '프레임 MB'라고 칭한다. ), 그 블록이 필드내의 것일 수도 있고 프레임내의 것일 수도 있다.

따라서, 상기 EL 엔코더(20)가 코딩할 매크로 블록의 유형과 그 매크로 블록의 레이어간 예측에 이용할 베이스 레이어의 매크로 블록의 유형이 각기 프레임 MB인지, 필드 MB인지 그리고 필드 MB인 경우에는 필드내의 필드 MB인지 MBAFF 프레임내의 필드 MB인지를 구분하여 레이어간 예측 방법을 결정하여야 한다.

이하에서는 각 경우에 대해서 구분하여 설명한다. 먼저 설명에 앞서 현재 레이어와 베이스 레이어의 해상도는 상호 동일하다고 가정한다. 즉, SpatialScala-bilityType()을 0으로 가정한다. 현재 레이어가 베이스 레이어의 해상도보다 높은 경우에 대해서는 다음에 설명한다. 그리고, 하기 설명 및 도면의 표현에 있어서, 우수( 또는 기수 )에 대해 '상단'(top)의 용어를, 기수( 또는 우수 )에 대해 '하단'의 용어도 병행하여 사용한다.

베이스 레이어를 이용하여 인핸스드 레이어를 인코딩 또는 디코딩 하는 레이어간 예측을 위해서는 먼저 베이스 레이어에 대한 디코딩이 수행되어야 하므로, 이에 대해 먼저 설명한다.

베이스 레이어의 디코딩에서, 분할 모드, 레퍼런스 인덱스, 모션 벡터와 같은 베이스 레이어의 모션 정보뿐만 아니라 베이스 레이어의 텍스처도 디코딩된다.

레이어간 텍스처 예측을 위한 베이스 레이어의 텍스처 디코딩에서는, 디코더의 부담을 줄이기 위해서 베이스 레이어의 영상 샘플 데이터가 모두 디코딩되지는 않고, 인트라 모드의 매크로 블록에 대해서는 영상 샘플 데이터가 복원되고, 인터 모드의 매크로 블록에 대해서는 이웃 픽처와의 모션 보상 없이 영상 샘플 데이터간의 오차 데이터인 레지듀얼(residual) 데이터만이 디코딩 된다.

또한, 레이어간 텍스처 예측을 위한 베이스 레이어의 텍스처 디코딩은 매크로블록 단위가 아닌 픽처 단위로 수행되어 인핸스드 레이어의 픽처에 시간적으로 매칭되는 베이스 레이어의 픽처가 구성되는데, 위에서 언급한 바와 같이, 인트라 모드의 매크로 블록에서 복원되는 영상 샘플 데이터와 인터 모드의 매크로 블록에서 디코딩 되는 레지듀얼 데이터로 베이스 레이어의 픽처가 구성된다.

이와 같이 인트라 모드 또는 인터 모드의 모션 보상 및 DCT와 양자화 등의 변환은 영상 블록, 예를 들어 16x16 크기의 매크로 블록 또는 4x4 크기의 서브 블록 단위로 수행되기 때문에, 영상 블록의 경계에서 블록화 현상(blocking artifact)이 발생하여 영상을 왜곡한다. 이러한 블록화 현상을 감소시키기 위하여 디블로킹 필터링이 적용되는데, 디블로킹 필터는 영상 블록의 가장자리를 부드럽게 하여 영상 프레임의 화질을 향상시킨다.

블록 왜곡 현상을 줄이기 위한 디블로킹 필터링의 적용 여부는 영상 블록의 경계에서의 세기와 경계 주위의 픽셀의 변화(gradient)에 의해 좌우되고, 디블로킹 필터의 감도는, 양자화 파라미터(parameter), 인트라 모드, 인터 모드, 블록의 크기 등을 가리키는 영상 블록의 분할 모드, 모션 벡터, 디블로킹 필터링되기 전의 픽셀 값 등에 의해 결정된다.

레이어간 예측에서 디블록킹 필터는, 인핸스드 레이어의 인트라 베이스 모드(intra Base, intraBL, 또는 intra interlayer mode)의 매크로 블록의 텍스처 예측의 기준이 되는, 베이스 레이어의 픽처 내의 인트라 모드의 매크로 블록에 적용된다.

레이어간 예측 방법에 의해 인코딩 되는 두 레이어가 모두 도 2c와 같이 필드 픽처 시퀀스로 인코딩 되는 경우에는, 두 레이어가 모두 프레임 포맷으로 간주되어 프레임 포맷인 경우에 대한 코딩 과정으로부터 디블록킹 필터링을 포함하는 인코딩/디코딩 과정이 쉽게 유도될 수 있다.

따라서, 본 발명의 일 실시예에서는, 베이스 레이어와 인핸스드 레이어의 픽처 포맷이 다른 경우, 즉 인핸스드 레이어는 프레임 방식(또는 순차주사 포맷)이고 베이스 레이어는 필드 방식(또는 비월주사 포맷)인 경우, 또는 인핸스드 인터레이스는 필드 방식이고 베이스 레이어는 프레임 방식인 경우, 또는 인핸스드 레이어와 베이스 레이어가 모두 필드 방식이지만 도 2c와 도 2d와 같이 어느 하나는 필드 픽처 시퀀스로 인코딩 되고 나머지 하나는 MBAFF 프레임으로 인코딩되는 경우에 디블로킹 필터링을 수행하는 방법을 설명한다.

도 3a 및 3b는, 본 발명의 일 실시예에 따라, 레이어간 텍스처 예측을 위해, 베이스 레이어의 픽처를 구성하여 디블로킹(de-blocking) 필터링을 수행하는 과정을 도식적으로 나타낸 것이다.

도 3a는 인핸스드 레이어는 프레임 방식이고 베이스 레이어는 필드 방식인 경우에 대한 예이고, 도 3b는 인핸스드 인터레이스는 필드 방식이고 베이스 레이어는 프레임 방식인 경우에 대한 예이다.

본 실시예들에서, 레이어간 텍스처 예측을 위해, 베이스 레이어의 인터모드의 매크로 블록과 인트라 모드의 매크로 블록에 대한 텍스처가 디코딩 되어 영상 샘플 데이터와 레지듀얼 데이터로 이루어지는 베이스 레이어 픽처가 구성되고, 블록화 현상을 줄이기 위한 디블로킹 필터가 상기 구성된 픽처에 적용된 후에, 베이스 레이어와 인핸스드 레이어의 해상도의 비(화면 크기의 비)에 따라 업샘플링 된다.

도 3a와 도 3b에서 첫 번째 방법(Method 1)은, 베이스 레이어를 2개의 필드 픽처로 분리하여 디블로킹 필터링을 수행하는 방법으로, 다른 픽처 포맷으로 인코딩 되는 베이스 레이어를 이용하여 인핸스드 레이어를 생성할 때, 베이스 레이어의 픽처를 even 라인의 필드 픽처와 odd 라인의 필드 픽처로 나누고, 이에 대해 디블로킹 필터링과 업샘플링을 하고, 두 필드 픽처를 하나의 픽처로 결합하여, 이를 기초로 레이어간 텍스처 예측 동작을 수행한다.

상기 첫 번째 방법은 다음의 3 단계로 이루어진다.

첫 번째 단계인 분리 단계(separation)에서는, 베이스 레이어의 픽처가 even 라인으로 구성되는 top field(또는 기수 필드) 픽처와 odd 라인으로 구성되는 bottom field(또는 우수 필드) 픽처로 분리하는데, 이때 상기 베이스 레이어의 픽처는 베이스 레이어의 데이터 스트림으로부터 모션 보상(motion com-pensation)을 통해 복원되는 영상 샘플 데이터(인트라 모드)와 레지듀얼 데이터(인터 모드)를 포 함하는 영상 픽처이다.

두 번째 단계인 디블로킹 단계(de-blocking)에서는, 상기 분리 단계에서 분리되는 각 필드 픽처가 디블로킹 필터에 의해 디블로킹 되는데, 이때 적용되는 디블로킹 필터는 종래의 디블로킹 필터가 사용될 수 있다.

인핸스드 레이어와 베이스 레이어의 해상도가 다른 경우, 상기 디블로킹 되는 각 필드 픽처는 인핸스드 레이어와 베이스 레이어의 해상도의 비율에 따라 업샘플링 된다.

세 번째 단계인 결합단계(joining)에서는, 업샘플링 되는 top field 픽처와 bottom field 픽처가 교대로 인터레이싱 되어 하나의 픽처로 결합된다. 이후, 이를 기초로 인핸스드 레이어의 텍스처에 대한 예측 동작이 수행된다.

도 3a와 도 3b에서 두 번째 방법(Method 2)은, 다른 픽처 포맷으로 인코딩 되는 베이스 레이어를 이용하여 인핸스프 레이어를 생성할 때, 베이스 레이어의 픽처를, 2개의 필드 픽처로 나누지 않고, 바로 디블로킹 필터링 하고 업샘플링 하여, 이를 기초로 레이어간 텍스처 예측 동작을 수행한다.

상기 두 번째 방법에서는, 레이어간 텍스처 예측에 의해 인코딩 하고자 하는 인핸스드 레이어의 픽처에 대응되는 베이스 레이어의 픽처가 top field 픽처와 bottom field 픽처로 분리되지 않고 바로 디블로킹 필터링 되고, 업샘플링 동작이 수행된다. 이후, 이를 기초로 인핸스드 레이어의 텍스처에 대한 예측 동작이 수행된다.

레이어간 모션 예측을 위해 구성되는 베이스 레이어의 픽처에 적용되는 디블 록킹 필터는, 레지듀얼 데이터를 포함하는 영역에는 적용되지 않고, 영상 샘플 데이터를 포함하는 영역에 대해서만, 즉 인트라 모드의 매크로 블록으로부터 디코딩 되는 영상 샘플 데이터에만 적용된다.

도 3a에서 베이스 레이어가 필드 방식으로 인코딩 되어 있는 경우, 즉 베이스 레이어가 도 2c와 같이 필드 픽처 시퀀스로 또는 도 2d와 같이 MBAFF 프레임으로 인코딩 되어 있는 경우, 상기 두 번째 방법을 적용하기 위해서는, top field 픽처와 bottom field 픽처의 각 라인을 교대로 인터레이싱 하여 하나의 픽처로 결합하거나(도 2c의 경우) 또는 필드 매크로 블록쌍의 상단 매크로 블록과 하단 매크로 블록의 각 라인을 교대로 인터레이싱 하여 하나의 픽처로 결합하는(도 2d의 경우) 과정(이후에 도 8d와 도 8e를 참조로 상세히 설명됨)이 필요하다. 이때 인터레이싱 되는 top과 bottomfield 픽처 또는 상단과 하단 매크로 블록은, 모션 보상(motion compensation)을 통해 복원되는 영상 샘플 데이터(인트라 모드)와 레지듀얼 데이터(인터 모드)를 포함하는 필드 픽처 또는 매크로 블록에 해당한다.

또한, 도 2a와 같은 MBAFF 프레임 내의 필드 매크로 블록쌍(베이스 레이어)에서 상단과 하단의 매크로 블록의 모드가 서로 다르고 이 중 인트라 모드의 블록이 선택되어 인핸스드 레이어의 매크로 블록쌍에 대한 레이어간 텍스처 예측에 이용되는 경우(이후에 설명될 도 8g의 경우), 도 2d와 같은 MBAFF 프레임 내의 필드 매크로 블록쌍으로 인코딩 된 베이스 레이어에 인핸스드 레이어의 픽처에 시간적으로 매칭되는 프레임(픽처)이 없는 경우(이후에 설명될 도 8h의 경우), 또는 도 2c와 같은 필드 픽처의 필드 매크로 블록의 베이스 레이어로부터 매크로 블록쌍의 인 핸스드 레이어로 텍스처가 예측되는 경우(이후에 설명될 도 10d의 경우), 선택되는 하나의 필드 매크로 블록은, 임시의 매크로 블록쌍(도 8g에서 841, 도 8h에서 851/852) 또는 임시의 2개의 매크로 블록(도 10d에서 1021)으로 업샘플링된 되고, 이중 인트라 모드의 블록에 대해서는 디블로킹 필터가 적용된다.

이후 여러 실시예를 통해 설명되는 레이어간 텍스처 예측은, 도 3a와 3b 실시예에서 설명한 디블로킹 필터링 된 베이스 레이어의 픽처를 기초로 수행된다.

다음으로, 현재 레이어에서 코딩될 매크로 블록의 각 유형과 그 매크로 블록의 레이어간 예측에 이용될 베이스 레이어의 매크로 블록의 각 유형에 따른 경우를 구분하여 레이어간 예측 방법에 대해 설명하는데, 앞서 언급한 바와 같이 현재 레이어와 베이스 레이어의 공간적 해상도는 상호 동일하다고 가정한다.

I. 프레임 MB -＞ MBAFF 프레임의 필드 MB의 경우

이 경우는, 현재 레이어(EL)에서 MB가 MBAFF 프레임내의 필드 MB로 코딩되고, 그 필드 MB에 대한 레이어간 예측에 이용할 베이스 레이어(BL)의 MB가 프레임 MB로 코딩되어 있는 경우로서, 베이스 레이어에서 상하 양 매크로 블록( 이를 '매크로 블록쌍'이라고 하며, 이하에서는, '쌍'이라는 표현은 수직으로 인접되어 있는 블록을 칭하기 위해 사용된다. )에 포함되어 있는 영상신호 성분은, 현재 레이어의 대응위치(colacated)의 매크로 블록 쌍의 각각에 포함되어 있는 영상신호 성분과 각각 동일한 성분이 된다. 먼저, 레이어간 모션예측에 대해 설명한다.

상기 EL 엔코더(20)는 베이스 레이어의 매크로 블록쌍(410)을 하나의 매크로 블록으로 병합( 수직방향으로 1/2로 압축 )시켜서 얻은 매크로 블록 분할 (partition)모드를 현재 매크로 블록의 분할 모드로 사용한다. 도 4a는 이를 구체적인 예로서 나타낸 것이다. 도시된 바와 같이, 베이스 레이어의 대응 매크로 블록쌍(410)을 먼저 하나의 매크로 블록으로 병합시키고(S41), 그 병합에 의해서 얻어진 분할모드를 다른 하나에 복사하여(S42) 매크로 블록쌍(411)을 구성한 후, 그 매크로 블록쌍(411)의 각 분할모드를 가상 베이스 레이어의 매크로 블록쌍(412)에 각기 적용한다(S43).

그런데, 대응되는 매크로 블록쌍(410)을 하나의 매크로 블록으로 병합시킬 때, 분할모드에서 허용되지 않는 분할영역이 생길 수 있으므로, 이를 방지하기 위해 상기 EL 엔코더(20)는 다음과 같은 규칙에 따라 분할형태를 결정한다.

1). 베이스 레이어의 매크로 블록쌍내의 2개의 상하 8x8 블록들( 도 4a의 B8_0와 B8_2)은 하나의 8x8 블록으로 병합하는 데, 대응되는 8x8 블록들 각각이 서브 분할되어 있지 않으면 이들은 2개의 8x4 블록들로 병합하고, 하나라도 서브 분할되어 있으면 이들은 4개의 4x4 블록들로 병합한다( 도 4a의 401 ).

2). 베이스 레이어의 8x16 블록은 8x8 블록으로, 16x8 블록은 수평으로 인접된 2개의 8x4 블록으로, 16x16 블록은 16x8 블록으로 축소한다.

만약, 대응되는 매크로 블록쌍중 적어도 어느 하나가 인트라(intra) 모드로 코딩되어 있는 경우에는 상기 EL 엔코더(20)는 상기의 병합과정전에 다음의 과정을 먼저 수행한다.

만약, 둘 중 하나만이 인트라 모드인 경우에는 도 4b에 예시된 바와 같이 인터(inter) 모드의 매크로 블록의 모션정보( MB 분할모드, 참조(reference) 인덱스, 모션 벡터들 )를 인트라 모드의 매크로 블록에 복사하거나, 도 4c에 예시된 바와 같이 인트라 모드의 매크로 블록을 0의 모션벡터와 참조 인덱스가 0인 16x16 인터 모드의 매크로 블록으로 간주하거나 도 4d에 예시된 바와 같이 인트라 모드 MB에 대해서, 인터모드 MB의 참조 인덱스는 복사하여 설정하고 모션벡터는 0 모션벡터를 갖도록 한 후에, 전술한 병합과정을 수행하고, 이하에서 설명하는 참조 인덱스 및 모션 벡터 유도(derivation) 과정을 또한 수행한다.

상기 EL 엔코더(20)는 현재 매크로 블록쌍(412)의 참조 인덱스를 대응되는 매크로 블록쌍(410)의 참조 인덱스로부터 유도하기 위해 다음의 과정을 수행한다.

현재 8x8 블록에 대응되는 베이스 레이어의 8x8 블록쌍이 서로 동일 횟수로 서브 분할되어 있으면 그 쌍에서 어느 하나( 상단 또는 하단 )의 8x8 블록의 참조 인덱스를 현재 8x8 블록의 참조 인덱스로 결정하고, 그렇지 않으면 서브 분할횟수가 적은 블록의 참조 인덱스를 현재 8x8 블록의 참조 인덱스로 결정한다.

본 발명에 따른 다른 실시예에서는, 현재 8x8 블록에 대응되는 베이스 레이어의 8x8 블록쌍에 지정되어 있는 참조 인덱스중 작은 값의 참조 인덱스를 현재 8x8 블록의 참조 인덱스로 결정한다. 이 결정방법을 도 4e의 예에 대해 나타내 보면,

refidx of curr B8_0 = min( refidx of base top frame MB's B8_0, refidx of base top frame MB's B8_2 )

refidx of curr B8_1 = min( refidx of base top frame MB's B8_1, refidx of base top frame MB's of base B8_3 )

refidx of curr B8_2 = min( refidx of base bottom frame MB's B8_0, refidx of base bottom frame MB's B8_2 ), 그리고

refidx of curr B8_3 = min( refidx of base bottom frame MB's B8_1, refidx of base bottom frame MB's B8_3 )

가 된다.

전술한 참조 인덱스 유도과정은, 상단 필드 MB 와 하단 필드 MB에 모두 적용할 수 있다. 그리고, 전술한 바와 같은 방식으로 결정된 각 8x8 블록의 참조 인덱스에 대해 2를 곱하여 최종 참조 인덱스 값으로 한다. 이는, 디코딩시에 필드 MB가 우수 및 기수 필드들로 구분된 픽처에 속하게 되므로 픽처수는 프레임 시퀀스에서보다 2배로 많아지기 때문이다. 디코딩 알고리즘(algorithm)에 따라서는, 하단 필드 MB의 참조 인덱스는 2배후에 1을 더하여 최종 참조 인덱스 값으로 결정할 수도 있다.

상기 EL 엔코더(20)가 가상 베이스 레이어의 매크로 블록쌍에 대한 모션벡터를 유도하는 과정은 다음과 같다.

모션벡터는 4x4 블록을 기본으로 하여 결정되므로, 도 4f에 예시된 바와 같이, 베이스 레이어의 대응되는 4x8 블록을 확인하고, 그 블록이 서브 분할되어 있으면 상단 또는 하단의 4x4 블록의 모션벡터를 현재 4x4 블록의 모션벡터로 결정하고, 그렇지 않으면 대응되는 4x8 블록의 모션벡터를 현재 4x4 블록의 모션벡터로 결정한다. 그리고 결정된 모션벡터에 대해서는 그 수직성분을 2로 나눈 벡터를 최종 모션벡터로 사용한다. 이는 2개의 프레임 MB에 실린 영상성분이 하나의 필드 MB 의 영상성분에 상응하게 되므로 필드 영상에서는 크기가 수직축으로 1/2로 축소되기 때문이다.

상기와 같은 방식으로 가상 베이스 레이어의 필드 MB쌍(412)에 대한 모션정보가 구해지면 그 모션정보를, 현재 레이어, 즉 인핸스드 레이어의 대상 필드 MB쌍(413)의 레이어간 모션예측을 위해 사용한다. 이하의 설명에서도 가상 베이스 레이어의 MB 또는 MB 쌍에 대한 모션정보가 구해지면 이 모션정보는 현재 레이어의 대응 MB 또는 MB 쌍에 대한 레이어간 모션 예측에 사용된다. 따라서, 이하의 설명에서, 가상 베이스 레이어의 MB 또는 MB 쌍의 모션정보를 현재 레이어의 대응 MB 또는 MB쌍의 레이어간 모션예측에 사용한다라는 언급이 없어도 이는 당연히 적용되는 과정이다.

도 5a는 본 발명의 다른 실시예에 따른, 현재 매크로 블록쌍에 대응되는 베이스 레이어의 프레임 MB쌍의 모션정보로부터 레이어간 예측을 위해 사용할 가상 베이스 레이어(Virtual Base Layer)의 필드 MB쌍(500)의 모션정보를 유도하는 것을 도식적으로 나타낸 것이다. 본 실시예에서는, 도시된 바와 같이, 가상 BL의 필드 MB쌍(500)의 각 상단 8x8 블록의 참조 인덱스는 BL의 프레임 MB쌍의 상단 MB의 상단 또는 하단 8x8 블록의 참조 인덱스를 사용하고, 각 하단 8x8 블록의 참조 인덱스는 BL의 하단 MB의 상단 또는 하단 8x8 블록의 참조 인덱스를 사용한다. 모션 벡터의 경우에는, 도시된 바와 같이, 가상 BL의 필드 MB쌍(500)의 각 최상단 4x4블록에 대해서는 BL의 프레임 MB쌍의 상단 MB의 최상단 4x4블록의 모션 벡터를 동일하게 사용하고, 각 두번째 4x4블록에 대해서는 BL의 프레임 MB쌍의 상단 MB의 세번째 4x4 블록의 모션벡터를 동일하게 사용하며, 각 세번째 4x4블록에 대해서는 BL의 프레임 MB쌍의 하단 MB의 최상단 4x4 블록의 모션벡터를 동일하게 사용하며, 각 네번째 4x4 블록에 대해서는 BL의 프레임 MB쌍의 하단 MB의 세번째 4x4 블록의 모션벡터를 동일하게 사용한다.

그런데, 도 5a에 예시된 바와 같이, 레이어간 예측에 사용하기 위해 구성되는 필드 매크로 블록쌍(500)내의 8x8 블록내의 상단 4x4 블록(501)과 하단 4x4 블록(502)은 베이스 레이어의 서로 다른 8x8 블록(511,512) 내의 4x4 블록의 모션벡터를 사용하는 데, 이 들 모션벡터는 서로 다른 기준 픽처를 사용한 모션벡터일 수 있다. 즉, 상기 서로 다른 8x8 블록(511,512)은 서로 다른 참조 인덱스 값을 가질 수 있다. 따라서, 이 경우에는, 상기 가상 BL의 필드 매크로 블록쌍(500)을 구성하기 위해, 상기 EL 엔코더(20)는 도 5b에 예시된 바와 같이, 가상 BL의 두번째 4x4 블록(502)의 모션벡터를 그 상단 4x4 블록(501)에 대해 선택된 대응되는 4x4 블록(503)의 모션벡터를 동일하게 사용하게 된다(521).

도 4a 내지 4f를 참조로 설명한 실시예는, 상기 EL 엔코더(20)가 현재 매크로 블록쌍에 대한 모션 정보를 예측하기 위해 가상 베이스 레이어의 모션정보를 구성함에 있어서, 베이스 레이어의 대응 매크로 블록쌍의 모션 정보에 근거해서 분할모드, 참조 인덱스 그리고 모션벡터 순으로 유도하는 것이었으나, 도 5a 및 5b를 참조로 설명한 실시예는, 베이스 레이어의 대응 매크로 블록쌍의 모션정보에 근거해서, 가상 베이스 레이어의 매크로 블록쌍에 대해 먼저 참조 인덱스와 모션 벡터를 유도한 뒤, 그 유도된 결과에 근거해서 마지막으로 가상 베이스 레이어의 매크 로 블록쌍의 분할모드를 결정하는 것이다. 마지막으로 분할모드를 결정할 때는, 유도된 모션벡터와 참조 인덱스가 동일한 4x4 블록단위들을 결합한 후, 그 결합된 블록형태가, 허용되는 분할모드에 속하면 결합된 형태로 지정하고, 그렇지 않으면 결합되기 전의 분할형태로 지정한다.

전술한 실시예에서, 베이스 레이어의 대응되는 매크로 블록쌍(410)이 모두 인트라 모드이면 현재 매크로 블록쌍(413)에 대해 인트라 베이스 예측만이 수행되고( 이 때는 모션 예측은 수행되지 않는다. 물론, 텍스처 예측의 경우에는 가상 베이스 레이어의 매크로 블록쌍이 구성되지도 않는다. ), 만약 둘 중 하나만 인트라 모드이면, 도 4b에서와 같이 인트라 모드의 MB에 인터 모드의 모션정보를 복사하거나 또는 도4c에서와 같이 인트라 모드이 MB의 모션벡터와 참조 인덱스를 0으로 설정하거나 또는 도 4d에서와 같이 인트라 모드 MB에 대해서, 인터모드 MB의 참조 인덱스는 복사하여 설정하고 모션벡터는 0 모션벡터를 갖도록 한 후에, 전술한 바와 같이 가상 BL의 매크로 블록쌍에 대한 모션 정보를 유도한다.

상기 EL 엔코더(20)는, 전술한 바와 같이 레이어간 모션 예측을 위한 가상 BL의 MB쌍을 구성하고 나면 그 MB쌍의 모션정보를 이용하여 현재의 필드 매크로 블록쌍(413)의 모션정보를 예측하여 코딩한다.

다음으로 레이어간 텍스처 예측에 대해 설명한다. 도 4g는, 이 경우( 프레임 MB -＞ MBAFF 프레임의 필드 MB의 경우 )에 대한 레이어간 텍스처 예측방법의 예를 나타낸 것이다. 상기 EL 엔코더(20)는, 먼저 대응되는 베이스 레이어의 프레임 매크로 블록쌍(410의 각 블록모드를 확인한다. 둘다 인트라(intra) 모드이거나 인터 (inter) 모드이면 다음에서 설명하는 방식대로, 대응되는 베이스 레이어의 매크로 블록쌍(410)을 임시의 필드 매크로 블록쌍(421)으로 변환하여 현재 필드 매크로 블록쌍(413)에 대해 인트라 베이스 예측을 수행하거나( 대응되는 매크로 블록쌍(410)이 모두 인트라 모드인 경우, 이 경우는 상기 임시의 필드 매크로 블록쌍(421)이 앞서 언급한 바와 같이 인트라 모드의 경우 디코딩완료 후 디블로킹 필터링된 데이터를 포함하고 있다. 이하의 여러가지 다양한 실시예의 설명에서의 텍스처 예측에 이용되는 베이스 레이어의 매크로 블록으로부터 유도된 임시의 매크로 블록쌍의 경우에도 마찬가지이다. ),

레지듀얼(residual) 예측을 수행한다( 대응되는 매크로 블록쌍(410)이 모두 인터 모드인 경우 ).

하지만, 둘중 하나만이 인터모드이면 레이어간 텍스처 예측을 수행하지 않는다. 레이어간 텍스처 예측에 사용되는 베이스 레이어의 매크로 블록쌍(410)은 인트라 모드의 경우에는 인코딩되지 않은 원래의 이미지 데이터( 또는 디코딩된 완료된 이미지 데이터 )를 가지며 인터 모드의 경우에는 인코딩된 레지듀얼 데이터( 또는 디코딩된 레지듀얼 데이터 )를 갖는다. 이는 이하의 텍스처 예측에서 설명하는 경우에 베이스 레이어의 매크로 블록쌍에 대해서도 마찬가지이다.

한쌍의 프레임 MB로부터 레이어간 텍스처 예측에 사용할 한쌍의 필드 MB로 변환하는 방법은 도 4h에 도시하였다. 도시된 바와 같이, 한쌍의 프레임 매크로 블록(A,B)의 우수 라인들을 차레로 선택하여 상단 필드 MB(A')를 구성하고, 한쌍의 프레임 매크로 블록(A,B)의 기수 라인들을 차례로 선택하여 하단 필드 MB(B')를 구 성한다. 그리고 하나의 필드 MB내의 라인들을 채울때는 상위에 있는 블록(A)의 우수( 또는 기수 )라인들을 먼저 채운 후(A_even 또는 A_odd) 하위에 있는 블록(B)의 우수( 또는 기수 )라인들을 채운다(B_even 또는 B_odd).

II. 프레임 MB -＞ 필드 픽처의 필드 MB의 경우

이 경우는, 현재 레이어에서 MB가 필드 픽처내의 필드 MB로 코딩되고, 그 필드 MB에 대한 레이어간 예측에 이용할 베이스 레이어의 MB가 프레임 MB로 코딩되어 있는 경우로서, 베이스 레이어에서 매크로 블록쌍에 포함되어 있는 영상신호 성분은, 현재 레이어의 대응위치의 우수 또는 기수 필드내의 매크로 블록에 포함되어 있는 영상신호 성분과 동일한 성분이 된다. 먼저, 레이어간 모션예측에 대해 설명한다.

상기 EL 엔코더(20)는, 베이스 레이어의 매크로 블록쌍을 하나의 매크로 블록으로 병합( 수직방향으로 1/2로 압축 )시켜서 얻은 매크로 블록 분할(partition)모드를 우수 또는 기수의 가상 베이스 레이어의 매크로 블록의 분할 모드로 사용한다. 도 6a는 이를 구체적인 예로서 나타낸 것이다. 도시된 바와 같이, 베이스 레이어의 대응 매크로 블록쌍(610)을 먼저 하나의 매크로 블록(611)으로 병합시키고(S61), 그 병합에 의해서 얻어진 분할모드를, 현재의 매크로 블록(613)의 레이어간 모션 예측에 사용할 가상 베이스 레이어의 매크로 블록(612)에 적용한다(S62). 병합하는 규칙은 앞서의 경우 I에서와 동일하며, 대응되는 매크로 블록쌍(610)중 적어도 어느 하나가 인트라(intra) 모드로 코딩되어 있는 경우에 처리하는 방식도 앞서의 경우 I에서와 동일하다.

그리고, 참조 인덱스와 모션 벡터를 유도하는 과정도 또한 앞서의 경우 I에 대해서 설명한 바와 동일하게 이루어진다. 다만, I의 경우에는 매크로 블록이 우수와 기수의 쌍으로 한 프레임내에 실리게 되므로 상단 MB 및 하단 MB에 동일한 유도과정을 적용하지만, 본 경우(II)에는 현재 코딩할 필드 픽처내에는 베이스 레이어의 매크로 블록쌍(610)에 대응되는 매크로 블록이 하나만 존재하므로 도 6b 및 6c에 예시된 바와 같이 하나의 필드 MB에 대해서만 유도과정을 적용하는 점만이 상이하다.

상기 실시예에서는, 상기 EL 엔코더(20)가 가상 베이스 레이어의 매크로 블록에 대한 모션 정보를 예측함에 있어서, 베이스 레이어의 대응 매크로 블록쌍의 모션 정보에 근거해서 분할모드, 참조 인덱스 그리고 모션벡터 순으로 유도하였다.

본 발명에 따른 다른 일 실시예에서는, 베이스 레이어의 대응 매크로 블록쌍의 모션정보에 근거해서, 가상 베이스 레이어의 매크로 블록에 대해 먼저 참조 인덱스와 모션 벡터를 유도한 뒤, 그 유도된 결과에 근거해서 마지막으로 가상 베이스 레이어의 매크로 블록의 분할모드를 결정한다. 도 7a 및 7b는 본 실시예에 따라, 가상 베이스 레이어의 필드 매크로 블록의 참조 인덱스와 모션 벡터가 유도되는 것을 도식적으로 나타낸 것이며, 이 경우는 상단 또는 하단의 한 매크로 블록에 대해 베이스 레이어의 매크로 블록쌍의 모션 정보를 사용하여 해당 모션 정보를 유도하는 것만 상이할 뿐 유도하는 데 적용되는 동작은 앞서 도 5a 및 5b를 참조하여 설명한 경우 I과 동일하다.

마지막으로 분할모드를 결정할 때는, 유도된 모션벡터와 참조 인덱스가 동일 한 4x4 블록단위들을 결합한 후, 그 결합된 블록이 허용되는 분할모드이면 결합된 형태로 지정하고, 그렇지 않으면 결합되기 전의 분할모드로 둔다.

전술한 실시예들에서, 베이스 레이어의 대응되는 매크로 블록쌍이 모두 인트라 모드이면 모션 예측은 수행되지 않고 가상 베이스 레이어의 매크로 블록쌍의 모션정보를 구성하지도 않으며, 둘 중 하나만 인트라 모드이면 모션 예측은 이 경우에 대해 앞서 설명한 바와 같이 수행된다.

다음으로 레이어간 텍스처 예측에 대해 설명한다. 도 6d는, 이 경우( 프레임 MB -＞ 필드 픽처의 필드 MB의 경우 )에 대한 레이어간 텍스처 예측방법의 예를 나타낸 것이다. 상기 EL 엔코더(20)는, 먼저 대응되는 베이스 레이어의 매크로 블록쌍(610)의 각 블록모드를 확인한다. 둘다 인트라 모드이거나 인터모드이면, 상기 한쌍의 프레임 매크로블록(610)으로부터 하나의 임시 필드MB(621)를 구성한다. 이 때, 현재의 매크로 블록(613)이 우수 필드 픽처에 속하는 MB이면 상기 대응되는 매크로 블록쌍(610)의 우수 라인들로부터 상기 임시 필드 MB(621)를 구성하고, 기수 필드 픽처에 속하는 MB이면 상기 대응되는 매크로 블록쌍(610)의 기수 라인들로부터 상기 임시 필드 MB(621)를 구성한다. 구성하는 방법은, 도 4h에서 하나의 필드 MB(A' 또는 B')를 구성하는 방법과 동일하다.

임시 필드 MB(621)가 구성되면, 그 필드 MB(621)내의 텍스처 정보에 근거하여, 현재 필드 매크로 블록(613)에 대해 인트라 베이스 예측을 수행하거나( 대응되는 매크로 블록쌍(610)이 모두 인트라 모드인 경우 ), 레지듀얼 예측을 수행한다( 대응되는 매크로 블록쌍(610)이 모두 인터 모드인 경우 ).

만약, 상기 대응되는 프레임 매크로 블록쌍(610)중 하나만이 인터모드이면 레이어간 텍스처 예측을 수행하지 않는다.

III. MBAFF 프레임의 필드 MB -＞ 프레임 MB의 경우

이 경우는, 현재 레이어에서 MB가 프레임 MB로 코딩되고, 그 프레임 MB의 레이어간 예측에 이용할 베이스 레이어의 MB가 MBAFF 프레임내의 필드 MB로 코딩되어 있는 경우로서, 베이스 레이어의 한 필드 MB에 포함되어 있는 영상신호 성분은, 현재 레이어의 대응위치의 매크로 블록 쌍에 포함되어 있는 영상신호 성분과 동일한 성분이 된다. 먼저, 레이어간 모션예측에 대해 설명한다.

상기 EL 엔코더(20)는, 베이스 레이어의 한 매크로 블록쌍내의 상단 또는 하단의 매크로 블록을 신장( 수직방향으로 2배로 신장 )시켜서 얻은 매크로 블록 분할(partition) 모드를 가상 베이스 레이어의 매크로 블록쌍의 분할 모드로 사용한다. 도 8a는 이를 구체적인 예로서 나타낸 것이다. 이하 설명 및 도면에서 상단 필드 MB가 선정된 것으로 하였으나, 하단 필드 MB가 선택된 경우에도 하기 설명하는 바를 동일하게 적용할 수 있음은 물론이다.

도 8a에 도시된 바와 같이, 베이스 레이어의 대응 매크로 블록쌍(810)내의 상단 필드 MB를 2배로 신장시켜 2개의 매크로 블록(811)을 구성하고(S81), 그 신장에 의해서 얻어진 분할형태를 가상 베이스 레이어의 매크로 블록쌍(812)에 적용한다(S82).

그런데, 대응되는 하나의 필드 MB를 수직으로 2배 신장시킬 때, 매크로 블록의 분할모드에서 허용되지 않는 분할형태가 생길 수 있으므로, 이를 방지하기 위해 상기 EL 엔코더(20)는 다음과 같은 규칙에 따라 신장된 분할형태에 따른 분할모드를 결정한다.

1). 베이스 레이어의 4x4, 8x4, 그리고 16x8의 블록은 수직으로 2배 커진 각각 4x8, 8x8, 그리고 16x16의 블록으로 결정한다.

2). 베이스 레이어의 4x8, 8x8, 8x16 그리고 16x16의 블록은 각기 2개의 동일크기의 상하 블록으로 결정한다 도 8a에 예시된 바와 같이, 베이스 레이어의 8x8 B8_0 블록은 2개의 8x8 블록들로 결정된다(801). 하나의 8x16의 블록으로 지정하지 않는 이유는, 그 좌 또는 우에 인접된 신장된 블록이 8x16의 분할블록이 되지 않을 수 있으므로 이러한 경우에는 매크로 블록의 분할모드가 지원되지 않기 때문이다.

만약, 대응되는 매크로 블록쌍(810)중 어느 하나가 인트라 모드로 코딩되어 있는 경우에는 상기 EL 엔코더(20)는 인트라 모드가 아닌 인터 모드의 상단 또는 하단의 필드 MB를 선택하여 상기의 신장 과정을 수행하여 가상 베이스 레이어의 매크로 블록쌍(812)의 분할모드를 결정한다.

만약, 둘 다 인트라 모드인 경우에는 레이어간 텍스처 예측만 수행하고, 전술한 신장과정을 통한 분할모드 결정과, 이하에서 설명하는 참조 인덱스 및 모션 벡터 유도 과정을 수행하지 않는다.

상기 EL 엔코더(20)는 가상 베이스 레이어의 매크로 블록쌍(812)의 참조 인덱스를 대응되는 하나의 필드 MB의 참조 인덱스로부터 유도하기 위해, 대응되는 베이스 레이어의 8x8 블록(B8_0)의 참조 인덱스를, 도 8b에 예시된 바와 같이 2개의 상하 8x8 블록들의 각 참조 인덱스로 결정하고, 결정된 각 8x8 블록의 참조 인덱스 에 대해 2로 나누어 최종 참조 인덱스 값으로 한다. 이는, 필드 MB에 대해서 우수 및 기수 필드들로 구분된 픽처를 기준으로하여 기준 픽처의 번호를 지정하므로, 프레임 시퀀스에 적용하기 위해서는 픽처 번호를 절반으로 줄일 필요가 있기 때문이다.

상기 EL 엔코더(20)가 가상 베이스 레이어의 프레임 매크로 블록쌍(812)에 대한 모션벡터를 유도할 때는, 도 8c에 예시된 바와 같이, 대응되는 베이스 레이어의 4x4 블록의 모션벡터를 가상 베이스 레이어의 매크로 블록쌍(812)내의 4x8 블록의 모션벡터로 결정하고, 그 결정된 모션벡터에 대해서 수직성분에 대해서 2를 곱한 벡터를 최종 모션벡터로 사용한다. 이는 1개의 필드 MB에 실린 영상성분이 2개의 프레임 MB의 영상성분에 상응하게 되므로 프레임 영상에서는 크기가 수직축으로 2배로 확대되기 때문이다.

전술한 실시예에서는, 상기 EL 엔코더(20)가 가상 베이스 레이어의 매크로 블록쌍에 대한 모션 정보를 예측함에 있어서, 베이스 레이어의 대응 필드 MB의 모션 정보에 근거해서 분할모드, 참조 인덱스 그리고 모션벡터 순으로 유도하였다.

본 발명에 따른 다른 일 실시예에서는, 베이스 레이어의 대응 필드 MB의 모션정보에 근거해서, 현재 매크로 블록쌍의 레이어간 예측에 사용할 가상 BL의 MB쌍의 모션정보를 도 9a에 예시된 바와 같이 참조 인덱스와 모션 벡터를 먼저 구한 뒤, 그 구해진 결과에 근거해서 마지막으로 가상 베이스 레이어의 매크로 블록쌍의 각 분할모드를 결정한다. 마지막으로 분할모드를 결정할 때는, 유도된 모션벡터와 참조 인덱스가 동일한 4x4 블록단위들을 결합한 후, 그 결합된 블록이 허용되는 분 할형태이면 결합된 형태로 지정하고, 그렇지 않으면 결합되기 전의 분할형태로 지정한다.

도 9a의 실시예에 대해 보다 상세히 설명하면, 도시된 바와 같이, 현재 매크로 블록쌍의 모션예측에 사용할 가상 BL의 프레임 MB쌍에 대한 참조 인덱스와 모션 벡터를 유도하기 위해, 베이스 레이어(BL)의 인터 모드의 필드 MB를 선택하여 그 MB의 모션벡터와 참조 인덱스를 사용한다. 만약, 양 매크로 블록이 모두 인터이면 상단 또는 하단 MB중 임의의 하나를 선택(901 또는 902)하여 그 MB의 모션벡터와 참조 인덱스 정보를 사용한다. 참조 인덱스에 대해서는, 도시된 바와 같이, 선택된 MB의 상단 8x8 블록의 해당 값을 가상 BL의 상단 MB의 상단과 하단 8x8 블록의 참조 인덱스로 복사하고, 선택된 MB의 하단 8x8 블록의 해당 값을 가상 BL의 하단 MB의 상단과 하단 8x8 블록의 참조 인덱스로 복사한다. 모션 벡터에 대해서는, 도시된 바와 같이 선택된 MB의 각 4x4 블록의 해당 값을, 가상 BL의 매크로 MB쌍의 상하 인접된 양 4x4 블록의 모션 벡터로 동일하게 사용한다. 본 발명에 따른 다른 실시예에서는, 도 9a에 예시된 것과는 달리, 가상 BL의 프레임 MB쌍의 모션벡터와 참조 인덱스를 유도하기 위해, 대응되는 BL의 MB쌍의 모션정보를 혼합하여 사용할 수도 있다. 도 9b는 본 실시예에 따른 모션벡터와 참조 인덱스의 유도과정을 예시한 것이다. 전술한 모션정보의 유도과정의 설명과 도 9b의 도면으로부터, 가상 BL의 MB쌍내의 각 서브블록들( 8x8 블록과 4x4 블록들 )의 참조 인덱스와 모션벡터의 대응 복사관계는 직관적으로 이해할 수 있으므로 이에 대한 구체적인 설명은 생략한다.

다만, 도 9b의 실시예에서는, 베이스 레이어의 필드 MB쌍의 모션정보가 모두 사용되므로, 양 필드 MB쌍중 어느 하나가 인트라 모드인 경우에 그 MB의 모션정보를 다른 인터 모드 MB의 모션정보를 이용하여 유도하게 된다. 즉, 도 4b에 예시된 바와 같이, 인터 모드 MB의 모션벡터와 참조 인덱스를 복사하여 인트라 모드 MB의 해당 정보로 구성하거나 또는 도 4c에 예시된 바와 같이, 인트라 모드 MB를 0의 모션벡터와 0의 참조 인덱스를 갖는 인터 모드 MB로 간주하거나 또는 도 4d에 예시된 바와 같이 인트라 모드 MB에 대해서, 인터모드 MB의 참조 인덱스는 복사하여 설정하고 모션벡터는 0의 모션벡터를 갖도록 한 후에, 도 9b에 예시된 바와 같이 가상 BL의 MB쌍의 모션벡터와 참조 인덱스 정보를 유도할 수 있다. 모션벡터와 참조 인덱스 정보가 유도되면 앞서 언급한 바와 같이 그 유도된 정보들에 근거하여 가상 BL의 MB쌍에 대한 블록모드가 결정된다.

한편, 베이스 레이어의 대응되는 필드 MB 쌍이 모두 인트라 모드이면 모션 예측은 수행되지 않는다.

다음으로 레이어간 텍스처 예측에 대해 설명한다. 도 8d는, 이 경우( MBAFF 프레임의 필드 MB -＞ 프레임 MB의 경우 )에 대한 레이어간 텍스처 예측방법의 예를 나타낸 것이다. 상기 EL 엔코더(20)는, 먼저 대응되는 베이스 레이어의 필드 매크로 블록쌍(810)의 각 블록모드를 확인한다. 둘다 인트라 모드이거나 인터모드이면 다음에서 설명하는 방식대로, 대응되는 베이스 레이어의 필드 매크로 블록쌍(810)을 임시의 프레임 매크로 블록쌍(821)으로 변환하여 현재 프레임 매크로 블록쌍(813)에 대해 인트라 베이스 예측을 수행하거나( 대응되는 매크로 블록쌍(810)이 모두 인트라 모드인 경우 - 상기 매크로 블록쌍(810)은 앞서 언급한 바와 같이 디코딩 완료된 데이터를 갖고 있고, 디블로킹 필터는 상기 프레임 매크로 블록쌍(821)에 적용된다. ), 레지듀얼 예측을 수행한다( 대응되는 매크로 블록쌍(810)이 모두 인터 모드인 경우 ).

한쌍의 필드 MB로부터 한쌍의 프레임 MB로 변환하는 방법은 도 8e에 도시하였다. 도시된 바와 같이, 한쌍의 필드 매크로 블록(A,B)을 교번적으로 선택(A-＞B-＞A-＞B-＞A-＞,..)하면서 그 블록내의 라인들을 상단에서부터 순차적으로 취하고 취한 순서대로 상단에서 차례로 배치하여 한쌍의 프레임 MB(A',B')를 구성한다. 이와 같이 한쌍의 필드 MB의 라인들을 재배치함으로써, 상단의 프레임 MB(A')는 한쌍의 필드 매크로 블록(A,B)의 상위 절반의 라인들로 구성되고, 하단의 프레임 MB(B')는 하위 절반의 라인들로 구성된다.

한편, 베이스 레이어의 대응되는 필드 매크로 블록쌍(810)중 하나만이 인터모드인 경우에는, 현재의 프레임 매크로 블록쌍(813)의 블록모드에 따라 베이스 레이어의 필드 매크로 블록쌍(810)중 하나의 블록을 선택하여 레이어간 텍스처 예측에 이용한다. 또는, 현재의 프레임 매크로 블록쌍(813)의 블록모드의 결정전에 하기에서 설명하는 각 방식을 적용하여 레이어간 예측을 수행한 후 그 매크로 블록쌍(813)의 각 블록모드를 결정할 수도 있다.

도 8f와 8g는 하나의 블록을 선택하여 레이어간 예측을 수행하는 예를 나타낸 것이다. 현재의 프레임 매크로 블록쌍(813)이 인터모드로 코딩되는 경우에는( 또는 인터모드에 따른 예측을 수행하는 경우에는 ), 도 8f에서와 같이, 베이스 레 이어의 필드 매크로 블록쌍(810)에서 인터 모드의 블록(810a)을 선택하여 그 블록을 수직방향으로 업샘플링하여 2개의 매크로 블록에 해당하는 크기(831)로 만든 후 그 2개의 매크로 블록을 현재 프레임 매크로 블록쌍(813)의 레지듀얼 예측에 사용한다. 현재의 프레임 매크로 블록쌍(813)이 인터모드로 코딩되지 않는 경우에는( 또는 인트라 모드에 따른 예측을 수행하는 경우에는 ), 도 8g에서와 같이, 베이스 레이어의 필드 매크로 블록쌍(810)에서 인트라 모드의 블록(810b)을 선택하여 그 블록을 수직방향으로 업샘플링하여 2개의 매크로 블록에 해당하는 크기(841)로 만들고 이에 디블로킹 필터를 적용한 후 그 2개의 매크로 블록을 현재 프레임 매크로 블록쌍(813)의 인트라 베이스 예측에 사용한다.

도 8f와 8g에 예시된, 하나의 블록을 선택하여 업샘플링한 후 업샘플링된 MB쌍을 레이어간 텍스처 예측에 사용하는 방법은, 레이어간 픽처 레이트(rate)가 상이한 경우에도 적용할 수도 있다. 인핸스드 레이어의 픽처 레이트가 베이스 레이어의 픽처 레이트보다 높은 경우에는, 인핸스드 레이어의 픽처 시퀀스에는 시간적으로(temporally) 대응되는 베이스 레이어의 픽처가 존재하지 않는 픽처가 생기게 된다. 이와 같이 시간적으로 대응되는 픽처가 없는 인핸스드 레이어의 픽처에 속하는 프레임 매크로 블록쌍에 대해서, 그보다 시간적으로 앞선 베이스 레이어의 픽처내의 대응위치(spatially co-located)에 있는 필드 매크로 블록쌍중 하나를 이용하여 레이어간 텍스처 예측을 수행할 수 있다.

도 8h는 이에 대한 예를 도시한 것으로서, 인핸스드 레이어의 픽처 레이트가 베이스 레이어의 픽처 레이트의 2배인 경우를 예로 한 것이다.

예시된 바와 같이, 인핸스드 레이어의 픽처 레이트가 베이스 레이어의 2배이므로, POC( Picture Order Count )가 n2인 경우에서와 같이, 두 픽처에 한 픽처마다 POC가 매칭(matching)되는 베이스 레이어의 픽처를 갖지 못한다.

여기서 POC가 매칭된다는 것은 곧 시간적으로(temporally)으로 일치하는 것을 의미한다.

이와 같이, 시간적으로 매칭되는 픽처가 없는 경우에는( POC=n2인 경우 ), 앞선 픽처( 즉, POC가 1작은 픽처 )의 위치대응되는 필드 매크로 블록쌍 내의 하단 필드 매크로 블록(802)을 수직으로 업샘플링하여(S82) 한쌍의 임시 매크로 블록쌍(852)을 만든 후, 그 임시 매크로 블록쌍(852)을 이용하여, 현재 프레임 매크로 블록쌍(815)에 대한 레이어간 텍스처 예측을 수행하는 데 사용한다. 시간적으로 매칭되는 픽처가 있는 경우에는( POC=n1인 경우 ), 동시간의 픽처의 위치대응되는 필드 매크로 블록쌍내의 상단 필드 매크로 블록(801)을 수직으로 업샘플링하여(S81) 한쌍의 임시 매크로 블록쌍(851)을 만들어서, 현재 프레임 매크로 블록쌍(814)에 대한 레이어간 텍스처 예측을 수행하는 데 사용한다. 이때 업샘플링을 통해 만들어진 임시 매크로 블록쌍(851 또는 852) 중에서 인트라 모드로부터 디코딩 된 블록쌍에 대해서는 디블로킹 필터가 적용된 후에 레이어간 텍스처 예측에 사용된다.

본 발명에 따른 다른 실시예에서는, 동시간의 픽처가 베이스 레이어에 존재하는 경우( 도 8h의 예에서 POC=n1인 경우 )에 대해서, 도 8h에 예시된 방법대신, 도 8d에 예시된 실시예에 따라 한쌍의 필드 MB로부터 프레임 MB쌍을 만든 후 레이어간 텍스처 예측에 사용할 수도 있다. 그리고, 동시간의 픽처가 베이스 레이어에 존재하지 않는( 도 8h의 예에서 POC=n2인 경우 ) 픽처의 경우에는, 도 8h에서와 같이, 레이어간 텍스처 예측을 수행할 수도 있고 또는 그 픽처내의 매크로 블록들에 대해서는 레이어간 텍스처 예측을 수행하지 않을 수도 있다.

따라서, 본 발명에 따른 일 실시예에서는, 레이어간 텍스처 예측이 도 8d에 예시된 방법에 따라 행해진 것인지 도 8h에 예시된 방법에 따라 행해진 것인지를 나타내는 플래그 'field_base_flag'를 할당하여 코딩정보에 포함시킨다. 이 플래그에는 도 8d와 같은 방법으로 텍스처 예측이 된 경우에는 예를 들어 '0'의 값이, 도 8h와 같은 방법으로 텍스처 예측이 된 경우에는 예를 들어 '1'의 값이 세트된다. 그리고, 이 플래그는, 인핸스드 레이어의 시퀀스 파라미터 세트(sequence parameter set), 스케일러블 확장자(extension)내의 시퀀스 파라미터 세트(sequence parameter set in scalable extension), 픽처 파라미터 세트(picture parameter set), 스케일러블 확장자내의 픽처 파라미터 세트(picture parameter set in scalable extension), 슬라이스 헤더, 스케일러블 확장자내의 슬라이스 헤더, 매크로 블록 레이어, 또는 스케일러블 확장자내의 매크로 블록 레이어에서 정의되어 디코더에 전송된다.

IV. 필드 픽처의 필드 MB -＞ 프레임 MB의 경우

이 경우는, 현재 레이어(EL)에서 MB가 프레임 MB로 코딩되고, 그 프레임 MB의 레이어간 예측에 이용할 베이스 레이어(BL)의 MB가 필드 픽처내의 필드 MB로 코딩되어 있는 경우로서, 베이스 레이어의 한 필드 MB에 포함되어 있는 영상신호 성분은, 현재 레이어의 대응위치의 매크로 블록 쌍에 포함되어 있는 영상신호 성분과 동일한 성분이 된다. 먼저, 레이어간 모션예측에 대해 설명한다.

상기 EL 엔코더(20)는, 베이스 레이어의 우수 또는 기수 필드내의 한 매크로 블록을 수직방향으로 2배로 신장시켜서 얻은 분할모드를 가상 베이스 레이어의 매크로 블록의 분할 모드로 사용한다. 도 10a는 이를 구체적인 예로서 나타낸 것이다. 도 10a에 예시된 과정은, MBAFF 프레임내의 상단 또는 하단의 필드 MB가 선택되는 전술한 경우 III과 비교하여, 우수 또는 기수 필드내의 위치 대응되는 하나의 필드 MB(1010)가 자연적으로 사용되는 것이 상이할 뿐, 대응되는 필드 MB(1010)를 신장하고, 그 신장에 의해서 얻어진 2개의 매크로 블록(1011)의 분할형태를 가상 베이스 레이어의 매크로 블록쌍(1012)에 적용하는 것은 동일하다. 그리고, 대응되는 하나의 필드 MB(1010)를 수직으로 2배 신장시킬 때, 매크로 블록의 분할모드에서 허용되지 않는 분할형태가 생길 수 있으므로, 이를 방지하기 위해 상기 EL 엔코더(20)가 신장된 분할형태에 따른 분할모드를 결정하는 규칙도 경우 III의 1)과 2)에 제시된 것과 동일하다.

만약, 대응되는 매크로 블록이 인트라 모드로 코딩되어 있는 경우에는 상기 EL 엔코더(20)는 전술한 신장과정을 통한 분할모드 결정과, 이하에서 설명하는 참조 인덱스 및 모션 벡터 유도 과정을 수행하지 않는다. 즉, 레이어간 모션 예측은 수행되지 않는다.

그리고, 참조 인덱스와 모션 벡터를 유도하는 과정도 또한 앞서의 경우 III에 대해서 설명한 바와 동일하다. 다만, III의 경우에는 베이스 레이어의 대응되는 매크로 블록이 우수와 기수의 쌍으로 한 프레임내에 실리게 되므로 상단 MB 및 하 단 MB 중 하나를 선택하여 유도과정을 적용하지만, 본 경우(IV)에는 현재 코딩할 매크로 블록에 대응되는 베이스 레이어의 대응되는 매크로 블록은 하나만 존재하므로 매크로 블록의 선택과정없이, 도 10b 및 10c에 예시된 바와 같이 그 대응되는 하나의 필드 MB의 모션 정보로부터 가상 베이스 레이어의 매크로 블록쌍(1012)에 대한 모션 정보를 유도한 뒤 이를 현재 매크로 블록쌍(1013)의 레이어간 모션 예측에 사용하게 된다.

도 11은 본 발명의 다른 실시예에 따라 가상 베이스 레이어의 매크로 블록쌍의 참조 인덱스와 모션 벡터가 유도되는 것을 도식적으로 나타낸 것이며, 이 경우는 베이스 레이어의 우수 또는 기수 필드의 한 매크로 블록의 모션 정보로부터 가상 베이스 레이어의 매크로 블록쌍의 모션 정보를 유도하는 것만 상이할 뿐, 유도하는 데 적용되는 동작은 앞서 도 9a를 참조하여 설명한 경우와 동일하다. 다만, 대응하는 베이스 레이어(BL)의 한 필드내에 상단 및 하단 매크로 블록쌍이 존재하지 않으므로, 도 9b에 예시된 경우에서 매크로 블록쌍의 모션 정보를 혼합하여 사용하는 경우는 본 경우(IV)에 적용되지 않는다.

도 10a 내지 10c를 참조로 설명한 실시예에서는, 상기 EL 엔코더(20)가 가상 베이스 레이어의 매크로 블록쌍에 대한 모션 정보를 예측함에 있어서, 베이스 레이어의 대응 필드 MB의 모션 정보에 근거해서 분할모드, 참조 인덱스 그리고 모션벡터 순으로 유도하였으나, 도 11 에 따른 다른 일 실시예에서는, 베이스 레이어의 대응 필드 MB의 모션정보에 근거해서, 가상 베이스 레이어의 매크로 블록쌍에 대해, 먼저 참조 인덱스와 모션 벡터를 유도한 뒤, 그 유도된 결과에 근거해서 마지 막으로 가상 베이스 레이어의 매크로 블록쌍의 분할모드를 결정한다. 마지막으로 분할모드를 결정할 때는, 유도된 모션벡터와 참조 인덱스가 동일한 4x4 블록단위들을 결합한 후, 그 결합된 블록이 허용되는 분할형태이면 결합된 형태로 지정하고, 그렇지 않으면 결합되기 전의 분할형태로 지정한다.

전술한 실시예들에서, 텍스처(texture) 예측의 경우에는, 베이스 레이어의 대응되는 필드 MB가 인트라 모드이면 현재 매크로 블록에 대해 인트라 베이스 예측 코딩이 수행되고, 인터 모드이면 현재 매크로 블록이 인터모드로 코딩되는 경우 레이어간 레지듀얼(residual) 예측 코딩이 수행된다. 물론, 이 때는 예측에 사용할 필드 MB에 대해서는 수직축으로 업샘플링한 후 텍스처 예측에 사용한다.

본 발명에 따른 다른 일 실시예에서는, 기수 또는 우수의 필드에 있는 필드 MB로부터 가상의(virtual) 매크로 블록을 생성하여 매크로 블록쌍을 구성한 뒤, 그 구성된 매크로 블록쌍으로부터 가상 베이스 레이어의 매크로 블록쌍의 모션 정보를 유도한다. 도 12a 및 12b는 이에 대한 예를 도시한 것이다.

본 실시예에서는, 베이스 레이어의 대응되는 우수 (또는 기수) 필드 MB의 참조 인덱스와 모션벡터를 복사(1201,1202)하여 가상의 기수 (또는 우수) 필드 MB를 만들어 한쌍의 매크로 블록(1211)을 구성하고, 그 구성된 매크로 블록쌍(1211)의 모션 정보를 혼합하여 가상 베이스 레이어의 매크로 블록쌍(1212)의 모션정보를 유도한다(1203,1204). 모션정보를 혼합하여 사용하는 한 예는, 도 12a 및 12b에 예시된 바와 같이, 참조 인덱스의 경우에, 대응되는 상단 매크로 블록의 상위 8x8 블록은 가상 베이스 레이어의 매크로 블록쌍(1212)의 상단 매크로 블록의 상위 8x8 블 록에, 하위 8x8 블록은 하단 매크로 블록의 상위 8x8 블록에, 대응되는 하단 매크로 블록의 상위 8x8 블록은 가상 베이스 레이어의 매크로 블록쌍(1212)의 상단 매크로 블록의 하위 8x8 블록에, 하위 8x8 블록은 하단 매크로 블록의 하위 8x8 블록에 대응시켜 참조 인덱스를 적용한다(1203). 그리고, 모션 벡터의 경우에, 참조 인덱스에 따라 대응시켜 적용하며(1204), 이는 도 12a 및 12b에 의해 직관적으로 이해될 수 있으므로 그 설명은 생략한다.

도 12a 및 12b에 예시된 실시예의 경우에 가상 베이스 레이어의 매크로 블록쌍(1212)의 분할모드는 유도된 참조 인덱스와 모션 벡터에 근거해서 결정하며, 그 방법은 전술한 바와 동일한다.

다음으로 레이어간 텍스처 예측에 대해 설명한다. 도 10d는, 이 경우( 필드 픽처의 필드 MB -＞ 프레임 MB의 경우 )에 대한 레이어간 텍스처 예측방법의 예를 나타낸 것이다. 상기 EL 엔코더(20)는, 먼저 대응되는 베이스 레이어의 필드 매크로 블록(1010)을 수직방향으로 업샘플링하여 임시의 2개의 매크로 블록(1021)으로 만든다. 그리고, 대응되는 필드 매크로 블록(1010)이 인트라 모드이면, 상기 만들어진 임시의 2개의 매크로 블록(1021)에 디블로킹 필터를 적용한 후 이를 기준으로 하여 현재 프레임 매크로 블록쌍(1013)에 대해 인트라 베이스 예측을 수행하고, 상기 대응되는 필드 매크로 블록(1010)이 인터 모드이면, 상기 만들어진 임시의 2개의 매크로 블록(1021)을 기준으로 하여 현재 프레임 매크로 블록쌍(1013)에 대해 레지듀얼 예측을 수행한다.

V. 필드 MB -＞ 필드 MB의 경우

이 경우는, 필드 MB가 필드 픽처에 속한 것인지 MBAFF 프레임에 속한 것인지로 세분되므로, 다음과 같이 4가지의 경우로 나뉘어진다.

i) 베이스 레이어와 인핸스드 레이어가 MBAFF 프레임인 경우

이 경우는 도 13a에 나타내었으며, 도시된 바와 같이 대응되는 베이스 레이어(BL)의 매크로 블록쌍의 모션 정보( 분할모드, 참조 인덱스, 모션벡터 )를 가상 베이스 레이어의 매크로 블록쌍의 모션정보로 그대로 복사하여 사용한다. 다만, 복사는 동일 패러티(parity)의 매크로 블록간에 이루어지게 한다. 즉, 모션정보가 복사될 때 우수 필드 MB는 우수 필드 MB로 기수 필드 MB는 기수 필드 MB로 복사되어 가상 레이어의 매크로 블록을 구성하며 이 매크로 블록이 현재 레이어의 매크로 블록에 대한 모션예측에 사용된다.

텍스처 예측의 경우에는, 기 공지되어 있는 프레임 MB와 프레임 MB간의 레이어간 텍스처 예측방법이 적용된다.

ii) 베이스 레이어가 필드 픽처이고 인핸스드 레이어가 MBAFF 프레임인 경우

이 경우는 도 13b에 나타내었으며, 도시된 바와 같이 대응되는 베이스 레이어(BL)의 하나의 필드 매크로 블록의 모션 정보( 분할모드, 참조 인덱스, 모션벡터 )를 가상 베이스 레이어의 매크로 블록쌍의 각 매크로 블록의 모션정보로 그대로 복사하여 사용한다. 이 때는, 단일 필드 MB의 모션정보를 상단 및 하단의 필드 MB에 모두 사용하게 되므로 동일 패터리간 복사 규칙은 적용되지 않는다.

텍스처 예측의 경우에는, 동일 필드 속성( 우수 필드, 기수 필드 )을 갖는 인핸스드 레이어의 MB와 베이스 레이어의 MB간에, 인트라 베이스 예측( 베이스 레 이어의 대응 블록이 인트라 모드인 경우 )을 적용하거나 레지듀얼 예측( 베이스 레이어의 대응 블록이 인터 모드인 경우 )을 적용한다.

iii) 베이스 레이어가 MBAFF 프레임이고 인핸스드 레이어가 필드 픽처인 경우

이 경우는 도 13c에 나타내었으며, 도시된 바와 같이 현재 필드 MB에 대응되는 베이스 레이어(BL)의 매크로 블록쌍 중 동일 패러티의 필드 MB를 선택하여 그 필드 MB의 모션 정보( 분할모드, 참조 인덱스, 모션벡터 )를 가상 베이스 레이어의 필드 매크로 블록의 모션정보로 그대로 복사하여 사용한다.

텍스처 예측의 경우에는, 동일 필드 속성( 우수 필드, 기수 필드 )을 갖는 인핸스드 레이어의 MB와 베이스 레이어의 MB간에, 인트라 베이스 예측( 베이스 레이어의 대응 블록이 인트라 모드인 경우 )을 적용하거나 레지듀얼 예측( 베이스 레이어의 대응 블록이 인터 모드인 경우 )을 적용한다.

iv) 베이스 레이어와 인핸스드 레이어가 필드 픽처인 경우

이 경우는 도 13d에 나타내었으며, 도시된 바와 같이 대응되는 베이스 레이어(BL)의 필드 매크로 블록의 모션 정보( 분할모드, 참조 인덱스, 모션벡터 )를 가상 베이스 레이어의 필드 매크로 블록의 모션정보로 그대로 복사하여 사용한다. 이 때도, 복사는 동일 패러티(parity)의 매크로 블록간에 이루어지게 한다.

텍스처 예측의 경우에는, 기 공지되어 있는 프레임 MB와 프레임 MB간의 레이어간 텍스처 예측방법이 적용된다.

지금까지의 레이어간 예측의 설명은 베이스 레이어와 인핸스드 레이어가 동 일 해상도를 가지는 경우에 대한 것이었다. 이하에서는 인핸스드 레이어가 베이스 레이어보다 해상도가 높은 경우( SpatialScalabilityType()가 0보다 큰 경우 )에 대해서 각 레이어의 픽처의 유형( 순차주사방식의 프레임, MBAFF 프레임, 비월주사방식의 필드 ) 및/또는 픽처내의 매크로 블록의 유형을 확인하고 그 확인된 유형에 따라 레이어간 예측방법을 적용하는 것에 대해 설명한다. 먼저, 레이어간 모션 예측에 대해 설명한다.

M_A). 베이스 레이어:순차주사방식의 프레임 -＞ 인핸스드 레이어:MBAFF 프레임

도 14a는 이 경우에 대한 처리방식으로 도시한 것이다. 도시된 바와 같이, 베이스 레이어의 대응 프레임의 모든 매크로 블록의 모션 정보를 복사하여 가상의 프레임을 먼저 만든다. 그리고 업샘플링을 수행하는 데, 이 업샘플링에서는 베이스 레이어의 픽처의 텍스처 정보를 사용하여 그 픽처의 해상도( 픽처 크기 )가 현재 레이어의 해상도( 픽처 크기 )와 동일해지도록 하는 비율로 인터폴레이션(interpolation)이 수행되고, 또한 상기 가상 프레임의 각 매크로 블록의 모션 정보에 근거하여 인터폴레이션에 의해 확대된 픽처의 각 매크로 블록의 모션 정보를 구성하게 되는 데, 이 구성 방법에는 기 공지된 방법 중 하나를 사용한다. 이와 같이 구성된 잠정(interim) 베이스 레이어의 픽처는 현재의 인핸스드 레이어 픽처의 해상도와 동일한 해상도를 갖게 된다. 따라서, 전술한 레이어간 모션 예측을 적용할 수 있게 된다.

도 14a의 경우는, 베이스 레이어가 프레임이고, 현재 레이어가 MBAFF 프레임 이므로, 해당 픽처내의 각 매크로 블록은 프레임 MB와 MBAFF 프레임내 필드 MB 가 된다. 따라서, 전술한 경우 I을 적용하여 레이어간 모션 예측을 수행한다. 그런데, 앞서 언급한 바와 같이, MBAFF 프레임은 필드 MB쌍외에 프레임 MB쌍도 동일 프레임내에 포함하고 있을 수 있다. 따라서, 잠정 베이스 레이어의 픽처내의 매크로 블록쌍과 대응하는 현재 레이어의 매크로 블록쌍의 유형이 필드 MB가 아니고 프레임 MB로 확인되는 경우에는, 기 공지된 프레임 MB간의 모션 예측방법, 즉 frame_to_frame의 예측방식( 이는 정보의 단순한 모션정보의 복사이다. )을 적용한다.

M_B). 베이스 레이어:순차주사방식의 프레임 -＞ 인핸스드 레이어:비월주사방식의 필드

도 14b는 이 경우에 대한 처리방식으로 도시한 것이다. 도시된 바와 같이, 베이스 레이어의 대응 프레임의 모든 매크로 블록의 모션 정보를 복사하여 가상의 프레임을 먼저 만든다. 그리고 업샘플링을 수행하는 데, 이 업샘플링에서는 베이스 레이어의 픽처의 텍스처 정보를 사용하여 그 픽처의 해상도가 현재 레이어의 해상도와 동일해지도록 하는 비율로 인터폴레이션이 수행되고, 또한 상기 구성된 가상 프레임의 각 매크로 블록의 모션 정보에 근거하여 인터폴레이션에 의해 확대된 픽처의 각 매크로 블록의 모션 정보를 구성한다. 이와 같이 구성된 잠정 베이스 레이어의 픽처내의 각 매크로 블록은 프레임 MB이고, 현재 레이어의 각 매크로 블록은 필드 픽처내의 필드 MB이므로, 전술한 경우 II를 적용하여 레이어간 모션 예측을 수행한다.

M_C). 베이스 레이어 :MBAFF 프레임 -＞ 인핸스드 레이어 :순차주사방식의 프레임

도 14c는 이 경우에 대한 처리방식으로 도시한 것이다. 도시된 바와 같이, 먼저, 베이스 레이어의 대응 MBAFF 프레임을 순차주사방식의 프레임으로 변환한다. MBAFF 프레임의 필드 MB쌍에 대해서는 순차주사방식의 프레임으로 변환하기 위해서는 전술한 경우 III의 방법을 적용하고 프레임 MB쌍에 대해서는 공지된 frame_to_frame의 예측방식을 적용한다. 물론, 이때의 III의 방법 적용은, 레이어간 예측에 의해 얻어지는 데이터를 사용하여 가상의 프레임과 그 프레임내의 각 매크로 블록의 모션정보를 생성하는 것이며 예측 데이터와 실제 코딩할 레이어의 데이터와의 차이를 코딩하는 동작을 수행하는 것은 아니다.

가상의 프레임이 얻어지면, 그 가상 프레임에 대해서 업샘플링을 수행한다. 이 업샘플링에서는 베이스 레이어의 해상도가 현재 레이어의 해상도와 동일해지도록 하는 비율로 인터폴레이션이 이루어지며, 또한 기 공지된 방법 중 하나를 사용하여, 가상 프레임의 각 매크로 블록의 모션 정보에 근거하여 확대된 픽처의 각 매크로 블록의 모션 정보를 구성한다. 이와 같이 구성된 잠정 베이스 레이어의 픽처내의 각 매크로 블록은 프레임 MB이고, 현재 레이어의 각 매크로 블록도 프레임 MB이므로, 기 공지되어 있는 프레임 MB 대 프레임 MB의 레이어간 모션예측을 수행한다.

M_D). 베이스 레이어:비월주사방식의 필드 -＞ 인핸스드 레이어:순차주사방식의 프레임

도 14d는 이 경우에 대한 처리방식의 하나를 도시한 것이다. 이 경우는 픽처의 유형과 픽처내의 매크로 블록의 유형이 동일하다. 도시된 바와 같이, 먼저, 베이스 레이어의 대응 필드를 순차주사방식의 프레임으로 변환한다. 이 변환된 프레임은 현재 레이어의 픽처와 동일한 수직/수평의 비율을 갖는다. 비월주사방식의 필드를 순차주사방식의 프레임으로 변환하기 위해서는 업샘플링과 전술한 경우 IV의 방법을 적용한다. 물론, 이때의 IV의 방법 적용도, 레이어간 예측에 의해 얻어지는 데이터를 사용하여 가상의 프레임의 텍스처 데이터와 그 프레임내의 각 매크로 블록의 모션정보를 생성하는 것이며 예측 데이터와 실제 코딩할 레이어의 데이터와의 차이를 코딩하는 동작을 수행하는 것은 아니다.

가상의 프레임이 얻어지면, 그 가상 프레임에 대해서 업샘플링을 수행한다. 이 업샘플링에서, 상기 가상 프레임이 현재 레이어의 해상도와 동일해지도록 인터폴레이션이 수행되고 또한 기 공지된 방법 중 하나를 사용하여, 가상 프레임의 각 매크로 블록의 모션 정보에 근거하여 인터폴레이션된 픽처의 각 매크로 블록의 모션 정보를 구성한다. 이와 같이 구성된 잠정 베이스 레이어의 픽처내의 각 매크로 블록은 프레임 MB이고, 현재 레이어의 각 매크로 블록도 프레임 MB이므로, 기 공지되어 있는 프레임 MB 대 프레임 MB의 레이어간 모션 예측을 수행한다.

도 14e는 본 발명의 다른 실시예에 따른, 상기 M_D)의 경우에 대한 처리 방식을 도시한 것이다. 본 실시예는 도시된 바와 같이, 베이스 레이어의 기수 또는 우수의 대응 필드를 순차주사방식의 프레임으로 변환한다. 비월주사방식의 필드를 순차주사방식의 프레임으로 변환하기 위해서는, 도 14d에서와 같이 업샘플링과 전 술한 경우 IV의 방법을 적용한다. 가상의 프레임이 얻어지면, 그 가상 프레임에 대해서, 기 공지된 방법 중 하나인, 동일한 수직/수평 비율을 갖는 픽처간의 모션예측방법을 현재 레이어의 픽처와 잠정 레이어의 가상의 프레임간에 적용하여 현재 레이어의 순차주사방식의 픽처내의 각 매크로 블록의 모션정보를 예측코딩한다.

도 14e에 예시된 방법은, 도 14d에 예시된 방법과 비교해 볼 때, 임시 예측정보(prediction signal)가 생성되지 않는다는 점에서 상이하다.

도 14f는 본 발명의 또 다른 실시예에 따른, 상기 M_D)의 경우에 대한 처리방식을 도시한 것이다. 본 실시예는 도시된 바와 같이, 베이스 레이어의 대응 필드의 모든 매크로 블록의 모션 정보를 복사하여 가상의 픽처를 만든다. 그리고, 업샘플링을 수행하는 데, 이 업샘플링에서는, 베이스 레이어의 픽처의 텍스처 정보를 사용하고 또한 수직 및 수평의 인터폴레이션 비율이 다르도록 하여 확대된 픽처가 현재 레이어의 픽처와 동일 크기( 동일 해상도 )를 갖도록 하며, 또한 기 공지된 방법 중 하나의 예측방법( 예를 들어 ESS(Extended Special Scalability) )을 상기 가상의 픽처에 적용하여 확대된 픽처의 모션정보와 각종 신택스 정보를 구성한다. 여기서 구성되는 모션벡터는 확대된 비율에 맞도록 신장된다. 잠정 베이스 레이어의 업샘플링된 픽처가 구성되면 그 픽처를 사용하여 현재 레이어의 픽처내의 각 매크로 블록에 대한 레이어간 모션예측을 적용하여 현재 레이어의 픽처내의 각 매크로 블록의 모션정보를 코딩한다. 이 때 적용하는 레이어간 예측방식은, 기 공지되어 있는 프레임 MB 대 프레임 MB의 레이어간 모션예측방식이 된다.

도 14g는 본 발명의 또 다른 실시예에 따른, 상기 M_D)의 경우에 대한 처리 방식을 도시한 것이다. 본 실시예는 도시된 바와 같이, 먼저 베이스 레이어의 대응 필드의 모든 매크로 블록의 모션 정보를 복사하여 가상의 픽처를 만든다. 그 후, 베이스 레이어의 픽처의 텍스처 정보를 사용하여 수직/수평비율이 다르게 인터폴레이션하는동작( 이 동작에 의해 생성된 텍스처 정보는 레이어간 텍스처 예측에 사용된다. )이 수행되며, 또한 상기 가상의 픽처내의 모션정보를 사용하여 현재 레이어의 픽처내의 각 매크로 블록에 대한 레이어간 모션예측을 동시에 수행하는 공지의 방법 중 하나, 예를 들어 JSVM(Joint Scalable Video Model)에 정의된 ESS(Extended Special Scalability)를 적용하여 현재 레이어의 픽처에 대한 모션예측코딩을 수행한다.

도 14g에 예시된 방법은, 도 14f에 예시된 방법과 비교해 볼 때, 임시 예측정보(prediction signal)가 생성되지 않는다는 점에서 상이하다.

M_E). 베이스 레이어:MBAFF 프레임 -＞ 인핸스드 레이어:MBAFF 프레임

도 14h는 이 경우에 대한 처리방식으로 도시한 것이다. 도시된 바와 같이, 먼저, 베이스 레이어의 대응 MBAFF 프레임을 순차주사방식의 프레임으로 변환한다. MBAFF 프레임을 순차주사방식의 프레임으로 변환하기 위해서는, 필드 MB쌍에 대해서 전술한 경우 III의 방법을 적용하고 프레임 MB쌍에 대해서는 frame_to_frame의 예측방식을 적용한다. 물론, 이때의 III의 방법 적용은, 레이어간 예측에 의해 얻어지는 데이터를 사용하여 가상의 프레임과 그 프레임내의 각 매크로 블록의 모션정보를 생성하는 것이며 예측 데이터와 실제 코딩할 레이어의 데이터와의 차이를 코딩하는 동작을 수행하는 것은 아니다.

가상의 프레임이 얻어지면, 그 가상 프레임에 대해서 업샘플링을 수행한다. 이 업샘플링에서는 베이스 레이어의 해상도가 현재 레이어의 해상도와 일치하도록 비율로 인터폴레이션이 이루어지고 또한 기 공지된 방법 중 하나를 사용하여, 상기 가상 프레임의 각 매크로 블록의 모션 정보에 근거하여 확대된 픽처의 각 매크로 블록의 모션 정보를 구성한다. 이와 같이 구성된 잠정 베이스 레이어의 픽처내의 각 매크로 블록은 프레임 MB이고, 현재 레이어의 각 매크로 블록은 MBAFF 프레임내의 필드 MB이므로, 전술한 I의 방법을 적용하여 레이어간 모션예측을 수행한다. 그런데, 앞서 언급한 바와 같이, MBAFF 프레임은 필드 MB쌍외에 프레임 MB쌍도 동일 프레임내에 포함하고 있을 수 있다. 따라서, 잠정 베이스 레이어의 픽처내의 매크로 블록쌍과 대응하는 현재 레이어의 매크로 블록쌍이 필드 MB가 아니고 프레임 MB인 경우에는, 기 공지된 프레임 MB간의 모션예측방법, 즉 frame_to_frame의 예측방식( 모션정보의 복사 )을 적용한다.

M_F). 베이스 레이어:MBAFF 프레임 -＞ 인핸스드 레이어:비월주사방식의 필드

도 14i는 이 경우에 대한 처리방식으로 도시한 것이다. 도시된 바와 같이, 먼저, 베이스 레이어의 대응 MBAFF 프레임을 순차주사방식의 프레임으로 변환한다. MBAFF 프레임을 순차주사방식의 프레임으로 변환하기 위해서는, 필드 MB쌍에 대해서는 전술한 경우 III의 방법을 적용하고 프레임 MB쌍에 대해서는 frame_to_frame의 예측방식을 적용한다. 물론, 이때의 III의 방법 적용도, 레이어간 예측에 의해 얻어지는 데이터를 사용하여 가상의 프레임과 그 프레임내의 각 매크로 블록의 모 션정보를 생성하는 것이며 예측 데이터와 실제 코딩할 레이어의 데이터와의 차이를 코딩하는 동작을 수행하는 것은 아니다.

가상의 프레임이 얻어지면, 그 가상 프레임에 대해서 현재 레이어의 해상도와 일치하도록 인터폴레이션을 수행하고 동시에 기 공지된 방법 중 하나를 사용하여, 가상 프레임의 각 매크로 블록의 모션 정보에 근거하여 확대된 픽처의 각 매크로 블록의 모션 정보를 구성한다. 이와 같이 구성된 잠정 베이스 레이어의 픽처내의 각 매크로 블록은 프레임 MB이고, 현재 레이어의 각 매크로 블록은 우수 또는 기수 필드내의 필드 MB이므로, 전술한 II의 방법을 적용하여 레이어간 모션예측을 수행한다.

M_G): 베이스 레이어:비월주사방식의 필드 -＞ 인핸스드 레이어:MBAFF 프레임

도 14j는 이 경우에 대한 처리방식으로 도시한 것이다. 도시된 바와 같이, 먼저, 베이스 레이어의 비월주사방식의 필드를 순차주사방식의 프레임으로 변환한다. 비월주사방식의 필드를 순차주사방식의 프레임으로 변환하기 위해서는 업샘플링과 전술한 경우 IV의 방법을 적용한다. 물론, 이때의 IV의 방법 적용도, 레이어간 예측에 의해 얻어지는 데이터를 사용하여 가상의 프레임과 그 프레임내의 각 매크로 블록의 모션정보를 생성하는 것이며 예측 데이터와 실제 코딩할 레이어의 데이터와의 차이를 코딩하는 동작을 수행하는 것은 아니다.

가상의 프레임이 얻어지면, 그 가상 프레임에 대해서 업샘플링을 수행하여 현재 레이어의 해상도와 일치되도록 하고 동시에 기 공지된 방법 중 하나를 사용하 여 확대된 픽처의 각 매크로 블록의 모션 정보를 구성한다. 이와 같이 구성된 잠정 베이스 레이어의 픽처내의 각 매크로 블록은 프레임 MB이고, 현재 레이어의 각 매크로 블록은 MBAFF 프레임내의 필드 MB이므로, 전술한 I의 방법을 적용하여 레이어간 모션예측을 수행한다. 그런데, MBAFF 프레임은 앞서 언급한 바와 같이, 필드 MB쌍외에 프레임 MB쌍도 동일 프레임내에 포함하고 있을 수 있으므로, 잠정 베이스 레이어의 픽처내의 매크로 블록쌍과 대응하는 현재 레이어의 매크로 블록쌍이 필드 MB가 아니고 프레임 MB인 경우에는, 전술한 I의 예측 방법이 아닌 기 공지된 프레임 MB간의 모션 예측방법, 즉 frame_to_frame의 예측방식을 적용한다.

M_H). 베이스 레이어:비월주사방식의 필드 -＞ 인핸스드 레이어:비월주사방식의 필드

도 14k는 이 경우에 대한 처리방식으로 도시한 것이다. 도시된 바와 같이, 베이스 레이어의 대응 필드의 모든 매크로 블록의 모션 정보를 복사하여 가상의 필드를 만든 후, 그 가상 필드에 대해서 업샘플링을 수행한다. 이 업샘플링은 베이스 레이어의 해상도가 현재 레이어의 해상도와 동일해지도록 하는 비율로 이루어지며, 기 공지된 방법 중 하나가 사용되어, 가상 필드의 각 매크로 블록의 모션 정보에 근거하여, 상기 확대된 픽처의 각 매크로 블록의 모션 정보가 구성된다. 이와 같이 구성된 잠정 베이스 레이어의 픽처내의 각 매크로 블록은 필드 픽처내의 필드 MB이고, 현재 레이어의 각 매크로 블록도 또한 필드 픽처내의 필드 MB이므로, 전술한 V의 iv)의 경우를 적용하여 레이어간 모션 예측을 수행한다.

도 14a 내지 14k의 실시예의 설명에 있어서, 베이스 레이어의 픽처의 텍스처 정보대신 잠정 레이어의 가상 필드 또는 가상 프레임의 텍스처 정보를 업샘플링에서 사용한 것으로 하였으나, 베이스 레이어의 픽처의 텍스처 정보를 사용할 수 있음은 물론이다. 또한, 후단에서 이루어지는 레이어간 모션예측에 사용될 잠정 레이어의 픽처의 모션정보를 유도함에 있어서 불필요한 경우에는 전술한 업샘플링과정에서 텍스처 정보를 사용한 인터폴레이션 과정은 생략될 수 있다.

한편, 앞서의 텍스처 예측의 설명은 베이스 레이어와 인핸스드 레이어가 공간적으로(spatially) 동일 해상도를 가지는 경우에 대한 것이었으나, 앞서 언급한 바와 같이 양 레이어간에 서로 상이한 공간적 해상도를 가질 수 있다. 인핸스드 레이어가 베이스 레이어보다 해상도가 높은 경우에는, 베이스 레이어의 픽처를 인핸스드 레이어의 픽처의 해상도와 동일해지도록 하는 동작을 수행한 후 동일 해상도의 베이스 레이어의 픽처가 만들어지면, 그 픽처내의 각 매크로 블록에 근거해서 앞서 설명했던 각 경우(I 내지 V)에서 해당되는 레이어간 텍스처 방식을 선택하여 예측 코딩을 수행하게 된다. 이하에서는 픽처의 해상도를 동일하게 만드는 과정에 대해 상술한다.

레이어간 예측을 위한 2개의 레이어를 고려할 때, 영상신호의 주사방식은 순차주사(progressive scanning) 방식과 비월주사(interlaced scanning) 방식이 존재하므로, 양 레이어간에 코딩하는 픽처 포맷( 순차주사방식과 비월주사방식 )의 조항은 4가지가 된다. 따라서, 이 4가지의 경우를 구분하여 베이스 레이어의 픽처의 해상도를 높여서 레이어간 텍스처 예측을 수행하는 방법을 설명한다.

T_A). 인핸스드 레이어는 순차주사방식이고 베이스 레이어는 비월주사방식인 경우

도 15a는, 이 경우에 대한 베이스 레이어의 픽처를 레이어간 텍스처 예측에 사용하는 방법의 일 실시예를 도시한 것이다. 도시된 바와 같이, 현재 레이어( 인핸스드 레이어 )의 픽처(1500)에 시간적으로(temporally) 대응되는 베이스 레이어의 픽처(1501)는 출력시점을 달리하는 우수 및 기수 필드를 포함하고 있으므로, 상기 EL 엔코더(20)는 먼저, 그 픽처를 우수와 기수 필드로 분리한다(S151). 이 때, 베이스 레이어의 픽처(1501)는 인트라 모드의 매크로 블록의 경우에는 인코딩되지 않은 원래의 이미지 데이터( 또는 디코딩된 완료된 이미지 데이터 )( 인트라 베이스 예측에 사용됨. )를 가지며 인터 모드의 매크로 블록의 경우에는 인코딩된 레지듀얼 데이터( 또는 디코딩된 레지듀얼 데이터 )( 레지듀얼 예측에 사용됨. )를 갖는다. 이는 이하의 텍스처 예측에서 설명하는 경우에 베이스 레이어의 픽처 또는 베이스 레이어의 매크로 블록에 대해서도 마찬가지이다.

상기 EL 엔코더(20)는 상기 대응되는 픽처(1501)를 각 필드 성분으로 분리한 후, 각 분리된 필드(1501a,1501b)에 대해서는 수직 및/또는 수평방향으로 인터폴레이션(interpolation)을 수행하여 확대된 우수 및 기수 픽처(1502a,1502b)를 만든다(S152). 이 인터폴레이션에는, 6-tap 필터링, 이진선형(binary-linear) 필터링 등의 공지된 방법 중 하나의 방법을 사용한다. 그리고 인터폴레이션에 의해 픽처의 해상도( 즉, 크기 )를 높이는 수직 및 수평 비율은, 베이스 레이어의 픽처 크기(1501)에 대한 인핸스드 레이어의 픽처 크기(1500)의 수직 및 수평 비율과 동일하다. 수직 및 수평 비율은 상호 동일할 수 있다. 예를 들어, 인핸스드 레이어의 픽 처와 베이스 레이어의 픽처의 해상도 비율이 2이면, 상기 인터폴레이션은 상기 분리된 우수 및 기수 필드(1501a,1501b)를 수직방향 및 수정방향으로 각 픽셀간에 하나의 픽셀을 더 생성하는 인터폴레이션을 수행하게 된다.

인터폴레이션이 완료되면, 그 확대된 우수 및 기수 필드(1502a,1502b)를 결합하여 하나의 픽처(1503)로 구성한다(S153). 이 결합에서는, 상기 확대된 우수 및 기수 필드(1502a,1502b)를 교번적(1502a-＞1502b-＞1502a-＞1502b-＞..)으로 선택하여 취한 각 라인을, 취한 순서대로 배치하여 상기 결합 픽처(1503)를 구성한다. 이 때, 그 결합된 픽처(1503)내의 각 매크로 블록에 대한 블록모드가 결정된다. 예를 들어, 결합된 픽처(1503)내의 매크로 블록의 블록모드를, 베이스 레이어의 픽처(1501)내의 동일한 영상성분이 있는 영역이 속하는 매크로 블록의 블록모드로 결정한다( 이러한 결정방법은 이하에서 설명하는 픽처의 확대시에 모두 적용될 수 있다. ). 이와 같이 구성된 결합 픽처(1503)는 인핸스드 레이어의 현재 픽처(1500)와 동일한 공간적(spatially) 해상도를 가지므로, 순차주사방식의 현재 픽처(1500)내의 각 매크로 블록들에 대해서, 상기 결합된 픽처(1503)의 대응 매크로 블록에 근거해서 텍스처 예측, 예를 들어 프레임 대 프레임(frame_to_frame) MB간의 텍스처 예측을 수행한다(S154).

도 15b는, 본 발명의 다른 실시예에 따른, 베이스 레이어의 픽처를 레이어간 텍스처 예측에 사용하는 방법을 도시한 것이다. 본 실시예는, 도시된 바와 같이, 출력시점을 달리하는 우수 및 기수 필드를 포함하고 있는 베이스 레이어의 픽처를 필드 속성(parity)별로 분리하지 않고 바로 수직 및/또는 수평방향으로 인터폴레이 션을 수행하여(S155), 인핸스드 레이어 픽처의 해상도( 즉, 크기 )와 동일한 해상도의 확대된 픽처를 구성한다. 그리고, 이와 같이 구성된 확대된 픽처를 사용하여, 인핸스드 레이어의 순차주사방식의 현재 픽처에 대해 레이어간 텍스처 예측을 수행한다(S156).

한편, 전술한 도 15a는, 본 발명에 따른, 우수 및 기수 필드를 갖는 픽처를 필드 속성별로 분리하여 인터폴레이션하는 과정을 픽처레벨에서 도시한 것이다. 하지만, 상기 EL 엔코더(20)는, 도 15a에 예시된 과정을 수행할 때는 매크로 블록 레벨에서 수행하여 도 15a에서 예시한 것과 동일한 결과를 얻을 수 있다. 이를 보다 구체적으로 설명하면, 우수 및 기수 필드를 갖는 베이스 레이어는 MBAFF 코딩의 경우 상기 픽처(1501)내의 수직으로 접한 매크로 블록쌍( 현재 텍스처 예측 코딩을 수행할 인핸스드 레이어 픽처내의 매크로 블록쌍에 위치 대응되는(co-located) 매크로 블록쌍 )은 도 16a 또는 16b에서와 같은 방식으로 우수 및 기수 필드 성분의 영상신호를 포함하고 있을 수 있다. 도 16a는 각 매크로 블록(A,B)에 우수 필드와 기수필드 성분이 인터리빙(interleaving)되어 있는 방식( 프레임 MB쌍 방식 )이고, 도 16b는 매크로 블록쌍의 각 매크로 블록(A,B)이 동일 필드 속성의 영상라인을 포함하는 방식( 필드 MB쌍 방식 )이다.

따라서, 도 16a의 경우에는, 도 15a에 예시된 방식을 적용하기 위해서, 매크로 블록쌍의 각 매크로 블록(A,B)의 우수 라인들을 취하여 하나의 우수 필드 블록(A')을 구성하고, 기수 라인들을 취하여 다른 하나의 기수 필드 블록(B')을 구성함으로써, 우수와 기수라인이 인터리빙된 매크로 블록쌍을 각기 우수와 기수 필드 성 분을 갖는 2개의 블록(A',B')으로 분리한다. 이와 같이 분리된 2개의 매크로 블록(A',B')에 대해서 각각 인터폴레이션을 수행하여 확대된 블록을 구성한다. 이 확대된 블록내에서, 현재 텍스처 예측 코딩할 인핸스드 레이어 픽처내의 인트라 BL(intra_BL) 모드 또는 레지듀얼 예측(residual_prediction) 모드의 매크로 블록에 대응되는 영역내의 데이터를 사용하여 텍스처 예측을 수행한다. 한편, 도 16a에서는 제시되지 않았지만, 상기와 같이 개별적으로 확대된 블록을 필드 속성별로 합치게 되면 도 15a의 확대된 우수와 기수 픽처(1502a,1502b)의 일부가 구성되므로, 각 매크로 블록쌍에 대해 상기의 동작을 반복하여 도 15a의 확대된 우수와 기수 픽처(1502a,1502b)를 구성할 수 있다.

도 16b에서와 같이 매크로 블록쌍이 필드 속성별로 구분되어 각 매크로 블록을 구성하고 있는 경우에는, 전술한 분리과정은 단순히 해당 매크로 블록쌍에서 각 매크로 블록을 복사하여 분리된 2개의 매크로 블록을 구성하는 것에 해당된다. 이후 과정은 도 16a에 대해서 설명한 바와 동일하다.

T_B). 인핸스드 레이어는 비월주사방식이고 베이스 레이어는 순차주사방식인 경우

도 17a는, 이 경우에 대한 베이스 레이어의 픽처를 레이어간 텍스처 예측에 사용하는 방법의 일 실시예를 도시한 것이다. 도시된 바와 같이, 상기 EL 엔코더(20)는 먼저, 현재 레이어의 픽처(1700)를 2개의 픽처로 구성한다(S171).

2개의 픽처를 구성하는 방법의 예로는, 대응되는 픽처(1701)의 우수 라인들만을 취하여 하나의 픽처(1701a)를 구성하고 기수 라인들만을 취하여 다른 하나의 픽처(1701b)를 구성한다. 그리고 그와 같이 구성된 2개의 픽처(1701a,1701b)에 대해서는 수직 및/또는 수평방향으로 인터폴레이션을 수행하여 확대된 2개의 픽처(1702a,1702b)를 만든다(S172). 이 인터폴레이션에는, T_A)의 경우에서와 마찬가지로 6-tap 필터링, 이진 선형(binary-linear) 필터링 등의 공지된 방법 중 하나의 방법을 사용하며, 해상도를 높이는 비율도 또한 T_A)의 경우에서 설명된 바와 같다.

인터폴레이션이 완료되면, 그 확대된 2개의 픽처(1702a,1702b)를 결합하여 하나의 픽처(1703)로 구성한다(S173). 이 결합에서는, 상기 확대된 2개의 픽처(1702a, 1702b)를 교번적(1702a-＞1702b-＞1702a-＞1702b-＞..)으로 선택하여 취한 각 라인을, 취한 순서대로 배치하여 상기 결합 픽처(1703)를 구성한다. 이와 같이 구성된 픽처(1703)는 인핸스드 레이어의 현재 픽처(1700)와 동일한 공간적 해상도를 가지므로, 비월주사 방식의 현재 픽처(1700)내의 각 매크로 블록들에 대해서, 상기 결합된 픽처(1703)의 대응 매크로 블록에 근거해서 텍스처 예측, 예를 들어 도 4g를 참조로 설명한 텍스처 예측, 또는 기 공지되어 있는 프레임 대 프레임(frame-to-frame) MB간의 텍스처 예측을 수행한다(S174).

도 17b는, 본 발명의 다른 실시예에 따른, 베이스 레이어의 픽처를 레이어간 텍스처 예측에 사용하는 방법을 도시한 것이다. 본 실시예는, 도시된 바와 같이, 베이스 레이어의 픽처를 2개의 픽처로 분리하지 않고 바로 수직 및/또는 수평방향으로 인터폴레이션을 수행하여(S175), 인핸스드 레이어 픽처의 해상도( 즉, 크기 )와 동일한 해상도의 확대된 픽처를 구성한다. 그리고, 이와 같이 구성된 확대된 픽 처를 사용하여, 인핸스드 레이어의 비월주사방식의 현재 픽처에 대해 레이어간 텍스처 예측을 수행한다(S176).

한편, 도 17a를 참조로 한 설명도 픽처레벨에서 수행되는 것이나, T_A)의 경우에 대해서 설명한 바와 마찬가지로, 상기 EL 엔코더(20)는 픽처의 분리 과정을 매크로 블록레벨에서 수행할 수 있다. 그 방법은 하나의 픽처(1701)를 수직으로 접한 매크로 블록쌍으로 간주하였을 때의, 도 17a에 예시된 것과 동일한 분리 및 인터폴레이션 과정과 동일하다. 이 과정은 도 17a로부터 직관적으로 이해될 수 있으므로 자세한 설명은 생략한다.

T_C). 인핸스드 레이어와 베이스 레이어 모두가 비월주사방식인 경우

도 18은, 이 경우에 대한 베이스 레이어의 픽처를 레이어간 텍스처 예측에 사용하는 방법의 일 실시예를 도시한 것이다. 도시된 바와 같이, 본 경우에 대해서도, T_A)의 경우에서와 마찬가지로, 현재 레이어의 픽처(1800)에 시간적으로(temporally) 대응되는 베이스 레이어의 픽처(1801)를 우수와 기수 필드로 분리하고(S181), 각 분리된 필드(1801a,1801b)에 대해서는 수직 및/또는 수평방향으로 인터폴레이션을 수행하여 확대된 우수 및 기수 픽처(1802a,1802b)를 만든 후(S182), 그 확대된 우수 및 기수 필드(1802a,1802b)를 결합하여 하나의 픽처(1803)로 구성하여(S183), 비월주사방식의 현재 픽처(1800)내의 매크로 블록들( MBAFF 코딩방식의 프레임 MB쌍들 )에 대해서, 상기 결합된 픽처(1803)의 대응 매크로 블록에 근거해서 레이어간 텍스처 예측, 예를 들어 도 4g를 참조로 설명한 텍스처 예측 또는 기 공지되어 있는 프레임 대 프레임(frame-to-frame) MB간의 텍스처 예측을 수행한 다(S184).

양 레이어의 픽처 포맷이 동일함에도 불구하고, 베이스 레이어의 픽처(1801)를 필드 속성별로 분리하여(S181) 개별적으로 확대(S182)을 하여 결합(S183)하는 이유는, 우수 및 기수 필드간에 영상신호의 변화 특성이 높은 경우, 양필드가 결합되어 있는 픽처(1801)를 그대로 인터폴레이션하게 되면 그 확대된 픽처는, 인핸스드 레이어의 우수 필드와 기수 필드가 인터리빙된 비월주사 방식의 픽처(1800)와는 왜곡된, 예를 들어 경계선이 흩어지는 영상을 가질 수 있기 때문이다. 따라서, 양 레이어가 모두 비월주사 방식의 경우에도 본 발명에 따라 베이스 레이어의 픽처에 대해서 필드 속성별로 분리하여 양 필드를 구한 후 이를 개별적으로 확대하여 결합후 사용하게 된다.

물론, 도 18에 예시된 방식은, 양 레이어가 모두 비월주사방식의 픽처일때 항상 사용되지 않고 픽처의 영상특성에 따라서 선택적으로 사용될 수도 있다.

전술한 도 18은, 본 발명에 따른, 우수 및 기수 필드를 갖는 픽처를 필드 속성별로 분리하여 확대하는 과정을 픽처레벨에서 도시한 것이다. 하지만, 상기 EL 엔코더(20)는, T_A)에서 설명한 바와 마찬가지로, 도 18에 예시된 과정을 수행할 때는, 도 16a 또는 16b를 참조로 하여 설명한 매크로 블록 레벨에서의 분리 및 인터폴레이션 동작( 즉, 프레임 MB쌍에서 우수 라인과 기수 라인들을 분리하고 각 분리된 블록을 개별적으로 확대 ), 그리고 결합하여 레이어간 텍스처 예측( 각 확대된 블록의 교번적으로 선택하면서 순서적으로 라인을 취하여 구성된 확대된 블록쌍을 현재 레이어의 프레임 MB쌍의 텍스처 예측에 사용 )을 수행하여 도 18에서 예시 한 것과 동일한 결과를 얻을 수 있다.

T_D). 인핸스드 레이어와 베이스 레이어 모두가 순차주사방식인 경우

이 경우에는, 기 공지된 방식에 따라 베이스 레이어의 픽처를 인핸스드 레이어 픽처의 크기로 확대하고 그 확대된 픽처를 인핸스드 레이어의 동일 픽처 포맷인 현재 픽처의 레이어간 텍스처 예측에 사용한다.

전술한 텍스처 예측의 실시예들은 베이스 레이어와 인핸스드 레이어가 시간적으로(temporally) 동일 해상도를 가지는 경우에 대한 것이었으나, 양 레이어간에 서로 상이한 시간적 해상도, 즉 서로 다른 픽처 레이트를 가질 수 있다. 또한 시간적 동일 해상도라 하더라도 레이어의 픽처 주사방식이 상이하면 동일 POC의 픽처( 시간적으로 대응되는 픽처 )라 하더라도 출력시점이 상이한 영상신호 성분을 포함하고 있을 수도 있다. 이하에서는 이러한 경우에 대한 레이어간 텍스처 예측방법에 대해 설명한다. 이하의 설명에서 최초 양 레이어는 동일한 공간적 해상도를 갖도 있는 것으로 가정한다. 만약, 상이한 해상도인 경우에는, 앞서 설명한 바와 같이 베이스 레이어의 각 픽처를 업샘플링하여 동일한 공간적 해상도로 만든 후에 하기 설명하는 방식을 적용하면 된다.

a). 인핸스드 레이어는 순차주사방식의 프레임이고 베이스 레이어는 MBAFF 프레임이며, 인핸스드 레이어의 시간적 해상도가 2배 높은 경우

도 19a는 이 경우에 대한 레이어간 텍스처 예측방식을 도시한 것이다. 도시된 바와 같이, 베이스 레이어의 각 MBAFF 프레임은 출력시점을 달리하는 우수 및 기수 필드를 포함하고 있으므로, 상기 EL 엔코더(20)는 각 MBAFF 프레임을 우수와 기수 필드로 분리한다(S191). 각 MBAFF 프레임내의 우수 필드에 해당하는 성분, 예를 들어 우수 라인들은 우수 필드로, 기수 필드에 해당하는 성분, 예를 들어 기수 라인들은 기수 필드로 분리한다. 이와 같이 하나의 MBAFF 프레임을 두 필드로 분리한 후, 각 필드에 대해서는 수직방향으로 인터폴레이션하여 2배의 해상도를 갖도록 한다(S192). 이 인터폴레이션에는, 6-tap 필터링, 이진선형(binary-linear) 필터링, 또는 단순 라인 패딩(simple line padding) 등의 공지된 방법 중 하나의 방법을 사용한다. 인터폴레이션이 완료되면, 인핸스드 레이어의 각 프레임은 동시간의 베이스 레이어의 픽처를 갖게 되므로, 인핸스드 레이어의 각 프레임내의 매크로 블록들에 대해서 기 공지되어 있는 레이어간 텍스처 예측, 예를 들어 프레임 대 프레임(frame-to-frame) MB간의 예측을 수행한다(S193).

전술한 과정은 레이어간 모션 예측에도 또한 적용할 수 있다. 이 때는, MBAFF 프레임을 두 필드로 분리할 때, MBAFF 프레임내의 필드 MB쌍의 각 모션 정보를 동일 패러터(parity)의 필드 속성의 MB의 모션정보로서 복사하여 레이어간 모션예측에 사용한다. 이와 같은 방법을 사용하면, 베이스 레이어에 동시간의 픽처가 없는 경우에도( t1,t3,...의 경우 ) 전술한 방법에 따라 시간동기되는 픽처를 생성하여 레이어간 모션 예측을 수행할 수 있다.

전술한 방법은, 양 레이어간에 시간적 해상도가 2배차이를 갖는 도 19a를 예로 한 것이나 시간적 해상도가 N배 차이나는 경우에도 그대로 적용할 수 있다. 예를 들어, 3배 차이나는 경우에는 분리된 양 필드중 하나를 더 복사하여 3개의 필드를 구성하여 사용할 수 있고, 4배차이나는 경우에는 분리된 양 필드를 각각 복사하 여 4개의 필드를 구성하여 사용할 수도 있다. 어떠한 시간적 해상도 차이의 경우에도 당업자는 창작적 사고없이 단순하게 본 발명의 원리를 적용하여 레이어간 예측을 수행할 수 있음은 분명하다. 따라서, 본 명세서에서 설명되지 않은 시간적 해상도 차이를 갖는 레이어간에 적용되는 예측방법은 당연히 본 발명의 범위에 속한다. 이는 이하에서 설명하는 다른 경우에도 마찬가지이다.

만약, 베이스 레이어가 MBAFF 프레임으로 코딩되어 있지 않고, PAFF( Picture Adaptive Field ＆ Frame ) 방식으로 코딩되는 경우에는, 도 19b에서와 같이 양 레이어가 동일한 시간적 해상도를 가질 수 있다. 따라서, 이 경우에는, 프레임에서 양 필드로 분리하는 과정없이, 바로 인터폴레이션을 수행하여 현재 레이어와 동일한 공간적 해상도를 갖는 픽처를 구성한 후에 레이어간 텍스처 예측을 수행한다.

b). 인핸스드 레이어는 MBAFF 프레임이고 베이스 레이어는 순차주사방식의 프레임이며, 인핸스드 레이어의 시간적 해상도가 1/2인 경우

도 20은 이 경우에 대한 레이어간 텍스처 예측방식을 도시한 것이다. 도시된 바와 같이, 인핸스드 레이어의 각 MBAFF 프레임은 출력시점을 달리하는 우수 및 기수 필드를 포함하고 있으므로, 상기 EL 엔코더(20)는 각 MBAFF 프레임을 우수와 기수 필드로 분리한다(S201). 각 MBAFF 프레임내의 우수 필드에 해당하는 성분, 예를 들어 우수 라인들은 우수 필드로, 기수 필드에 해당하는 성분, 예를 들어 기수 라인들은 기수 필드로 분리한다. 그리고, 베이스 레이어의 각 프레임에 대해서는, 수직방향으로 서브 샘플링을 수행하여 해상도가 1/2로 낮추어진 픽처를 구성한다 (S202). 이 서브 샘플링에는, 라인 서브 샘플링이나 그 외의 다양한 알려진 다운-샘플링 방법 중 하나를 사용할 수 있다. 도 20의 예에서는, 픽처 인덱스가 우수인 픽처( t0,t2,t4,..의 픽처 )에 대해서는 우수 라인들만을 취하여 1/2로 축소된 픽처를 구하고, 픽처 인덱스가 기수인 픽처( t1,t3,..의 픽처 )에 대해서는 기수 라인들만을 취하여 1/2로 축소된 픽처를 구한다. 상기 프레임 분리(S201)와 서브 샘플링(S202)의 순서는 바뀌어서 수행되어도 무방하다.

상기의 두 과정(S201,S202)이 완료되면, 인핸스드 레이어의 각 프레임으로부터 분리된 필드들(2001)은 동시간의 그리고 동일한 공간적 해상도의 베이스 레이어의 픽처를 갖게 되므로, 각 필드내의 매크로 블록들에 대해서 기 공지되어 있는 레이어간 텍스처 예측, 예를 들어 프레임 대 프레임(frame-to-frame) MB간의 예측을 수행한다(S203).

전술한 과정은 레이어간 모션 예측에도 또한 적용할 수 있다. 이 때는, 베이스 레이어의 각 프레임으로부터 서브 샘플링을 하여 크기 축소된 픽처를 구할 때(S202), 수직으로 인접된 매크로 블록쌍의 각 모션정보로부터 적절한 방법, 예를 들어 파티션(Partition)이 덜된 블록의 모션정보를 취하는 방법에 의해 그에 대응되는 하나의 매크로 블록의 모션정보를 구하여 그 모션정보를 레이어간 모션예측에 사용할 수 있다.

본 경우에는, 레이어간 예측이 MBAFF 프레임으로부터 분리된 각 필드 픽처(2001)에 대해서 수행되므로, 인핸스드 레이어의 픽처를 PAFF 방식으로 코딩하여 전송한다.

c). 인핸스드 레이어는 MBAFF 프레임이고 베이스 레이어는 순차주사방식의 프레임이며, 시간적 해상도가 동일한 경우

도 21은 이 경우에 대한 레이어간 텍스처 예측방식을 도시한 것이다. 도시된 바와 같이, 인핸스드 레이어의 각 MBAFF 프레임은 출력시점을 달리하는 우수 및 기수 필드를 포함하고 있으므로, 상기 EL 엔코더(20)는 각 MBAFF 프레임을 우수와 기수 필드로 분리한다(S211). 각 MBAFF 프레임내의 우수 필드에 해당하는 성분, 예를 들어 우수 라인들은 우수 필드로, 기수 필드에 해당하는 성분, 예를 들어 기수 라인들은 기수 필드로 분리한다. 그리고, 베이스 레이어의 각 프레임에 대해서는, 수직방향으로 서브 샘플링을 수행하여 해상도가 1/2로 낮추어진 픽처를 구성한다(S212). 이 서브 샘플링에는, 라인 서브 샘플링이나 그 외의 다양한 알려진 다운-샘플링 방법 중 하나를 사용할 수 있다. 상기 프레임 분리(S211)와 서브 샘플링(S212)의 순서는 바뀌어서 수행하여도 무방하다.

하나의 MBAFF 프레임으로부터 2개의 필드로 분리하는 대신, 하나의 필드, 예를 들어 우수 필드의 픽처만을 구성할 수도 있다. 양 레이어의 시간적 해상도가 동일하므로, 하나의 프레임에서 분리된 두 필드의 픽처가 모두, 레이어간 예측에 사용할 수 있는 대응되는 베이스 레이어의 프레임을 갖는 것이 아니고 하나만이 레이어간 예측에 사용할 수 있는 대응되는 프레임을 갖기 때문이다.

상기의 두 과정(S211,S212)이 완료되면, 인핸스드 레이어의 각 프레임으로부터 분리된 필드들중, 우수( 또는 기수 ) 필드에 대해서만, 대응되는 베이스 레이어의 서브 샘플링된 픽처에 기준해서, 기 공지되어 있는 레이어간 텍스처 예측, 예를 들어 프레임 대 프레임(frame-to-frame) MB간의 예측을 수행한다(S173).

본 경우에도, 레이어간 텍스처 예측을 수행하는 인핸스드 레이어의 분리된 필드에 대해서 b)의 경우에서 설명한 바와 같은 방식으로 레이어간 모션 예측도 수행할 수 있다.

지금까지는 도 2a 또는 2b의 장치에서의 EL 엔코더(20)가 수행하는 레이어간 예측동작을 설명하였다. 하지만, 전술한 모든 레이어간 예측동작의 설명은 베이스 레이어로부터 디코딩된 정보를 수신하여 인핸스드 레이어의 스트림을 디코딩하는 인핸스드 레이어의 디코더에도 동일하게 적용될 수 있다. 엔코딩과 디코딩 과정에서는 전술한 레이어간 예측동작( 픽처 또는 매크로 블록내의 영상 신호를 분리, 확대, 결합하는 동작도 포함 )이 동일하게 수행되며, 다만 레이어간 예측이후의 동작이 상이할 뿐이다. 예를 들어 엔코더는, 모션 및 텍스처 예측을 수행한 후 그 예측된 정보를 또는 예측된 정보와 실제 정보와의 차정보를 디코더로 전송하기 위해 코딩하지만, 디코더는 엔코더에서 수행된 것과 동일한 레이어간 모션 및 텍스처 예측에 의해 얻은 정보를 그대로 현 매크로 블록에 적용하여, 또는 실제 수신한 매크로 블록의 코딩정보를 추가로 이용하여 실제 모션정보 및 텍스처 정보를 구하는 점이 상이할 뿐이다. 따라서, 엔코딩관점에서 전술한 본 발명의 내용과 그 원리는 수신되는 양 레이어의 데이터 스트림을 디코딩하는 디코더에도 그대로 적용된다.

다만, 도 20과 21에서 설명한 바와 같이, EL 엔코더가 MBAFF 프레임 방식의 인핸스드 레이어를 필드 시퀀스로 분리하여 레이어간 예측을 수행한 후 PAFF 방식으로 전송하는 경우에는, 디코더는, 현재 수신한 레이어에 대해서, 전술한 MBAFF 프레임을 필드 픽처로 분리하는 과정은 수행하지 않는다.

또한, 전술한 바와 같이 상기 EL 엔코더(20)가 MB간의 레이어간 텍스처 예측을 도 8d와 같이 수행하였는 지 도 8h와 같이 수행하였는 지를 구분하는 상기 플래그 'field_base_flag'를 수신되는 신호에서 디코딩하고 그 디코딩된 플래그의 값에 따라, MB간 예측이 도 8d 또는 도 8h와 같이 된 것으로 판단하여 그에 따라 텍스처 예측정보를 획득한다. 만약, 상기 플래그 'field_base_flag'에 해당하는 정보가 수신되지 않으면, EL 디코더는 해당 플래그가 0의 값으로 수신된 것으로 간주한다. 즉, 도 8d와 같은 방식으로 MB간에 텍스처 예측된 것으로 간주하여 현재 매크로 블록쌍에 대한 예측정보를 얻어서 현재 매크로 블록 또는 매크로 블록쌍을 복원(recon)한다.

제한된 실시예로써 상술한 본 발명의 적어도 하나의 실시예는, 서로 다른 방식의 영상신호 소스를 사용하여서도 레이어간 예측을 수행할 수 있게 하므로, 복수 레이어의 코딩시에 영상신호의 픽처 유형( 비월주사방식 신호, 순차주사방식 신호, MBAFF 프레임방식의 픽처, 필드 픽처 등 )에 무관하게 데이터 코딩율을 높일 수가 있다. 또한, 양 레이어중 하나의 레이어가 비월주사방식의 영상신호 소스인 경우에, 예측을 위한 픽처의 이미지를, 예측코딩하는 원이미지에 보다 유사하게 구성하여 사용할 수 있게 하므로 데이터 코딩율을 향상시킬 수가 있다.

본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에 통상의 지식을 가진 자라면 용이하 게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.