코딩된 스트림으로 전송되는 인트라-예측 모드에 기반하는 공간 에러 은폐 방법{SPATIAL ERROR CONCEALMENT BASED ON THE INTRA-PREDICTION MODES TRANSMITTED IN A CODED STREAM}

본 발명은 코딩된 비디오 스트림 내에서 코딩된 영상 형태로 나타나는 에러를 정정하는 기술에 관한 것이다.

본 출원은 2003년 1월 10에 출원된 미국 가특허출원번호 60/439,189에 대해 35 USC 119(e) 규정에 의한 우선권을 주장하며, 이 가특허출원의 기재내용은 본 명세서에 포함되어 있다.

많은 경우, 비디오 스트림은 저장과 전송을 용이하게 하기 위하여 압축처리(코딩)를 받는다. 드물지 않게, 이렇게 코딩된 비디오 스트림은 채널 에러 및/또는 네트워크 혼잡 때문에 데이터 손실을 경험하거나 전송 중 오염된 상태로 된다. 디코딩시, 데이터의 손실/오염 그 자체는 없어진 픽셀값으로서 나타난다. 이러한 결함을 감소시키기 위하여, 디코더는 이러한 없어진 픽셀값을, 동일한 영상 내의 다른 매크로블록으로부터 또는 다른 영상으로부터 그 값을 추정함으로써, "은폐"하려고 한다. 은폐라는 용어는, 디코더가 없어지거나 오염된 픽셀값 에러를 실제로 숨기는 것은 아니기 때문에, 약간 잘못된 것이다. 공간 은폐는, 공간 영역에서 이웃하는 구역들 사이의 유사성에 의존하여 영상 내의 다른 지역들로부터의 픽셀값을 사용함으로써 상기 없어진/오염된 픽셀값을 도출하려고 시도한다. 일반적으로, 동일한 수준의 복잡도에서, 공간 은폐 기술은, 다른 전송된 화상으로부터의 정보에 의존하는 시간 에러 은폐 기술보다 더 낮은 성능을 성취하고 있다.

에러 은폐 알고리즘은, 아무런 시간 옵션이 이용가능하지 않는 경우에만, 즉 손실이 인트라-코딩된 화상, 인트라 리프레시 화상에 영향을 끼칠 때 또는 아무런 시간 정보가 이용가능하지 않을 때에만, 공간 보간(spatial interpolation)을 불러낼 것이다. 기준으로서 은폐된 영상을 사용하는 이후의 인터-코딩된 프레임의 품질은 공간 은폐의 품질에 달려 있다. 공간 은폐에 의해 상대적으로 열악한 인트라-코딩된 화상이 초래되는 경우, 각각의 최종 인터-코딩된 화상도 유사하게 열악한 품질을 가질 것이다.

현재 공간 에러 은폐에 있어서 몇가지 기술이 존재한다. 이에는 다음의 것들이 포함된다:

⊙ 블록 복사(BC: Block copy)

이 접근법에 따르면, 없어진/오염된 매크로블록을 교체할 매크로블록은, 이 없어진/오염된 매크로블록의 정확하게 디코딩된 이웃 매크로블록들 중 하나로부터 얻어진다.

⊙ 픽셀 영역 보간(PDI: Pixel domain interpolation)

없어진/오염된 매크로블록 데이터는 정확하게 디코딩된 이웃 매크로블록들의 경계에서의 픽셀값들로부터 보간된다. PDI를 성취하는 2개의 서로 다른 접근법이 존재한다. 예컨대, 한 매크로블록 내의 모든 픽셀들이 하나의 공통 평균값으로 보간될 수 있다. 다른 방식으로, 매크로블록 경계들에 대한 픽셀 거리에 기반하는 가중된 예측을 통해 각각의 픽셀값이 얻어진다.

⊙ 다중-방향 보간(MDI: Multi-directional interpolation)

다중-방향 보간 기술은, 이 MDI 기술이 에지 방향들을 따라 보간을 제공하기 때문에 PDI 기술의 향상된 버전을 구성한다. MDI를 성취하는 데에는, 방향 보간에 앞서 없어진/오염된 픽셀값의 이웃에서 메인 컨투어(main contour)들의 방향을 추정하는 것이 요구된다. 제한된 수의 방향에 대한 에지 검출 및 양자화의 수행은 여전히 어려운 문제이다.

⊙ 최대 평활 복구(MSR: Maximally smooth recovery)

이산 코사인 변환(DCT: Discrete Cosine Transformation) 영역에서, 낮은 주파수 성분들이 에러 은폐를 위해 사용되어, 인접 픽셀들과의 평활한 연결을 제공한다. 데이터-분할(data-partitioning) 인코딩이 사용되는 경우, MSR 기술은 오염된 매클록블록/블록 내의 모든 데이터를 버리는 것이 아니라 정확하게 수신된 DCT 계수들을 이용한다.

⊙ 볼록 세트에 대한 프로젝션(POCS: Projection on convex sets)

이 기술에 따르면, 없어진/오염된 픽셀값을 가진 매크로블록을 둘러싸는 더 큰 구역의 분류에 기반하여, 고속 푸리에 변환(FFT: Fast Fourier Transform) 내에서 적응 필터링이 수행된다. 이러한 적응 필터링은 선명한 구역들에 대해 에지 필터링을 적용하는 한편 평활한 구역에 대한 저역-통과 필터링의 적용을 포함한다. 이러한 절차는 필터링 반복을 포함하며, 몇가지 선험적인 구속조건이 이 처리된 영상에 적용될 것이다.

표 1은 공간 은폐를 달성하려는 상이한 기존 접근법들의 복잡도와 품질 사이의 트레이드오프(tradeoff)를 잘 나타낸다.

공간 에러 은폐와 관련해서, 비디오 디코더는 수용가능한 계산 복잡도와 복구된 영상의 원하는 품질 사이의 어려운 트레이드오프에 직면한다. 일반적으로, 대부분의 비디오 디코더는 실시간 응용을 위한 BC 또는 PDI 알고리즘과 같은, 고속 알고리즘만을 구현한다. 기술된 바와 같이, 이들 알고리즘은 이웃하는 값들을 복사 또는 평균화함으로써 없어진/오염된 지역을 대략적으로 커버한다. 이러한 전략은 높은 프레임율에서 디스플레이될 때조차 결함이 보이는 낮은 품질의 영상이라는 결과를 가져온다.

따라서, 저/중 복잡도에서 에지에 대해 양호한 품질의 은폐를 제공함으로써 상기 단점을 극복하는 공간 에러 은폐 기술에 대한 필요가 있다.

도 1은 매크로블록들로 분할된 코딩된 화상으로서, 각각의 매크로블록을 블록들로 분할되고, 각각의 블록을 픽셀들로 분할된, 코딩된 화상을 도시하는 도면.

도 2의 (a)는 코딩 목적을 위한 예측 에러값을 확립하기 위한 인트라 예측 모드 방향에 대한 벡터 표시를 도시하는 도면.

도 2의 (b) 내지 (j)는 각각, 도 2의 (a)에 도시된 인트라-모드 예측 방향에 대응하는 각각의 방향을 나타내는 4x4 서브-매크로블록을 도시하는 도면.

도 3은 본 발명의 원리에 따라 인트라-예측 모드를 사용하여 공간 에러 은폐를 성취하는데 사용하기 위한 서포트 윈도우(support window)를 도시하는 도면.

도 4는 본 발명의 원리에 따라 공간 에러 은폐를 포함하는 코딩된 영상을 디코딩하기 위한 프로세스를 형성하는 순서도를 도시하는 도면.

요약하면, 본 발명의 원리에 따라, 매크로블록 스트림으로 구성된 코딩된 영상 내 에러의 공간 은폐를 위한 기술이 제공된다. 본 방법은 없어진/오염된 픽셀값을 가지는 매크로블록의 형태 내에서 에러를 식별하는 단계로 시작한다. 각각의 식별된 매크로블록에 대하여, 이웃하는 매크로블록들로부터 적어도 하나의 인트라-예측 모드가 도출된다. 영상이 ISO/ITU H.264 비디오 압축 표준에 따라 코딩되는 경우, 각각의 매크로블록의 코딩을 위해 2개의 인트라-코딩 타입이 사용가능하다. 즉 (1) Intra_16x16 타입에 있어서, 하나의 단일 인트라 예측 모드가 전체 매크로블록에 대해 도출된다. (2) Intra_4x4 타입에 있어서, 하나의 인트라 예측 모드가 이 매크로블록 내의 4x4 픽셀의 서브-매크로블록 각각에 대해 도출된다. (이 경우, 코딩된 매크로블록 당 16개의 인트라 예측 모드가 존재한다.) 마지막으로, 도출된 인트라-예측 모드는 없어진 픽셀값을 생성하는데 적용된다. 도출된 인트라 예측 모드가 없어진 또는 오염된 픽셀값을 추정하기 위하여 적용되는 프로세스는, 코딩 효과를 감소시키기 위해 코딩된 값을 추정(예측)하기 위하여 디코딩 동안에 채용된 도출 프로세스에 대응한다. 다시 말해서, 본 발명의 기술은, 통상적으로 공간 에러 은폐 목적을 위해 코딩시 사용되는 인트라 예측 모드 정보를 이용한다. 특정 매크로블록을 지칭하는 코딩된 데이터가 없어지거나 오염되어 있는 경우, 이웃하는 매크로블록들로부터 도출된 인트라 예측 모드들은 공간 에러 은폐를 위해 최상의 보간 방향에 대한 중요한 정보를 제공할 수 있다. 공간 에러 은폐를 위해 인트라 예측 모드를 사용하는 것은, 유사한 복잡도에 대해 기존의 공간 에러 은폐 기술보다 상당히 더 좋은 성능을 가져온다.

제안된 ISO/ITU H.264 비디오 압축 표준에서 구현된 바와 같은, 블록-기반 비디오 압축 기술은, 하나의 화상을 슬라이스들로 분리함으로써 동작하는데, 각각의 슬라이스는 매크로블록 세트 또는 매크로블록 쌍 세트를 포함하며, 각각의 메크로블록은 상기 표준에 따라 코딩된다. 매크로블록은 일반적으로 16x16 픽셀의 정방형 지역으로서 정의된다. 코딩 목적을 위해, 매크로블록은 반드시 정방형일 필요없는 서브-매크로블록들로 더 분할될 수 있다. 서브-매크로블록 각각은 매크로블록이 인코딩될 때 상이한 코딩 모드를 가질 수 있다. 논의를 쉽게 하기 위하여, 블록은 4x4 픽셀의 서브-매크로블록으로서 지칭될 것이다. 도 1은 코딩된 화상(100)이 매크로블록(110)들로 분할되고, 각각의 매크로블록(110)이 블록(120)들로 분할되며, 각각의 블록은 픽셀(130)들로 분할되는 것을 도시한다. 도 1의 분할된 영상(100)은 매크로블록의 n 행과 m 열(여기서 n과 m은 정수)을 포함한다. 주목할 점은 한 화상 내의 매크로블록의 수는 그 화상의 크기에 따라 변하지만, 한 매크로블록 내의 블록의 수는 일정하다는 것이다.

분할된 영상(100) 내의 각각의 매크로블록(110)을 개별적으로 코딩하는 것의 비용을 감소시키기 위하여, 이미 전송된 매크로블록으로부터의 정보가 개별 매크로블록의 코딩의 예측을 산출하는데 사용될 수 있다. 이 경우, 예측 에러와 예측 모드만이 전송될 필요가 있다. 상기 영상을 코딩하는데 채용되는 비디오 코딩 표준은, 인코더(미도시됨)와 디코더(미도시됨) 양자 모두가 동일한 추정을 얻도록 보장하기 위하여 예측된 픽셀값을 도출하기 위한 프로세스를 규정할 것이다. ISO/ITU H.264 표준에 따라, 개별 매크로블록은 하나의 단일 16x16 픽셀 분할(Intra_16x16 타입 코딩) 또는 16개의 4x4 픽셀 블록 분할(Intra_4x4 타입 코딩) 중 어느 하나로서 인트라-예측될 수 있다. Intra_16x16 타입 코딩에 있어서, ISO/ITU H.264 표준은 4개의 인트라-예측 모드, 즉 모드 0, 수직 예측; 모드 1, 수평 예측; 모드 2, DC 예측; 모드 3, 평면 예측을 규정한다. Intra_4x4 코딩 타입에 있어서, ISO/ITU H.264 표준은 9개의 인트라-예측 모드를 규정하는데, 각각의 모드는 해당 모드를 예측에 사용할 때 블록 내 각각의 픽셀에 대한 예측, 즉 모드 0, 수직 예측; 모드 1, 수평 예측; 모드 2, DC 예측; 모드 3, 대각 하측-좌측 예측; 모드 4, 대각 하측-우측 예측; 모드 5, 수직 우측 예측; 모드 6, 수평 하측 예측; 모드 7, 수직 좌측 예측; 및 모드 8, 수평 상측 예측을 도출하기 위한 보간 필터와 연관되어 있다.

도 2의 (a)는 ISO/ITU H.264 표준에 의해 규정된 인트라 예측 모드 0 내지 8의 각각의 방향을 지시하는 벡터 표현을 도시한다. (모드 2는 DC 모드에 대응하며 방향을 가지지 않는데, 그 이유는 균질한 구역 내에서 블록의 내용을 균일하게 예측하기 때문임을 주목하라) 다른 모드들 0, 1 및 3 내지 8은 8개의 양자화된 방향들 중 하나를 따라 매크로블록의 내용을 예측한다. 인코더(미도시됨)에서 인코딩될 때, 각각의 인트라-코딩된 매크로블록에 연관된 모드 예측 방향은 코딩된 스트림 형태로 송신된다. 디코더(미도시됨)는 인트라 모드 예측 방향을 보간 필터와 함께 연관시켜 사용함으로써 임의의 블록의 내용을 이미 디코딩된 이웃하는 블록의 픽셀값으로부터 예측한다. 각각의 보간 필터는, 도 2의 (b) 내지 (j) 각각에서 보여지는 바와 같은, 해당 인트라-예측 모드와 연관된 방향으로 정보를 전파시키기에 적합한 가중 인자를 한정한다.

본 발명의 원리에 따라, 통상적으로 디코딩 목적으로 사용되는 인트라 예측 모드는 또한, 공간 에러 은폐를 성취하기 위하여 매크로블록 내의 없어진 또는 오염된 픽셀값을 추정하기 위한 매우 양호한 메커니즘을 제공할 수 있다. 특정 매크로블록과 연관된 코딩된 데이터가 손실되거나 없어진 것으로 나타나는 경우, 이웃하는 블록의 내용을 추정하는데 이미 사용된 인트라 예측 모드는 공간 에러 은폐를 성취하기 위하여 이 손실된 픽셀값을 추정하기 위하여 최상의 보간 방향에 관한 중요한 정보를 제공할 수 있다.

도 1의 분할된 영상(100) 내의 임의의 수의 이웃하는 블록(120)들은 없어진 또는 오염된 픽셀들을 가지는 블록에 대한 예측자들로서 사용될 수 있다. 실제에 있어, 없어진 또는 오염된 픽셀을 가지는 블록의 이웃에 있는 블록(120)의 수를 제한하는 것을 복잡도를 감소시킨다. 이를 위하여, 도 3에 도시된 바와 같은 서포트 윈도우 (140)가 공간 은폐을 위해 고려되는 이웃하는 블록(120)들의 수를 제한하도록 한정된다. 알게 되겠지만, 서포트 윈도우(140)의 크기가 더 크면 클수록(그리고 이에 따라 이웃하는 블록들의 수가 더 많으면 많을수록) 없어진 블록을 예측하기 위한 인트라-모드의 선택을 더욱 더 믿을 수 있지만, 이는 복잡도가 증가한다는 희생을 치른다. 도 3에 한정된 서포트 윈도우(140) 내의 블록들 모두가 인트라-모드 예측에 의해 문제의 블록을 은폐하는데 필요한 것은 아니다. 서포트 윈도우(140) 내의 하나 이상의 블록(120)들도 역시 은폐가 필요할 수 있거나(즉, 이들에 대한 정보가 전혀 사용가능하지 않거나) 또는 이러한 블록들은 단순히 인트라-모드 선택 기준과는 무관하다. 가장 단순한 경우에, 인트라 예측 모드는 은폐가 필요한 블록의 위와 좌측의 블록들에 의존할 수 있을 것이다.

도 3을 참조하여, 다음의 표기법이 서포트 윈도우(140) 내의 이웃하는 블록(120)을 한정하는데 사용될 것이다. 은폐가 필요한 서포트 윈도우(140) 내 블록 B는 좌표 (p ₀ , q ₀ )를 가진다. 따라서, 서포트 윈도우(140)는 이렇게 하여 상부 좌측 모서리가 좌표(p ₀ -P, q ₀ -Q), 그 하부 우측 모서리가 좌표 (p ₀ +P, q ₀ +Q)(여기서 P와 Q는 각각 서포트 윈도우의 행과 열의 수를 특정하는 정수를 포함한다)를 가지며 블록 B 상에 중심을 가진 사각형으로 된다. 도 3에 도시된 예시적인 실시예에서, P = Q = 2이며, 블록 B 상에 중심을 가진 5x5 블록의 정사각형 이웃을 한정한다.

실제적인 구현예에 있어서, 서포트 윈도우 내에 사용가능한 인트라-모드 예측들 중에서 하나의 인트라-모드 예측을 선택하기 위한 기준이 규정되어야만 한다. 본 발명의 원리에 따라, 서포트 윈도우(140) 내에서 인트라 예측 모드들의 상대적인 위치 는 인트라-모드 선택 기준에 대한 입력으로서 사용된다. 각각의 인트라 예측 모드가 하나의 보간 방향을 한정하기 때문에, 이러한 모드를 가지는 매크로블록들은, 이러한 매크로블록이 서포트 윈도우(140) 내에서 몇몇 상대적인 위치에 나타날 때 오직 은폐 목적을 위해 관련된다.

서포트 윈도우(140) 내에서 임의의 블록을 명확하게 특정하기 위하여, 블록들(120)은 도 3에 도시된 바와 같은 래스터 스캔 순서로 라벨링된다. 제안된 기준에 따라, 서포트 윈도우(140) 내의 중심 블록 B의 은폐를 위한 모드의 선택은, 오직 이 모드가 도 2a에 예시된 바와 같은 연관된 공간 방향에서 나타날 때에만 이루어진다. 예컨대, 블록 B는, 9번 블록 또는 16번 블록 중 어느 하나가 대각 하측-좌측 방향으로 예측되었던 경우에만, 도 3에서 대각 하측-좌측 방향을 따라 얻어진 데이터로부터 은폐될 것이다. 기준 안에 다른 블록들을 포함시키는 것은, 코딩된 스트림 상에 특정 모드를 가짜로 사용하는 선택 기준의 감도를 감소시키기 위하여 행해졌다. 주목할 점은 이들 조건은 오직 정확하게 수신되거나 이미 은폐되어 있는 서포트 윈도우(140) 내의 이들 이웃하는 블록들에 대해서만 적용된다는 것이다. 더 나아가, 한정된 서포트 윈도우(140) 내의 이웃하는 블록들 모두가 공간 은폐 처리를 받고 있는 현재 블록을 위한 인트라-모드의 선택에 관여하게 되는 것은 아니다.

표 2는 은폐될 블록 상에 중심을 둔 5x5 블록의 서포트 윈도우(140)에 대한 선택 기준의 예시적인 실시예를 제공한다.

바람직한 일 실시예에서, 공간 에러 은폐는 일반적으로 도 4에서 흐름도 형태로 도시된 방식의 디코딩 동안에 이루어진다. 도 4에 도시된 디코딩 프로세스는 단계(400) 동안 제어 파라미터와 입력 데이터에 따라 인입(입력) 코딩된 비디오 스트림의 매크로블록의 엔트로피 디코딩으로 시작한다. 이러한 디코딩과 관련하여, 단계(402) 동안, 상기 코딩된 영상이 인트라 코딩된 영상으로 이루어져 있는지 여부가 결정된다. 만약 그렇다면, 코딩 차이(예측 에러)는 단계(404) 동안 인트라 예측에 의해 얻어지고; 그렇지 않다면, 이러한 예측 에러는 단계(406) 동안 인터 예측에 의해 확립된다. 단계(404, 406)에 이어서, 단계(408) 동안 에러 검출이 이루어져 단계(410) 동안, 매크로블록이 없어진 또는 오염된 픽셀값을 포함하고 있는지 여부가 결정될 수 있게 한다. 만약 도 3의 확립된 서포트 윈도우(140)에서 이웃하는 매크로블록에 대한 예측값이 인트라 예측으로부터 확립되었다면, 공간 에러는 인트라 예측 모드를 선택함으로써 은폐처리되고, 그후 단계(402)가 재-실행된다. 인트라 예측이 아니라 인터-예측에 의한 이웃하는 매크로블록에서 예측값의 확립은 인트라 예측이 아닌 다른 것에 의해 없어진/손실된 픽셀값을 추정하는 것이 필요할 것이다.

입력 데이터로서 H.264 표준의 기준 소프트웨어(JM50 버전)에 의해 제공되는 인트라 예측 모드를 사용하는 경험적인 실험은 유사한 복잡도에 대해 기존 공간 은폐 기술에 비하여 뛰어난 결과를 보여주었다. 피크 신호-대-잡음 비 값은 모든 실험 영상에 대해 증가되었는데, 이는 없어진 지역에서 양호환 컨투어 예측 때문에 비주얼 품질이 향상되었음을 보여준다.

상기는, 통상적으로 코딩 예측과 연관된 인트라-예측 모드를 사용하여, 임의의 코딩된 비디오 스트림에서 공간 에러를 은폐하는 기술을 개시하고 있다.

상술한 바와 같이, 본 발명은 코딩된 비디오 스트림 내에서 코딩된 영상 형태로 나타나는 에러를 정정하는 기술 등에 이용가능하다.