다 시점 동영상 부호화 장치{APPARATUS FOR ENCODING OF MULTI VIEW MOVING PICTURE}

본 발명은 다 시점 동영상 부호화 장치에 관한 것으로, 잡음제거 및 임발란싱(Imbalancing) 문제 해결 등의 전처리 기술 및 다 시점 비디오의 정보량을 최소화하는 압축 알고리즘과 실제 시스템을 구현할 수 있도록 하는 다 시점 부호화 장치에 관한 것이다.

통상적으로, 영상 정보 전달을 위한 매체는 텔레비전과 같은 2차원 단말기 기술로부터 발전한 것이다. 다시 말해서, 흑백 영상에서 출발하여 칼라 영상, 즉 SD(Standard Definition : SD)급 텔레비전에서 고해상도 텔레비전(예로, HDTV)으로발전함에 따라 영상 정보의 데이터 량은 증가하는 추세인 것이다.

이에, 현재 영상 정보는 평면적인 2차원의 세계가 아니라 공간을 포함하는 3차원적인 것이므로, 현실감 및 자연 자체의 멀티미디어 정보의 전달을 위해서는 그 자체 그대로 재현할 수 있는 3차원 영상 정보와 관련된 기술의 개발이 필요하게 되었다.

보다 상세하게 설명하면, 도 1은 MPEG-2 표준 규격(Moving Picture Experts Group : MPEG-2)의 시간 확장성을 응용하여 구현되는 멀티뷰 프로파일의 부호화기 및 복호화기에 대한 도면이다.

즉, MPEG-2에서 제공하는 확장성(scalability)은 하나의 영상장비를 사용해서 다른 해상도나 형식을 갖는 영상을 동시에 복호화하기 위한 것이며, MPEG-2에서 지원하는 확장성 중에서 시간 확장성은 화면율(frame rate)을 높임으로써 시각적 화질을 향상시키기 위한 기술이다. 멀티 뷰 프로파일은 이러한 시간 확장성을 고려하여 스테레오 동영상에 적용한 것이다.

실질적으로, 스테레오 동영상 개념을 갖는 부호화기 및 복호화기의 구조는 도 1의 시간 확장성과 같은 구조를 갖는 것으로, 스테레오 동영상 중 좌측 영상들은 베이스 뷰 인코더(base view encoder)로 입력되며, 스테레오 동영상의 우측 영상들은 시간적으로 위치한 보조의 뷰 인코더(temporal auxiliary view encoder)로 입력된다.

이러한 부호화기는 시간 확장성을 위한 것으로서, 시간적으로 베이스 레이어(base layer)의 영상들 사이에 영상을 만드는 인터레이어 인코더(interlayerencoder)인 것이다.

이에 따라, 좌측 영상을 따로 부호화 및 복호화하면 보통의 동영상을 얻을 수 있으며, 좌측 영상과 우측 영상을 동시에 부호화 및 복호화하면 입체 동영상을 구현할 수 있는 것이다. 여기서, 동영상 전송이나 저장을 위해 두 영상의 시퀀스를 합치거나 분리할 수 있는 시스템 멀티플렉스 및 시스템 디멀티플렉스가 필요한 것이다.

그리고, 도 2는 MPEG-2 멀티 뷰 프로파일(Multi-View Profile : MVP)을 이용한 스테레오 동영상 부호화기/복호화기에 대하여 도시한 도면이다.

다시 말해서, 베이스 레이어는 움직임 보상 및 이산 여현 변환(DCT: Discrete Cosine Transform)을 이용하여 부호화하고 역과정을 통하여 복호화하며, 시간적으로 위치한 보조의 뷰 인코더(temporal auxiliary view encoder)는 복호화된 베이스 레이어(base layer)의 영상을 바탕으로 예측한 템포널 인터레이어 인코더(temporal interlayer encoder)의 역할을 한다.

즉, 두 개의 변이 예측 또는 각각 한 개의 변이 예측 및 움직임 보상 예측이 여기에 사용될 수 있으며, 베이스 레이어(base layer)의 부호화 및 복호화기와 마찬가지로 시간적으로 위치한 보조의 뷰 인코더(temporal auxiliary view encoder)는 변이 및 움직임 보상 DCT 부호화기 및 복호화기를 포함한다.

또한, 움직임 예측/보상 부호화 과정에서 움직임 예측기와 보상기가 필요한 것처럼 변이 보상 부호화 과정은 변이 예측기와 보상기가 필요하며, 블록 기반의 움직임/변이 예측 및 보상에 덧붙여 부호화 과정에서는 예측된 결과 영상과 원영상과 차영상들의 DCT, DCT 계수의 양자화, 그리고 가변장 부호화 등이 포함된다. 반대로 복호화 과정은 가변장 복호화, 역 양자화, 역 DCT등의 과정인 것이다.

MPEG-2 부호화는 B-픽쳐를 위한 쌍방향 움직임 예측으로 인해서 매우 효율적인 압축방법이며, 시간 확장성도 상당히 효율적이기 때문에, 단지 쌍방향 예측만을 사용한 B-픽쳐를 우측 영상의 부호화에 사용하여 고효율의 압축을 얻을 수 있다.

다음으로, 도 3을 참조하면 쌍방향 예측을 위해 두 개의 변이 예측을 사용하여 시차만을 고려한 예측 부호화에 대한 도면으로서, 좌측 영상은 논 스케레블(non-scalable) MPEG-2 encoder를 사용하여 부호화하고, 우측 영상은 복호화된 좌측 영상을 바탕으로 MPEG-2 시간적으로 위치한 보조의 뷰 인코더(temporal auxiliary view encoder)를 사용하여 부호화한다.

즉, 두 개의 다른 좌측 영상으로부터 구한 예측을 사용하여 B-픽쳐로 부호화한다. 이때, 두 개의 참조영상 중 하나는 시간적으로 디스플레이될 때의 좌측 영상이며, 다른 하나는 시간적으로 다음에 나올 좌측 영상이다.

그리고, 두 개의 예측은 움직임 추정/보상과 마찬가지로 순방향(forward), 역방향(backward), 양방향(interpolated)의 세 가지 예측모드를 만든다. 여기서 순방향 모드는 같은 시간의 좌측 영상으로부터 예측한 변이를 의미하며, 역방향 모드는 바로 다음의 좌측 영상으로부터 예측한 변이를 의미한다. 이러한 방법의 경우, 우측 영상의 예측은 두 개의 좌측 영상의 변이 벡터를 통해 이루어지기 때문에, 이런 형태의 예측방법을 변이만을 고려한 예측 부호화라고 하며, 결국, 부호화기에서는 우측 동영상의 각 프레임마다 두 개의 변이 벡터를 추정하고, 복호화기에서는이 두 변이 벡터를 이용하여 좌측 동영상으로부터 우측 동영상을 복호화한다.

도 4는 도 3에 도시된 쌍방향 예측을 통한 B-픽쳐를 사용하지만 쌍방향 예측의 방향은 한 개의 변이 추정과 한 개의 움직임 추정을 사용한다. 즉, 하나는 동 시간대의 좌측 영상으로부터의 변이 예측과 바로 이전 시간의 우측 영상으로부터의 움직임 예측을 사용한다.

그리고, 변이만을 고려한 예측 부호화와 마찬가지로 쌍방향 예측도 순방향, 역방향 그리고 양방향 모드로 불리는 3가지의 예측모드를 만들어낸다. 여기서 순방향 모드는 복호화된 우측 영상으로부터의 움직임 예측을 말하며, 역방향 모드는 복호화된 좌측 영상으로부터의 변이 예측을 의미한다.

따라서, MPEG-2 멀티 뷰 프로파일(Multi-View Profile : MVP)의 규격 자체는 실제 스테레오 동영상에 적합하도록 설계되어 있어 다 시점 동영상에 대한 부호화기의 구조는 전혀 언급이 되어 있지 않다는 문제점이 있어 다수의 사람에게 동시에 입체감 및 현장감을 제공하기 위한 다 시점 동영상을 효율적으로 제공할 수 있는 부호화기가 필요한 것이다.

또한, MPEG-2는 동영상 부호화 및 복호화에 대한 표준을 제시하고 있다. 즉, MPEG-2에서 규정하고 있는 픽쳐 형태는 도 5에 도시된 바와 같이, I 픽쳐, P 픽쳐, B 픽쳐의 세 가지가 있는데, I(Intra-coded) 픽쳐는 움직임 벡터 추정/보상을 이용하지 않고 단순히 그 픽쳐만을 DCT하여 부호화하고, P(Predictive coded) 픽쳐는 I 픽쳐 또는 다른 P 픽쳐를 참조하면서 움직임 추정/보상을 한 후, 나머지 차분의 데이터를 DCT하여 부호화하며, B(Bidirectionally Predictive coded) 픽쳐는 P 픽쳐와 같이 움직임 보상을 사용하지만 시간축 상에 있는 두 개의 프레임으로부터 움직임 추정/보상을 수행한다.

MPEG-2의 픽쳐는 B, B, I, B, B, P,.... 와 같은 구조를 갖고 있으며, I 픽쳐부터 다음의 I 픽쳐까지를 GOP(Group of Picture)라 칭하며, GOP내의 픽쳐 개수를 N이라고 하고 I 픽쳐와 P 픽쳐 사이 혹은 P 픽쳐와 P 픽쳐 사이의 픽쳐 개수를 M이라 정의한다.

그리고, MPEG-2는 한 개의 시점에 대한 동영상 부호화 및 복호화에 대한 표준이기 때문에 본 발명에서 필요로 하는 다 시점 동영상 데이터를 부호화하기 위해 구조에 대한 설계 및 다 시점의 정보를 나타내는 데이터에 대한 처리가 필요하며, MPEG-2에서 사용되는 동영상을 스테레오 동영상으로 확장하기 위하여 MVP를 제안하고는 있지만 다 시점 동영상의 확장을 위한 부호화기는 언급되지 않고 있다는 문제점이 있었다.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 그 목적은 잡음제거 및 임발란싱(Imbalancing) 문제 해결 등의 전처리 기술과 다 시점 비디오의 정보량을 최소화하기 위한 압축 알고리즘이 적용된 실질적인 시스템을 구현할 수 있도록 하는 다 시점 동영상 부호화 장치를 제공함에 있다.

상술한 목적을 달성하기 위한 본 발명에서 다 시점 동영상 부호화 장치는 다 시점 동영상 소스 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 데이터간의 상관도를 높여 신뢰도를 증가시키는 전처리부; 다시점 동영상 데이터의 변이 벡터 및 움직임 벡터를 추정하기 위하여 MPEG-2 구조를 시점축으로 확장하여 공간적/시간적 상관도를 이용하여 추정하는 변이 추정부 및 움직임 추정부; 변이 추정부 및 움직임 추정부에 의해 복원된 영상을 반화소 보상 방법을 이용하여 보상하는 변이/움직임 보상부; 전처리부로부터 제공된 원 영상과 변이/움직임 보상부에 의해 보상된 복원 영상의 차 정보를 보다 나은 영상 화질과 입체감을 제공하기 위한 부호화를 수행하는 차영상 부호화부; 차영상 부호화부에 의해 부호화된 복원 영상에 대하여 비트율에 따라 각 프레임에 효율적인 비트량을 할당하기 위한 비트율을 제어하는 비트율 제어부; 비트율 제어부에 의해 제어된 비트율에 따라 다 시점 동영상 소스 데이터에 대한 비트 스트림을 생성하는 엔트로피 부호화부를 포함하는 것을 특징으로 한다.

도 1은 MPEG-2 멀티 뷰 프로파일(MVP: MultiView profile)의 부호화 및 복호화기에 대한 도면이고,

도 2는 MPEG-2 MVP를 이용한 스테레오 동영상 부호화기에 대하여 도시한 도면이며,

도 3은 쌍방향 예측을 위해 두 개의 변이 예측을 사용한 시차만을 고려한 예측 부호화에 대한 도면이며,

도 4는 쌍방향 예측을 위해 변이 벡터와 움직임 벡터를 사용한 예측 부호화 도면이며,

도 5는 MPEG-2에서 규정하고 있는 픽쳐 형태에 대하여 도시한 도면이며,

도 6은 본 발명에 따른 다 시점 동영상 부호화 장치에 대한 블록 구성도이며,

도 7은 본 발명의 일 실시 예에 따른 다 시점 동영상 부호화 구조에 대하여 도시한 도면이며,

도 8은 본 발명의 다른 실시 예에 따른 다 시점 동영상 부호화 구조에 대하여 도시한 도면이며,

도 9는 본 발명의 다른 실시 예에 따른 다 시점 동영상 부호화 구조에 대하여 도시한 도면이며,

도 10은 본 발명의 따른 다 시점 동영상 부호화기 및 복호화기에 대한 일 예를 도시한 도면이다.

<도면의 주요부분에 대한 부호의 설명>

10 : 전처리부 30 : 변이 추정부

40 : 움직임 추정부 50 : 변이/움직임 보상부

60 : 차영상 부호화부 70 : 비트율 제어부

80 : 엔트로피 부호화부

A : 다 시점 동영상 소스(multi view video source) 데이터

이하, 첨부된 도면을 참조하여 본 발명에 따른 일 실시예를 상세하게 설명하기로 한다.

도 6을 참조하면, 본 발명에 따른 다 시점 동영상 부호화 장치에 대한 블록 구성도로서, 전처리부(10)와, 변이 추정부(30)와, 움직임 추정부(40)와, 변이 움직임 보상부(50)와, 차영상 부호화부(60)와, 비트율 제어부(70)와, 엔트로피 부호화부(80)를 포함한다.

전처리부(10)는 다 시점 동영상 소스(multi view video source)(A) 데이터가 입력되면, 노이즈 제거, 임발란싱(imbalancing) 문제를 해결하면서 전처리 과정을 통해 다 시점 동영상 소스(A) 데이터들 간의 상관도를 높여 변이 추정 및 움직임추정으로 나온 벡터들의 신뢰도를 증가시켜 변이 추정부(30) 및 움직임 추정부(40)와, 차영상 부호화부(60)에 제공한다. 여기서, 임발란싱(imbalancing)문제는 기준 영상과 보정해야 될 보정영상의 평균과 분산을 이용하여 보정하고 노이즈를 간단하게 미디언 필터를 사용하여 임발란싱 문제를 제거한다.

이후, 변이 추정부(30) 및 움직임 추정부(40)는 'I'를 포함하고 있는 동영상 축을 기준으로 도 7, 도 8 및 도 9에 도시된 바와 같은 화살표 방향으로 변이 벡터 및 움직임 벡터를 추정하여 변이/움직임 보상부(50)에 제공한다.

변이/움직임 보상부(50)는 변이 추정부(30) 및 움직임 추정부(40)에 의해 복원된 영상을 반화소 보상 방법을 이용하여 보상하여 차영상 부호화부(60)에 제공한다. 반화소 보상 방법을 이용할 때 참조하는 영상은 도7, 도8 및 도9에 도시한 화살표 방향과 같다.

이때, 변이/움직임 추정부(30, 40) 및 보상부(50)를 실행할 때, 도 7, 도 8 및 도 9에 도시된 다 시점 동영상 부호화 구조와 같이, 다 시점 변이 벡터와 이를 동영상으로 확장했을 때 발생되는 움직임 벡터를 효율적으로 이용하여 추정 방향을 설정할 수 있다. 즉, MPEG-2로 부호화하기 위한 구조를 시점축으로 확장하여 공간적/시간적 상관도를 이용할 수 있는 것이다.

차영상 부호화부(60)는 전처리부(10)로부터 제공되는 원 영상과 변이/움직임 보상부(50)에 의해 보상된 복원 영상의 차 정보를 보다 나은 영상 화질과 입체감을 제공하기 위하여 차 영상 부호화를 수행하여 비트율 제어부(70)에 제공한다.

비트율 제어부(70)는 차영상 부호화부(60)에 의해 부호화된 복원 영상에 대하여 비트율에 따라 각 프레임에 효율적인 비트량을 할당하기 위한 비트율을 제어하여 엔트로피 부호화부(80)에 제공한다. 여기서, 비트율 제어 방식은 MPEG-2 비트율 제어 방식을 사용하고 GGOP(Group GOP)내에 I 픽쳐가 한 개 포함되어 있는 구조는 GGOP를 한 개의 GOP로 간주하여 비트율 제어를 수행하며, GGOP내에 I 픽쳐가 두 개 포함되어 있는 구조는 GGOP를 각각 I 픽쳐 한 개씩 포함하는 두 개의 파트로 나누어 비트율 제어를 수행하며, 또한 나눠진 GGOP의 파트를 GOP로 간주하여 비트율 제어를 수행한다. GGOP내에 I 픽쳐가 다섯 개 포함되어 있는구조는 MPEG-2 스트림이 다섯 개 있는 것으로 간주하여 비트율 제어를 수행한다.

엔트로피 부호화부(80)는 비트율 제어부(70)에 의해 제어된 비트율에 따라 다 시점 동영상 소스(A) 데이터에 대한 비트 스트림을 생성한다.

여기서, 다 시점 동영상 소스(A) 데이터의 비트 스트림은 도 7, 도 8 및 도 9에 도시된 바와 같이, I 픽쳐가 포함되어 있는 시간(time)축은 MPEG-2의 비트 스트림과 동일한 구조로 만들고, I 픽쳐가 없는 시간축은 다 시점 동영상을 처리하기 위한 데이터들이 추가된다.

즉, 도 6에 도시된 다 시점 동영상 부호화 장치에서 생성되는 비트 스트림들은 MPEG-2와 호환성을 위하여 생성되는 주 비트 스트림인 MPEG-2 비트 스트림과 다 시점 동영상에 대한 데이터들이 포함되어 있는 보조 비트 스트림으로 구성된다.

이때, MPEG-2와 호환성을 위하여 생성되는 비트스트림은 MPEG-2 데이터 구조인 시퀀스 층, GOP 층, 픽쳐 층, 슬라이스 층, 매크로 블록 층, 블록 층으로 구성되고, 다 시점 동영상 소스(A) 데이터들에 대한 보조 비트 스트림은 I 픽쳐의 위치및 개수, 시점 수등의 정보가 들어가 있는 GGOP층과 I 픽쳐가 없는 시점(view)축의 변이 벡터 및 움직임 벡터, 차영상 부호화 정보들 및 그 외의 부가 정보들을 포함한다.

특히, MPEG-2의 구조를 유지하면서 다 시점 동영상 소스(A) 데이터들을 시퀀스 헤더, 시퀀스 확장 헤더, 픽쳐 헤더, 픽쳐 확장 헤더 부분에 추가로 삽입하였고, MPEG-2의 시퀀스 헤더에 컨스트랜드 파라미터 플래그(constrained parameters flag)를 이용하여 다 시점 동영상에 해당되는 데이터와 MPEG-2의 규격에 맞는 데이터를 구분한다.

여기서, 컨스트랜드 파라미터 플래그(constrained parameters flag)는 MPEG-1인지 MPEG-2인지 판단하는 플래그이지만, 다 시점 동영상 부호화기에서는 처리할 데이터들이 다 시점 동영상 신호인지 MPEG-2 동영상인지를 구분하는 플래그로 조절된다. 즉, '0'으로 설정되었을 때가 다 시점 동영상 데이터를 나타내고, '1' 일 때는 MPEG-2 동영상임을 나타낸다. 시퀀스 확장 층에서는 다 시점 동영상이 몇 개의 시점들로 구성되는지를 나타내는 플래그인 뷰 넘버(View Number)와 기준 영상, 즉 I 픽쳐의 수량을 나타내는 레퍼런스 프레임 넘버(Reference frame number)가 삽입된다.

그리고, 기준 영상(I 픽쳐)의 위치, 즉 시점과 시간축에 해당하는 위치를 나타내는 플래그인 레퍼런스 프레임 위치(Reference frame position)가 삽입되며, 픽쳐가 부호화되는 타입을 나타내는 픽쳐 코딩 타입(Picture Coding Type)은 MPEG-2에서와 동일하나 P 픽쳐와 B 픽쳐의 경우는 변이 벡터를 이용한 픽쳐 타입인지 움직임 벡터를 이용한 부호화 타입인지를 나타내는 정보도 추가하였다.

다시 말해서, P 픽쳐라도 변이 벡터와 움직임 벡터에 대한 타입을 구분하도록 다른 값들이 할당되며, 픽쳐 확장층에서 움직임 벡터 탐색 범위에 추가로 변이 벡터의 탐색 범위를 삽입시켜 변이 벡터에 대한 탐색 범위를 설정하며, 이를 위해 변이 벡터의 수평 방향의 탐색 범위를 나타내는 플래그인 디스페러티 수평 코드(disparity horizontal code)와 변이 벡터의 수직 방향의 탐색 범위를 나타내는 디스페러티 수직 코드(disparity vertical code) 플래그를 추가하였다.

또한, 본 발명에 따른 다 시점 동영상 부호화 장치를 이용하여 적용시킨 실시예로, 여러 명의 사용자에게 동시에 입체감 및 현장감을 제공할 수 있어 방송, 가전/통신, 교육/정보/훈련, 오락, 방위, 반도체, 컴퓨터/인터넷 상거래, 의료/생명, 우주항공, 영상, 문화, 건축 등의 거의 모든 산업 및 과학기술 분야에 적용 가능한 것으로, 도 10을 참조하면 자연 영상을 다 시점 카메라로 획득하여 다 시점 동영상 부호화기 및 복호화기를 통해 압축 및 복원하여 3DTV나 3차원 정보 단말기등을 이용하여 원거리에 있는 관찰자들에게 현장감 있는 자연 영상들을 제공할 수 있는 것이다.

또한, 다시점 동영상을 획득하는 카메라 파라미터(camera parameter)에 의해 발생되는 변이 벡터의 차이에 따라 다시점 동영상을 효율적으로 적용하기 위하여 도 7 및 8을 고안한다. 변이 벡터의 차이가 작은 다시점 동영상 구조에 대하여는 도 7을 사용하며, 변이 벡터의 차이가 큰 다시점 동영상 구조에 대하여는 도 8을 사용하여 변이 벡터 추정과정에 의하여 발생되는 에러를 감소시킨다.

상기와 같이 설명한 본 발명은 잡음제거 및 임발란싱 문제(Imbalancing problem) 해결 등의 전처리 기술과 다 시점 비디오의 정보량을 최소화하기 위한 압축 알고리즘이 적용된 실질적인 시스템, 즉 기존의 2차원 비디오 신호에 입체감을 추가하여 부호화하는 시스템을 구현함으로써, 관찰자에게 사실감과 현장감을 제공할 수 있으며, 또한 MPEG-2 표준과의 호환성을 이룸으로 비디오 시장 진출이 매우 용이하며, 멀티미디어 정보를 다루는 3차원 단말기 기술과 결합하여 방송, 가전/통신, 교육/정보/훈련, 오락, 방위, 반도체, 컴퓨터/인터넷 상거래, 의료/생명, 우주항공, 영상, 문화, 건축 등의 거의 모든 산업 및 과학기술 분야에 적용 가능하며, 특히 시청, 감시, 표시, 진단 및 측정 도구로서 적용할 수 있다는 효과가 있다.