유연한 디스패리티 선택이 가능한 3차원 컨텐트 전달 방법 및 시스템{METHODS AND SYSTEMS FOR THREE DIMENSIONAL CONTENT DELIVERY WITH FLEXIBLE DISPARITY SELECTION}

본 발명은 3차원 컨텐트의 전송및 디스플레이에 일반적으로 관련된 것이며, 특히 3차원 컨텐트를 형성하는 시야들 사이의 디스패리티(disparity)를 조절(adjustment)하는 데에 관련된 것이다.

3차원 영상은 풍경이나 사물의 사용자의 양 눈에 대한 서로 다른 시점이나 시선으로부터 기록되거나 생성된 영상들을 표시함으로써 형성되며, 오른쪽 시야는 사용자의 오른쪽 눈에 표시되는 반면 왼쪽 눈에는 사용자의 왼쪽 시야가 표시된다. "디스패리티"는 이 두 시점이나 시선 사이의 수평적 이격(horizontal displacement)을 말한다. 특히, 두 시점 사이의 디스패리티는 시청자에게 비디오 컨텐트를 3차원으로 인식하게 하는 것이다, 디스패리티가 높을수록, 인식된 이미지의 깊이가 증가한다는 점에서, 3차원 효과의 강도가 높아진다.

어떤 현존하는 3차원(3D) 스테레오 컨텐트를 전달하는 방법은, 예컨대 컬러코드 3D(ColorCode 3D) 기술을 채용한 패키지 미디어와 텔레비전 방송에 사용된 애너글리프(anaglyph) 기반의 접근법과 같이, 고정된 디스패리티를 사용한다. 이러한 접근법의 경우 전통적인 2차원(2D) 비디오 전달에 비교하여 복잡성이 최소한으로 증가한다. 그러나, 그러한 접근법들은 스테레오 컨텐트의 디스패리티의 조절을 허용하지 않는다. 그 결과로, 그러한 접근법들은 열악한 시청 경험을 제공할 수 있다. 예컨대, 만일 디스패리티가 너무 낮다면, 3D 효과는 사라질 것이다, 역으로 디스패리티가 너무 높다면 시각적 불편을 초래할 수 있다.

2d+깊이(2d+depth) 비디오 포맷과 같은 다른 접근법들은 깊이 정보를 가진 2D 비디오를 전송하고 수신기(receiver) 측에서 스테레오 쌍(왼쪽과 오른쪽 시야)을 생성함으로써 3D 비디오 컨텐트를 전달한다. 이러한 접근법이 수신기 측에서 생성된 시야들을 사용하여 디스패리티를 진행 중에 조절할 수 있도록 허용하는 반면, 수신기의 복잡도와 비용이 크게 증가한다. 그에 더하여, 두 번째 시야가 2D 비디오로부터 보간(interpolate)되어야 하므로, 결과적으로 얻어지는 3D 영상은 특히 큰, 전면에 나온 물체 주위에 시각적 인공물(artifact)을 가질 수 있다.

다른 알려진 방법은 예컨대, 엔비디아 3D 비전(Nvidia 3D Vision)처럼, 3D 모델에 기반을 두고 있다. 이전의 2D+깊이에 기반한 접근방식과 유사하게, 이 3D 모델-기반 방법은 3D 스테레오 쌍을 수신기 측에서 생성하지만, 장면의 완전한 3D 모델이 주어지므로, 비디오 인공물이 생기지 않는다. 장면의 완전한 3D 모델을 요구한다는 점이 이 방법의 주된 한계인데 이는 복잡도를 크게 증가시키며, 이미 3D 모델에 기반하고 있는, 비디오 게임에의 방법의 응용을 제한시키기 때문이다.

위에서 언급한 바와 같이, 3D 효과의 강도는 표시되는 시야의 디스패리티에 달려 있다. 강도는 또한 스크린의 크기와 시청 거리, 각 시청자의 시각계의 반응 등의 시청 조건에도 달려 있다. 따라서, 3D 스테레오 컨텐트의 디스패리티는 각 시청자와 시청 조건에 적합하도록 조절되어야 한다.

따라서, 컨텐트의 디스패리티를 조절하는 것을 허용하고, 동시에, 높은 화상 품질을 유지하는, 효율적이면서도 복잡도가 낮은 3D 스테레오 컨텐트를 전달하는 방법과 시스템에 대한 필요가 있다. 3차원 컨텐트에 대한 시야의 시스패리티를 동적으로 선택하고 조절하는 것을 가능케 함으로써 현재의 결점을 해결하는 방법과 시스템은 다양한 예시적인 실시예와 부합하여 제시된다. 이는 낮은 복잡도를 제공하며 3D 모델의 사용을 요하지 않는다. 그에 더하여, 다중-시점 비디오 코딩(Multi-view Video Coding, MVC) 체계가 이용될 수 있는데, 이는 3차원 컨텐트의 시야의 전송을 빠르고 효율적으로 할 수 있게 허용한다. MVC 체계는 디스패리티의 동적 선택과 조절을 향상 시야(enhancement view)의 참조 전용 기저 시야에 대한 의존성을 설정함으로써 용이하게 한다.

한 가지 예시적인 실시에서, 네트워크를 통해 3차원 미디어 컨텐트를 전달하는 방법은, 서로 다른 시야의 조합이 서로 다른 디스패리티를 야기하도록 되어 있는 컨텐트에 대한 복수의 다른 시야를 저장하는 단계; 수신기에 의해 선택된 대응되는 디스패리티를 가지는 최소한 한 쌍의 시야를 전송하도록 요청하는 단계; 선택된 디스패리티를 가지는 최소한 한 쌍의 시야를 선택하는 단계; 요청을 수신한 데에 응답하여 네트웍을 통해 수신기로 선택된 디스패리티를 가지는 최소한 한 쌍의 시야를 전송하는 단계를 포함한다.

다른 예시적인 실시에서, 네트워크를 통해서 3차원 미디어 컨텐트를 수신하는 방법은, 3차원 컨텐트에 대한 디스패리티를 선택하는 단계; 선택된 디스패리티를 가지는 최소한 한 쌍의 시야에 대한 요청을 서버에 전송하는 단계; 그리고 네트워크를 통해서 선택된 디스패리티를 가지는 최소한 한 쌍의 시야를 수신하는 단계를 포함한다.

또 다른 예시적인 실시에서, 방송 네트워크를 통해서 3차원 미디어 컨텐트를 전달하는 시스템은, 서로 다른 시야의 조합이 서로 다른 디스패리티를 야기하도록 되어 있는, 복수의 다른 컨텐트에 대한 시야를 저장하고 방송하도록 설정된 서버; 복수의 다른 시야를 수신하고, 컨텐트에 대한 디스패리티를 선택하고 선택된 시트패리티를 가지는 한 쌍의 시야를 디스플레이로 출력하도록 설정된 수신기를 포함한다.

다른 예시적인 실시에서, 네트워크를 통해서 다중-시점 비디오 코딩을 채용하여 3차원 미디어 컨텐트를 전달하는 방법은, 서로 다른 기저 시야와 향상 시야의 조합이 서로 다른 디스패리티를 야기하도록 되어 있는, 컨텐트에 대한 기저 시야와 복수의 향상 시야를 수신하는 단계; 향상 시야가 기저 시야를 참조하고 다른 어떤 향상 시야도 참조하지 않는 기저 시야와 향상 시야를 인코딩하는 MVC 단계; 기저 시야가 최소한 한 쌍에 포함되어 있는 최소한 한 쌍의 MVC 인코딩된 시야를 리비버로 전송하는 단계를 포함한다.

본 발명의 교시는 이하의 상세한 설명과 첨부된 도면을 연관지어 고려함으로써 쉽게 이해될 수 있다,
도 1은 네트워크를 통해 본 발명의 예시적인 실시에 부합하게 3차원 미디어 컨텐트를 전달하는 방법의 블록/흐름도;
도 2는 네트워크를 통해 본 발명의 예시적인 실시에 부합하게 3차원 미디어 컨텐트를 수신하는 방법의 블록/흐름도;
도 3은 네트워크를 통해 본 발명의 예시적인 실시에 부합하게 3차원 미디어 컨텐트를 전달하는 시스템의 블록/흐름도;
도 4는 방송 네트워크를 통해 본 발명의 다른 예시적인 실시에 부합하게 3차원 미디어 컨텐트를 전달하는 방법의 블록/흐름도;
도 5는 방송 네트워크를 통해 본 발명의 다른 예시적인 실시에 부합하게 3차원 미디어 컨텐트를 수신하는 방법의 블록/흐름도;
도 6은 네트워크를 통해 다중-시점 비디오 코딩(MVC) 기법을 사용하여 본 발명의 예시적인 실시에 부합하게 3차원 미디어 컨텐트를 전달하는 보다 특정된 시스템의 블록/흐름도;
도 7은 네트워크를 통해 다중-시점 비디오 코딩(MVC)을 채용하여 본 발명의 예시적인 실시에 부합하게 3차원 미디어 컨텐트를 전달하는 방법의 블록/흐름도;
도 8은 본 발명의 예시적인 실시와 부합하게 향상 시야의 보간을 설명하는 그래프;
도 9는 본 발명의 예시적인 실시에 부합하게 기저 시야와 향상 시야의 인코딩을 설명하는 MVC 인코딩 시스템/방법의 블록/흐름도;
도 10은 본 발명의 예시적인 실시에 부합하게 향상 시야와 기저 시야 사이의 의존 관계를 설명하는 그래프.
도면이 발명의 개념의 설명을 목적으로 한다는 점과 반드시 발명의 설명을 위한 유일한 설정이 아니라는 점이 이해되어야 한다. 이해를 촉진하기 위해, 가능한 경우 도면들에 공통되는 동일한 요소들을 지칭하기 위하여, 동일한 참조 번호가 사용되었다.

예시적인 실시는 사용자나 수신기로 하여금 몇 쌍의 왼쪽과 오른쪽 시야 중에서 선택 가능하게 함으로써 디스패리티 조절을 허용하는 3차원 스테레오 컨텐트 전달을 위한 방법과 시스템을 제공한다. 제안된 실시는, 영상 비디오 품질을 떨어뜨리거나 수신기와 디스플레이의 복잡도를 심각하게 증가시키지 않고, 스크린 크기나 시청 거리와 같은 시청자와 시청 환경의 선호에 맞추어 3D 경험을 주문제작(customize)할 수 있다.

도면에 도시된 다양한 요소들의 기능은 전용 하드웨어 뿐만 아니라 적절한 소프트웨어와 함께 소프트웨어를 실행할 수 있는 하드웨어를 통해서도 제공될 수 있음이 이해되어야 한다. 프로세서를 통해서 제공된다면, 기능은 하나의 전용 프로세서, 하나의 공유된 프로세서, 또는 그 중 일부가 공유된 복수의 독립된 프로세서에 의해서 제공될 수 있다. 그에 더하여, 명시적인 "프로세서" 또는 "컨트롤러"라는 용어의 사용은 소프트웨어를 실행할 수 있는 하드웨어 만을 배타적으로 지칭하는 것으로 해석되어서는 안 되며, 디지털 신호 프로세서(digital signal processor, "DSP") 하드웨어, 소프트웨어를 저장하기 위한 읽기 전용 메모리(read-only memory, "ROM"), 램("RAM"), 그리고 비휘발성 메모리를 암시적으로 포함할 수 있으며 그에 한정되지도 않는다. 그에 더하여, 여기서 발명의 원칙, 측면, 실시를 기술하는 모든 명제와, 그에 더해 특정한 예제도 마찬가지로, 구조적이고 기능적인 균등물을 모두 포함하도록 의도되었다. 더하여, 그러한 균등물은 현재 알려진 균등물과 미래에 개발될 균등물(즉, 같은 기능을 수행하는, 구조를 불문하고 모든 개발된 요소)을 모두 포함하도록 의도되었다.

따라서, 예컨대, 여기 제시된 블록도가 발명의 원리를 실시하는 설명적인 시스템 구성부 그리고/또는 회로의 개념적 도해를 표현한다는 점이 당업자에 의해 이해될 것이다. 유사하게, 모든 순서표, 순서도, 상태 전환도, 슈도코드, 기타 유사한 것들이, 컴퓨터로 읽을 수 있는 저장 매체에 실제로 표현될 수 있고, 따라서 컴퓨터나 프로세서가 명시적으로 도시되었는가의 여부를 불문하고, 컴퓨터나 프로세서에 의해서 실행될 수 있는 다양한 절차를 표현한다는 점이 이해될 것이다.

이제 특정한 세부에 있어서, 유사한 참조 번호가 유사하거나 동일한 요소를 다수의 도해를 통하여 명시하는 도면을 참조하여, 그리고 특히 도 1을 참조하여, 본 발명의 실시 예와 부합하는 네트워크를 통하여 3차원 컨텐트를 전달하는 방법(100)이 기술된다. 그에 더하여, 방법(100)의 이해를 쉽게 하기 위하여 3차원 컨텐트를 전달하는 시스템(300)을 설명하는 도 3이 참조된다. 시스템(300)은 서버(302)와 수신기(304)를 포함할 수 있으며, 이들은 전달 채널(306)을 통하여 통신할 수 있다. 전달 채널(306)은 당업자가 이해할 수 있는 대로 다양한 접근법과 매체를 통해 구현될 수 있다. 예컨대, 전달 채널(360)은 단일캐스트 또는 다중캐스트 네트워크의 일부로서 인터넷을 사용하여 구현될 수 있다. 그에 더하여, 전달 채널(306)은 광학적 방송 네트워크 내의 광학적 채널이거나 위성 방송 네트워크 내의 라디오 주파수 채널일 수 있다. 게다가, 전달 채널(306)은 케이블 서비스 제공자 방송이나 양방향 데이터 네트워크나 그와 유사한 것으로도 구현될 수 있다. 서버(302)는 스테레오 쌍 시야(308) 그리고/또는 독립된 시야(310)의 세트를 저장할 수 있는 저장 장비(311)를 포함할 수 있다. 서로 다른 시야의 조합은 서로 다른 디스패리티를 야기한다. 한편 수신기(304)는 3D 스테레오 재생기(312)를 포함할 수 있으며, 이는 3D 비디오 컨텐트를 재생하고 시청 선호도(316)를 사용자로부터 수신하도록 설정될 수 있다. 그에 더하여 수신기(304)는 시청 선호도를 서버(302)로 채널(306)을 통하여 전송할 수 있으며, 서버(302)는, 이에 응답하여, 서로 다른 대응되는 디스패리티를 가지는 하나 또는 이상의 시야 쌍을 전송할 수 있다. 반면에, 서버(302)는 복수의 시야 또는 시야 쌍을 여러 대의 수신기에 방송하고 시야 쌍의 선택이 수신기(304)에서 이루어질 수도 있다. 또 다른 특징에서는, 수신기(304)가 시청 선호도를 서버(302)에 분리된 백 채널(back channel)(307)을 통해 전송할 수 있다. 여기에 개시된 모든 시스템의 요소는 전용 하드웨어로 구현될 수 있으며, 또는 시스템 요소가 프로세서와 프로그램 저장 장비를 포함하는 하드웨어 플랫폼 상에 깔린 소프트웨어로 구현될 수도 있다. 시스템 요소는, 당업자에 의해 이해되는 대로, 운영체제와 어플리케이션 프로그램 인터페이스(application program interface)를 사용하여 구현될 수도 있다.

방법(100)으로 돌아가면, 방법(100)은 서버(302)가 복수의 다른 시야를 같은 3차원 미디어 컨텐트에 대해 저장하는 단계(102)에서 시작할 수 있다. 예컨대 서버(302)는 M개의 독립된 시야(310)를 저장 장비(311)에 저장하고 사용자 요청에 응답하여, 조합되고 그리고/또는 보간되어 사용자 선호도에 부합하는 목적한 디스패리티를 가지는 한 쌍을 결과적으로 생성할 수 있다. 대안적으로 또는 부가적으로, 서버(302)는 비디오 콘텐트에 대한 서로 다른, 복수의 왼쪽 그리고 오른쪽 시야를 조합하고 그리고/또는 보간하여 서로 다른 디스패리티를 가지는 쌍들을 생성하고 생성된 쌍들을 저장 장비(311)에 저장할 수 있다. 예컨대, 생성된 쌍은 서버(302)에 저장된 서로 다른 N개의 스테레오 쌍(308)에 응답할 수 있다. 이 시나리오에서는, 수신기(304)가 임의의 하나 또는 그 이상의 저장된 쌍(310)을 서버(302)로부터 전달 채널(306)을 통하여 전송되도록 선택할 수 있다.

선택적으로, 단계(103)에서, 서버(302)는 수신기(304)로부터 기본(default) 스테레오 쌍에 대해 스트리밍(streaming) 요청을 받을 수 있다. 이 요청은 단순히 "기본"을 참조하거나 기본 스테레오 쌍에 대해 요망되는 디스패리티를 명시할 수 있다. 게다가, 요청은 백 채널(307)을 통하여 전송될 수 있다.

선택적으로, 단계(104)에서, 서버는 시야의 기본 스테레오 쌍을 수신기로 전송할 수 있다. 이 단계는 사용자가 기본 쌍에 기반한 다른 디스패리티를 가지는 쌍을 요청할 수 있는 예시적인 실시에서 유용하다. 예컨대, 사용자는 수신기(304)에 기본 쌍에 비해서 높거나 낮은 디스패리티를 가지는 쌍이 서버에 의해 전송되어야 한다고 지시할 수 있다. 단, 기본 스테레오 쌍은 여러 대의 수신기에 전달 채널(306)을 통해서 방송될 수 있다. 이 시나리오에서, 대안적인 시야에 대한 사용자 요청(또는 수신기 요청)은, 보다 자세히 이하 기술되지만, 서버에 백 채널(307)을 통하여 전달될 수 있다. 예컨대, 만일 기본 스테레오 쌍이 위성을 통해 방송되면, 백 채널(307)은 인터넷이나 어떤 다른 공급자 네트워크 같은 광역 네트워크에 연결된 전선이거나 광학 채널일 수 있다.

단계(106)에서, 서버(302)는 수신기를 통해 선택된 디스패리티에 응답하는 최소한 한 쌍의 시야를 전송하라는 요청을 수신할 수 있다. 예컨대, 특정한 시야 쌍의 선택은 수신기에서 시스템 시동시에 이루어질 수 있다. 그에 더하여, 특정한 시야 쌍의 선택은 사용자에 의해 수신기에서 이루어질 수 있다. 게다가 시야 쌍의 선택은 기본 시야 쌍에 기반할 수 있다. 예컨대, 요청은 서버가 기본 쌍에 비하여 더 크거나 작은 디스패리티를 가지는 시야 쌍을 전송하여야 한다는 지시를 포함할 수 있다. 그에 더하여, 스트리밍 시나리오에서는, 서로 다른 스테레오 쌍 사이의 전환이, 단순히 서버에 새로운 요청을 보냄으로써, 진행 중에 일어날 수도 있다. 진행중 전환에 대한 새로운 요청은 수신기에 의해 전송된 마지막 쌍과 같이 서버에 의해 이전에 전송된 어떤 쌍 보다도 크거나 작은 디스패리티를 가지는 하나 또는 그 이상의 시야 쌍을 서버가 전송해야 한다고 지시할 수 있다. 그에 더하여, 수신기가, 스트리밍 컨텐트를 수신하는 것과는 달리, 3차원 비디오 컨텐트를 다운로드하는 시나리오에서는, 적절한 스테레오 쌍이 다운로드의 시작시에 요청될 수 있거나, 대안적으로 여러 개의 스테레오 쌍이 다운로드되어 여러 개의 시야 선택지를 제공하도록 요청될 수도 있다. 단, "선택된 디스패리티"가, 여기서 채용된 것처럼, 선택된 디스패리티 범위에 응답할 수 있다. 예컨대, 다운로드 시나리오에서, 사용자는 일정한 범위의 디스패리티를 요청할 수 있고 서버는 지정된 범위 내의 디스패리티를 가지는 여러 개의 시야 쌍들을 공급할 수 있다. 여기서 기술된 어떤 시나리오에서도, 위에서 언급된 바처럼, 요청은 백 채널(307)을 통해서 수신될 수 있다.

단계(108)에서, 서버(302)는 선택된 디스패리티를 가지는 시야 쌍을 선택할 수 있다. 예컨대, 위에서 언급된 바처럼, 서버(302)는 서로 다른 디스패리티를 가지는 서로 다른 시야 쌍(308)을 수신기(304)로부터 요청을 수신하기에 앞서 생성할 수 있다. 여기서, 요청을 수신하는데 응답하여, 서버(302) 내의 쌍 선택기(pair selector)(314)가 수신기(304)로의 전송을 위해 요청된 시야 쌍을 선택할 수 있다. 대안적으로 또는 부가적으로, 쌍은 사용자 요청에 응답하여 진행 중에 생성될 수 있다. 예컨대, 수신기(304)는 기본 시야 쌍에 비해서 크거나 작은 디스패리티를 가지는 하나나 그 이상의 시야 쌍에 대한 요청을 전송할 수 있다. 게다가, 수신기(304)는 사용자 선호도와 부합하여 명시된 디스패리티를 가지는 하나나 그 이상의 시야 쌍에 대한 요청을 전송할 수 있다. 요청의 수신에 응답하여, 쌍 선택기(314)는 저장 장비(311)에 저장된 독립된 시야(310)로부터 선택된 디스패리티를 가지는 시야 쌍 또는 쌍들을, 단계(108)에서 "선택"함으로써 수신기(304)로 전송할 요청된 쌍 또는 쌍들을 생성할 수 있다.

단계(110)에서, 수신기(304)로부터의 요청을 수신하는 데 응답하여, 서버(302)는 수신기(304)로 선택된 디스패리티를 가지는 하나나 그 이상의 시야 쌍을 네트워크를 통해 전송할 수 있다.

선택적으로, 단계(112)에서, 서버(302)는 수신기(304)로부터의 새로운 쌍 전송에의 요청을 수신했는지 여부를 결정할 수 있다. 만일 새로운 요청이 수신되었다면, 방법은 요청에서 지시된 디스패리티에 응답하는 새로운 하나 또는 그 이상의 시야 쌍들이 수신기(304)로 전송되는 단계(110)으로 진행할 수 있다. 대안적으로, 만일 응답하는 쌍들이 저장되지 않았다면, 방법은, 지시된 디스패리티를 가지는 쌍이 생성될 수 있는, 단계(108)로 진행할 수 있다. 새로운 요청은, 예컨대, 위에서 논의된 진행중 전환 체계의 일부일 수 있다. 그렇지 않다면, 방법은 서버(302)가 종료 조건이 만족되는지 여부를 결정하는 단계(114)로 진행할 수 있다. 예컨대, 종료 조건은 다운로드 시나리오 내의 모든 컨텐트의 전송의 완료에 응답할 수 있다. 스트리밍 시나리오에서는, 종료 조건은 주문형 비디오 컨텐트와 같은 모든 컨텐트의 전송에 응답할 수 있으며, 또는 수신기가 꺼진 상태에 있음에 응답할 수도 있다. 종료 조건이 만족되면, 방법은 종료할 수 있다. 그렇지 않다면, 서버는 단계(1110)과 부합하여 대응되는 디스패리티를 가지는 하나 또는 그 이상의 시야 쌍을 전송하기를 계속할 수 있다.

방법(100)은 비디오 컨텐트를 스트리밍 또는 다운로드 할 때 시청자가 3차원 시청 경험을 그 또는 그녀의 기호에 맞도록 주문제작할 수 있도록 허용한다. 게다가, 방법은 쌍 생성이 서버에서 수행되고, 따라서 간단하고 복잡도가 낮은 수신기가 네트워크를 통해 서비스받는 많은 수의 고객에 의해 사용되기를 허용한다는 점에서 경제적이다.

방법(100)은 당업자에 의해 이해될 수 있는 대로 다양한 방법으로 구현될 수 있음이 이해되어야 한다. 예컨대, 구현은 스테레오 쌍 생성과 저장, 스테레오 쌍/디스패리티 선택과 3차원 컨텐트의 코딩에 따라서 다양할 수 있다. 예시적인 변이는 이하 여기에 기술된다.

스테레오 쌍 생성

본 발명의 다양한 예시적인 구현에 부합하여, 시야 쌍의 생성은, 위에서 단계(102)와 (108)에 관하여 논의된 대로, 여러 가지 다른 방법으로 수행될 수 있다. 예컨대, 하나의 예시적인 실시에 의하면, 다중-시점 3D 컨텐트 접근법이 스테레오 시야의 쌍을 생성하기 위해 채용될 수 있다. 이 접근법은 라이브 액션 컨텐트에 대해 복수 대의 카메라를 이용하거나 또는 컴퓨터로 생성된 컨텐트에 대해 복수 회의 렌더링을 이용하는 다중 시점 시스템을 사용하여 3D 비디오 컨텐트를 생성한다. 따라서, 서로 다른 스테레오 쌍을 생성하는 것은 각 쌍이 서로 다른 디스패리티를 가지는 서로 다른 생성된 시야를 짝짓는 것을 단순히 포함할 수 있다. 이러한 접근법은 최선의 비디오 품질을 제공하나, 또한 컨텐트 제작 부담이 가장 높다.

단계(102) 또는 단계(108)을 수행하기 위해 채용될 수 있는 또 다른 접근법은 2D 컨텐트 제작과 시야 보간을 포함한다. 여기서, 복수의 시야를 생성하기 위해, 선택적으로 깊이 데이터와 같은 부가적인 정보를 사용하여, 오직 2D 비디오 컨텐트만이 채용되고 보간된다. 이러한 접근법이 컨텐트 제작 절차를 크게 단순화하는 반면, 복잡하고, 시간을 소모하는 수동 비디오 프로세싱이 시야 보간을 위해 남게 된다. 오직 하나의 2D 시야만이 보간을 위해 이용가능하다는 점을 전제하면, 이는 또한 진정한 다중 시점 컨텐트보다 낮은 품질을 제공할 수도 있다.

본 발명의 다른 예시적인 측면에 따르면 단계(102) 또는 단계(108)는 3D 스테레오 컨텐트 제작과 시야 보간을 사용하여 수행될 수 있다. 이러한 접근법에서는, 3D 스테레오 컨텐트가 인공적으로 복수의, 서로 다른 시야를 생성하기 위하여 보간된다. 하나의 3D 스테레오 쌍을 사용함으로써, 컨텐트 제작은 진정한 다중 시점 3D 컨텐트 접근법에 비하여 크게 단순화된다. 이 접근법은 다중 시점 3D 컨텐트 제작과 같은 품질 수준에 도달하지는 않으나, 2D 컨텐트 제작 품질 수준에 비해서는 향상된다. 그리고 스테레오 쌍에 대해서는, 이 접근법이 다중 시점의 경우와 같은 품질을 제공한다.

다중 시점 3D 컨텐트 제작과 시야 보간은 단계(102) 또는 단계(108)에서 서로 다른 시야를 생성하기 위해 채용될 수 있는 또 다른 접근법이다. 여기서, 위에서 기술된 다중 시점 3D 컨텐트는 부가적인, 서로 다른 시야들을 생성하기 위하여 보간된다. 다중 시점 3D 컨텐트 제작에 시야 보간을 추가함으로써, 경미하게 감소한 영상 품질과 시야 보간을 위한 추가된 비용의 대가로 컨텐트 제작 절차의 복잡도를 절감할 수 있다.

저장

예시적인 구현과 부합하여서, 시야의 저장은, 위에서 단계(102)에 관하여 논의된 대로, 서버에 의해 다양한 방법으로 수행될 수 있다. 시야가 저장되는 방법은 복잡도와 용량 제한에 기반하여 선택될 수 있다.

위에서 논의된 대로, 단계(102)에서, 서버(302)는 스테레오 쌍 기반 저장을 채용할 수 있다. 이 모드에서는, 쌍(308)과 같은 왼쪽과 오른쪽 시야의 완전한 쌍들이 저장된다. 따라서, 새로운 디스패리티로의 전환은 단순히 새로운 저장된 쌍으로의 전환을 포함한다. 이 모드가 가장 낮은 복잡도를 요하는 반면, 서로 다른 스테레오 쌍들은 실제로는 두 시야중 하나를 공유할 수 있기 때문에, 가장 큰 저장장소를 요구한다.

대안적으로 또는 추가적으로, 시야는 단계(102)에서 시야 기반 저장 접근법과 부합하여 서버(302)에 독립적으로 저장될 수 있다. 이 모드에서는, 시야(310)와 같은 여러 서로 다른 시야들이 독립적으로 저장되고 완전한 스테레오 쌍들이 요청된 디스패리티에 기반하여 진행 중에 생성된다. 이 접근법은 복잡도를 증대시키지만 공간에 대한 요구를 최소화하고 2D 비디오를 송출하는 것도 허용한다. 특정한 실시에서 하나의 왼쪽 시야 L(기저 시야)과 복수의 오른쪽 시야들(추가 시야) {R ₁ ,...,R _n} 이 단계(102)에서 저장될 수 있다. 스테레오 쌍은 단계(108)에서 왼쪽 시야와 각 오른쪽 시야를 조합(L,R _n )함으로써 형성될 수 있다.

비디오 코딩

단계(110)에서 하나 또는 그 이상의 시야의 쌍의 전송은 여러 서로 다른 인코딩 전술을 사용하는 서버에 의해 구현될 수 있다. 동시캐스팅(simulcasting)은 단계(110)에서 시야를 전송하는 하나의 가능한 선택을 제공한다. 동시캐스팅에 부합하여, 각 시야는 독립된 비디오 스트림 내에 인코딩되어 수신기로 전송된다. 이 접근방법은, 사용된 대역폭이 2D 비디오에 비해 대략 배가되기 때문에, 더 큰 양의 대역폭을 사용한다. 그러나, 새로운 코딩이나 후처리 알고리즘을 요구하지 않기 때문에 더 낮은 복잡도를 가진다. 그에 더하여 각 시야가 독립된 비디오 스트림에 인코딩되기 때문에, 어떤 시야의 조합도 가능하며, 잠재적으로 같은 수의 시야에 대하여 더 많은 디스패리티 선택이 가능하다. 이 접근법은 스테레오 쌍 기반과 시야 기반 저장 모두를 지원하며, 2D 컨텐트와 하위 호환된다.

단계(110)에서 채용될 수 있는 또 다른 기법은 공간 인터리빙(interleaving)을 포함한다. 여기서, 두 시야는 공간적으로 함께 인터리빙되어 하나의 2D 스트림으로 인코딩된다. 따라서, 이 방법은 보통의 2D 비디오와 같은 양의 대역폭을 사용한다. 그러나, 이 접근법은 또한 각 시야가 2배로 다운샘플(downsample)되기 때문에 낮은 영상 품질을 초래한다. 예컨대, 시야는 옆으로 나란한 공간 인터리빙을 위하여 수평 차원에서 다운샘플될 수 있다. 공간 인터리빙은 동시캐스팅보다 더 낮은 인코딩과 디코딩 복잡도를 가지지만, 완전한 해상도의 스테레오 쌍을 재구성하기 위해 추가적인 후처리를 수신기 측에서 요구할 수 있다. 이 접근법은 스테레오 쌍 기반 저장만을 지원하며 2D만 지원하는 시스템과의 호환성이 없다.

다중 시야 비디오 코딩(MVC) 또한 시야를 수신기(304)에 전송하기 위해 단계(110)에서 채용될 수 있다. 특히, MVC 표준은 서버(302)에서 이용가능한 서로 다른 시야를 인코딩하기 위해 이용될 수 있다. 교차 시야 의존성(cross-view dependency)과 같은 인코딩 설정에 따라, 이 접근법은 인코딩 효율성(즉, 대역폭 사용량)과 복잡도 사이에 다른 타협안들을 달성할 수 있다. 예시적인 측면과 부합하여, 기저 시야와 부가 시야가 위에서 논의한 시야 기반 저장 접근법에 부합하여 채용되었을 때, 코딩 의존성은 기저 시야와 부가 시야 사이에서만 발생하며, 부가 시야들 사이에서는 발생하지 않는다, 이는 기저 시야와 임의의 하나의 부가 시야 만을 송출하는 것을 허용한다. 이 접근법은 동시캐스팅보다 적은 시야 조합을 가짐에도 불구하고, 스테레오 쌍 기반과 시야 쌍 기반 저장 모두를 지원하며, 2D만 지원하는 시스템과 하위 호환된다. 본 발명의 예시적인 실시와 부합하는 특정한 MVC 접근법이 이하에서 보다 완전히 논의된다.

단계(110)에서 다른 코딩 접근법이 또한 채용될 수 있음이 이해되어야 한다. 예컨대, 전송을 위하여 시야를 인코딩하는 데 스케일 가능한 비디오 코딩(Scalable video coding, SVC)이 채용될 수 있으며, 또는 수신기에서 시야 보간 기능을 가지는 시스템을 위하여 2D 시야와 깊이 정보의 조합이 전송을 위하여 시야를 인코딩하는 데에 채용될 수 있다.

다른 예시적인 디스패리티 선택 실시

이제, 도 2를 참조하고 도 1과 도 3을 계속 참조하여, 본 발명의 예시적인 실시와 부합하여 3차원 미디어 컨텐트를 수신하는 방법(200)이 설명된다. 방법(200)은 방법(100)과 동시적으로 그리고 연결되어 수행될 수 있다.

선택적으로, 방법(200)은 수신기(304)가 기본 스테레오 시야 쌍을 수신하는 단계(202)에서 시작할 수 있다. 기본 스테레오 쌍은 위에서 단계(104)와 관련하여 기술된 기본 쌍에 응답할 수 있다. 위에서 언급한 대로, 예시적인 실시에서, 기본 스테레오 쌍은 복수의 수신기에 방송될 수 있다.

단계(204)에서, 수신기(304) 또는 사용자는 위에서 공급된 기술과 부합하여 3차원 컨텐트에 대한 디스패리티를 선택할 수 있다. 예컨대, 특정한 시야 쌍의 선택은 수신기에서 시스템 시동 시에 이루어질 수 있다. 부가적으로, 사용자는 특정한 시야 쌍을 수신기에서 선택할 수 있다. 수신기는 또한 시청 조건에 기반하여 디스패리티를 선택할 수 있다. 예컨대, 수신기는 디스플레이 장비의 화면 크기를 감지하고 화면 크기와 시청 거리에 적합한 디스패리티를 선택할 수 있다. 시청 거리 요소는 사용자에 의해 미리 정해질 수 있으며 또는 단순히 수신기 장비의 소프트웨어에 저장된 기본 시청 거리 요소일 수 있다. 그에 더하여, 선택 절차는 직접적이거나 간접적일 수 있다. 직접 모드에서는, 수신기가 정확히 어떤 디스패리티가 서버에서 이용가능한지 알고 있다. 따라서, 수신기가 이용가능하고, 명시된 디스패리티를 사용자에게 제시하고 사용자가 원하는 디스패리티를 선택할 수 있다. 간접 모드에서는, 수신기가 기본 스테레오 쌍을 수신하여 기본 스테레오 쌍보다 높거나 낮은 디스패리티를 선택할 수 있는 선택을 사용자에게 제공한다. 이에 더하여, 간접 모드에서는, 가장 최근의 스테레오 쌍 또는 수신기에 의해 수신된 스테레오 쌍을 참조함으로써 반복적으로 선택이 이루어질 수 있다. 단, "선택된 디스패리티"는 또한 위에서 논의된 대로 선택된 디스패리티 범위에 부합할 수 있다.

단계(206)에서, 수신기(304)는 서버에 선택된 디스패리티를 가지는 최소한 하나의 시야 쌍에 대한 요청을 전송할 수 있다. 예컨대, 직접 모드에서는, 요청이 스테레오 쌍 또는 새로운 스테레오 쌍을 요청하기 위해, 전송될 왼쪽 그리고 오른쪽 시야의 식별자(ID)를 포함할 수 있다. 간접 모드에서는, 요청이 이전에 서버에 의해 전송된 다른 시야 쌍 또는 쌍들에 비하여 디스패리티가 높은지 또는 낮은지의 명시를 포함할 수 있다. 위에서 언급된 대로, 서버 측의 쌍 선택기(314)는 적절한 시야 쌍을 선택하여 이 요청을 만족시킬 수 있다. 이에 더해, 기본 쌍에 대한 요청이 단계(206)에서 이루어질 수 있다. 위에서 언급된 대로, 기본 쌍에 대한 요청은 "기본"을 참조하거나 또는 기본 스테레오 쌍에 대해 요망되는 디스패리티를 명시할 수 있다. 단, 직접 모드는 수신기 측에 지능적인 측면을 많이 부담시키고, 쌍 선택기(314)가 단순해진다. 간접 모드는 보다 복잡한 쌍 선택기(314)를 사용을 수반하지만, 수신기 측의 어떠한 변화 없이도 저장장비에 시야를 더하거나 제거하는 것을 허용한다. 게다가, 요청은 단계(106)와 관련되어 위에서 기술된 요청이 될 수 있음이 이해되어야 한다. 위에서 논의된 대로, 요청은, 어떤 예시적인 실시에서, 백 채널(307)을 통하여 전송될 수 있다.

단계(208)에서, 수신기는 네트워크를 통해서 서버로부터 선택된 디스패리티를 가지는 최소한 하나의 시야 쌍을 수신할 수 있고 선택된 디스패리티를 가지는 시야 쌍을 사용하여 3차원 컨텐트를 표시할 수 있다. 선택된 쌍은 단계(108) 및 단계(110)와 관련하여 위에서 논의된 선택된 쌍에 응답할 수 있다.

위에서 명시된 대로, 시야의 전환은 새로운 요청을 제출함으로써 반복적으로 또는 진행 중에 수행될 수 있다. 선택적으로, 단계(210)에서, 수신기는 사용자가 새로운 디스패리티를 선택했는지 여부를 결정할 수 있다. 만일 사용자가 새로운 디스패리티를 선택하지 않았다면, 수신기는 서버에 의해 전송된 하나나 그 이상의 쌍을 수신하기를 계속하고 컨텐트의 현재 표시를 유지할 수 있다. 그렇지 않다면, 방법은 단계(212)로 진행할 수 있다.

선택적으로, 단계(212)에서, 수신기는 새로운 선택된 디스패리티를 명시하는 새로운 요청을 전송할 수 있다. 요청은 단계(206)와 관련하여 위에서 논의된 임의의 특징을 포함할 수 있다. 예컨대, 요청은 수신된 시야 쌍 중 최소한 한 쌍의 디스패리티보다 새로 선택된 디스패리티가 높거나 낮은지를 명시할 수 있다. 그에 더하여 요청은 특정한 시야 쌍의 하나나 그 이상의 식별자를 명시할 수 있다. 더더욱, 새로운 요청은 단계(112) 및 단계(106)와 관련하여 위에서 논의된 요청의 특징들을 포함할 수 있다.

단계(214)에서, 수신기는 네트워크를 통하여 서버로부터 새로 선택된 디스패리티를 가지는 최소한 하나의 시야 쌍을 수신할 수 있고 새로 선택된 디스패리티를 가지는 시야 쌍을 사용하여 3차원 컨텐트를 표시할 수 있다. 그 이후에, 방법(200)은 단계(210)로 진행할 수 있다.

즉각적인 시야의 전환은 어느 때에나 일어날 수 있다는 점이 이해되어야 한다. 예컨대, 주문형 비디오 체계와 부합하여 3차원 컨텐트를 재생하기를 사용자가 바라는 스트리밍 시나리오에서는, 비디오는 수신기로 기본 시야 쌍으로서나 또는 수신기/사용자가 정의한 시야 쌍으로서 전송될 수 있다. 비디오가 사용자에게 제시되는 동안, 사용자는 비디오에 대한 요망된 디스패리티가 비디오가 재생되는 동안 얻어질 때 까지 위에서 논의된 진행중 전환 특징을 사용함으로써 표시된 컨텐트의 디스패리티를 반복적으로 조정할 수 있다. 조정은 사용자로 하여금 특정한 디스패리티를 선택하기를 허용하고, 위에서 논의된 대로 식별자를 사용하여 선택된 디스패리티를 가지는 시야 쌍에 대한 요청을 전송함으로써 구현될 수 있다. 대안적으로, 조정은 수신기에서 이전에 수신된 시야 쌍의 디스패리티보다 높거나 낮은 디스패리티의 사용자 선택에 기반할 수도 있다.

도 4를 참조하고 도 1 내지 3을 계속 참조하여, 본 발명의 예시적인 실시와 부합하여 3차원 비디오 컨텐트를 방송하는 대안적인 방법(400)이 설명된다. 주문형 형식으로 시야를 보내는 것과 달리, 3차원 컨텐트를 위한 복수의 서로 다른 시야 또는 시야 쌍이 방송되거나 수신기에서 선택될 수 있다. 방법(400)은, 위에서 상세하게 기술된 시스템(300)의 서버(302)에 의해 구현될 수 있다. 방법(400)은 서버(302)가 같은 3차원 컨텐트에 대해 복수의 서로 다른 시야를 저장할 수 있는 단계(402)에서 시작할 수 있다. 단계(402)는 위에서 논의된 단계(102)와 동등할 수 있다. 예컨대, 위에서 논의된 것처럼, 서버(302)는 저장 장비(311)에 서로 다른 대응되는 디스패리티를 가지는 서로 다른 스테레오 쌍(308)을 저장할 수 있다. 대안적으로 또는 부가적으로, 서버(302)는 저장 장비(311)에 독립적인 시야(310)를 저장할 수 있다. 위에서 언급된 대로, 독립적인 시야의 서로 다른 조합은 서로 다른 대응되는 디스패리티를 야기한다.

단계(404)에서, 서버(302)는 복수의 수신기에 복수의 시야를 방송할 수 있다. 예컨대, 복수의 스테레오 쌍 그리고/또는 복수의 독립된 시야가, 위에서 논의된 대로 방송 네트워크를 통해서 구현된 전달 채널(306)을 통해 복수의 수신기로 전송될 수 있다. 모든 방송된 스테레오 쌍은 다른 대응되는 디스패리티를 가진다. 유사하게, 모든 방송된 독립된 시야, 예컨대 최소한 3차원 시야는 조합되었을 때 다른 대응되는 디스패리티를 가진다. 이에 더하여, 복수의 시야는 각자 디스패리티 명시자와 함께 전달될 수 있다. 예컨대, 디스패리티 명시자는 요망되는 디스패리티를 가지는 한 쌍의 시야를 수신기가 선택하도록 허용하기 위해 기저 시야로부터의 거리를 명시할 수 있다. 기저 시야는 어떤 시야라도 될 수 있고 명시자는 거리가 기저 시야의 왼쪽 혹은 오른쪽 방향으로임을 표시하는 음수 값 또는 양수 값이 될 수 있다. 대안적으로, 예컨대 스테레오 쌍이 방송되면(308), 명시자는 단순히 특정한 디스패리티를 참조할 수 있다. 그 이상의 디스패리티 거리와 특정한 디스패리티 값은 3차원 컨텐트와 함께 전송되거나 수신기(304)에 미리 저장되는 코드와 참조표(lookup table)를 사용하여 구현될 수 있다.

이제 도 5를 참조하고 도 1 내지 4를 계속 참조하여, 본 발명의 예시적인 실시와 부합하여 3차원 비디오 컨텐트를 수신하는 방법(500)이 설명된다. 방법(500)은 수신기(304)에서 구현될 수 있으며 방법(400)을 보완할 수 있다. 방법(500)은 수신기가 3차원 컨텐트에 대한 복수의 시야를 수신하는 단계(502)에서 시작할 수 있다. 수신된 시야는 단계(404)에서 방송된 같은 시야일 수 있다. 예컨대, 시야의 서로 다른 조합은 같은 컨텐트에 대한 서로 다른 디스패리티를 야기한다. 그에 더하여 시야는 서로 다른 독립된 시야(310) 그리고/또는 서로 다른 스테레오 쌍(308)에 응답할 수 있다.

단계(504)에서, 수신기(304)의 선택적인 디스패리티 선택기(315)가 3차원 컨텐트에 대한 디스패리티를 선택할 수 있다. 예컨대, 수신된 독립적 시야 쌍이나 스테레오 쌍이 그 시야 쌍이나 스테레오 쌍이 기본 시야 쌍이나 스테레오 쌍임을 명시하는 명시자와 함께 첨부될 수 있다. 따라서, 디스패리티 선택기(315)은 기본 시야 쌍을 결정하고 기본 시야 쌍을 디스플레이를 위해 출력하기 위해 컨텐트와 함께 수신되거나 또는 수신기(304)의 메모리에 미리 저장된 참조표를 사용하도록 설정될 수 있다. 이에 더하여, 사용자는 기본 시야 쌍과 비교하여 더 높거나 더 낮은 디스패리티를 가지는 시야 쌍이 디스플레이 되어야 함을 수신기(304)에 명시할 수 있다. 이 선택/디스플레이 절차는 요망된 디스패리티에 도달할 때까지, 예컨대 도 2의 단계(208) 내지 단계(210)와 관련하여 위에서 논의된 대로 반복적으로 수행될 수 있다. 대안적으로 또는 부가적으로, 사용자는 수신기에 의해 디스플레이 장비에 제시된 프롬프트에 반응하여 요망된 디스패리티를 단순히 특정하고 입력할 수 있다. 예컨대, 수신기는 이용가능하고, 특정된 디스패리티를 사용자에게 제시할 수 있고 사용자는 요망된 디스패리티를 선택할 수 있다. 양쪽 경우 모두에서, 요망된 디스패리티의 사용자 선택에 응답하여, 디스패리티 선택기(315)는 참조표를 사용하여 복수의 수신된 시야 그리고/또는 스테레오 쌍으로부터 사용자에 의해 선택된 대응되는 디스패리티를 가지는 시야 쌍을 결정/선택할 수 있다.

더욱이, 단, 위에서 논의된 대로, 특정한 시야 쌍의 선택은 수신기에서 시스템 시동시에 행해질 수 있다. 수신기는 또한 시청 조건에 기반하여 디스패리티를 선택할 수 있다. 예컨대, 수신기는 디스플레이 장비의 화면 크기를 인식할 수 있고 화면 크기와 시청 거리에 적합한 디스패리티를 선택할 수 있다. 시청 거리 요소는 사용자에 의해 미리 설정될 수 있고 또는 단순히 수신기 장비의 소프트웨어에 저장된 기본 시청 거리 요소일 수도 있다.

단계(506)에서, 수신기(304)는 디스플레이를 위해 선택된 디스패리티를 가지는 시야 쌍을 디코드하고 출력할 수 있다.

이해의 편의를 위해 방법(400)과 방법(500)이 방법(100)과 방법(200)으로부터 분리되어 기술되었음에도 불구하고, 방법(400/500)의 모든 하나 또는 그 이상의 단계가 방법(100/200)에 포함될 수 있고 그 역도 성립함이 이해되어야 한다. 예컨대 시스템(300)은 방법(400/500)이 수신기들의 한 부분집합을 위해 수행되는 반면 방법(100/200)은 수신기들의 다른 부분집합을 위해 수행되는 식으로 방법(400/500)을 방법(100/200)과 동시에 수행할 수 있다. 대안적으로 또는 부가적으로, 방법(100/200)이 다른 3차원 컨텐트를 위해 수행되는 동안 방법(400/500)은 어떤 3차원 컨텐트를 위해 수행될 수 있다.

MVC 를 이용하는 실시

이제 도 6과 7을 참조하고, 도 1과 3을 계속 참조하여, 본 발명의 예시적인 실시와 부합하여 다중 시야 비디오 코딩의 채용에 의하여 3차원 미디어 컨텐트를 네트워크를 통해 전달하는 시스템(600)과 방법(700)이 각각 설명된다. 개시된 MVC 인코딩 방법과 시스템은 3차원 비디오 콘텐트를 스트리밍하거나 다운로드할 때 동적 디스패리티 전환을 용이하게 한다. 여기서, MVC 인코딩은 향상 시야가 오직 하나 또는 그 이상의 기저 시야만을 참조하고 어떤 다른 향상 시야도 참조하지 않도록 설정되어진다. 기저 시야는 사용자 또는 수신기가 그에 대해 어떤 디스패리티를 선택하였는가를 불문하고 서버로부터 수신기로 전송된 시야를 의미하는 것으로 이해되어야 한다. 단, 그러나, 향상 시야는 사용자에 의해 선택된 디스패리티를 공급하기 위해 기저 시야와 함께 전송될 수 있다.

예컨대, 본 발명의 예시적인 구현에 의하면, 하나의 왼쪽 시야 L과 N개의 오른쪽 시야 {R ₁ ,...,R _n }이 서버(302)에 있는 저장 장비(311)에 저장될 수 있다. 시야는 왼쪽 시야 L이 기저 시야가 되고 오른쪽 시야 Rn이 향상 시야가 되며, 오른쪽 시야 사이에는 코딩 의존성이 없다는 MVC 표준을 사용하여 인코딩될 수 있다. 특정한 스테레오 쌍 (L,Rn)을 송출하기 위해, 기저 시야 L과 향상 시야 Rn은 하나의 MVC 스트림에 결합되어 스트리밍되거나 다운로드될 것이다. 그러나, 다른 접근법도 채용될 수 있음에 주의하여야 한다. 예컨대, 이를테면 기본 또는 기저 왼쪽 시야와 기본 또는 기저 오른쪽 시야와 같은 두 시야들이 언제나 송출되고, 따라서 양자 모두 나머지 시야를 인코딩하기 위해 참조될 수 있다고 가정할 수 있다.

위에서 언급한 대로, 도 6은 본 발명의 예시적인 실시와 부합하여 MVC 인코딩 접근법을 사용하는 시스템(600)을 설명한다. 시스템(600)은 저장 장비(311), 쌍 선택기(314), 전달 채널(306), 그리고 스테레오 재생기(312)를 포함하는 수신기(304)를 포함할 수 있다. 요소 (311, 314, 306, 304, 312)는 방법(100) 및 방법(200)과 연관되어 위에서 상세하게 논의한 기능과 정확히 같은 기능을 수행할 수 있다. 그에 더하여 시스템(600)은 어떻게 저장 장비(311) 안에 복수의 다른 시야가 인코딩되는지 및 채널(306)을 통한 전송과 관련하여서 외에는 시스템(300)과 본질적으로 같은 것이다. 따라서, 방법(100)과 방법(200)에 관련하여 위에서 논의된 어떤 또는 모든 단계는 시스템(600)의 응답하는 요소로 구현될 수 있다. 그에 더하여, 방법(100)과 방법(200)에 관련하여 위에서 논의된 어떤 또는 모든 단계는 여기서 이하 논의되는 방법(700)과 결합될 수 있다. 게다가, MVC 디코딩 특징이 방법(200)과 수신기(304)에 더해져 방법(700)에 부합하여 전송된 시야 그리고/또는 시야 쌍의 처리를 허용할 수 있다.

방법(700)은 선택적 시야 인터폴레이터(interpolator)(602)가 기저 시야 그리고/또는 캡처(capture)된 향상 시야를 인터폴레이트하여 복수의 향상 시야를 생성하는 선택적 단계(702)에서 시작할 수 있다. 예컨대, 왼쪽으로 캡처된 왼쪽 기저 시야 L(604), 캡처된 오른쪽 시야 R ₂ (606) 그리고 캡처된 오른쪽 시야 R ₅ (608)는 시야 인터폴레이터(602)에 입력되어 기저 시야(604), 향상 시야(606) 그리고/또는 향상 시야(608)를 캡처된 3차원 장면(616)에 대해 인터폴레이트함을 통해 예컨대 도 8에 도시된 바와 같이 시야 R ₁ (610), R ₃ (612), 그리고 R ₄ (614)를 생성할 수 있다. 단, 스테레오 쌍(L 604, R ₁ 610)이 가장 낮은 디스패리티를 가지는 반면 스테레오 쌍(L 604, R ₅ 608)이 가장 높은 디스패리티를 가진다. 여기서, 캡처하는 시야 L과 {R ₁ ,...,R _n }에 반하여 오직 왼쪽 시야 L과 두 개의 오른쪽 시야 R ₂ 와 R ₅ 만이 캡처된다. 도 8에서, 캡처된 시야는 실선 화살표로 표시되는 반면 인터폴레이트된 시야는 점선 화살표로 표시된다. 캡처되는 (또는 컴퓨터로 생성된 컨텐트에 대해서는 렌더링되는) 시야의 수를 제한함으로써, 컨텐트 제작 절차가 간단해진다. 그리고는, 아직도 충분한 디스패리티 설정들을 제공하기 위해서, 추가적인 시야들이 서버에서 "실제" 시야를 참조하여, 위에서 기술된 것처럼 보간된다. 속도를 위한 자동적 접근법이나 품질을 위한 사용자 도움 접근법과 같은 많은 접근법이 보간 과정에 사용될 수 있다. 비록 오직 하나의 기저 시야가 여기에 도시되어 있지만, 하나 또는 그 이상의 추가적 기저 시야가 또한 시야 보간기(602)에 향상 시야를 생성하는 보간을 위하여 입력될 수 있음에 주의해야 한다.

예컨대 L과 {R ₁ ,...,R ₅ }와 같은, 그리고 또한 하나 또는 그 이상의 기저 시야를 포함할 수 있는, 모든 복수의 다른 시야들(609)이 일단 이용가능해지면, 그들은 MVC 인코더(620)로 넘겨질 수 있다. 그러나, 보간기(602)는 선택적이며 복수의 다른 시야는 MVC 인코더(620)로 넘겨지는 캡처된 시야일 수도 있다는 점에 주의해야 한다. 따라서 어떻게 복수의 시야들이 생성되었는가는 MVC 인코딩 과정에 영향을 줄 필요가 없다.

단계(704)에서, MVC 인코더(620)는 컨텐트에 대해 기저 시야와 복수의 향상 시야를 수신할 수 있다. 더하여, 위에서 언급된 것처럼, MVC 인코더(620)는 또한 최소한 하나의 다른 기저 시야를 수신할 수 있다. 여기서, 하나 또는 그 이상의 기저 시야와 향상 시야의 서로 다른 조합은 서로 다른 디스패리티를 야기한다.

단계(706)에서, MVC 인코더(620)는 향상 시야가 기저 시야(들)을 다른 어떤 향상 시야도 참조하지 않고 참조하도록 기저 시야(들)와 향상 시야들을 인코딩할 수 있다. 예컨대, 도 6과 8에서 설명된 특정한 실시에서, 시야는 왼쪽 시야 L(604)이 기저 시야가 되고 오른쪽 시야 R _n 이 향상 시야가 될 것인 MVC 표준을 사용하여 인코딩될 수 있다. 여기서, 오른쪽 시야 R _n 은 모두 기저 시야에 대하여 인코딩되고 오른쪽 시야 R _n 사이에서 참조되지 않고 인코딩된다. 도 9는 이 인코딩 접근법을 설명하는 MVC 인코더의 블록/흐름도를 보여준다. 예컨대 MVC 인코더(620)는 기저 시야(604)와 향상 시야(610, 606, 612, 614, 608)를, 각각, 향상 시야가 오직 기저 시야(604)만을 참조하도록 인코딩 블록(902-912)과 부합하여 인코딩할 수 있다. 그러나 다른 변경도 구현될 수 있다.

예컨대, 도 10을 참조하고, 도 6과 7을 계속 참조하여, 본 발명의 예시적인 실시와 부합하여 향상 시야와 기저 시야 사이의 MVC 인코딩 의존성 관계를 설명하는 그래프가 제공된다. 그래프(1000)는 향상 시야 A(1004), B(1005), 그리고 C(1008)을 포함하는 향상 시야의 첫 번째 집합(1002)과, 향상 시야 D(1012), E(1014), 그리고 F(1016)을 포함하는 향상 시야의 두 번째 집합(1010), 그리고 기저 시야 β ₁ (1018) 그리고 β ₂ (1020)를 포함한다. 물론 본 발명의 예시적인 실시에서 모든 시야는 제거될 수 있으며 어떤 타입에 대해서도 더 많은 시야가 추가될 수 있다. 향상 시야의 첫 번째 집합(1002)과 향상 시야의 두 번째 집합(1010), 그리고 기저 시야 β ₁ (1018) 그리고 β ₂ (1020)는 위에서 논의된 대로 단계(704)에서 MVC 인코더에 의해 수신될 수 있다. 게다가, 어떤 시야의 어떤 쌍 조합도 3차원 컨텐트에 대해 서로 다른 디스패리티를 야기할 수 있다. 그래프에서 도시된 대로, MVC 인코더(620)는 양자 모두 기저 시야를 참조하도록 향상 시야들을 MVC 인코딩할 수 있다. 예컨대, 향상 시야 C(1008)과 D(1012)는 모두 기저 시야 β ₁ (1018)과 β ₂ (1020)을 그래프(1000)에서 참조한다. 그에 더하여 MVC 인코더(620)는 오직 하나의 기저 시야를 참조하도록 향상 시야를 MVC 인코딩할 수 있다. 예컨대, 향상 시야 A(1004)와 B(1006)는 기저 시야 β ₁ (1018)만을 참조하는 반면 향상 시야 E(1014)와 F(1016)은 기저 시야 β ₂ (1020)만을 참조한다. 게다가, 그래프(1000)에서 도시된 바와 같이, 향상 시야는 다른 향상 시야를 참조할 필요가 없다. 오직 두 개의 기저 시야만이 여기에 기술된 반면, 여기에 개시된 교시를 보고 당업자에 의해 이해될 수 있는 대로, 원리는 쉽게 임의의 수의 기저 시야로 확장될 수 있다.

또한 방법(100)의 단계(102)와 관련하여 위에서 논의된 대로, 쌍으로서 그리고/또는 독립된 시야로서 저장 장비(311)에 MVC 인코딩된 시야가 저장될 수 있음에 주의해야 한다.

단계(708)에서, 서버(601)는 수신기(304)에 의해 선택된 대응되는 디스패리티를 가지는 최소한 하나의 시야 쌍을 네트워크를 통해 전달하라는 요청을 수신할 수 있다. 단계(708)는 위에서 상세하게 논의된 단계(108)와 부합하여 수행될 수 있다. 예컨대, 요청은 위에서 방법(100)과 관련하여 논의된 어떤 그리고 모든 특징을 포함할 수 있다. 대안적으로, MVC 인코딩을 사용하는 어떤 실시에서, 아래에서 보다 상세히 논의되는 바와 같이, 요청은 단순히 컨텐트에 대한 요청일 수 있음에 주의해야 한다.

단계(710)에서, 서버(601)는 최소한 한 쌍의 MVC 인코딩된 시야를 수신기(304)로 전송할 수 있다. 예컨대 단계(710)는 방법(100)과 관련하여 위에서 논의된 단계(110)에 부합하여 구현될 수 있다. 예컨대, 전송된 MVC 인코딩된 시야 쌍이나 쌍들은 요청에서 명시된 선택된 디스패리티를 가질 수 있다. 대안적으로, 만일 요청이 단순히 컨텐트에 대한 요청이면, 서버(601)는 3차원 컨텐트를 디스플레이하기 위해 서로 다른 디스패리티를 가지는 서로 다른 쌍을 이용하는 많은 선택을 수신기가 가질 수 있도록 요청을 수신하는 데에 응답하여 MVC 인코딩된 시야의 전부 또는 일부를 선택할 수 있다.

방법(700)에서, 모든 하나 또는 그 이상의 기저 시야는 수신기(304)에서 선택된 어떤 디스패리티도 불문하고 수신기로 전송된다는 점에 주의해야 한다. 따라서, 특정된 디스패리티를 가지는 시야 쌍을 수신기(304)로 전송하기 위해서, 쌍 선택기(314)가 하나 또는 이상의 기저 시야와의 조합에 대해 적절한 향상 시야나 시야들을 선택함으로써 시야 쌍을 선택하거나 생성할 수 있다. 예컨대, 도 8을 참조하여, 서버(601)는, 위에서 상세히 논의된 대로, 단계(104)와 부합하여 기본 시야 쌍(L 604,R ₂ 606)을 수신기(304)로 전송할 수 있다. 따라서, 수신기(304)는 방법(100) 및 방법(200)에 관하여 위에서 논의된 단계(106)와 단계(204) 및 단계(206)와 부합하여 기본 시야 쌍보다 낮은 디스패리티를 가지는 시야 쌍을 수신하라는 요청을 전송할 수 있다. 이에 응답하여, 서버(601)는 시야 L(604)와 R ₁ (610)을 조합하고 전송할 수 있다. 쌍(L 604,R ₁ 610)은 기본 쌍보다 낮은 디스패리티를 가진다. 대안적으로 수신기(304)는, 그에 응답하여 서버(601)가 기본 시야 쌍보다 높은 디스패리티를 가지는 시야 쌍(L 604,R ₃ 612)을 전송할 수 있는, 기본 시야 쌍보다 높은 디스패리티를 가지는 시야 쌍을 수신하라는 요청을 전송할 수 있다. 그에 더하여, 다운로드 시나리오나 사용자/수신기가 디스패리티 범위를 포함하는 디스패리티를 선택하는 시나리오와 부합하여, 하나 또는 그 이상의 기저 시야와 하나 또는 그 이상의 향상 시야가 서버(601)로부터 수신기(304)로 전송될 수 있다. 예컨대, 선택된 디스패리티 범위는, 기저 시야와 향상 시야의 서로 다른 조합이 명시된 범위 내에 떨어지는 디스패리티를 가지도록, 두 기저 시야와 하나 또는 그 이상의 향상 시야를 전송함으로써 서비스될 수 있다.

3차원 미디어 컨텐트를 전달하는 방법과 시스템에 대한, (설명적이기를 의도되었으며 그에 한정되지 않는), 선호되는 실시를 기술함으로써, 상기 교시를 받아 당업자에 의해 개조와 변화가 이루어질 수 있음이 명시된다. 따라서 첨부된 청구항에 의해 주어지는 발명의 범위 안에 있는 개시된 발명의 특정한 실시에 대해 변화가 이루어질 수 있음이 이해되어야 한다. 상기 사항이 본 발명의 다양한 실시에 대해 의도된 반면, 발명의 다른 그리고 그 이상의 실시가 기본적인 범위를 떠나지 않고 고안될 수 있다.