权利要求

다계층 비디오 코딩을 위해 조합된 확장성 프로세싱{COMBINED SCALABILITY PROCESSING FOR MULTI-LAYER VIDEO CODING}

본 출원은 2013년 10월 7일에 출원된 미국 가출원 제61/887,782호와, 2014년 9월 3일에 출원된 미국 가출원 제62/045,495호의 우선권을 주장하며, 이들 가출원은 충분히 설명된 것처럼 참조로 본 명세서에 통합된다.

디지털 디스플레이 기술이 발전함에 따라, 디스플레이 해상도는 계속 증가할 것이다. 예를 들면, 최근에 가장 상업적인 디스플레이 해상도를 가능하게 구현한 고화질(high definition; HD) 디지털 비디오 스트림은 초고화질(UHD) 디스플레이(예를 들어, 4K 디스플레이, 8K 디스플레이 등)에 의해 가려질 태세이다.

비디오 코딩 시스템은 종종 예를 들어 소비되는 저장 공간을 감소하고/하거나 디지털 비디오 신호와 연관된 전송 대역폭 소비를 감소하도록 디지털 비디오 신호를 압축하는데 사용된다. 스케일러블 비디오 코딩(SVC)는 이종 네트워크를 통해 상이한 기능을 가진 장치에서 실행하는 비디오 애플리케이션의 체감 품질(quality of experience)을 개선하는 것으로 보여주었다. 비-스케일러블 비디오 코딩 기술에 비해 스케일러블 비디오 코딩은 적은 자원(예를 들어, 통신 네트워크 대역폭, 스토리지 등)을 소비할 수 있다.

(예를 들어, 공간적 확장성을 사용하는) 알려진 SVC 비디오 코딩 구현은 HD 비디오 신호의 코딩에 효과적일 수 있지만, HD 해상도를 넘어 확장하는 디지털 비디오 신호, 예를 들어 UHD 비디오 신호를 프로세싱할 때 단점을 나타내는 것으로 입증되었다.

비디오 코딩 시스템은 계층간 프로세싱을 수행할 수 있다. 비디오 코딩 시스템은 비디오 신호의 비디오 신호 계층 상에 역 톤 매핑 및 색역(color gamut) 변환 확장성 프로세스를 동시에 수행할 수 있다. 비디오 코딩 시스템은 비디오 신호 계층 상에서 업샘플링을 수행할 수 있다. 예를 들면, 업샘플링 프로세스는 조합된 역 톤 매핑 및 색역 변환 확장성 프로세스 후에 수행될 수 있다. 본 명세서에서 사용되는 바와 같이 코딩은 인코딩 및/또는 디코딩을 포함할 수 있다.

예를 들면, 조합된 프로세싱 모듈은 기본 계층과 같은 하위 계층 상에서 역 톤 매핑 및 색역 변환 확장성 프로세스를 동시에 수행하는데 사용될 수 있다. 조합된 프로세싱 모듈은 입력 휘도 성분의 샘플 비트 깊이 및 입력 채도 성분의 샘플 비트 깊이를 입력으로서 취할 수 있고, 이러한 입력에 기초하여 출력 휘도 성분의 샘플 비트 깊이 및 출력 채도 성분의 샘플 비트 깊이를 계산할 수 있다. 출력(출력 휘도 성분 및 출력 채도 성분을 포함하는 비디오), 및/또는 출력의 표시(indication)(예를 들어, 출력 휘도 및 채도 성분의 샘플 비트 깊이를 나타내는 하나 이상의 파라미터), 및/또는 조합된 프로세싱 모듈의 출력의 표시는 업샘플링을 위한 업샘플링 프로세싱 모듈로 전송될 수 있다. 프로세싱된 기본 계층은 향상 계층을 코딩하는데 사용될 수 있다. 프로세싱된 기본 계층은 향상 계층을 예측하는데 사용될 수 있다.

비디오 코딩 시스템은 제1 색 공간에서 제2 색 공간으로의 색 변환을 수행할 수 있다. 예를 들어, 픽셀에 대해 휘도 성분 및/또는 채도 성분과 같은 색 성분 값이 검색될 수 있다. 색 성분 값은 상이한 비트 깊이로 표현될 수 있다. 비트 깊이는 정렬될 수 있고, 색 성분 값은 컬러 크로스(cross-color) 성분 모델을 사용하여 제1 색 공간에서 제2 색 공간으로 변환될 수 있다. 정렬은 입력 휘도 비트 깊이, 입력 채도 비트 깊이, 최소 입력 비트 깊이, 및/또는 최대 입력 비트 깊이에 기초할 수 있다. 비트 깊이는 비트 깊이의 더 큰 값으로 정렬될 수 있고/있거나, 비트 깊이의 더 작은 값으로 정렬될 수 있다. 비디오 신호의 채도 성분에 대한 색 매핑을 수행할 때, 비디오 신호의 휘도 성분의 비트 깊이는 채도 성분의 비트 깊이로 정렬될 수 있다. 비디오 신호의 휘도 성분에 대한 색 매핑을 수행할 때, 비디오 신호의 채도 성분의 비트 깊이는 휘도 성분의 비트 깊이로 정렬될 수 있다.

도 1은 예시적인 다중 계층 스케일러블 비디오 코딩 시스템을 도시한다.
도 2는 입체 비디오 코딩을 위한 시간적 및 계층간 예측의 예를 도시한다.
도 3은 비디오 코딩에서 수행될 수 있는 예시적인 확장성 타입의 테이블이다.
도 4는 초 고화질 텔레비전(UHDTV) 및 고화질 텔레비전(HDTV) 기술적 사양의 테이블이다.
도 5는 초 고화질 텔레비전(UHDTV) 및 고화질 텔레비전(HDTV) 색 공간의 비교를 도시한다.
도 6은 HD를 UHD 확장성에 지원할 수 있는 비트스트림 층의 예를 나타낸 테이블이다.
도 7은 HD를 UHD 확장성에 지원할 수 있는 비트스트림 층의 다른 예를 나타낸 테이블이다.
도 8은 HD 대 UHD 확장성에 수행하도록 구성될 수 있는 예시적인 두 계층 스케일러블 비디오 인코더를 도시한 단순화된 블록도이다.
도 9는 HD 대 UHD 확장성에 수행하도록 구성될 수 있는 예시적인 두 계층 스케일러블 비디오 디코더를 도시한 단순화된 블록도이다.
도 10은 다중 프로세싱 모듈을 이용하여 계층간 프로세싱의 예를 도시한다.
도 11은 계층간 프로세스 및/또는 계층간 프로세싱 모듈의 선택 및 프로세싱 순서를 시그널링한 예를 예시하는 구문(syntax) 테이블이다.
도 12는 도 11의 예시적인 구문 테이블에 사용될 수 있는 예시적인 값의 테이블이다.
도 13은 조합된 역 톤 매핑 및 업샘플링 프로세싱 모듈을 이용하여 계층간 프로세싱의 예를 도시한다.
도 14는 조합된 역 톤 매핑 및 색역 변환 프로세싱 모듈을 이용하여 계층간 프로세싱의 예를 도시한다.
도 15는 조합된 색역 변환 및 역 톤 매핑 프로세싱의 예를 예시하는 구문 테이블이다.
도 16은 도 11의 예시적인 구문 테이블에 사용될 수 있는 예시적인 값의 테이블이다.
17a는 하나 이상의 개시된 실시예가 구현될 수 있는 예시적인 통신 시스템의 시스템 다이어그램을 도시한다.
도 17b는 도 17a에 도시된 통신 시스템 내에 이용될 수 있는 예시적인 무선 송수신 유닛(WTRU)의 시스템 다이어그램을 도시한다.
도 17c는 예시적인 무선 액세스 네트워크와, 도 17a에 도시된 통신 시스템 내에 이용될 수 있는 예시적인 코어 네트워크의 시스템 다이어그램을 도시한다.
도 17d는 예시적인 무선 액세스 네트워크와, 도 17a에 도시된 통신 시스템 내에 이용될 수 있는 예시적인 코어 네트워크의 시스템 다이어그램을 도시한다.
도 17e는 예시적인 무선 액세스 네트워크와, 도 17a에 도시된 통신 시스템 내에 이용될 수 있는 예시적인 코어 네트워크의 시스템 다이어그램을 도시한다.

도 1은 예시적인 블록 기반의 하이브리드 스케일러블 비디오 코딩 (SVC) 시스템을 도시하는 간략화된 블록 다이어그램이다. 계층 1(예를 들어, 기본 계층)에 의해 나타내는 공간적 및/또는 시간적 신호 해상도는 입력 비디오 신호의 다운샘플링에 의해 생성될 수 있다. 후속 인코딩 단계에서, Q1과 같은 양자화기의 설정은 기본 정보의 품질 레벨로 이어질 수 있다. 하나 이상의 후속하는 상위 계층은 상위 계층 해상도 레벨의 근사화를 나타낼 수 있는 기본 계층 재구성 Y1을 이용하여 인코딩되고/되거나 디코딩될 수 있다. 업샘플링 유닛은 계층 2의 해상도로의 기본 계층 재구성 신호의 업샘플링을 수행할 수 있다. 다운샘플링 및/또는 업샘플링은 (예를 들어, N 계층, 계층 1, 2, ... N에 대해) 복수의 계층에 걸쳐 수행될 수 있다. 다운샘플링 및/또는 업샘플링 비율은 예를 들어 두 계층 사이의 확장성의 치수에 따라 상이할 수 있다.

도 1의 예시적인 스케일러블 비디오 코딩 시스템에서, 주어진 상위 계층 n(예를 들어, 2≤n≤N, N은 총 계층의 수임)에 대해, 차동 신호는 현재 계층 n 신호로부터 업샘플링된 하위 계층 신호(예를 들어, 계층 n-1 신호)를 감산함으로써 생성될 수 있다. 이러한 차동 신호는 인코딩될 수 있다. 두 계층 n1 및 n2에 의해 나타낸 각각의 비디오 신호가 동일한 공간적 해상도를 가질 경우, 대응하는 다운샘플링 및/또는 업샘플링은 바이패스될 수 있다. 주어진 계층 n(예를 들어, 1≤n≤N) 또는 복수의 계층은 상위 계층으로부터 디코딩된 정보를 사용하지 않고 디코딩될 수 있다.

예를 들어, 도 1의 예시적인 SVC 시스템을 사용하여 기본 계층과 다른 계층에 대한 잔여 신호(예를 들어, 두 계층 사이의 차동 신호)의 코딩에 의존하는 것은 시각적 아티팩트(visual artifact)를 유발시킬 수 있다. 이러한 시각적 아티팩트는 예를 들어 동적 범위를 제한하기 위한 잔여 신호의 양자화 및/또는 정규화, 및/또는 잔여 신호의 코딩 동안에 수행되는 양자화에 기인할 수 있다. 하나 이상의 상위 계층의 인코더는 각각의 인코딩 모드로서 움직임 추정 및/또는 움직임 보상된 예측을 채택할 수 있다. 잔여 신호의 움직임 추정 및/또는 보상은 종래의 움직임 추정과 상이할 수 있고, 시각적 아티팩트의 경향이 있을 수 있다. 시각적 아티팩트의 발생을 감소(예를 들어, 최소화)하기 위해, 더욱 정교한 잔여 양자화는 예를 들어 동적 범위를 제한하기 위한 잔여 신호의 양자화 및/또는 정규화와 잔여 신호의 코딩 동안에 수행되는 양자화 모두를 포함할 수 있는 조인트 양자화 프로세스와 함께 구현될 수 있다.

스케일러블 비디오 코딩은 부분적 비트스트림의 전송 및 디코딩을 가능하게 할 수 있다. 이것은 (예를 들어, 부분적 비트스트림의 각각의 레이트가 부여되는) 비교적 높은 재구성 품질을 유지하면서 SVC가 낮은 시간적 및/또는 공간적 해상도 또는 감소된 충실도를 가진 비디오 서비스를 제공하도록 할 수 있다. SVC는 SVC 디코더가 디코딩되는 층에서 하나의 움직임 보상 루프를 설정할 수 있고, 하나 이상의 다른 하위 계층에서 움직임 보상 루프를 설정할 수 없도록 단일 루프 디코딩으로 구현될 수 있다. 예를 들어, 비트스트림은 두 계층을 포함할 수 있고, 즉 기본 계층일 수 있는 제1 계층(예를 들어, 계층 1)과, 향상 계층일 수 있는 제2 계층(예를 들어, 계층 2)을 포함할 수 있다. 이러한 SVC 디코더가 계층 2 비디오를 재구성할 때, 디코딩된 화면 버퍼 및 움직임 보상된 예측의 설정은 계층 2로 제한될 수 있다. 이러한 SVC의 구현에서, 하위 계층으로부터의 각각의 참조 화면은 완전히 재구성되지 않아 디코더에서 계산 복잡성 및/또는 메모리 소모를 줄일 수 있다.

단일 루프 디코딩은 제한된 계층간 텍스처 예측에 의해 달성될 수 있으며, 여기서 주어진 계층에서의 현재 블록에 대해, 하위 계층으로부터의 공간적 텍스처 예측은 대응하는 하위 계층의 블록이 인트라 모드로 코딩되는 경우에 허용될 수 있다. 이것은 제한된 인트라 예측으로 지칭될 수 있다. 하위 계층의 블록이 인트라 모드로 코딩되는 경우, 그것은 움직임 보상 동작 및/또는 디코딩된 화면 버퍼없이 재구성될 수 있다.

SVC는 하나 이상의 하위 계층으로부터 움직임 벡터 예측, 잔여 예측, 모드 예측 등과 같은 하나 이상의 추가적인 계층간 예측 기술을 사용할 수 있다. 이것은 향상 계층의 레이트-왜곡 효율을 개선할 수 있다. 예를 들어 블록-레벨의 계층간 예측에 대한 의존으로 인해, 단일 루프 디코딩으로의 SVC 구현은 디코더에서 계산 복잡성 및/또는 메모리 소모를 감소시킬 수 있고, 구현 복잡성을 증가시킬 수 있다. 단일 루프 디코딩 제약을 부과함으로써 발생될 수 있는 성능 저하를 보상하기 위해, 인코더 설계 및 계산 복잡도는 원하는 성능을 달성하기 위해 증가될 수 있다. 인터레이스된 콘텐츠(interlaced content)의 코딩은 SVC에 의해 지원되지 않을 수 있다.

다중 시점 비디오 코딩(multi-view video coding; MVC)은 시점 확장성(view scalability)을 제공할 수 있다. 시점 확장성의 예에서, 기본 계층 비트스트림은 종래의 2차원(2D) 비디오를 재구성하기 위해 디코딩될 수 있고, 하나 이상의 추가적인 향상 계층은 동일한 비디오 신호의 다른 시점 표현을 재구성하기 위해 디코딩될 수 있다. 이러한 시점이 함께 조합되어 3차원(3D) 디스플레이에 의해 표시되는 경우, 적절한 깊이 지각(perception)을 가진 3D 비디오가 생성될 수 있다.

도 2는 좌측 시점(예를 들어, 계층 1) 및 우측 시점(예를 들어, 계층 2)으로 입체 비디오를 코딩하도록 MVC를 사용하기 위한 예시적인 예측 구조를 도시한다. 좌측 시점 비디오는 IBBP 예측 구조로 코딩될 수 있고, 우측 시점 비디오는 PBBB 예측 구조로 코딩될 수 있다. 도 2에 도시된 바와 같이, 우측 시점에서, 좌측 시점에서 제1 I 화면으로 배열된 제1 화면은 P 화면으로서 코딩될 수 있고, 우측 시점에서의 다음 화면은 우측 시점에서 시간적 참조로부터 나오는 제1 예측과, 좌측 시점에서 계층간 참조로부터 나오는 제2 예측을 가진 B 화면으로서 코딩될 수 있다. MVC는 단일 루프 디코딩 특징을 지원하지 않을 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 우측 시점(예를 들어, 계층 2) 비디오의 디코딩은 좌측 시점(계층 1)에서 화면의 전체의 가용성에 따라 달라질 수 있으며, 각 계층(예를 들어, 시점)은 각각의 보상 루프를 갖는다. MVC의 구현은 고 레벨의 구문 변화를 포함할 수 있고, 블록 레벨의 변화를 포함하지 않을 수 있다. 이것은 MVC의 구현을 용이하게 할 수 있다. 예를 들면, MVC는 슬라이스 및/또는 화면 레벨에서 참조 화면을 구성함으로써 구현될 수 있다. MVC는 예를 들어 다중 시점에 걸쳐 계층간 예측을 수행하기 위해 도 2에 도시된 예를 확장하여 셋 이상의 시점의 코딩을 지원할 수 있다.

MPEG 프레임 호환 가능한(MFC) 비디오 코딩은 3D 비디오 코딩에 스케일러블 확장을 제공할 수 있다. 예를 들어, MFC는 프레임 호환 가능한 기본 계층 비디오(예를 들어, 동일한 프레임으로 팩(pack)된 2개의 시점)에 스케일러블 확장을 제공할 수 있고, 최대 해상도 시점을 복구하기 위해 하나 이상의 향상 계층을 제공할 수 있다. 입체 3D 비디오는 좌측 및 우측 시점을 포함하여 2개의 시점을 가질 수 있다. 2개의 시점을 하나의 프레임으로 팩하고/하거나 다중화하며, 팩된 비디오를 압축하고 전송함으로써 입체 3D 콘텐츠는 전달될 수 있다. 수신기 측에서, 디코딩한 후, 프레임은 언팩(unpack)되어 2개의 시점으로 표시될 수 있다. 이러한 시점의 다중화는 시간적 영역 또는 공간적 영역에서 수행될 수 있다. 공간적 영역에서 수행되는 경우, 동일한 화면 크기를 유지하기 위해, 2개의 시점은 (예를 들어, 2배로) 공간적으로 다운샘플링되고, 하나 이상의 배열에 따라 팩될 수 있다. 예를 들어, 나란한 배열(side-by-side arrangement)은 화면의 좌측 절반 상에 다운샘플링된 좌측 시점을 놓고, 화면의 우측 절반 상에 다운샘플링된 우측 시점을 놓을 수 있다. 다른 배열은 상부 및 하부(top-and-bottom), 한 라인씩(line-by-line), 체커보드(checkerboard) 등을 포함할 수 있다. 프레임 호환 가능한 3D 비디오를 달성하기 위해 사용되는 배열은 예를 들어 하나 이상의 프레임 패킹 배치의 SEI 메시지에 의해 전달될 수 있다. 이러한 배열은 대역폭 소비의 최소한의 증가로 3D 전달을 달성할 수 있다.

도 3은 비디오 코딩에서 수행될 수 있는 예시적인 확장성 타입의 테이블이다. 예시적인 확장성 타입 중 하나 이상은 계층간 예측 프로세싱 모드로서 구현될 수 있다. 이것은 비디오 코딩 시스템(예를 들어, 고효율 비디오 코딩(SHVC)의 스케일러블 확장에 따른 비디오 코딩 시스템)의 압축 효율을 개선할 수 있다. 비트 깊이 확장성, 색역 확장성 및/또는 채도 포맷 확장성은 기본 계층(BL) 및 향상 계층(EL) 비디오 포맷과 연관될 수 있다. 예를 들어, 비트 깊이 확장성에 대해, BL 비디오는 8 비트일 수 있는 반면에, EL 비디오는 8 비트보다 높을 수 있다. 예를 들어, 색역 확장성에 대해, BL 비디오는 BT.709 색역으로 색 등급이 이루어질 수 있는 반면에, EL 비디오는 BT.2020 색역에서 색 보정(color grade)될 수 있다. 예를 들어, 채도 포맷 확장성에 대해, BL 비디오는 YUV4:2:0 포맷일 수 있는 반면에, EL 비디오는 YUV4:2:2 또는 YUV4:4:4 포맷일 수 있다.

도 4는 예시적인 초 고화질 텔레비전(UHDTV) 및 고화질 텔레비전(HDTV) 기술 사양의 테이블이다. 도 4에 도시된 바와 같이, (예를 들어, ITU-R BT.709에 정의된 바와 같은) HDTV 비디오 포맷에 비해, (예를 들어, ITU-R BT.2020에 정의된 바와 같은) UHDTV 비디오 포맷은 더 큰 공간적 해상도(예를 들어, 4Kx2K(3840x2160) 및 8Kx4K(7680x4320) 해상도), 더 높은 프레임 레이트(예를 들어, 120Hz), 더 높은 샘플 비트 깊이(예를 들어, 10 비트 또는 12 비트) 및 더 넓은 색역을 지원할 수 있다.

도 5는 CIE 색 화질에서 각각의 HDTV 색역과 UHDTV 색역의 비교를 도시한다. 도시된 바와 같이, UHDTV 색역에 의해 커버되는 색의 볼륨(volume)은 HDTV 색역에 의해 커버되는 것보다 훨씬 넓다.

비디오 코딩 시스템(예를 들어, 고효율의 비디오 코딩(SHVC)의 스케일러블 확장에 따른 비디오 코딩 시스템)은 비디오 코딩을 수행하도록 구성되는 하나 이상의 장치를 포함할 수 있다. 비디오 코딩을 수행하도록(예를 들어, 비디오 신호를 인코딩하고/하거나 디코딩도록) 구성되는 장치는 비디오 코딩 장치로 지칭될 수 있다. 이러한 비디오 코딩 장치는 비디오 가능한 장치, 예를 들어 텔레비전, 디지털 미디어 플레이어, DVD 플레이어, Blu-ray™ 플레이어, 네트워크화된 미디어 플레이어 장치, 데스크톱 컴퓨터, 랩톱 퍼스널 컴퓨터, 태블릿 장치, 모바일 폰, 비디오 회의 시스템, 하드웨어 및/또는 소프트웨어 기반 비디오 인코딩 시스템을 포함할 수 있다. 이러한 비디오 코딩 장치는 무선 송수신 유닛(WTRU), 기지국, 게이트웨이, 또는 다른 네트워크 요소와 같은 무선 통신 네트워크 요소를 포함할 수 있다.

비디오 코딩 시스템은 UHDTV 디스플레이 포맷 및 HDTV 디스플레이 포맷을 지원하도록 구성될 수 있다. 예를 들어, 하나 이상의 비디오 비트스트림은 예를 들어 HDTV 디스플레이에 의해 소비를 위한 HDTV 비디오 신호를 표현하는 기본 계층과, UHDTV 디스플레이에 의해 소비를 위한 UHDTV 비디오 신호를 표현하는 향상 계층을 가진 2개의 층을 사용하여 계층을 이룬 방식으로 인코딩될 수 있다. 도 4에 도시된 바와 같이, HDTV의 포맷과 UHDTV 포맷의 기술 사양의 차이는 예를 들어 샘플 비트 깊이 및 색역 차이를 포함하는 공간적 및 시간적 해상도 차이를 넘어 확장할 수 있다. UHDTV를 지원하도록 구성된 비디오 코딩 시스템은 공간적 확장성, 시간적 확장성, 비트 깊이 확장성(BDS) 및 색역 확장성(CGS)에 대한 지원을 포함할 수 있다. 비디오 코딩 시스템은 복수의 확장성(예를 들어, 공간적, 시간적, 비트 깊이, 및 색역 확장성)을 동시에 지원하도록 구성될 수 있다.

비디오 코딩 시스템은 예를 들어 셋 이상의 층을 포함하는 스케일러블 비트스트림을 이용하여 복수의 확장성 타입을 지원하도록 구성될 수 있다. 이러한 비디오 코딩 시스템은 각각의 향상 계층이 하나의 비디오 파라미터를 향상시키도록 구성될 수 있다. 예를 들어, 도 6은 HD 비디오 신호를 UHD 비디오 신호로 스케일링하는데 사용될 수 있는 예시적인 비트스트림 계층 구성을 도시한다. 도시된 바와 같이, 예시적인 비트스트림은 기본 계층(계층 0), 및 3개의 향상 계층(각각 계층 1, 계층 2 및 계층 3)을 포함하는 4개의 계층을 가질 수 있다. 기본 계층(계층 0)은 예를 들어 1080p60 HD 비디오 신호를 포함할 수 있다. 제1 향상 계층(예를 들어, 계층 1)에서, 공간적 해상도는 예를 들어 4kx2k(3840x1960)까지 스케일링될 수 있다. 제2 향상 계층(예를 들어, 계층 2)에서, 샘플 비트 깊이는 예를 들어 8 비트에서 10 비트로 스케일링될 수 있다. 제3 향상 계층(예를 들어, 계층 3)에서, 색역은 예를 들어 BT.709에서 BT.2020으로 스케일링될 수 있다. 도 6에 도시된 비트스트림 계층 프로세싱의 순서는 예시적인 프로세싱 순서이고, 다른 비트스트림 계층 프로세싱 순서가 구현될 수 있다는 것이 이해되어야 한다. 도시된 예시적인 비트스트림 계층 구성은 비디오 신호의 프레임 레이트를 증가시키는 것을 포함하지 않는다. 그러나, 시간적 확장성은 예를 들어 하나 이상의 계층에서 프레임 레이트를 예를 들어 120 fps까지 스케일링하도록 구현될 수 있다. 향상 계층은 둘 이상의 비디오 파라미터를 향상시킬 수 있다.

비디오 코딩 시스템은 다중 루프 디코딩을 수행하도록 구성될 수 있다. 다중 루프 디코딩에서, 현재 향상 계층을 디코딩하기 위해, 현재 향상 계층의 하나 이상의 종속 계층(예를 들어, 모든 종속 계층)은 완전히 디코딩될 수 있다. 디코딩된 화면 버퍼(DPB)는 하나 이상의 종속 계층(예를 들어, 각각의 종속 계층)에서 생성될 수 있다. 계층의 수가 증가함에 따라, 디코딩 복잡도(예를 들어, 계산 복잡도 및/또는 메모리 소비)는 증가할 수 있다. 원하는 비디오 포맷을 지원하기 위해 사용되는 계층의 수는 예를 들어 디코딩 복잡도가 증가함에 따라 제한될 수 있다. 예를 들어, HD 대 UHD 확장성에 대해, 2개의 계층을 갖는 스케일러블 비트스트림이 구현될 수 있다(예를 들어, 도 7에 도시된 예시적인 비트스트림 계층 구성).

도 8은 예시적인 인코더(예를 들어, SHVC 인코더)를 도시한 간략화된 블록 다이어그램이다. 도시된 예시적인 인코더는 (예를 들어, 도 7에 도시된 바와 같이) 2 계층의 HD 대 UHD 스케일러블 비트스트림을 생성하기 위해 사용될 수 있다. 도 8에 도시된 바와 같이, 기본 계층(BL)의 비디오 입력(830)은 HD 비디오 신호일 수 있고, 향상 계층(EL)의 비디오 입력(802)은 UHD 비디오 신호일 수 있다. HD 비디오 신호(830) 및 UHD 비디오 신호(802)는, 예를 들어 하나 이상의 다운샘플링 파라미터(예를 들어, 공간적 확장성), 하나 이상의 색 보정 파라미터(예를 들어, 색역 확장성) 또는 하나 이상의 톤 매핑 파라미터(예를 들어, 비트 깊이 확장성)(828) 중 하나 이상에 의해 서로에 대응할 수 있다.

BL 인코더(818)는 예를 들어 고효율 비디오 코딩(HEVC) 비디오 인코더 또는 H.264/AVC 비디오 인코더를 포함할 수 있다. BL 인코더(818)는 예측을 위해 (예를 들어, BL DPB(820)에 저장되는) 하나 이상의 BL 재구성된 화면을 사용하여 BL 비트스트림(832)을 생성하도록 구성될 수 있다. EL 인코더(804)는 예를 들어 계층간 참조 화면을 EL DPB(806)에 추가하여 계층간 예측을 지원하기 위한 하나 이상의 고 레벨의 구문 수정을 포함할 수 있다. EL 인코더(804)는 예측을 위해 (예를 들어, EL DPB(806)에 저장되는) 하나 이상의 EL 재구성된 화면을 사용하여 EL 비트스트림(808)을 생성하도록 구성될 수 있다.

BL DPB(820)에서 하나 이상의 재구성된 BL 화면은, 계층간 프로세싱(ILP) 유닛(822)에서, (예를 들어, 공간적 확장성을 위한) 업샘플링, (예를 들어, 색역 확장성을 위한) 색역 변환 또는 (예를 들어, 비트 깊이 확장성을 위한) 역 톤 매핑 중 하나 이상을 포함하는 하나 이상의 화면 레벨의 계층간 프로세싱 기술을 사용하여 프로세싱될 수 있다. 하나 이상의 프로세싱되는 재구성된 BL 화면은 EL 코딩을 위한 참조 화면으로서 사용될 수 있다. 계층간 프로세싱은 EL 인코더(804)로부터 수신된 향상 비디오 정보(814) 및/또는 BL 인코더(818)로부터 수신된 기본 비디오 정보(816)에 기초하여 수행될 수 있다.

826에서, EL 비트스트림(808), BL 비트스트림(832), 및 ILP 정보(824)와 같은 계층간 프로세싱에 사용되는 파라미터는 스케일러블 비트스트림(812)으로 함께 다중화될 수 있다. 예를 들면, 스케일러블 비트스트림(812)은 SHVC 비트스트림을 포함할 수 있다.

도 9는 도 8에 도시된 예시적인 인코더에 대응할 수 있는 예시적인 디코더(예를 들어, SHVC 디코더)를 도시한 간략화된 블록 다이어그램이다. 도시된 예시적인 디코더는 예를 들어 (예를 들어, 도 7에 도시된 바와 같이) 2 계층의 HD 대 UHD 비트스트림을 디코딩하는데 이용될 수 있다.

도 9에 도시된 바와 같이, 디멀티플렉서 모듈(912)은 스케일러블 비트스트림(902)을 수신할 수 있고, ILP 정보(914), EL 비트스트림(904) 및 BL 비트스트림(918)을 생성하도록 스케일러블 비트스트림(902)을 역 다중화할 수 있다. 스케일러블 비트스트림(902)은 SHVC 비트스트림을 포함할 수 있다. EL 비트스트림(904)은 EL 디코더(906)에 의해 디코딩될 수 있다. EL 디코더(906)는 예를 들어 HEVC 비디오 디코더를 포함할 수 있다. EL 디코더(906)는 예측을 위해 (예를 들어, EL DPB(908)에 저장되는) 하나 이상의 EL 재구성된 화면을 사용하여 UHD 비디오 신호(910)를 생성하도록 구성될 수 있다. BL 비트스트림(918)은 BL 디코더(920)에 의해 디코딩될 수 있다. BL 디코더(920)는 예를 들어 HEVC 비디오 디코더 또는 H.264/AVC 비디오 디코더를 포함할 수 있다. BL 디코더(920)는 예측을 위해 (예를 들어, BL DPB(922)에 저장되는) 하나 이상의 BL 재구성된 화면을 사용하여 HD 비디오 신호(924)를 생성하도록 구성될 수 있다. UHD 비디오 신호(910) 및/또는 HD 비디오 신호(924)와 같이 재구성된 비디오 신호는 디스플레이 장치를 구동하는데 사용될 수 있다.

BL DPB(922)에서의 하나 이상의 재구성된 BL 화면은 ILP 유닛(916)에서 하나 이상의 화면 레벨의 계층간 프로세싱 기술을 사용하여 프로세싱될 수 있다. 이러한 화면 레벨의 계층간 프로세싱 기술은 (예를 들어, 공간적 확장성을 위한) 업샘플링, (예를 들어, 색역 확장성을 위한) 색역 변환, 또는 (예를 들어, 비트 깊이 확장성을 위한) 역 톤 매핑 중 하나 이상을 포함할 수 있다. 하나 이상의 프로세싱되는 재구성된 BL 화면은 EL 코딩을 위한 참조 화면으로서 사용될 수 있다. 계층간 프로세싱은 ILP 정보(914)와 같이 계층간 프로세싱에 사용되는 파라미터에 기초하여 수행될 수 있다. 예측 정보는 예측 블록 사이즈, (예를 들어, 움직임의 방향과 양을 나타낼 수 있는) 하나 이상의 움직임 벡터, 및/또는 (예를 들어, 어떤 참조 화면으로부터 예측 신호가 획득될 수 있는지를 나타낼 수 있는) 하나 이상의 참조 인덱스를 포함할 수 있다. 이것은 EL 디코딩 효율을 개선할 수 있다.

비디오 코딩 시스템은 조합된 계층간 확장성 프로세싱을 수행할 수 있다. 비디오 코딩 시스템은 계층간 예측을 수행할 시에 다중 계층간 프로세싱 모듈을 사용할 수 있다. 하나 이상의 계층간 프로세싱 모듈은 조합될 수 있다. 비디오 코딩 시스템은 계층간 프로세싱 모듈의 캐스케이드(cascade) 구성에 따라 계층간 프로세싱을 수행할 수 있다. 조합된 계층간 확장성 프로세싱 및/또는 대응하는 모델 파라미터가 시그널링될 수 있다.

예시적인 비디오 코딩 프로세스는 비디오 신호의 기본 계층에 대한 계층간 프로세싱을 수행하는 단계를 포함할 수 있다. 계층간 프로세싱의 제1 부분은 제1 및 제2 확장성 프로세스를 동시에 수행하는 조합된 프로세싱 모듈을 이용하여 수행될 수 있다. 예시적인 비디오 코딩 프로세스는 프로세싱된 기본 계층을 비디오 신호의 향상 계층에 적용하는 단계를 포함할 수 있다. 계층간 프로세싱의 제1 부분은 역 톤 매핑 프로세싱 및 색역 변환 프로세싱을 포함할 수 있다. 계층간 프로세싱의 제2 부분은 업샘플링 프로세싱 모듈을 이용하여 수행될 수 있다.

비디오 코딩 시스템은 예를 들어 계층간 프로세싱 모듈 중 하나 이상이 특정 순서로 실행하도록 함으로써 계층간 프로세싱 단계를 특정 순서로 수행하도록 구성될 수 있다. 계층간 프로세싱 모듈은 특정 계층간 프로세스를 실행할 책임이 있을 수 있다. 하나 이상의 계층간 프로세스는 계층간 프로세싱 모듈이 동시에 둘 이상의 계층간 프로세스를 수행할 수 있도록 하나 이상의 대응하는 계층간 프로세싱 모듈에 조합될 수 있다. 이러한 모듈 구성은 각각의 구현 복잡도, 계산 복잡도, 및/또는 스케일러블 코딩 성능의 측정과 연관될 수 있다. 계층간 프로세싱 모듈은 다중 계층간 프로세스를 실행할 책임이 있을 수 있다.

비디오 코딩 시스템은 조합된 확장성에 따라 계층간 프로세싱을 수행하도록 구성될 수 있다. 예를 들어, 조합된 확장성은 (예를 들어, 도 8에 도시된 ILP 유닛(822)과 같은) 비디오 인코더의 ILP 유닛 및/또는 (예를 들어, 도 9에 도시된 ILP 유닛(916)과 같은) 비디오 디코더의 ILP 유닛에서 구현될 수 있다. 복수의 프로세싱 모듈은 조합된 확장성을 구현하기 위해 사용될 수 있다.

조합된 확장성 프로세싱을 위한 예시적인 구성에서, 각각의 프로세싱 모듈은 각각의 확장성 타입과 연관된 프로세스를 수행하도록 구성될 수 있다. 도 10은 캐스케이드 방식으로 비디오 코딩을 수행하도록 구성된 복수의 프로세싱 모듈을 이용하는 예시적인 계층간 비디오 코딩 프로세스를 도시한다. 도시된 바와 같이, 각각의 프로세싱 모듈은 특정 확장성 타입의 프로세싱을 수행하도록 구성될 수 있다. 예시적인 계층간 비디오 코딩 프로세스는 예를 들어 HD 대 UHD 스케일러블 코딩을 수행하는데 이용될 수 있다. 프로세싱 모듈은 다수의 확장성 타입의 프로세싱을 수행하도록 구성될 수 있다.

도 10에 도시된 바와 같이, 역 톤 매핑 모듈(1020)은 8 비트 비디오(1010)를 10 비트 비디오(1030)로 변환할 수 있다. 색역 변환 모듈(1040)은 BT.709 비디오(1030)를 BT.2020 비디오(1050)로 변환할 수 있다. 업샘플링 모듈(1060)은 1920x1080 공간적 해상도(1050)의 비디오를 3840x2160 공간적 해상도(1070)의 비디오로 변환하는데 사용될 수 있다. 조합에서, 이러한 프로세싱 모듈은 도 8 및 9에 도시된 ILP 유닛의 프로세싱을 수행할 수 있다. 도 10에 도시된 프로세싱 순서(예를 들어, 프로세싱 모듈의 순서)(역 톤 매핑, 색역 변환, 업샘플링 순서)는 예시적인 프로세싱 순서이고, 다른 프로세싱 순서가 구현될 수 있다는 것이 이해되어야 한다. 예를 들어, ILP 유닛에서의 프로세싱 모듈의 순서는 상호 교환할 수 있다.

하나 이상의 계층간 프로세싱 모듈(예를 들어, 각 계층간 프로세싱 모듈)은 샘플당(per-sample) 동작을 위해 구성될 수 있다. 예를 들어, 역 톤 매핑 모듈(1020)은 8 비트 비디오를 10 비트 비디오로 변환하기 위해 비디오 화면의 각 샘플에 적용될 수 있다. 샘플당 동작은 색역 변환 모듈(1040)에 의해 수행될 수 있다. 비디오 화면의 샘플의 수는 업샘플링 모듈(1060)이 적용된 후에 (예를 들어, 크증가할 수 있다(예를 들어, 2배 공간적 비율의 경우에, 샘플의 수는 업샘플링 후에 4배로 된다).

조합된 확장성 프로세싱의 예시적인 구현에서, ILP 유닛은 업샘플링 모듈(1060)에 의한 프로세싱이 (예를 들어, 도 10에 도시된 바와 같이) 계층간 프로세싱의 끝에서 수행될 수 있다.

스케일러블 비디오 코딩 시스템은 다수의 계층으로 구현될 수 있다. 하나 이상의 계층에 대해(예를 들어, 각 계층에 대해), 캐스케이드 계층간 프로세싱의 각각의 프로세스의 가용성, 선택 및/또는 적용은 상이할 수 있다. 예를 들면, 하나 이상의 계층에 대해, 프로세싱은 색역 변환 프로세스 및 업샘플링 프로세스로 제한될 수 있다. 예를 들어, 역 톤 매핑 프로세스는 생략될 수 있다. 각 계층에 대해 (예를 들어, 도 10에 도시된 바와 같이) 확장성 변환 프로세스의 각각의 선택 및/또는 프로세싱 순서는 (예를 들어 도 11에 도시된 샘플 구문 테이블에 따라) 프로세싱 순서로 시그널링될 수 있다. 이러한 정보는 예를 들어 비디오 파라미터 세트(VPS) 및/또는 계층의 시퀀스 파라미터 세트(SPS)로 캡슐화될 수 있다. 디코더에 의한 하나 이상의 프로세스의 적용은 각각의 프로세스가 프로세싱을 위해 이용 가능하고/하거나 선택되는 지의 표시에 의해 제한될 수 있다. 이것은 예를 들어 프로세스 가용성 및/또는 프로세스 선택 정보에 의해 나타낼 수 있다. 계층간 프로세싱 시에 프로세스의 순서는 예를 들어 비트스트림에서 시그널링될 수 있다. 실시예에서, 프로세싱 순서는 미리 정의될 수 있다. 실시예에서, 계층간 프로세싱의 프로세스의 순서는 비트스트림에서 시그널링될 수 있다.

하나 이상의 적용 가능한 프로세스에 대응하는 프로세스 인덱스가 지정할 수 있다. 프로세스 인덱스는 프로세스 또는 프로세스의 조합에 대응할 수 있고, 각각의 프로세스를 나타낼 수 있다. 예를 들어, 도 12는 도 11에 도시된 프로세스 인덱스 필드에 사용될 수 있는 인덱스를 정의하는 예시적인 구문 테이블을 도시한다. 인코더는 예를 들어 도 10에 도시된 바와 같이 캐스케이드 프로세싱에 따라 프로세싱 모듈의 선택 및/또는 순서를 시그널링하기 위해 하나 이상의 인덱스를 전송할 수 있다. 선택은 임의의 선택일 수 있다. 디코더는 이러한 시그널링을 수신하고 디코딩할 수 있으며, 시그널링에 응답하여, (예를 들어, ILP 유닛을 이용하여) 계층간 프로세싱을 수행할 시에 선택된 프로세스를 특정 순서로 적용할 수 있다.

하나 이상의 추가적인 파라미터는 각각의 모듈 정의를 명시하기 위해 시그널링 및/또는 비트스트림에 포함될 수 있다. 예를 들어, 프로세싱 모듈의 각각이 적용될 수 있는 방법이 시그널링될 수 있다. 하나 이상의 추가적인 파라미터는 개별 및/또는 조합된 모듈 정의를 명시할 수 있다. 이러한 파라미터는 예를 들어 ILP 정보의 부분으로서 시그널링될 수 있다.

예시적인 업샘플링 프로세스에서, 시그널링은 업샘플링 모듈에 의해 적용되는, 예를 들어, 업샘플링 필터의 형태, 형상, 크기, 또는 계수 중 하나 이상을 정의할 수 있다. 시그널링은 예를 들어 분리 가능한 2D 필터 또는 분리 가능하지 않은 2D 필터를 명시할 수 있다. 시그널링은 다수의 필터를 명시할 수 있다. 예를 들어, 이러한 필터는 업샘플링 휘도 화면 성분 및/또는 채도 화면 성분에 대해 정의될 수 있다. 필터는 개별적으로 또는 함께 정의될 수 있다. 역 톤 매핑 프로세스와 조합되면, 시그널링은 각각의 입력 및/또는 출력 비트 깊이의 차이를 반영할 수 있다.

예시적인 색역 변환 프로세스에서, 시그널링은, 예를 들어, 색 변환 장치(예를 들어, 3D 룩업 테이블(3D-LUT)), 구간(piecewise) 선형 모델, 크로스 성분(cross-component) 선형 모델, 선형 이득 및/또는 오프셋(offset) 모델 등 중 하나 이상을 정의할 수 있다. 선택된 모델에 대해, 형태, 크기, 계수, 또는 다른 정의 파라미터 중 하나 이상은 시그널링될 수 있다. 역 톤 매핑 프로세스와 조합되면, 시그널링은 각각의 입력 및/또는 출력 비트 깊이의 차이를 반영할 수 있다.

예시적인 역 톤 매핑 프로세스에서, 시그널링은 예를 들어 입력 비트 깊이 및/또는 출력 비트 깊이를 정의할 수 있다. 다수의 입력 및/또는 출력 비트 깊이는 시그널링될 수 있다. 예를 들어, 입력 및 출력 비트 깊이의 각각의 정의는 휘도 화면 성분과 하나 이상의 채도 화면 성분에 대해 시그널링될 수 있다. 시그널링은 구간 선형 모델, 다항식 모델 등과 같은 역 톤 매핑 장치에 대한 파라미터를 명시하고/하거나 정의할 수 있다.

도 12의 예시적인 구문 테이블은 인코더(예를 들어, 도 8의 스케일러블 비디오 인코더)에 의해 시그널링될 수 있는 이용 가능한 계층간 프로세싱 모듈의 팔레트(palette)의 예를 제공한다. 하나 이상의 프로세스 인덱스 값은 시그널링될 수 있다. 프로세스 인덱스 값은 (예를 들어, 다른 확장성의 모드에 대해) 하나 이상의 계층간 프로세싱 모듈에 대응할 수 있다. 디코더(예를 들어, 도 9의 스케일러블 비디오 디코더)는 인코더로부터의 시그널링을 통해 하나 이상의 프로세스 인덱스를 수신할 수 있고, 수신된 프로세스 인덱스에 대응할 수 있는 계층간 프로세싱 모듈을 적용할 수 있다.

예를 들어, 공간적 리샘플링 프로세스는 종횡비 확장성을 지원할 수 있다. 공간적 리샘플링 프로세스에 대응하는 인덱스는 도 12의 테이블에 추가될 수 있다. 예에서, 채도 리샘플링 프로세스는 채도 포맷의 확장성을 지원할 수 있다. 채도 리샘플링 프로세스에 대응하는 인덱스는 도 12의 테이블에 추가될 수 있다. 도 11 및 12의 테이블에 의해 정의된 구문은 다수의 계층간 프로세싱 모듈을 지원할 수 있다.

조합된 확장성 프로세싱의 예시적인 구현에서, 다수의 계층간 프로세싱 모듈에 대한 적용 순서는 미리 결정될 수 있다(예를 들어, 인코더와 디코더 사이에 합의되고 고정될 수 있다). 도 11의 테이블의 시그널링은 프로세싱 순서를 정의하지 않을 수 있고, 디코더는 고정된 순서를 하나 이상의 선택되고/되거나 시그널링된 프로세스에 적용할 수 있다.

조합된 확장성 프로세싱의 예시적인 구현에서, 다수의 계층간 프로세싱 모듈에 대한 적용의 선택 및/또는 순서는 (예를 들어, 시간에 따라) 변경할 수 있다. 이러한 실시예에서, 계층간 프로세싱 모듈의 선택, 계층간 프로세싱 모듈의 적용의 순서, 또는 각각의 모듈 정의(예를 들어, 각 모듈을 정의하는 파라미터) 중 하나 이상을 명시하는 시그널링은 하나 이상의 스케이러블 계층의(예를 들어, 화면 레벨에서) 전송되고/되거나 동적으로 업데이트될 수 있다. 계층간 프로세싱은 예를 들어 도 11 및 12의 테이블에 정의된 시그널링을 이용하여 하나의 화면에서 다음의 화면으로 변경될 수 있다. 예를 들어, 색역 변환 모듈과 연관된 3D LUT의 정의는 (예를 들어, 콘텐츠 제공자에 의해 적용되는 색 조정(color tuning)의 차이를 반영하기 위해) 시간에 따라 변경될 수 있다.

도 10에 따라 조합된 확장성 프로세싱의 예시적인 구현에서, 계층간 프로세싱 기능은 개별적으로 구현될 수 있으며, 서로 캐스케이드될 수 있다. 예를 들어, 계층간 프로세싱 기능은 임의의 순서로 캐스케이드될 수 있다. 샘플 값(예를 들어, 각 샘플 값)으로의 반복된 액세스는 예를 들어 구현(예를 들어, 파이프라이닝(pipelining) 및 병렬화(parallelization) 설계)에 기초하여 (예를 들어, 메모리 액세스의 관점에서) 높은 자원 비용을 초래할 수 있다. 비디오 코딩 및/또는 프로세싱은 고정 소수점 연산을 이용할 수 있다. 예를 들어, 3차원 룩업 테이블(3D LUT) 프로세스는 색역의 변환에 사용될 수 있다.

프로세싱 모듈은 스케이러블 프로세싱이 한 번에 충족될 수 있도록 단일 프로세싱 모듈로 조합될 수 있다. 조합된 확장성 프로세싱의 예시적인 구현에서, 도 10에 도시된 프로세싱 모듈은 단일 프로세싱 모듈로 조합될 수 있다. 이러한 일체형(all-in-one) 구현에서, 입력에서의 픽셀은 출력에서 하나 이상의 대응하는 픽셀을 생성하도록 한번(또는 별도의 업샘플링이 수행되는 경우에는 두번) 액세스되어 프로세싱될 수 있다.

선형 프로세싱은 일부 프로세싱 모듈에 충분할 수 있는 반면에, 다른 프로세싱 모듈에 대해, 비선형 프로세싱은 (예를 들어, EL 코딩 성능을 개선하는 관점에서) 더욱 효과적일 수 있다. 예를 들어, 선형 필터를 이용하는 업샘플링이 효과적일 수 있는 반면, 색역 변환에 대해, 비선형 모델(예를 들어, 3D LUT)은 선형 모델보다 더 효율적일 수 있다. 비디오 콘텐츠가 생성되는 경우에 이용되는 톤 매핑의 타입에 따라, 역 톤 매핑 모듈은 선형일 수 있거나 비선형일 수 있다. 비선형 프로세싱과 선형 프로세싱을 조합하는 것은 중대할 수 있으며, 조합된 모듈은 본질적으로 비선형일 수 있다.

일부 프로세싱 모듈은 다른 것보다 더 광범위하게 사용될 수 있다. 예를 들어, 공간적 확장성은 비디오 회의와 같은 응용에 이용될 수 있으며, 여기서 입력 비디오의 샘플 비트 깊이와 색역은 동일하게 유지될 수 있다(예를 들어, 샘플 당 8비트 및 BT.709 색역). 공간적 확장성으로 제한되는 응용의 경우, 계층간 프로세싱 모듈은 ILP 유닛에서 하나 이상의 다른 프로세싱 모듈로부터 별개로 유지될 수 있다. 프로세싱이 업샘플링 프로세싱 모듈 단독에 의해 실행될 수 있는 경우, 하나 이상의 다른 프로세싱 모듈(예를 들어, 역 톤 매핑 프로세싱 모듈 및/또는 색역 변환 프로세싱 모듈)은 바이패스될 수 있다.

계층간 프로세싱 유닛에서의 하나 이상의 기능은 비디오 코덱의 하나 이상의 다른 부분과 정렬될 수 있다. 예를 들어, SHVC의 구현에 따르면, ½-픽셀 및 ¼-픽셀 위치에 대한 업샘플링 필터는 HEVC에서 움직임 보상된 예측을 위해 이용되는 대응하는 위상에서 보간 필터와 동일하게 유지될 수 있다.

도 13은 조합된 확장성 프로세싱의 예시적인 구현을 도시한다. 하나 이상의 프로세싱 모듈은 조합될 수 있다. 도시된 바와 같이, 업샘플링 프로세싱 모듈은 역 톤 매핑 프로세싱 모듈과 조합될 수 있고, 색역 변환 프로세싱 모듈은 별도로 유지될 수 있다(예를 들어, 조합된 업샘플링 및 역 톤 매핑 프로세싱 모듈 전에 순서가 정해질 수 있다).

도 13에 도시된 바와 같이, 색역 변환 모듈(1320)은 BT.709 비디오(1310)를 BT.2020 비디오(1330)로 변환할 수 있다. 조합된 역 톤 매핑 및 업샘플링 모듈(1340)은 1920x1080 공간적 해상도 BT.2020 비디오(1330)에서의 8비트를 3840x2160 공간적 해상도 비디오(1350)에서의 10비트로 변환할 수 있다.

하나 이상의 업샘플링 필터는 필터링 후 우측 시프트의 수를 감소시킬 수 있다. SHVC의 예시적인 구현을 예시하기 위해, 다음과 같은 식은 업샘플링(예를 들어, 수직 필터링)의 단계를 나타낼 수 있다.

필터링 단계는, 예를 들어

의 값에 따라, BL과 EL 사이의 샘플 비트 깊이의 차이를 나타낼 수 있는 우측 시프트의 수를 줄일 수 있다.

실시예에서, BL 및 EL 비디오 콘텐츠는 비선형 톤 매핑을 이용하여 생성될 수 있다. 조합된 업샘플링 및 역 톤 매핑 프로세스는 다항식 모델, 구간 선형 모델 등과 같은 비선형 모델을 사용하여 실현될 수 있다. 이것은 코딩 효율을 증가시킬 수 있다.

도 1에 도시된 비디오 코딩 시스템, 도 8에 도시된 비디오 인코더 및/또는 도 9에 도시된 비디오 디코더와 같은 비디오 코딩 장치는 비디오 신호를 코딩할 수 있다. 비디오 코딩 장치는 역 톤 매핑 및 색역 변환 확장성 프로세스를 동시에 수행하는 조합된 프로세싱 모듈을 이용하여 비디오 신호의 하위 계층에서 제1 계층간 프로세싱을 수행할 수 있다. 비디오 코딩 장치는 업샘플링 프로세싱 모듈을 이용하여 비디오 신호 계층에서 제2 계층간 프로세싱을 수행할 수 있다.

도 14는 적어도 하나의 조합된 프로세싱 모듈과 조합된 확장성 프로세싱의 예시적인 구현을 도시한다. 도시된 바와 같이, 역 톤 매핑 프로세싱 모듈은 색역 변환 프로세싱 모듈과 조합될 수 있고, 업샘플링 프로세싱 모듈은 별도로 유지될 수 있다. 조합된 역 톤 매핑 및 색역 변환 프로세싱은 업샘플링 프로세싱 이전에 적용될 수 있다.

도 14에 도시된 바와 같이, 조합된 역 톤 매핑 및 색역 변환 모듈(1420)은 8비트 BT.709 비디오(1410)를 10비트 BT.2020 비디오(1430)로 변환할 수 있다. 비디오의 공간적 해상도는 1920x1080 공간적 해상도와 같이 동일하게 유지할 수 있다. 조합된 역 톤 매핑 및 색역 변환 모듈(1420)은 입력 휘도 성분의 샘플 비트 깊이 및 입력 채도 성분의 샘플 비트 깊이에 기초하여 출력 휘도 성분의 샘플 비트 깊이 및 출력 채도 성분의 샘플 비트 깊이를 계산할 수 있다. 조합된 역 톤 매핑 및 색역 변환 모듈(1420)은 시그널링, 예를 들어 비디오 비트스트림에서 수신된 파라미터에 기초하여 출력 샘플 비트 깊이를 계산하고/하거나 결정할 수 있다. 조합된 역 톤 매핑 및 색역 변환 모듈(1420)은 결과를 업샘플링 프로세싱 모듈(1440)로 전송할 수 있다. 예를 들면, 출력 휘도 성분의 샘플 비트 깊이의 표시 및 출력 채도 성분의 샘플 비트 깊이의 표시는 업샘플링 프로세싱 모듈(1440)로 전송될 수 있다. 조합된 역 톤 매핑 및 색역 변환 모듈(1420)은 (예를 들어 변환된) 출력 휘도 성분 및 출력 채도 성분을 포함하는 비디오를 업샘플링 프로세싱 모듈(1440)로 전송할 수 있다. 업샘플링 프로세싱 모듈(1440)은 1920x1080 공간적 해상도 BT.2020 비디오(1430)에서의 10비트를 수신하여 3840x2160 공간적 해상도 BT.2020 비디오(1450)에서의 10비트로 변환할 수 있다. 업샘플링 프로세스는 조합된 역 톤 매핑 및 색역 변환 모듈(1420)로부터 수신되는 출력 휘도 성분의 샘플 비트 깊이 및 출력 채도 성분의 샘플 비트 깊이에 기초하여 수행될 수 있다.

역 톤 매핑 및 색역 변환은 비선형 모델을 이용하여 더욱 효과적일 수 있다. 예를 들어, 3D LUT는 색역 변환에 사용될 수 있다. 예를 들어 도 14에 도시된 예시적인 구현의 조합된 역 톤 매핑 프로세싱 및 색역 변환 프로세싱 모듈에서 (예를 들어, 8비트 입력 및 10비트 출력으로) 수정된 3D LUT를 사용하는 것은 (예를 들어, 도 10에 도시된 예시적인 구현에 따라) 각각의 별도의 프로세싱 모듈에서 별도의 비선형 모델을 사용하는 만큼 효과적일 수 있다.

테스트 시퀀스는 도 13 및 14에 도시되는 조합된 확장성 프로세싱의 예시적인 구현을 이용하여 수행되었다. 도 13에 따른 예시적인 구현의 경우, 8비트 입력 및 8비트 출력을 가진 3D LUT 기술은 색역 변환 프로세싱 모듈에 사용되었고, 기술이 조합된 역 톤 매핑 프로세싱 및 업샘플링 프로세싱 모듈에 사용되었다. 도 14에 따른 예시적인 구현의 경우, 8비트 입력 및 10비트 출력을 가진 향상된 3D LUT 기술은 조합된 색역 변환 프로세싱 및 역 톤 매핑 프로세싱 모듈에 사용되었고, 업샘플링 프로세싱 모듈은 SHVC의 구현에 따랐다.

조합된 확장성 프로세싱의 두 예시적인 구현의 테스트 시퀀스의 경우, 3D LUT의 모델 파라미터는 트레이닝 시퀀스로서 최소 제곱(least square; LS) 기술과 BL 및 EL(해상도가 상이할 경우에는 다운샘플링) 비디오를 이용하여 추정되었다. 시뮬레이션 결과는 두 예시적인 구현이 스케일러블 코딩 효율을 향상시키는 것을 보여주었으며, 도 14의 예시적인 구현은 도 13의 예시적인 구현을 약간 능가한다. 높은 코딩 효율은 향상된 3D LUT가 역 톤 매핑 프로세스의 고유 비선형성을 흡수할 수 있다는 사실에 기인할 수 있다. 조합된 프로세싱 모듈(예를 들어, 도 14에 도시된 예시적인 구현의 조합된 역 톤 매핑 프로세싱 및 색역 변환 프로세싱 모듈)에 사용될 수 있는 향상된 3D LUT에 대한 하나 이상의 모델 파라미터의 추정 및/또는 트레이닝은 예를 들어 조합된 프로세싱 모듈에 의해 수행되도록 역 톤 매핑 프로세스의 입력 비트 깊이 및/또는 출력 비트 깊이를 반영할 수 있는 트레이닝 콘텐츠에 기초할 수 있다.

역 톤 매핑 프로세싱 및 색역 변환 프로세싱은 상이한 순서로 성분 독립 선형(component independent linear), 크로스 성분 선형, 구간 선형, 및/또는 다항식을 이용하여 조합될 수 있다. 인코더는 예를 들어 감소된(예를 들어, 최소) 매칭 에러를 달성하기 위해 하나의 계층의 소스 콘텐츠 및 다른 계층의 타겟 콘텐츠에 기초하여 최소 제곱 트레이닝 기술로 모델 파라미터를 도출할 수 있다.

조합된 계층간 확장성 프로세싱 및/또는 대응하는 모델 파라미터는 시그널링될 수 있다. 예를 들어, 조합된 확장성 프로세싱 프로세스는 비트스트림에서 시그널링될 수 있으며, 여기서 구문 요소는 (예를 들어 도 13에 도시된 바와 같이 또는 도 14에 도시된 바와 같이) 조합된 확장성 프로세싱 프로세스가 이용될 수 있음을 나타낼 수 있다. 이러한 구문 요소는 예를 들어 VPS의 부분 및/또는 SPS의 부분으로서 시퀀스 레벨에서 시그널링될 수 있다. 구문 요소는 예를 들어 슬라이스 세그먼트 헤더에서, 화면 파라미터 세트(PPS)의 부분 또는 적응 파라미터 세트(APS)의 부분으로서 화면 레벨에서 시그널링될 수 있다. 인코더는 예를 들어 비디오 입력에 기초하여 조합된 확장성 프로세싱 프로세스를 선택한다. 인코더는 디코더에 조합된 확장성 프로세싱 프로세스를 나타낼 수 있다.

조합된 계층간 확장성 프로세싱의 예시적인 구현에서, 조합된 확장성 프로세싱 프로세스는 미리 정의될 수 있다. 예를 들면, 도 14에 도시되는 조합된 확장성 프로세싱 프로세스가 선택될 수 있다. 인코더 및 디코더는 추가적인 시그널링 없이 특정 조합된 확장성 프로세싱 프로세스를 반복적으로 사용할 수 있다.

조합된 계층간 확장성 프로세싱에서 이용될 수 있는 색역 변환 기술은 이득 및 오프셋, 크로스 성분 선형, 구간 선형 또는 3D LUT 중 하나 이상을 포함할 수 있다. 도 15에 도시된 예시적인 구문 테이블은 조합된 색역 변환 프로세싱 및 역 톤 매핑 프로세싱에 사용되는 조합된 확장성 프로세싱 프로세스 및 파라미터를 시그널링하는 예를 도시한다. 도 15에 도시된 예시적인 구문은 도 14에 도시된 예시적인 구현에 따라 사용된 예일 수 있다.

도 15에 도시된 바와 같이, 입출력 비트 깊이 값은 색 매핑 프로세스의 파라미터로서 포함될 수 있다. 색 매핑 프로세스는 색 매핑 프로세스의 입력 휘도 성분의 샘플 비트 깊이를 나타내는 파라미터에 프로세싱을 기반으로 할 수 있다. 예를 들어, 입력 휘도 성분의 샘플 비트 깊이는 8에 걸친 델타(delta over eight)로 시그널링될 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 입력 휘도 성분의 샘플 비트 깊이를 나타내는 파라미터는

로 지칭될 수 있다. 다른 파라미터 이름이 사용될 수 있다.

색 매핑 프로세스는 색 매핑 프로세스의 입력 채도 성분의 샘플 비트 깊이를 나타내는 파라미터에 프로세싱을 기반으로 할 수 있다. 예를 들어, 입력 채도 성분의 샘플 비트 깊이는 8에 걸친 델타로 시그널링될 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 입력 채도 성분의 샘플 비트 깊이를 나타내는 파라미터는

로 지칭될 수 있다. 다른 파라미터 이름이 사용될 수 있다. 이것은 코딩될 구문 요소의 값(예를 들어, 작은 델타 값)을 감소시키는 것을 통해 시그널링 비용을 감소시킬 수 있다. 다른 비트 깊이 시그널링 기술이 사용될 수 있다.

색 매핑 프로세스는 색 매핑 프로세스의 출력 휘도 성분의 샘플 비트 깊이를 나타내는 파라미터를 출력할 수 있다. 예를 들어, 출력 휘도 성분의 샘플 비트 깊이는 8에 걸친 델타로 시그널링될 수 있다. 예를 들어, 출력 휘도 성분의 샘플 비트 깊이는 입력 휘도 비트 깊이에 걸친 델타로 시그널링될 수 있다. 도 15에 도시된 바와 같이, 이러한 출력 파라미터는

로 지칭될 수 있다. 다른 파라미터 이름이 사용될 수 있다.

색 매핑 프로세스는 색 매핑 프로세스의 출력 채도 성분의 샘플 비트 깊이를 나타내는 파라미터를 출력할 수 있다. 예를 들어, 출력 채도 성분의 샘플 비트 깊이는 8에 걸친 델타로 시그널링될 수 있다. 예를 들어, 출력 채도 성분의 샘플 비트 깊이는 입력 채도 비트 깊이에 걸친 델타로 시그널링될 수 있다. 도 15에 도시된 바와 같이, 이러한 출력 파라미터는

로 지칭될 수 있다. 다른 파라미터 이름이 사용될 수 있다.

구문 요소 CGS__method는 사용된 CGS 기술을 나타내기 위해 도 15의 예시적인 구문 테이블에 포함될 수 있다. CGS_method의 예는 이득 및/또는 오프셋, 크로스 성분 선형, 구간 선형, 3D LUT, 맞춤형(customized) CGS 방법 등을 포함할 수 있다. CGS__method가 전송된 후, 하나 이상의 대응하는 모델 파라미터는 (예를 들어, 각각의 CGS 기술에 따라) 시그널링될 수 있다. 도 15에 도시된 예시적인 구문 테이블은 (VPS, SPS, 또는 PPS 중 하나 이상에서와 같이) 시퀀스 레벨 시그널링에 포함될 수 있다. 도 15에 도시된 예시적인 구문 테이블은 (슬라이스 헤더 또는 APS 중 하나 이상에서와 같이) 화면 레벨 시그널링에 포함될 수 있다.

휘도 및/또는 채도 비트 깊이는 VPS 또는 SPS에서의 구문 요소로부터 추론될 수 있다. 예를 들어, 각각 도 8 및 도 9의 예시적인 2계층 스케일러블 비디오 인코더 및 디코더에서, (예를 들어, 조합된 프로세싱 모듈의 입력 비트 깊이에 상당하는) BL 비트 깊이와 (예를 들어, 조합된 프로세싱 모듈의 출력 비트 깊이에 상당하는) EL 비트 깊이는 예를 들어 SPS에서

와 같은 구문 요소로부터 검색될 수 있다. 색역 변환 파라미터는 PPS에 전송될 수 있다. 파라미터 세트(예를 들어, VPS, SPS 및 PPS)는 독립적으로 분석하고 디코딩될 수 있다. 도 15에 도시된 예시적인 구문 테이블을 이용하여 비트 깊이 값을 시그널링하는 것은 조합된 색역 변환 및 역 톤 매핑 프로세스에 대한 모델 파라미터의 분석 및 디코딩을 간소화할 수 있다.

도 10의 테이블에 도시된 예시적인 시그널링은 예를 들어 도 14의 예시적인 구현에 도시된 조합된 역 톤 매핑 프로세싱 및 색역 변환 프로세싱 모듈에 대응하는 제1 조합된 계층간 프로세싱 모듈에 대한 프로세스 정의 역할을 할 수 있다. 이러한 제1 조합된 계층간 프로세싱 모듈은 도 14에 도시된 예시적인 구현의 형태의 고정된 구성에 사용될 수 있다. 제1 조합된 계층간 프로세싱 모듈은 (예를 들어, 도 10에 도시된 바와 같이) 캐스케이드 프로세싱 구성에 사용하기 위해 이용 가능한 하나의 계층간 프로세싱 모듈을 포함할 수 있다. 제1 조합된 계층간 프로세싱 모듈의 선택 및 적용은 예를 들어 도 11 및 12의 예시적인 구문 테이블을 사용하여 시그널링될 수 있다. 적절한 process__index는 제1 조합된 계층간 프로세싱 모듈의 적용을 나타내도록 도 12의 예시적인 구문 테이블에 추가될 수 있다.

조합된 계층간 프로세싱 모듈(예를 들어, 도 13의 예시적인 구현에 도시된 조합된 역 톤 매핑 프로세싱 및 업샘플링 프로세싱 모듈)이 규정될 수 있다. 조합된 계층간 프로세싱 모듈에 적절한 프로세스 정의가 규정될 수 있다. 예를 들어, 프로세스 정의는 공간적 확장성 업샘플링을 위한 업샘플링 필터의 형태, 크기, 형상 또는 계수 중 하나 이상의 규정할 수 있고, 하나 이상의 입력 비트 깊이 및/또는 하나 이상의 출력 비트 깊이를 더 규정할 수 있다. 적절한 process_index는 제2 조합된 계층간 프로세싱 모듈의 적용을 나타내도록 도 12의 예시적인 구문 테이블에 추가될 수 있다. 제2 조합된 계층간 프로세싱 모듈은 (예를 들어, 도 10에 도시된 바와 같이) 제2 조합된 계층간 프로세싱 모듈은 캐스케이드의 프로세싱 구성에 사용하기 위해 이용 가능한 다른 계층간 프로세싱 모듈일 수 있다.

다수의 조합된 계층간 프로세스 모듈은 예를 들어 도 11 및 12의 예시적인 구문 테이블에 규정된 시그널링 프레임워크를 이용하여 도 10에 도시된 캐스케이드 프레임워크에 규정되고/되거나 통합될 수 있다.

도 16은 프로세스 인덱스의 정의를 예시하는 예시적인 구문 테이블을 도시한다. 도시된 바와 같이, 프로세스 인덱스는 조합된 역 톤 매핑 및 색역 변환에 대응할 수 있다. 예를 들어, process_index = 3은 제1 조합된 계층간 프로세싱 모듈에 대응할 수 있다. 도시된 바와 같이, 프로세스 인덱스는 조합된 역 톤 매핑 및 업샘플링에 대응할 수 있다. 예를 들어, process_index = 4는 제2 조합된 계층간 프로세싱 모듈에 대응할 수 있다.

비트 깊이는 색역 변환 모듈을 위해 고려될 수 있다. 색역 변환 프로세스는 하나의 색 공간에서 다른 색 공간으로 신호를 변환할 수 있다. 크로스 색 성분 관계는 색역 변환 함수에 적용될 수 있다. 예를 들어, HEVC의 스케이러블 확장의 최종 버전에 채용된 색역 변환 프로세스와 같은 3D LUT 기반 색역 변환에서, 3D 색 공간은 다수의 옥탄트(octant)로 분할될 수 있다. 하나 이상의 옥탄트 내에서, 크로스 색 성분 선형 모델은 다음과 같이 적용될 수 있다:

파라미터 outputSampleX는 색역 변환 후 색 성분 X(예를 들어, X는 Y, U, 또는 V일 수 있음)의 출력 샘플 값을 나타낼 수 있다. 파라미터 LutX[yIdx][uIdx][vIdx][i]는 색 성분 X의 (yIdx, uIdx, vIdx)에 의해 명시된 옥탄트에 대한 제i LUT 파라미터를 나타낼 수 있으며, 여기서 0 <=i<= 3. 파라미터 nMappingShift 및 nMappingOffset는 색역 변환 동안 고정 소수점 연산의 정확도를 제어할 수 있고, 파라미터 inputSampleY, inputSampleU 및 inputSampleV는 색역 변환 전에 색 성분 Y, U 및 V의 각각의 입력 값을 포함할 수 있다.

실시예에서, 휘도 및 채도 샘플의 각각의 비트 깊이 값은 상이할 수 있다. 이러한 비트 깊이 값은 예를 들어 도 15에서 bit_depth_input_luma_minus8 및 bit_depth_input_chroma_delta로 명시될 수 있다. 비트 깊이 값은 예를 들어 VPS, SPS 및/또는 PPS와 같은 파라미터 세트를 통해 명시될 수 있다. 입력 휘도 비트 깊이는 InputLumaBitDepth로서 나타낼 수 있고, 입력 채도 비트 깊이는 InputChromaBitDepth로서 나타낼 수 있다. 입력 휘도 비트 깊이 및 입력 채도 비트 깊이가 도출될 수 있다. 예를 들어, 입력 휘도 비트 깊이 및 입력 채도 비트 깊이는 도 15에 도시된 시그널링에 기초하여 도출될 수 있다. 입력 휘도 비트 깊이 및 입력 채도 비트 깊이는 다음 식에 따라 도출될 수 있다:

(1a)

(1b)

H.264/AVC 및 HEVC와 같은 비디오 표준은 휘도 및 채도 성분의 각각의 비트 깊이가 상이하도록 할 수 있다. 크로스 색 성분 모델이 사용되는 경우, 각각의 색 성분의 비트 깊이는 크로스 색 성분 선형 모델을 적용할 때 정렬될 수 있다. 예를 들어, 각각의 색 성분의 비트 깊이는 식 (1)을 적용할 때 정렬될 수 있다. 예시적인 색역 변환 프로세스에 따르면, 휘도 및/또는 채도 샘플의 비트 깊이는 휘도 및/또는 채도의 각각의 큰 비트 깊이 값으로 정렬될 수 있고, 식 (1)과 같이 크로스 색 성분 모델을 적용하기 전에 MaxBitDepth = max(InputLumaBitDepth, InputChromaBitDepth)로 나타낼 수 있다. 예를 들어, DeltaMaxLumaBitDepth 및 DeltaMaxChromaBitDepth는 다음과 같이 규정될 수 있다:

DeltaMaxLumaBitDepth = MaxBitDepth-InputLumaBitDepth

DeltaMaxChromaBitDepth = MaxBitDepth-InputChromaBitDepth.

크로스 색 성분 선형 모델은 다음과 같이 적용될 수 있다:

휘도 및/또는 채도 비트 깊이는 휘도 및/또는 채도의 각각의 작은 비트 깊이 값으로 정렬될 수 있고, 색 변환 프로세스 동안 MinBitDepth = min(InputLumaBitDepth, InputChromaBitDepth)로 나타낼 수 있다. 예를 들면, DeltaMinLumaBitDepth 및 DeltaMinChromaBitDepth는 다음과 같이 정의될 수 있다:

DeltaMinLumaBitDepth = InputLumaBitDepth - MinBitDepth

DeltaMinChromaBitDepth = InputChromaBitDepth - MinBitDepth.

크로스 색 성분 선형 모델은 다음과 같이 적용될 수 있다 :

크로스 색 성분 선형 모델은 색 매핑에서의 하나 이상의 곱셈 연산의 복잡성이 감소될 수 있도록 적용될 수 있다. 식 (3)에서 곱셈 연산의 제2항의 비트 깊이는 작아 질 수 있다. 이것은 예를 들어 ASIC 설계를 이용하여 구현의 복잡성을 감소시킬 수 있다.

휘도와 채도 비트 깊이 사이의 가능한 차이를 고려하는 상술한 예시적인 프로세스는 3D LUT 기반 색역 변환 함수의 구현으로 제한되지 않고, 상술한 예시적인 프로세스는 크로스 색 성분 모델을 이용하는 어떤 색역 변환 및/또는 톤 매핑 함수로 구현될 수 있다는 것이 이해되어야 한다.

nMappingShift 및/또는 nMappingOffset의 각각의 값은 색역 변환 동안 고정 소수점 연산의 정확도를 제어할 수 있다. 예를 들어, nMappingShift 및 nMappingOffset의 값은 다음과 같이 계산될 수 있다:

nMappingShift = 10 + InputBitDepthX-OutputBitDepthX (4)

nMappingOffset = 1 << (nMappingShift-1) (5)

여기서, InputBitDepthX 및 OutputBitDepthX는 색 변환 프로세스의 색 성분 X(예를 들어, X는 Y, U, 또는 V일 수 있다)의 각각의 입력 및 출력 비트 깊이를 포함할 수 있다.

InputBitDepthX의 각각의 값은 예를 들어 식 (1a) 및 (1b)을 이용하여 휘도 및 채도에 대해 도출될 수 있다. OutputBitDepthX의 각각의 값은 예를 들어 다음의 식을 이용하여 휘도 및 채도에 대해 도출될 수 있다:

(6)

(7)

실시예에서, 색 변환 프로세스는 색 성분의 출력 비트 깊이가 색 성분의 입력 비트 깊이보다 크거나 같다. 색 변환 프로세스는 값(InputBitDepthX-OutputBitDepthX)이 음수일 수 있도록 BL에서의 낮은 품질에서 EL에서의 높은 품질로 수행될 수 있다. 값 nMappingShift는 입력과 출력 비트 깊이의 차가 증가함에 더 작아 질 수 있다. 이것은 이에 대응하여 고정 소수점 계산의 정확도를 감소시킬 수 있다.

휘도 성분에 대한 입력과 출력 사이의 비트 깊이 델타 값(InputBitDepthY - OutputBitDepthY)이 채도 성분에 대한 입력과 출력 사이의 비트 깊이 델타 값(InputBitDepthC - OutputBitDepthC)와 상이한 경우, 휘도 및/또는 채도에 대해 nMappingShift 및/또는 nMappingOffset을 계산하기 위한 기술이 이용될 수 있다. 예를 들어, nMappingShift는 (InputBitDepthY - OutputBitDepthY)을 사용하여 계산될 수 있고, 휘도 및 채도 중 하나 또는 모두에 적용될 수 있다. 또는 nMappingShift은 (InputBitDepthC - OutputBitDepthC)을 사용하여 계산될 수 있고, 휘도 및 채도 중 하나 또는 모두에 적용될 수 있다. 다른 예에서, nMappingShift 및/또는 nMappingOffset는 다음을 사용하여 계산될 수 있다:

(8)

(9)

이러한 값은 색 변환 프로세스에서 휘도 및 채도 성분 중 하나 또는 모두에 적용될 수 있다. 예를 들어, 값은 {Y, U, V}에서 각 색 성분 X에 대해 식 (2) 및/또는 식 (3)에서 nMappingShift 및 nMappingOffset을 위해 사용될 수 있다.

상술한 프로세스는 높은 정확한 량을 보존할 수 있다. 예를 들어, 이것은 색역 변환 프로세스의 높은(예를 들어, 최대) 고정 소수점 정확성을 가능하게 할 수 있다.

예를 들어 조합된 확장성 프로세싱을 이용하는 본 명세서에 설명된 비디오 코딩 기술은 도 17a-17e에 도시되는 예시적인 무선 통신 시스템(100) 및 이의 구성 요소과 같은 무선 통신 시스템에서의 비디오의 전송에 따라 구현될 수 있다.

도 17a는 하나 이상의 개시된 실시예가 구현될 수 있는 예시적인 통신 시스템(100)의 다이어그램이다. 통신 시스템(100)은 음성, 데이터, 비디오, 메시징, 방송 등과 같은 콘텐츠를 다수의 무선 사용자에게 제공하는 다중 액세스 시스템일 수 있다. 통신 시스템(100)은 다수의 무선 사용자가 무선 대역폭을 포함하는 시스템 자원의 공유를 통해 이러한 콘텐츠에 액세스하도록 할 수 있다. 예를 들어, 통신 시스템(100)은 코드 분할 다중 접속(CDMA), 시분할 다중 접속(TDMA), 주파수 분할 다중 접속(FDMA), 직교 FDMA(OFDMA), 단일 반송파 FDMA(SC-FDMA) 등과 같은 하나 이상의 채널 액세스 방법을 사용할 수 있다.

도 17a에 도시된 바와 같이, 통신 시스템(100)은 복수의 무선 송수신 유닛(WTRU), 예를 들어 WTRU(102a, 102b, 102c 및 102d), 무선 액세스 네트워크(RAN)(104), 코어 네트워크(106), 공중 교환 전화망(PSTN)(108), 인터넷(110), 및 다른 네트워크(112)와 같은 적어도 하나의 무선 송수신 유닛(WTRU)을 포함할 수 있지만, 개시된 실시예는 다수의 WTRU, 기지국, 네트워크, 및/또는 네트워크 요소를 고려하는 것이 이해되어야 한다. WTRU(102a, 102b, 102c 및 102d)의 각각은 무선 환경에서 동작하고/하거나 통신하도록 구성된 임의의 타입의 장치일 수 있다. 예로서, WTRU(102a, 102b, 102c 및 102d)는 무선 신호를 송신하고/하거나 수신하도록 구성될 수 있고, 사용자 장치(UE), 이동국, 고정 또는 이동 가입자 유닛, 페이저, 셀룰러 전화, 개인 휴대 정보 단말기(PDA), 스마트폰, 랩톱, 넷북, 개인용 컴퓨터, 무선 센서, 가전 제품 등을 포함할 수 있다.

통신 시스템(100)은 또한 기지국(114a) 및 기지국(114b)을 포함할 수 있다. 기지국(114a, 114b)의 각각은 코어 네트워크(106), 인터넷(110), 및/또는 네트워크(112)와 같은 하나 이상의 통신 네트워크에 대한 액세스를 용이하게 하기 위해 WTRU(102a, 102b, 102c 및 102d)의 적어도 하나와 무선 인터페이스하도록 구성된 임의의 타입의 장치일 수 있다. 예로서, 기지국(114a, 114b)은 송수신 기지국(base transceiver station; BTS), Node-B, eNode B, Home Node B, Home eNode B, 사이트 제어기, 액세스 포인트(AP), 무선 라우터 등일 수 있다. 기지국(114a, 114b)이 각각 하나의 요소로서 도시되어 있지만, 기지국(114a, 114b)은 다수의 상호 접속된 기지국 및/또는 네트워크 요소를 포함할 수 있다는 것이 이해되어야 한다.

기지국(114a)은 또한 기지국 제어기(BSC), 무선 네트워크 제어기(RNC), 중계 노드 등과 같은 (도시되지 않은) 다른 기지국 및/또는 네트워크 요소를 포함할 수 있는 RAN(104)의 부분일 수 있다. 기지국(114a) 및/또는 기지국(114b)은 (도시되지 않은) 셀로서 지칭될 수 있는 특정 지리적 영역 내에서 무선 신호를 송신하고/하거나 수신하도록 구성될 수 있다. 셀은 또한 셀 섹터로 분할될 수 있다. 예를 들어, 기지국(114a)과 연관된 셀은 3개의 섹터로 분할될 수 있다. 따라서, 일 실시예에서, 기지국(114a)은 3개의 송수신기, 즉 셀의 각 섹터에 대해 하나를 포함할 수 있다. 다른 실시예에서, 기지국(114a)은 다중 입력 다중 출력(multiple-input multiple output; MIMO) 기술을 채용할 수 있으며, 따라서 셀의 각 섹터에 대한 다수의 송수신기를 이용할 수 있다.

기지국(114a, 114b)은 임의의 적절한 무선 통신 링크(예를 들어, 무선 주파수(RF), 마이크로파, 적외선(IR), 자외선(UV), 가시 광선 등)일 수 있는 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c, 102d) 중 하나 이상과 통신할 수 있다. 무선 인터페이스(116)는 임의의 적절한 무선 액세스 기술(RAT)을 사용하여 설정될 수 있다.

특히, 상술한 바와 같이, 통신 시스템(100)은 다중 액세스 시스템일 수 있고, CDMA, TDMA, FDMA, OFDMA, SC-FDMA 등과 같은 하나 이상의 채널 액세스 방식을 사용할 수 있다. 예를 들어, RAN(104) 및 WTRU(102a, 102b, 102c)에서의 기지국(114a)은 광대역 CDMA(WCDMA)를 사용하여 무선 인터페이스(116)를 설정할 수 있는 범용 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS) 지상 무선 액세스(Terrestrial Radio Access; UTRA)와 같은 무선 기술을 구현할 수 있다. WCDMA는 고속 패킷 액세스(High-Speed Packet Access; HSPA) 및/또는 Evolved HSPA(HSPA+)와 같은 통신 프로토콜을 포함할 수 있다. HSPA는 고속 다운링크 패킷 액세스(High-Speed Downlink Packet Access; HSDPA) 및/또는 고속 업링크 패킷 액세스(High-Speed Uplink Packet Access; HSUPA)를 포함할 수 있다.

다른 실시예에서, 기지국(114a) 및 WTRU(102a, 102b, 102c)는 LTE(Long Term Evolution) 및/또는 LTE-A(LTE- Advanced)를 사용하여 무선 인터페이스(116)를 설정할 수 있는 E-UTRA(Evolved UMTS Terrestrial Radio Access)와 같은 무선 기술을 구현할 수 있다.

다른 실시예에서, 기지국(114a) 및 WTRU(102a, 102b, 102c)는 IEEE 802.16(즉, WiMAX(Worldwide Interoperability for Microwave Access)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, IS-2000(Interim Standard 2000), IS-95(Interim Standard 95), IS-856(Interim Standard 856), GSM(Global System for Mobile communications), EDGE(Enhanced Data rates for GSM Evolution), GSM EDGE (GERAN) 등과 같은 무선 기술을 구현할 수 있다.

도 17a에서의 기지국(114b)은 예를 들어, 무선 라우터, Home Node B, Home eNode B, 또는 액세스 포인트일 수 있고, 사업장, 가정, 차량, 캠퍼스 등과 같은 지역화된 영역에서 무선 접속을 용이하게 하기 위한 임의의 적절한 RAT를 이용할 수 있다. 일 실시예에서, 기지국(114b) 및 WTRU(102c, 102d)는 무선 근거리 통신망(WLAN)을 설정하기 위해 IEEE 802.11과 같은 무선 기술을 구현할 수 있다. 다른 실시예에서, 기지국(114b) 및 WTRU(102c, 102d)는 무선 개인 영역 네트워크(wireless personal area network; WPAN)를 설정하기 위해 IEEE 802.15와 같은 무선 기술을 구현할 수 있다. 또 다른 실시예에서, 기지국(114b) 및 WTRU(102c, 102d)는 피코셀 또는 펨토셀을 설정하기 위해 셀룰러 기반 RAT(예를 들어, WCDMA, CDMA2000, GSM, LTE, LTE-A 등)를 이용할 수 있다. 도 17a에 도시된 바와 같이, 기지국(114b)은 인터넷(110)에 직접 접속할 수 있다. 따라서, 기지국(114b)은 코어 네트워크(106)를 통해 인터넷(110)에 액세스하는데 필요하지 않을 수 있다.

RAN(104)은 음성, 데이터, 애플리케이션, 및/또는 VoIP(voice over internet protocol)를 WTRU(102a, 102b, 102c, 102d) 중 하나 이상에 제공하도록 구성된 임의의 타입의 네트워크일 수 있는 코어 네트워크(106)와 통신할 수 있다. 예를 들어, 코어 네트워크(106)는 호 제어(call control), 과금 서비스, 모바일 위치 기반 서비스, 선불 호출, 인터넷 접속, 비디오 분배 등을 제공하고/하거나, 사용자 인증과 같은 높은 수준의 보안 기능을 수행할 수 있다. 도 17a에 도시되지 않았지만, RAN(104) 및/또는 코어 네트워크(106)는 RAN(104)과 동일한 RAT 또는 상이한 RAT를 사용하는 다른 RAN과 직접적 또는 간접적으로 통신할 수 있다는 것이 이해되어야 한다. 예를 들면, E-UTRA 무선 기술을 이용할 수 있는 RAN(104)에 접속되는 것 이외에, 코어 네트워크(106)는 또한 GSM 무선 기술을 이용하는 (도시되지 않은) 다른 RAN과 통신할 수 있다.

코어 네트워크(106)는 또한 WTRU(102a, 102b, 102c, 102d)가 PSTN(108), 인터넷(110), 및/또는 다른 네트워크(112)에 액세스하기 위한 게이트웨이의 역할을 할 수 있다. PSTN(108)은 POTS(plain old telephone service)를 제공하는 회선 교환 전화망을 포함할 수 있다. 인터넷(110)은 TCP/IP 인터넷 프로토콜 슈트(internet protocol suite)에서 전송 제어 프로토콜(TCP), 사용자 데이터그램 프로토콜(UDP) 및 인터넷 프로토콜(IP)과 같은 공통 통신 프로토콜을 사용하는 상호 접속된 컴퓨터 네트워크 및 장치의 글로벌 시스템을 포함할 수 있다. 네트워크(112)는 다른 서비스 제공자가 소유하고/하거나 동작하는 유선 또는 무선 통신 네트워크를 포함할 수 있다. 예를 들어, 네트워크(112)는 RAN(104)과 동일한 RAT 또는 상이한 RAT를 사용할 수 있는 하나 이상의 RAN에 접속된 다른 코어 네트워크를 포함할 수 있다.

통신 시스템(100)에서의 WTRU(102a, 102b, 102c, 102d)의 일부 또는 모두는 다중 모드 능력을 포함할 수 있으며, 즉, WTRU(102a, 102b, 102c, 102d)는 상이한 무선 링크를 통해 상이한 무선 네트워크와 통신하기 위한 다수의 송수신기를 포함할 수 있다. 예를 들어, 도 17a에 도시된 WTRU(102c)는 셀룰러 기반의 무선 기술을 이용할 수 있는 기지국(114a), 및 IEEE 802 무선 기술을 이용할 수 있는 기지국(114b)과 통신하도록 구성될 수 있다.

도 17b는 예시적인 WTRU(102)의 시스템 다이어그램이다. 도 17b에 도시된 바와 같이, WTRU(102)는 프로세서(118), 송수신기(120), 송수신 요소(122), 스피커/마이크(124), 키패드(126), 디스플레이/터치패드(128), 비이동식 메모리(130), 이동식 메모리(132), 전원(134), 위성 위치 확인 시스템(GPS) 칩셋(136) 및 다른 주변 장치(138)를 포함할 수 있다. WTRU(102)는 실시예와 일치하면서 상술한 요소의 임의의 하위 조합을 포함할 수 있다는 것이 이해되어야 한다.

프로세서(118)는 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서, DSP 코어와 연관된 하나 이상의 마이크로프로세서, 제어기, 마이크로컨트롤러, 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 회로, 임의의 다른 타입의 집적 회로(IC), 상태 머신 등일 수 있다. 프로세서(118)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입출력 프로세싱, 및/또는 WTRU(102)가 무선 환경에서 동작하도록 할 수 있는 임의의 다른 기능을 수행할 수 있다. 프로세서(118)는 송수신 요소(122)에 결합될 수 있는 송수신기(120)에 결합될 수 있다. 도 17b가 프로세서(118) 및 송수신기(120)를 별도의 구성 요소로서 도시하지만, 프로세서(118) 및 송수신기(120)는 전자 패키지 또는 칩에 함께 통합될 수 있다.

송수신 요소(122)는 무선 인터페이스(116)를 통해 신호를 기지국(예를 들어, 기지국(114a))으로 전송하거나 기지국으로부터 신호를 수신하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 송수신 요소(122)는 RF 신호를 송신하고/하거나 수신하도록 구성된 안테나일 수 있다. 다른 실시예에서, 송수신 요소(122)는 예를 들어 IR, UV 또는 가시광 신호를 송신하고/하거나 수신하도록 구성된 에미터/검출기일 수 있다. 또 다른 실시예에서, 송수신 요소(122)는 RF 및 광 신호 모두를 송수신하도록 구성될 수 있다. 송수신 요소(122)는 무선 신호의 임의의 조합을 송신하고/하거나 수신하도록 구성될 수 있다는 것이 이해되어야 한다.

게다가, 송수신 요소(122)가 단일 요소로서 도 17b에 도시되어 있지만, WTRU(102)는 다수의 송수신 요소(122)를 포함할 수 있다. 특히, WTRU(102)는 MIMO 기술을 이용할 수 있다. 따라서, 일 실시예에서, WTRU(102)는 무선 인터페이스(116)를 통해 무선 신호를 송수신하기 위한 둘 이상의 송수신 요소(122)(예를 들어, 다수의 안테나)를 포함할 수 있다.

송수신기(120)는 송수신 요소(122)에 의해 송신되는 신호를 변조하고, 송수신 요소(122)에 의해 수신되는 신호를 복조하도록 구성될 수 있다. 상술한 바와 같이, WTRU(102)는 다중 모드 능력을 가질 수 있다. 따라서, 송수신기(120)는 WTRU(102)가 예를 들어 UTRA 및 IEEE 802.11과 같은 다수의 RAT를 통해 통신할 수 있도록 하기 위한 다수의 송수신기를 포함할 수 있다.

WTRU(102)의 프로세서(118)는 스피커/마이크(124), 키패드(126), 및/또는 디스플레이/터치패드(128)(예를 들어, LCD(liquid crystal display) 표시 유닛 또는 유기 발광 다이오드(OLED) 표시 유닛)에 결합될 수 있고, 이들로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(118)는 또한 스피커/마이크(124), 키패드(126), 및/또는 디스플레이/터치패드(128)로 사용자 데이터를 출력할 수 있다. 게다가, 프로세서(118)는 비이동식 메모리(130) 및/또는 이동식 메모리(132)와 같은 임의의 타입의 적절한 메모리로부터의 정보에 액세스하고, 이러한 메모리 내에 데이터를 저장할 수 있다. 비이동식 메모리(130)는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 디스크, 또는 임의의 다른 타입의 메모리 저장 장치를 포함할 수 있다. 이동식 메모리(132)는 가입자 식별 모듈(SIM) 카드, 메모리 스틱, SD(secure digital) 메모리 카드 등을 포함할 수 있다. 다른 실시예에서, 프로세서(118)는 (도시되지 않은) 서버 또는 홈 컴퓨터와 같이 WTRU(102) 상에 물리적으로 위치되지 않는 메모리로부터의 정보에 액세스하고, 이러한 메모리 내에 데이터를 저장할 수 있다.

프로세서(118)는 전원(134)으로부터 전력을 수신할 수 있고, WTRU(102)에서 다른 구성 요소로 전력을 분배하고/하거나 제어하도록 구성될 수 있다. 전원(134)은 WTRU(102)에 전력을 공급하기 위한 임의의 적절한 장치일 수 있다. 예를 들어, 전원(134)은 하나 이상의 드라이 셀 배터리(dry cell batteries)(예를 들어, 니켈 카드뮴(NiCd), 니켈 아연(NiZn), 니켈 수소(NiMH), 리튬 이온(Li-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다.

프로세서(118)는 또한 WTRU(102)의 현재 위치에 관한 위치 정보(예를 들어, 경도 및 위도)를 제공하도록 구성될 수 있는 GPS 칩셋(136)에 결합될 수 있다. GPS 칩셋(136)으로부터의 정보에 부가하거나 대신에, WTRU(102)는 기지국(예를 들어, 기지국(114a, 114b))으로부터 무선 인터페이스(116)를 통해 위치 정보를 수신하고/하거나, 둘 이상의 인접한 기지국으로부터 수신되는 신호의 타이밍에 기초하여 위치를 결정할 수 있다. WTRU(102)는 실시예와 일치하면서 임의의 적절한 위치 결정 방법에 의해 위치 정보를 획득할 수 있다는 것이 이해되어야 한다.

프로세서(118)는 또한 추가적인 특징, 기능 및/또는 유선 또는 무선 접속을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈을 포함할 수 있는 다른 주변 장치(138)에 결합될 수 있다. 예를 들어, 주변 장치(138)는 가속도계, 전자 나침반(e-compass), 위성 송수신기, (사진 또는 비디오용) 디지털 카메라, 범용 직렬 버스(USB) 포트, 진동 장치, 텔레비전 송수신기, 핸즈 프리 헤드셋, Bluetooth® 모듈, 주파수 변조(FM) 라디오 유닛, 디지털 뮤직 플레이어, 미디어 플레이어, 비디오 게임 플레이어 모듈, 인터넷 브라우저 등을 포함할 수 있다.

도 17c는 각각 RAN(104) 및 코어 네트워크(106)의 예시적인 구현을 포함하는 RAN(104a) 및 코어 네트워크(106a)를 포함하는 통신 시스템(100)의 실시예의 시스템 다이어그램이다. 상술한 바와 같이, RAN(104), 예를 들어 RAN(104a)은 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 UTRA 무선 기술을 이용할 수 있다. RAN(104a)은 또한 코어 네트워크(106a)와 통신할 수 있다. 도 17c에 도시된 바와 같이, RAN(104a)은 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 각각 하나 이상의 송수신기를 포함할 수 있는 Node-B(140a, 140b, 140c)를 포함할 수 있다. Node-B(140a, 140b, 140c)는 각각 RAN(104a) 내의 (도시되지 않은) 특정 셀과 연관될 수 있다. RAN(104a)은 또한 RNC(142a, 142b)를 포함할 수 있다. RAN(104a)은 실시예와 일치하면서 다수의 Node-B 및 RNC를 포함할 수 있다는 것이 이해되어야 한다.

도 17c에 도시된 바와 같이, Node-B(140a, 140b)는 RNC(142a)와 통신할 수 있다. 추가적으로, Node-B(140c)는 RNC(142b)와 통신할 수 있다. Node-B(140a, 140b, 140c)는 Iub 인터페이스를 통해 각각의 RNC(142a, 142b)와 통신할 수 있다. RNC(142a, 142b)는 Iur 인터페이스를 통해 서로와 통신할 수 있다. RNC(142a, 142b)의 각각은 접속되는 각각의 Node-B(140a, 140b, 140c)를 제어하도록 구성될 수 있다. 게다가, RNC(142a, 142b)의 각각은 외부 루프 전력 제어, 부하 제어, 승인 제어, 패킷 스케쥴링, 핸드오버 제어, 매크로다이버시티(macrodiversiiy), 보안 기능, 데이터 암호화 등과 같은 다른 기능을 실행하거나 지원하도록 구성될 수 있다.

도 17c에 도시된 코어 네트워크(106a)는 미디어 게이트웨이(MGW)(144), 이동 전화 교환국(mobile switching center; MSC)(146), 서빙 GPRS 지원 노드(SGSN)(148), 및/또는 게이트웨이 GPRS 지원 노드(GGSN)(150)를 포함할 수 있다. 상술한 요소의 각각이 코어 네트워크(106a)의 부분으로서 도시되어 있지만, 이들 요소 중 어느 하나는 코어 네트워크 오퍼레이터 이외의 엔티티가 소유하고/하거나 동작할 수 있다는 것이 이해되어야 한다.

RAN(104a)에서의 RNC(142a)는 IuCS 인터페이스를 통해 코어 네트워크(106a)에서의 MSC(146)에 접속될 수 있다. MSC(146)는 MGW(144)에 접속될 수 있다. MSC(146) 및 MGW(144)는 WTRU(102a, 102b, 102c)와 통상의 지상선 통신 장치(land-line communications devices) 사이의 통신을 용이하게 하기 위해 PSTN(108)과 같은 회선 교환 네트워크에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있다.

RAN(104a)에서의 RNC(142a)는 또한 IuPS 인터페이스를 통해 코어 네트워크(106a)에서의 SGSN(148)에 접속될 수 있다. SGSN(148)은 GGSN(150)에 접속될 수 있다. SGSN(148) 및 GGSN(150)은 WTRU(102a, 102b, 102c)와 IP 가능(IP-enabled) 장치 사이의 통신을 용이하게 하기 위해 인터넷(110)과 같은 패킷 교환 네트워크에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있다.

상술한 바와 같이, 코어 네트워크(106a)는 또한 다른 서비스 제공자가 소유하고/하거나 동작하는 다른 유선 또는 무선 네트워크를 포함할 수 있는 네트워크(112)에 접속될 수 있다.

도 17d는 각각 RAN(104) 및 코어 네트워크(106)의 예시적인 구현을 포함하는 RAN(104b) 및 코어 네트워크(106b)를 포함하는 통신 시스템(100)의 실시예의 시스템 다이어그램이다. 상술한 바와 같이, RAN(104), 예를 들어 RAN(104b)은 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 E-UTRA 무선 기술을 이용할 수 있다. RAN(104b)은 또한 코어 네트워크(106b)와 통신할 수 있다.

RAN(104b)은 실시예와 일치하면서 다수의 eNode-B를 포함할 수 있다는 것이 이해되어야 하지만, RAN(104b)은 eNode-B(170a, 170b, 170c)를 포함할 수 있다. eNode-B(170a, 170b, 170c)는 각각 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 하나 이상의 송수신기를 포함할 수 있다. 일 실시예에서, eNode-B(170a, 170b, 170c)는 MIMO 기술을 구현할 수 있다. 따라서, eNode-B(170a)는 예를 들어 무선 신호를 WTRU(102a)로 송신하고, WTRU(102a)로부터 무선 신호를 수신하기 위해 다수의 안테나를 사용할 수 있다.

eNode-B(170a, 170b, 170c)의 각각은 (도시되지 않은) 특정 셀과 연관될 수 있고, 무선 자원 관리 결정, 핸드오버 결정, 업링크 및/또는 다운링크에서의 사용자의 스케줄링 등을 프로세싱하도록 구성될 수 있다. 도 17d에 도시된 바와 같이, eNode-B(170a, 170b, 170c)는 X2 인터페이스를 통해 서로 통신할 수 있다.

도 17d에 도시된 코어 네트워크(106b)는 이동성 관리 게이트웨이(mobility management gateway; MME)(172), 서빙 게이트웨이(174) 및 패킷 데이터 네트워크(PDN) 게이트웨이(176)를 포함할 수 있다. 상술한 요소의 각각이 코어 네트워크(106b)의 부분으로서 도시되어 있지만, 이들 요소 중 어느 하나는 코어 네트워크 오퍼레이터 이외의 엔티티가 소유하고/하거나 동작할 수 있다는 것이 이해되어야 한다.

MME(172)는 S1 인터페이스를 통해 RAN(104b)에서의 eNode-B(170a, 170b, 170c)의 각각에 접속될 수 있고, 제어 노드의 역할을 할 수 있다. 예를 들면, MME(172)는 WTRU(102a, 102b, 102c)의 사용자를 인증하고, 베어러를 활성화/비활성화하며, WTRU(102a, 102b, 102c)의 초기 부착 동안에 특정 서빙 게이트웨이를 선택할 책임 등이 있을 수 있다. MME(172)는 또한 RAN(104b)과, GSM 또는 WCDMA와 같은 다른 무선 기술을 이용하는 (도시되지 않은) 다른 RAN 사이에서 전환을 위한 제어 평면 기능을 제공할 수 있다.

서빙 게이트웨이(174)는 S1 인터페이스를 통해 RAN(104b)에서의 eNode-B(170a, 170b, 170c)의 각각에 접속될 수 있다. 서빙 게이트웨이(174)는 일반적으로 WTRU(102a, 102b, 102c)로/로부터 사용자 데이터 패킷을 라우팅하고 전송할 수 있다. 서빙 게이트웨이(174)는 또한 eNode B간 핸드오버 동안 사용자 평면을 앵커링(anchoring)하고, 다운링크 데이터가 WTRU(102a, 102b, 102c)에 이용 가능할 때 페이징을 트리거하며, WTRU(102a, 102b, 102c)의 콘텍스트를 관리하고 저장하는 것과 같은 다른 기능을 수행할 수 있다.

서빙 게이트웨이(174)는 또한 WTRU(102a, 102b, 102c)와 IP 가능 장치 사이의 통신을 용이하게 하기 위해 인터넷(110)과 같은 패킷 교환 네트워크에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있는 PDN 게이트웨이(176)에 접속될 수 있다.

코어 네트워크(106b)는 다른 네트워크와의 통신을 용이하게 할 수 있다. 예를 들어, 코어 네트워크(106b)는 WTRU(102a, 102b, 102c)와 통상의 지상선 통신 장치 사이의 통신을 용이하게 하기 위해 PSTN(108)과 같은 회선 교환 네트워크에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있다. 예를 들어, 코어 네트워크(106b)는 코어 네트워크(106b)와 PSTN(108) 사이의 인터페이스의 역할을 하는 IP 게이트웨이(예를 들어, IP 멀티미디어 서브시스템(IMS) 서버)를 포함할 수 있거나 이러한 IP 게이트웨이와 통신할 수 있다. 게다가, 코어 네트워크(106b)는 다른 서비스 제공자가 소유하고/하거나 동작하는 다른 유선 또는 무선 네트워크를 포함할 수 있는 네트워크(112)에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있다.

도 17e는 각각 RAN(104) 및 코어 네트워크(106)의 예시적인 구현을 포함하는 RAN(104c) 및 코어 네트워크(106c)를 포함하는 통신 시스템(100)의 실시예의 시스템 다이어그램이다. RAN(104), 예를 들어 RAN(104c)은 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 IEEE 802.16 무선 기술을 이용하는 액세스 서비스 네트워크(ASN)일 수 있다. 본 명세서에서 설명되는 바와 같이, WTRU(102a, 102b, 102c), RAN(104c) 및 코어 네트워크(106c)의 상이한 기능적 엔티티 사이의 통신 링크는 기준점으로서 정의될 수 있다.

도 17e에 도시된 바와 같이, RAN(104c)은 실시예와 일치하면서 다수의 기지국 및 ASN 게이트웨이를 포함할 수 있다는 것이 이해되어야 하지만, RAN(104c)은 기지국(180a, 180b, 180c) 및 ASN 게이트웨이(182)를 포함할 수 있다. 기지국(180a, 180b, 180c)은 각각 RAN(104c)에서 (도시되지 않은) 특정 셀과 연관될 수 있고, 각각 무선 인터페이스(116)를 통해 WTRU(102a, 102b, 102c)와 통신하기 위해 하나 이상의 송수신기를 포함할 수 있다. 일 실시예에서, 기지국(180a, 180b, 180c)은 MIMO 기술을 구현할 수 있다. 따라서, 기지국(180a)은 예를 들어 무선 신호를 WTRU(102a)로 송신하고, WTRU(102a)로부터 무선 신호를 수신하기 위해 다수의 안테나를 사용할 수 있다. 기지국(180a, 180b, 180c)은 또한 핸드오프 트리거링(handoff triggering), 터널 설정, 무선 자원 관리, 트래픽 분류, 서비스 품질(QoS) 정책 집행 등과 같은 이동성 관리 기능을 제공할 수 있다. ASN 게이트웨이(182)는 트래픽 집약 포인트의 역할을 할 수 있고, 페이징, 가입자 프로파일의 캐싱, 코어 네트워크(106c)로의 라우팅 등에 책임이 있을 수 있다.

WTRU(102a, 102b, 102c)와 RAN(104c) 사이의 무선 인터페이스(116)는 IEEE 802.16 규격을 구현하는 R1 기준점으로 정의될 수 있다. 또한, WTRU(102a, 102b, 102c)의 각각은 코어 네트워크(106c)로 (도시되지 않은) 논리적 인터페이스를 설정할 수 있다. WTRU(102a, 102b, 102c)와 코어 네트워크(106c) 사이의 논리적 인터페이스는 인증, 인가, IP 호스트 구성 관리, 및/또는 이동성 관리를 위해 사용될 수 있는 R2 기준점으로 정의될 수 있다.

기지국(180a, 180b, 180c)의 각각 사이의 통신 링크는 WTRU 핸드오버 및 기지국 사이의 데이터 전송을 용이하게 하기 위한 프로토콜을 포함하는 R8 기준점으로 정의될 수 있다. 기지국(180a, 180b, 180c)과 ASN 게이트웨이(182) 사이의 통신 링크는 R6 기준점으로 정의될 수 있다. R6 기준점은 WTRU(102a, 102b, 102c)의 각각과 연관된 이동성 이벤트에 기초하여 이동성 관리를 용이하게 하기 위한 프로토콜을 포함할 수 있다.

도 17e에 도시된 바와 같이, RAN(104c)은 코어 네트워크(106c)에 접속될 수 있다. RAN(104c)과 코어 네트워크(106c) 사이의 통신 링크는 예를 들어 데이터 전송 및 이동성 관리 능력을 용이하게 하기 위한 프로토콜을 포함하는 R3 기준점으로 정의될 수 있다. 코어 네트워크(106c)는 모바일 IP 홈 에이전트(MIP-HA)(184), 인증, 인가, 과금(authentication, authorization, accounting; AAA) 서버(186), 및 게이트웨이(188)를 포함할 수 있다. 상술한 요소의 각각이 코어 네트워크(106c)의 부분으로서 도시되어 있지만, 이들 요소 중 어느 하나는 코어 네트워크 오퍼레이터 이외의 엔티티가 소유하고/하거나 동작할 수 있다는 것이 이해되어야 한다.

MIP-HA(184)는 IP 어드레스 관리에 책임이 있을 수 있으며, WTRU(102a, 102b, 102c)가 상이한 ASN 및/또는 상이한 코어 네트워크 사이를 로밍하도록 할 수 있다. MIP-HA(184)는 WTRU(102a, 102b, 102c)와 IP 가능 장치 사이의 통신을 용이하게 하기 위해 인터넷(110)과 같은 패킷 교환 네트워크에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있다. AAA 서버(186)는 사용자를 인증하고 사용자 서비스를 지원하기 위한 책임이 있을 수 있다. 게이트웨이(188)는 다른 네트워크와의 연동을 용이하게 할 수 있다. 예를 들어, 게이트웨이(188)는 WTRU(102a, 102b, 102c)와 통상의 지상선 통신 장치 사이의 통신을 용이하게 하기 위해 PSTN(108)과 같은 회선 교환 네트워크에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있다. 게다가, 게이트웨이(188)는 다른 서비스 제공자가 소유하고/하거나 동작하는 다른 유선 또는 무선 네트워크를 포함할 수 있는 네트워크(112)에 액세스하는 WTRU(102a, 102b, 102c)를 제공할 수 있다.

도 17e에 도시되지 않았지만, RAN(104c)는 다른 ASN에 접속될 수 있고, 코어 네트워크(106c)는 다른 코어 네트워크에 접속될 수 있다는 것이 이해되어야 한다. RAN(104c)과 다른 ASN 사이의 통신 링크는 RAN(104c)과 다른 ASN 사이의 WTRU(102a, 102b, 102c)의 이동성을 조정하기 위한 프로토콜을 포함할 수 있는 R4 기준점으로 정의될 수 있다. 코어 네트워크(106c)와 다른 코어 네트워크 사이의 통신 링크는 홈 코어 네트워크와 방문 코어 네트워크 사이의 연동을 용이하게 하기 위한 프로토콜을 포함할 수 있는 R5 기준점으로 정의될 수 있다.

특징 및 요소가 특정 조합으로 상술되었지만, 당업자는 각각의 특징 또는 요소가 단독으로 또는 다른 특징 및 요소와의 임의의 조합으로 사용될 수 있다는 것을 이해할 것이다. 또한, 본 명세서에 설명된 방법은 컴퓨터 또는 프로세서에 의한 실행을 위한 컴퓨터 판독 가능 매체에 포함되는 컴퓨터 프로그램, 소프트웨어 또는 펌웨어로 구현될 수 있다. 컴퓨터 판독 가능 매체의 예는 (유선 또는 무선 접속을 통해 전송된) 전자 신호 및 컴퓨터 판독 가능 저장 매체를 포함한다. 컴퓨터 판독 가능 저장 매체의 예는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 장치, 내부 하드 디스크 및 이동식 디스크와 같은 자기 매체, 자기 광 매체, 및 CD-ROM 디스크 및 디지털 다기능 디스크(DVD)와 같은 광학 매체를 포함하지만, 이에 한정되지 않는다. 소프트웨어와 연관된 프로세서는 WTRU, 단말기, 기지국, RNC, 또는 임의의 호스트 컴퓨터에 사용하기 위한 무선 주파수 송수신기를 구현하는데 이용될 수 있다. 하나 이상의 예시적인 실시예에 따라 본 명세서에 설명된 특징 및/또는 요소는 하나 이상의 다른 예시적인 실시예에 따라 본 명세서에 설명된 특징 및/또는 요소와 조합하여 사용될 수 있다.