本発明は、スケーラブルビデオ符号化のための動きベクトルの予測の方法および装置に関する。

関連出願の相互参照 本出願は、2012年8月29日に出願された米国特許仮出願第61/694,555号明細書、2012年12月7日に出願された米国特許仮出願第61/734,650号明細書、および2013年8月16日に出願された米国特許仮出願第61/866,822号明細書の利益を主張するものであり、これらの仮出願の内容は、参照により本明細書に組み込まれる。

過去20年にわたって、デジタルビデオ圧縮技術が、効率的なデジタルビデオ通信、配信、および消費を可能にするために開発され、規格化されてきた。MPEG−2およびH.264(MPEG−4パート10)など、商業的に広く展開された規格のほとんどは、ISO/IECおよびITU−Tによって開発されている。ビデオ圧縮技術の登場と成熟とによって、高効率ビデオ符号化(HEVC:High Efficiency Video Coding)が、開発され得る。

衛星、ケーブル、および地上波送信チャネルを介したこれまでのデジタルビデオサービスと比較して、それに限定されないがビデオチャット、モバイルビデオ、およびストリーミングビデオなどのますます多くのビデオアプリケーションが、クライアント側およびネットワーク側で異種であり得る環境において使用される可能性がある。スマートフォン、タブレット、およびTVが、ネットワーク側で広く用いられている可能性があり、ビデオは、インターネット、モバイルネットワーク、および/またはそれら両方の組み合わせを介して送信される可能性がある。ユーザエクスペリエンスおよびサービスのビデオの品質を改善するために、スケーラブルビデオ符号化(SVC)が、実装される可能性がある。SVCにおいては、信号は、最も高い解像度で1回符号化されるが、アプリケーションによって望まれ、クライアントデバイスによってサポートされる特定のレートおよび解像度に応じてストリームのサブセットから復号することを可能にし得る。国際的なビデオ規格MPEG−2 Video、H.263、MPEG−4 Visual、およびH.264は、スケーラビリティモードをサポートするためのツールおよび/またはプロファイルを有する可能性がある。

レイヤ間の動きマッピング情報が、ビットストリームの拡張レイヤ(enhancement layer)の時間的動きベクトル予測(TMVP:temporal motion vector prediction)を可能にするために使用され得る。例えば、拡張レイヤのビデオブロックの基準画像(picture)が、並置された(collocated)基本レイヤ(base layer)のビデオブロックに基づいて決定され得る。拡張レイヤのビデオブロックは、ビットストリームの拡張レイヤに関連付けられる可能性があり、並置された基本レイヤのビデオブロックは、ビットストリームの基本レイヤに関連付けられる可能性がある。例えば、拡張レイヤのビデオブロックは、拡張レイヤの画像に関連付けられる可能性があり、並置された基本レイヤのビデオブロックは、基本レイヤの画像に関連付けられる可能性がある。並置された基本レイヤのビデオブロックは、拡張レイヤのビデオブロックとの最も大きな面積の重なりによって特徴付けられる並置された基本レイヤの画像のビデオブロックを選択することによって決定され得る。ビデオブロックは、ビットストリームの任意のレベルの動作単位である可能性がある。ビデオブロックは、任意のサイズ(例えば、ブロックサイズ(例えば、16x16)、PU、SPUなど)であり得る。

拡張レイヤのビデオブロックの基準画像は、並置された基本レイヤのビデオブロックの基準画像を決定することによって決定され得る。拡張レイヤのビデオブロックの基準画像は、並置された基本レイヤのビデオブロックの基準画像の並置された拡張レイヤの画像である可能性がある。拡張レイヤのビデオブロックの基準画像は、並置された基本レイヤのビデオブロックの基準画像を決定し、並置された基本レイヤのビデオブロックの基準画像を使用してレイヤ間ビデオブロックの基準画像を決定し、レイヤ間ビデオブロックの基準画像を使用して拡張レイヤのビデオブロックの基準画像を決定することによって決定され得る。レイヤ間ビデオブロックは、拡張レイヤのビデオブロックおよび/または基本レイヤのビデオブロックと並置される可能性がある。

拡張レイヤのビデオブロックの動きベクトル(MV)が、並置された基本レイヤのビデオブロックのMVに基づいて決定され得る。拡張レイヤのビデオブロックのMVは、並置された基本レイヤのビデオブロックのMVを決定し、並置された基本レイヤのビデオブロックのMVを基本レイヤと拡張レイヤとの間の空間的な比率に従ってスケーリングして拡張レイヤのビデオブロックのMVを決定することによって決定され得る。

拡張レイヤのビデオブロックのMVは、並置された基本レイヤのビデオブロックのMVを決定し、並置された基本レイヤのビデオブロックのMVを基本レイヤと拡張レイヤとの間の空間的な比率に従ってスケーリングしてレイヤ間ビデオブロックのMVを決定し、レイヤ間ビデオブロックのMVに基づいて拡張レイヤのビデオブロックのMVを予測することによって決定され得る。例えば、拡張レイヤのビデオブロックのMVは、レイヤ間ビデオブロックのMVに対して時間的なスケーリングを実行することによってレイヤ間ビデオブロックのMVに基づいて予測され得る。レイヤ間ビデオブロックは、拡張レイヤのビデオブロックおよび/または基本レイヤのビデオブロックと並置される可能性がある。

TMVPが、レイヤ間ビデオブロックのMVおよび/または基準画像を使用して拡張レイヤのビデオブロックに対して実行され得る。拡張レイヤのビデオブロックは、拡張レイヤのビデオブロックの基準画像および/もしくはMVならびに/またはレイヤ間ビデオブロックの基準画像および/もしくはMVに基づいて復号され得る。

方法は、基本レイヤおよび拡張レイヤを含むビットストリームを受信するステップと、符号化されたビットストリームの拡張レイヤを時間的動きベクトル予測(TMVP)を使用して復号するステップとを含む可能性がある。レイヤ間基準画像が、拡張レイヤのTMVPのための並置された基準画像として使用され得る。

符号化されたビットストリームの拡張レイヤをTMVPを使用して復号するステップは、TMVPを使用して拡張レイヤの画像を復号するステップを含み得る。TMVPを使用して拡張レイヤの画像を復号するステップは、レイヤ間基準画像の動きベクトル(MV)場(motion vector (MV) field)を決定するステップと、レイヤ間基準画像のMV場に基づいて拡張レイヤの画像を復号するステップとを含み得る。レイヤ間基準画像のMV場は、並置された基本レイヤの画像のMV場に基づいて決定され得る。MV場は、レイヤ間基準画像のビデオブロックのMVおよび基準画像のインデックスを含む可能性がある。例えば、MV場は、レイヤ間基準画像の1または複数のビデオブロックのMVおよび1または複数の基準画像のインデックスを(例えば、それがPスライスであるかまたはBスライスであるかに応じて)含む可能性がある。レイヤ間基準画像のMV場を決定するステップは、並置された基本レイヤの画像の圧縮されたMV場を決定するステップと、並置された基本レイヤの画像の圧縮されたMV場に基づいてレイヤ間基準画像のMV場を決定するステップとを含み得る。

レイヤ間基準画像のMV場を決定するステップは、レイヤ間基準画像のビデオブロックの基準画像およびMVを決定するステップを含み得る。レイヤ間基準画像のビデオブロックの基準画像およびMVを決定するステップは、並置された基本レイヤのビデオブロックの基準画像に基づいてレイヤ間ビデオブロックの基準画像を決定するステップと、並置された基本レイヤのビデオブロックのMVに基づいてレイヤ間ビデオブロックのMVを決定するステップとを含み得る。並置された基本レイヤのビデオブロックは、レイヤ間基準画像のビデオブロックとの最も大きな面積の重なりによって特徴付けられ得る並置された基本レイヤの画像のビデオブロックを選択することによって決定され得る。

レイヤ間ビデオブロックの基準画像を決定するステップは、並置された基本レイヤのビデオブロックの基準画像を決定するステップと、レイヤ間ビデオブロックの基準画像を決定するステップとを含み得る。レイヤ間ビデオブロックの基準画像は、並置された基本レイヤのビデオブロックの基準画像の並置されたレイヤ間基準画像である可能性がある。レイヤ間ビデオブロックのMVを決定するステップは、並置された基本レイヤのビデオブロックのMVを決定するステップと、並置された基本レイヤのビデオブロックのMVを基本レイヤと拡張レイヤとの間の空間的な比率に従ってスケーリングしてレイヤ間ビデオブロックのMVを決定するステップとを含み得る。

拡張レイヤのビデオブロックのMV場は、レイヤ間ビデオブロックのMV場に基づいて決定され得る。拡張レイヤのビデオブロックは、レイヤ間ビデオブロックおよび/または基本レイヤのビデオブロックと並置される可能性がある。例えば、拡張レイヤのビデオブロックの基準画像が、(例えば、並置された拡張レイヤの画像である可能性がある)レイヤ間ビデオブロックの基準画像に基づいて決定され得る。拡張レイヤのビデオブロックのMVは、レイヤ間ビデオブロックのMVに基づいて決定され得る。例えば、レイヤ間ビデオブロックのMVは、拡張レイヤのビデオブロックのMVを決定するためにスケーリングされる(例えば、時間的にスケーリングされる)可能性がある。拡張レイヤのビデオブロックは、拡張レイヤのビデオブロックのMV場に基づいて復号され得る。

方法は、基本レイヤおよび拡張レイヤならびにレイヤ間の動きマッピング情報を含むビットストリームを受信するステップと、拡張レイヤのレイヤ間の動き予測を実行するステップとを含み得る。レイヤ間の動き予測がレイヤ間のマッピング情報に基づいて拡張レイヤに関して可能にされることが、決定され得る。

レイヤ間のマッピング情報は、ビットストリームのシーケンスレベルでシグナリングされ得る。例えば、レイヤ間のマッピング情報は、ビットストリームのシーケンスレベルでシグナリングされる変数(例えば、フラグ)である可能性がある。レイヤ間のマッピング情報は、ビットストリームのシーケンスレベルで推測され得る。レイヤ間のマッピング情報は、ビットストリームのビデオパラメータセット(VPS)の変数(例えば、フラグ)を介してシグナリングされ得る(例えば、レイヤ間のマッピング情報は、ビットストリームのVPSのフラグである可能性がある)。例えば、レイヤ間のマッピング情報は、ビットストリームのシーケンスパラメータセット(SPS)の変数(例えば、フラグ)を介してシグナリングされ得る(例えば、レイヤ間のマッピング情報は、ビットストリームのSPSのフラグである可能性がある)。例えば、レイヤ間のマッピング情報は、ビットストリームの画像パラメータセット(PPS)の変数(例えば、フラグ)を介してシグナリングされ得る(例えば、レイヤ間のマッピング情報は、ビットストリームのPPSのフラグである可能性がある)。

SVCの空間的スケーラブル符号化のための追加的なレイヤ間予測を用いるスケーラブルな構造の例を示す図である。

HEVCのスケーラブル符号化のために考慮され得る例示的なレイヤ間予測の構造を示す図である。

空間的動きベクトル(MV)予測(SMVP:spatial motion vector (MV) prediction)の例を示す図である。

時間的MV予測(TMVP)の例を示す図である。

アップサンプリングされた基本レイヤへの基本レイヤの予測の構造の複製の例を示す図である。

アップサンプリングされた基本レイヤのSPUと元の基本レイヤのSPUとの間の例示的な関係を示す図である。

基本レイヤの画像のスライスと処理された基本レイヤの画像のスライスとの間の例示的な関係を示す図である。

基本レイヤの画像のスライスと処理された基本レイヤの画像のスライスとの間の例示的な関係を示す図である。

基本レイヤの画像のスライスと処理された基本レイヤの画像のスライスとの間の例示的な関係を示す図である。

時間的な短期的MVの間のMV予測を示す図である。

マッピングされた短期的MVからの時間的な短期的MVのMV予測を示す図である。

時間的な長期的MVの間のMV予測の例を示す図である。

マッピングされた長期的MVからの時間的な長期的MVのMV予測の例を示す図である。

時間的な長期的MVからの時間的な短期的MVのMV予測の例を示す図である。

マッピングされた長期的MVからの時間的な短期的MVのMV予測の例を示す図である。

時間的な短期的MVからの時間的な長期的MVのMV予測の例を示す図である。

マッピングされた短期的MVからの時間的な長期的MVのMV予測の例を示す図である。

レイヤ間MVからの時間的な短期的MVの不可能にされるMV予測の例を示す図である。

時間的な短期的MVからのレイヤ間MVの不可能にされるMV予測の例を示す図である。

マッピングされた短期的MVからのレイヤ間MVの不可能にされるMV予測の例を示す図である。

レイヤ間MVからの時間的な長期的MVの不可能にされるMV予測の例を示す図である。

時間的な長期的MVからのレイヤ間MVの例を示す図である。

マッピングされた長期的MVからのレイヤ間MVの例を示す図である。

Te=Tpであるときの2つのレイヤ間MVの間のMV予測の例を示す図である。

Te≠Tpであるときのレイヤ間MVの間の不可能にされるMV予測の例を示す図である。

1または複数の開示された実施形態が実装され得る例示的な通信システムのシステム図である。

図14Aに示された通信システム内で使用され得る例示的な無線送受信ユニット(WTRU)のシステム図である。

図14Aに示された通信システム内で使用され得る例示的な無線アクセスネットワークおよび例示的なコアネットワークのシステム図である。

図14Aに示された通信システム内で使用され得る別の例示的な無線アクセスネットワークおよび別の例示的なコアネットワークのシステム図である。

図14Aに示された通信システム内で使用され得る別の例示的な無線アクセスネットワークおよび別の例示的なコアネットワークのシステム図である。

ブロックに基づくビデオエンコーダの例を示すブロック図である。

ブロックに基づくビデオデコーダの例を示すブロック図である。

例示的な通信システムを示す図である。

部分的なビットストリームのレートと比べて高い可能性がある再構築の品質を保ちながら、より低い時間解像度、空間解像度、および/または削減された忠実度のビデオサービスを提供するためのビットストリーム(例えば、部分的なビットストリーム)の符号化および/または復号(例えば、ならびに送信および/または受信)が、例えば、H.264のスケーラビリティ拡張(scalability extension)によって提供され得る。図1は、SVCの空間的スケーラブル符号化のための追加的なレイヤ間予測を用いるスケーラブルな構造の例を示す図である。図100は、スケーラブル符号化の効率を改善し得る2つのレイヤのSVCレイヤ間予測メカニズムの例を示す可能性がある。同様のメカニズムが、複数のレイヤのSVC符号化の構造に適用され得る。図100において、基本レイヤおよび拡張レイヤは、異なる解像度の2つの隣接する空間的なスケーラブルなレイヤを表す可能性がある。レイヤ(例えば、基本レイヤおよび/または拡張レイヤ)内では、例えば、H.264エンコーダによって、動き補償予測および/またはイントラ予測が使用され得る。レイヤ間予測は、基本レイヤの情報(例えば、空間的なテクスチャ(texture)、動きベクトル、基準画像のインデックス、残差信号など)を使用して拡張レイヤの符号化効率を改善し得る。拡張レイヤを復号するとき、SVCは、完全に再構築されるために下位レイヤ(例えば、現在のレイヤの従属レイヤ)からの基準画像を使用しない可能性がある。

レイヤ間予測は、例えば、複数のレイヤの間の相関を決定する、および/またはスケーラブル符号化の効率を改善するためにスケーラブル符号化システム(例えば、HEVCのスケーラブル符号化拡張)で使用される可能性がある。図2は、HEVCのスケーラブル符号化のために考慮され得る例示的なレイヤ間予測の構造を示す図である。例えば、図200は、HEVCの空間的スケーラブル符号化のための追加的なレイヤ間予測を用いるスケーラブルな構造の例を示す可能性がある。拡張レイヤの予測は、現在の拡張レイヤ内での時間的予測によって、および/または基本レイヤの再構築の信号を時間的予測の信号と平均することによって、(例えば、2つのレイヤの間の空間解像度が異なる場合はアップサンプリングの後)再構築された基本レイヤの信号から動き補償予測により形成され得る。下位レイヤの画像の完全な再構築が、実行される可能性がある。同様の実装が、3つ以上のレイヤを有するスケーラブル符号化システム(例えば、3つ以上のレイヤを有するHEVCのスケーラブル符号化システム)のために使用され得る。

HEVCは、先進的な動き補償予測技術を利用して、例えば、符号化されたビデオ画像のピクセルを使用して現在のビデオ画像のピクセルを予測することによってビデオ信号に固有の画像間の冗長性を決定し得る。例えば、動き補償予測においては、符号化されることになる現在の予測単位(PU:prediction unit)と基準画像内のその1または複数の合致するブロック(例えば、隣接するPU)との間の変位が、動きベクトル(MV)によって表され得る。MVは、2つの成分、MVxおよびMVyを含み得る。MVxおよびMVyは、それぞれ、水平方向および垂直方向の変位を表し得る。MVxおよびMVyは、直接符号化される可能性があり、または直接符号化されない可能性がある。

先進的動きベクトル予測(AMVP:advanced motion vector prediction)が、隣接するPUの1または複数のMVからMVを予測するために使用される可能性がある。実際のMVとMV予測子(predictor)との間の差が、符号化される可能性がある。MVの差を符号化する(例えば、それだけを符号化する)ことによって、MVを符号化するために使用されるビットが、削減され得る。予測のために使用されるMVは、空間的および/または時間的な近隣から得られる可能性がある。空間的な近隣は、現在の符号化されるPUを囲む空間的PUを指す可能性がある。時間的な近隣は、隣接する画像内の並置されたPUを指す可能性がある。HEVCにおいては、正確なMV予測子を得るために、空間的なおよび/または時間的な近隣からの予測の候補が、候補リストを形成するためにまとめられる可能性があり、最良の予測子が、現在のPUのMVを予測するために選択される可能性がある。例えば、最良のMV予測子の選択は、ラグランジュのレート歪み(R−D)(Lagrangian rate-distortion (R-D))のコストなどに基づく可能性がある。MVの差が、ビットストリームに符号化され得る。

図3は、空間的MV予測(SMVP)の例を示す図である。図300は、隣接する基準画像310、現在の基準画像320、および現在の画像330の例を示す可能性がある。符号化されることになる現在の画像(CurrPic330)で、細かく刻まれた正方形(CurrPU332)が、現在のPUである可能性がある。CurrPU332は、基準画像(CurrRefPic320)内に最も一致するブロック(CurrRefPU322)を有する可能性がある。CurrPUのMV(MV2 340)が、予測され得る。例えば、HEVCにおいては、現在のPUの空間的な近隣は、現在のPU332の上、左、左上、左下、または右上の隣接するPUである可能性がある。例えば、隣接するPU334は、CurrPU332の上隣として示される可能性がある。NeighbPUの基準画像(NeighbRefPic310)、PU314、およびMV(MV1 350)は、例えば、NeighbPU334がCurrPU332の前に符号化された可能性があるために知られている可能性がある。

図4は、時間的MV予測(TMVP)の例を示す図である。図400は、例えば、4つの画像、ColRefPic410、CurrRefPic420、ColPic430、およびCurrPic440を含む可能性がある。符号化されることになる現在の画像(CurrPic440)で、細かく刻まれた正方形(CurrPU442)が、現在のPUである可能性がある。細かく刻まれた正方形(CurrPU442)は、基準画像(CurrRefPic420)内に最も一致するブロック(CurrRefPU422)を有する可能性がある。CurrPUのMV(MV2 460)が、予測され得る。例えば、HEVCにおいては、現在のPUの時間的な近隣は、例えば、隣接する画像(ColPic430)の一部である可能性がある並置されたPU(ColPU432)である可能性がある。ColPUの基準画像(ColRefPic410)、PU412、およびMV(MV1 450)は、例えば、ColPic430がCurrPic440の前に符号化された可能性があるために知られている可能性がある。

PUの間の動きは、一様な速度の平行移動である可能性がある。2つのPUの間のMVは、2つの関連付けられた画像が撮影される時間の間の時間的距離に比例する可能性がある。動きベクトル予測子は、(例えば、AMVPで)現在のPUのMVを予測する前にスケーリングされる可能性がある。例えば、CurrPicとCurrRefPicとの間の時間的距離は、TBと呼ばれる可能性がある。例えば、(例えば、図3の)CurrPicとNeighbRefPicとの間、または(例えば、図4の)ColPicとColRefPicとの間の時間的距離は、TDと呼ばれる可能性がある。TBとTDとの両方が与えられると、MV2のスケーリングされた予測子(例えば、MV2’)は、

に等しい可能性がある。

短期的および長期的な基準画像が、サポートされ得る。例えば、復号画像バッファ(DPB:decoded picture buffer)に記憶される基準画像は、短期的な基準画像または長期的な基準画像として印を付けられる可能性がある。例えば、式(1)のような動きベクトルのスケーリングは、基準画像のうちの1または複数が長期的な基準画像である場合、不可能にされる可能性がある。

複数のレイヤのビデオ符号化のためのMV予測の使用が、本明細書において説明される可能性がある。本明細書において説明される例は、基礎を成すシングルレイヤ符号化規格としてHEVC規格を使用し、2つの空間的なレイヤ(例えば、拡張レイヤおよび基本レイヤ)を有するスケーラブルシステムを使用する可能性がある。本明細書において説明される例は、その他の種類の基礎を成すシングレイヤコーデックを使用し、3つ以上のレイヤを有し、および/またはその他の種類のスケーラビリティをサポートするその他のスケーラブル符号化システムに適用可能である可能性がある。

ビデオスライス(例えば、PスライスまたはBスライス)の復号の初めに、DPB内の1または複数の基準画像が、動き補償予測のためにPスライスの基準画像リスト(例えば、list0)および/またはBスライスの2つの基準画像リスト(例えば、list0およびlist1)に追加される可能性がある。スケーラブル符号化システムは、拡張レイヤの時間的な基準画像および/または基本レイヤからの処理された基準画像(例えば、空間解像度がレイヤの間で異なる可能性がある場合はアップサンプリングされた基本レイヤの画像)を使用して動き補償予測を適用する可能性がある。拡張レイヤ内の現在の画像のMVを予測するとき、基本レイヤからの処理された基準画像を指すレイヤ間MVが、拡張レイヤの時間的な基準画像を指す時間的MVを予測するために使用される可能性がある。時間的MVが、レイヤ間MVを予測するために使用される可能性もある。これら2種類のMVの間にはほとんど相関がない可能性があるので、拡張レイヤに関するMV予測の効率の低下が生じる可能性がある。シングルレイヤコーデックは、密接に相互に関連付けられる可能性があり、MV予測の性能を改善するために使用され得る、基本レイヤの画像間の時間的MVからの、拡張レイヤの画像間の時間的MVの予測をサポートしない可能性がある。

MV予測プロセスが、簡単にされる可能性があり、および/またはマルチレイヤビデオ符号化の圧縮効率が、改善される可能性がある。拡張レイヤにおけるMV予測は、シングルレイヤエンコーダのMV予測プロセスと後方互換性がある可能性がある。例えば、シングルレイヤエンコーダおよびデコーダの論理が拡張レイヤのために再利用され得るように拡張レイヤ内のブロックレベルの動作にいかなる変更も必要としない可能性があるMV予測の実装が、あり得る。これは、スケーラブルシステムの実装の複雑さを削減し得る。拡張レイヤのMV予測は、拡張レイヤの時間的な基準画像を指す時間的MVと、基本レイヤからの処理された(例えば、アップサンプリングされた)基準画像を指すレイヤ間MVとを区別し得る。これは、符号化効率を改善し得る。拡張レイヤにおけるMV予測は、拡張レイヤの画像の間の時間的MVと基本レイヤの画像の間の時間的MVとの間のMV予測をサポートし得る。これは、符号化効率を改善し得る。空間解像度が2つのレイヤの間で異なるとき、基本レイヤの画像の間の時間的MVは、2つのレイヤの空間解像度の比に従ってスケーリングされる可能性がある。

本明細書において説明される実装は、例えば、マッピングされた基本レイヤのMVがAMVP(例えば、図4のTMVPモード)のプロセスで拡張レイヤのMVを予測するために使用され得るような、基本レイヤのMVのためのレイヤ間の動き情報マッピングアルゴリズムに関連する可能性がある。ブロックレベルの動作は、変更されない可能性がある。シングルレイヤエンコーダおよびデコーダは、拡張レイヤのMV予測に関する変更なしに適用され得る。拡張レイヤの符号化および復号プロセスに関するブロックレベルの変更を含み得るMV予測ツールが、本明細書において説明される可能性がある。

レイヤ間は、処理された基本レイヤおよび/またはアップサンプリングされた基本レイヤを含む可能性がある。例えば、レイヤ間、処理された基本レイヤ、および/またはアップサンプリングされた基本レイヤは、交換可能なように使用される可能性がある。レイヤ間基準画像、処理された基本レイヤの基準画像、および/またはアップサンプリングされた基本レイヤの基準画像は、交換可能なように使用される可能性がある。レイヤ間ビデオブロック、処理された基本レイヤのビデオブロック、および/またはアップサンプリングされた基本レイヤのビデオブロックは、交換可能なように使用される可能性がある。拡張レイヤと、レイヤ間と、基本レイヤとの間に時間的な関係がある可能性がある。例えば、拡張レイヤのビデオブロックおよび/または画像が、レイヤ間および/または基本レイヤの時間的に対応するビデオブロックおよび/または画像に関連付けられる可能性がある。

ビデオブロックは、ビットストリームの任意の階層および/またはレベルの動作単位である可能性がある。例えば、ビデオブロックは、画像レベル、ブロックレベル、スライスレベルなどの動作単位を指す可能性がある。ビデオブロックは、任意のサイズであり得る。例えば、ビデオブロックは、4x4ビデオブロック、8x8ビデオブロック、16x16ビデオブロックなどの任意のサイズのビデオブロックを指す可能性がある。例えば、ビデオブロックは、予測単位(PU)、最小PU(SPU)などを指す可能性がある。PUは、例えば、基準画像のインデックスおよびMVを含む動き予測に関連付けられた情報を運ぶために使用されるビデオブロックの単位である可能性がある。1つのPUが、1または複数の最小PU(SPU)を含む可能性がある。同じPU内のSPUは同一のMVで同じ基準画像を指す可能性があるが、SPUの単位で動き情報を記憶することは、一部の実装において、動き情報の取り出しを助け得る。動き情報(例えば、MV場)は、PU、SPUなどのビデオブロックの単位で記憶され得る。本明細書に記載の例は、画像、ビデオブロック、PU、および/またはSPUに関連して説明される可能性があるが、任意のサイズの任意の動作単位(例えば、画像、ビデオブロック、PU、SPUなど)が、使用され得る。

再構築された基本レイヤの信号のテクスチャが、拡張レイヤのレイヤ間予測のために処理される可能性がある。例えば、空間的なスケーラビリティが2つのレイヤの間で可能にされるとき、レイヤ間基準画像の処理は、1または複数の基本レイヤの画像のアップサンプリングを含む可能性がある。動きに関連付けられた情報(例えば、MV、基準画像のリスト、基準画像のインデックスなど)は、基本レイヤからの処理された基準画像に関して適切に生成されない可能性がある。失われた動き情報は、(例えば、図4に示されたように)時間的MV予測子が処理された基本レイヤの基準画像から来るときに(例えば、TMVPによって)拡張レイヤのMVを予測することに影響を与える可能性がある。例えば、処理された基本レイヤの基準画像が、時間的な並置されたPU(ColPU)を含む時間的な隣接する画像(ColPic)として選択されるとき、MV予測子(MV1)および基準画像(ColRefPic)が処理された基本レイヤの基準画像に関して適切に生成されない場合、TMVPは、適切に機能しない可能性がある。拡張レイヤのMV予測のためのTMVPを可能にするために、レイヤ間の動き情報マッピングの実装が、例えば、本明細書において説明されるように利用され得る。例えば、(例えば、MVおよび基準画像を含む)MV場が、処理された基本レイヤの基準画像に関して生成される可能性がある。

現在のビデオスライスの基準画像が、1または複数の変数、例えば、基準画像のリストListX(例えば、Xは0または1である)、ListX内の基準画像のインデックスrefIdxなどによって指定され得る。図4の例を使用すると、並置されたPU(ColPU)の基準画像(ColRefPic)を得るために、処理された基準画像(ColPic)内のPU(例えば、各PU)(ColPU)の基準画像が生成される可能性がある。これは、ColPicの基準画像のリスト、および/またはColPic内のColPU(例えば、各ColPU)に関する基準画像のインデックスを生成することに細分化され得る。基準画像のリストが与えられたものとして、処理された基本レイヤの基準画像内のPUに関する基準画像のインデックスの生成が、本明細書において説明される可能性がある。処理された基本レイヤの基準画像に関する基準画像のリストの情報に関連する実装が、本明細書において説明される可能性がある。

基本レイヤおよび処理された基本レイヤは相互に関連付けられる可能性があるので、基本レイヤおよび処理された基本レイヤは、同じまたは実質的に同じ予測の依存性を有すると推測され得る。基本レイヤの画像の予測の依存性が、処理された基本レイヤの画像の基準画像のリストを形成するために複製され得る。例えば、基本レイヤの画像BL1が、基準画像のリストListX(例えば、Xは0または1である)の基準画像のインデックスrefIdxを有する別の基本レイヤの画像BL2の時間的な基準画像である場合、BL1の処理された基本レイヤの画像pBL1が、BL2の処理された基本レイヤの画像pBL2の同じインデックスrefIdxとともに同じ基準画像のリストListX(例えば、Xは0または1である)に追加される可能性がある。図5は、アップサンプリングされた基本レイヤへの基本レイヤの予測の構造の複製の例を示す図である。図500は、(例えば、図の実線によって表された)基本レイヤの動き予測のために適用された同じ階層的B構造(hierarchical-B structure)が(例えば、図の破線によって表された)アップサンプリングされた基本レイヤの動き情報として複製される空間的なスケーラビリティの例を示す。

処理された基本レイヤの予測単位(PU)の基準画像が、並置された基本レイヤのPUに基づいて決定され得る。例えば、処理された基本レイヤのPUの並置された基本レイヤのPUが、決定され得る。並置された基本レイヤのPUは、本明細書において説明されるように、例えば、処理された基本レイヤのPUとの最も大きな面積の重なりによって特徴付けられる並置された基本レイヤの画像のPUを選択することによって決定され得る。並置された基本レイヤのPUの基準画像が、決定され得る。処理された基本レイヤのPUの基準画像は、並置された基本レイヤのPUの基準画像の並置された処理された基本レイヤの画像であると決定される可能性がある。処理された基本レイヤのPUの基準画像が、拡張レイヤのTMVPのため、および/または拡張レイヤ(例えば、並置された拡張レイヤのPU)を復号するために使用され得る。

処理された基本レイヤのPUは、処理された基本レイヤの画像に関連付けられる可能性がある。処理された基本レイヤの画像のMV場は、例えば、拡張レイヤの画像(例えば、並置された拡張レイヤのPU)のTMVPのための処理された基本レイヤのPUの基準画像を含み得る。基準画像のリストが、処理された基本レイヤの画像に関連付けられる可能性がある。処理された基本レイヤの画像の基準画像のリストは、処理された基本レイヤのPUの基準画像のうちの1または複数を含み得る。処理された基本レイヤの画像(例えば、各画像)は、基本レイヤの対応する画像から同じ画像順序カウント(POC:picture order count)および/または短期的/長期的な画像の印付けを受け継ぐ可能性がある。

1.5xのアップサンプリングの比率での空間的なスケーラビリティが、例として使用される可能性がある。図6は、アップサンプリングされた基本レイヤのSPUと元の基本レイヤのSPUとの間の例示的な関係を示す図である。図600は、アップサンプリングされた基本レイヤのSPU(例えば、u_iと表記されるブロック)と元の基本レイヤのSPU(例えば、b_jと表記されるブロック)との間の例示的な関係を示す可能性がある。例えば、さまざまなアップサンプリングの比率および画像内の座標が与えられると、アップサンプリングされた基本レイヤの画像内のSPUが、元の基本レイヤの画像からのさまざまな数および/または割合のSPUに対応する可能性がある。例えば、SPU u₄は、基本レイヤの4つのSPU(例えば、b₀、b₁、b₂、およびb₃)の領域を覆う可能性がある。SPU u₁は、2つの基本レイヤのSPU(例えば、b₀およびb₁)を覆う可能性がある。SPU u₀は、単一の基本レイヤのSPU(例えば、b₀)を覆う可能性がある。処理された基本レイヤの画像内のSPUに関する基準画像のインデックスおよびMVを、例えば、元の基本レイヤの画像からのそれらの対応するSPUの動き情報を使用して推定するために、MV場のマッピングの実装が利用され得る。

処理された基本レイヤのPUのMVが、並置された基本レイヤのPUのMVに基づいて決定され得る。例えば、処理された基本レイヤのPUの並置された基本レイヤのPUが、決定され得る。並置された基本レイヤのPUのMVが、決定され得る。基本レイヤのPUのMVは、処理された基本レイヤのPUのMVを決定するためにスケーリングされ得る。例えば、基本レイヤのPUのMVは、処理された基本レイヤのPUのMVを決定するために、基本レイヤと拡張レイヤとの間の空間的な比率に従ってスケーリングされる可能性がある。処理された基本レイヤのPUのMVは、拡張レイヤ(例えば、並置された拡張レイヤのPU)のTMVPのため、および/または拡張レイヤ(例えば、並置された拡張レイヤのPU)を復号するために使用され得る。

処理された基本レイヤのPUは、拡張レイヤの画像(例えば、拡張レイヤの画像のPU)に関連付けられる(例えば、時間的に関連付けられる)可能性がある。並置された拡張レイヤの画像のMV場は、例えば、拡張レイヤの画像(例えば、並置された拡張レイヤのPU)のTMVPのための処理された基本レイヤのPUのMVに基づく可能性がある。拡張レイヤのPU(例えば、並置された拡張レイヤのPU)のMVが、処理された基本レイヤのPUのMVに基づいて決定され得る。例えば、拡張レイヤのPU(例えば、並置された拡張レイヤのPU)のMVは、処理された基本レイヤのPUのMVを使用して予測され(例えば、空間的に予測され)得る。

処理された基本レイヤの画像内のSPU(例えば、各SPU)に関する基準画像が、基本レイヤの対応するSPUの基準画像のインデックスに基づいて選択され得る。例えば、処理された基本レイヤの画像内のSPUに関して、基本レイヤの画像からのその対応するSPUによって最も頻繁に使用された可能性がある基準画像のインデックスを決定するために、多数決が適用される可能性がある。例えば、処理された基本レイヤの画像内の1つのSPU u_hが基本レイヤからのK個のSPU b_i(i=0,1,...,K−1)に対応すると仮定すると、処理された基本レイヤの画像の基準画像のリストに、インデックス{0,1,...,M−1}を有するM個の基準画像が存在する可能性がある。基本レイヤからのK個の対応するSPUが、i=0,1,...,K−1に対してr_i∈{0,1,...,M−1}であるインデックス{r₀,r₁,...,r_K-1}を有する基準画像の集合から予測されると仮定すると、u_hの基準画像のインデックスは、式(2)によって決定され得る。 r(u_h)=r_l, l=argmax_{i∈{0,1,...,K-1}}C(r_i) 式(2) ここで、C(r_i),i=0,1,...,K−1は、基準画像r_iが使用される可能性がある回数のカウンタである可能性がある。例えば、基本レイヤの画像が{0,1}と表記される2つの基準画像(M=2)を有し、処理された基本レイヤの画像内の所与のu_hが{0,1,1,1}から予測された4つの(K=4)基本レイヤのSPUに対応する可能性がある(例えば、{r₀,r₁,...,r₃}が{0,1,1,1}に等しい可能性がある)場合、r(u_h)は、式(2)に従って1に設定され得る。例えば、(例えば、式(2)を適用するときにC(r_i)が同じである状況を打開するために)より小さな時間的距離を有する2つの画像ほどより高い相関を有する可能性があるので、現在の処理された画像への最小のPOCの距離を有する基準画像r_iが選択される可能性がある。

処理された基本レイヤの画像内の異なるSPUが、(例えば、図6に示されるように)元の基本レイヤからのさまざまな数および/または割合のSPUに対応する可能性がある。最も大きな覆われた面積を有する基本レイヤのSPUの基準画像のインデックスが、処理された基本レイヤ内の対応するSPUの基準画像を決定するために選択され得る。処理された基本レイヤ内の所与のSPUu_hに関して、その基準画像のインデックスは、式(3)によって決定され得る。 r(u_h)=r_l, l=argmax_{i∈{0,1,...,K-1}}S_i 式(3) ここで、S_iは、基本レイヤからのi番目の対応するSPU b_iによって覆われる面積である可能性がある。例えば、2つ以上の対応するSPUが同じ面積のサイズを覆うときに、式(3)のS_iが同じである状況を打開するために、現在の処理された画像への最小のPOCの距離を有する基準画像r_iが選択される可能性がある。

対応する基本レイヤのSPU b_jは、イントラモードによって符号化される可能性がある。(例えば、対応する基本レイヤのSPU b_jの)基準画像のインデックスが、−1に設定される可能性があり、式(2)および/または式(3)を適用するときに考慮されない可能性がある。対応する基本レイヤのSPU b_jがイントラ符号化される場合、SPU u_hの基準画像のインデックスが、−1に設定され、および/またはTMVPのために利用不可能であるものとして印を付けられる可能性がある。

処理された基本レイヤ内の所与のSPU u_hに関して、その対応するSPU b_iの面積は、同じでない可能性がある。処理された基本レイヤの画像内のSPU(例えば、各SPU)のMVは、例えば、本明細書において説明されるように、面積に基づく実装を使用して推定され得る。

処理された基本レイヤの画像内の1つのSPU u_hのMVを推定するために、基本レイヤのSPUの候補b_iの中でSPU u_hによって覆われる最大の面積(例えば、最大の重なり)を有する基本レイヤのSPU b_lのMVが、選択され得る。例えば、式4が使用され得る。 MV’=N・MV_l, l=argmax_{i∈{0,1,...,K-1}}S_i 式(4) MV’は、SPU u_hの結果として得られるMVを表記する可能性があり、MV_iは、基本レイヤからの第iの対応するSPU b_iのMVを表す可能性があり、Nは、レイヤ(例えば、基本レイヤと拡張レイヤと)の間の空間的な比率(例えば、空間解像度)に応じたアップサンプリング係数である可能性がある(例えば、Nは、2または1.5に等しい可能性がある)。例えば、アップサンプリング係数(例えば、N)は、処理された基本レイヤの画像内のPUのMVを計算するために、基本レイヤのPUから決定された結果として得られるMVをスケーリングするために使用され得る。

加重平均が、処理された基本レイヤ内のSPUのMVを決定するために使用され得る。例えば、加重平均が、基本レイヤ内の対応するSPUに関連付けられたMVを使用することによって、処理された基本レイヤ内のSPUのMVを決定するために使用され得る。加重平均を使用することは、例えば、処理された基本レイヤのMVの精度を高め得る。処理された基本レイヤ内のSPU u_hに関して、そのMVは、u_hと重なった1または複数の(例えば、それぞれの)基礎を成す基本レイヤのSPU b_iのMVに関する加重平均を決定することによって導出される可能性がある。例えば、これは、図5によって示され得る。

ここで、Bは、基準画像のインデックスが、例えば、式(2)および/または式(3)によって決定されたr(u_h)に等しい可能性がある基本レイヤからのSPU b_iのサブセットである可能性がある。

1または複数のフィルタ(例えば、ミディアムフィルタ、低域通過ガウスフィルタなど)が、例えば、MV’と表記されるマッピングされたMVを得るために、式(5)でBと表記されるMVのセットに適用され得る。信頼性に基づく平均(confidence based average)が、例えば、式6によって示されるように、推定されたMVの精度を改善するために使用され得る。

ここで、パラメータw_iは、SPU u_hのMVを推定するときの基本レイヤのSPU b_i(例えば、それぞれの基本レイヤのSPU b_i)のMVの信頼性の測定値である可能性がある。異なる測定基準が、w_iの値を導出するために使用され得る。例えば、w_iは、動き補償予測中の予測の残差の量に従って決定される可能性があり、MV_iがその隣接するMVとどれだけ統一性がある可能性があるかなどに従って決定される可能性がある。

処理された基本レイヤの画像の動き情報が、例えば、基本レイヤにおいて時間的な動き補償予測を実行するために使用される可能性がある基本レイヤの元の動き場(motion field)からマッピングされる可能性がある。(例えば、HEVCでサポートされる)動き場圧縮アルゴリズムが、例えば、基本レイヤの圧縮された動き場を生成するために基本レイヤの動き場に適用される可能性がある。処理された基本レイヤの画像のうちの1または複数の動き情報は、基本レイヤの圧縮された動き場からマッピングされ得る。

処理された基本レイヤの画像に関する失われた動き情報が例えば、本明細書において説明されるように生成され得る。シングルレイヤコーデック(例えば、HEVCコーデック)によってサポートされるTMVPが、ブロックレベルの動作への追加的な変更なしに拡張レイヤのために使用され得る。

例えば、本明細書において説明される基準画像のリストの生成プロセスおよび/またはMVのマッピングプロセスは、対応する基本レイヤの基準画像が1または複数のスライスで構成されるときに使用され得る。複数のスライスが基本レイヤの基準画像内に存在する場合、スライスのパーティション(partition)が、基本レイヤの画像から処理された基本レイヤの画像にマッピングされ得る。基準画像のリストの生成処理は、適切なスライスの種類および/または基準画像のリストを導出するために、処理された基本レイヤのスライスに関して実行される可能性がある。

図7A〜Cは、例えば、1.5xの空間的なスケーラビリティに関する、基本レイヤの画像のスライスと処理された基本レイヤの画像のスライスとの間の例示的な関係を示す図である。図7Aは、基本レイヤのスライスのパーティションの例を示す図701である。図7Bは、処理された基本レイヤのマッピングされたスライスのパーティションの例を示す図702である。図7Cは、処理された基本レイヤの調整されたスライスのパーティションの例を示す図703である。

基本レイヤの画像は、複数のスライス、例えば、図701に示されるように2つのスライスを含む可能性がある。処理された基本レイヤの画像内のマッピングされたスライスのパーティションは、例えば、(例えば、図702に示されるように)基本レイヤがアップサンプリングされるとき、拡張レイヤにおいて隣接する符号化ツリーブロック(CTB:coding tree block)の間の境界にまたがる可能性がある。これは、基本レイヤの画像と拡張レイヤの画像との間の異なる空間的な比率が原因である可能性がある。(例えば、HEVCの)スライスのパーティションは、CTBの境界に揃えられる可能性がある。処理された基本レイヤのスライスのパーティションは、例えば、図703に示されるように、スライスの境界がCTBの境界に揃えられるように調整される可能性がある。

拡張レイヤのTMVP導出プロセスは、制約を含む可能性がある。例えば、対応する基本レイヤの画像内に1つのスライスが存在する場合、処理された基本レイヤの画像が、並置された画像として使用され得る。レイヤ間の動き情報マッピング(例えば、本明細書において説明される基準画像のリストの生成および/またはMVのマッピング)は、対応する基本レイヤの画像内に2つ以上のスライスが存在するとき、処理された基本レイヤの基準画像に関して実行されない可能性がある。対応する基本レイヤの画像内に2つ以上のスライスが存在する場合、時間的な基準画像が、拡張レイヤのTMVP導出プロセスのための並置された画像として使用され得る。基本レイヤの画像内のスライスの数が、レイヤ間基準画像および/または時間的な基準画像を拡張レイヤのTMVPのための並置された画像として使用すべきかどうかを決定するために使用され得る。

対応する基本レイヤの画像内に1つのスライスがある場合、および/またはスライス情報(例えば、スライスの種類、対応する基本レイヤの画像内のスライスの基準画像のリストなど)が同一である場合、処理された基本レイヤの画像が、並置された画像として使用され得る。レイヤ間の動き情報マッピング(例えば、本明細書において説明される基準画像のリストの生成および/またはMVのマッピング)は、対応する基本レイヤの画像内の2つ以上のスライスが異なるスライス情報を有するとき、処理された基本レイヤの基準画像に関して実行されない可能性がある。対応する基本レイヤの画像内の2つ以上のスライスが異なるスライス情報を有する場合、時間的な基準画像が、拡張レイヤのTMVP導出プロセスのための並置された画像として使用され得る。

動き情報マッピングは、さまざまなシングルレイヤMV予測技術がスケーラブル符号化システムのために使用されることを可能にし得る。ブロックレベルのMV予測動作が、拡張レイヤの符号化の性能を改善するために適用され得る。拡張レイヤのMV予測は、本明細書において説明される可能性がある。基本レイヤのMV予測プロセスは、変更されないままである可能性がある。

時間的MVは、同じ拡張レイヤからの基準画像を指すMVを指す可能性がある。レイヤ間MVは、別のレイヤ、例えば、処理された基本レイヤの基準画像を指すMVを指す可能性がある。マッピングされたMVは、処理された基本レイヤの画像に関して生成されたMVを指す可能性がある。マッピングされたMVは、マッピングされた時間的MVおよび/またはマッピングされたレイヤ間MVを含み得る。マッピングされた時間的MVは、最後の符号化レイヤの時間的予測から生じるマッピングされたMVを指す可能性がある。マッピングされたレイヤ間MVは、最後の符号化レイヤのレイヤ間予測から生成されたマッピングされたMVを指す可能性がある。マッピングされたレイヤ間MVは、3つ以上のレイヤを有するスケーラブル符号化システムに関して存在し得る。時間的MVおよび/またはマッピングされた時間的MVは、例えば、MVが短期的な基準画像を指すか、または長期的な基準画像を指すかに応じて、短期的MVまたは長期的MVである可能性がある。時間的な短期的MVおよびマッピングされた短期的MVは、それぞれの符号化レイヤの短期的な時間的参照を用いる時間的MVおよびマッピングされた時間的MVを指す可能性がある。時間的な長期的MVおよびマッピングされた長期的MVは、それらのそれぞれの符号化レイヤの長期的な時間的参照を使用する時間的MVおよびマッピングされた時間的MVを指す可能性がある。時間的MV、マッピングされた時間的MV、マッピングされたレイヤ間MV、およびレイヤ間MVは、異なる種類のMVと考えられる可能性がある。

拡張レイヤのMV予測は、以下のうちの1または複数を含み得る。レイヤ間MVおよび/またはマッピングされたレイヤ間MVからの時間的MVのMV予測が、可能にされるまたは不可能にされる可能性がある。時間的MVおよび/またはマッピングされた時間的MVからのレイヤ間MVのMV予測が、可能にされるまたは不可能にされる可能性がある。マッピングされた時間的MVからの時間的MVのMV予測が、可能にされる可能性がある。レイヤ間MVおよび/またはマッピングされたレイヤ間MVからのレイヤ間MVのMV予測が、可能にされるまたは不可能にされる可能性がある。MV予測は、例えば、時間的な長期的MVとマッピングされた長期的MVとの両方を含む、MV予測に含まれる長期的MVに関するMVのスケーリングなしに利用され得る。

MVのスケーリングに用いる短期的MVの間の予測が、(例えば、シングルレイヤMV予測と同様に)可能にされる可能性がある。図8Aは、時間的な短期的MVの間のMV予測を示す図である。図8Bは、マッピングされた短期的MVからの時間的な短期的MVのMV予測を示す図である。図800においては、時間的な短期的MV802が、時間的な短期的MV804から予測され得る。図810においては、時間的な短期的MV812が、マッピングされた短期的MV814から予測され得る。

例えば、大きなPOCの距離が原因で、MVのスケーリングを用いない長期的MVの間の予測が、提供される可能性がある。これは、シングルレイヤ符号化および復号のMV予測と同様である可能性がある。図9Aは、時間的な長期的MVの間のMV予測の例を示す図である。図9Bは、マッピングされた長期的MVからの時間的な長期的MVのMV予測の例を示す図である。図900においては、時間的な長期的MV902が、時間的な長期的MV904から予測され得る。図910においては、時間的な長期的MV912が、マッピングされた長期的MV914から予測され得る。

例えば、2つの基準画像が長い距離を有する可能性があるので、MVのスケーリングを用いない短期的MVと長期的MVとの間の予測が提供される可能性がある。これは、シングルレイヤ符号化および復号のMV予測と同様である可能性がある。図10Aは、時間的な長期的MVからの時間的な短期的MVのMV予測の例を示す図である。図10Bは、マッピングされた長期的MVからの時間的な短期的MVのMV予測の例を示す図である。図10Cは、時間的な短期的MVからの時間的な長期的MVのMV予測の例を示す図である。図10Dは、マッピングされた短期的MVからの時間的な長期的MVのMV予測の例を示す図である。

図1000においては、時間的な短期的MV1002が、時間的な長期的MV1004から予測され得る。図1010においては、時間的な短期的MV1012が、マッピングされた長期的MV1014から予測され得る。図1020においては、時間的な長期的MV1024が、時間的な短期的MV1022から予測され得る。図1030においては、時間的な長期的MV1032が、マッピングされた短期的MV1034から予測され得る。

レイヤ間MVおよび/またはマッピングされたレイヤ間MVからの時間的な短期的MVの予測が、不可能にされる可能性がある。時間的な短期的MVおよび/またはマッピングされた短期的MVからのレイヤ間MVの予測が、不可能にされる可能性がある。図11Aは、レイヤ間MVからの時間的な短期的MVの不可能にされるMV予測の例を示す図である。図11Bは、時間的な短期的MVからのレイヤ間MVの不可能にされるMV予測の例を示す図である。図11Cは、マッピングされた短期的MVからのレイヤ間MVの不可能にされるMV予測の例を示す図である。

図1100は、レイヤ間MV1104からの時間的な短期的MV1102の不可能にされるMV予測の例を示す。例えば、時間的な短期的MV1102は、レイヤ間MV1104から予測されない可能性がある。図1110は、時間的な短期的MV1114からのレイヤ間MV1112の不可能にされるMV予測の例を示す。例えば、レイヤ間MV1112は、時間的な短期的MV1114から予測されない可能性がある。図1120は、マッピングされた短期的MV1124からのレイヤ間MV1122の不可能にされるMV予測の例を示す。例えば、レイヤ間MV1122は、マッピングされた短期的MV1124から予測されない可能性がある。

レイヤ間MVおよび/またはマッピングされたレイヤ間MVからの時間的な長期的MVの予測が、不可能にされる可能性がある。時間的な長期的MVおよび/またはマッピングされた長期的MVからのレイヤ間MVの予測が、不可能にされる可能性がある。図12Aは、レイヤ間MVからの時間的な長期的MVの不可能にされるMV予測の例を示す図である。図12Bは、時間的な長期的MVからのレイヤ間MVの不可能にされるMV予測の例を示す図である。図12Cは、マッピングされた長期的MVからのレイヤ間MVの不可能にされるMV予測の例を示す図である。

図1200は、レイヤ間MV1204からの時間的な長期的MV1202の不可能にされるMV予測の例を示す。例えば、時間的な長期的MV1202は、レイヤ間MV1204から予測されない可能性がある。図1210は、時間的な長期的MV1214からのレイヤ間MV1212の不可能にされるMV予測の例を示す。例えば、レイヤ間MV1212は、時間的な長期的MV1214から予測されない可能性がある。図1220は、マッピングされた長期的MV1224からのレイヤ間MV1222の不可能にされるMV予測の例を示す。例えば、レイヤ間MV1222は、マッピングされた長期的MV1224から予測されない可能性がある。

別のレイヤ間MVからのレイヤ間MVの予測は、例えば、2つのレイヤ間MVが拡張レイヤおよび処理された基本レイヤで同じ時間的な間隔を有する場合に可能にされる可能性がある。2つのレイヤ間MVが拡張レイヤおよび処理された基本レイヤで同じ時間的な間隔を有していない場合、2つのレイヤ間MVの間の予測は、不可能にされる可能性がある。これは、はっきりしたMVの相関を欠いているために予測が良好な符号化の性能をもたらさない可能性があるためである。

図13Aは、Te=Tpであるときの2つのレイヤ間MVの間のMV予測の例を示す図である。図13Bは、Te≠Tpであるときのレイヤ間MVの間の不可能にされるMV予測の例を示す図である。(例えば、図13A〜Bのように)例として、TMVPが使用される可能性がある。図1300においては、現在のレイヤ間MV(例えば、MV2)1302が、別のレイヤ間MV(例えば、MV1)1304から予測される可能性がある。現在の画像CurrPicと(例えば、並置されたPU ColPUを含む)その時間的な隣接する画像ColPicとの間の時間的な間隔が、T_eと表記される可能性がある。それらのそれぞれの基準画像(例えば、CurrRefPicとColRefPicと)の間の時間的な間隔が、T_pと表記される可能性がある。CurrPicおよびColPicは、拡張レイヤにある可能性がある。CurrRefPicおよびColRefPicは、処理された基本レイヤにある可能性がある。T_e=T_pである場合、MV1が、MV2を予測するために使用される可能性がある。

MVのスケーリングは、例えば、POCに基づくMVのスケーリングが失敗する可能性があるので、2つのレイヤ間MVの間の予測に関して不可能にされる可能性がある。図1310においては、例えば、現在の画像CurrPicとその時間的な隣接する画像ColPicとの間の時間的な間隔(例えば、T_e)がそれらのそれぞれの基準画像の間の時間的な間隔(例えば、T_p)に等しくないために、現在のレイヤ間MV(例えば、MV2)1312が、別のレイヤ間MV(例えば、MV1)1314から予測されない可能性がある。

例えば、レイヤ間MVおよびマッピングされたレイヤ間MVが同じ時間的な距離を有する場合、マッピングされたレイヤ間MVからのレイヤ間MVの予測が、スケーリングなしに可能にされる可能性がある。それらが同じ時間的な距離を有していない場合、マッピングされたレイヤ間MVからのレイヤ間MVの予測が、不可能にされる可能性がある。

表1は、SVCの拡張レイヤの符号化のためのMV予測の異なる条件の例をまとめる可能性がある。

レイヤ間MVのMVのマッピングは、例えば、本明細書において説明されるように、異なる符号化レイヤの間の動き情報マッピングの実装に関して不可能にされる可能性がある。マッピングされたレイヤ間MVは、拡張レイヤにおけるMV予測のために利用不可能である可能性がある。

レイヤ間MVを含むMV予測は、不可能にされる可能性がある。拡張のために、時間的MV(例えば、時間的MVのみ)が、その他の時間的MVから予測されることができる可能性がある。これは、シングルレイヤコーデックに関するMV予測に等しい可能性がある。

デバイス(例えば、プロセッサ、エンコーダ、デコーダ、WTRUなど)が、ビットストリーム(例えば、スケーラブルなビットストリーム)を受信し得る。例えば、ビットストリームは、基本レイヤおよび1または複数の拡張レイヤを含み得る。ビットストリームの基本レイヤ(例えば、基本レイヤのビデオブロック)および/または拡張レイヤ(例えば、拡張レイヤのビデオブロック)は、TMVPを使用して復号され得る。TMVPは、ビットストリームの基本レイヤおよび拡張レイヤに関して実行され得る。例えば、TMVPは、例えば、図4を参照して説明されたように、いかなる変更もなしにビットストリームの基本レイヤ(例えば、基本レイヤのビデオブロック)に関して実行され得る。TMVPは、例えば、本明細書において説明されたように、レイヤ間基準画像を使用してビットストリームの拡張レイヤ(例えば、拡張レイヤのビデオブロック)に関して実行され得る。例えば、レイヤ間基準画像が、拡張レイヤ(例えば、拡張レイヤのビデオブロック)のTMVPのための並置された基準画像として使用され得る。例えば、並置された基本レイヤの画像の圧縮されたMV場が、決定され得る。レイヤ間基準画像のMV場は、並置された基本レイヤの画像の圧縮されたMV場に基づいて決定され得る。レイヤ間基準画像のMV場は、拡張レイヤ(例えば、拡張レイヤのビデオブロック)に対してTMVPを実行するために使用され得る。例えば、レイヤ間基準画像のMV場は、拡張レイヤのビデオブロック(例えば、並置された拡張レイヤのビデオブロック)に関するMV場を予測するために使用され得る。

レイヤ間参照レイヤ画像のMV場が、決定され得る。例えば、レイヤ間参照レイヤ画像のMV場は、並置された基本レイヤの画像のMV場に基づいて決定され得る。MV場は、1もしくは複数のMVおよび/または基準画像のインデックスを含む可能性がある。例えば、MV場は、(例えば、レイヤ間参照レイヤ画像の各PUに関して)レイヤ間参照レイヤ画像のPUのMVおよび基準画像のインデックスを含む可能性がある。拡張レイヤの画像(例えば、並置された拡張レイヤの画像)が、MV場に基づいて復号され得る。TMVPが、MV場に基づいて拡張レイヤの画像に対して実行され得る。

レイヤ間の動き予測に関する構文(syntax)のシグナリング(例えば、高レベルの構文のシグナリング)が、提供される可能性がある。レイヤ間の動き情報マッピングおよびMV予測が、シーケンスレベルで可能にされるおよび/または不可能にされる可能性がある。レイヤ間の動き情報マッピングおよびMV予測が、画像/スライスレベルで可能にされるおよび/または不可能にされる可能性がある。例えば、特定のレイヤ間の動き予測技術を可能および/または不可能にすべきかどうかの判定が、改善された符号化効率および/または削減されたシステムの複雑性の考慮に基づいてなされ得る。シーケンスレベルのシグナリングは、例えば、追加された構文がシーケンスの画像(例えば、すべての画像)に当てはまるので、画像/スライスレベルのシグナリングよりも少ないオーバーヘッドを利用する可能性がある。画像/スライスレベルのシグナリングは、例えば、シーケンスの画像(例えば、各画像)がそれら自体の動き予測の実装および/またはMV予測の実装を受信し得るので、より大きな柔軟性に対応し得る。

シーケンスレベルのシグナリングが、提供される可能性がある。レイヤ間の動き情報マッピングおよび/またはMV予測が、シーケンスレベルでシグナリングされる可能性がある。シーケンスレベルのシグナリングが利用される場合、シーケンスの画像(例えば、すべての画像)は、同じ動き情報マッピングおよび/またはMV予測を利用し得る。例えば、表2に示される構文が、シーケンスレベルでレイヤ間の動き情報マッピングおよび/またはMV予測を可能にすべきかどうかを示す可能性がある。表2の構文は、例えば、(例えば、HEVCの)ビデオパラメータセット(VPS)、(例えば、H.264およびHEVCの)シーケンスパラメータセット(SPS)、(例えば、H.264およびHEVCの)画像パラメータセット(PPS)などであるがこれらに限定されないパラメータセットに適用され得る。

inter_layer_mvp_present_flagは、レイヤ間の動き予測がシーケンスレベルまたは画像/スライスレベルで利用され得るかどうかを示す可能性がある。例えば、フラグが0に設定される場合、シグナリングは、画像/スライスレベルである可能性がある。フラグが1に設定される場合、動きマッピングおよび/またはMV予測のシグナリングは、シーケンスレベルである可能性がある。inter_layer_motion_mapping_seq_enabled_flagは、レイヤ間の動きマッピング(例えば、レイヤ間の動き予測)がシーケンスレベルで利用され得るかどうかを示す可能性がある。inter_layer_add_mvp_seq_enabled_flagは、ブロックのMV予測(例えば、追加的なブロックのMV予測)がシーケンスレベルで利用され得るかどうかを示す可能性がある。

画像/スライスレベルのシグナリングが、提供される可能性がある。レイヤ間の動き情報マッピングおよび/またはMV予測が、画像/スライスレベルでシグナリングされる可能性がある。画像/スライスレベルのシグナリングが利用される場合、シーケンスの画像(例えば、各画像)は、それ自体のシグナリングを受信する可能性がある。例えば、同じシーケンスの画像が、(例えば、それらの受信されたシグナリングに基づいて)異なる動き情報マッピングおよび/またはMV予測を利用する可能性がある。例えば、表3の構文が、レイヤ間の動き情報マッピングおよび/またはMV予測が拡張レイヤで現在の画像/スライスのために利用され得るかどうかを示すためにスライスヘッダで利用され得る。

inter_layer_motion_mapping_slice_enabled_flagは、レイヤ間の動きマッピングが現在のスライスに適用され得るかどうかを示す可能性がある。inter_layer_add_mvp_slice_enabled_flagは、追加的なブロックのMV予測が現在のスライスに適用され得るかどうかを示す可能性がある。

MV予測の符号化が、複数のレイヤのビデオ符号化システムのために提案され得る。例えば、基本レイヤの時間的MVと拡張レイヤの時間的MVとの間の相関が拡張レイヤにおけるTMVPのプロセスで探索され得るように、処理された基本レイヤに関する動きに関連付けられた情報を生成するためのレイヤ間の動き情報マッピングアルゴリズムが、本明細書において説明される可能性がある。ブロックレベルの動作が変更されない可能性があるので、シングルレイヤエンコーダおよびデコーダが、拡張のMV予測のために変更なしに適用され得る。MV予測は、(例えば、MV予測の効率を改善するために)スケーラブルシステムにおける異なる種類のMVの特徴分析に基づく可能性がある。

空間的なスケーラビリティを有する2つのレイヤのSVCシステムが本明細書において説明されるが、本開示は、3つ以上のレイヤおよびその他のスケーラビリティモードを有するSVCシステムに拡張され得る。

レイヤ間の動き予測が、ビットストリームの拡張レイヤのために実行され得る。レイヤ間の動き予測は、例えば、本明細書において説明されるようにシグナリングされ得る。レイヤ間の動き予測は、(例えば、inter_layer_motion_mapping_seq_enabled_flagなどを使用して)ビットストリームのシーケンスレベルでシグナリングされ得る。例えば、レイヤ間の動き予測は、ビットストリームのビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、画像パラメータセット(PPS)などの変数(例えば、フラグ)を介してシグナリングされ得る。

デバイス(例えば、プロセッサ、エンコーダ、デコーダ、WTRUなど)が、本明細書において説明された機能のいずれかを実行する可能性がある。例えば、デコーダが、ビットストリーム(例えば、スケーラブルなビットストリーム)を受信するように構成され得るプロセッサを含む可能性がある。ビットストリームは、基本レイヤおよび拡張レイヤを含み得る。復号器は、拡張レイヤの時間的動きベクトル予測(TMVP)のための並置された基準画像としてレイヤ間基準画像を使用するTMVPを使用してビットストリームの拡張レイヤを復号し得る。拡張レイヤのビデオブロック、レイヤ間ビデオブロック、および/または基本レイヤのビデオブロックは、並置される(例えば、時間的に並置される)可能性がある。

デコーダは、TMVPを使用して拡張レイヤの画像を復号し得る。例えば、デコーダは、並置された基本レイヤの画像のMV場に基づいてレイヤ間基準画像のMV場を決定し得る。レイヤ間基準画像および拡張レイヤの画像が、並置され得る。レイヤ間基準画像のMV場は、レイヤ間基準画像のビデオブロックのMVおよび基準画像のインデックスを含む可能性がある。デコーダは、レイヤ間基準画像のMV場に基づいて拡張レイヤの画像を復号し得る。例えば、デコーダは、レイヤ間基準画像のMV場に基づいて拡張レイヤの画像のMV場を決定し、拡張レイヤの画像のMV場に基づいて拡張レイヤの画像を復号し得る。

レイヤ間基準画像のMV場は、圧縮されたMV場に基づいて決定され得る。例えば、デコーダは、並置された基本レイヤの画像の圧縮されたMV場を決定し、および/または並置された基本レイヤの画像の圧縮されたMV場に基づいてレイヤ間基準画像のMV場を決定し得る。

デコーダは、レイヤ間基準画像のビデオブロックの基準画像およびMVを決定し得る。例えば、デコーダは、並置された基本レイヤのビデオブロックの基準画像に基づいてレイヤ間ビデオブロックの基準画像を決定し得る。デコーダは、並置された基本レイヤのビデオブロックのMVに基づいてレイヤ間ビデオブロックのMVを決定し得る。デコーダは、レイヤ間ビデオブロックとの最も大きな面積の重なりによって特徴付けられる並置された基本レイヤの画像のビデオブロックを選択することによって並置された基本レイヤのビデオブロックを決定し得る。デコーダは、レイヤ間基準画像のビデオブロックの基準画像および/またはMVに基づいて拡張レイヤの画像のビデオブロック(例えば、拡張レイヤの画像の並置されたビデオブロック)の基準画像および/またはMVを決定し得る。

デコーダは、並置された基本レイヤのビデオブロックの基準画像を決定し、並置された基本レイヤのビデオブロックの基準画像に基づいてレイヤ間ビデオブロックの基準画像を決定し得る。例えば、レイヤ間ビデオブロックの基準画像は、並置された基本レイヤのビデオブロックの基準画像の並置されたレイヤ間基準画像である可能性がある。デコーダは、レイヤ間ビデオブロックの基準画像に基づいて拡張レイヤの画像のビデオブロックの基準画像を決定し得る。例えば、拡張レイヤの基準画像は、レイヤ間ビデオブロックの基準画像の並置された拡張レイヤの基準画像である可能性がある。拡張レイヤのビデオブロック、レイヤ間ビデオブロック、および/または基本レイヤのビデオブロックは、並置される(例えば、時間的に並置される)可能性がある。

デコーダは、レイヤ間ビデオブロックのMVを決定し得る。例えば、デコーダは、並置された基本レイヤのビデオブロックのMVを決定し、並置された基本レイヤのビデオブロックのMVを基本レイヤと拡張レイヤとの間の空間的な比率に従ってスケーリングしてレイヤ間ビデオブロックのMVを決定し得る。デコーダは、レイヤ間ビデオブロックのMVに基づいて拡張レイヤのビデオブロックのMVを決定し得る。例えば、デコーダは、例えば、レイヤ間ビデオブロックのMVを時間的にスケーリングすることによって、レイヤ間ビデオブロックのMVを使用して拡張レイヤのビデオブロックのMVを予測し得る。

デコーダは、並置された基本レイヤのビデオブロックに基づいて拡張レイヤのビデオブロックの基準画像を決定し、並置された基本レイヤのビデオブロックのMVに基づいて拡張レイヤのビデオブロックのMVを決定し、および/または拡張レイヤのビデオブロックの基準画像および拡張レイヤのビデオブロックのMVに基づいて拡張レイヤのビデオブロックを復号するように構成され得る。例えば、デコーダは、拡張レイヤのビデオブロックとの最も大きな面積の重なりによって特徴付けられる並置された基本レイヤの画像のビデオブロックを選択することによって、並置された基本レイヤのビデオブロックを決定し得る。

デコーダは、並置された基本レイヤのビデオブロックの基準画像を決定し得る。デコーダは、並置された基本レイヤのビデオブロックの基準画像を使用してレイヤ間ビデオブロックの基準画像を決定し得る。デコーダは、拡張レイヤのビデオブロックの基準画像を決定し得る。例えば、拡張レイヤのビデオブロックの基準画像は、並置された基本レイヤのビデオブロックの基準画像および基準画像、並置されたレイヤ間ビデオブロックの並置された拡張レイヤの画像である可能性がある。拡張レイヤのビデオブロック、レイヤ間ビデオブロック、および/または基本レイヤのビデオブロックは、並置される(例えば、時間的に並置される)可能性がある。

デコーダは、並置された基本レイヤのビデオブロックのMVを決定し得る。デコーダは、並置された基本レイヤのビデオブロックのMVを基本レイヤと拡張レイヤとの間の空間的な比率に従ってスケーリングしてレイヤ間ビデオブロックのMVを決定し得る。デコーダは、例えば、レイヤ間ビデオブロックのMVを時間的にスケーリングすることによって、レイヤ間ビデオブロックのMVに基づいて拡張レイヤのビデオブロックのMVを予測し得る。

デコーダは、ビットストリームを受信し得るプロセッサを含む可能性がある。ビットストリームは、基本レイヤおよび拡張レイヤを含み得る。ビットストリームは、レイヤ間の動きマッピング情報を含み得る。デコーダは、レイヤ間の動き予測がレイヤ間のマッピング情報に基づいて拡張レイヤに関して可能にされ得ると決定する可能性がある。デコーダは、レイヤ間のマッピング情報に基づいて拡張レイヤのレイヤ間の動き予測を実行し得る。レイヤ間のマッピング情報は、ビットストリームのシーケンスレベルでシグナリングされ得る。例えば、レイヤ間のマッピング情報は、ビットストリームのVPS、SPS、および/またはPPSの変数(例えば、フラグ)を介してシグナリングされ得る。

デコーダの観点から説明されたが、本明細書において説明された機能(例えば、本明細書において説明された機能の逆)が、例えば、エンコーダなどの別のデバイスによって実行される可能性がある。

図14Aは、1または複数の開示された実施形態が実装され得る例示的な通信システム1400の図である。通信システム1400は、複数の無線ユーザに音声、データ、ビデオ、メッセージング、放送などのコンテンツを提供する多元接続システムである可能性がある。通信システム1400は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有によってそのようなコンテンツにアクセスすることを可能にし得る。例えば、通信システム1400は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC−FDMA)などの1または複数のチャネルアクセス方法を使用し得る。

図14Aに示されるように、通信システム1400は、無線送受信ユニット(WTRU)1402a、1402b、1402c、および/または1402d(これらは全体的にまたは集合的にWTRU1402と呼ばれる可能性がある)、無線アクセスネットワーク(RAN)1403/1404/1405、コアネットワーク1406/1407/1409、公衆交換電話網(PSTN)1408、インターネット1410、ならびにその他のネットワーク1412を含み得るが、開示された実施形態は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を想定することが理解されるであろう。WTRU1402a、1402b、1402c、1402dのそれぞれは、無線環境内で動作および/または通信するように構成された任意の種類のデバイスである可能性がある。例として、WTRU1402a、1402b、1402c、1402dは、無線信号を送信および/または受信するように構成される可能性があり、ユーザ機器(UE)、移動局、固定または移動加入者ユニット、ページャ、セルラ電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサー、家庭用電化製品などを含む可能性がある。

通信システム1400は、基地局1414aおよび基地局1414bも含み得る。基地局1414a、1414bのそれぞれは、コアネットワーク1406/1407/1409、インターネット1410、および/またはネットワーク1412などの1または複数の通信ネットワークへのアクセスを助けるために、WTRU1402a、1402b、1402c、1402dのうちの少なくとも1つと無線でインターフェイス接続するように構成された任意の種類のデバイスである可能性がある。例として、基地局1414a、1414bは、送受信基地局(BTS)、Node−B、eNodeB、ホームNodeB(Home Node B)、ホームeNodeB(Home eNode B)、サイトコントローラ、アクセスポイント(AP)、無線ルータなどである可能性がある。基地局1414a、1414bはそれぞれ単一の要素として示されているが、基地局1414a、1414bは、任意の数の相互に接続された基地局および/またはネットワーク要素を含み得ることが理解されるであろう。

基地局1414aは、RAN1403/1404/1405の一部である可能性があり、RAN1403/1404/1405は、その他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどのネットワーク要素(図示せず)も含み得る。基地局1414aおよび/または基地局1414bは、セルと呼ばれる場合がある特定の地理的領域(図示せず)内で無線信号を送信および/または受信するように構成され得る。セルは、セルのセクタにさらに分割され得る。例えば、基地局1414aに関連付けられたセルは、3つのセクタに分割され得る。したがって、一実施形態において、基地局1414aは、3つのトランシーバ、すなわち、セルの各セクタにつき1つのトランシーバを含み得る。別の実施形態において、基地局1414aは、多入力多出力(MIMO)技術を使用する可能性があり、したがって、セルの各セクタつき複数のトランシーバを利用する可能性がある。

基地局1414a、1414bは、任意の好適な無線通信リンク(例えば、無線周波数(RF)、マイクロ波、赤外線(IR)、紫外線(UV)、可視光など)である可能性がある無線インターフェイス1415/1416/1417を介してWTRU1402a、1402b、1402c、1402dのうちの1または複数と通信し得る。無線インターフェイス1415/1416/1417は、任意の好適な無線アクセス技術(RAT)を使用して確立され得る。

より詳細には、上述のように、通信システム1400は、多元接続システムである可能性があり、CDMA、TDMA、FDMA、OFDMA、SC−FDMAなどの1または複数のチャネルアクセス方式を使用する可能性がある。例えば、RAN1403/1404/1405内の基地局1414a、およびWTRU1402a、1402b、1402cは、広帯域CDMA(WCDMA(登録商標))を使用して無線インターフェイス1415/1416/1417を確立し得るユニバーサル移動体通信システム(UMTS:Universal Mobile Telecommunications System)、地上無線アクセス(UTRA:Terrestrial Radio Access)などの無線技術を実装し得る。WCDMAは、高速パケットアクセス(HSPA)および/または進化型HSPA(HSPA+)などの通信プロトコルを含み得る。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含み得る。

別の実施形態において、基地局1414aおよびWTRU1402a、1402b、1402cは、ロングタームエボリューション(LTE)および/またはLTEアドバンスト(LTE−A)を使用して無線インターフェイス1415/1416/1417を確立し得る進化型UMTS地上無線アクセス(E−UTRA)などの無線技術を実装する可能性がある。

その他の実施形態において、基地局1414aおよびWTRU1402a、1402b、1402cは、IEEE802.16(すなわち、マイクロ波アクセスのための世界的相互運用性(WiMAX:Worldwide Interoperability for Microwave Access))、CDMA2000、CDMA2000 1X、CDMA2000 EV−DO、暫定標準(Interim Standard)2000(IS−2000)、暫定標準95(IS−95)、暫定標準856(IS−856)、移動体通信用グローバルシステム(GSM(登録商標))、GSMの進化のための高速化されたデータレート(EDGE:Enhanced Data rates for GSM Evolution)、GSM EDGE(GERAN)などの無線技術を実装し得る。

図14Aの基地局1414bは、例えば、無線ルータ、ホームNodeB、ホームeNodeB、またはアクセスポイントである可能性があり、事業所、家庭、車両、キャンパスなどの局所的な地域で無線接続性を助けるための任意の好適なRATを利用する可能性がある。一実施形態において、基地局1414bおよびWTRU1402c、1402dは、無線ローカルエリアネットワーク(WLAN)を確立するためのIEEE802.11などの無線技術を実装し得る。別の実施形態において、基地局1414bおよびWTRU1402c、1402dは、無線パーソナルエリアネットワーク(WPAN)を確立するためのIEEE802.15などの無線技術を実装し得る。さらに別の実施形態において、基地局1414bおよびWTRU1402c、1402dは、セルラに基づくRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE−Aなど)を利用してピコセルまたはフェムトセルを確立する可能性がある。図14Aに示されたように、基地局1414bは、インターネット1410への直接的な接続を有する可能性がある。したがって、基地局1414bは、コアネットワーク1406/1407/1409を介してインターネット1410にアクセスするように要求されない可能性がある。

RAN1403/1404/1405は、コアネットワーク1406/1407/1409と通信する可能性があり、コアネットワーク1406/1407/1409は、WTRU1402a、1402b、1402c、1402dのうちの1または複数に音声、データ、アプリケーション、および/またはボイスオーバーインターネットプロトコル(VoIP)サービスを提供するように構成された任意の種類のネットワークである可能性がある。例えば、コアネットワーク1406/1407/1409は、呼制御、課金サービス、モバイルの位置に基づくサービス、プリペイド電話、インターネット接続性、ビデオ配信などを提供し、および/またはユーザ認証などの高レベルのセキュリティ機能を実行し得る。図14Aには示されていないが、RAN1403/1404/1405および/またはコアネットワーク1406/1407/1409は、RAN1403/1404/1405と同じRAT、または異なるRATを使用するその他のRANと直接的または間接的に通信する可能性があることが理解されるであろう。例えば、E−UTRA無線技術を利用している可能性があるRAN1403/1404/1405に接続されることに加えて、コアネットワーク1406/1407/1409は、GSM無線技術を使用する別のRAN(図示せず)とも通信する可能性がある。

コアネットワーク1406/1407/1409は、WTRU1402a、1402b、1402c、1402dがPSTN1408、インターネット1410、および/またはその他のネットワーク1412にアクセスするためのゲートウェイとしても働く可能性がある。PSTN1408は、一般電話サービス(POTS:plain old telephone service)を提供する回線交換電話ネットワークを含み得る。インターネット1410は、TCP/IPインターネットプロトコルスイートの伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、およびインターネットプロトコル(IP)などの共通の通信プロトコルを使用する相互に接続されたコンピュータネットワークおよびデバイスの全世界的なシステムを含み得る。ネットワーク1412は、その他のサービスプロバイダによって所有および/または運用される有線または無線通信ネットワークを含み得る。例えば、ネットワーク1412は、RAN1403/1404/1405と同じRAT、または異なるRATを使用する可能性がある1または複数のRANに接続された別のコアネットワークを含み得る。

通信システム1400のWTRU1402a、1402b、1402c、1402dの一部またはすべては、マルチモード能力を含む可能性があり、つまり、WTRU1402a、1402b、1402c、1402dは、異なる無線リンクを介して異なる無線ネットワークと通信するための複数のトランシーバを含む可能性がある。例えば、図14Aに示されたWTRU1402cは、セルラに基づく無線技術を使用し得る基地局1414aと通信し、IEEE802無線技術を使用し得る基地局1414bと通信するように構成され得る。

図14Bは、例示的なWTRU1402のシステム図である。図14Bに示されるように、WTRU1402は、プロセッサ1418、トランシーバ1420、送信/受信要素1422、スピーカー/マイクロホン1424、キーパッド1426、ディスプレイ/タッチパッド1428、取り外し不可能なメモリ1430、取り外し可能なメモリ1432、電源1434、全地球測位システム(GPS)チップセット1436、およびその他の周辺機器1438を含む可能性がある。WTRU1402は、実施形態に準拠したまま、上述の要素の任意の部分的な組み合わせを含み得ることが理解されるであろう。また、実施形態は、基地局1414aおよび1414b、ならびに/またはとりわけトランシーバ局(BTS)、Node−B、サイトコントローラ、アクセスポイント(AP)、ホームNode−B、進化型ホームNode−B(evolved home node-B)(eNodeB)、ホーム進化型Node−B(HeNB:home evolved node-B)、ホーム進化型Node−Bゲートウェイ(home evolved node-B gateway)、およびプロキシノードなどであるがこれらに限定されない、基地局1414aおよび1414bが表す可能性があるノードが、図14Bに示され、本明細書において説明される要素の一部またはすべてを含み得ると想定する。

プロセッサ1418は、汎用プロセッサ、専用プロセッサ、通常のプロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと関連する1または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、任意のその他の種類の集積回路(IC)、状態機械などである可能性がある。プロセッサ1418は、信号の符号化、データ処理、電力制御、入力/出力処理、および/またはWTRU1402が無線環境で動作することを可能にする任意のその他の機能を実行し得る。プロセッサ1418は、トランシーバ1420に結合される可能性があり、トランシーバ1420は、送信/受信要素1422に結合される可能性がある。図14Bはプロセッサ1418およびトランシーバ1420を別個の構成要素として示すが、プロセッサ1418およびトランシーバ1420は、電子的なパッケージまたはチップに一緒に統合され得ることが理解されるであろう。

送信/受信要素1422は、無線インターフェイス1415/1416/1417を介して基地局(例えば、基地局1414a)に信号を送信するか、または基地局(例えば、基地局1414a)から信号を受信するように構成され得る。例えば、一実施形態において、送信/受信要素1422は、RF信号を送信および/または受信するように構成されたアンテナである可能性がある。別の実施形態において、送信/受信要素1422は、例えば、IR、UV、または可視光信号を送信および/または受信するように構成されたエミッタ/ディテクタである可能性がある。さらに別の実施形態において、送信/受信要素1422は、RF信号と光信号との両方を送信および受信するように構成され得る。送信/受信要素1422は、無線信号の任意の組み合わせを送信および/または受信するように構成され得ることが理解されるであろう。

加えて、送信/受信要素1422は、図14Bにおいて単一の要素として示されているが、WTRU1402は、任意の数の送信/受信要素1422を含み得る。より詳細には、WTRU1402は、MIMO技術を使用し得る。したがって、一実施形態において、WTRU1402は、無線インターフェイス1415/1416/1417を介して無線信号を送信および受信するために2つ以上の送信/受信要素1422(例えば、複数のアンテナ)を含み得る。

トランシーバ1420は、送信/受信要素1422によって送信されることになる信号を変調し、送信/受信要素1422によって受信される信号を復調するように構成され得る。上述のように、WTRU1402は、マルチモード機能を有する可能性がある。したがって、トランシーバ1420は、WTRU1402が例えばUTRAおよびIEEE802.11などの複数のRATを介して通信することを可能にするための複数のトランシーバを含み得る。

WTRU1402のプロセッサ1418は、スピーカー/マイクロホン1424、キーパッド1426、および/またはディスプレイ/タッチパッド1428(例えば、液晶ディスプレイ(LCD)ディスプレイユニットもしくは有機発光ダイオード(OLED)ディスプレイユニット)に結合される可能性があり、これらからユーザ入力データを受信する可能性がある。プロセッサ1418は、スピーカー/マイクロホン1424、キーパッド1426、および/またはディスプレイ/タッチパッド1428にユーザデータを出力する可能性もある。さらに、プロセッサ1418は、取り外し不可能なメモリ1430および/または取り外し可能なメモリ1432などの任意の種類の好適なメモリからの情報にアクセスし、これらのメモリにデータを記憶する可能性がある。取り外し不可能なメモリ1430は、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスク、または任意のその他の種類のメモリストレージデバイスを含み得る。取り外し可能なメモリ1432は、加入者識別モジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカードなどを含み得る。その他の実施形態において、プロセッサ1418は、サーバまたはホームコンピュータ(図示せず)などの、WTRU1402に物理的に置かれていないメモリからの情報にアクセスし、このメモリにデータを記憶し得る。

プロセッサ1418は、電源1434から電力を受信する可能性があり、WTRU1402内のその他の構成要素に電力を分配し、および/またはその電力を制御するように構成される可能性がある。電源1434は、WTRU1402に給電するための任意の好適なデバイスである可能性がある。例えば、電源1434は、1または複数の乾電池(例えば、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)など)、太陽電池、燃料電池などを含み得る。

プロセッサ1418は、GPSチップセット1436にも結合される可能性があり、GPSチップセット1436は、WTRU1402の現在位置に関する位置情報(例えば、経度および緯度)を提供するように構成される可能性がある。GPSチップセット1436からの情報に加えて、またはGPSチップセット1436からの情報の代わりに、WTRU1402は、基地局(例えば、基地局1414a、1414b)から無線インターフェイス1415/1416/1417を介して位置情報を受信し、および/または2つ以上の近隣の基地局から受信されている信号のタイミングに基づいてその位置を判定し得る。WTRU1402は、実施形態に準拠したまま、任意の好適な位置決定方法によって位置情報を取得し得ることが理解されるであろう。

プロセッサ1418は、その他の周辺機器1438にさらに結合される可能性があり、その他の周辺機器1438は、追加的な特徴、機能、および/または有線もしくは無線接続性を提供する1もしくは複数のソフトウェアおよび/またはハードウェアモジュールを含む可能性がある。例えば、周辺機器1438は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ(写真または動画用)、ユニバーサルシリアルバス(USB)ポート、振動デバイス、テレビトランシーバ、ハンズフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、デジタル音楽プレーヤー、メディアプレーヤー、ビデオゲームプレーヤーモジュール、インターネットブラウザなどを含み得る。

図14Cは、実施形態によるRAN1403およびコアネットワーク1406のシステム図である。上述のように、RAN1403は、無線インターフェイス1415を介してWRTU1402a、1402b、1402cと通信するためにUTRA無線技術を使用する可能性がある。RAN1403は、コアネットワーク1406とも通信する可能性がある。図14Cに示されるように、RAN1403はNode−B1440a、1440b、1440cを含む可能性があり、Node−B1440a、1440b、1440cは、無線インターフェイス1415を介してWTRU1402a、1402b、1402cと通信するための1または複数のトランシーバをそれぞれが含み得る。Node−B1440a、1440b、1440cは、RAN1403内の特定のセル(図示せず)にそれぞれが関連付けられ得る。RAN1403は、RNC1442a、1442bも含み得る。RAN1403は、実施形態に準拠したまま、任意の数のNodeBおよびRNCを含み得ることが理解されるであろう。

図14Cに示されるように、Node−B1440a、1440bは、RNC1442aと通信する可能性がある。加えて、Node−B1440cは、RNC1442bと通信する可能性がある。Node−B1440a、1440b、1440cは、Iubインターフェイスを介してそれぞれのRNC1442a、1442bと通信し得る。RNC1442a、1442bは、Iurインターフェイスを介して互いに通信する可能性がある。RNC1442a、1442bのそれぞれは、それが接続されるそれぞれのNode−B1440a、1440b、1440cを制御するように構成され得る。さらに、RNC1442a、1442bのそれぞれは、アウターループ電力制御、負荷制御、アドミッション制御、パケットのスケジューリング、ハンドオーバ制御、マクロダイバーシティ(macrodiversity)、セキュリティ機能、データの暗号化などのその他の機能を実行またはサポートするように構成され得る。

図14Cに示されるコアネットワーク1406は、メディアゲートウェイ(MGW)1444、移動通信交換局(MSC)1446、サービングGPRSサポートノード(SGSN)1448、および/またはゲートウェイGPRSサポートノード(GGSN)1450を含み得る。上述の要素のそれぞれはコアネットワーク1406の一部として示されているが、これらの要素のうちの任意の要素は、コアネットワークの運用者以外のエンティティによって所有および/または運用される可能性があることが理解されるであろう。

RAN1403のRNC1442aは、IuCSインターフェイスを介してコアネットワーク1406のMSC1446に接続され得る。MSC1446は、MGW1444に接続され得る。MSC1446およびMGW1444は、WTRU1402a、1402b、1402cにPSTN1408などの回線交換ネットワークへのアクセスを提供して、WTRU1402a、1402b、1402cと従来の固定電話回線通信デバイスとの間の通信を助け得る。

RAN1403のRNC1442aはまた、IuPSインターフェイスを介してコアネットワーク1406のSGSN1448に接続され得る。SGSN1448は、GGSN1450に接続され得る。SGSN1448およびGGSN1450は、WTRU1402a、1402b、1402cにインターネット1410などのパケット交換ネットワークへのアクセスを提供して、WTRU1402a、1402b、1402cとIP対応デバイスとの間の通信を助け得る。

上述のように、コアネットワーク1406は、その他のサービスプロバイダによって所有および/または運用されるその他の有線または無線ネットワークを含み得るネットワーク1412にも接続され得る。

図14Dは、実施形態によるRAN1404およびコアネットワーク1407のシステム図である。上述のように、RAN1404は、無線インターフェイス1416を介してWRTU1402a、1402b、1402cと通信するためにE−UTRA無線技術を使用する可能性がある。RAN1404は、コアネットワーク1407とも通信する可能性がある。

RAN1404はeNode−B1460a、1460b、1460cを含む可能性があるが、RAN1404は、実施形態に準拠したまま、任意の数のeNode−Bを含み得ることが理解されるであろう。eNode−B1460a、1460b、1460cは、無線インターフェイス1416を介してWTRU1402a、1402b、1402cと通信するための1または複数のトランシーバをそれぞれが含み得る。一実施形態において、eNode−B1460a、1460b、1460cは、MIMO技術を実装し得る。したがって、eNode−B1460aは、例えば、複数のアンテナを使用して、WTRU1402aに無線信号を送信し、WTRU1402aから無線信号を受信し得る。

eNode−B1460a、1460b、1460cのそれぞれは、特定のセル(図示せず)に関連付けられる可能性があり、無線リソース管理の判定、ハンドオーバの判定、アップリンクおよび/またはダウンリンクにおけるユーザのスケジューリングなどを処理するように構成される可能性がある。図14Dに示されるように、eNode−B1460a、1460b、1460cは、X2インターフェイスを介して互いに通信し得る。

図14Dに示されるコアネットワーク1407は、モビリティ管理ゲートウェイ(MME)1462、サービングゲートウェイ1464、およびパケットデータネットワーク(PDN)ゲートウェイ1466を含み得る。上述の要素のそれぞれはコアネットワーク1407の一部として示されているが、これらの要素のうちの任意の要素は、コアネットワークの運用者以外のエンティティによって所有および/または運用される可能性があることが理解されるであろう。

MME1462は、S1インターフェイスを介してRAN1404内のeNode−B1460a、1460b、1460cのそれぞれに接続される可能性があり、制御ノードとして働く可能性がある。例えば、MME1462は、WTRU1402a、1402b、1402cのユーザの認証、ベアラのアクティブ化/非アクティブ化、WTRU1402a、1402b、1402cの最初のアタッチ中の特定のサービングゲートウェイの選択などの役割を担う可能性がある。MME1462は、RAN1404と、GSMまたはWCDMAなどのその他の無線技術を使用するその他のRAN(図示せず)との間の切り替えのための制御プレーンの機能も提供し得る。

サービングゲートウェイ1464は、S1インターフェイスを介してRAN1404内のeNode−B1460a、1460b、1460cのそれぞれに接続され得る。概して、サービングゲートウェイ1464は、WTRU1402a、1402b、1402cに/からユーザのデータパケットをルーティングおよび転送し得る。サービングゲートウェイ1464は、eNodeB間のハンドオーバ中にユーザプレーンのアンカーになること、ダウンリンクのデータがWTRU1402a、1402b、1402cに利用可能であるときにページングをトリガすること、WTRU1402a、1402b、1402cのコンテキストを管理および記憶することなどのその他の機能も実行し得る。

サービングゲートウェイ1464は、PDNゲートウェイ1466にも接続される可能性があり、PDNゲートウェイ1466は、WTRU1402a、1402b、1402cにインターネット1410などのパケット交換ネットワークへのアクセスを提供して、WTRU1402a、1402b、1402cとIP対応デバイスとの間の通信を助け得る。

コアネットワーク1407は、その他のネットワークとの通信を助け得る。例えば、コアネットワーク1407は、WTRU1402a、1402b、1402cにPSTN1408などの回線交換ネットワークへのアクセスを提供して、WTRU1402a、1402b、1402cと従来の固定電話回線通信デバイスとの間の通信を助け得る。例えば、コアネットワーク1407は、コアネットワーク1407とPSTN1408との間のインターフェイスとして働くIPゲートウェイ(例えば、IPマルチメディアサブシステム(IMS)サーバ)を含む可能性があり、またはそのようなIPゲートウェイと通信する可能性がある。さらに、コアネットワーク1407は、WTRU1402a、1402b、1402cに、その他のサービスプロバイダによって所有および/または運用されるその他の有線または無線ネットワークを含む可能性があるネットワーク1412へのアクセスを提供し得る。

図14Eは、実施形態によるRAN1405およびコアネットワーク1409のシステム図である。RAN1405は、IEEE802.16無線技術を使用して無線インターフェイス1417を介してWTRU1402a、1402b、1402cと通信するアクセスサービスネットワーク(ASN)である可能性がある。以下でさらに検討されるように、WTRU1402a、1402b、1402c、RAN1405、およびコアネットワーク1409の異なる機能エンティティの間の通信リンクは、リファレンスポイント(reference point)として定義され得る。

図14Eに示されるように、RAN1405は、基地局1480a、1480b、1480c、およびASNゲートウェイ1482を含む可能性があるが、RAN1405は、実施形態に準拠したまま任意の数の基地局およびASNゲートウェイを含み得ることが理解されるであろう。基地局1480a、1480b、1480cは、RAN1405の特定のセル(図示せず)にそれぞれ関連付けられる可能性があり、無線インターフェイス1417を介してWTRU1402a、1402b、1402cと通信するための1または複数のトランシーバをそれぞれが含む可能性がある。一実施形態において、基地局1480a、1480b、1480cは、MIMO技術を実装し得る。したがって、基地局1480aは、例えば、複数のアンテナを使用して、WTRU1402aに無線信号を送信し、WTRU1402aから無線信号を受信し得る。基地局1480a、1480b、1480cは、ハンドオフのトリガ、トンネルの確立、無線リソース管理、トラフィックの分類、サービス品質(QoS)ポリシーの施行などのモビリティ管理機能を提供する可能性もある。ASNゲートウェイ1482は、トラフィックの集約点として働く可能性があり、ページング、加入者プロファイルのキャッシュ、コアネットワーク1409へのルーティングなどの役割を担う可能性がある。

WTRU1402a、1402b、1402cとRAN1405との間の無線インターフェイス1417は、IEEE802.16の仕様を実装するR1リファレンスポイントとして定義され得る。加えて、WTRU1402a、1402b、1402cのそれぞれは、コアネットワーク1409との論理インターフェイス(図示せず)を確立し得る。WTRU1402a、1402b、1402cとコアネットワーク1409との間の論理インターフェイスは、認証、認可、IPホストの構成管理、および/またはモビリティ管理のために使用され得るR2リファレンスポイントとして定義され得る。

基地局1480a、1480b、1480cのそれぞれの間の通信リンクは、WTRUのハンドオーバ、および基地局間のデータの転送を助けるためのプロトコルを含むR8リファレンスポイントとして定義され得る。基地局1480a、1480b、1480cとASNゲートウェイ1482との間の通信リンクは、R6リファレンスポイントとして定義され得る。R6リファレンスポイントは、WTRU1402a、1402b、1402cのそれぞれに関連付けられたモビリティイベント(mobility event)に基づいてモビリティ管理を助けるためのプロトコルを含み得る。

図14Eに示されるように、RAN1405は、コアネットワーク1409に接続され得る。RAN1405とコアネットワーク1409との間の通信リンクは、例えばデータ転送およびモビリティ管理能力を助けるためのプロトコルを含むR3リファレンスポイントとして定義され得る。コアネットワーク1409は、モバイルIPホームエージェント(MIP−HA:mobile IP home agent)1484、認証、認可、アカウンティング(AAA)サーバ1486、およびゲートウェイ1488を含み得る。上述の要素のそれぞれはコアネットワーク1409の一部として示されているが、これらの要素のうちの任意の要素は、コアネットワークの運用者以外のエンティティによって所有および/または運用される可能性があることが理解されるであろう。

MIP−HAは、IPアドレスの管理の役割を担う可能性があり、WTRU1402a、1402b、1402cが異なるASNおよび/または異なるコアネットワークの間をローミングすることを可能にする可能性がある。MIP−HA1484は、WTRU1402a、1402b、1402cにインターネット1410などのパケット交換ネットワークへのアクセスを提供して、WTRU1402a、1402b、1402cとIP対応デバイスとの間の通信を助け得る。AAAサーバ1486は、ユーザの認証およびユーザサービスのサポートの役割を担い得る。ゲートウェイ1488は、その他のネットワークとの網間接続を助け得る。例えば、ゲートウェイ1488は、WTRU1402a、1402b、1402cにPSTN1408などの回線交換ネットワークへのアクセスを提供して、WTRU1402a、1402b、1402cと従来の固定電話回線通信デバイスとの間の通信を助け得る。さらに、ゲートウェイ1488は、WTRU1402a、1402b、1402cに、その他のサービスプロバイダによって所有および/または運用されるその他の有線または無線ネットワークを含み得るネットワーク1412へのアクセスを提供し得る。

図14Eには示されていないが、RAN1405は、その他のASNに接続される可能性があり、コアネットワーク1409は、その他のコアネットワークに接続される可能性があることが理解されるであろう。RAN1405、その他のASNの間の通信リンクは、RAN1405とその他のASNとの間でWTRU1402a、1402b、1402cのモビリティを調整するためのプロトコルを含み得るR4リファレンスポイントとして定義され得る。コアネットワーク1409とその他のコアネットワークとの間の通信リンクは、ホームコアネットワークと滞在されるコアネットワークとの間の網間接続を助けるためのプロトコルを含み得るR5リファレンスとして定義され得る。

図15は、ブロックに基づくビデオエンコーダ、例えば、ハイブリッドビデオ符号化システムの例を示すブロック図である。入力ビデオ信号1502は、ブロック毎に処理される可能性がある。ビデオブロックの単位は、16x16ピクセルを含む可能性がある。そのようなブロックの単位は、マクロブロック(MB)と呼ばれる可能性がある。高効率ビデオ符号化(HEVC)では、(例えば、「符号化単位」またはCUと呼ばれる可能性がある)拡張されたブロックサイズが、高解像度(例えば、1080p以上の)ビデオ信号を効率的に圧縮するために使用され得る。HEVCでは、CUは、最大64x64ピクセルである可能性がある。CUは、別個の予測方法が適用され得る予測単位(PU)へと分割され得る。

入力ビデオブロック(例えば、MBまたはCU)に関して、空間的予測1560および/または時間的予測1562が、実行され得る。空間的予測(例えば、「イントラ予測」)は、同じビデオ画像/スライス内の既に符号化された隣接するブロックからのピクセルを使用して現在のビデオブロックを予測し得る。空間的予測は、ビデオ信号に固有の空間的な冗長性を削減し得る。時間的予測(例えば、「インター予測」または「動き補償予測」)は、(例えば、「基準画像」と呼ばれる可能性がある)既に符号化されたビデオ画像からのピクセルを使用して現在のビデオブロックを予測し得る。時間的予測は、ビデオ信号に固有の時間的な冗長性を削減し得る。ビデオブロックに関する時間的予測信号は、現在のブロックと基準画像内のその予測ブロックとの間の動きの量および/または方向を示し得る1または複数の動きベクトルによってシグナリングされる可能性がある。(例えば、H.264/AVCおよび/またはHEVCの場合にそうである可能性があるように)複数の基準画像がサポートされる場合、各ビデオブロックに関して、その基準画像のインデックスが、追加的に送信される可能性がある。参照のインデックスは、時間的予測信号が(例えば、「復号画像バッファ」またはDPBと呼ばれる可能性がある)基準画像ストア1564内のどの基準画像に由来するかを特定するために使用され得る。

空間的および/または時間的予測の後、エンコーダのモード判定ブロック1580が、予測モードを選択し得る。予測ブロックが、現在のビデオブロック1516から引かれる可能性がある。予測の残差が、変換され(1504)、および/または量子化される(1506)可能性がある。量子化された残差係数は、再構築された残差を形成するために逆量子化され(1510)、および/または逆変換される(1512)可能性があり、再構築された残差は、再構築されたビデオブロックを形成するために予測ブロックに足し戻される(1526)可能性がある。

デブロッキングフィルタ、サンプル適応オフセット(Sample Adaptive Offset)、および/または適応ループフィルタ(Adaptive Loop Filter)等であるがこれらに限定されないループ内フィルタリング(in-loop filtering)が、再構築されたビデオブロックに対して、それが基準画像ストア1564に入れられ、および/または将来のビデオブロックを符号化するために使用される前に適用される(1566)可能性がある。出力ビデオビットストリーム1520を形成するために、符号化モード(例えば、インター予測モードまたはイントラ予測モード)、予測モード情報、動き情報、および/または量子化された残差係数が、ビットストリームを形成するために圧縮および/またはパッキングされるためにエントロピー符号化ユニット1508に送信される可能性がある。

図16は、ブロックに基づくビデオデコーダの例を示すブロック図である。ビデオビットストリーム1602が、エントロピー復号ユニット1608でアンパッキングおよび/またはエントロピー復号され得る。符号化モードおよび/または予測情報が、予測ブロックを形成するために空間的予測ユニット1660(例えば、イントラ符号化される場合)および/または時間的予測ユニット1662(例えば、インター符号化される場合)に送信され得る。インター符号化される場合、予測情報は、予測ブロックサイズ、(例えば、動きの方向および量を示し得る)1もしくは複数の動きベクトル、および/または(例えば、予測信号がどの基準画像から得られることになるのかを示し得る)1もしくは複数の参照のインデックスを含み得る。

動き補償予測が、時間的な予測ブロックを形成するために時間的予測ユニット1662によって適用され得る。残差変換係数が、残差ブロックを再構築するために逆量子化ユニット1610および逆変換ユニット1612に送信され得る。予測ブロックおよび残差ブロックが、1626において足し合わされ得る。再構築されたブロックは、それが基準画像ストア1664に記憶される前にループ内フィルタリングを経る可能性がある。基準画像ストア1664内の再構築されたビデオは、ディスプレイデバイスを駆動するために使用される、および/または将来のビデオブロックを予測するために使用される可能性がある。

シングルレイヤビデオエンコーダが、単一のビデオシーケンスの入力を取り、シングルレイヤデコーダに送信される単一の圧縮されたビットストリームを生成し得る。ビデオコーデックが、(例えば、衛星、ケーブル、地上波送信チャネルを介してTV信号を送信することなどであるがこれに限定されない)デジタルビデオサービスのために設計され得る。異種環境内に展開されるビデオ中心のアプリケーションとともに、マルチレイヤビデオ符号化技術が、さまざまなアプリケーションを可能にするためにビデオ符号化規格の拡張として開発される可能性がある。例えば、スケーラブルビデオ符号化技術が、各レイヤが特定の空間解像度、時間解像度、忠実度、および/または視点(view)のビデオ信号を再構築するために復号され得る2つ以上のビデオレイヤを処理するように設計される可能性がある。シングルレイヤエンコーダおよびデコーダが図15および図16を参照して説明されているが、本明細書において説明された概念は、例えば、マルチレイヤまたはスケーラブル符号化技術のためのマルチレイヤエンコーダおよびデコーダを利用し得る。図15および16のエンコーダおよび/またはデコーダは、本明細書において説明された機能のいずれかを実行し得る。例えば、図15および16のエンコーダおよび/またはデコーダは、拡張レイヤのPUのMVを使用して拡張レイヤ(例えば、拡張レイヤの画像)に対してTMVPを実行し得る。

図17は、通信システムの例を示す図である。通信システム1700は、エンコーダ1702、通信ネットワーク1704、およびデコーダ1706を含み得る。エンコーダ1702は、接続1708を介して通信ネットワーク1704と通信する可能性がある。接続1708は、有線接続または無線接続である可能性がある。エンコーダ1702は、図15のブロックに基づくビデオエンコーダと同様である可能性がある。エンコーダ1702は、(例えば、図15に示された)シングルレイヤコーデックまたはマルチレイヤコーデックを含む可能性がある。

デコーダ1706は、接続1710を介して通信ネットワーク1704と通信する可能性がある。接続1710は、有線接続または無線接続である可能性がある。デコーダ1706は、図16のブロックに基づくビデオデコーダと同様である可能性がある。デコーダ1706は、(例えば、図16に示された)シングルレイヤコーデックまたはマルチレイヤコーデックを含む可能性がある。エンコーダ1702および/またはデコーダ1706は、デジタルテレビ、無線放送システム、ネットワーク要素/端末、(例えば、ハイパーテキスト転送プロトコル(HTTP)サーバなどの)コンテンツまたはウェブサーバなどのサーバ、携帯情報端末(PDA)、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、ビデオゲーム機、ビデオゲームコンソール、セルラまたは衛星無線電話、デジタルメディアプレーヤーなどであるがこれらに限定されない多種多様な有線通信デバイスおよび/または無線送受信ユニット(WTRU)のいずれかに組み込まれる可能性がある。

通信ネットワーク1704は、好適な種類の通信システムである可能性がある。例えば、通信ネットワーク1704は、複数の無線ユーザに音声、データ、ビデオ、メッセージング、放送などのコンテンツを提供する多元接続システムである可能性がある。通信ネットワーク1704は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共有によってそのようなコンテンツにアクセスすることを可能にし得る。例えば、通信ネットワーク1704は、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC−FDMA)などの1または複数のチャネルアクセス方法を使用し得る。

上述のプロセスは、コンピュータまたはプロセッサによる実行のためにコンピュータ可読媒体に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアで実装される可能性がある。コンピュータ可読媒体の例は、(有線または無線接続を介して送信される)電子的な信号と、コンピュータ可読ストレージ媒体とを含む。コンピュータ可読ストレージ媒体の例は、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび取り外し可能なディスクなどの磁気媒体、光磁気媒体、ならびにCD−ROMディスクおよびデジタルバーサタイルディスク(DVD)などの光媒体を含むがこれらに限定されない。ソフトウェアに関連するプロセッサが、WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータでの使用のための無線周波数トランシーバを実装するために使用される可能性がある。