视频解码器设备及视频编码器设备
阅读：261发布：2020-05-08
专利汇可以提供视频解码器设备及视频编码器设备专利检索，专利查询，专利分析的服务。并且公开了视频 解码器 设备及 视频编码 器设备。所述视频解码器设备包括处理器，所述处理器被配置成：接收视频 信号 ，所述 视频信号 包括包含交错场图片的 基层 视频内容和包含递进 帧 图片的增强层视频内容；存储用于在重 采样 视频图片中使用的跨层 相位 对准参数的一个或多个集合；基于在所述基层中的场图片和存储的跨层相位对准参数的所述集合的一者或多者来组合用于在预测所述增强层中的至少一个递进帧图片中使用的一个或多个递进帧层间参考ILR图片；以及使用所述一个或多个递进帧ILR图片预测增强层图片。，下面是视频解码器设备及视频编码器设备专利的具体信息内容。
1.一种用于解码视频数据的视频解码器设备，所述设备包括处理器，所述处理器被配置成：
接收视频信号，所述视频信号包括包含交错场图片的基层视频内容和包含递进帧图片的增强层视频内容；
存储用于在重采样视频图片中使用的跨层相位对准参数的一个或多个集合；
基于在所述基层中的场图片和存储的跨层相位对准参数的所述集合的一者或多者来组合用于在预测所述增强层中的至少一个递进帧图片中使用的一个或多个递进帧层间参考ILR图片；以及
使用所述一个或多个递进帧ILR图片预测增强层图片。
2.根据权利要求1所述的设备，其中所述处理器进一步被配置成使用所述一个或多个递进帧ILR图片预测增强层图片。
3.根据权利要求1所述的设备，其中所述交错场图片包括顶场图片和底场图片。
4.根据权利要求1所述的设备，其中所述处理器进一步被配置成：
使用存储的跨层相位对准参数的所述一个或多个集合中的第一集合来重采样顶场图片；以及
使用存储的跨层相位对准参数的所述一个或多个集合中的第二集合来重采样底场图片。
5.根据权利要求1所述的设备，其中存储的跨层相位对准参数的所述一个或多个集合的每一个集合包括：
相位X信息，用于选择所述一个或多个递进帧ILR参考图片的亮度分量的水平相位过滤器；
相位XC信息，用于选择所述一个或多个递进帧ILR参考图片的至少一个色度分量的水平相位过滤器；
相位Y信息，用于选择所述一个或多个递进帧ILR参考图片的所述亮度分量的垂直相位过滤器；和/或
相位YC信息，用于选择所述一个或多个递进帧ILR参考图片的至少一个所述色度分量的垂直相位过滤器。
6.根据权利要求1所述的设备，其中所述处理器进一步被配置成接收指示正被传送的跨层相位对准参数的集合数量的数量指示符。
7.根据权利要求1所述的设备，其中所述处理器进一步被配置成接收指示存储的跨层相位对准参数的所述一个或多个集合中将在组合所述一个或多个递进帧ILR图片中使用的跨层相位对准参数的至少一个集合的至少一个索引指示符。
8.根据权利要求7所述的设备，其中所述至少一个索引指示符在片段头部中被接收。
9.根据权利要求7所述的设备，其中所述组合所述一个或多个递进帧ILR图片包括：
基于所述接收的至少一个索引指示符指示的跨层相位对准参数的所述至少一个集合来选择用于重采样所述一个或多个递进帧ILR图片的亮度分量和/或色度分量的至少一者的相位过滤器。
10.根据权利要求9所述的设备，其中所述至少一个索引指示符与所述视频信号的片段相关联，且所述方法还包括：根据与所述片段相关联的所述索引指示符调节用于所述基层视频内容中的片段的水平相位过滤器和垂直相位过滤器中的至少一者以用于组合所述一个或多个递进帧ILR图片。
11.根据权利要求1所述的设备，其中所述处理器进一步被配置成经由信令接收将被存储的跨层相位对准参数的所述一个或多个集合。
12.根据权利要求11所述的设备，其中将被存储的跨层相位对准参数的所述一个或多个集合在视频参数集VPS中被接收。
13.根据权利要求11所述的设备，其中将被存储的跨层相位对准参数的所述一个或多个集合在图片参数集PPS中被接收。
14.根据权利要求9所述的设备，其中所述处理器进一步被配置成经由信令接收指示所述至少一个索引指示符是否被用信号发送的标志指示符。
15.根据权利要求1所述的设备，其中所述处理器进一步被配置成接收指示跨层相位对准参数的所述一个或多个集合是否被用信号发送的标志指示符。
16.根据权利要求15所述的设备，其中指示所述跨层相位对准参数的一个或多个集合是否被用信号发送的所述标志指示符的第一状态指示跨层相位对准参数的所述一个或多个集合没有被用信号发送以及跨层相位对准参数的所述一个或多个集合将被推断出。
17.根据权利要求16所述的设备，其中所推断出的跨层相位对准参数的一个或多个集合包括集合，该集合包括亮度水平相位参数、亮度垂直相位参数、色度水平相位参数以及色度垂直相位参数，其中所述亮度水平相位参数、所述亮度垂直相位参数以及所述色度水平相位参数具有相同值，以及所述色度水平相位参数和所述色度垂直相位参数彼此具有不同值。
18.根据权利要求16所述的设备，其中所推断出的跨层相位对准参数的一个或多个集合是包括以下的集合：
相位X信息，用于选择所述一个或多个递进帧ILR参考图片的亮度分量的水平相位过滤器，被设置成0；
相位XC信息，用于选择所述一个或多个递进帧ILR参考图片的至少一个色度分量的水平相位过滤器，被设置成0；
相位Y信息，用于选择所述一个或多个递进帧ILR参考图片的所述亮度分量的垂直相位过滤器，被设置成0；以及
相位YC信息，用于选择所述一个或多个递进帧ILR参考图片的至少一个所述色度分量的垂直相位过滤器，被设置成1。
19.一种用于编码视频数据的视频编码器设备，所述设备包括处理器，所述处理器被配置成：
传送视频信号，该视频信号包括包含交错场图片的基层视频内容和包含递进帧图片的增强层视频内容；以及
传送在重采样所述基层中的视频图片中使用的跨层相位对准参数的一个或多个集合，该跨层相位对准参数的一个或多个集合由视频解码器用于组合一个或多个递进帧层间参考ILR图片，以用于基于所述基层中的场图片和所述跨层相位对准参数的所述集合的一者或多者来预测所述增强层中的至少一个递进帧图片。
20.根据权利要求19所述的设备，其中跨层相位对准参数的所述一个或多个集合的每一个集合包括：
相位X信息，用于选择所述一个或多个递进帧ILR参考图片的亮度分量的水平相位过滤器；
相位XC信息，用于选择所述一个或多个递进帧ILR参考图片的至少一个色度分量的水平相位过滤器；
相位Y信息，用于选择所述一个或多个递进帧ILR参考图片的所述亮度分量的垂直相位过滤器；和/或
相位YC信息，用于选择所述一个或多个递进帧ILR参考图片的至少一个所述色度分量的垂直相位过滤器。
21.根据权利要求19所述的设备，其中所述处理器进一步被配置成传送指示正被传送的相位值的集合数量的数量指示符。
22.根据权利要求19所述的设备，其中所述处理器进一步被配置成：
使用存储的跨层相位对准参数的所述一个或多个集合中的第一集合来重采样顶场图片；以及
使用存储的跨层相位对准参数的所述一个或多个集合中的第二集合来重采样底场图片。
23.根据权利要求19所述的设备，其中所述处理器进一步被配置成传送指示跨层相位对准参数的所述一个或多个集合中将在组合所述一个或多个递进帧ILR图片中使用的跨层相位对准参数的至少一个集合的至少一个索引指示符。
24.根据权利要求23所述的设备，其中所述至少一个索引指示符在片段头部中被接收。
25.根据权利要求19所述的设备，其中跨层相位对准参数的所述多个集合在图片参数集PPS中被传送。
26.根据权利要求25所述的设备，其中所述处理器进一步被配置成传送指示所述至少一个索引指示符是否被用信号发送的标志指示符。
27.根据权利要求19所述的设备，其中所述处理器进一步被配置成传送指示跨层相位对准参数的所述一个或多个集合是被用信号发送还是被推断出的标志指示符。
28.根据权利要求27所述的设备，其中所推断出的跨层相位对准参数的一个或多个集合包括集合，该集合包括亮度水平相位参数、亮度垂直相位参数、色度水平相位参数以及色度垂直相位参数，其中所述亮度水平相位参数、所述亮度垂直相位参数以及所述色度水平相位参数具有相同值，以及所述色度水平相位参数和所述色度垂直相位参数彼此具有不同值。
视频解码器设备及视频编码器设备
[0002] 相关申请
[0003] 本申请要求2014年1月2日申请的美国临时专利申请No.61/923,110和2014年2月12日申请的美国临时专利申请No.61/939,217的优先权，其内容完全以引用的方式结合于此。
技术领域
[0004] 本申请涉及视频编码，尤其涉及混合的交错和递进内容的可伸缩视频编码的系统、设备和方法。
背景技术
[0005] 过去的二十多年，已经发展了各种数字视频压缩技术并对其标准化来实现有效的数字视频通信、分发和使用。大多数商业上广泛使用的标准由ISO/IEC和IUT-T开发，例如H.261、MPEG-1、MPEG-2、H.263、MPEG-4部分2以及H.264/MPEG-4部分10AVC。最近，称为高效视频编码(HEVC)或H.265的视频编码标准由ITU-T视频编码专家组(VCEG)和ISO/IEC移动图像专家组(MPEG)共同开发。附图说明
[0006] 从结合附图以示例方式给出的下面的具体实施方式中可以得到更详细的理解。附图中的图与具体实施方式一样是示例。因此，附图和具体实施方式不被认为是限制性的，且其他同样有效的示例也是可能和可行的。此外，附图中相同的附图标记表示相同的元件，且在附图中：
[0007] 图1A是示出了可以实施和/或执行一个或多个实施方式的示例视频编码和解码系统的框图；
[0008] 图1B是示出了与图1A的视频编码和/或解码系统使用的示例视频编码器的框图；
[0009] 图2是基于一般块的混合视频编码系统；
[0010] 图3是基于块的视频解码器的一般性框图；
[0011] 图4是示出了使用图片级层间处理(ILP)的两层可伸缩编码系统的框图；
[0012] 图5是示出了使用图片级ILP的两层可伸缩解码系统的图；
[0013] 图6是示出了使用具有混合编解码可伸缩性支持的SHVC编解码器的代表性视频传递的图；
[0015] 图8是示出了代表性交错视频并示出与其递进视频中的帧相比该交错视频的顶/底场之间的时间关系示例的图；
[0017] 图10是示出了交错扫描的视频顶场和底场的YUV4:2:0视频格式中的色度采样和亮度采样的默认相对位置的图；
[0018] 图11是示出顶场和底场组合成一张图片的示例的图片；
[0019] 图12是示出基于区域的自适应帧场上采样的示例的图；
[0020] 图13是示出使用场组合的层间预测的代表性过程的图；
[0021] 图14A是示出了使用多于两个场的场组合的层间预测的代表性过程的图；
[0022] 图14B是示出具有5组(例如多组)再采样相位信息的3层(例如多层)可伸缩比特流的示例的图；
[0023] 图15A是可以实施一个或多个公开的实施方式的示例通信系统的图；
[0024] 图15B是可以在图15A示出的通信系统中使用的示例无线发射/接收单元(WTRU)的图；以及
[0025] 图15C、15D以及15E是可以在图15A示出的通信系统中使用的示例无线电接入网和示例核心网的图。
具体实施方式
[0026] 图1A是可以执行和/或实施一个或多个实施方式的示例视频编码和解码系统100的框图。该系统100可以包括源设备112，其可以经由通信信道116传送被编码的视频信息到目的地设备114。
[0027] 源设备112和/或目的地设备114可以是宽范围设备的任意。在一些代表性实施方式中，源设备112和/或目的地设备114可以包括无线发射和/或接收单元(WTRU)，例如无线手持设备或能够通过通信信道116传递视频信息的任意无线设备，在该情况中，通信信道116包括无线链路。但是本文公开的或显式、隐式和/或内在提供(统称为“提供”)的方法、设备和系统不必局限于无线应用或设定。例如，这些技术可以应用于空中电视广播、有线电视传输、卫星电视传输、因特网视频传输、编码到存储介质的被编码数字视频和/或其他情形。
通信信道116可以包括和/或可以是适用于被编码视频数据传输的无线或有线介质的任意组合。
通信信道116可以包括和/或可以是适用于被编码视频数据传输的无线或有线介质的任意组合。
[0028] 源设备112可以包括视频编码器单元118、发射和/或接收(Tx/Rx)单元120和/或Tx/Rx元件122。如图所示，源设备112可以包括视频源124。目的地设备114可以包括Tx/Rx元件126、Tx/Rx单元128和/或视频解码器单元130。如图所示，目的地设备114可以包括显示设备132。Tx/Rx单元120、128中的每个可以是或可以包括发射机、接收机或发射机和接收机的组合(例如收发信机或发射机-接收机)。Tx/Rx元件122、126的每个可以例如是天线。根据本申请，源设备112的视频编码器单元118和/或目的地设备114的视频解码器单元130可以被配置成和/或适用于(统称为“适用于”)应用这里提供的编码技术。
[0029] 源设备112和目的地设备114可以包括其他元件/组件或结构。例如，源设备112可以适用于从外部视频源接收视频数据。目的地设备114可以与外部显示设备(未示出)对接和/或可以包括和/或使用(例如集成的)显示设备132。在一些实施方式中，视频编码器单元118生成的数据流可以被传输到其他设备而不用将该数据调制成载波信号，例如通过直接数字传输，且其他设备可以或可以不调制该数据以用于传输。
[0030] 这里提供的技术可以由任意数字视频编码和/或解码设备执行。虽然一般来说这里提供的技术由分开的视频编码和/或视频解码设备执行，但是该技术也可以由组合的视频编码器/解码器(典型地称为“CODEC”)来执行。这里提供的技术还可以由视频预处理器等来执行。源设备112和目的地设备114仅是这些编码设备的示例，其中源设备112可以生成(和/或可以接收视频数据并可以生成)用于传输到目的地设备114的被编码视频信息。在一些代表性实施方式中，源设备112和目的地设备114可以以基本对称的方式操作由此该设备112、114中的每一个可以包括视频编码和解码组件和/或元件(统称为“元件”)。因此，系统
100可以支持源设备112与目的地设备114之间的单向和双向视频传输中的任意(例如，用于视频流、视频回放、视频广播、视频电话和/或视频会议等的任意)。在一些代表性实施方式中，源设备112可以例如是视频流服务器，适用于生成(和/或接收视频数据并生成)用于一个或多个目的地设备的被编码的视频信息，其中该目的地设备可以通过有线和/或无线通信系统与源设备112通信。
100可以支持源设备112与目的地设备114之间的单向和双向视频传输中的任意(例如，用于视频流、视频回放、视频广播、视频电话和/或视频会议等的任意)。在一些代表性实施方式中，源设备112可以例如是视频流服务器，适用于生成(和/或接收视频数据并生成)用于一个或多个目的地设备的被编码的视频信息，其中该目的地设备可以通过有线和/或无线通信系统与源设备112通信。
[0031] 外部视频源和/或视频源124可以是和/或包括视频获取设备，例如摄像机、包含之前获取的视频的视频档案和/或从视频内容供应方馈送的视频。在一些代表性实施方式中，外部视频源和/或视频源124可以生成基于计算机图形的数据作为源视频、或现场视频、存档视频和/或计算机生成视频的组合。在一些代表性实施方式中，当视频源124是摄像机时，源设备112和目的地设备114可以是或可以实现为相机电话或视频电话。
[0032] 获取的、预先获取的、计算机生成的视频、视频馈送和/或其他类型的视频数据(统称为“未编码视频”)可以由视频编码器单元118编码以形成已编码视频信息。Tx/Rx单元120可以调制该已编码视频信息(例如，根据通信标准，以形成携带已编码视频信息的一个或多个调制信号)。Tx/Rx单元120可以将该已调制信号传递给发射机以用于传输。该发射机可以经由Tx/Rx元件122将已调制信号传送到目的地设备114。
[0033] 在目的地设备114，Tx/Rx单元128可以经由Tx/Rx元件126通过信道116接收已调制信号。Tx/Rx单元128可以解调该已调制信号以得到已编码视频信息。Tx/Rx单元128可以将该已编码视频信息传递给视频解码器单元130。
[0034] 视频解码器单元130可以解码已编码视频信息以得到解码后的视频数据。已编码视频信息可以包括视频编码单元118定义的语法信息。该语法信息可以包括一个或多个元素(“语法元素”)；这些语法元素的一些或所有可以有用于解码已编码视频信息。该语法元素可以包括例如已编码视频信息的特性。该语法元素还可以包括用于形成已编码视频信息的未编码视频的特性和/或描述对该未编码视频的处理。
[0035] 视频解码器单元130可以输出解码后的视频数据以用于之后的存储和/或在外部显示器(未示出)上显示。在一些代表性实施方式中，视频解码器单元130可以输出解码后的视频数据给显示设备132。该显示设备132可以是和/或可以包括适用于向用户显示解码后的视频数据的各种显示设备的单个、多个、组合。这些显示设备的示例包括液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器和/或阴极射线管(CRT)等。
[0036] 通信信道116可以是无线或有线通信介质，例如射频(RF)频谱或一个或多个物理传输线，或无线和有线介质的任意组合。通信信道116可以形成基于分组的网络的部分，例如局域网、广域网或全局网，例如因特网。通信信道116一般代表任何合适的通信介质或不同通信介质的集合，用于从源设备112传送视频数据到目的地设备114，包括有线和/或无线介质的任意合适的组合。通信信道116可以包括路由器、交换机、基站和/或可以用于促进从源设备112到目的地设备114的通信的任意其他设备。可以促进设备112、114之间的这种通信的示例通信系统的细节在下文参照图15A-15E描述。可以代表源设备112、目的地设备114的设备的细节也在下文提供。
[0037] 视频编码器单元118和视频解码器单元130可以根据一个或多个标准和/或规范(例如，MPEG-2、H.261、H.263、H.264、H.264/AVC和/或根据SVC扩展而扩展的H.264(“H.264/SVC”)等)来操作。本领域技术人员理解这里提出的方法、设备和/或系统适用于根据(和/或兼容)不同标准实施的其他视频编码器、解码器和/或编解码器，或适用于包括未来的视频编码器、解码器和/或编解码器的专有视频编码器、解码器和/或编解码器。这里提出的技术不限于任何特定的编码标准。
[0038] 上述H.264/AVC的相关部分可以从国际电信联盟得到作为ITU-T推荐H.264，或更特别的，从“ITU-T Rec.H.264and ISO/IEC 14496-10(MPEG4-AVC),'Advanced Video Coding for Generic Audiovisual Services,'v5,2010年3月”得到；其以引用的方式结合于此，且这里可以称为H.264标准、H.264规范、H.264/AVC标准和/或规范。这里提供的技术可以应用于符合(例如一般符合)H.264标准的设备。
[0039] 虽然在图1A中没有示出，但视频编码器单元118和视频解码器单元130中的每一个可以包括和/或集成音频编码器和/或音频解码器(如果合适的话)。视频编码器单元118和视频解码器单元130可以包括合适的复用-解复用单元，或其他硬件和/或软件，以处理共同数据流和/或分开的数据流中的音频和视频的编码。如果合适，复用-解复用单元可以例如符合ITU-T推荐H.223复用器协议和/或其他协议，例如用户数据报协议(UDP)。
[0040] 一个或多个视频编码器单元118和/或视频解码器单元130可以被包括在一个或多个编码器和/或解码器中；该编码器和/或解码器的任意可以被集成作为编解码器的部分，且可以集成和/或结合各自的相机、计算机、移动设备、订户设备、广播设备、机顶盒和/或服务器等。视频编码器单元118和/或视频解码器单元130可以分别被实施为各种合适编码器和/或解码器电路的任意，例如一个或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或这些的任意组合。视频编码器单元118和视频解码器单元130的一者或两者可以基本以软件实施，且视频编码器单元118和/或视频解码器单元130的元件的操作可以通过除了处理器以外还有一个或多个处理器(未示出)执行的合适软件指令来执行，可以包含芯片外组件，例如外部存储(例如以非易失性存储器的形式)和/或输入/输出接口等。
[0041] 在视频编码器单元118和/或视频解码器单元130的元件的操作可以由一个或多个处理器执行的软件指令执行的任意实施方式中，该软件指令可以保持在计算机可读介质上，包括例如磁盘、光盘、任意其他易失性(例如随机存取存储器(“RAM”))非易失性(例如只读存储器(ROM“))和/或CPU可读的大容量存储系统等。该计算机可读介质可以包括合作或互连的计算机可读介质，其可以专用于处理系统和/或在本地于或远程于该处理系统的多个互连处理系统间进行分配。
[0042] 图1B是示出了用于例如系统100的视频编码和/或解码系统的示例视频编码器单元118的框图。视频编码器单元118可以包括视频编码器133、输出缓冲器134以及系统控制器136。视频编码器133(或其中的一个或多个元件)可以根据一个或多个标准和/或规范来实施，例如H.261,H.263,H.264,H.264/AVC,H.264/AVC的SVC扩展(H.264/AVC Annex G),HEVC,和/或HEVC的可伸缩扩展(SHVC)等。本领域技术人员理解这里提供的方法、设备和/或系统可以适用于根据不同标准和/或专有CODEC(包括未来的CODEC)实施的其他视频编码器。
[0043] 视频编码器133可以接收视频源(例如视频源124)和/或外部视频源提供的视频信号。该视频信号可以包括未编码视频。该视频编码器133可以对该未编码视频进行编码，并在其输出提供已编码(即压缩)视频比特流(BS)。
[0044] 已编码视频比特流BS可以被提供给输出缓冲器134。该输出缓冲器134可以缓冲该已编码视频比特流BS，并可以提供该已编码视频比特流BS作为已缓冲比特流(BBS)，用于经由通信信道116传输。
[0045] 从输出缓冲器134输出的已缓冲比特流BBS可以被发送给存储设备(未示出)以用于之后的观看或传输。在某些代表性实施方式中，视频编码器单元118可以被配置用于视觉通信，其中已缓冲比特流BBS可以以指定的恒定和/或变化的比特率(例如有延迟(例如，非常低或最小延迟))经由通信信道116被传送。
[0046] 接下来已编码视频比特流BS和已缓冲比特流BBS可以携带已编码信号信息的比特。已缓冲比特流BBS的比特可以被设置为已编码视频帧流。已编码视频帧可以是内编码帧(例如I帧)，或间编码帧(例如B帧和/或P帧)。已编码视频帧流可以被设置为一系列的图片组(GOP)，其每个GOP的已编码视频帧以指定顺序排列。通常，每个GOP可以从内编码帧(例如I帧)开始，跟着的是一个或多个间编码帧(例如P帧和/或B帧)。每个GOP可以包括仅单个内编码帧；但是GOP的任意可以包括多个。考虑到B帧可以不用于实时，例如双向预测造成的低延迟应用与单向预测(P帧)相比可能导致额外的编码延迟。额外的和/或其他帧类型可以被使用且如本领域技术人与所知，已编码视频帧的特定顺序可以被修改。
[0047] 每个GOP可以包括语法数据(“GOP语法数据”)。GOP语法数据可以被放置在GOP的头部，在GOP的一个或多个帧的头部，和/或其他位置。GOP语法数据可以指示排序、数量或类型，和/或描述各个GOP的已编码视频帧。每个已编码视频帧可以包括语法数据(“已编码帧语法数据”)。该已编码帧语法数据可以指示和/或描述各个已编码视频帧的编码模式。
[0048] 系统控制器136可以监视与信道116相关联的各种参数和/或约束、视频编码器单元118的计算能力、用户需求等，并可以建立目标参数以提供适合信道116的指定约束和/或条件的参与者体验质量(QoE)。一个或多个目标参数可以取决于指定约束和/或信道条件不时地或周期地被调节。例如，QoE可以使用用于评估视频质量的一种或多种度量来定量评估，包括例如通常称为已编码视频序列相对感知质量的度量。例如使用峰值信号噪声比(“PSNR”)度量测量的已编码视频序列相对感知质量可以通过已编码比特流BS的比特率来控制。一个或多个目标参数(包括例如量化参数(QP))可以被调节以在与已编码比特流BS的比特流相关联的约束内最大化视频相对感知质量。
[0049] 图2是用于例如系统100的视频编码和/或解码系统的基于块的混合视频编码器200的框图。
[0050] 参考图2，基于块的混合编码系统200可以包括变换单元204、量化单元206、熵编码单元208、逆量化单元210、逆变换单元212、第一加法器216、第二加法器226、空间预测单元260、运动预测单元262、参考图片库264、一个或多个过滤器266(例如，环过滤器)和/或模式决定和编码器控制器单元280等。
[0051] 视频编码器200的细节仅仅用于示意，实际情况的实施可以不同。例如实际实施可以包括更多、更少和/或不同元件，和/或不同于图2所示的结构来排列。例如虽然分开显示，但是变换单元204和量化单元206这两者的一些或所有功能可以在一些实际实施中可以被高度集成，例如在使用H.264标准的核心变换的实施中。类似地，逆量化单元210和逆变换单元212在一些实际实施(例如，H.264或HEVC标准兼容实施)中可以被高度集成，但是为了概念化将其分开显示。
[0052] 如上所述，视频编码器200可以在其输入202接收视频信号。该视频编码器200可以根据接收到的未编码视频生成已编码视频信息并将该已编码视频信息(例如内帧或间帧的任意)以已编码视频比特流BS的形式从其输出220输出。例如视频编码器200可以作为混合视频编码器进行操作，且使用基于块的编码过程来对该未编码视频进行编码。当执行该编码过程时，视频编码器200可以对该未编码视频的单独帧、图片和/或图像(统称为“未编码图片”)进行操作。
[0053] 为了便于基于块的编码过程，视频编码器200可以切片、分开、划分、和/或分段(统称为“分段”)在其输入202接收的每个未编码图片成多个未编码视频块。例如，视频编码器200可以将该未编码图片分成多个未编码视频段(例如，片段)并可以(例如然后可以)将每个未编码视频段分成未编码视频块。视频编码器200可以传递、供应、发送或提供该未编码视频块给空间预测单元260、运动预测单元262、模式决定和编码器控制器单元280和/或第一加法器216。如下面更详细描述的，可以一块一块来提供未编码视频块。
[0054] 空间预测单元260可以接收该未编码视频块，并以内模式对该视频块进行编码。该内模式是指基于空间压缩的几种模式的任意，且内模式编码用于提供对未编码图片的基于空间的压缩。如果使用的话，基于空间的压缩可以通过降低或移除未编码图片内的视频信息的空间冗余来实现。在形成预测块的过程中，空间预测单元260可以相对于未编码图片的已经被编码(已编码视频块)和/或重构(“重构视频块”)的一个或多个视频块对每个未编码视频块执行空间预测(或“内预测”)。已编码和/或重构视频块可以在未编码视频块的附近、与其临近或接近(例如非常接近)。
[0055] 运动预测单元262可以从输入202接收未编码视频块并可以以内模式对其进行编码。内模式是指基于时间的压缩的几种模式的任意，包括例如P模式(单向预测)和/或B模式(双向模式)。内模式编码用于提供对未编码图片的基于时间的压缩。如果使用的话，基于时间的压缩可以通过在未编码图片和一个或多个参考(例如邻近)图片间降低或移除视频信息的时间冗余来实现。运动预测单元262可以相对于参考图片的一个或多个视频块(“参考视频块”)对每个未编码视频块执行时间预测(或“间预测”)。时间预测的执行可以是单向预测(例如P模式)和/或双向预测(例如B模式)。
[0056] 针对单向预测，参考视频块可以从一个或多个之前已编码和/或重构图片开始。已编码和/或重构的一个或多个图片可以在该未编码图片的附件、与之邻近和/或接近。
[0057] 针对双向预测，参考视频块可以从一个或多个之前的已编码和/或重构图片开始。已编码和/或重构图片可以在该未编码图片的附近、与之邻近和/或接近。
[0058] 如果多个参考图片被使用(针对最近的视频编码标准例如H.264/AVC和/或HEVC可能是这种情况)，对于每个视频块，其参考图片索引可以被发送给熵编码单元208以用于之后的输出和/或传输。参考索引可以用于标识时间预测来自参考图片库264中的哪个或哪些参考图片。
[0059] 虽然典型地高度集成，但用于运动估计和运动补偿的运动预测单元262的功能可以由分开的实体或单元(未示出)来执行。运动估计可以被执行以估计相对于参考图片视频块的每个未编码视频块的运动，且可以包括生成未编码视频块的运动向量。该运动向量可以指示相对于正被编码的未编码视频块的预测块的位移。该预测块是被发现在正被编码的未编码视频块的像素差方面最接近匹配的参考图片视频块。该匹配可以通过绝对差之和(SAD)、平方差之和(SSD)和/或其他差度量来确定。运动补偿可以涉及基于通过运动估计确定的运动向量来取得和/或生成预测块。
[0060] 运动预测单元262可以通过将未编码视频块与来自存储在参考图片库264中得参考图片的参考视频块进行比较来计算未编码视频块的运动向量。该运动预测单元262可以计算包括在参考图片库264中的参考图片的分数像素位置的值。在一些情况中，加法器226和视频编码器200的另一单元可以计算重构视频块的分数像素位置值，并可以将具有计算出的分数像素位置值的重构视频块存储在参考图片库264中。运动预测单元262可以插值参考图片的分段整数像素(例如I帧和/或P帧和/或B帧的)。
[0061] 运动预测单元262可以被配置成编码相对于所选运动预测器的运动向量。运动预测单元262选择的运动预测器可以是例如等于已经被编码的相邻块的运动向量的平均值的向量。为了编码未编码视频块的运动向量，运动预测单元262可以计算该运动向量与运动预测器之间的差以形成预定向量差值。
[0062] H.264和HEVC涉及作为“列表”的一组潜在的参考帧。存储在参考图片库264中的一组参考图片可以对应于该参考帧列表。运动预测单元262可以将来自参考图片库264的参考图片的参考视频块与该未编码视频块(例如P帧的或B帧的)进行比较。当参考图片库264中的参考图片包括分段整数像素值时，运动预测单元262计算的运动向量可以涉及该参考图片的分段整数位置。运动预测单元262可以发送计算出的运动向量到熵编码单元208以及运动预测单元262的运动补偿功能。运动预测单元262(或其运动补偿功能)可以计算相对于正被编码的未编码视频块的预测块的误差值。运动预测单元262可以基于该预测块来计算预测数据。
[0063] 模式决定和编码器控制器单元280可以选择编码模式、内模式或间模式中的一者。模式决定和编码器控制器单元280可以基于例如速率失真优化方法和/或每种模式中产生的误差结果来进行选择。
[0064] 视频编码器200可以通过从正被编码的未编码视频块中减去运动预测单元262提供的该预测数据来形成残余块(“残余视频块”)。加法器216表示可以执行这种减法操作的一个或多个元件。
[0065] 变换单元204可以对该残余视频块应用变换以将该残余视频块从像素值域转换到变换域，例如频域。该变换可以例如是这里提供的变换、离散余弦变换(DCT)或概念上相似变换的任意。该变换的其他示例包括在H.264和/或HEVC中定义的变换、小波变换、整数变换、和/或子带变换等。变换单元204对残余视频块应用该变换产生该残余视频块的相应的变换系数块(“参数变换系数”)。这些残余变换系数可以表示残余视频块的频率分量的大小。变换单元204可以将该残余变换系数转发到量化单元206。
[0066] 量化单元206可以量化该残余变换系数以进一步减小编码的比特率。例如该量化过程可以减小与残余变换系数的一些或所有相关联的位深。在一些情况中，量化单元206可以将残余变换系数的值除以对应于QP的量化等级以形成量化变换系数块。量化的程度可以通过调整QP值来修改。量化单元206可以应用该量化以使用期望数量的量化步长来表示残余变换系数；使用的步长的数量(或相应地量化等级的值)可以确定用于表示残余视频块的已编码视频比特的数量。量化单元206可以从速率控制器(未示出)得到该QP值。在量化之后，量化单元206可以提供量化的变换系数给熵编码单元208和逆量化单元210。
[0067] 熵编码单元208可以给量化的变换系数应用熵编码以形成熵编码系数(即，比特流)。熵编码单元208可以使用自适应可变长度编码(CAVLC)、上下文自适应二进制算数编码(CABAC)和/或另一熵编码技术来形成熵编码系数。如本领域技术人员可知CABAC可能需要上下文信息(“上下文”)的输入。该上下文可以基于例如相邻视频块。
[0068] 熵编码单元208可以以未经处理的已编码视频比特流的形式提供熵编码系数和运动向量以及一个或多个参考图片索引给内部比特流格式(未示出)。该比特流格式可以通过在该未经处理的已编码视频比特流附上附加信息(包括头部和/或其他信息，其用于例如使得视频解码器单元300(图3)解码来自未经处理的已编码视频比特流的已编码视频块)来形成提供给输出缓冲器134(图1B)的已编码视频比特流BS。在熵编码之后，熵编码单元208提供的该已编码视频比特流BS可以例如输出给输出缓冲器134，并可以例如经由信道116被传送给目的地设备114或被归档用于之后的传输或获取。
[0069] 在一些代表性实施方式中，熵编码单元208或视频编码器133、200的另一单元可以被配置成除了熵编码之外还执行其他编码功能。例如，熵编码单元208可以被配置成确定该视频块的码块模式(CBP)值。在一些代表性实施方式中，熵编码单元208可以执行视频块中量化变换系数的运行长度编码。例如，熵编码单元208可以应用曲折(zigzag)扫描或其他扫描方式来设置视频块中的量化变换系数并编码零运行以用于进一步压缩。熵编码单元208可以用合适的语法元素来构建头部信息以用于在已编码视频比特流BS的传输。
[0070] 逆量化单元210和逆变换单元212可以分别应用逆量化和逆变换以在像素域中重构残余视频块，例如用于之后用作参考视频块之一(例如在参考图片列表中的参考图片之一内)。
[0071] 模式决定和编码器控制器单元280可以通过将重构残余视频块加到存储在参考图片库264中的参考图片之一的预测块来计算参考视频块。模式决定和编码器控制器单元280可以对该重构残余视频块应用一个或多个插值过滤器来计算用于在运动估计中使用的分段整数像素值(例如用于半像素位置)。
[0072] 加法器226可以将重构残余视频块加到运动补偿预测视频块以产生重构视频块以存储在参考图片库264中。重构(像素值域)视频块可以由运动预测单元262(或其运动估计功能和/或其运动补偿功能)使用作为用于间编码后续未编码视频中的未编码视频块的参考块之一。
[0073] 过滤器266(例如环过滤器)可以包括解块过滤器。该解块过滤器可以操作以移除在重构宏块中存在的视觉伪影。这些伪影可能在编码过程中被引入，例如是由于使用不同编码模式(例如I类型、P类型或B类型)造成的。伪影可以例如存在于接收的视频块的边界和/或边缘，且解块过滤器可以操作以平滑该视频块的边界和/或边缘以改善视觉质量。该解块过滤器可以过滤加热器226的输出。过滤器266可以包括其他环内过滤器，例如HEVC标准支持的采样自适应偏移(SAO)过滤器。
[0074] 图3是示出用于视频解码器单元(例如图1A的视频解码器单元130)的视频解码器300的示例的框图。视频解码器300可以包括输入302、熵解码单元308、运动补偿预测单元
362、空间预测单元360、逆量化单元310、逆变换单元312、参考图片库364、过滤器366、加法器326以及输出320。视频解码器300可以执行一般与关于视频编码器133、200提供的编码过程相反的解码过程。
362、空间预测单元360、逆量化单元310、逆变换单元312、参考图片库364、过滤器366、加法器326以及输出320。视频解码器300可以执行一般与关于视频编码器133、200提供的编码过程相反的解码过程。
[0075] 运动补偿预测单元362可以基于从熵解码单元308接收的运动向量来生成预测数据。运动向量可以相对于对应于已编码运动向量的视频块的运动预测器被编码。运动补偿预测单元362可以确定该运动预测器例如作为与将被解码的视频块相邻的块的运动向量的中值。在确定该运动预测器之后，该运动补偿预测单元362可以通过从已编码视频比特流BS提取运动向量差值并将该运动向量差值加到该运动预测器来解码已编码运动向量。运动补偿预测单元362可以将该运动预测器量化为与已编码运动向量相同的分辨率。在某些代表性实施方式中，运动补偿预测单元362可以针对一些或所有已编码运动预测器使用相同的精度。作为另一个示例，运动补偿预测单元362可以被配置成使用上述方法之一并通过分析从已编码视频比特流BS得到的序列参数集、片段参数集或图片参数集中包含的数据来确定使用哪种方法。
[0076] 在解码该运动向量之后，运动补偿预测单元362可以从参考图片库364中的参考图片中提取该运动向量标识的预测视频块。如果该运动向量指向分数像素位置，例如半像素，则运动补偿预测单元362可以针对该分数像素位置插入值。该运动补偿预测单元362可以使用自适应插值过滤器或固定插值过滤器来插入这些值。该运动补偿预测单元362可以从接收的已编码视频比特流BS中得到使用哪个过滤器366的标记，并且在多种代表性实施方式中，得到该过滤器366的系数。
[0077] 空间预测单元360可以使用在已编码视频比特流BS中接收的内预测模式以根据空间相邻块形成预测视频块。逆量化单元310可以逆量化(例如解量化在已编码视频比特流BS中提供的且由熵解码单元308解码的量化块系数)。该逆量化过程可以包括例如H.264定义的常规过程。该逆量化过程可以包括针对每个视频块使用视频编码器133、200计算的量化参数QP来确定量化度和/或将被应用的逆量化度。
[0078] 逆变换单元312可以应用逆变换(例如这里提供的任意变换的逆变换、逆DCT、逆整数变换或概念上相似的逆变换过程)到变换系数以在像素域产生残余视频块。运动补偿预测单元362可以产生运动补偿块，并基于插值过滤器可以执行插值。将被用于具有亚像素精度的运动估计的插值过滤器的标识符可以被包含在视频块的语法元素中。该运动补偿预测单元362可以在视频块的编码期间使用视频编码器133、200使用的插值过滤器来计算参考块的分段整数像素的值。运动补偿预测单元362可以根据接收的语法信息来确定视频编码器133、200使用的该插值过滤器并使用该插值过滤器来产生预测块。
[0079] 运动补偿预测单元362可以使用：(1)用于确定用于编码已编码视频序列的一个或多个图片的视频块大小的语法信息；(2)描述已编码视频序列的帧的每个视频块如何被划分的分块信息；(3)指示如何编码每个分块的模式(或模式信息)；(4)用于每个间编码视频块的一个或多个参考图片，和/或(5)用于解码已编码视频序列的其他信息。
[0080] 加法器326可以对残余块和运动补偿预测单元362或空间预测单元360生成的相应预测块求和以形成解码后视频块。环过滤器366(例如解块过滤器或SAO过滤器)可以被应用于过滤该解码后视频块以移除块效应伪影和/或改善视觉质量。解码后视频块可以被存储在参考图片库364中，其可以提供用于后续运动补偿的参考视频块并可以产生用于在显示设备(未示出)上呈现的解码后视频。
[0081] 随着每个视频块经历该编码和/或解码过程，与该视频块相关联的视频信息可以被不同表示。例如，视频块可以包括：(i)像素域中的像素数据；(ii)表示未编码视频块与预测块之间的像素差的残余数据(“残余”)；(iii)变换域中的变换系数(例如在应用变换之后)；以及(iv)量化的变换域中的量化的变换系数。
[0082] 每个视频块可以具有给定的尺寸或统称为“大小”。视频块大小可以取决于编码标准。例如，H.264指标中支持针对亮度分量的各种视频块大小的内预测，例如16x16、8x8、或4x4，以及针对色度分量支持8x8，且针对亮度分量支持各种块大小的间预测，例如16x16、
16x8、8x16、8x8、8x4、4x8、以及4x4，且针对色度分量支持相应伸缩的大小。在H.264标准中，
16像素乘以16像素尺寸的视频块通常称为宏块(MB)，且小于16像素乘以16像素的视频块通常称为MB的分块(“MB分块”)。在HEVC中，称为“编码单元”或“CU”的视频块可以用于更有效压缩高分辨率(例如1080p及以上)视频信号。在HEVC中，CU大小在参数序列集合中被设定，且可以被设定大到64x64像素且小到4x4像素。CU还可以进一步被分成预测单元(PU)，分开的预测方法可以用于该PU。可以使用空间预测单元360和/或运动补偿预测单元362来处理每个视频块(不管是MB、CU和/或PU还是其他的)。
16x8、8x16、8x8、8x4、4x8、以及4x4，且针对色度分量支持相应伸缩的大小。在H.264标准中，
16像素乘以16像素尺寸的视频块通常称为宏块(MB)，且小于16像素乘以16像素的视频块通常称为MB的分块(“MB分块”)。在HEVC中，称为“编码单元”或“CU”的视频块可以用于更有效压缩高分辨率(例如1080p及以上)视频信号。在HEVC中，CU大小在参数序列集合中被设定，且可以被设定大到64x64像素且小到4x4像素。CU还可以进一步被分成预测单元(PU)，分开的预测方法可以用于该PU。可以使用空间预测单元360和/或运动补偿预测单元362来处理每个视频块(不管是MB、CU和/或PU还是其他的)。
[0083] 如这使用的，“NxN”和“N乘以N”可以互换使用，用于指在垂直和水平方向上的分量(例如，像素、残余、变换系数和/或量化的变换系数等)的块大小。一般来说，16x16视频块具有在垂直方向上16个元素(y＝16)和水平方向上16个元素(x＝16)。NxN块一般具有垂直方向上N个元素和水平方向上N个元素，其中N表示非负整数值。视频块中的元素可以按行和列来排列。视频块可以在水平方向和垂直方向上具有相同或不同数量的像素。例如，该视频块可以包括NxM个像素，其中M等于或不等于N。
[0084] HEVC实现的压缩是H.264/AVC的两倍，或同等地是在相同视频质量下使用或所需的比特率减半。越来越多的新视频应用，例如视频聊天、移动视频记录和分享，以及视频流可以使用或可以需要异构环境中的视频传输。已知为考虑各种用户设备(例如PC、智能电话、平板电脑、TV)的3屏或N屏的情形可以在设备上提供在计算能力、内存/存储大小、显示分辨率和/或显示帧率等方面宽变化能力的视频使用。网络和传输信道可以具有在分组丢失率、可用信道带宽和/或突发误码率等方面的宽变化特性。现今视频可以通过有线网络或无线网络的组合来传送，这可能使基础传输信道特性复杂化。可伸缩视频编码可以改进在异构网络上运行在具有不同能力的设备上得视频应用的体验质量。可伸缩视频编码可以以最高表现(例如，时间分辨率、空间分辨率、和/或质量等)对该信号编码一次并可以依据条件(例如，运行在特定客户端设备上的某些应用使用或所需的特定速率和/或表现)使得从视频流的子集解码。在某些代表性实施方式中，使用可伸缩视频编码过程可以与非伸缩视频编码过程相比实现带宽和/或存储节省。国际视频标准MPEG-2视频、H.263、MPEG4视觉以及H.264具有支持一些可伸缩性模式的工具和/或简档。
[0085] 可伸缩视频编码(SVC)是H.264的扩展，其可以实现部分比特流的传输和解码以提供具有较低时间或空间分辨率或降低的保真度的视频服务，并可以在给定部分比特流速率的情况下保持相对高重构质量。SVC中单环解码(SLD)指在正被解码的层设置(例如仅需要设置)一个运动补偿环的SVC解码器，且不或可以不必在另外一个或多个较低层设置一个或多个运动补偿环。例如，如果该比特流包含或包括2层(例如作为基层的层1和作为增强层的层2)且如果解码器想要重构层2视频，则解码后图片缓冲和运动补偿预测可以针对层2(例如仅针对层2)但可以不针对层1(例如层2所依据的基层)被设置或可以需要被设置。SVC不使用或不需要来自要被重构(例如完全重构)的较低层的参考图片，降低在解码器处的计算复杂性和存储需求。SLD通过约束层间纹理预测来实现，其中对于给定层中的当前块，来自较低层的空间纹理预测仅在相应较低层块在内模式在被编码(称为受限内预测)的情况下被允许。当较低层在内模式下被编码时，其可以在不需要运动补偿操作和解码后图片缓冲的情况下被重构。对于增强层，SVC从较低层使用另外的层间预测技术，例如运动向量预测、残余预测以及模式预测等。虽然SVC的SLD在某种程度降低了解码器的计算复杂性和存储需求，但其由于严重依赖块水平的层间预测来实现满意的性能而增加了执行复杂性。为了补偿施加SLD约束而造成的性能惩罚，且仍然能够实现满意的可伸缩编码性能，编码器设计和计算复杂性实际上由于使用了跨层联合速率失真优化而增加了。交错内容的编码不被支持(例如SVC很好地支持)，这影响广播行业采用它。SVC编码器和解码器设计和系统实施的复杂可以是在市场中采用SVC受限的原因。
[0086] 在某些代表性实施方式中，可以通过(例如主要通过)高级层间处理来实现可伸缩编码效率。
[0087] 标准伸缩性一般指当基层使用较早标准例如H.264/AVC或甚至MPEG2被编码而一个或多个增强层使用最近的标准例如HEVC标准被编码时伸缩性的情况。标准伸缩性可以实现已经使用之前标准编码且增强旧有内容质量的旧有内容编码与提供更好编码效率的如HEVC的新标准编码的一个或多个增强层的后向兼容性。这两个术语在本文中可以互换使用。HEVC的可伸缩增强的要求包括空间伸缩性、时间伸缩性、质量伸缩性、标准伸缩性等。下表1列出了这些伸缩性的示例。
[0088] 表1-不同类型的伸缩性
[0089]伸缩性 示例
空间伸缩性 720p→1080p
质量(SNR)伸缩性 35dB→38dB
时间伸缩性 30fps→60fps
标准伸缩性 H.264/AVC→HEVC
空间伸缩性 720p→1080p
质量(SNR)伸缩性 35dB→38dB
时间伸缩性 30fps→60fps
标准伸缩性 H.264/AVC→HEVC
[0090] 图4是用于实现有效可伸缩编码的两层可伸缩编码系统(例如使用或依赖图片级层间处理(ILP))的框图。图4中的BL编码器(在该示例中是HEVC编码器)可以使用空间预测和时间预测的组合来编码器BL视频输入。BL视频输入被一些或所有视频编码标准支持，包括H.264和HEVC。BL编码器45可以建立基层DPB(解码器图片缓冲)41以存储用于或需要用于执行时间运动补偿预测的参考图片。在该增强层中，EL编码器47可以与BL编码器45进行类似操作。可以提供用于EL编码器预测输入EL视频的参考图片的增强层DPB 49可以包含或包括不仅来自当前增强层的参考图片，还可以包含或包括来自其依据的层的DPB(例如图4中的BL DPB)的一些参考图片。在图4中，层间处理单元43可以用于在来自BL DPB 41的图片可以用于预测EL视频之前处理该图片。在BL和EL比特流被生成之后，复用器44用于将这些比特流组合成可伸缩比特流42。如果层间处理单元43使用层间处理(ILP)参数，则该ILP信息可以被一起复用到该可伸缩比特流。图5是示出可以对应于图4种的可伸缩编码系统的使用图片级ILP的两层可伸缩解码系统的图。在图5中，解复用器501用于将该可伸缩比特流解包成BL比特流、EL比特流和/或ILP信息。BL比特流可以被BL解码器509解码以生成基层重构图片并将其放入BL DPB 503。ILP信息可以由层间处理单元505用来生成层间参考图片(例如通过处理BL重构图片并将其存储在EL DPB 507中。)EL解码器511可以使用EL DPB中的该参考图片来解码EL比特流(该EL DPB可以包含或包括EL中的时间参考图片和/或来自BL的层间参考图片)。
[0091] 虽然针对HEVC实施在图4中示出了BL编码器45和EL编码器47(例如作为HEVC编码器的部分)，可以理解其他实施是可能的，包括符合其他视频标准例如MPEG-2视频、H.263、MPEG4视觉和/或H.264等的实施。
[0092] 虽然针对HEVC实施在图5种示出了BL解码器509和EL解码器511(例如作为HEVC解码器的部分)，但可以理解其他实施是可能的，包括符合其他视频标准例如MPEG-2视频、H.263、MPEG4视觉和/或H.264等的实施。
[0093] 由于如图4和图5中示出的该可伸缩编码系统可能依赖用于可伸缩编码(例如有效可伸缩编码)的图片级层间预测，这样的可伸缩系统可以例如保持高编码效率，而不管哪种编解码器用作BL和/或EL编码中的基础单层编解码器。例如，BL编解码器可以用H.264/AVC编解码器来替换(例如，不会影响可伸缩编码系统的总体架构和效率)。
[0094] 回过来参考图2，基于块的混合视频编码器200可以提供通用基于块的单层视频编码器，其能够例如被用作图4中的BL编码器和EL编码器。如图2所示，单层编码器可以使用公知技术例如空间预测(也称为内预测)和时间预测(也称为间预测和/或运动补偿预测)来预测输入视频信号，例如以实现有效压缩。该编码器可以具有模式选择逻辑，其例如通常基于某些标准，例如速率和/或失真考虑中的一者或组合来选择最合适的预测形式。该编码器可以变换并可以量化预测残余(例如，输入信号与预测信号之间的差值信号)。量化的残余与该模式信息(例如内或间预测)和预测信息(运动向量、参考图片索引和/或内预测模式等)可以在熵编码器处一起被压缩(例如进一步压缩)并被打包成输出视频比特流。如图2所示，该编码器可以通过对量化的残余应用逆量化和逆变换以得到重构残余并将其加回到预测信息来生成重构视频信号。该重构视频信号可以经过环过滤器过程(例如，解块过滤器、采样自适应偏移和/或自适应环过滤器)并可以被存储参考图片库(或DPB)中以用于预测将来的视频信号。
[0095] 再参考图3，视频解码器300可以对应于图2中的单层编码器的通用基于块的单层解码器。图3中的解码器可以例如用作图5中的BL和EL解码器。图5中的单层解码器可以接收图2中的编码器产生的视频比特流并可以重构将被显示的视频信号。在视频解码器处，该比特流可以被熵解码器解析。残余系数可以被逆量化和逆变换以得到重构的残余。编码模式和预测信息可以用于使用空间预测和/或时间预测得到预测信号。预测信号和重构的残余可以被加在一起以得到重构视频。该重构视频可以在被存储到DPB以被显示和/或用于解码将来的视频信号之前经历环过滤。上表1中提出的针对SHVC的标准伸缩性特征可以允许视频服务供应方(例如，电缆网络运营商和/或广播商等)继续服务拥有具有(例如仅具有)H.264/AVC能力的已有的接收设备(例如机顶盒或STB)的旧有客户，而新/优质客户可以迁往具有HEVC解码能力的更新的接收设备(例如STB)并例如通过订阅优质服务享受视频信号的更高质量表现(例如，更高空间分辨率、更高时间分辨率和/或更高图片质量等)。
[0096] 图6中示出了这种分发系统的代表性示例。在图6中，高质量视频600在预处理步骤601被预处理(例如以降低带宽需求)。例如，预处理可以是对高质量视频的空间下采样，对高质量视频的时间下采样(帧率降低)和/或递进到交错转换过程等。在预处理后，基础质量视频603可以使用旧有编解码器例如H.264/AVC编码器605被编码。H.264/AVC比特流(基层比特流)606可以使用合适的传输协议被打包(步骤607)，并可以经由信道A 609被发送到订阅基础服务的客户，其中其被解包(615)并被旧有解码器(例如H.264/AVC解码器617)解码。
可以使用可伸缩编解码器SHVC 611来编码原始高质量视频600，该SHVC 611具有混合编解码器伸缩性支持，例如H.264/AVC至HEVC伸缩性支持。增强层可伸缩比特流613可以使用合适的传输协议被打包(614)，并经由信道B 619被传输给优质客户，其中其被解包(621)并被优质解码器(例如SHVC解码器623)解码。在该接收端，具有SHVC解码器615的优质客户可以接收并消费高质量视频。根据图4和5中的架构，由于重构的基层视频用作混合编解码器伸缩性的层间预测，传输更高质量视频给优质客户并传输较低质量视频给旧有客户所使用的或所需的带宽与同播传统较低质量视频流和传统较高质量视频流相比是降低的。
可以使用可伸缩编解码器SHVC 611来编码原始高质量视频600，该SHVC 611具有混合编解码器伸缩性支持，例如H.264/AVC至HEVC伸缩性支持。增强层可伸缩比特流613可以使用合适的传输协议被打包(614)，并经由信道B 619被传输给优质客户，其中其被解包(621)并被优质解码器(例如SHVC解码器623)解码。在该接收端，具有SHVC解码器615的优质客户可以接收并消费高质量视频。根据图4和5中的架构，由于重构的基层视频用作混合编解码器伸缩性的层间预测，传输更高质量视频给优质客户并传输较低质量视频给旧有客户所使用的或所需的带宽与同播传统较低质量视频流和传统较高质量视频流相比是降低的。
[0097] 在某些代表性实施方式中，混合编解码器伸缩性可以被用于将被存储/传送的视频内容从交错格式转换成递进格式(例如，不会使视频分发网络负担过重)。虽然多数(例如大多数)因特网视频内容以递进扫描格式提供的，但广播商和/或电缆网络传输的相当量的视频内容以交错扫描格式提供的。使用递进扫描格式的可能原因可以包括：(1)与升级历史上大多处理交错内容的已有视频分发设备和基础结构相关联的明显成本和/或(2)交错内容可以帮助降低带宽需求，且仍然保持高帧率(例如，其可以有用于运动内容分发)。
[0098] 在某些代表性实施方式中，实施可伸缩编码系统，其依赖图片级层间处理来实现交错至递进伸缩性(例如，具有高编码效率)。
[0100] 例如，源视频内容可以使用递进相机以递进格式被获取并被在传输之间被转换成交错扫描内容。递进视频格式的图片通常称为“帧”，而交错视频的图片通常称为“场”。在递进到交错转换过程中，递进扫描视频帧可以被分成两个场(顶场和底场)。图7是代表性递进帧的图并示出了与递进帧相比或相对于递进帧的交错视频中顶场和底场中的像素的空间关系。图7中的淡灰度阴影像素表示顶场701，且暗的灰度阴影像素表示底场703。由于顶场和底场可以是原始递进帧的空间下采样版本，因此在递进到交错转换过程中可以应用某低通过滤(例如以降低下采样信号中的混叠)。图8是示出与交错视频803对应的递进视频810中的帧811相比，交错视频803的顶场805与底场807之间的时间关系的示例。如图所示，交错视频可以以与其对应的递进视频相同的图片速率允许并可以具有半数视频(例如，由于在递进至交错转换过程中的空间下采样过程)。图8是一个示例。实际上，交错视频可以从底场而不是底场开始并可以不遵循1个顶场接1个底场(或反之亦然)的规则模式，因为其他时间图片速率转换可以在内容创建期间发生。例如，电影至TV(例如NTSC)转换，通常称为3：2下拉，可以在内容创建期间被应用，且可以使得2个连续底场遵循1个顶场。当前场图片是顶场还是底场在视频比特流中用信号通知(例如一般用信号通知)。
[0101] 例如，在H.264/AVC标准中，交错视频比特流的片段头部可以包含或包括称为“底场标记(bottom_field_flag)”的标记，其当被设定为1时指示当前片段编码底场，且当设定为0时指示当前片段编码顶场。为了使用在基层中编码的交错内容以用于根据图4和5描述的可伸缩架构有效层间预测，BL交错内容可以被空间上采样(例如以匹配EL中得递进视频的分辨率)。SHVC初步标准支持两个层之间任意空间比。SHVC初步标准不考虑顶/底场与图7示出的递进视频之间的特定像素线关系。在广泛部署的YUV4：2：0视频格式中使用色度子采样可以在对准顶/底场与递进帧之间的色度相位时加入其他考虑。在某些代表性实施方式中，进程、过程和/或技术可以被实施以实现交错至递进伸缩性(例如，有效率的交错至递进伸缩性)。例如，视频参数集(VPS)中的高级语法信令和片段头部(SH)可以被提供以指示交错至递进伸缩性被使用。作为另一个示例，可以提供可以基于场奇偶性的修改的亮度和色度上采样过程。作为第三个示例，当使用块级自适应帧场编码来编码基层视频时可以提供基于区域的自适应帧/场上采样(例如用于有效率的可伸缩编码)。
[0102] 为交错至递进伸缩性支持修改的VPS和SH信令
[0103] 下表2示出了修改的VPS扩展语法以支持基层中交错视频。该修改包括以下。
[0104] (1)标志(例如新标志)base_layer_frame_pic_only_flag可以被添加以指示该基层编码视频序列是否可以包含或包括交错内容。在表2中，该标志可以以avc_base_layer_flag作为条件(以使用H.264/AVC编解码器编码基层作为条件)。例如，当使用H.264/AVC编解码器编码基层时在该基层中允许(例如仅允许)交错视频。在某些代表性实施方式中，可以不用其他条件和/或甚至在基层使用其他编解码器被编码时允许该标志。
[0105] (2)标志cross_layer_phase_alignment_flag的信令可以以base_layer_field_pic_flag作为条件。该标志cross_layer_phase_alignment_flag可以用于指示两个层之间的下采样过滤器相位对准，且该下采样过滤器可以被左上角对准和/或中心对准。该标志可以不或不应用到递进至交错转换过程，且在基层是交错视频且增强层是递进视频时可以不或不用信号发送。
[0106] 表2修改的VPS扩展
[0107]
[0108] 在一个实施方式中，base_layer_frame_pic_only_flag等于1规定基层编码视频序列的编码图片包含或包括编码帧(例如仅编码帧)。base_layer_frame_pic_only_flag等于0规定基层编码视频序列的编码图片可以是编码场或编码帧。当base_layer_frame_pic_only_flag不存在时，其可以推定为等于1。
[0109] 表3示出了修改的片段头部以支持基层中交错视频。该修改包括以下。
[0110] (1)新标记base_layer_frame_pic_flag可以被添加以指示用于层间预测的并列的基层编码视频图片是否是帧图片。
[0111] (2)以base_layer_frame_pic_flag的值为条件，标记(例如新标记)base_layer_bottom_field_flag可以被添加以指示用于层间预测的并列基层编码视频图片是底场图片还是顶场图片。
[0112] 在表3中，这两个新标记的存在可以以三个条件任意或三个条件同时为真作为前提：(1)当前层是增强层；(2)当前层使用基层用于层间采样预测；和/或基层编码视频序列包含或包括编码帧和至少一些编码场(例如，不仅编码帧还有至少一些编码场)。
[0113] 表3-修改的片段头部
[0114]
[0115] base_layer_frame_pic_flag等于1可以规定在层间采样预测中使用的基层图片是帧图片。base_layer_frame_pic_flag等于0可以规定在层间采样预测中使用的基层图片是顶场图片或底场图片。当base_layer_frame_pic_flag不存在时，其可以被推定为1。
[0116] base_layer_bottom_field_flag等于1可以规定在层间采样预测中使用的基层是底场图片。base_layer_bottom_field_tflag等于0可以规定层间采样预测中使用的基层图片是顶场图片。当base_layer_bottom_field_flag不存在时，其可以推定为0。
[0117] 基于场奇偶性的亮度采样的上采样
[0118] 如图7所示，交错顶/底场可以在垂直方向具有递进帧的一半的分辨率，且在水平方向可以具有相同分辨率。因此，垂直上采样(例如仅垂直上采样)将或可以需要被应用于BL中的重构场以生成用于编码EL中递进帧的层间参考图片。
[0119] 下表5示出了用于SHVC的亮度分量的16相位8抽头(tap)上采样过滤器。构想了用于顶/底场的上采样过程可以使用相同上采样过滤器作为SHVC过滤器，但是描述的过程构想了其他上采样过滤器可以代替SHVC过滤器被使用。
[0120] 以下的伪码描述基于场奇偶性的亮度采样的上采样过程：
[0121] 伪码1:
[0122]
[0123]
[0124] 表5：SHVC中16相位亮度重采样过滤器
[0125]
[0126] 基于场奇偶性的色度采样的上采样
[0127] 色度采样的帧和/或顶/底场之间的空间对准可以例如比亮度采样的更复杂，这是因为YUV4：2：0视频中色度的子采样。图9是示出用于递进扫描视频帧的YUV4：2：0视频格式(例如共同使用YUV4：2：0视频格式)的色度采样(图9中的圆表示)和亮度采样(图9中的方形表示)的默认相对位置的图。如图9所示，对于每个2x2亮度采样，每个色度信道1个色度采样(例如仅1个色度采样)(即，Cb和Cr)是可行的。根据图9中示出的默认色度采样位置，相对于2x2亮度相邻采样，色度采样在水平方向可以对准到偶数个亮度位置。在某些代表性实施方式中，色度采样在垂直方向可以在偶数和奇数位置之间像素减半。
[0128] 图10是在用于交错扫描视频顶场(图10中用实像素表示)和底场(在图10中用阴影像素表示)的YUV4：2：0视频格式中色度采样(图10中用圆形表示)和亮度采样(图10中用方形表示)的默认相对位置的图。与递进视频排列的方式相同，针对每2x2亮度采样，每个色度信道1个色度采样(例如仅1个色度采样)(即Cb或Cr)可以是可用的。在交错场的默认色度采样位置中，相对于2x2亮度相邻采样，色度采样可以在水平方向对准到偶数亮度位置(这可以与递进排列相同)。在某些代表性实施方式中，色度采样在水平方向在偶数和奇数亮度位置之间像素可以减少四分之一(这可以与递进排列不相同)。
[0129] 表6：SHVC中16相位色度重采样过滤器
[0130]
[0131] 在使用YUV4：2：0的多数视频应用中(其可以包括用户视频应用)，可以使用默认色度采样位置。例如，色度采样可以针对递进视频如图9中所示来定位且针对交错视频可以如图10中所示来定位。相比于当前在SHVC拟稿4中规定的递进至递进空间伸缩性，针对交错至递进空间上采样，可以使用或需要不同相位过滤器来正确执行色度上采样。上表6示出在SHVC拟稿4中规定的4抽头16相位色度上采样过滤器。针对在垂直方向具有2x比的递进至递进伸缩性，相位6和相位14过滤器可以用于上采样色度。相比之下，对于在垂直方向具有2x比得交错至递进，相位0和相位8过滤器可以是针对色度上采样所选择或选定的正确过滤器。例如，针对交错至递进伸缩性，用于亮度和色度的上采样过滤器相位可以相同。如果表6中SHVC色度上采样过滤被使用，则以下伪码可以描述色度上采样过程。可以构想，与这里描述的亮度上采样过程类似，以下的伪码可以用于其他色度上采样过滤器。
[0132] 伪码2:
[0133]
[0134]
[0135] 当默认色度采样位置用于BL中交错视频和EL中递进视频时规定伪码2中色度上采样的过程。其他非默认色度采样位置(图9和图10示出的这些以外的)可以被允许，且可以使用H.264/AVC标准和/或版本1HEVC标准的视频可用性信息(VUI)作为视频比特流的部分用信号发送。例如，chroma_sample_loc_type的值可以用于定义或设定相对于其亮度相邻采样的色度采样的位置。如果非默认色度采样位置被使用(在交错视频中，递进视频或两者)，显式色度相位信令可以用于和/或被添加到可伸缩比特流以描述交错和/或递进视频层的色度位置。该显示用信号发送的色度相位信息可以用于得出用于色度上采样的正确相位过滤器。
[0136] 在SHVC拟稿4中，使用以下来执行(例如在子条款H.6.2中)参考像素和在插值中使用的相位过滤器的选择。
[0137] 相位phaseX,phaseY,addX和addY如下得出:
[0138] phaseX＝(cIdx＝＝0)？:
[0139] cross_layer_phase_alignment_flag (H-5)
[0140] phaseY＝(cIdx＝＝0)？:
[0141] cross_layer_phase_alignment_flag+1 (H-6)
[0142] addX＝(ScaleFactorX*phaseX+2)>>2 (H-7)
[0143] addY＝(ScaleFactorY*phaseY+2)>>2 (H-8)
[0144] 变量xRef16和yRef16如下得出:
[0145] xRef16＝(((xP–offsetX)*ScaleFactorX+addX+(1<<1)
[0146] (phaseX<<2) (H-9)
[0147] yRef16＝(((yP–offsetY)*ScaleFactorY+addY+(1<<1–
[0148] (phaseY<<2) (H-10)
[0150] phaseY＝(base_layer_frame_pic_flag＝＝0)？4*base_layer_bottom_field_flag:(cIdx
[0151] ＝＝0)？(cross_layer_phase_alignment_flag<<1):
[0152] cross_layer_phase_alignment_flag+1
[0153] 基于区域的自适应帧/场上采样
[0154] H.264/AVC和HEVC允许用于交错视频序列的自适应帧场编码。三种类型的自适应帧场(AFF)编码可以被使用。
[0155] (1)序列AFF(SAFF)可以被使用。例如，可以在序列级调整帧编码和/或场编码。在一个视频序列中可以使用帧编码用于图片(例如所有图片)，且在另一视频序列中可以使用场编码用于图片(例如所有图片)。在这种情况中，视频序列可以被定义为即时解码刷新(IDR)图片标记的两个随机接入点(例如而不是全长度的整个视频信号)之间的一组图片。
[0156] (2)图片AFF(PAFF)可以被使用。例如，可以在图片级调整帧编码和/或场编码。在视频序列内，帧编码可以用于一个图片，且场编码可以用于另一图片。
[0157] (3)块级AFF(MBAFF)可以被使用。例如，可以在块级调整帧编码和/或场编码。例如在H.264/AVC中，基础块编码单元称为宏块或MB，且具有16x16像素的尺寸(在亮度分量方面)。MBAFF中的帧和/或场信令可以基于MB对(16x32)。该信令可以允许图片中一个宏块对在帧模式中被编码且另一宏块对例如在相同图片中将在场模式中被编码。当场模式被使用时，MB对可以被分成顶场MB和底场MB且分别被编码。
[0158] HEVC允许仅序列自适应帧场编码(SAFF)用于交错内容，且H.264/AVC允许所有三种类型的AFF(例如SAFF、PAFF和MBAFF)。与SAFF和PAFF相比，MBAFF在视频序列的一些部分保持静态(例如静态背景)且视频序列的其他部分移动(例如移动前景)时是有用的。图11是示出顶场和底场被结合成一个图片的示例的图片。在图11中，人的手和臂是移动部分(且该图片的相应区域具有非常明显的“交错伪影”或“组合伪影”)，而背景墙和人的头基本是静止的(图片的相应区域看起来像正常递进帧)。图11中的图片可以使用MBAFF被编码为一个复合帧(例如其中顶场和底场可以被组合成具有与递进帧相同的分辨率的一个帧)(例如，覆盖或对应于移动的手的宏块可以被编码(例如更好编码)为场宏块，且覆盖或对应于静态墙和头的宏块可以被编码(例如更好编码)为帧宏块)。这种配置可以用于使用H.264/AVC标准编码BL交错视频。为了当BL视频使用块级自适应帧场编码例如MBAFF被编码时实现有效层间预测，基于区域的自适应帧场上采样过程可以被应用。
[0159] 图12是示出基于区域的自适应帧场上采样的示例的图。先看图12种最底下的行，编码BL帧可以包括或由两个场组成。BL帧1200的第一部分1210可以使用两个场MB被编码，如图12中分别阴影区域1201和格子区域1203表示的。MB在场模式中被编码的部分1210中的顶场1201由阴影表示，MB在场模式被编码的部分1210中的底场1203由格子表示。BL帧1200的其他部分1220使用帧MB被编码，如实心白色区域表示。在时刻T和T+1的EL中两个递进帧1230和1240分别对应于BL中的顶场和底场。
[0160] 以下步骤可以被应用于产生层间参考图片1250，其将被用于例如有效预测在时刻T的EL递进帧(其对应于BL中顶场1201)：
[0161] (1)静态区域1220中的像素被复制；
[0162] (2)在BL图片1200中来自移动区域1210的顶场1201像素(例如仅顶场像素)被复制；
[0163] (3)根据这里的公开在垂直方向直行基于场奇偶性2x上采样以在时间T填充层间参考图片1250中移动区域1220中的交错线。
[0164] 以下步骤可以被应用于产生层间参考图片1240，其将被或可以被用于预测在时刻T+1的EL递进帧1240(其对应于BL中的底场1203)：
[0165] (1)静态区域1220中的像素被复制；
[0166] (2)在BL图片1200中来自移动区域1210的底场1203像素(例如仅底场像素)被复制；
[0167] (3)根据这里的公开在垂直方向直行基于场奇偶性的2x上采样以在时间T+1填充层间参考图片1260中移动区域1220中的交错线。
[0168] 基于区域的自适应帧场上采样过程可以有效使用编码BL帧1200中的那些像素以用于层间预测，其对应于EL中的正确时刻。
[0169] 规定该图片中哪些区域可以或应该使用基于场奇偶性的上采样的参数可以由编码器决定并可以例如在EL片段头部中作为比特流的部分用信号发送。因为BL图片可以被编码为复合帧而不是2个场，表3中的标志base_layer_frame_pic_flag可以设定为1。虽然图12示出BL中MB在场模式中被编码且基于场奇偶性的上采样可以被应用的一个区域1220(例如仅一个区域)，但是多于一个区域(例如任意数量的这种区域)可以存在并可以在比特流中用信号被发送。可以通过规定位置(例如通过规定角落坐标，例如左上坐标)和尺寸(例如宽度和高度)和/或规定第二个对角角落位置来用信号通告一个或多个区域。在某些代表性实施方式中，可以通过指示BL中哪些宏块使用场模式(例如，按光栅扫描顺序的起始MB索引和结尾MB索引)被编码来用信号通告一个或多个区域。
[0170] 在其他代表性实施方式中，用于每个区域的上采样(帧和/或场)过程可以被隐式决定或确定。编码器和解码器可以例如通过检测区域内顶场和底场之间的运动量来确定以相同方式应用于每个区域的合适的上采样过程。为了确定顶场与底场之间的运动量，差值度量例如顶场与底场之间的绝对差之和(SAD)或平方差之和可以被应用。编码器可以确定SAD或SSE的合适阈值并可以将该阈值传送给解码器。如果顶场域底场之间的SAD/SSE的值大于阈值，则特定区域被认为是移动区域且可以应用基于场奇偶性的上采样。否则(例如，如果顶场与底场之间的SAD/SSE值不大于阈值)，则特定区域被认为是静态区域且可以应用像素复制。
[0171] 在这里描述的基于区域自适应帧/场上采样过程中，像素复制可以被应用于静态区域(其中MB可以以帧模式被编码)。像素复制仅是一个示例。更复杂的层间处理技术例如解噪过滤或解伪影过滤也可以被应用于术语帧模式MB的这些像素。此外，用于形成用于EL编码的层间参考图片的上述方法也可以用作解交错技术。例如，显示器可以检测快速运动的区域(例如通过从比特流提取关于哪些块使用MBAFF被编码为场块的信息)，并可以执行解交错以使用上述与图12有关的用于产生时间T和时间T+1的层间参考图片相同的步骤来产生递进帧。在其他实施方式中，特别参数可以由编码器例如作为补充增强信息(SEI)消息的部分被发送以改进显示器的解交错。该特别参数可以包括上述讨论的参数，例如快速运动的区域的尺寸和位置的信令和/或用信号发送和/或使用用于显示器的预定阈值来确定该快速运动区域。
[0172] 基于场组合的参考图片
[0173] 当将交错视频转换成递进格式(例如用于显示)时可以使用场组合技术和过程。该转换过程可以成为“解交错”。例如，广播商可以执行对交错内容的解交错并以递进数字格式传送该内容。作为另一示例，现代数字电视可以有本质上是递进的显示器，且电视需要在以递进格式显示内容之前解交错接收到的交错内容。这种解交错技术和过程可以结合来自不同场的信息(例如，以产生用于显示的递进帧)。在某些代表性实施方式中，可以实施过程来将场组合技术适用于层间预测任务。
[0174] 图13示出了一个代表性过程。可以使用交错场来编码基层。这些在图中被示出为“场A”1301和“场B”1302。场组合技术可以用于组合基层场以产生参考图片1310，其可以用作层间参考图片以用于在增强层中预测递进帧1320。通过组合来自基层的场，有可能构建比可能从单个场(例如仅单个场)构建的更好的参考图片。例如，场组合可以允许参考图片保留全垂直分辨率的细节，其中该细节可能在参考图片从在垂直方向上采样的单个场形成的情况下(如这里所述的)而丢失。
[0175] 场组合技术可以采用各种形式。在一个代表性实施方式中，来自第一场(例如“场A”)的内容可以被复制到层间参考图片的偶数线，且来自第二场(例如“场B”)的内容可以被复制到层间参考图片的奇数线。这样，来自一个场的线可以与来自另一场的线交织在一起以产生参考图片。
[0176] 在另一代表性实施方式中，来自第一场(例如“场A”)的内容可以与来自第二场(例如“场B”)的内容被平均以产生参考图片的线。这种平均可以使用例如加权平均技术来执行。例如，参考图片的偶数线可以通过加权平均来产生，该加权平均结合来自基层顶场的线和来自基层底场的对应的线。顶场线的权重可以大于、等于或小于底场线的权重(例如顶场线的权重可以是0.8而底场线的权重可以是0.2)。这样，基层场可以混合一起，且‘梳毛’伪影可以在最终的参考图片中减少。
[0177] 在另一代表性实施方式中，使用运动补偿技术，来自第一场(例如“场A”)的内容可以与来自第二场(例如“场B”)的内容结合。这样，在对应于EL递进帧的时间和对应于基层场的每一个的时间之间的时间差期间发生的运动可以被补偿，且在最终的参考图片中可以降低或基本消除‘梳毛’伪影。例如，根据图13，如果基层的场A 1301与将被预测的递进增强层帧1320共位(例如，具有相同显示时间)，则基层的场B1302可以相对于场A 1301和相对于递进增强层帧1320具有不同显示时间。例如，场B可以比场A晚1/30秒。在这种情况中，参考图片可以通过将场A的线复制到参考图片(例如如果场A是顶场，则复制到参考图片的偶数线)并将场B的线的运动补偿版本复制到参考图片(例如如果场B是底场则复制到参考图片的奇数线)被构成。场B的运动补偿可以相对场A被执行以当构建参考图片1310时将场B的图片数据更好对准场A的图片数据。这样，该参考图片可以保留全垂直分辨率的细节，且可以降低或基本消除‘梳毛’伪影。
[0178] 运动补偿可以相对于另一场(例如‘场A’)在一个场(例如‘场B’)上被执行，其中这两个场在编码器和解码器侧都可用。例如，编码器和解码器的每个可以执行场之间的一致的运动估计和补偿过程，且由此可以在编码器侧和解码器侧构建相同的参考图片(例如不需要从编码器传送运动信息(例如运动模式信息)和/或运动向量到解码器(例如在比特流中))。总的场组合过程和/或技术(包括任意运动补偿进程和/或过程)可以被确定且可以在编码器侧和解码器侧被预设(例如提前商定好)。在某些代表性实施方式中，构想了进程/过程的变化是可能的，合适的信令从编码器被发送到解码器以定义(例如设定或建立)该进程。例如，编码器可以每个参考图片用信号通告用于构建参考图片的场结合是基于场复制(例如场可以如这里所述‘交织一起’)还是基于一个场相对于另一个场的运动补偿。作为另一个示例，编码器可以用信号通告不同场组合过程和/进程，其将被用于构建参考图片的不同区域，由此参考图片的一些块可以使用一个场组合过程/技术被构建，且参考图片的其他块可以使用不同的场组合过程/技术被构建。
[0179] 虽然图13示出了基层的场A1301与将被预测的EL递进帧1320共位，且基层的场B1302作为时间上落后的场，但是其他配置是可能的。例如，参考图片可以被构建为与将被预测的EL递进帧共位的第一基层场与时间上早于第一基层场的第二基层场的组合。作为另一示例，参考图片可以被构建为两个基层场的组合，其中两个基层场的任意一个不与将被预测的EL递进帧共位。
[0180] 作为另一示例，参考图片可以被构建为两个以上的基层场的组合(例如构建为与将被预测的EL递进帧1420共位的第一基层场(例如“场A”)、时间上晚于第一基层场的第二基层场(例如“场B”)和时间上早于第一基层场的第三基层场(例如“场C”)的组合)。图14A示出了代表性过程/进程。在某些代表性实施方式中，参考图片1410可以被构建为第一1401、第二1402和/或第三1403基层场的加权组合。在其他代表性实施方式中，参考图片1410可以使用相对于第一基层场1401的第二基层场1402和第三基层场1403的运动补偿来构建，其中参考图片的每个局部区域(例如每个块)的运动补偿数据可以依据哪个或哪些场提供对第一基层场中数据中更好的匹配(例如更好对准)从第二和/或第三基层场中选出。该相同过程可以在编码器侧和解码器侧被同等执行，由此例如可以不需要传送运动信息(例如模式信息和/或运动向量)以描述用于层间参考图片重构的运动补偿进程/过程。
[0181] 图13和14A中示出的每个交错场可以将编码的完全图片表示为场，或可以表示图片的场编码子集(例如使用MBAFF编码的一个或多个宏块场)。
[0182] 层自适应和图片自适应重采样相位选择
[0183] 可以在重采样(例如上采样)中选择合适的相位过滤器以在基层图片例如用于重采样以预测增强层图片时改进编码效率。在一个非限制性示例中，最合适的相位过滤器可以取决于正被使用的基层数据是顶交错场还是底交错场。在某些代表性实施方式中，可以实施以下的一个或多个：
[0184] (1)添加SPS信令vert_phase_position_present_flag以指示在图片级的垂直相位过滤器调整是否可以被启用用于一个或多个参考层；
[0185] (2)添加片段头部信令phase_position_flag以针对被启用垂直相位过滤器调整的这些参考层指示垂直相位位置；
[0186] (3)如果合适或需要，根据在片段头部中的phase_position_flag值在重采样期间调整垂直相位过滤器选择；和/或
[0187] (4)添加VPS VUI指示vps_vui_phase_adjustment_flag以指示针对解码可伸缩比特流中的至少一个图片是否需要基于图片的相位过滤器调整。该VPS VUI指示标志可以不影响标准的解码过程。通过向解码器通告是否需要基于图片的相位过滤器调整，如果基于图片的相位过滤器调整不合适或不需要，该标志可以允许一些解码器实施在解码视频序列的开始(例如刚开始)预先载入确定的相位过滤器。
[0188] 如果上述的片段级信令是针对特定参考层的1比特标志(例如仅1比特标志)，其仅允许顶场与底场之间的切换(toggling)(例如仅在垂直方向)，但是可以不允许在图片级改变垂直和水平相位过滤器。在水平和/或垂直上采样的基于图片的相位过滤选择的附加灵活性可以是合适的和/或被实施(例如用于以下用例)：
[0189] (1)不同的下采样过滤器(例如不同相位特性和/或不同采样格对准)可以用于下采样并生成不同层的视频图片，如在美国公开的专利申请No.2014/0037015中记载的，其内容通过引用的方式结合于此；
[0190] (2)常规下采样过滤器可以与递进至交错转换过程结合，例如以直接将4kx2k递进视频转换成1080i交错视频；
[0191] (3)对于色度子采样，在交错和/或递进YUV420或YUV422中使用非默认色度采样位置(例如相对于亮度采样的色度采样相位)。图9和图10中分别示出了YUV420递进和交错视频的默认色度采样位置。但是，例如HEVC和H.264/AVC的视频标准可以允许使用其他色度采样位置。色度相位过滤器选择可以或可以需要从亮度相位过滤器选择解耦。
[0192] 在某些代表性实施方式中，用于用信号发送采样格参数的过程可以被实施，其可以用于选择上采样相位过滤器。当采样格在序列级用信号被发送时，代表性过程可以不允许基于图片的相位过滤器自适应。当采样格在1/16像素精度用信号发送时，代表性过程可以使用或需要更多的比特来用于表现。
[0193] 用于用信号发送采样格参数例如在之前提到的美国公开的专利申请No.2014/0037015公开的参数的某些代表性过程可以被实施以用于用信号发送相位信息，其可以是通用的，可以提供更效率的信令，且可以具有图片级相位过滤器自适应的能力。
[0194] 例如，可以基于以下变量来选择相位过滤器：
[0195] phaseX＝cross_layer_phase_alignment_flag<<1
[0196] phaseXC＝cross_layer_phase_alignment_flag
[0197] phaseY＝VertPhasePositionAdjustFlag？(VertPhasePositionFlag<<2):(cross_layer_phase_alignment_flag<<1)
[0198] phaseYC＝VertPhasePositionAdjustFlag？phaseY:(cross_layer_phase_alignment_flag+1)
[0199] 可以构想phaseX和phaseXC可以用于分别选择用于重采样亮度和色度分量的水平相位过滤器。PhaseY和phaseYC可以用于分别选择用于重采样亮度和色度分量的的垂直相位过滤器。
[0200] 如上表5和6中所示，16相位过滤器可以用于上采样。对于重采样的图片中的每个采样(例如每个亮度或色度采样)位置(xP，yP)，来自表5和/或表6的相位过滤器被选择。使用亮度分量作为示例，以下可以用于从16个相位过滤器(亮度或色度)中选择一个来用于重采样：
[0201] addX＝(ScaleFactorX*phaseX+2)>>2
[0202] addY＝(ScaleFactorY*phaseY+2)>>2
[0203] xRef16＝(((xP-offsetX)*ScaleFactorX+addX+(1<<11))>>12)-(phaseX<<2)[0204] yRef16＝(((yP-offsetY)*ScaleFactorY+addY+(1<<11))>>12)–(phaseY<<2)[0205] x_phase_filter_idx＝xRef16 modular 16
[0206] y_phase_filter_idx＝yRef16 modular 16
[0207] 其中ScaleFactorX和ScaleFactorY是用16比特固定点精度表现的伸缩比，(xP,yP)是在重采样的图片中的采样位置，以及offsetX和offsetY是从重采样的图片的左上角的剪裁(cropping)偏移。
[0208] 以上过程使用亮度过滤器选择作为一个代表性示例，且该过程同样适用于色度过滤器选择。
[0209] phaseX,phaseY,phaseXC和phaseYC的值可以是采样格的降低精度的表现。例如，不是1/16像素精度，而是他们可以等于相位信息的1/4像素精度近似。表7列出了哟用于这里讨论的一些代表性用例的phaseX,phaseY,phaseXC和phaseYC的值。左边的列示出了代表性用例和语法元素和变量(例如，cross_layer_phase_alignment_flag,VertPhasePositionAdjustFlag,和/或VertPhasePositionFlag)的代表性(例如对应)值。
右边的列示出了用信号发送的相位参数值。表7的最后一行给出了不能使用当前信令过程(例如某些当前信令过程)表现的用例。在该用例中，色度采样位置不是图9中示出的默认色度采样位置。色度采样位置可以需要不能使用现有技术的信令过程得到的phase X,phaseY,phaseXC和/或phaseYC的值的新集合。
右边的列示出了用信号发送的相位参数值。表7的最后一行给出了不能使用当前信令过程(例如某些当前信令过程)表现的用例。在该用例中，色度采样位置不是图9中示出的默认色度采样位置。色度采样位置可以需要不能使用现有技术的信令过程得到的phase X,phaseY,phaseXC和/或phaseYC的值的新集合。
[0210] 表7：示例用例中的phaseX,phaseY,phaseXC和phaseYC的值
[0211]
[0212] 代替使用标志集(cross_layer_phase_alignment_flag ,VertPhasePositionAdjustFlag和/或VertPhasePositionFlag)来得到phaseX,phaseY,phaseXC,和/或phaseYC的可能值的子集(例如有限子集)，这些变量的值可以直接用信号发送以允许用信号发送全范围的可能的值。每个相位参数集可以包括或由phaseX,phaseY,phaseXC,和/或phaseYC组成，并可以替换当前基于标志的信令。为了允许图片级相位过滤器自适应，这些相位参数值的多个集合可以用信号被发送。每个图片可以使用索引来指示这些相位参数值集合中的哪一个集合应当被用于执行用于解码当前图片的重采样。由于这些值可以具有较低精度(例如1/4像素而不是1/16像素)，该值可以使用或需要更少的比特来表现；且该值可以适合(例如更适合)用于实现图片级自适应重采样相位选择。
[0213] 表8示出示例语法表，其可以用于发送phaseX,phaseY,phaseXC,和/或phaseYC值的多个集合。该语法表可以被包括作为视频参数集(VPS)、序列参数集(SPS)和/或图片参数集(PPS)的部分。
[0214] 表8：用于重采样_相位_参数_集()(resample_phase_parameter_sets())的语法表示例
[0215]
[0216] resample_phase_parameter_set_present_flag等于1可以用于指示重采样相位信息语法元素num_resample_phase_parameter_set_minus1,resample_phase_x_luma[i],[0217] resample_phase_y_luma[i],resample_phase_x_chroma[i],和resample_phase_y_chroma[i]在比特流中存在。resample_phase_parameter_set_present_flag等于0指示重采样相位信息语法元素num_resample_phase_parameter_set_minus1,resample_phase_x_luma[i],resample_phase_y_luma[i],resample_phase_x_chroma[i],resample_phase_y_chroma[i]可以不或不存在于比特流中且它们的值可以被推出。当resample_phase_parameter_set_present_flag不存在时，其可以被推断为等于0。
[0218] num_resample_phase_parameter_set_minus1+1可以用于规定正用信号发送的重采样相位参数集的数量，包括四个语法元素resample_phase_x_luma[i],resample_phase_y_luma[i],resample_phase_x_chroma[i],和resample_phase_y_chroma[i]的集合。当num_resample_phase_parameter_set_minus1不存在时，其可以推定为等于0。
[0219] resample_phase_x_luma[i]可以用于规定用于在水平方向选择亮度重采样过滤器的第i个水平重采样相位调整值。当resample_phase_x_luma[i]不存在时，其可以被推定为等于0。
[0220] resample_phase_y_luma[i]可以用于规定用于在垂直方向选择亮度重采样过滤器的第i个垂直重采样相位调整值。当resample_phase_y_luma[i]不存在时，其可以被推定为等于0。
[0221] resample_phase_x_chroma[i]可以用于规定用于在水平方向选择色度重采样过滤器的第i个水平重采样相位调整值。当resample_phase_x_chroma[i]不存在时，其可以被推定为等于0。
[0222] resample_phase_y_chroma[i]可以用于规定用于在垂直方向选择色度重采样过滤器的第i个垂直重采样相位调整值。当resample_phase_x_chroma[i]不存在时，其可以被推定为等于1。
[0223] 变量NumResamplePhaseParamSets,ResamplePhaseXLuma,ResamplePhaseYLuma,ResamplePhaseXChroma,和/或ResamplePhaseYChroma可以如下得出：
[0224]
[0225]
[0226] 如上所述，语法元素resample_phase_parameter_set_present_flag可以用于指示重采样相位调整值是否在比特流中用信号显式发送。如果重采样相位调整值没有用信号显式发送，则可以使用默认集合。在某些用例(例如最典型的用例)中，例如递进至递进空间伸缩性(其中用于生成较低分辨率视频(例如在图4的下采样单元中)在左上采样被对准(例如cross_layer_phase_alignment_flag＝0))，resample_phase_parameter_set_present_flag的值可以被设定为0，且重采样相位参数值包括ResamplePhaseXLuma[0],ResamplePhaseYLuma[0],ResamplePhaseXChroma[0],and/or ResamplePhaseYChroma[0]可以被推出(例如根据表7中顶行中列出的值)。
[0227] 在表8的示例中，语法元素resample_phase_x_luma,resample_phase_y_luma,resample_phase_x_chroma,和/或resample_phase_y_chroma可以使用3比特固定长度编码用信号发送(但是其他熵编码过程例如ue(v)或Exp-Golomb编码可以被使用)，且它们的值的范围可以在0至7(包含边界)。实际上，这些值的范围可以被调整到例如另一范围(-3至4的范围(含边界))。在该情况中，上述的伪码可以修改如下：
[0228] ResamplePhaseXLuma[i]＝resample_phase_x_luma[i]-3
[0229] ResamplePhaseYLuma[i]＝resample_phase_y_luma[i]-3
[0230] ResamplePhaseXChroma[i]＝resample_phase_x_chroma[i]-3
[0231] ResamplePhaseYChroma[i]＝resample_phase_y_chroma[i]-3
[0232] 如果重采样相位参数集的多余一个集合在序列级用信号被发送(例如，在VPS、SPS和/或PPS中)，由此NumResamplePhaseParamSets的值大于1，则附加语法元素可以用于指示这些集合中的哪一个可以用于重采样用于解码当前图片的一个或多个参考层图片。该片段头部语法元素的示例，称为resample_phase_parameter_set_idx，在表9中给出。如表9中示例所示，一个索引(例如仅一个索引)可以是或在片段头部中被发送(例如，但是当前片段可以具有多个参考层图片)。例如，可伸缩主简档和可伸缩主10简档(例如在SHVC拟稿5中定义)都可以具有约束，其针对在一致可伸缩比特流中任意层中任意图片的解码最多一个参考层图片(也称为层间参考图片)可以在哟公寓解码当前图片之前被重采样。即使当前图片使用多于一个的层间参考图片，这些层间参考图片中的一个(例如仅一个)可以被重采样，且其他(例如所有其他)层间参考图片具有(例如可以或必须具有)相同图片大小且不被重采样(例如不需要被重采样)。该约束的目的是限制一致解码器的复杂性。由于可伸缩主和可伸缩主10简档的该约束(例如在SHVC拟稿5中定义)，一个(例如仅一个)重采样相位参数集索引可以关于每个片段被发送(如表9中所示)。如果简档释放该约束，resample_phase_parameter_set_idx可以针对每个片段被发送超过一次，且不同的参考层图片可以使用不同的重采样相位参数。与许多其他语法元素类似，当图片在多于一个片段中被编码时，resample_phase_parameter_set_idx的值可以针对相同图片中的所有片段是相同的。
[0233] 表9.用信号发送片段头部中相位参数集索引的示例
[0234]
[0235] resample_phase_parameter_set—idx可以规定用于重采样用于解码当前片的参考层图片的重采样相位参数集的索引。当resample_phase_parameter_set_idx不存在时，其可以被推定为等于0。resample_phase_parameter_set_idx的值的范围可以在0和NumResamplePhaseParamSets–1(含边界)。
[0236] 在重采样过程期间，以下修改可以被应用与子条款H.6.2(例如用于在重采样中使用的参考层采样位置的导出过程)以得到变量phaseX和phaseY：phaseX＝(cIdx＝＝0)？ResamplePhaseXLuma[resample_phase_parameter_set_idx]:ResamplePhaseXChroma[resample_phase_parameter_set_idx](H-5)phaseY＝(cIdx＝＝0)？ResamplePhaseYLuma[resample_phase_parameter_set_idx]:ResamplePhaseYChroma[resample_phase_parameter_set_idx](H-6)
[0237] 表8和/或表9中的信令过程可以使用和/或可以需要比在片头部中所需更多的比特来用信号发送重采样相位参数集索引。用于用信号发送相位参数集索引的比特数量可以通过知道和/或考虑在重采样过程中参与的该一对层而进一步减少。图14B示出了3层可伸缩比特流作为代表性示例，其中该3层可伸缩比特流可以使用或可以需要总共重采样相位参数的5个集合。在图14B中，对用于解码层1图片的层0图片的重采样可以使用和/或可以需要重采样相位参数的2个集合(例如，图片级自适应重采样相位选择在这两个层之间被使用或需要)。对用于解码层2图片的层0图片的重采样可以使用或可以需要重采样相位参数的2个集合(例如，在这两个层之间使用和/或需要图片级自适应重采样相位选择)。用于解码层2图片的层1图片的重采样可以使用或可以需要(例如可以仅使用或可以仅需要)重采样相位参数的1个集合(例如，没有图片级自适应可以被使用或可以需要，且层1图片(例如所有层1图片)可以使用用于解码层2图片的重采样相位的该相同集合)。使用以上信令过程，在序列级，NumResamplePhaseParameterSets等于5，且片段头部中每个语法元素resample_phase_parameter_set_idx可以使用或可以需要3个比特(例如ceil(log2
(NumResamplePhaseParameterSets))，因为固定长度编码可以被应用于resample_phase_parameter_set_idx。
(NumResamplePhaseParameterSets))，因为固定长度编码可以被应用于resample_phase_parameter_set_idx。
[0238] 在片级，在重采样之前，用于确定重采样相位的两个层(例如，当前层和参考层)可以是已知的(例如已经已知的)。该已知信息可以用于降低片头部中的相位参数集信令成本。例如，从重采样相位参数集总数量中，可以在序列级规定(例如另外规定)存在直接依存性的两个层的每个对(例如允许采样预测的两个层)之间被允许的相位参数。在片级，重采样相位参数集可以选自在重采样中使用的当前层和其参考层之间被允许的重采样相位参数集，而不是选自总共所有的重采样相位参数集。在图14B的示例中，如果重采样被应用于层1图片以用于解码层2图片，由于第4个相位参数集(例如仅第4个相位参数集)可以在这两个层之间被使用，则不需要用信号发送该相位参数集索引(例如由于其能够被推定为第4个参数集，因为其是用于被重采样以预测层2图片的层1图片)。在图14B示出的另一示例中，如果重采样被应用于层0图片以用于解码层2图片，由于在该示例中仅第二和第三相位参数集是可能的，因此1比特索引信令(而不是3比特索引信令)可以在片级是足够的。该当前可伸缩主和可伸缩主10简档(例如在SHVC拟稿5中定义)允许一个参考层图片(例如仅且最多一个参考层图片)被重采样以用于解码当前图片。
[0239] 虽然这里描述了具有该一个参考层图片重采样约束的过程，但是构思了信令可以被扩展以支持多于一个参考层图片的重采样。
[0240] 对于该当前图片，在重采样中使用的参考层图片的layer_id，表示为ResampleRefLayerId，可以使用以下伪码来得到：
[0241]
[0242]
[0243] 表10中示出了建立对相位参数集信令的示例语法表，且在片段头部中的相应相位参数集索引信令在表11中示出。
[0244] 表10：用于层对的重采样相位参数信令的示例
[0245]
[0246] num_resample_phase_param_set_layer_pair[i][j]可以规定第i个层与第j个层之间的重采样相位参数集的数量。当num_resample_phase_param_set_layer_pair[i][j]不存在时，其可以被推定为等于0。
[0247] resample_phase_param_set_idx_layer_pair[i][j][k]可以规定用于第i个层图片与第j个层图片之间的重采样的重采样相位参数集的第k个索引。当resample_phase_param_set_idx_layer_pair[i][j][k]不存在时，其可以被推定为等于0。resample_phase_param_set_idx_layer_pair[i][j][k]的值的范围可以在0到NumResamplePhaseParamSets–1(含边界)。
[0248] 表11：在片段头部中重采样相位参数集索引信令的示例
[0249]
[0250] resample_phase_param_set_idx可以规定用于重采样layer_id等于ResampleRefLayerId的参考层图片以用于解码当前片的重采样相位参数集的索引。当resample_phase_param_set_idx不存在时，其可以被推定为等于0。resample_phase_param_set_idx的值的范围在0至num_resample_phase_param_set_layer_pair
[LayerIdxInVps[nuh_layer_id]][Lay erIdxInVps[R esampleRefLayerId]]–1(含边界)，其中nuh_layer_id是当前片的layer_id，以及ResampleRefLayerId是被应用重采样的当前层图片的layer_id。
[LayerIdxInVps[nuh_layer_id]][Lay erIdxInVps[R esampleRefLayerId]]–1(含边界)，其中nuh_layer_id是当前片的layer_id，以及ResampleRefLayerId是被应用重采样的当前层图片的layer_id。
[0251] 与表9相比，表11中的resample_phase_parameter set_idx的值具有缩小的动态范围，且可以使用或可以需要更少的比特来表现。在重采样过程期间，以下修改可以被应用(例如，对于H.6.2，在重采样中使用参考层采用位置的导出过程)以导出变量phaseX和phaseY：
[0252] resamplePhaseParamSetIdx＝resample_phase_param_set_idx_layer_pair[LayerIdxInVps[nuh_layer_id]][Layer IdxInVps[Re sampleRefLayerId]][resample_phase_param_set_idx]
[0253] phaseX＝(cIdx＝＝0)？ResamplePhaseXLuma[resamplePhaseParamSetIdx]:ResamplePhaseXChroma[resamplePhaseParamSetIdx](H-5)
[0254] phaseY＝(cIdx＝＝0)？ResamplePhaseYLuma[resamplePhaseParamSetIdx]:ResamplePhaseYChroma[resamplePhaseParamSetIdx](H-6)
[0255] 实施例
[0256] 在一个实施方式中，一种方法被实施用于解码视频信号，包括：存储相位参数的一个或多个集合以在重采样视频图片中使用；接收视频内容，其包括基层视频内容和增强层视频内容；以及基于该基层中的图片和存储的相位参数集合的一个或多个组合在预测增强层中至少一个图片中使用的一个或多个层间参考(ILR)图片。
[0257] 前述实施例还可以包括使用该ILR参考图片预测增强层图片。
[0258] 之前实施例的一个或多个还可以包括其中存储的相位参数的一个或多个集合的每一个包括：用于选择用于一个或多个ILR参考图片的亮度分量的水平相位过滤器的phaseX信息；用于选择用于一个或多个ILR参考图片的色度分量的至少一个的水平相位过滤器的phaseXC信息；用于选择用于一个或多个ILR参考图片的亮度分量的垂直相位过滤器的phaseY信息；和/或用于选择用于一个或多个ILR参考图片的色度分量的至少一个的垂直相位过滤器的phaseYC信息。
[0259] 之前实施例的一个或多个还可以包括接收指示正被传送的相位值的集合数量的数量指示符。
[0260] 之前实施例的一个或多个还可以包括接收指示来自存储的相位参数的一个或多个集合中的将被用于组合该至少一个ILR图片的相位参数的至少一个集合的至少一个索引指示符。
[0261] 之前实施例的一个或多个还可以包括其中该至少一个索引指示符在片段头部中被接收。
[0262] 之前实施例的一个或多个还可以包括其中组合该一个或多个ILR图片包括基于在接收的至少一个索引指示符指示的相位参数的至少一个集合选择用于重采样亮度和/或色度分量的至少一者的相位过滤器。
[0263] 之前实施例的一个或多个还可以包括其中至少一个索引指示符与视频内容的片相关联，且该方法还包括根据与该片相关联的索引指示符调整用于接收的视频内容的基层中的片的水平相位过滤器和垂直相位过滤器的至少一者，以用于组合所述ILR图片。
[0264] 之前实施例的一个或多个还可以包括经由信令接收将被存储的相位参数的一个或多个集合。
[0265] 之前实施例的一个或多个还可以包括其中将被存储的相位参数的一个或多个集合在视频参数集(VPS)中被接收。
[0266] 之前实施例的一个或多个还可以包括其中将被存储的相位参数的一个或多个集合在图片参数集(PPS)中被接收。
[0267] 之前实施例的一个或多个还可以包括经由信令接收指示至少一个索引指示符是否用信号被发送的标志指示符。
[0268] 之前实施例的一个或多个还可以包括接收指示相位参数的一个或多个集合是否用信号被发送的标志指示符。
[0269] 之前实施例的一个或多个还可以包括其中指示相位参数的一个或多个集合是否用信号被发送的标志指示符的第一状态指示相位参数的一个或多个集合没有用信号发送并指示相位参数的一个或多个集合将被推断出。
[0270] 之前实施例的一个或多个还可以包括其中被推断出的相位参数的一个或多个集合是包括以下的集合：用于选择用于一个或多个ILR参考图片的亮度分量的水平相位过滤器的phaseX信息是0；用于选择用于一个或多个ILR参考图片的色度分量的至少一个的水平相位过滤器的phaseXC信息是0；用于选择一个或多个ILR参考图片的亮度分量的垂直相位过滤器的phaseY信息是0；以及用于选择用于一个或多个ILR参考图片的色度分量的至少一个的垂直相位过滤器的phaseYC信息是1。
[0271] 之前实施例的一个或多个还可以包括其中基层图片被是交错扫描的且增强层图片是递进扫描的。
[0272] 之前实施例的一个或多个还可以包括其中基层图片包括交错场且增强层图片包括递进帧。
[0273] 在另一实施例中，视频解码系统可以包括处理器，被配置成：存储用于在重采样视频图片中使用的相位参数的一个或多个集合；接收视频内容，其包括基层视频内容和增强层视频内容；以及基于在基层中的图片和存储的相位参数的集合的一个或多个来组合用于在预测增强层中至少一个图片中使用的层间参考(ILR)图片。
[0274] 之前实施例还可以包括其中该处理器还被配置成使用该ILR参考图片预测增强层图片。
[0275] 之前实施例的一个或多个还可以包括其中存储的相位参数的一个或多个集合的每一个包括：用于选择用于一个或多个ILR参考图片的亮度分量的水平相位过滤器的phaseX信息；用于选择用于一个或多个ILR参考图片的色度分量的至少一个的水平相位过滤器的phaseXC信息；用于选择用于一个或多个ILR参考图片的亮度分量的垂直相位过滤器的phaseY信息；和/或用于选择用于一个或多个ILR参考图片的色度分量的至少一个的垂直相位过滤器的phaseYC信息。
[0276] 之前实施例的一个或多个还可以包括其中该处理器还被配置成接收指示来自存储的相位参数的一个或多个集合中的将被用于组合该ILR图片的相位参数的至少一个集合的至少一个索引指示符。
[0277] 之前实施例的一个或多个还可以包括其中该至少一个索引指示符在片段头部中被接收。
[0278] 之前实施例的一个或多个还可以包括其中该处理器还被配置成通过基于接收的至少一个索引指示符指示的相位参数的至少一个集合选择用于重采样亮度和/或色度分量的至少一者的相位过滤器来组合该一个或多个ILR图片。
[0279] 之前实施例的一个或多个还可以包括其中该至少一个索引指示符与该视频内容的片相关联，且其中该处理器还被配置成根据与该片相关联的索引指示符调整用于接收的视频内容的基层中的片的水平相位过滤器和垂直相位过滤器的至少一者，以用于组合所述ILR图片。
[0280] 之前实施例的一个或多个还可以包括其中该处理器还被配置成经由信令接收将被存储的相位参数的一个或多个集合。
[0281] 之前实施例的一个或多个还可以包括其中将被存储的相位参数的一个或多个集合在图片参数集(PPS)中被接收。
[0282] 之前实施例的一个或多个还可以包括其中该处理器还被配置成经由信令接收指示该至少一个索引指示符是否用信号被发送的标志指示符。
[0283] 之前实施例的一个或多个还可以包括接收指示相位参数的一个或多个集合是用信号发送还是被推断出得标志指示符。
[0284] 之前实施例的一个或多个还可以包括其中推断出的相位参数的一个或多个集合是包括以下的集合：用于选择用于一个或多个ILR参考图片的水平相位过滤器的phaseX信息是0；用于选择用于一个或多个ILR参考图片的色度分量的至少一个的水平相位过滤器的phaseXC信息是0；用于选择用于一个或多个ILR参考图片的亮度分量的垂直相位过滤器的phaseY信息是0；以及用于选择用于一个或多个ILR参考图片的色度分量的至少一个的垂直相位过滤器的phaseYC信息是1。
[0285] 之前实施例的一个或多个还可以包括其中基层图片是交错扫描的且增强层图片是递进扫描的。
[0286] 在另一实施例中，视频编码方法可以在视频编码器中实施，该方法包括：传送视频内容，其包括基层视频内容和增强层视频内容；以及传送相位参数的一个或多个集合，其用于重采样基层中的视频图片，该视频图片由视频解码器用于基于基层中的图片和相位参数集合的一个或多个组合一个或多个层间参考(ILR)图以用于预测增强层中的至少一个图片。
[0287] 之前实施方式还可以包括其中相位参数的一个或多个集合的每一个包括：用于选择用于ILR参考图片的亮度分量的水平相位过滤器的phaseX信息；用于选择用于ILR参考图片的色度分量的至少一个的水平相位过滤器的phaseXC信息；用于选择用于ILR参考图片的亮度分量的垂直相位过滤器的phaseY信息；和/或用于选择用于ILR参考图片的色度分量的至少一个的垂直相位过滤器的phaseYC信息。
[0288] 之前实施例的一个或多个还可以包括传送指示正被传送的相位值得集合的数量的数量指示符。
[0289] 之前实施例的一个或多个还可以包括传送指示来自相位参数的一个或多个集合中的将用于组合ILR图片的相位参数的至少一个集合的至少一个索引指示符。
[0290] 之前实施例的一个或多个还可以包括其中至少一个索引指示符在片段头部中被传送。
[0291] 之前实施例的一个或多个还可以包括其中相位参数的多个集合在图片参数集(PPS)中被传送。
[0292] 之前实施例的一个或多个还可以包括传送指示至少一个索引指示符是否用信号被发送的标志指示符。
[0293] 之前实施例的一个或多个还可以包括其中基层图片是交错扫描的且增强层图片是递进扫描的。
[0294] 之前实施例的一个或多个还可以包括传送指示相位参数的一个或多个集合是用信号发送还是被推断出的标志指示符。
[0295] 之前实施例的一个或多个还可以包括其中推断出的相位参数的一个或多个集合是包括以下的集合：用于选择用于一个或多个ILR参考图片的水平相位过滤器的phaseX信息是0；用于选择用于一个或多个ILR参考图片的色度分量的至少一个的水平相位过滤器的phaseXC信息是0；用于选择用于一个或多个ILR参考图片的亮度分量的垂直相位过滤器的phaseY信息是0；以及用于选择用于一个或多个ILR参考图片的色度分量的至少一个的垂直相位过滤器的phaseYC信息是1。
[0296] 在另一个实施例中，一种视频编码系统可以包括处理器，被配置成传送在视频解码器用于重采样视频图片的相位参数的多个集合；传送视频内容，其包括基层和增强层，每个层包括多个图片；以及传送视频解码器用于基于基层中图片和相位参数的集合的一个或多个组合一个或多个层间参考(ILR)图片以用于预测增强层中的至少一个图片的数据。
[0297] 之前实施例还可以包括其中相位参数的一个或多个集合的每一个包括：用于选择用于ILR参考图片的亮度分量的水平相位过滤器的phaseX信息；用于选择用于ILR参考图片的色度分量的至少一个的水平相位过滤器的phaseXC信息；用于选择用于ILR参考图片的亮度分量的垂直相位过滤器的phaseY信息；和/或用于选择用于ILR参考图片的色度分量的至少一个的垂直相位过滤器的phaseYC信息。
[0298] 之前实施例的一个或多个还可以包括传送指示正被传送的相位值的集合的数量的数量指示符。
[0299] 之前实施例的一个或多个还可以包括其中该处理器还被配置成传送指示来自相位参数的一个或多个集合中将被用于组合ILR图片的相位参数的至少一个集合的至少一个索引指示符。
[0300] 之前实施例的一个或多个还可以包括其中该处理器还被配置成在片段头部中传送至少一个索引指示符。
[0301] 之前实施例的一个或多个还可以包括其中该处理器还被配置成在图片参数集(PPS)中传送相位参数的多个集合。
[0302] 之前实施例的一个或多个还可以包括其中该处理器还被配置成传送指示至少一个索引指示符是否用信号被发送的标志指示符。
[0303] 之前实施例的一个或多个还可以包括其中基层图片是交错扫描的且增强层图片是递进扫描的。
[0304] 之前实施例的一个或多个还可以包括其中该处理器还被配置成传送指示相位参数的一个或多个集合是用信号被发送还是被推断出的标志指示符。
[0305] 之前实施例的一个或多个还可以包括其中推断出的相位参数的一个或多个集合是包括以下的集合：用于选择用于一个或多个ILR参考图片的水平相位过滤器的phaseX信息是0；用于选择用于一个或多个ILR参考图片的色度分量的至少一个的水平相位过滤器的phaseXC信息是0；用于选择用于一个或多个ILR参考图片的亮度分量的垂直相位过滤器的phaseY信息是0；以及用于选择用于一个或多个ILR参考图片的色度分量的至少一个的垂直相位过滤器的phaseYC信息是1。
[0306] 在另一实施例中，一种视频解码方法可以包括：解码器接收视频内容，其包括多个层的第一、第二、第三和第四层；解码器接收多个相位参数集合；解码器接收相位参数选择信息，其指示所述多个相位参数集中一个或多个允许相位参数集中将被用于从第二层预测第一层的第一集合；解码器接收第二相位参数选择信息，其指示所述多个相位参数集中一个或多个允许相位参数集中将被用于从第四层预测第三层的第二集合；标识参考层和当前层，其中解码器从参考层重采样图片；基于参考层和当前层的标识从允许相位参数集中被指示的第一集合或被指示的第二集合之一中选择呢允许相位参数集合的一集合；解码器接收索引指示符；基于该索引指示符从允许相位参数集的所选集合中选择相位参数集；基于所选相位参数集选择用于重采样亮度和/或色度分量的任意者的水平相位过滤器和垂直相位过滤器的至少一者；以及组合一个或多个层间参考(ILR)图片。
[0307] 之前实施例还可以包括其中第一、第二、第三和/或第四层的任意是相同层或不同层。
[0308] 之前方法的一个或多个可以在视频解码器中被执行，该视频解码器包括存储器和/或被配置成执行所列动作的处理器。
[0309] 在另一实施例中，视频解码方法可以包括：解码器接收视频内容的第一和第二片，该视频内容的第一片包括至少基层(BL)、增强层(EL)和第一相位信息，该信息指示来自相位参数的多个集合中的相位参数的一个或多个集合的第一组，该视频内容的第二片包括至少基层(BL)、增强层(EL)和第二相位信息，该信息指示来自相位参数的多个集合的相位参数的一个或多个集合的第二组；针对第一和第二片的每个各自的片：基于视频内容的各自片和与各自片相关联的接收的相位信息将BL组合成层间参考(ILR)图片；选择组合的ILR图片或与各自片相关联的EL参考图片的一者或两者；以及使用接收的与各自片相关联的相位信息和所选的ILR图片或与各自片相关联的所选EL参考图片中的一者或多者来预测与各自片相关联的EL图片。
[0310] 之前实施例还可以包括其中对EL图片的预测包括：基于接收的相位信息指示的phaseX信息和phaseXC信息选择用于重采样亮度和色度分量的水平相位过滤器；以及基于接收的相位信息指示的phaseY信息和phaseYC信息选择用于重采样亮度和色度分量的垂直相位过滤器。
[0311] 之前实施例的一个或多个还可以包括其中对EL图片的预测包括：基于视频内容的第一片的第一相位信息指示的phaseX信息和phaseXC信息来选择(1)用于重采样亮度和色度分量的水平相位过滤器的第一集合，和基于视频内容的第二片的第二相位信息指示的phaseX信息和phaseXC信息选择(2)用于重采样亮度和色度分量的水平相位过滤器的不同的第二集合；以及基于视频内容的第一片的第一相位信息指示的phaseY信息和phaseYC信息来选择(1)用于重采样亮度和色度分量的垂直相位过滤器的第一集合，和基于视频内容的第二片的第二相位信息指示的phaseY信息和phaseYC信息来选择(2)用于重采样亮度和色度分量的垂直相位过滤器的不同的第二集合。
[0312] 之前实施例的一个或多个还可以包括其中该相位信息包括或指示相位参数的集合的一个或多个，针对每个集合其包括以下任意：(1)phaseX信息；(2)phaseXC信息；(3)phaseY信息和/或(4)phaseYC信息。
[0313] 之前实施例的一个或多个还可以包括其中相位信息包括以下任意：(1)允许的phaseX信息；(2)允许的phaseXC信息；(3)允许的phaseY信息和/或(4)允许的phaseYC信息。
[0314] 之前实施例的一个或多个还可以包括对相位参数的多个集进行索引由此该相位信息包括一个或多个值，每个值指示被索引的相位参数的多个集合中的特定的相位参数集合。
[0315] 之前实施例的一个或多个还可以包括根据与各自片相关联的相位信息调整用于视频内容的每个片的水平和垂直相位过滤器的至少一者。
[0316] 之前实施例的一个或多个可以在视频解码器中执行，该视频解码器包括存储器和/或被配置成执行所列举动作的处理器。
[0317] 在另一个实施例中，使用两个或更多层的视频解码方法可以包括：解码器接收视频内容和索引信息，该信息指示相位参数的一个或多个集合，以及层信息，该信息指示被包括在比特流中的两个或更多层的至少两个层；使用层信息和索引信息基于视频内容将至少两个层中的第一个层组合成层间参考(ILR)图片；以及使用所选的ILR图片、至少两个层中的第二个层以及基于层信息和索引信息选择的相位参数的一个或多个集合来预测当前图片。
[0318] 之前的方法可以在视频解码器中执行，该视频解码器包括存储器和/或用于执行所列举动作的处理器。
[0319] 在另一实施例中，视频解码方法可以包括：解码器接收视频内容和相位参数选择信息，其指示将被用于预测当前图片的相位参数的一个或多个可允许集合；基于相位参数的允许的集合来选择一个或多个相位过滤器；以及使用所选择的相位过滤器来上采样接收的视频内容以预测当前图片。
[0320] 之前方法还可以包括其中接收的信息包括配对层信息，其指示相位信息的多个集合中的哪对被允许用于得出用于上采样的水平和垂直相位过滤器。
[0321] 之前实施例的一个或多个还可以包括其中：相位参数的可允许集合是相位参数的多个集合的子集；相位参数的可允许集合由第一索引表示；相位参数的多个集合由第二索引表示；以及参数选择信息包括经由第一索引的查找值，该值是具有小于与经由第二索引的另一个查找值相关联的比特段长度的长度的比特段。
[0322] 之前实施例的一个或多个还可以包括其中解码器被配置成获得表，该表具有至少两个索引，该表的第一个索引与相位参数的可允许集合相关联且该表的第二索引与用于上采样的层相关联，该方法还包括根据从与第一和第二索引匹配的参数选择信息得到的值来选择存储在表中得相位参数的一个或多个集合，作为相位参数的允许的集合；其中对一个或多个相位过滤器的选择包括选择以下任意：基于相位参数的允许的集合选择用于上采样接收的视频内容的的水平和/或垂直相位过滤器；对接收的视频内的上采样包括使用选择的水平和/或垂直相位过滤器在水平方向和/或垂直方向的任意上采样接收的视频内容。
[0323] 之前实施例的一个或多个可以体现在解码器，其具有存储器和/或被配置成执行所列举动作的处理器。
[0324] 在另一个实施例中，解码视频的方法可以包括：解码器接收视频内容，包括当前层、当前层的一个或多个参考层以及相位参数的一个或多个集合；以及基于来自一个或多个参考层的视频内容和接收的相位参数的一个或多个集合来组合一个或多个层间参考(ILR)图片。
[0325] 之前实施例还可以包括使用ILR图片的一个或多个来预测当前层图片。
[0326] 之前实施例的一个或多个还可以包括解码器接收索引指示符，其指示相位参数的一个或多个集合中的相位参数的至少一个集合。
[0327] 之前实施例的一个或多个还可以包括其中相位参数的一个或多个集合包括以下的至少一者：用于选择用于亮度分量的水平相位过滤器的phaseX信息；用于选择用于色度分量的至少一个的水平相位过滤器的phaseXC信息；用于选择用于亮度分量的垂直相位过滤器的phaseY信息；以及用于选择用于色度分量的至少一个的垂直相位过滤器的phaseYC信息。
[0328] 之前实施例的一个或多个还可以包括其中该索引指示符在片段头部中用信号被发送。
[0329] 之前实施例的一个或多个还可以包括其中组合一个或多个ILR图片包括基于接收的索引指示符指示的相位参数的至少一个集合选择用于重采样亮度和色度分量的至少一者的水平相位过滤器和垂直相位过滤器的至少一者。
[0330] 之前实施例的一个或多个还可以包括根据与各自片相关联的索引指示符调整针对接收的视频内容中的至少一个片的水平和垂直相位过滤器的至少一者。
[0331] 之前实施例的一个或多个还可以包括标志指示符，其指示被推断出而不是显式用信号发送的相位参数的一个或多个集合。
[0332] 之前实施例的一个或多个可以体现在视频解码器中，其具有存储器和/或被配置成执行所列举动作的处理器。
[0333] 在另一个实施例中，视频解码方法可以包括：解码器接收视频内容，包括当前层和当前层的一个或多个参考层；解码器接收多个相位参数集合；解码器接收相位参数选择信息，其指示多个相位参数集合中用于从当前层的一个或多个参考层的第一参考层预测当前层的一个或多个可允许相位参数集合；以及基于第一参考层和一个或多个可允许的接收的相位参数集合组合一个或多个层间参考(ILR)图片。
[0334] 之前实施例还可以包括解码器接收索引指示符，其指示一个或多个可允许的相位参数集合中将用于从第一参考层预测当前层的至少一个相位参数集合。
[0335] 之前实施例的一个或多个还可以包括其中该索引指示符在当前层的片段头部中用信号被发送。
[0336] 之前实施例的一个或多个还可以包括其中指示将用于从参考层预测当前层的相位参数的一个或多个可允许集合的相位参数选择信息仅在当前层与参考层之间必须要重采样时才被接收。
[0337] 之前实施例的一个或多个可以体现在解码器中，其具有处理器和/或被配置成执行所列举动作的处理器。
[0338] 在还一个实施例中，视频解码方法可以包括：解码器接收包括多个层的视频内容；解码器接收多个相位参数集合；解码器接收第一相位参数选择信息，其指示多个相位参数集合中将用于从第二层预测第一层的一个或多个可允许相位参数集合的第一集合；解码器接收第二相位参数选择信息，其指示该多个相位参数集合中将用于第四层预测第三层的一个或多个可允许相位参数集合的第二集合；标识参考层和当前层，其中解码器从参考层重采样图片；基于参考层和当前层的标识从可允许相位参数集合的第一或第二集合选择可允许相位参数集合的一集合；解码器接收索引指示符；基于索引指示符从可允许相位参数集合的该集合选择相位参数集合；基于所选择的相位参数集合选择用于重采样亮度和色度分量的至少一者的水平相位过滤器和垂直相位过滤器的至少一者；以及组合一个或多个层间参考(ILR)图片。
[0339] 之前实施例可以在解码器中执行，该解码器具有存储器和/或被配置成执行所列举动作的处理器。
[0340] 在还一个实施例中，一种视频解码方法也可以在视频解码器中执行，该视频解码器具有存储器和被配置成执行所列举动作的处理器，该方法可以包括：解码器接收视频内容，其包括至少基层(BL)、增强层(EL)和指示符信息，该指示符信息包括指示BL是以交错格式的序列指示符和指示BL与EL之间的对准的对准指示符；基于接收到指示符信息将BL组合成层间参考(ILR)图片；选择被处理的ILR图片或EL参考图片中的一者或两者；以及使用所选ILR图片或EL参考图片的一个或多个来预测当前EL图片。
[0341] 之前实施例还可以包括其中组合ILR图片基于以以下项为条件的指示符信息：(1)当前层是EL；(2)EL使用BL用于层间采样预测；和/或BL包括至少一个编码场。
[0342] 之前实施例可以被体现在解码器中，该解码器具有处理器和/或被配置成执行所列举动作的处理器。
[0343] 在另一实施例中，该实施例可以在视频解码器中执行，该视频解码器具有存储器和/或被配置成执行所列举动作的处理器，视频编码方法可以包括：接收视频信号；编码器根据视频信号生成包括基层(BL)和增强层(EL)的至少两个层；编码器将指示BL是否是以交错格式被生成的序列指示符和指示BL与EL之间的对准的对准指示符设定为指示符信息；以及编码器发送包括至少两个层和设定的指示符信息的视频内容。
[0344] 之前实施例还可以包括其中对指示符信息的设定和发送是以以下项为条件的：(1)当前层是EL；(2)EL使用BL用于层间采样预测；(3)BL包括至少一个编码场。
[0345] 之前实施例的一个或多个还可以包括其中序列指示符信息被包含在视频参数集中，且对准指示符被包含在片段头部中。
[0346] 在另一实施例中，其也可以在视频解码器中执行，该视频解码器具有处理器和/或被配置成执行所列举动作的处理器，视频解码方法可以包括：解码器接收包括交错基层(IBL)、增强层(EL)和IBL的至少场奇偶性指示符的视频内容；基于接收到的IBL的场奇偶性指示符来上采样IBL；使用上采样的IBL来生成层间参考(ILR)图片；以及使用生成的ILR图片来预测当前递进EL图片。
[0347] 之前实施例还可以包括其中生成亮度采样和/或色度采样的ILR图片包括：在接收的场奇偶性指示第一值的情况下，上采样BL中的顶场；以及在接收的场奇偶性指示第二值的情况下，上采样BL中的底场。
[0348] 之前实施例的一个或多个还可以包括其中上采样BL中的顶场包括通过经由垂直插值复制并得出上采样的IBL的偶数线或奇数线的其余部分的第二集合来得出上采样的IBL的偶数线或奇数线的第一集合。
[0349] 之前实施例的一个或多个还可以包括根据表5和表6中的值使用相位8过滤器来执行垂直插值。
[0350] 之前实施例的一个或多个还可以包括其中上采样BL中的底场包括通过经由垂直插值复制并得出上采样的IBL的偶数线或奇数线的其余部分的第二集合来得出上采样的IBL的偶数线或奇数线的第一集合。
[0351] 之前实施例的一个或多个还以包括根据表5和表6中的值使用相位8过滤器来执行处置插值。
[0352] 之前实施例的一个或多个还可以包括其中接收视频信号还包括接收指示色度采样的位置的色度位置信息；该方法还包括基于色度位置信息得出用于色度上采样的相位过滤器。
[0353] 在另一个实施例中，其也可以在视频解码器中执行，该视频解码器具有存储器和/或被配置成执行所列举动作的处理器，视频解码方法可以包括：解码器接收包括至少交错基层(IBL)和增强层(EL)的视频内容，其中IBL包括BL帧，每个BL帧由顶场和对应底场的集合来定义，每个BL帧包括宏块(MB)被编码为场MB的BL帧的一部分和MB被编码为帧MB的BL帧的其余部分；通过以下方式将交错BL组合成第一层间参考(ILR)图片：复制与帧MB相关联的BL帧的像素以生成第一ILR图片的第一部分，以及针对与场MB相关联的BL帧的顶场的像素，在垂直方向执行2X上采样以生成第一ILR图片的其余部分；以及使用第一ILR图片预测第一EL图片。
[0354] 之前实施例还可以包括：通过以下方式进一步将交错BL按ILR图片系列的方式组合成连续的第二ILR图片：复制与帧MB相关联的BL帧的像素以生成第二ILR图片的第一部分，以及针对与场MB相关联的BL真的底场的像素，在垂直方向执行2X上采样以生成第二ILR图片的其余部分；以及使用第二ILR图片来预测连续的第二EL图片。
[0355] 在另一实施例中，其也可以在视频解码器中执行，该视频解码器具有存储器和/或被配置成执行所列举动作的处理器，视频解码方法可以包括：解码器接收包括至少交错基层(IBL)和增强层(EL)的视频内容，其中IBL包括BL帧，每个BL帧定义顶场和对应底场的集合，每个BL帧包括基于运动编码的部分；通过以下方式将交错BL组合成第一层间参考(ILR)图片：复制与非运动相关联的BL帧的像素以生成第一ILR图片的第一部分，以及针对与运动相关联的BL帧的顶场的像素，在垂直方向执行2X上采样以生成第一ILR图片的其余部分；以及使用第一ILR图片来预测第一EL图片。
[0356] 之前实施例还可以包括通过以下方式进一步将IBL按ILR图片系列的方式组合成连续的第二ILR图片：复制与非运动相关联的BL帧的像素以生成第二ILR图片的第一部分，以及针对与运动相关联的顶场的像素，在垂直方向执行2X上采样以生成第二ILR图片的其余部分；以及使用第二ILR图片预测第二EL图片。
[0357] 之前实施例还可以包括从编码器得到关于与运动相关联的BL帧的像素的信息。
[0358] 之前实施例的一个或多个还可以包括基于预定标准确定关于与运动相关联的BL帧的像素的信息。
[0359] 之前实施例的一个或多个还可以包括其中确定关于与运动相关联的BL帧的像素的信息包括使用以下任意的比较确定多个区域内BL帧的顶场与对应底场之间的运动量：BL帧的顶场与底场之间的绝对差之和(SAD)和/或平方差之和(SSE)与阈值的比较。
[0360] 在另一实施例中，其也可以在视频解码器中执行，该视频解码器具有存储器和/或被配置成执行所列举动作的处理器，视频解码方法可以包括：解码器接收包括至少交错基层(IBL)和增强层(EL)的视频内容，其中IBL包括一个或多个连续的顶场和一个或多个连续底场；通过将一个或多个顶场与一个或多个底场组合以生成ILR图片来将IBL组合成层间参考(ILR)图片；以及使用生成的ILR图片和增强层来预测当前递进EL图片。
[0361] 之前实施例还可以包括其中组合一个或多个顶场和一个或多个底场以生成ILR图片包括以下任意：(1)将来自第一场的内容复制到ILR图片的偶数线或奇数线的一者，以及将来自第二场的内容复制到ILR图片的偶数线或奇数线的其余一者；(2)来自第一场的内容与来自第二场的内容被平均或被加权平均以产生ILR图片的线；(3)使用运动补偿将来自第一场的内容与来自第二场的内容组合；(4)来自第一场的内容、第二和至少一个另一个场被加权并组合以产生ILR图片的线；或(5)使用相对于第一场的第二和第三场的运动补偿以产生ILR图片的线，其中针对ILR图片的每个区域的运动补偿数据依据第二或第三场中的哪一者或两者提供与第一场中数据更好对准来从第二或第三场中选择。
[0362] 代表性网络和硬件基础结构
[0363] 这里描述的代表性系统和方法可以很好适于涉及所有类型的通信包括有线和无线网络的视频通信。各种类型的无线设备和基础结构的总览关于图15A-15E提供，其中各种网络元件可以使用这里描述的系统和方法。处于简便，描述了无线网络，但是本领域技术人员理解，各种实施方式同样适用于有线网络、混合网络(例如，有线和无线)和/或ad hoc网络等。更具体地，基站，例如基础收发信机站(BTS)、节点B、e节点B、家用节点B、家用e节点B、站点控制器、接入点(AP)、无线路由器、媒体已知网络元件(MANE)，包括无线发射/接收单元(WTRU)可以使用这里描述的方法来从一个实体向另一个实体传送编码视频数据。
[0364] 图15A是可以在其中可实现一个或多个公开的实施方式的示例通信系统400的示图。通信系统400可以是用于提供诸如语音、数据、视频、消息、广播等内容给多个无线用户的多址系统。通信系统400能够使得多个无线用户通过共享系统资源，包括无线带宽来接入这些内容。例如，通信系统900可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)等。
[0365] 如图15A所示，通信系统400可以包括无线发射/接收单元(WTRU)402a、402b、402c、402d，无线电接入网(RAN)404、核心网406、公共交换电话网(PSTN)408、因特网410和其他网络412，但是应当理解，所公开的实施方式预期了任意数量的WTRU、基站、网络和/或网络元件。WTRU402a、402b、402c、402d中的每一个可以是被配置为在无线环境中工作和/或通信的任何类型的设备。举例来说，WTRU 402a、402b、402c、402d可被配置为发送和/或接收无线信号，并且可包括用户设备(UE)、移动站、固定或移动用户单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型电脑、上网本、个人电脑、无线传感器、消费类电子产品等。
[0366] 通信系统400还可以包括基站414a和基站414b。基站414a、414b中的每一个可以是任何类型的被配置为与WTRU 402a、402b、402c、402d中的至少一个进行无线连接以便于接入例如核心网406、因特网410和/或网络412那样的一个或多个通信网络的装置。作为例子，基站414a、414b可以是基站收发信机(BTS)、节点B、e节点B、家用节点B、家用e节点B、站点控制器、接入点(AP)、无线路由器等等。虽然基站414a、414b分别被画为单个元件，但是可以理解基站414a、414b可以包括任意数量的互连的基站和/或网络元件。
[0367] 基站414a可以是RAN 404的一部分，该RAN 404还可以包括其它基站和/或网络元件(未示出)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等。基站414a和/或基站414b可以被配置为在特定地理区域内发射和/或接收无线信号，该特定地理区域被称作小区(未示出)。所述小区还被分割成小区扇区。例如，与基站414a相关联的小区被分割成三个扇区。如此，在一个实施方式中，基站414a包括三个收发信机，即，针对小区的每个使用一个收发信机。在另一实施方式中，基站414a可以使用多输入多输出(MIMO)技术，因此，可以针对小区的每个扇区使用多个收发信机。
[0368] 基站414a、414b可以通过空中接口416与WTRU 402a、402b、402c、402d中的一个或多个通信，所述空中接口416可以是任何适当的无线通信链路(例如射频(RF)、微波、红外线(IR)、紫外线(UV)、可见光等等)。可以使用任何适当的无线电接入技术(RAT)来建立空中接口416。
[0369] 更具体而言，如上所述，通信系统400可以是多址系统且可以采用一种或多种信道接入方案，诸如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等等。例如，RAN 404中的基站414a和WTRU 402a、402b、402c可以实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术，其中该无线电技术可以使用宽带CDMA(WCDMA)来建立空中接口416。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路分组接入(HSDPA)和/或高速上行链路分组接入(HSUPA)。
[0370] 在另一实施方式中，基站414a和WTRU 402a、402b、402c可以实现诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，其中该无线电技术可以使用LTE和/或高级LTE(LTE-A)来建立空中接口416。
[0371] 在其它实施方式中，基站414a和WTRU 402a、402b、402c可以实现诸如IEEE 802.16(即全球微波互通接入(WiMAX))、CDMA2000、CDMA20001X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、增强型数据速率GSM演进(EDGE)、GSM EDGE(GERAN)等无线电技术。
[0372] 图15A中的基站414b可以是诸如无线路由器、家用节点B、家用e节点B、或接入点，并且可以利用任何适当的RAT来促进诸如营业场所、家庭、车辆、校园等局部区域中的无线连接。在一个实施方式中，基站414b和WTRU 402c、402d可以实施诸如IEEE 802.11之类的无线电技术以建立无线局域网(WLAN)。在另一实施方式中，基站414b和WTRU 402c、402d可以实施诸如IEEE 802.15之类的无线电技术以建立无线个域网(WPAN)。在另一实施方式中，基站414b和WTRU 402c、402d可以利用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A等)以建立微微小区或毫微微小区。如图15A所示，基站414b可以具有到因特网410的直接连接。因此，基站414b可以不需要经由核心网406接入因特网410。
[0373] RAN 404可以与核心网406通信，核心网406可以是被配置为向WTRU402a、402b、402c、402d中的一个或多个提供语音、数据、应用程序、和/或网际协议语音(VoIP)服务的任何类型的网络。例如，核心网406可以提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等，和/或执行诸如用户认证等高级安全功能。虽然图15A未示出，但应认识到RAN 404和/或核心网406可以与跟RAN 404采用相同的RAT或不同的RAT的其它RAN进行直接或间接通信。例如，除连接到可以利用E-UTRA无线电技术的RAN 404之外，核心网406还可以与采用GSM无线电技术的另一RAN(未示出)通信。
[0374] 核心网406还可以充当用于WTRU 402a、402b、402c、402d接入PSTN408、因特网410、和/或其它网络412的网关。PSTN 408可以包括提供普通老式电话服务(POTS)的电路交换电话网。因特网410可以包括使用公共通信协议的互连计算机网络和设备的全局系统，所述公共通信协议例如为传输控制协议(TCP)/网际协议(IP)因特网协议族中的TCP、用户数据报协议(UDP)和IP。网络412可以包括由其它服务提供商所拥有和/或操作的有线或无线通信网络。例如，网络412可以包括连接到可以与RAN 404采用相同的RAT或不同的RAT的一个或多个RAN的另一核心网。
[0375] 通信系统400中的某些或全部WTRU 402a、402b、402c、402d可以包括多模式能力，即WTRU 402a、402b、402c、402d可以包括用于通过不同的无线链路与不同的无线网络通信的多个收发信机。例如，图15A所示的WTRU 402c可以被配置为与可以采用蜂窝式无线电技术的基站414a通信，且与可以采用IEEE 802无线电技术的基站414b通信。
[0376] 图15B是示例WTRU 402的系统图。如图15B所示，WTRU 402可以包括处理器418、收发信机420、发射/接收元件422、扬声器/麦克风424、键盘426、显示器/触控板428、不可移除存储器430、可移除存储器432、电源434、全球定位系统(GPS)芯片组436、以及其它外围设备438。应认识到WTRU 402可以在保持与实施方式一致的同时，包括前述元件的任何子组合。
[0377] 处理器418可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)、状态机等等。处理器418可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或使得WTRU 402能够在无线环境中操作的任何其它功能。处理器418可以耦合到收发信机420，收发信机420可以耦合到发射/接收元件422。虽然图15B将处理器418和收发信机420画为单独的元件，但应认识到处理器418和收发信机420可以被一起集成在电子组件或芯片中。
[0378] 发射/接收元件422可以被配置为通过空中接口416向基站(例如基站414a)发射信号或从基站(例如基站414a)接收信号。例如，在一个实施方式中，发射/接收元件422可以是被配置为发射和/或接收RF信号的天线。在另一实施方式中，发射/接收元件422可以是被配置为发射和/或接收例如IR、UV、或可见光信号的发射器/检测器。在另一实施方式中，发射/接收元件422可以被配置为发射和接收RF和光信号两者。应认识到发射/接收元件422可以被配置为发射和/或接收无线信号的任何组合。
[0379] 另外，虽然发射/接收元件422在图15B中被画为单个元件，但个WTRU402可以包括任何数目的发射/接收元件422。更具体而言，WTRU 402可以采用MIMO技术。因此，在一个实施方式中，WTRU 402可以包括用于通过空中接口416来发射和接收无线信号的两个或更多个发射/接收元件422(例如多个天线)。
[0380] 收发信机420可以被配置为调制将由发射/接收元件422发射的信号并对由发射/接收元件422接收到的信号进行解调。如上所述，WTRU 402可以具有多模式能力。因此，例如，收发信机420可以包括用于使得WTRU 402能够经由诸如UTRA和IEEE 802.11之类的多种RAT通信的多个收发信机。
[0381] WTRU 402的处理器418可以耦合到扬声器/麦克风424、键盘426、和/或显示器/触控板428(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以从这些组件接收用户输入数据。处理器418还可以向扬声器/扩音器424、键盘426、和/或显示器/触控板428输出用户数据。另外，处理器418可以访问来自任意类型的合适的存储器(例如不可移除存储器430和可移除存储器432)的信息，或者将数据存储在该存储器中。不可移除存储器430可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或任何其它类型的存储器存储设备。可移除存储器432可以包括用户标识模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其它实施方式中，处理器418可以访问来自在物理上不位于WTRU 402上(诸如在服务器或家用计算机(未示出))的存储器的信息并将数据存储在该存储器中。
[0382] 处理器418可以从电源434接收电力，并且可以被配置为分配和/或控制到WTRU 402中的其它元件的电力。电源434可以是用于为WTRU 402供电的任何适当设备。例如，电源
434可以包括一个或多个干电池(例如镍镉(NiCd)、镍锌铁氧体(NiZn)、镍金属氢化物(NiMH)、锂离子(Li)等等)、太阳能电池、燃料电池等等。
434可以包括一个或多个干电池(例如镍镉(NiCd)、镍锌铁氧体(NiZn)、镍金属氢化物(NiMH)、锂离子(Li)等等)、太阳能电池、燃料电池等等。
[0383] 处理器418还可以耦合到GPS芯片组436，GPS芯片组436可以被配置为提供关于WTRU 402的当前位置的位置信息(例如，经度和纬度)。除来自GPS芯片组436的信息之外或作为其替代，WTRU 402可以通过空中接口416从基站(例如基站414a、414b)接收位置信息和/或基于从两个或更多个附近的基站接收到信号的时序来确定其位置。应认识到WTRU 402可以在保持与实施方式一致的同时，通过任何适当的位置确定方法来获取位置信息。
[0384] 处理器418还可以耦合到其它外围设备438，外围设备438可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备438可以包括加速计、电子指南针、卫星收发信机、数码相机(用于拍照或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、 模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器等等。
[0385] 图15C是根据实施方式的RAN 404和核心网406的系统图。如上所述，RAN 404可以使用UTRA无线电技术来通过空中接口416与WTRU 402a、402b、402c通信。RAN 404还可以与核心网406通信。如图15C中所示，RAN 404可以包括节点B 440a、440b、440c，其每一个可以包括一个或多个收发信机用于通过控制接口416与WTRU 402a、402b、402c通信。节点B 440a、440b、440c每一个可以与RAN 404内的特定小区(未示出)相关联。RAN 404还可以包括RNC 442a、442b。可以理解RAN 404可以包括任意数量的节点B和RNC并与实施方式保持一致。
[0386] 如图15C中所示，节点B 440a、440b可以与RNC 442a通信。此外，节点B 440c可以与RNC 442b通信。节点B 440a、440b、440c可以经由Iub接口与各自的RNC 442a、442b通信。RNC 442a、442b可以经由Iur接口彼此通信。RNC 442a、442b、442c的每一个可以被配置成控制与其连接的各自节点B 440a、440b、440c。此外，RNC 442a、442b的每个可以被配置成执行或支持其他功能，例如外环功率控制、负载控制、准入控制、分组调度、切换控制、宏分集、安全功能、数据加密等。
[0387] 图15C中的核心网406可以包括媒体网关(MGW)444、移动切换中心(MSC)446、服务GPRS支持节点(SGSN)448和/或网关GPRS支持节点(GGSN)450。虽然之前元件的每个被描绘为核心网406的部分，但可以理解这些元件的任意一个可以被核心网运营商以外的实体拥有和/或操作。
[0388] RAN 404中的RNC 442a可以经由IuCS接口连接到核心网406中的MSC 446。MSC 446可以连接到MGW 444。MSC 446和MGW 444可以给WTRU 402a、402b、402c提供到电路交换网例如PSTN 408的接入，以促进WTRU 402a、402b、402c与传统陆线通信设备之间的通信。
[0389] RAN 404中的RNC 442a还可以经由IuPS接口连接到核心网406中的SGSN 448。SGSN 448可以连接到GGSN 450。SGSN 448和GGSN 450可以给WTRU 402a、402b、402c提供到分组交换网例如因特网410的接入，以促进WTRU 402a、402b、402c与IP使能设备之间的通信。
[0390] 如上所述，核心网406还可以连接到网络412，其可以包括其他服务提供商拥有和/或运营的其他有线或无线网络。
[0391] 图15D是根据另一实施方式的RAN 404和核心网406的系统图。如上所述，RAN 404可以使用E-UTRA无线电技术来通过控制接口416与WTRU 402a、402b、402c通信。RAN 404还可以与核心网406通信。
[0392] RAN 404可包括e节点B 460a、460b、460c，但是可以理解，RAN 404可以包括任何数量的e节点B并与实施方式保持一致。该e节点B 460a、460b、460c中的每一个都可包含一个或多个收发信机，用于通过空中接口416与WTRU 402a、402b、402c进行通信。在一个实施方式中，该e节点B 460a、460b、460c可使用MIMO技术。因此，例如e节点B 460a可使用多个天线，用于向WTRU 402a发送和接收无线信号。
[0393] 该e节点B 460a、460b、460c中的每一个可与特定小区(未示出)相连接，并可配置为处理无线电资源管理决定、切换决定、上行链路和/或下行链路的用户调度等。如图15D所示，e节点B 460a、460b、460c可以通过X2接口相互通信。
[0394] 图15D中所示的核心网406可包括移动性管理网关(MME)462、服务网关464和分组数据网络(PDN)网关466。虽然将上述各个组件表示为核心网406的一部分，但是可以理解，任何一个组件都可由核心网运营商以外的实体所有和/或操作。
[0395] MME 462可以通过S1接口连接至RAN 404中的e节点B 460a、460b、460c中的每一个，并可用作控制节点。例如，MME 462可以用于对WTRU 402a、402b、402c的用户认证、承载激活/去激活、在WTRU 402a、402b、402c的初始连接期间选择特定服务网关等。MME 462还可提供控制平面功能，用于在RAN 404和使用其他无线电技术，例如GSM或WCDMA的RAN之间进行切换。
[0396] 服务网关464可以通过S1接口连接至RAN 404中的e节点B 460a、460b、460c中的每一个。服务网关464通常可以向/从WTRU 402a、402b、402c路由和转发用户数据分组。服务网关464还可执行其他功能，例如在e节点B之间的切换期间锚定用户面，当下行链路数据可用于WTRU 402a、402b、402c时触发寻呼、管理和存储WTRU 402a、402b、402c上下文等。
[0397] 服务网关464还可连接至PDN网关466，该PDN网关可向WTRU 402a、402b、402c提供对分组交换网络的连接，例如因特网410，从而实现WTRU 402a、402b、402c与IP使能设备之间的通信。
[0398] 核心网406可以促进与其他网络的通信。例如，核心网406可以对WTRU 402a、402b、402c提供对电路交换网络的连接，例如PSTN 408，以实现WTRU 402a、402b、402c与传统陆线通信设备之间的通信。例如，核心网406可以包括IP网关(例如，IP多媒体子系统(IMS)服务器)，或可以与该IP网关进行通信，该IP网关用作核心网406与PSTN 408之间的接口。此外，核心网406可以向WTRU 402a、402b、402c提供对网络412的连接，该网络412可以包括由其他服务运营商所有/操作的有线或无线网络。
[0399] 图15E是根据另一实施方式的RAN 404和核心网406的系统图。RAN 404可以是接入服务网(ASN)，其使用IEEE 802.16无线电技术通过空中接口416与WTRU 402a、402b、402c通信。如在下面进一步描述的，WTRU 402a、402b、402c、RAN 404与核心网406的不同功能实体之间的通信链路可以被定义为参考点。
[0400] 如图15E所示，RAN 404可以包括基站470a、470b、470c以及ASN网关472，但是可以理解RAN 404可以包括任意数量的基站和ASN网关而与实施方式保持一致。基站470a、470b、470c每一个可以与RAN 404中特定小区(未示出)相关联，且每个可以包括一个或多个收发信机用于通过控制接口416与WTRU 402a、402b、402c通信。在一个实施方式中，基站470a、
470b、470c可以执行MIMO技术。因此，例如基站470a可以使用多个天线来传送无线信号到WTRU 402a，并从其接收无线信号。基站470a、470b、470c还可以提供移动性管理功能，例如切换触发、隧道建立、无线电资源管理、业务分类、服务质量(QoS)策略执行等。ASN网关472可以用作业务会聚点并可以负责寻呼、订户简档缓存、到核心网406的路由等。
470b、470c可以执行MIMO技术。因此，例如基站470a可以使用多个天线来传送无线信号到WTRU 402a，并从其接收无线信号。基站470a、470b、470c还可以提供移动性管理功能，例如切换触发、隧道建立、无线电资源管理、业务分类、服务质量(QoS)策略执行等。ASN网关472可以用作业务会聚点并可以负责寻呼、订户简档缓存、到核心网406的路由等。
[0401] WTRU 402a、402b、402c与RAN 404之间的空中接口416可以被定义为R1参考点，其执行IEEE 802.16规范。此外，WTRU 402a、402b、402c的每一个可以与核心网406建立逻辑接口(未示出)。WTRU 402a、402b、402c与核心网406之间的逻辑接口可以被定义为R2参考点，其可以用于认证、授权、IP主机配置管理和/或移动性管理。
[0402] 基站470a、470b、470c的每个之间的通信链路可以被定义为R8参考点，其包括用于促进WTRU切换和基站之间的数据传输的协议。基站470a、470b、470c与ASN网关472之间的通信链路可以被定义为R6参考点。R6参考点可以包括用于促进基于与WTRU 402a,402b,402c的每个相关联的移动性事件的移动性管理的协议。
[0403] 如图15E所示，RAN 404可以连接到核心网406。RAN 404与核心网406之间的通信链路可以被定义为R3参考点，其包括用于促进例如数据传输和移动性管理能力的协议。核心网406可以包括移动IP本地代理(MIP-HA)474、认证、授权、记账(AAA)服务器476以及网关478。虽然前述元件的每个被描绘成核心网406的部分，但可以理解这些元件的任意一个可以被核心网运营商以外的实体拥有和/或操作。
[0404] MIP-HA 474可以负责IP地址管理，并可以使得WTRU 402a,402b,402c在不同ASN和/或不同核心网之间漫游。MIP-HA 474可以给WTRU 402a,402b,402c提供到分组交换网例如因特网410的接入，以促进WTRU 402a,402b,402c与IP使能设备之间的通信。AAA服务器478可以促进与其他网络的互通。例如，网关478可以给WTRU 402a,402b,402c提供到电路交换网例如PSTN 408的接入，以促进WTRU 402a,402b,402c与传统陆线通信设备之间的通信。
此外，网关478可以给WTRU 402a,402b,402c到网络412的接入，该网络412可以包括其他服务提供商拥有和/或运营的其他有线或无线网络。
此外，网关478可以给WTRU 402a,402b,402c到网络412的接入，该网络412可以包括其他服务提供商拥有和/或运营的其他有线或无线网络。
[0405] 虽然在图15E中没有示出，但可以理解RAN 404可以连接到其他ASN且核心网406可以连接到其他核心网。RAN 404与其他ASN之间的通信链路可以被定义为R4参考点，其可以包括用于协调WTRU 402a,402b,402c在RAN 404与其他ASN之间的移动性的协议。核心网406与其他核心网之间的通信链路可以被定义为R5参考，其可以包括用于促进本地核心网与受访核心网之间的互通。
[0406] 其他
[0407] 在不偏离本发明的范围的情况下上述方法、设备和系统的变形是可能的。根据能应用的宽范围的实施方式，应该理解所示的实施方式仅是示意性的，且不应当认为限制以下权利要求的范围。例如，在这里描述的示意性实施方式中包括手持设备。
[0408] 在本公开中，本领域技术人员理解某些代表性实施方式可以用于其他代表性实施方式的替换或结合。
[0409] 例如，合适的处理器包括通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、专用标准产品(ASSP)；场可编程门阵列(FPGA)电路、任意其他类型的集成电路(IC)和/或状态机。
[0410] 与软件相关联的处理器可以用于执行射频收发信机，用于在无线发射接收单元(WTRU)、用户设备(UE)、终端、基站、移动性管理实体(MME)或演进型分组核心(EPC)或任意主机计算机中使用。WTRU可以结合以硬件和/或软件实施的模块使用，其包括软件定义的无线电(SDR)，以及其他组件，例如相机、视频相机模块、视频电话、扬声器电话、振动设备、扬声器、麦克风、电视收发信机、免提耳机、键盘、蓝牙模块、调频(FM)无线电单元、进场通信(NFC)模块、液晶显示(LCD)显示单元、有机发光二极管(OLED)显示单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器和/或任意无线局域网(WLAN)或超宽带(UWB)模块。虽然本发明是在视频编码和解码方法、设备和系统方面描述的，但构想了它们可以以软件在微处理器/通用计算机(未示出)上被实施。在某些实施方式中，各种组件的一个或多个功能可以以控制通用计算机的软件来实施。
[0411] 虽然以上以特定组合描述的上述特征和元素，但本领域的技术人员应认识到每个特征或元素都可以被单独地使用或与其它特征和元素以任何方式组合使用。另外，可以在结合在计算机可读介质中的计算机程序、软件、或固件中实施本发明所述的方法，以便由计算机或处理器执行。计算机可读介质的例子包括电信号(通过有线或无线连接发送的)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器装置、磁介质(诸如内部硬盘和可移动磁盘)、磁光介质、以及光学介质，诸如CD-ROM磁盘和数字多功能磁盘(DVD)。与软件相关联的处理器可以用于实现射频收发信机，以在WTRU、UE、终端、基站、RNC或任意主机中使用。
[0412] 此外，在上述实施方式中，处理平台、计算系统、控制器以及其他包含处理器的设备被提及。这些设备可以包含至少一个中央处理单元(“CPU”)和存储器。根据计算机编程领域技术人员的实践，对动作的参考和操作或指令的符号表示可以由各种CPU和存储器来执行。这种动作和操作或指令可以成为“被执行”，“计算机执行的”或“CPU执行的”。
[0413] 本领域技术人员动作和符号表示的操作或指令包括CPU操控电信号。电系统表示能够导致电信号的产生的变换或减少的数据比特以及数据比特保持在存储器系统中的存储位置，由此重新配置或改变CPU的操作，以及其他信号处理。数据比特保持的存储位置是物理位置，其具有对应于数据比特或代表数据比特的特定电、磁、光或有机属性。应当理解，示意性实施方式不限于上述平台或CPU且其他平台和CPU可以支持所述方法。
[0414] 数据比特还可以保持在计算机可读介质上，包括磁盘、光盘以及CPU可读的任意其他易失性(例如，随机存取存储器(“RAM”))或非易失性(例如只读存储器(“ROM”))大容量存储系统。计算可读介质可以包括合作或互连的计算机可读介质，其只存在于处理系统或在与该处理系统本地或远程的多个互连处理系统之间分配。应当理解该实施方式不限于上述存储器且其他平台和存储器可以支持所述方法。
[0415] 在本申请的描述中使用的元件、动作或指令不应当解释为对本发明是关键或必要的，除非有明确描述。此外，如这里所使用的，冠词“一”旨在包括一个或多个项。如果要指仅一个项，使用术语“单个”或类似语言。此外，在列出的多个项和/或多个项的种类之后使用的“的任意”旨在包括单独或与其他项和/或其他项种类一起的项和/或项的种类的“任意”、“任意组合”、“任意多个”和/或“多个的任意组合”。此外，这里使用的术语“集合”旨在包括任意数量的项，包括零。此外，这里使用的术语“数量”旨在包括任意数量，包括零。
[0416] 此外，权利要求不应当理解为受限于描述的顺序或元素除非一开始有这种作用。此外，在任意权利要求中使用术语“装置”旨在引用35 U.S.C.§112, 且没有“装置”字眼的任意权利要求没有此用意。
[0417] 以下参考文件的每一个的内容以引用的方式结合于此：
[0418] (1)ITU-T Rec H.261,“Video Codec for Audiovisual services at px384kbit/s”,November 1988；
[0419] (2)ISO/IEC 11172-2:1993,“Information technology–Coding of moving pictures and associated audio for digital storage media at up to about 1,5Mbit/s–part 2:Video”,1993；
[0420] (3)ISO/IEC 13818-2“, Information technology--Generic coding of moving pictures and associated audio information:Video”,December,2000；
[0421] (4)ITU-T Rec H.263,“Video coding for low bit rate communication”；
[0422] (5)ISO/IEC 14496-2,“Information technology–Coding of audio-visual objects–part 2:Visual”,December 2001；
[0423] (6)ITU-T Rec H.264and ISO/IEC/MPEG 4part 10“, Advanced video coding for generic audiovisual services”,November 2007；
[0424] (7)B.Bross,W-J.Han,J-R.Ohm,G.J.Sullivan,Y.K.Wang,T.Wiegand,“High Efficiency Video Coding(HEVC)Text Specification Draft 10”,Document no JCTVCL1003,January 2013；
[0425] (8)A.Luthra,“Joint Call for Proposals on the Scalable Video Coding Extensions of HEVC”,ISO/IEC JTC-1/SC29/WG11 N12957,July 2012；
[0426] (9)A.Luthra“, Use cases for the scalable enhancement of HEVC”,ISO/IEC JTC1/SC29/WG11 N12955,July 2012；
[0427] (10)A.Luthra“, Requirements for the scalable enhancement of HEVC”,ISO/IEC JTC1/SC29/WG11 N12956,July 2012；
[0428] (11)Heiko Schwarz,Detlev Marpe and Thomas Wiegand“, Overview of the Scalable Video coding Extension of the H.264/AVC Standard”,IEEE Transactions on Circuits and Systems for Video Technology,Vol.17,No.9,September 2007；
[0429] (12)A.Vetro,T.Wiegand,G.Sullivan,“Overview of the stereo and multiview video coding extensions of the H.264/MPEG-4 AVC standard”,Proceedings of the IEEE.2011；
[0430] (13)U.S.Published Patent Application No.2014/0010294,entitled“Codec Architecture for Multiple Layer Video Coding”；
[0431] (14)U.S.Published Patent Application No.2014/0064374,entitled “Method and Apparatus of Motion Vector Prediction for Scalable Video Coding”；
[0432] (15)InterDigital Communications“, Description of scalable video coding technology”,JCTVC document no JCTVC-K0034.October 2012；
[0433] (16)J.Chen,J.Boyce,Y.Ye,and M.M.Hunnuksela“, SHVC Test Model 4(SHM 4)”,JCTVC document no JCTVC-O1007,Oct 2013；
[0434] (17)J.Chen,J.Boyce,Y.Ye,and M.M.Hunnuksela,Y.K.Wang“, SHVC Draft 4”,JCTVC document no JCTVC-O1008,Oct 2013；
[0435] (18)J-R.Ohm,G.J.Sullivan,“Meeting report of the 13th meeting of the Joint Collaborative Team on Video Coding(JCT-VC)”,Incheon,KR,18–26 Apr.2013.[0436] (19)G.J.Sullivan and T.Wiegand,“Rate-distortion optimization for video compression”,IEEE Signal Processing Magazine,vol.15,issue 6,November1998；
[0437] (20)“SCE4:Summary Report of SHVC Core Experiment on inter-layer filtering”,JCTVC document no JCTVC-M0024,April 2013；
[0438] (21)“MV-HEVC/SHVC HLS:On inter-layer sample and syntax prediction indications”,JCTVC document no JCTVC-M045,April 2013；
[0439] (22)“AHG15:Interlaced to progressive scalability for SHVC hybrid codec use case,”JCTVC document no JCTVC-P0163,Jan 2014；
[0440] (23)“Interlaced to progressive scalability in SHVC,”JCTVC document no JCTVCP0165,Jan 2014；
[0441] (24)“On field to frame scalability,”JCTVC document no JCTVC-P0175,Jan 2014；
[0442] (25)“BoG report on phase adjustment in SHVC re-sampling process,”JCTVC document no JCTVC-P0312,Jan 2014；
[0443] (26)J.Chen,J.Boyce,Y.Ye,and M.M.Hunnuksela,G.J.Sullivan,Y.K.Wang,“SHVC Draft 5,”JCTVC document no JCTVC-P1008,Jan 2014；and
[0444] (27)U.S.Published Patent Application No.2014/0037015,entitled“Upsampling based on sampling grid to align spatial layers in multi-layer video coding”,April 2013.
[0445] 此外，虽然本发明在这里参考特定实施方式示出并描述，但本发明不意在受限于所示的细节。而是在不偏离本发明的情况下在权利要求的等效范围内可以对细节进行各种修改。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种视频监控测试仪 | 2020-05-08 | 850 |
| 视频信号通路的质量检测方法、装置及系统 | 2020-05-08 | 183 |
| 利用解码装置对视频信号进行解码的方法 | 2020-05-08 | 715 |
| 一种录像机管理系统 | 2020-05-08 | 105 |
| 短视频制作系统、方法、电子设备及可读存储介质 | 2020-05-08 | 117 |
| 一种全自动驾驶车辆段无人区智能安全管理系统及方法 | 2020-05-08 | 30 |
| 电视测试方法、装置、设备和存储介质 | 2020-05-08 | 563 |
| 用于视频内嵌的数字音频的音视频同步设备 | 2020-05-08 | 67 |
| 一种音视频及电子信号传输装置 | 2020-05-08 | 851 |
| 一种3线XGA视频信号转换装置 | 2020-05-11 | 100 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈