可伸缩视频编码系统的帧内模式编码方法和装置
阅读：182发布：2020-06-03
专利汇可以提供可伸缩视频编码系统的帧内模式编码方法和装置专利检索，专利查询，专利分析的服务。并且本 发明 揭示了一种可伸缩 视频编码 系统的 帧 内模式编码方法和装置。对于在增强层中的当前帧内编码区 块 ，基于与在基本层中的同一 位置 的区块相关的基本层编码模式和与在增强层中的当前区块的相邻区块相关的相邻编码模式，将预测编码应用于当前帧内模式。在增强层中的当前区块的相邻区块包括靠近当前区块左侧的左区块和靠近当前区块上方的顶区块。自相邻编码模式和基本层编码模式得到一个或多个最可能模式，然后该一个或多个最可能模式用于当前帧内模式的预测编码。，下面是可伸缩视频编码系统的帧内模式编码方法和装置专利的具体信息内容。
1.一种可伸缩视频编码系统的帧内模式编码方法，其特征在于，视频数据被配置于基本层和增强层，其中该增强层具有比该基本层更高的空间分辨率或更好的视频品质，在编码当前区块之前，编码在该基本层中、对应于在该增强层中的该当前区块的同一位置的区块，以及该当前区块是帧内编码的，该可伸缩视频编码系统的帧内模式编码方法包括：
自媒体或处理器接收与在该增强层中的该当前区块的当前帧内模式相关的信息；
确定与在该基本层中的该同一位置的区块相关的基本层编码模式；
确定与在该增强层中该当前区块的一个或多个相邻区块相关的一个或多个相邻编码模式；以及
基于与在该基本层中的该同一位置的区块相关的该基本层编码模式和与在该增强层中该当前区块的一个或多个相邻区块相关的该一个或多个相邻编码模式，决定该当前帧内模式，以执行预测编码。
2.根据权利要求1所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，在该增强层中该当前区块的该一个或多个相邻区块包括靠近该当前区块的左侧的左区块和靠近该当前区块的上方的顶区块，该左区块与左区块编码模式相关，以及该顶区块与顶区块编码模式相关。
3.根据权利要求2所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，基于该基本层编码模式、该左区块编码模式和该顶区块编码模式得到一个或多个最可能模式。
4.根据权利要求3所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，该多个最可能模式为三个最可能模式。
5.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式均不是帧内模式，则该三个最可能模式对应于{平面模式、直流模式、垂直模式}。
6.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式对应于相同帧内模式以及该相同帧内模式为平面模式或直流模式，则该三个最可能模式对应于{平面模式、直流模式、垂直模式}。
7.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式中的一个或多个对应于相同帧内模式以及该相同帧内模式既不是平面模式也不是直流模式，则该三个最可能模式对应于{该相同帧内模式、该相同帧内模式-1、该相同帧内模式+1}。
8.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式中的两个或多于两个是多个帧内模式，其中该多个帧内模式包含第一帧内模式和第二帧内模式，以及该第一帧内模式不同于该第二帧内模式，若该第一帧内模式和该第二帧内模式均不等于平面模式，则该三个最可能模式对应于{该第一帧内模式、该第二帧内模式、平面模式}；若该第一帧内模式和该第二帧内模式均不等于直流模式，则该三个最可能模式对应于{该第一帧内模式、该第二帧内模式、直流模式}；以及若该第一帧内模式或该第二帧内模式等于该平面模式或直流模式，则该三个最可能模式对应于{该第一帧内模式、该第二帧内模式、垂直模式}。
9.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式对应于三个不同的帧内模式，则该三个最可能模式对应于{该基本层编码模式、该左区块编码模式、该顶区块编码模式}。
10.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、或该顶区块编码模式为平面模式，则该平面模式排除于该三个最可能模式之外；以及若该基本层编码模式、该左区块编码模式、或该顶区块编码模式为直流模式，则该直流模式排除于该三个最可能模式的初始分配之外。
11.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式中的任意一个均不是平面模式或直流模式的帧内模式，则该三个最可能模式对应于{该直流模式、垂直模式、水平模式}。
12.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式对应于相同的角度帧内模式，则该三个最可能模式对应于{该相同的角度帧内模式、该相同的角度帧内模式-1、该相同的角度帧内模式+1}。
13.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式对应于第一角度帧内模式以及第二角度帧内模式，以及该第一角度帧内模式不同于该第二角度帧内模式；则该三个最可能模式对应于{该第一角度帧内模式、该第二角度帧内模式、直流模式}。
14.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若该基本层编码模式、该左区块编码模式、以及该顶区块编码模式对应于三个不同的角度帧内模式，则该三个最可能模式对应于{该基本层编码模式、该左区块编码模式、该顶区块编码模式}。
15.根据权利要求4所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，33个角度帧内预测模式用于该增强层，以及32个剩余模式用5个二进制固定长度编码来表示。
16.根据权利要求3所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，当该最可能模式为一个时，若该基本层编码模式对应于不等于平面模式或直流模式的第一帧内模式，则该一个最可能模式对应于该基本层编码模式；若该基本层编码模式不是任意帧内模式以及该左区块编码模式对应于不等于该平面模式或该直流模式的第二帧内模式，则该一个最可能模式对应于该左区块编码模式；以及若该基本层编码模式和该左区块编码模式不是任意帧内模式以及该顶区块编码模式对应于不等于该平面模式或该直流模式的第三帧内模式，则该一个最可能模式对应于该顶区块编码模式。
17.根据权利要求3所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，该多个最可能模式为两个最可能模式。
18.根据权利要求1所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，自与在该增强层中该当前区块的一个或多个相邻区块相关的该一个或多个相邻编码模式和与在该基本层中该同一位置的区块相关的该基本层编码模式得到一个或多个最可能模式，以及该一个或多个最可能模式用于该当前帧内模式的预测编码。
19.根据权利要求1所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，若与在该增强层中的该当前区块的一个相邻区块相关的一个相邻编码模式不是帧内模式，则在该当前帧内模式的预测编码期间通过相邻基本层编码模式代替该相邻编码模式，其中该相邻基本层编码模式与在该基本层中的相邻同一位置的区块相关，该相邻同一位置的区块对应于在该增强层中该当前区块的该相邻区块。
20.根据权利要求1所述的可伸缩视频编码系统的帧内模式编码方法，其特征在于，该可伸缩视频编码系统的帧内模式编码方法可用于亮度帧内预测、色度帧内预测、以及亮度帧内预测和色度帧内预测。
21.一种可伸缩视频编码系统的帧内模式编码装置，其特征在于，视频数据被配置于基本层和增强层，其中该增强层具有比该基本层更高的空间分辨率或更好的视频品质，在当前区块之前，编码在该基本层中对应于在该增强层中的该当前区块的同一位置的区块以及该当前区块是帧内编码的，该可伸缩视频编码系统的帧内模式编码装置包括：
确定在该增强层中的该当前区块的当前帧内模式的装置；
确定与在该基本层同一位置的区块相关的基本层编码模式的装置；
确定与在该增强层中该当前区块的一个或多个相邻区块相关的一个或多个相邻编码模式的装置；以及
基于与在该基本层中与该同一位置的区块相关的该基本层编码模式和与在该增强层中该当前区块的一个或多个相邻区块相关该一个或多个相邻编码模式，应用预测模式至当前帧内模式的装置。
22.根据权利要求21所述的可伸缩视频编码系统的帧内模式编码装置，其特征在于，该基本层编码模式是用于两个或多个最可能模式的第一最可能模式。
23.根据权利要求22所述的可伸缩视频编码系统的帧内模式编码装置，其特征在于，在该增强层中的该当前区块的该一个或多个相邻区块包括靠近该当前区块左侧的左区块以及靠近该当前区块的上方的顶区块，该左区块与左区块编码模式相关，以及该顶区块与顶区块编码模式相关，以及自该基本层编码模式、该左区块编码模式、以及该顶区块编码模式得到一个或多个最可能模式。
24.根据权利要求21所述的可伸缩视频编码系统的帧内模式编码装置，其特征在于，自与在增强层中的该当前区块的一个或多个相邻区块相关的该一个或多个相邻编码模式和与在基本层中的该同一位置的区块相关的该基本层编码模式得到一个或多个最可能模式，以及该一个或多个最可能模式用于该当前帧内模式的预测编码。
可伸缩视频编码系统的帧内模式编码方法和装置
技术领域
背景技术
[0002] 视频流媒体已经成为当今的主流视频传输。由无处不在的高速互联网和移动网络支持，可以传送视频内容至终端使用者，以使得使用者在具有不同品质的不同平台上观看。为满足各种视频流应用的不同需要，可能需要以不同分辨率、帧率(frame rate)、及/或品质来处理或存储视频源。这将导致相当复杂的系统并需要高的总体带宽或大的总体存储空间。可伸缩视频编码是一个满足不同分辨率、帧率、品质、及/或比特率需要的方案。除了各种专有开发致力于解决此问题之外，可伸缩视频编码的现有的视频标准也可解决此问题。
ISO/IEC MPEG和ITU-T VCEG的联合视频工作组(joint video team,JVT)已经标准化一个对于H.264/AVC标准的可伸缩视频编码(Scalable Video Coding,SVC)的扩展。H.264/AVC可伸缩视频编码比特流包含从低帧率(frame-rate)、低分辨率、低品质到高帧率、高清晰度、高品质的视频信息。此种单一的比特流可通过适当地配置比特流的可伸缩来适应具体的应用。举例来说，对应于高清晰度的完整的比特流可以通过高速网络来传送，以提供大屏幕观看的充分的品质。对应于高清晰度视频的低分辨率版本的部分比特流可以通过传统蜂窝网络来传送，以在手持/移动设备上观看。相应地，使用H.264/AVC可伸缩视频编码产生的比特流适合各种视频应用，例如视频广播、视频流、和监控(surveillance)。
ISO/IEC MPEG和ITU-T VCEG的联合视频工作组(joint video team,JVT)已经标准化一个对于H.264/AVC标准的可伸缩视频编码(Scalable Video Coding,SVC)的扩展。H.264/AVC可伸缩视频编码比特流包含从低帧率(frame-rate)、低分辨率、低品质到高帧率、高清晰度、高品质的视频信息。此种单一的比特流可通过适当地配置比特流的可伸缩来适应具体的应用。举例来说，对应于高清晰度的完整的比特流可以通过高速网络来传送，以提供大屏幕观看的充分的品质。对应于高清晰度视频的低分辨率版本的部分比特流可以通过传统蜂窝网络来传送，以在手持/移动设备上观看。相应地，使用H.264/AVC可伸缩视频编码产生的比特流适合各种视频应用，例如视频广播、视频流、和监控(surveillance)。
[0003] 在可伸缩视频编码中，提供三种可伸缩类型，即时间可伸缩、空间可伸缩以及品质可伸缩。可伸缩视频编码使用多层编码结构以实现三维可伸缩。可伸缩视频编码的概念是产生一个可伸缩比特流，其中该可伸缩比特流可在无反式编码(transcoding)或重编码(re-encoding)的情况下简单快速地适用多种传输信道、各种显示能力及/或不同计算资源的比特率。可伸缩视频编码设计的重要特点是在比特流层(bitstream level)提供可伸缩性。可以通过丢弃不需要解码目标分辨率的网络提取层(NAL)单元(或网络数据包)来简单取得缩减空间及/或时间分辨率的比特流，可另外减小用于品质精化的NAL单元从而减小比特率及/或降低相应视频品质。
[0004] 在H.264/AVC可伸缩视频编码的扩展中，基于金字塔编码(pyramid coding)支持空间可伸缩。首先，降采样(down-sample)视频序列以取得不同空间分辨率(层)的较小图像。最低层(即，具有最低空间分辨率的层)称为基本层(base layer,BL)。在基本层之上的任意一层称为增强层(enhancement layer,EL)。除了二元的空间分辨率(dyadic spatial resolution)，H.264/AVC可伸缩视频编码的扩展也支持任意分辨率，其称为扩展空间可伸缩(Extended Spatial Scalability,ESS)。已在文献在中揭露各种层间预测方案(inter-layer prediction schemes)，以改善增强层(具有较高分辨率的视频层)的编码效率。在可伸缩视频编码中，采用三种层间预测工具，包括层间运动预测(inter-layer motion prediction)、层间帧内预测(inter-layer Intra prediction)以及层间残差预测(inter-layer residual prediction)(例如，C.Andrew Segall和Gary J.Sullivan,“Spatial ScalabilityWithin the H.264/AVC Scalable Video Coding Extension”,IEEE Transactions on Circuits and Systems for Video Technology,Vol.17,No.9,Pages 1121-1135,2007.09)。
[0005] 图1为基于H.264/AVC可伸缩编码标准的用于两层可伸缩编码的示范性系统的方框图。基本层编码器110接收较低分辨率视频序列作为输入，并使用现有的H.264/AVC视频编码来编码该低分辨率序列。其中，基本层编码器110包括去区块化、运动补偿、帧内预测、缩放和逆变换、分离帧为宏块、变换和量化等模块。基本层编码器110受到编码器控制模块的控制。编码模式选择112在帧内预测(Intra-prediction)和运动补偿帧间预测(motion-compensated Inter-prediction)之间选择预测模式。层间预测130包括去区块化模块。增强层编码器120接收较高分辨率序列作为输入。该较高分辨率序列可用与现有的H.264/AVC编码相似的结构来编码。其中，增强层编码器120也包括去区块化、运动补偿、帧内预测、缩放和逆变换、分离帧为宏块、变换和量化等模块。增强层编码器120受到编码器控制模块的控制。然而，层间预测130可用作附加的编码模式。此外，增强层的模式选择122可以在帧内预测、运动补偿帧间预测和层间预测之间选择预测模式。对于在基本层内的帧内编码区块，重建的区块提供对于增强层的预测。对于在基本层内的帧间编码区块，基本层的运动向量和残差信息(residual difference information)可用于预测增强层。虽然如图1所示的两个分辨率层作为根据H.264/AVC可伸缩视频编码的空间可伸缩的示例，但是可以添加更多的分辨率层，其中较高分辨率的增强层可使用基本层或先前传输的增强层以用于层间预测。此外，可伸缩视频编码增强的其他形式(例如，时间或品质)也可以出现于系统中。
[0006] 在H.264/AVC可伸缩视频编码中，与较低层相关的重建区块、运动向量、或残差信息用于层间编码。必要时可以利用与较低层相关的其他编码信息，来进一步改善编码效率及/或降低系统复杂性。
[0007] 高效率视频编码(High Efficiency Video Coding,以下简称HEVC)是先进的视频编码系统，其是在来自国际电信联盟远程通信标准化组织(ITU-T)研究组的视频编码专家组成的视频编码联合工作组(JCT-VC)开发的。在HEVC测试模型版本6.0(HM-6.0)中，帧内编码预测单元可以为64x64、32x32、16x16、8x8、或4x4。图2A为HEVC测试模型版本6.0(HM-6.0)采用的35个帧内预测模式的示意图。如图2A所示，总共有35个预测模式(即，模式0～模式34)用于所有的预测单元尺寸。此外，当允许基于亮度帧内预测的色度帧内预测时(即，当标志chroma_pred_from_luma_enabled_flag＝1时)，仅将模式35(即，Intra_FromLuma)用于色度组分(chroma component)。本发明的公开内容中，帧内预测模式也被称为帧内模式(Intra mode)。
[0008] 图2B为根据HEVC测试模型版本6.0(HM-6.0)的用于得到帧内预测模式的相邻区块的示意图。如图2B所示，对于在HM-6.0中的编码亮度组分的帧内预测模式编码，基于相邻预测单元(左侧预测单元220和上方预测单元230)的帧内模式得到对于当前亮度预测单元210的三种最可能模式(most probable mode,简称为MPM，标记为candModeList[x]，其中x＝0～2)。左侧预测单元220的帧内模式(标记为candIntraPredModeA)和上方预测单元230的帧内模式(标记为candIntraPredModeB)用于得到最可能模式candModeList[x]，如下所示：
[0009] ●若candIntraPredModeB等于candIntraPredModeA，适用以下情况：
[0010] ◆若candIntraPredModeA小于2(即，Intra_Planar模式或Intra_DC模式)，得到candModeList[x](其中x＝0～2)为：
[0011] ○candModeList[0]＝Intra_Planar
[0012] ○candModeList[1]＝Intra_DC
[0013] ○candModeList[2]＝Intra_Angular(26)
[0014] ◆否则，得到candModeList[x](其中x＝0～2)为：
[0015] ○candModeList[0]＝candIntraPredModeA
[0016] ○candModeList[1]＝2+((candIntraPredModeA-2-1)％32)
[0017] ○candModeList[2]＝2+((candIntraPredModeA-2+1)％32)
[0018] ●否则(candIntraPredModeB不等于candIntraPredModeA)，适用以下情况：
[0019] ◆得到candModeList[0]和candModeList[1]为：
[0020] ○candModeList[0]＝candIntraPredModeA
[0021] ○candModeList[1]＝candIntraPredModeB
[0022] ◆若candModeList[0]和candModeList[1]都不等于Intra_Planar，设置candModeList[2]等于Intra_Planar
[0023] ◆否则
[0024] ○若candModeList[0]和candModeList[1]都不等于Intra_DC，设置candModeList[2]等于Intra_DC，
[0025] ○否则，设置candModeList[2]等于Intra_Angular(26)。
[0026] 若靠近当前预测单元的左侧或上方的相邻预测单元是不可用的或不是帧内编码，则设置candIntraPredModeA或candIntraPredModeB为Intra_DC。Intra_Planar和Intra_DC分别对应于平面模式(Planar mode)(简称为平面)和直流模式(DC mode)(简称为直流)；Intra_Angular(26)对应于垂直帧内预测模式。因此，本发明的公开内容中，Intra_Planar/Intra_DC分别和平面模式/直流模式可以互换使用，Intra_Angular(26)和垂直帧内预测模式可以互换使用。
[0027] 若当前帧内模式(标记为IntraPredMode)等于在candModeList中的任意一个最有可能的模式，前置标志(preceding flag)prev_intra_pred_flag的值设置为1以指示此种情况。然后发送一个索引(index)以确定在candModeList中的该模式(即，IntraPredMode)。若当前帧内模式不等于在candModeList中的任意一个最有可能的模式，则当前帧内模式是剩余模式中的一个。发送等于IntraPredMode的剩余模式(标记为rem_intra_luma_pred_mode)以确定当前帧内模式(IntraPredMode)。通过前置标志prev_intra_pred_flag来指示剩余模式的发生，其中前置标志prev_intra_pred_flag等于0。
[0028] 在HM-6.0中，对于编码色度预测单元的帧内模式可以具有依靠标志chroma_pred_from_luma_enabled_flag的5或6个候选色度模式intra_chroma_pred_mode。若标志chroma_pred_from_luma_enabled_flag等于1，则使用如表1所示的6个可能的候选色度模式intra_chroma_pred_mode；否则使用如表2所示的5个候选色度模式intra_chroma_pred_mode。在表1和表2中，X为当前帧内模式IntraPredMode。通过查找表1和表2，可以得到编码色度预测单元的帧内模式。举例来说，如表1所示，若当前帧内模式IntraPredMode等于0，以及候选色度模式intra_chroma_pred_mode等于0，则编码色度预测单元的帧内模式的值是34。需要说明的是，表1中0<＝X<35这一栏适应于X不等于0、26、10、1并且0<＝X<35的情况。
[0029] 表1
[0030]
[0031] 表2
[0032]
[0033] 为支持在帧内模式中已编码区块的空间可伸缩，H.264/AVC的可伸缩扩展包括基于来自基本层的层间信息的帧内编码宏块(Intra-coded macroblock)的新的帧内编码类型(标记为Intra_BL)。当根据Intra_BL的编码类型编码在较高层中的宏块以及在其参考层(reference layer)中的同一位置的8x8子宏块为帧内编码时，可以自在参考层中对应的重建区块(reconstructed block)得到在较高层中的宏块的预测信号。上采样(up-sample)在参考层中的8x8子宏块以产生预测。需要说明的是，增强层可以参考基本层，因此基本层也称为参考层。
[0034] 来自国际电信联盟远程通信标准化组织(ITU-T)研究组的视频编码专家组成的视频编码联合工作组(JCT-VC)开发HEVC的可伸缩扩展。相似于H.264/AVC可伸缩视频编码的Intra_BL的层间纹理预测技术可以应用于编码增强层图像。一种编码工具，层间差分编码(inter-layer differential coding)方法，也用于HEVC的可伸缩扩展(称为SHVC)。其中，使用运动补偿帧间编码和帧内预测编码方法来压缩在增强层和重建的基本层的原始视频数据之间的残差。重建的基本层需被上采样或缩放(scaled)至与增强层的原始视频数据具有相同的空间分辨率，以形成在增强层的残差。在此情况下，用于运动补偿或帧内预测的参考采样为在增强层的已重建的视频数据和在基本层的对应重建的视频数据之间的重建残差。再次，在基本层的重建视频数据需被上采样或缩放以匹配在增强层的重建视频数据的空间分辨率。
[0035] 图3为基于正在开发的HEVC可伸缩编码标准的两层可伸缩编码的系统方框图。现有的HEVC编码器可用作基本层编码器310，其中运动补偿预测(motion compensated Prediction,M.C.Pred.)312用于帧间编码。基本层编码器310包括解码器图片缓冲器、环路滤波器、运动补偿预测、帧内预测、变换和量化、逆变换和逆量化、以及熵编码器。基本层编码器310输出基本层比特流。除了运动补偿/层间预测322还支持除帧间预测(Inter-frame prediction)之外的层间预测之外，增强层编码器320相似于现有的HEVC编码器。增强层编码器320包括解码器图片缓冲器、环路滤波器、运动补偿/层间预测、帧内预测、变换和量化(在图3中表示为T/Q)、逆变换和逆量化(在图3中表示为IT/IQ)、以及熵编码器。增强层编码器320输入较高分辨率视频输入数据并输出增强层比特流。通过对较高分辨率视频输入数据应用下采样330而自较高分辨率输入视频数据得到基本层编码器310的输入。另一方面，为使用重建的基本层数据以用于层间预测，重建的基本层数据需被上采样324上采样或缩放。
[0036] 必要时通过利用自不同层的帧内模式的相关性，改善可伸缩视频编码系统的编码效率或降低可伸缩视频编码系统的复杂性，而不会对视频品质或性能造成任何显著的影响。
[0037] 在可伸缩视频编码中，增强层可重用(reuse)基本层的运动信息以减小如上所述的层间运动数据冗余。在增强层宏块编码中，在编码单元或预测单元的头(header)/语法(syntax)中指示是否直接从基本层中取得增强层运动信息之前，可以编码标志base_mode_flag。如果base_mode_flag等于1，则从基本层的同一位置8x8区块的对应数据中取得增强层宏块的分割数据以及相关参考索引与运动矢量。在增强层中直接使用基本层的参考索引。基于基本层的宏块分割和运动向量的缩放数据，确定增强层的宏块分割和运动向量。此外，缩放的基本层运动向量可以用作增强层的附加的运动向量预测值。
[0038] 层间残差编码可以使用上采样基本层残差信息来预测，以减少增强层残差需要的信息。可使用双线性滤波器(bilinear filter)以区块式(block-wise)上采样基本层的同一位置的残差(co-located residual)，以及按比例放大(up-scaled)区块可以用做在增强层中当前宏块的残差的预测。以变换区块为基础完成参考层残差的上采样，以确保不在跨越变换区块边界处应用滤波。
[0039] 层间纹理预测降低增强层的冗余纹理信息。通过块式上采样同一位置的重建的基本层区块，产生增强层中的预测。在层间纹理预测的上采样过程中，分别对亮度和色度组分应用4抽头和2抽头FIR滤波器。不同于层间残差预测的滤波，总是在跨越子区块边界处执行用于层间纹理预测的滤波。为了简化解码，可将层间纹理预测限定于基本层的帧内编码宏块。
[0040] 尽管层间残差预测和层间纹理预测用于可伸缩视频编码，需要进一步改善其性能。
发明内容
[0041] 本发明揭示了一种可伸缩视频编码系统的帧内模式编码方法和装置。视频数据被配置于基本层和增强层，其中增强层具有比基础层更高的空间分辨率或更好的视频品质。在当前区块之前，编码在基本层中、对应于在增强层中的当前区块的同一位置的区块。对于以帧内模式编码的当前增强层区块来说，本发明的实施方式基于与在基本层中同一位置的区块相关的基本层编码模式和与在增强层中当前区块的相邻区块相关的相邻编码模式，应用预测编码至当前帧内模式。在增强层中当前区块的相邻区块包括靠近当前区块左侧的左区块和靠近当前区块上方的顶区块。其中，左区块与左区块编码模式相关，以及顶区块与顶区块编码模式相关。自相邻编码模式和基本层编码模式得到一个或多个最可能模式，以及一个或多个最可能模式用于当前帧内模式的预测编码。在一些实施方式中，基本层编码模式用于得到最可能模式的第一最可能模式。
[0042] 在一些实施方式中，最可能模式用于编码当前帧内模式。若基本层编码模式、左区块编码模式、以及顶区块编码模式均不是帧内模式，则三个最可能模式对应于{平面模式、直流模式、垂直模式}。若基本层编码模式、左区块编码模式、以及顶区块编码模式为帧内模式，以及基本层编码模式、左区块编码模式、以及顶区块编码模式对应于相同帧内模式并且相同帧内模式为平面模式或直流模式，则三个最可能模式对应于{平面模式、直流模式、垂直模式}。若基本层编码模式、左区块编码模式、以及顶区块编码模式中的一个或多个为帧内模式，以及基本层编码模式、左区块编码模式、以及顶区块编码模式对应于相同帧内模式并且相同帧内模式既不是平面模式也不是直流模式，则三个最可能模式对应于{相同帧内模式、相同帧内模式-1、相同帧内模式+1}。若基本层编码模式、左区块编码模式、以及顶区块编码模式中的两个或多于两个为帧内模式，以及基本层编码模式、左区块编码模式、以及顶区块编码模式对应于第一帧内模式和第二帧内模式并且第一帧内模式不同于第二帧内模式；若第一帧内模式和第二帧内模式均不等于平面模式，则三个最可能模式对应于{第一帧内模式、第二帧内模式、平面模式}；否则，若第一帧内模式和第二帧内模式均不等于直流模式，三个最可能模式对应于{第一帧内模式、第二帧内模式、直流模式}；以及否则三个最可能模式对应于{第一帧内模式、第二帧内模式、垂直模式}。若基本层编码模式、左区块编码模式、以及顶区块编码模式对应于三个不同的帧内模式，则三个最可能模式对应于{基本层编码模式、左区块编码模式、顶区块编码模式}。
[0043] 在另一实施方式中，若基本层编码模式、左区块编码模式、或顶区块编码模式为平面模式，则平面模式排除于三个最可能模式之外；以及若基本层编码模式、左区块编码模式、或顶区块编码模式为直流模式，则直流模式排除于三个最可能模式的初始分配之外。相应地，若基本层编码模式、左区块编码模式、以及顶区块编码模式中的任意一个均不是帧内模式，则三个最可能模式对应于{直流模式、垂直模式、水平模式}。若基本层编码模式、左区块编码模式、以及顶区块编码模式为帧内模式，但不是直流或平面，以及基本层编码模式、左区块编码模式、以及顶区块编码模式对应于相同的角度帧内模式，则三个最可能模式对应于{相同的角度帧内模式、相同的角度帧内模式-1、相同的角度帧内模式+1}。若基本层编码模式、左区块编码模式、以及顶区块编码模式中的两个编码模式为帧内模式，以及基本层编码模式、左区块编码模式、以及顶区块编码模式对应于第一角度帧内模式以及第二角度帧内模式，以及第一角度帧内模式不同于第二角度帧内模式，则三个最可能模式对应于{第一角度帧内模式、第二角度帧内模式、直流模式}。若基本层编码模式、左区块编码模式、以及顶区块编码模式对应于三个不同的帧内模式，则三个最可能模式对应于{基本层编码模式、左区块编码模式、顶区块编码模式}。
[0044] 在又一实施方式中，仅一个最可能模式用于当前帧内模式的帧内模式编码。若基本层编码模式对应于不等于平面模式或直流模式的第一帧内模式，则最可能模式对应于基本层编码模式。若基本层编码模式不是任意帧内模式以及左区块编码模式对应于不等于平面模式或直流模式的第二帧内模式，则最可能模式对应于左区块编码模式。若基本层编码模式和左区块编码模式不是任意帧内模式以及顶区块编码模式对应于不等于平面模式或直流模式的第三帧内模式，则最可能模式对应于顶区块编码模式。如此一来，增强层允许33个角度帧内预测模式。针对三个最可能模式的情况，32个剩余模式可以用5个二进制固定长度编码来表示。
[0045] 在又一实施方式中，若与在增强层中的当前区块的一个相邻区块相关的一个相邻编码模式不是帧内模式，以及若相邻基本层编码模式为帧内模式，则通过相邻基本层编码模式代替相邻编码模式以用于当前帧内模式的预测编码。其中，相邻基本层编码模式与在基本层中的相邻同一位置的区块相关，相邻同一位置的区块对应于在增强层中当前区块的相邻区块。附图说明
[0046] 图1为基于H.264/AVC可伸缩编码标准的用于两层可伸缩编码的示范性系统的方框图。
[0047] 图2A为HEVC测试模型版本6.0(HM-6.0)采用的35个帧内预测模式的示意图。
[0048] 图2B为根据HEVC测试模型版本6.0(HM-6.0)的用于得到帧内预测模式的相邻区块的示意图。
[0049] 图3为基于正在开发的HEVC可伸缩编码标准的两层可伸缩编码的系统方框图。
[0050] 图4为根据本发明一实施方式的增强层LCU(largest coding unit,以下简称为LCU)继承对应的基本层LCU的LCU结构的示意图。
[0051] 图5为根据本发明一实施方式的增强层LCU继承对应的基本层CU的CU结构的示意图。
[0052] 图6为根据本发明一实施方式的增强层LCU继承对应的基本层LCU的LCU结构的示意图。
[0053] 图7为决定控制参数时，基本层CU与对应的增强层LCU的示意图。
[0055] 图9为用最可能模式推导确定基本层帧内模式的最大单元中选择4x4单元(A、B或C)的示意图。
[0056] 图10为基于对应于当前区块的在基本层中的同一位置的区块的预测模式确定在增强层中的当前区块的预测模式的示意图。
[0057] 图11为包括本发明一实施方式的在增强层中编码帧内编码的可伸缩编码系统的流程图。
具体实施方式
[0058] 在HEVC编码中，图像被分区为最大编码单元(largest coding unit,以下简称为LCU)或编码树块(coding tree block,以下简称为CTB)，其中每一个LCU(或CTB)可以使用四叉树(quadtree)来自适应地被分区为编码区块(coding block)。一个LCU的尺寸可以从一组容许尺寸(allowable size)中进行选择，以及与LCU的尺寸相关的信息必须包含于比特流中，以使得解码器可以恢复相同的信息。以光栅扫描顺序一个LCU接着一个LCU来编码或解码图像。在本发明的一个实施方式中，，可使用基本层的LCU尺寸在垂直和水平方向上均乘以缩放因子(scaling factor)a来推导出增强层的LCU尺寸，而不需要在二元的(dyadic)空间可伸缩系统中以信号表明。参数a为空间可伸缩因子(spatial scalability factor)，即增强层(enhancement layer,EL)图像分辨率与基本层(base layer,BL)图像分辨率的比例。举例来说，若对于2倍的空间可伸缩因子来说，如果基本层LCU的尺寸为64，则增强层LCU的尺寸被推断为128。图4为根据本发明一实施方式的增强层LCU继承对应的基本层LCU的LCU结构的示意图。如图4所示，说明本发明的LCU尺寸的推断过程。基本层LCU 410的尺寸为2Nx2N。增强层LCU 420的尺寸被推断为(2Nxa)x(2Nxa)，其中在此示例中a对应为2。由于品质可伸缩(SNR scalability)或时间可伸缩，增强层图像分辨率可以与基本层图像分辨率相同。在增强层图像分辨率与基本层图像分辨率相同的情况下，不需要发信号通知，增强层LCU尺寸被推断为与基本层LCU尺寸相同。
[0059] 若增强层LCU与其对应的基本层LCU为相同类型的切片(slice)(即，帧内切片(Intra slice)或帧间切片(Inter slice))，则不需要发信号通知，增强层LCU继承对应的基本层LCU的CTB结构，包括编码单元分割(coding unit splits,CU splits)、编码单元(coding unit,以下简称为CU)预测模式、分区模式(partition mode)、参考图像索引(reference picture indices)和(缩放的)运动向量。可以基于任意已知的方法来得到对应的基本层LCU的位置，例如Segall等揭示的方法(C.Andrew Segall和Gary J.Sullivan,“Spatial Scalability within the H.264/AVC Scalable Video Coding Extension”,IEEE Transactions on Circuits and Systems for Video Technology,Vol.17,No.9,Pages 1121-1135,2007.09)。增强层可以使用基本层CTB作为初始的CTB(initial CTB)并进一步使用指示分割的标志“split_flag”来分割CTB。如虚线(422、424、426和428)所示，图4说明了基于自基本层CTB继承的CTB结构而进一步分割增强层LCU。
[0060] 最大深度数(maximum number of depths)可以指定在序列参数集(Sequence Parameter Set,以下简称SPS)、图像参数集(Picture Parameter Set,以下简称PPS)、自适应参数集(Adaptive Parameter Set,以下简称APS)或切片头(slice header)中，其中该最大深度数为增强层CU能够被进一步分割而超过其对应的基本层CU的最大深度数。在一个实施方式中，长度为1比特的语法元素“max_num_split_el_bl_minus1”指定在SPS中，以详细说明可以分割增强层CU以超过增强层CU对应的基本层CU的最大深度数。在此实施方式中，最大分割深度可以为1或2。若该语法元素长度为2比特，则允许最大深度数为1～4。相似地，语法标志可以包含于PPS、APS及/或切片头中，以指示可以进一步分割增强层CU以超过增强层CU对应的基本层CU的最大深度数。
[0061] 最小深度数(minimum number of depths)也可以指定在SPS、PPS、APS或切片头中，其中该最小深度数为增强层CU需要进一步被分割以超过其对应的基本层CU的最小深度数。在一个实施方式中，长度为1比特的语法元素“min_num_split_el_bl_minus1”包含于SPS中。这个1比特的语法元素指定进一步分割增强层CU以超过对应的基本层CU的最小深度数为0还是1。相似地，语法标志可以包含于PPS、APS及/或切片头中。
[0062] 根据本发明一实施方式，在增强层的LCU的尺寸与基本层的LCU的尺寸相同的情况下，若增强层LCU的切片类型与其对应的基本层的CU的切片类型(即，帧内切片或帧间切片)相同，则不需要发信号通知，增强层的LCU可以继承其对应的基本层CU的CU结构。CU结构包括CU分割、CU预测模式和分区模式、参考图像索引(reference picture indices)和(缩放的)运动向量。可以基于任意已知的方法得到增强层的LCU的对应的基本层的CU的位置。例如，Segall等人揭露的方法(C.Andrew Segall和Gary J.Sullivan,“Spatial Scalability within the H.264/AVC Scalable Video Coding Extension”,IEEE Transactions on Circuits and Systems for Video Technology,Vol.17,No.9,Pages 1121-1135,2007.09)。允许进一步分割并通过标志“split_flag”来发信号通知分割。图5为根据本发明一实施方式的增强层LCU继承对应的基本层CU的CU结构的示意图，其中增强层LCU的尺寸与基本层LCU的尺寸相同。在如图5所示的示例中描述了基本层LCU 510和增强层LCU 520。在增强层LCU 520中的实线指示自对应的基本层CU 512继承的四叉树分割。在增强层LCU 520中的虚线指示通过标志“split_flag”发信号通知进一步分割。使用如上所述相同的方法，进一步分割增强层CU以超过增强层CU对应的基本层CU的最大深度数可以包含于SPS、PPS、APS或切片头中。相似地，使用如上所述相同的方法，需要进一步分割增强层CU以超过增强层CU对应的基本层CU的最小深度数可以包含于SPS、PPS、APS或切片头中。
[0063] 虽然本发明的实施方式描述的是具有二元的(dyadic)空间可伸缩的系统，但是本发明也可以应用于具有任意比例(arbitrary-ratio)空间可伸缩的系统。举例来说，若使用1.5倍的空间缩放因子，则不需要发信号通知，可以推断尺寸为64的基本层LCU对应的增强层LCU的尺寸为96。若增强层LCU的切片类型与其对应的基本层的编码单元的切片类型(即，帧内切片或帧间切片)相同，则不需要发信号通知，增强层LCU可以继承对应的基本层的LCU结构，包括CU分割、CU预测模式和分区模式、参考图像索引(reference picture indices)和(缩放的)运动向量。可以基于任意已知的方法得到对应的基本层LCU的位置。例如，Segall等人揭露的方法(C.Andrew Segall和Gary J.Sullivan“, Spatial Scalability within the H.264/AVC Scalable Video Coding Extension”,IEEE Transactions on Circuits and Systems for Video Technology,Vol.17,No.9,Pages1121-1135,
2007.09)。进一步允许四叉树分割并通过标志“split_flag”来发信号通知四叉树分割。图6为根据本发明一实施方式的增强层LCU继承对应的基本层LCU的LCU结构的示意图，其中系统使用任意缩放因子。在图6所示的示例中，在增强层LCU 620中的实线指示自对应的基本层LCU 610继承的分割。在增强层LCU 620中的虚线(622、624和626)指示通过标志“split_flag”发信号通知进一步四叉树分割。使用如上所述相同的方法，增强层CU可进一步超过增强层CU对应的基本层CU的最大深度数、以及需要进一步分割增强层CU以超过对应的基本层CU的最小深度数可以包含于SPS、PPS、APS或切片头中。
2007.09)。进一步允许四叉树分割并通过标志“split_flag”来发信号通知四叉树分割。图6为根据本发明一实施方式的增强层LCU继承对应的基本层LCU的LCU结构的示意图，其中系统使用任意缩放因子。在图6所示的示例中，在增强层LCU 620中的实线指示自对应的基本层LCU 610继承的分割。在增强层LCU 620中的虚线(622、624和626)指示通过标志“split_flag”发信号通知进一步四叉树分割。使用如上所述相同的方法，增强层CU可进一步超过增强层CU对应的基本层CU的最大深度数、以及需要进一步分割增强层CU以超过对应的基本层CU的最小深度数可以包含于SPS、PPS、APS或切片头中。
[0064] 增强层的最小编码单元(smallest CU,以下简称为SCU)可以表示为基本层SCU乘以空间缩放因子a。在1.5倍的空间可伸缩的情况下，若基本层SCU的尺寸为8x8(基本层SCU 630)，则不需要发信号通知，增强层SCU的尺寸推断为12x12(增强层SCU 640)。当在增强层中选择NxN分区模式以用于12x12CU时，基于码率－失真性能(R-D)决策或继承自基本层中对应的8x8CU分区模式，将在增强层中的12x12CU分割为九个4x4预测单元。如图6所示，可以应用合并过程以自这九个4x4预测单元形成较大的预测单元(大于4x4，但小于12x12)。
[0065] 图7为决定控制参数时，基本层CU与对应的增强层LCU的示意图，其中增强层LCU具有与基本层LCU相同的尺寸以及空间缩放因子为1.5。如图7所示，另一个实施方式可以应用于增强层LCU的尺寸等于基本层LCU尺寸的情况。增强层中的CU的标志“split_flag”可以使用在当前HEVC中描述的相同方法或其他相似方法来明确地以信号表示。增强层CU的预测模式、预测分区模式、参考图片索引、运动向量、滤波器参数以及变换尺寸等(在本发明的公开内容中称为控制参数)可以从对应的基本层CU来预测。如图7所示的示例中，描述了基本层LCU 710和增强层LCU 720以及空间缩放因子为1.5。基本层LCU 710包含了基本层CU0～基本层CU12,增强层LCU720包含了基本层CU0～基本层CU3。在基本层LCU 710中对应于增强层LCU 720的投射的(projected)增强层LCU通过虚线712来表示。基于与基本层CU相关的控制参数能够得到增强层编码单元的控制参数，其中该基本层CU覆盖投射的增强层CU(虚线712)。举例来说，可以自与基本层CU0、基本层CU1、基本层CU2和基本层CU3相关的控制参数预测增强层CU0的控制参数，以及可以自与基本层CU1、基本层CU3、基本层CU4相关的控制参数预测增强层CU1的控制参数。在另一实施方式中，可以自与基本层CU相关的控制参数预测增强层CU的控制参数，其中该基本层CU具有与投射的增强层CU的最大重叠面积。相应地举例来说，可以自与基本层CU0相关控制参数预测增强层CU0的控制参数，以及可以自与基本层CU4相关控制参数预测增强层CU1的控制参数。在又一实施方式中，当增强层CU覆盖数个基本层CU并且这些覆盖面积具有相似的尺寸时，可以自与这些基本层CU相关的控制参数的组合预测增强层CU的控制参数。举例来说，与这些基本层CU相关的运动向量的平均值可以用作增强层CU的运动向量或运动向量预测值。
[0066] 当CU以帧内预测模式编码时，与基本层区块相关的信息可以用于增强层CU的帧内预测。根据本发明的实施方式，可以使用现有的非可伸缩HEVC中定义的35个模式以用于增强层亮度帧内预测。进一步，根据本发明的实施方式，扩展如在现有的非可伸缩HEVC主配置文件中定义的3个最可能模式的帧内模式编码方法至增强层帧内模式编码。如下所述，得到对于增强层CU的3个最可能模式。
[0067] 如上所述，增强层CU的CTB结构可以继承自对应的基本层CU的CTB结构。若对应的基本层CU使用帧内预测，则选择用于基本层CU的帧内预测模式作为当前增强层CU的一个最可能模式，称为Mode_BL(即，基本层编码模式)。然而，对于图7中描述的CTB结构推导，若投射的增强层CU仅覆盖一个基本层CU以及若基本层CU为帧内预测，则以此基本层CU的预测模式作为Mode_BL。若投射的增强层CU覆盖两个或多个基本层CU以及仅该两个或多个基本层CU中的一个CU为帧内预测，则以该帧内预测的基本层CU的预测模式作为Mode_BL。若投射的增强层CU覆盖两个或多个基本层CU以及若该两个或多个基本层CU为帧内预测，则基于与该两个或多个基本层CU相关的帧内预测模式得到Mode_BL。举例来说，覆盖投射的增强层CU最多的基本层CU的预测模式作为Mode_BL。若两个或多个基本层CU具有与投射的增强层CU相似的覆盖尺寸，则这些预测模式的平均值(使用在现有HEVC中定义的模式编号)可以作为Mode_BL。
[0068] 在增强层中、与上方和左侧相邻预测单元相关的帧内预测模式，分别称为Mode_Top(即，相邻编码模式中的顶区块编码模式)和Mode_Left(即，相邻编码模式中的左区块编码模式)，也可以作为最可能模式。若Mode_BL、Mode_Top和Mode_Left均不相同，则Mode_BL被分配给最可能模式MPM0，Mode_Left被分配给最可能模式MPM1，以及Mode_Top被分配给最可能模式MPM2。为方便起见，若最可能模式MPM0＝mode_A、最可能模式MPM1＝mode_B、以及最可能模式MPM2＝mode_C，最可能模式集合也可以表示为{mode_A,mode_B,mode_C}。若三种最可能模式中的一个或多个丢失或等同，则在顺序集合{Mode_BL、Mode_Left、Mode_Top、平面、直流、垂直}中的前三个不同模式被分别分配给最可能模式MPM0、最可能模式MPM1和最可能模式MPM2。若所有的三种最可能模式相同，则最可能模式的取得过程描述如下：
[0069] 若Mode_BL<2(即，Mode_BL＝＝Mode_Left＝＝Mode_Top＝＝平面或直流)，最可能模式MPM0设置为平面，最可能模式MPM1设置为直流，最可能模式MPM2设置为垂直。
[0070] 否则，
[0071] 最可能模式MPM0设置为Mode_BL，最可能模式MPM1和最可能模式MPM2被分别设置为Mode_BL的左相邻模式(left neighboring mode)和右相邻模式(right neighboring mode)。用于检索左相邻模式和右相邻模式的检索方法与现有HEVC中描述的相同。
[0072] 一旦使用以上描述的方法得到三种最可能模式，则这三种最可能模式可以与现有的HEVC描述的相同的方式编码以用于亮度帧内模式编码。可以使用5个二进制(5-bin)固定长度编码(fixed length codes,FLC)来编码32个剩余的模式。
[0073] 本发明的一方面处理帧内编码区块的空间可伸缩。在一个实施方式中，若靠近当前预测单元(即，当前区块)的左侧或上方的相邻预测单元(即，相邻区块)不可用或不是帧内编码，则根据在参考层中的同一位置(co-located)的预测单元的帧内模式，确定在增强层中的当前预测单元的帧内模式编码的candIntraPredModeA或candIntraPredModeB的值，其中，上述参考层中的同一位置(co-located)的预测单元与该左侧或上方的相邻预测单元位置上相对应，上述当前预测单元位于增强层，并且在一个举例中上述参考层为基本层。举例来说，若在增强层中的当前区块的一个相邻预测单元不是帧内模式，则在当前帧内模式的预测编码期间，通过基本层中的相邻的同一位置(co-located)的预测单元的编码模式代替增强层中的该相邻预测单元的编码模式，其中基本层中的相邻的同一位置(co-located)的预测单元对应于在增强层中的该相邻预测单元。当当前的预测单元在参考层中仅具有一个同一位置的预测单元时，candIntraPredModeA或candIntraPredModeB可以被设置为同一位置的预测单元的帧内模式。此外，同一位置的预测单元的帧内模式可以基于其方向而首先被映射至一个代表模式(representing mode)。然后，将映射结果分配至candIntraPredModeA或candIntraPredModeB。表3和表4描述了基于方向映射的两个示例。
[0074] 表3
[0075]帧内预测模式 映射至
0(Intra_Planar) 0(Intra_Planar)
1(Intra_DC) 1(Intra_DC)
2～17 10(水平预测)
18～34 26(垂直预测)
0(Intra_Planar) 0(Intra_Planar)
1(Intra_DC) 1(Intra_DC)
2～17 10(水平预测)
18～34 26(垂直预测)
[0076] 表4
[0077]帧内预测模式 映射至
0(Intra_Planar) 0(Intra_Planar)
1(Intra_DC) 1(Intra_DC)
2～14 10(水平预测)
15～21 18(对角线预测)
22～34 26(垂直预测)
0(Intra_Planar) 0(Intra_Planar)
1(Intra_DC) 1(Intra_DC)
2～14 10(水平预测)
15～21 18(对角线预测)
22～34 26(垂直预测)
[0078] 当在参考层中多于一个预测单元对应于当前预测单元时，candIntraPredModeA或candIntraPredModeB的值可以被设置为模式IM_D。其中，基于同一位置的多个预测单元得到模式IM_D。参考层中同一位置的多个预测单元的多个帧内模式被标记为IM_L[x]，其中x＝0,…,(k-1)，以及k为与同一位置的多个预测单元相关的帧内模式数。可以使用下列任意一种方法。
[0079] 帧内模式选择方法1根据参考层中同一位置的多个预测单元的位置，自IM_L[x]得到IM_D。包含在较高层中位置(i,j)处的采样的、在较低层中的预测单元的帧内模式被选择为IM_D。其中，对于NxN预测单元，0≤i≤(N-1)以及0≤j≤(N-1)。可以选择预测单元中的任意采样以确定IM_D。举例来说，在(0,0)、(1,1)、(N/2,N/2)、(N/2-1,N/2-1)或(N-1,N-1)处的采样可以用于确定IM_D。
[0080] 帧内模式选择方法2基于在IM_L[x]中的帧内模式的发生频率来得到IM_D。具有最高发生频率的帧内模式被选择为IM_D。
[0081] 帧内模式选择方法3根据候选帧内预测模式的确定的顺序(certain order)存储在IM_L[x]中的帧内模式，其中候选帧内预测模式的确定的顺序与帧内预测模式的优先级相关。排序后，在存储清单的上方的帧内模式被选择为IM_D。
[0082] 帧内模式选择方法4根据上述的选择方法首先选择IM_D。然后基于方向将IM_D映射至代表模式。举例来说，可以使用如表3和表4所示的基于方向的映射。
[0083] 帧内模式选择方法5根据方向将IM_L[x]中的帧内模式映射至代表模式。此后，具有最高发生频率的一个帧内模式被选择为IM_D。举例来说，可以使用如表3和表4所示的基于方向的映射。
[0084] 在另一实施方式中，可以基于在较低参考层中的同一位置的预测单元的帧内模式(即，IM_L[x])和在较高层中的相邻预测单元的帧内模式(即，candIntraPredModeA和candIntraPredModeB)得到在较高层中的帧内编码预测单元的最可能模式(即，candModeList)。在IM_L[x]的帧内模式根据帧内模式的位置或发生频率或帧内模式的优先级排序。其中，自IM_L[x]移除任意重复(duplicate)的模式。首先将candIntraPredModeA和candIntraPredModeB放置于可能的最可能模式P_MPM的清单中。若candIntraPredModeA与candIntraPredModeB相同，则仅candIntraPredModeA与candIntraPredModeB中的一个包括于清单中。此后，跟随(follow)相邻的预测单元的帧内模式，在IM_L[x]中的帧内模式被引入至P_MPM清单中。若在IM_L[x]中的任意帧内模式与candIntraPredModeA或candIntraPredModeB相同，则自P_MPM移除重复的帧内模式。在增强层中允许的最可能模式的数目被标记为m。若在P_MPM中的帧内模式数小于m，则在将P_MPM中的帧内模式的映射结果进一步添加至P_MPM中自IM_L[x]的帧内模式之后的位置。最后，在P_MPM中前m个帧内模式可用作最可能模式并将在P_MPM中前m个帧内模式包括于candModeList中。
[0085] 在又一实施方式中，将Intra_BL以信号发送以用于在较高层中的每一个编码单元。发送一个标志以指示当前预测单元是否用Intra_BL模式编码。若该标志指示当前预测单元用Intra_BL编码，则基于在较低参考层中同一位置的预测单元得到当前预测单元的帧内模式预测值。否则，自在增强层中相邻预测单元产生当前预测单元的帧内模式预测值。
[0086] 在又一实施方式中，Intra_BL用作在较高层中的一个帧内预测模式。若相邻于当前预测单元的左侧或上方的相邻预测单元不可用或不是帧内编码，则candIntraPredModeA(即，相邻编码模式中的左区块编码模式)或candIntraPredModeB(即，相邻编码模式中的顶区块编码模式)的值设置为Intra_BL。此外，Intra_BL被用作一个最可能模式并将Intra_BL(即，基本层编码模式)放置于candModeList的首位。
[0087] 当Intra_BL被视为一个帧内预测模式时，总共有36个候选帧内预测模式用于亮度组分。选择其中四个为最可能模式，而其他候选帧内预测模式用固定长度的二进制化(binarization)来编码。放置Intra_BL于candModeList的首位(即，Intra_BL为第一最可能模式)，随后是相邻区块的帧内模式和在参考层中的同一位置的区块的帧内模式。使用2比特的标志来将四个最可能模式发信号。
[0088] 在又一实施方式中，Intra_Planar、Intra_DC或两者的组合可以排除于较高层中的帧内预测之外。若Intra_BL、candIntraPredModeA、或candIntraPredModeB为Intra_Planar，则Intra_Planar排除于三个最可能模式之外；以及若Intra_BL、candIntraPredModeA、或candIntraPredModeB为Intra_DC，则Intra_DC排除于该三个最可能模式的初始分配之外。因此，存在有34或33个帧内模式。若Intra_BL被用作一个附加的帧内模式，则模式的总的数目会是35个或34个。若允许一个或两个最可能模式，最多将有33个或34个候选帧内模式。可以使用以上描述的最可能模式选择方法。对于色度组分的帧内模式编码，Intra_Planar、Intra_DC或两者的组合可以在较高层排除。
[0089] 本发明的一方面利用在不同层中的帧内模式的相关性，以改善编码效率或降低系统复杂性。在一个实施方式中，平面模式和直流模式均被排除于增强层的帧内编码之外。由于平面模式和直流模式均被排除，存在有33个角度帧内预测模式(angular Intra prediction modes)可用于亮度组分的帧内模式编码。在增强层的亮度组分的帧内模式编码期间，一个最可能模式(标记为candModeList[x]，x＝0)用于每一个亮度预测单元。可以自在基本层对应的部分的帧内模式(标记为candIntraPredModeBL)、靠近于当前预测单元左侧的相邻预测单元的帧内模式(标记为candIntraPredModeA)、以及靠近当前预测单元上方的相邻预测单元的帧内模式(标记为candIntraPredModeB)得到最可能模式。
[0090] 图8为用最可能模式推导以确定基本层帧内模式的4x4单元的像素位置标记的示意图。在基本层的对应部分的帧内模式(即，candIntraPredModeBL)推导如下。首先，在增强层的当前单元(即，当前区块)中选择像素P_EL。如图8所示，若当前单元为4x4，则选择在位置(0,0),(1,1),(2,2)或(3,3)处的像素为P_EL。然而，其他任意位置也可以用作P_EL。若当前单元大于4x4，则在当前单元中的一个4x4单元可以用作P_EL。图9为用最可能模式推导确定基本层帧内模式的最大单元中选择4x4单元(A、B或C)的示意图。在图9中，描述了在较大单元中选择4x4单元(A、B或C)用于确定P_EL的示例。在选择4x4单元之后，已选择的4x4单元中的在位置(0,0),(1,1),(2,2)或(3,3)处的像素被选择为P_EL。在基本层的对应于P_EL像素被计算为：
[0091] PosY_BL＝PosY_EL*(Width_BL/Width_EL),以及
[0092] PosX_BL＝PosX_EL*(Width_BL/Width_EL),
[0093] 其中，PosY_EL和PosX_EL表示P_EL的坐标，PosY_BL和PosX_BL表示在基本层对应于P_EL的像素的坐标，以及Width_BL和Width_EL分别表示在基本层和增强层的帧的宽度。最后，在基本层的像素(PosX_BL、PosY_BL)的帧内模式用作candIntraPredModeBL。
[0094] 得到最可能模式candModeList[0]如下所示：
[0095] ●若在基本层的P_EL的对应像素位于帧内编码单元中，以及帧内模式candIntraPredModeBL既不是平面模式也不是直流模式，
[0096] ◆candModeList[0]＝candIntraPredModeBL；
[0097] ●否则
[0098] ◆若candIntraPredModeA可用，
[0099] ○candModeList[0]＝candIntraPredModeA；
[0100] ◆否则
[0101] ○若candIntraPredModeB可用，
[0102] ■candModeList[0]＝candIntraPredModeB；
[0103] ○否则
[0104] ■candModeList[0]＝Intra_Angular(26)。
[0105] 根据本发明的一实施方式，对于色度组分，自增强层的层间帧内模式编码移除平面模式和直流模式。因此，色度预测单元具有依赖标志chroma_pred_from_luma_enabled_flag的3个或4个候选模式。若标志chroma_pred_from_luma_enabled_flag等于1，则存在如表5所示的4个候选色度模式intra_chroma_pred_mode。否则，存在如表6所示的3个候选色度模式intra_chroma_pred_mode。在表5和表6中，X为当前帧内模式IntraPredMode。通过查找表5和表6，可以得到色度预测单元的预测模式。举例来说，如表5所示，若当前帧内模式IntraPredMode等于26，以及候选色度模式intra_chroma_pred_mode等于0，则编码色度预测单元的帧内模式的值是34。需要说明的是，表5中2<＝X<35这一栏适应于X不等于26、10并且2<＝X<35的情况。色度模式的二进制化如表7和表8所示。如表7所示，举例来说，若候选色度模式intra_chroma_pred_mode的值分别为3、0、1、2，则二进制化后对应的二值码分别为0、110、111、10。
[0106] 表5
[0107]
[0108] 表6
[0109]
[0110] 表7
[0111]候选色度模式intra_chroma_pred_mode的值 前缀(prefix) 后缀(suffix)
3 0 n/a
0 1 10
1 1 11
2 1 0
3 0 n/a
0 1 10
1 1 11
2 1 0
[0112] 表8
[0113]
[0114] 在另一实施方式中，仅自增强层的层间帧内模式编码移除平面模式。因此，存在有33个角度帧内预测模式加上直流模式可用于亮度组分的帧内模式编码。在增强层的亮度组分的帧内模式编码期间，两个最可能模式(记为candModeList[x]，x＝0～1)用于每一个亮度预测单元。自在基本层的对应部分的帧内模式(记为candIntraPredModeBL)、靠近当前预测单元左侧的相邻预测单元的帧内模式(记为candIntraPredModeA)、以及靠近当前预测单元的上方的相邻预测单元的帧内模式(记为candIntraPredModeB)，得到两个最可能模式。
[0115] 相似于移除平面模式和直流模式的情况，基本层对应的帧内模式(即，candIntraPredModeBL)的推导如下。首先，在增强层的当前单元中选择像素P_EL。如图8所示，若当前单元为4x4，则选择在位置(0,0),(1,1),(2,2)或(3,3)处的像素为P_EL。然而，其他任意位置也可以用作P_EL。若当前单元大于4x4，则在当前单元中的一个4x4单元可以用作P_EL。图9描述了在较大单元中选择4x4单元(A、B、C)用于确定P_EL的示例。在选择4x4单元之后，已选择的4x4单元中的在位置(0,0),(1,1),(2,2)或(3,3)处的像素被选择为P_EL。在基本层的对应于P_EL像素被计算为：
[0116] PosY_BL＝PosY_EL*(Width_BL/Width_EL)以及
[0117] PosX_BL＝PosX_EL*(Width_BL/Width_EL),
[0118] 其中，PosY_EL和PosX_EL表示P_EL的坐标，PosY_BL和PosX_BL表示在基本层对应于P_EL的像素的坐标，以及Width_BL和Width_EL分别表示在基本层和增强层的帧的宽度。最后，在基本层的像素的帧内模式(PosX_BL、PosY_BL)用作candIntraPredModeBL。
[0119] 得到两个最可能模式candModeList[0]和candModeList[1]如下所示：
[0120] ●若在基本层的对应于P_EL的像素位于帧内编码单元，以及帧内模式candIntraPredModeBL不是平面模式，
[0121] ◆candModeList[0]＝candIntraPredModeBL；
[0122] ◆若candIntraPredModeA可用，以及candIntraPredModeA不等于candIntraPredModeBL，
[0123] ○candModeList[1]＝candIntraPredModeA；
[0124] ◆否则
[0125] ○若candIntraPredModeB可用，以及candIntraPredModeB不等于candIntraPredModeBL，
[0126] ■candModeList[1]＝candIntraPredModeB；
[0127] ○否则，
[0128] ■若candIntraPredModeBL不是垂直帧内预测模式
[0129] ‐candModeList[1]＝Intra_Angular(26)//垂直帧内预测模式
[0130] ■否则，
[0131] ‐candModeList[1]＝Intra_Angular(10)//水平帧内预测模式
[0132] ●否则，
[0133] ◆若candIntraPredModeA可用，
[0134] ○candModeList[0]＝candIntraPredModeA；
[0135] ○若candIntraPredModeB可用，以及candIntraPredModeB不等于candIntraPredmodeA
[0136] ■candModeList[1]＝candIntraPredModeB；
[0137] ○否则，
[0138] ■若candIntraPredModeA不是垂直帧内预测模式
[0139] ‐candModeList[1]＝Intra_Angular(26)//垂直帧内预测模式
[0140] ■否则，
[0141] ‐candModeList[1]＝Intra_Angular(10)//水平帧内预测模式
[0142] ●否则，
[0143] ◆若candIntraPredModeB可用，
[0144] ○candModeList[0]＝candIntraPredModeB；
[0145] ○若candIntraPredModeB不是垂直帧内预测模式
[0146] ■candModeList[1]＝Intra_Angular(26)//垂直帧内预测模式
[0147] ○否则，
[0148] ■candModeList[1]＝Intra_Angular(10)//水平帧内预测模式
[0149] ◆否则，
[0150] ○candModeList[0]＝Intra_Angular(26)//垂直帧内预测模式
[0151] ○candModeList[1]＝Intra_Angular(10)//水平帧内预测模式
[0152] 根据本发明的一实施方式，对于色度组分，移除平面模式。因此，色度预测单元具有依赖标志chroma_pred_from_luma_enabled_flag的4个或5个候选色度模式。若标志chroma_pred_from_luma_enabled_flag等于1，则存在如表9所示的5个候选色度模式intra_chroma_pred_mode。否则，存在如表10所示的4个候选色度模式intra_chroma_pred_mode。在表9和表10中，X为当前帧内模式IntraPredMode。通过查找表9和表10，可以得到色度预测单元的预测模式。举例来说，如表9所示，若当前帧内模式IntraPredMode等于26，以及候选色度模式intra_chroma_pred_mode等于0，则编码色度预测单元的帧内模式的值是34。需要说明的是，表9和表10中0<＝X<35这一栏适应于X不等于26、10、1并且0<＝X<35的情况。色度模式的二进制化如表11和表12所示。如表11所示，举例来说，若候选色度模式intra_chroma_pred_mode的值分别为4、0、1、2、3，则二进制化后对应的二值码分别为0、
110、1110、1111、10。
110、1110、1111、10。
[0153] 表9
[0154]
[0155] 表10
[0156]
[0157] 表11
[0158]
[0159]
[0160] 表12
[0161]候选色度模式intra_chroma_pred_mode的值 前缀(prefix) 后缀(suffix)
3 0 n/a
0 1 0
1 1 10
2 1 11
3 0 n/a
0 1 0
1 1 10
2 1 11
[0162] 在又一实施方式中，仅自增强层的层间帧内模式编码移除直流模式。帧内模式编码的过程与仅移除平面模式的过程相同。除了将平面模式由直流模式代替之外，两个最可能模式的推导与以上描述的移除平面模式的两个最可能模式的推导相同。
[0163] 根据本发明的一实施方式，对于色度组分，移除直流模式。因此，色度预测单元具有依赖标志chroma_pred_from_luma_enabled_flag的4个或5个候选色度模式。若标志chroma_pred_from_luma_enabled_flag等于1，则存在如表13所示的5个候选色度模式intra_chroma_pred_mode。否则，存在如表14所示的4个候选色度模式intra_chroma_pred_mode。在表13和表14中，X为当前帧内模式IntraPredMode。通过查找表13和表14，可以得到色度预测单元的预测模式。举例来说，如表13所示，若当前帧内模式IntraPredMode等于26，以及候选色度模式intra_chroma_pred_mode等于0，则编码色度预测单元的帧内模式的值是34。需要说明的是，表13和表14中0<＝X<35这一栏适应于X不等于26、10、1并且0<＝X<35的情况。色度帧内模式的二进制化如先前的表11和表12所示。
[0164] 表13
[0165]
[0166]
[0167] 表14
[0168]
[0169] 在又一实施方式中，没有自增强层的层间帧内模式移除直流模式或平面模式。因此，存在有33个角度帧内预测模式加上平面模式和直流模式可用于亮度组分的帧内模式编码，这与在HEVC中是相同的。在增强层的亮度组分的帧内模式编码期间，使用三个最可能模式(记为candModeList[x]，x＝0～2)。这三个最可能模式用于每一个亮度预测单元。自在基本层的对应部分的帧内模式(记为candIntraPredModeBL)、靠近当前预测单元左侧的相邻预测单元的帧内模式(记为candIntraPredModeA)、以及靠近当前预测单元的上方的相邻预测单元的帧内模式(记为candIntraPredModeB)，得到三个最可能模式。可以用与具有平面模式、直流模式、或将平面模式和直流模式移除相同的方法来得到在基本层的对应部分的帧内模式(即，candIntraPredModeBL)。
[0170] 得到三个最可能模式(candModeList[x]，其中x＝0～2)如下所示：
[0171] uiPredNum＝0；
[0172] ●若在基本层的对应于P_EL的像素位于帧内编码单元，
[0173] ◆candModeList[0]＝candIntraPredModeBL；
[0174] ◆uiPredNum＝1；
[0175] ◆若candIntraPredModeA可用，以及candIntraPredModeA不等于candIntraPredModeBL
[0176] ○candModeList[1]＝candIntraPredModeA；
[0177] ○uiPredNum＝2；
[0178] ○若candIntraPredModeB可用，以及candIntraPredModeB既不等于candIntraPredModeBL也不等于candIntraPredA
[0179] ■CandModeList[2]＝candIntraPredModeB
[0180] ■uiPredNum＝3；
[0181] ◆若candIntraPredModeB可用，以及candIntraPredModeB不等于candIntraPredModeBL
[0182] ○candModeList[1]＝candIntraPredModeB；
[0183] ○uiPredNum＝2；
[0184] ●若candIntraPredModeA可用，
[0185] ◆candModeList[0]＝candIntraPredModeA；
[0186] ◆uiPredNum＝1；
[0187] ◆若candIntraPredModeB可用，以及candIntraPredModeB不等于candIntraPredModeA
[0188] ○candModeList[1]＝candIntraPredmodeB；
[0189] ○uiPredNum＝2；
[0190] ●若candIntraPredModeB可用，
[0191] ◆candModeList[0]＝candIntraPredModeB；
[0192] ◆uiPredNum＝1；
[0193] 其中uiPredNum为计数值。如上所述收集初始的最可能模式之后，有两种实施方式得到最后的最可能模式。在第一实施方式中，
[0194] ●若uiPredNum等于0
[0195] ◆candModeList[0]＝Intra_Angular(26)//垂直帧内预测模式
[0196] ◆candModeList[1]＝Intra_Angular(10)//水平帧内预测模式
[0197] ◆candModeList[2]＝Intra_Planar
[0198] ●若uiPredNum等于1
[0199] ◆若candModeList[0]大于1//candModeList[0]既不是平面也不是直流[0200] ○candModeList[1]＝2+((candModeList[0]-2-1)％32)
[0201] ○candModeList[2]＝2+((candModeList[0]-2+1)％32)
[0202] ◆否则，
[0203] ○若在基 本层对应于P_E L的 像素位于帧内 编码单元 (意味 着candIntraPredModeBL可用)
[0204] ■candModeList[2]＝candModeList[0]；
[0205] ■candModeList[0]＝Intra_Angular(26)//垂直帧内预测模式
[0206] ■candModeList[1]＝Intra_Angular(10)//水平帧内预测模式
[0207] ○否则，
[0208] ■candModeList[0]＝Intra_Planar
[0209] ■candModeList[1]＝Intra_DC
[0210] ■candModeList[2]＝Intra_Angular(26)//垂直帧内预测模式
[0211] ●若uiPredNum等于2
[0212] ◆若candModeList[0]为垂直帧内预测模式
[0213] ○若candModeList[1]为水平帧内预测模式
[0214] ■candModeList[2]＝Intra_Angular(18)
[0215] ○否则
[0216] ■candModeList[2]＝Intra_Angular(10)//水平帧内预测模式
[0217] ◆否则，若candModeList[0]为水平帧内预测模式
[0218] ○若candModeList[1]为垂直帧内预测模式
[0219] ■candModeList[2]＝Intra_Angular(18)
[0220] ○否则
[0221] ■candModeList[2]＝Intra_Angular(26)//垂直帧内预测模式
[0222] ◆否则
[0223] ○若candModeList[1]为垂直帧内预测模式
[0224] ■candModeList[2]＝Intra_Angular(10)//水平帧内预测模式
[0225] ○否则
[0226] ■candModeList[2]＝Intra_Angular(26)//垂直帧内预测模式
[0227] 在第二实施方式中，最后的最可能模式如下所示：
[0228] ●若uiPredNum等于0
[0229] ◆candModeList[0]＝Intra_Planar
[0230] ◆candModeList[1]＝Intra_DC
[0231] ◆candModeList[2]＝Intra_Angular(26)//垂直帧内预测模式
[0232] ●若uiPredNum等于1
[0233] ◆若candModeList[0]大于1
[0234] ○candModeList[1]＝2+((candModeList[0]-2-1)％32)
[0235] ○candModeList[2]＝2+((candModeList[0]-2+1)％32)
[0236] ◆否则，
[0237] ○candModeList[0]＝Intra_Planar
[0238] ○candModeList[1]＝Intra_DC
[0239] ○candModeList[2]＝Intra_Angular(26)//垂直帧内预测模式
[0240] ●若uiPredNum等于2
[0241] ◆若candModeList[0]和candModeList[1]不是平面
[0242] ○candModeList[2]＝Intra_Planar
[0243] ◆否则
[0244] ○若(candModeList[0]+candModeList[1])<2
[0245] ■candModeList[2]＝Intra_Angular(26)//垂直帧内预测模式
[0246] ○否则
[0247] ■candModeList[2]＝Intra_DC。
[0248] 在H.264/AVC可伸缩视频编码，仅一个上下文(context)用于层间纹理预测标志，以及仅一个上下文用于层间残差预测标志。根据本发明的实施方式，也使用相邻信息(neighboring information)，以用于得到层间纹理预测标志、层间差分编码标志、和层间残差预测标志的上下文信息(context formation)。举例来说，上方区块和左侧区块的信息可以用于得到层间纹理预测标志的上下文。若上方区块和左侧区块的层间纹理预测标志均为假(false)，使用context#0。否则，若上方区块和左侧区块的层间纹理预测标志均为真，使用context#2。否则使用context#1。
[0249] 若相邻信息与自当前区块上方的一行区块中的一个区块相关，则可能需要线缓冲器来存储相邻信息。为消除线缓冲器的需求，一个实施方式仅使用左侧区域的相邻信息以得到层间纹理预测标志的上下文。若左侧区块的层间纹理预测标志为假，则使用context#0。否则，使用context#1。
[0250] 在H.264/AVC可伸缩视频编码，使用层间纹理预测编码区块的帧内可用标志为0。层间纹理预测编码区块的对应的帧内模式被认为是直流模式。使用直流模式作为默认帧内模式将降低层间纹理预测编码区块的编码效率。本发明的实施方式使用基本层帧内预测模式以得到用于层间纹理预测编码区块的帧内模式预测。
[0251] 在一个实施方式中，若相邻区块为层间纹理预测编码区块，则相邻区块的对应的基本层帧内预测模式用于最可能模式推导。
[0252] 在另一实施方式中，若使用层间纹理预测编码区块，则此区块的帧内预测模式被设置为在基本层中的同一位置区块的帧内预测模式。在此区块中的最小单元的帧内预测模式可以不同或相同。若不同的帧内预测模式用于最小单元，则在增强层中的每一个最小单元的帧内预测模式被设置为在基本层中的同一位置的最小单元的帧内预测模式。若相同的帧内预测模式用于在区块中的最小单元，则此区块的帧内预测模式被设置为在基本层中的同一位置的区块的帧内预测模式。自在当前区块中的预定义的点/块/最小单元得到在基本层中的同一位置的区块。图10为基于对应于当前区块的在基本层中的同一位置的区块的预测模式确定在增强层中的当前区块的预测模式的示意图。举例来说，如图10所示，对应于当前区块的在基本层中的同一位置的区块可以为在基本层中的上方左侧的点/块/最小单元1010或中心点/块/最小单元1020。由于使用基本层帧内预测模式，与基本层相关的编码信息可以用于增强层。相应地，模式依赖变换(mode dependent transform)和模式依赖系数的扫描可以应用于层间纹理预测编码区块。
[0253] 在HEVC中，区块可以为帧内编码(即，MODE_INTRA)或帧间编码(即，MODE_INTER或MODE_MERGE)。编码帧内编码区块和帧间编码区块的系数是不同的。一个主要的不同是帧内编码区块不需要编码标志no_residual_syntax_flag。标志no_residual_syntax_flag用于指示区块是否具有至少一个非零系数。若no_residual_syntax_flag为真，则编码器可以设置在此区块中的所有系数的值为零并跳过系数解码。
[0254] 在层间纹理预测编码区块通常视为帧内编码区块。在一个实施方式中，层间纹理预测编码区块被视为帧间编码区块。相应地，层间纹理预测编码区块的预测模式被设置为MODE_INTER。编码标志no_residual_syntax_flag以用于层间纹理预测编码区块。应用帧间编码区块的残差编码以用于系数编码。由于预测模式被设置为MODE_INTER，帧间预测方向(inter_pred_idc)不为0，以及参考帧索引(refIdx)不能全不可用。因此，这些条件可以必须加以避免。举例来说，inter_pred_idc可以被设置为1，LIST_0的refIdex可以被设置为0，以及MV可以被设置为(0,0)。
[0255] 在另一实施方式中，层间纹理预测编码区块被视为帧间区块。层间纹理预测编码区块的预测模式被设置为MODE_INTER，以及编码一个no_residual_syntax_flag以用于层间纹理预测编码区块。包含本发明实施方式的用于编码单元的一个示范性语法设计如表15所示。包括的附加的语法元素以粗体字表示。若测试条件满足，则包括标志no_residual_syntax_flag。语法元素BLPredFlag包括于测试条件中，其中语法元素BLPredFlag指示在层间纹理预测中是否编码区块。
[0256] 表15
[0257]
[0258] 图11为包括本发明一实施方式的在增强层中编码帧内编码的可伸缩编码系统的流程图。此过程应用于视频数据被配置在基本层和增强层中的系统。与基本层相比，增强层具有较高的空间分辨率或较佳的视频质量。在编码当前区块之前，编码在基本层中、对应于增强层中的当前区块的同一位置区块，以及当前区块是帧内编码的。如步骤1110所示，该过程开始于自媒体或处理器接收与在增强层中的当前区块的当前帧内模式相关的信息。在此示例中，对于编码器来说，已经确定在增强层中的当前区块的当前帧内模式并存储于媒体中，以及需要自媒体恢复当前帧内模式。媒体可以为计算机存储器，缓冲器(RAM或DRAM)或其他存储设备/媒体。在基于硬件的实现中，通过处理器(例如，控制器、中央处理器、数字信号处理器或电子电路)可以确定在增强层中的当前区块当前帧内模式。在解码器中，与在增强层中的当前区块的当前帧内模式相关的信息对应至与当前帧内模式相关的编码数据。已编码的帧内模式需要被预测性地解码。在步骤1120中确定与在基本层中同一位置区块相关的基本层编码模式。确定编码模式的方式是在现有技术中已知的。举例来说，可以使用在HEVC相关软件中描述的模式确定方法。在步骤1130中，确定与在增强层中当前区块的一个或多个相邻区块相关的一个或多个相邻编码模式。例如根据图2B选择相邻区块并且也可以使用其他相邻区块。然后，如步骤1140所示，基于与在基本层中的与同一位置区块相关的基本层编码模式和与在增强层中的当前区块的一个或多个相邻区块相关的所述一个或多个相邻编码模式，决定当前帧内模式，以执行预测编码。在编码器中，使用包括与在基本层中同一位置区块相关的基本层编码模式和与在增强层中当前区块的一个或多个相邻区块相关的所述一个或多个相邻编码模式的预测，来编码当前帧内模式。在解码器中，使用包括与在基本层中的同一位置的区块相关的基本层编码模式和与在增强层中的当前区块的一个或多个相邻区块相关的所述一个或多个相邻编码模式，来解码当前帧内模式。在该过程结束时，当前帧内模式被编码(在编码器中)或解码(在解码器中)。
[0259] 根据本发明的另一实施方式，提供一种可伸缩视频编码系统的帧内模式编码装置。该可伸缩视频编码系统的帧内模式编码装置包括：确定在增强层中的当前区块的当前帧内模式的装置；确定与在基本层同一位置的区块相关的基本层编码模式的装置；确定与在增强层中当前区块的一个或多个相邻区块相关的一个或多个相邻编码模式的装置；以及基于与在基本层中与同一位置的区块相关的基本层编码模式和与在增强层中该当前区块的一个或多个相邻区块相关一个或多个相邻编码模式，应用预测模式至当前帧内模式的装置。
[0260] 在提供特定应用和其需求的情况下，以上描述使得本领域技术人员能够实现本发明。对本领域技术人员来说，各种修饰是清楚的，以及在此定义的基本原理可以应用与其他实施方式。因此，本发明并不限于描述的特定实施方式，而应与在此公开的原则和新颖性特征相一致的最广范围相符合。在上述详细描述中，为全面理解本发明，描述了各种特定细节。然而，本领域技术人员能够理解本发明可以实现。
[0261] 以上描述的本发明的实施方式可在各种硬件、软件编码或两者组合中进行实施。例如，本发明的实施方式可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施方式也可为在数据信号处理器(Digital Signal Processor,DSP)中执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
[0262] 在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为仅在所有方面进行说明并且不是限制性的。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 帧内预测编码方法及其装置 | 2020-05-11 | 765 |
| 向后兼容的HDR视频多层压缩技术 | 2020-05-12 | 152 |
| 一种基于压缩感知的质量可分级快速编码方法 | 2020-05-12 | 779 |
| 用于混合的交错和递进内容的可伸缩视频编码的方法 | 2020-05-11 | 643 |
| 用于视频编码的自适应环内滤波 | 2020-05-12 | 197 |
| 压缩/解压缩的装置和系统、芯片、电子装置、方法 | 2020-05-08 | 169 |
| 仿射模型的多个假设 | 2020-05-08 | 85 |
| 针对多层视频编码的层间参考图片增强的设备 | 2020-05-11 | 799 |
| 时序动作提名的生成方法、装置、设备及存储介质 | 2020-05-11 | 284 |
| 解码器、解码方法、编码器和编码方法 | 2020-05-08 | 403 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈