视频解码方法及其系统专利检索-视频编码层视听技术与设备专利检索查询-专利查询网

视频解码方法及其系统

阅读：526发布：2020-06-21

专利汇可以提供视频解码方法及其系统专利检索，专利查询，专利分析的服务。并且本发明提供一种视频解码方法及其系统。视频解码系统包含视频解码模块、帧压缩模块和存储模块。视频解码模块用以从视频比特流中产生重建后的视频数据。帧压缩模块用以对重建后的视频数据中的非参考帧进行帧压缩以产生压缩‑重建后的视频数据，其中，帧压缩模块所进行的帧压缩响应于解码器系统信息、视频比特流中的一个或多个语法元素，或者解码器系统信息及视频比特流中的该一个或多个语法元素的组合。存储模块用以存储压缩‑重建后的视频数据。本发明提出的视频解码方法及其系统，通过帧压缩可有效减小缓冲器尺寸。，下面是视频解码方法及其系统专利的具体信息内容。

权利要求

1.一种视频解码方法，其特征在于，该视频解码方法包含：
接收视频比特流；
解码该视频比特流以产生重建后的视频数据；以及
对该重建后的视频数据中的非参考帧进行帧压缩以产生压缩-重建后的视频数据；其中，该帧压缩响应于解码器系统信息、该视频比特流中一个或多个语法元素、或者该解码器系统信息与该视频比特流中该一个或多个语法元素的组合。
2.如权利要求1所述的视频解码方法，其特征在于，该解码器系统信息从一组信息中选出，该组信息包含系统状态、系统参数以及该系统状态和系统参数的组合。
3.如权利要求1所述的视频解码方法，其特征在于，该解码器系统信息包含系统带宽、帧缓冲器尺寸、帧缓冲器状态、帧缓冲器的缓冲占用情况、系统功耗以及系统处理负荷中的至少一个。
4.如权利要求3所述的视频解码方法，其特征在于，该帧缓冲器状态包含帧缓冲器的缓冲占用情况，以及该帧压缩进一步响应于该帧缓冲器的缓冲占用情况。
5.如权利要求1所述的视频解码方法，其特征在于，该一个或多个语法元素包含参考帧指示器、初始图像量化参数、图像类型以及图像尺寸中的至少一个。
6.如权利要求1所述的视频解码方法，其特征在于，该帧压缩包含：帧压缩算法选择、帧压缩参数调整、帧压缩使能，或者该帧压缩算法选择、该帧压缩参数调整及该帧压缩使能的组合。
7.如权利要求6所述的视频解码方法，其特征在于，该帧压缩参数调整包含压缩比调整。
8.如权利要求1所述的视频解码方法，其特征在于，对于一多层次编码系统，该一个或多个语法元素包含空间层信息、品质层信息、视角层信息的至少其一；以及对于一多码流视频编码系统，该一个或多个语法元素包含流标识符信息。
9.如权利要求1所述的视频解码方法，其特征在于，该视频解码方法另包含：
解压缩该压缩-重建后的视频数据并产生恢复-重建后的视频数据。
10.一种视频解码系统，其特征在于，该视频解码系统包含：
视频解码模块，用以从视频比特流中产生重建后的视频数据；
帧压缩模块，用以对该重建后的视频数据中的非参考帧进行帧压缩以产生压缩-重建后的视频数据，其中，该帧压缩模块所进行的该帧压缩响应于解码器系统信息、该视频比特流中的一个或多个语法元素，或者该解码器系统信息及该视频比特流中的该一个或多个语法元素的组合；以及
存储模块，用以存储该压缩-重建后的视频数据。
11.如权利要求10所述的视频解码系统，其特征在于，另包含有系统监测模块，用以判定该解码器系统信息。
12.如权利要求10所述的视频解码系统，其特征在于，该解码器系统信息从一组信息中选出，该组信息包含系统状态、系统参数以及该系统状态和系统参数的组合。
13.如权利要求10所述的视频解码系统，其特征在于，该解码器系统信息包含系统带宽、帧缓冲器尺寸、帧缓冲器状态、系统功耗以及系统处理负荷中的至少一个。
14.如权利要求13所述的视频解码系统，其特征在于，该帧缓冲器状态包含帧缓冲器的缓冲占用情况，以及该帧压缩模块所进行的该帧压缩进一步响应于该帧缓冲器的缓冲占用情况。
15.如权利要求10所述的视频解码系统，其特征在于，该一个或多个语法元素包含参考帧指示器、初始图像量化参数、图像类型以及图像尺寸至少一个。
16.如权利要求10所述的视频解码系统，其特征在于，该帧压缩模块所进行的该帧压缩包含：帧压缩算法选择、帧压缩参数调整、帧压缩使能，或者该帧压缩算法选择、该帧压缩参数调整及该帧压缩使能的任意结合。
17.如权利要求16所述的视频解码系统，其特征在于，该帧压缩参数调整包含压缩比调整。
18.如权利要求10所述的视频解码系统，其特征在于，对于一多层次编码系统，该一个或多个语法元素包含空间层信息、品质层信息、视角层信息的至少其一；以及对于一多码流视频编码系统，该一个或多个语法元素包含流标识符信息。
19.如权利要求10所述的视频解码系统，其特征在于，该视频编码系统更包含：
帧解压缩模块，用以将存储在该存储模块中的压缩-重建后的视频数据解压缩成恢复-重建后的视频数据。

说明书全文

视频解码方法及其系统

【技术领域】

[0001] 本发明关于视频处理系统，尤其关于一种视频解码方法及其系统。【背景技术】

[0002] 运动补偿帧间编码已经广泛应用在各种国际视频编码标准中，例如MPEG-1/2/4，H.264/AVC及新兴的高性能视频编码(High Efficiency Video Coding，HEVC)标准。在一个帧间编码系统(inter-frame coding system)中，运动信息得自于一个或多个参考帧(reference frame)的使用，在显示顺序(display order)中该参考帧可以是当前帧的前一帧或后一帧。用来进行运动估计/补偿(motion estimation/compensation)的参考帧通常是一个预先重建后的帧(reconstructed frame)，如此一来，在极少或没有边信息(side information)时编码器及解码器仍可相应地执行运动补偿。在编码器端，帧缓冲器用来储存一个或多个参考帧以执行运动补偿；在解码器端，帧缓冲器用来储存一个或多个参考帧以执行运动补偿，同时在显示顺序中提供解码帧。通常，在视频处理装置(例如视频编码器或视频解码器)中，不管视频处理装置是以基于硬件方式、基于软件方式或是基于软硬件混合方式中任何一种方式来实现，动态随机存取存储器(Dynamic Random Access Memory，DRAM)都被用来实现帧缓冲器。

[0003] 在如MPEG-1/2之类较老的视频标准中，经常使用一个或两个参考帧。然而，在更先进的编码系统(如AVC/H.264或新兴的HEVC系统)中，会使用更多的参考帧。随着参考帧数量的增多，帧缓冲器的尺寸也相应增加。此外，帧缓冲器的尺寸也会跟随图像尺寸(picture size)的增加而增加，对于高清晰度电视(High Definition Television，HDTV)信号，其图像分辨率大约是标准清晰度电视(standard definition TV)信号分辨率的六倍。因此，需要减少有关参考帧的存储需求。从而，各种帧压缩(frame compression)技术已在文献中公布，文献中公布的帧压缩技术常常对每一参考帧使用固定压缩比(fixed compression ratio)。通常，使用有损压缩(lossy compression)来进行帧压缩是为了达到更高的数据简化程度(degree of data reduction)，由有损帧压缩引入的噪声会降低重建视频的品质。依赖参考帧的本质内容(nature context)，参考帧内的噪声在视频品质上可能会有不同的影响。举例来说，I帧的噪声可能比P帧或B帧的噪声产生更严重的品质劣化(quality degradation)。不过，传统的帧压缩不会考虑参考帧的性质(nature)，相应地，需要开发一种自适应性帧压缩技术，能够根据参考帧的性质自适应地调整与帧压缩相关的编码参数。
此外，有关基本视频(underlying video)(如比特流及解码系统信息中的语法所示)的其他信息对于帧压缩控制来说可能也有用。
【发明内容】

[0004] 有鉴于此，有必要提供一种视频解码方法及其系统。

[0005] 根据本发明一实施例，本发明的视频解码方法包含：接收视频比特流；解码视频比特流以产生重建后的视频数据；以及对重建后的视频数据中的非参考帧进行帧压缩以产生压缩-重建后的视频数据；其中，该帧压缩响应于解码器系统信息、该视频比特流中一个或多个语法元素、或者该解码器系统信息与该视频比特流中该一个或多个语法元素的组合。

[0006] 根据本发明的另一实施例，本发明的视频解码系统包含：视频解码模块，用以从视频比特流中产生重建后的视频数据；帧压缩模块，用以对重建后的视频数据中的非参考帧进行帧压缩以产生压缩-重建后的视频数据，其中，帧压缩模块所进行的该帧压缩响应于解码器系统信息、该视频比特流中的一个或多个语法元素，或者该解码器系统信息及该视频比特流中的该一个或多个语法元素的组合；以及存储模块，用以存储该压缩-重建后的视频数据。

[0007] 上述视频解码方法及其系统，可以有效减小有关参考帧缓冲器的所需内存及带宽并提高压缩品质。【附图说明】

[0008] 图1为包含帧压缩以减小有关参考帧缓冲器的所需内存及带宽的示范性视频解码器的示意图；

[0009] 图2A为包含一I帧、一P帧及两个B帧的图像的一子组实施例的示意图；

[0010] 图2B为依据本发明的自适应性帧压缩的一实施例的示意图；

[0011] 图2C为包含自适应性帧压缩的一解码器和使用传统帧压缩的一解码器之间的示范性性能对比的示意图；

[0012] 图3A为依据本发明一实施例的用于自适应性帧压缩控制以提高压缩品质的一解码器的示范性系统方块示意图；

[0013] 图3B为依据本发明一实施例的判定基于系统状态/参数及解码器语法元素的帧压缩控制的一工作流程图；

[0014] 图4为基于系统带宽的一自适应性帧压缩实施例的一工作流程图；

[0015] 图5为基于H.264/AVC比特流语法元素的自适应性帧压缩控制的一解码器的示范性工作流程图；

[0016] 图6为自适应性帧压缩控制的一解码器的帧压缩比的实施例示意图；

[0017] 图7为依据本发明一实施例的自适应性帧压缩的示意图；

[0018] 图8为依据本发明一实施例的自适应性帧压缩的示意图；

[0019] 图9为依据本发明一实施例的基于空间层语法以提高压缩品质的自适应性帧压缩的示意图；

[0020] 图10为用于一多视角视频编码系统中的一解码器的自适应性帧压缩控制的一实施例的示意图；

[0021] 图11A-B为用于一多码流视频编码系统中的一解码器的自适应性帧压缩控制的实施例的示意图。【具体实施方式】

[0022] 图1所示为包含帧压缩以降低有关参考帧缓冲器的所需内存及带宽的示范性视频解码器。视频解码器120从比特流缓冲器110接收比特流。视频解码器120重建视频数据后，该重建后的视频数据被储存在帧缓冲器130中。举例来说，当前重建后的视频数据可被一后处理的帧作为参考帧。在另一个例子中，如果一帧的重建后的视频数据在先前的显示顺序中没有准备好，则当前重建后的视频数据便不能被输出及显示。因此，需要在帧缓冲器130中储存重建后的视频数据。对于包含帧压缩的一解码器，帧缓冲器130中的参考帧以一压缩格式被储存，对应的帧再压缩编码解码器(frame re-compression codec)132的一帧压缩解码器用来储存一压缩形式的帧数据及恢复被压缩的帧数据。因为帧压缩应用于解码后的视频数据，所以参考帧的帧压缩在一些文献中也称为帧再压缩(frame re-compression)。换言之，解码后的视频数据是又一次被再压缩的。在本说明书中，术语「帧压缩」和「帧再压缩」可交替使用。当解码器需要存取(access)被压缩的帧数据时，帧再压缩编码解码器132的解码器部分将压缩的参考数据解压缩并提供至解码器。压缩的帧缓冲器可用来储存帧以用于显示。帧再压缩解码器134解码被压缩的帧并提供至显示装置140用于显示。在一实施例中，显示装置140包含一后置处理模块，用于处理要显示的视频数据(例如，分辨率调整、图像品质调整或屏幕显示(OSD)结合等)。在另一实施例中，显示装置140更包含一屏幕，用于接收后置处理模块输出的视频数据并将其显示在屏幕上。虚线框150中的模块表明所需要的示范性元件，以支持视频解码系统中的帧压缩。在本发明中，帧再压缩编码解码器132压缩的重建后视频数据被称为压缩-重建后的视频数据(compressed-reconstructed video data)。帧解压缩用于该压缩-重建后的视频数据，在本发明中，该压缩-重建后的视频数据的解压缩数据被称为恢复-重建后的视频数据(recovered-reconstructed video data)。

[0023] 在传统的帧压缩中，通常对所有的参考帧使用一固定压缩比。压缩比定义为压缩后的比特流大小与未压缩的数据大小的比值，所以若压缩比为1/2，则代表压缩后的结果为未压缩时的一半。图2A为包含一I帧、一P帧及两个B帧的图像的一分组的实施例。若整体压缩比为3/4，传统帧压缩会对所有帧使用同样的压缩比3/4。在上述实施例中，P帧以I帧作为参考帧来进行运动补偿重建(motion-compensated reconstruction)，B帧以I帧及P帧为参考帧来进行运动补偿重建，其他任意帧都不会依赖B帧来进行重建。因此，I帧中的帧压缩所引入的任意退化(degradation)都会传播至P帧及B帧，同样地，P帧中的帧压缩所引入的退化会传播至B帧。换句话说，相比P帧及B帧而言，I帧中的帧压缩引入的噪声在整体系统品质(overall system quality)上会有更大的影响。同样地，相比B帧而言，P帧中的帧压缩引入的噪声在整体系统品质上会有更大的影响。因此，通过给I帧分配较少的数据简化(data reduction)而给B帧分配较多的数据简化，可以实现提升系统性能的目的。图2B所示为根据本发明的自适应性帧压缩实施例。取代给所有帧分配同一压缩比的方式，本发明一实施例对I帧和P帧不压缩(即压缩比＝1)，对两个B帧采用压缩比1/2。平均压缩比与之前的相同，仍为3/4。在图2B的实施例中，相比基于传统帧压缩方式被压缩的帧而言，当其他帧得到更多压缩时，一些参考帧便不会被压缩。然而，视频品质会由于自适应性帧压缩而被提升。图2C所示为包含自适应性帧压缩的一解码器和使用传统帧压缩的一解码器间的性能对比的示范性实施例。以一相对比例显示品质，其中比例为1指的是没有帧压缩的品质。曲线210表示根据本发明一实施例用以提升性能的自适应性帧压缩的一解码器的性能，曲线220表示使用传统帧压缩的一解码器的性能。

[0024] 图2B的实施例用来说明基于参考帧图像类型的自适应性帧压缩的益处。图像类型信息很容易从视频比特流的语法中得到。帧压缩的自适应控制可基于从解码器得到的信息和/或从解码器系统提取的信息。图3A所示为依据本发明一实施例的示范性方块图。自适应性帧压缩控制器310用来从解码器系统接收信息并且为帧压缩提供编码参数(coding parameters)以提高压缩品质。视频解码器120接收到的信息可为来源于比特流的语法元素(syntax elements)。如图2B所示实施例中，当使用图像类型(I，P和B)时，其他被解码的语法元素也被使用。此外，解码器系统状态及系统参数也可用来为帧压缩提供自适应控制以提高压缩性能。系统监视器320可用来监视或判定系统状态及系统参数。自适应性帧压缩控制器310判定的帧压缩参数提供至帧再压缩编码解码器330以调整帧压缩的编码参数。帧再压缩编码解码器330包含帧缓冲编码器334和帧缓冲解码器332。视频解码器120重建的参考数据在其被写入帧缓冲器130之前，由帧缓冲编码器334进行处理。当参考数据被视频解码器120存取时，帧缓冲器130中的被压缩参考数据会在其被提供至视频解码器120之前由帧缓冲解码器332进行解压缩。

[0025] 图3B所示为依据本发明实施例的基于系统状态/参数和解码器语法元素的判定帧压缩控制的工作流程图。自适应性帧压缩控制的判定360是从系统监视器320接收系统状态/参数输入340，自适应性帧压缩控制的判定360也可从视频解码器120接收解码器语法元素输入350，或者，自适应性帧压缩控制的判定360可同时接收系统状态/参数输入340及解码器语法元素输入350。自适应性帧压缩控制的判定360会为自适应性帧压缩产生帧压缩控制信息370，以达到更好的压缩品质。系统状态和参数对于判定帧压缩参数是有帮助的。举例来说，一个解码器系统通常采用系统总线架构(system bus architecture)来互连(interconnect)处理组件(processing components)和系统内存(system memory)。系统内存可采用DRAM来实现，同时帧缓冲器可储存在DRAM中。帧缓冲器内存的存取通常会消耗可用系统带宽的极大一部分，有些帧会比其他帧消耗更多系统带宽。举例而言，一个B帧可能参考两个参考帧，同时在重建期间会消耗更多的DRAM带宽。因此，需要采用帧压缩来减少系统带宽，或者当帧压缩已经被采用时，通过降低压缩比来进一步减少系统带宽。相应地，系统状态/参数相关的信息(例如，系统带宽341、帧缓冲器尺寸342、帧缓冲器状态343、系统功耗(system power consumption)344以及系统处理负荷(system processingload)345)可作为自适应性帧压缩的系统状态/参数。若解码器系统分配了一个较小的帧缓冲器尺寸，自适应性帧压缩控制会选择较小的压缩比以适应(accommodate)该较小的帧缓冲器尺寸。另一方面，在缓冲器状态表明高缓冲占用(high buffer occupancy)期间，该自适应性帧压缩控制能选择较小的压缩比(即更多的压缩)来避免缓冲器溢出(buffer overflow)。自适应性帧压缩控制也可检查系统功耗或系统处理负荷以判定是否采用帧压缩，若系统已经处于高系统功耗或高系统处理负荷状态下，如有可能系统会避免采用帧压缩。系统状态/参数设置中的元素(elements)可在自适应性帧压缩控制中单独使用，或者，系统状态/参数设置中的两个或更多元素可在自适应性帧压缩控制中共同结合使用。图3B列出的系统状态/参数设置用来表明，对于自适应性帧压缩控制以达到更好的压缩品质来说，该系统状态/参数设置中的一些示范性元素是很有帮助的。图3B列出的系统状态/参数设置的这些元素不应该作为本发明的限制，任何本领域的技术人员可使用上述系统状态/参数设置相关的其他元素来实现本发明。

[0026] 在视频编码处理期间，编码器会产生各种语法元素以整合(incorporate)到视频比特流中。解码器会从视频比特流中恢复出语法元素，并且将其用于视频重建的处理中。举例来说，图像类型(I帧、P帧或B帧)通常被整合到比特流中以指示该图像类型。各种比特流语法元素对于自适应性帧压缩都是有帮助的。举例而言，对于自适应性帧压缩控制，参考帧指示器(reference frame indicator)351指示该帧是否被作为参考，初始图像量化参数(quantization parameter，QP)352指示一图像的初始量化参数，图像类型353、图像尺寸354、可适性视频编码(scalable video coding，SVC)的空间层(spatial layer)355、可适性视频编码的品质层(quality layer)356、多视角(multiple view)系统中的view_id 357及多流(multiple stream)系统中的stream_id 358都可使用。对于自适应性帧压缩控制，可单独使用比特流语法元素，或者也可将两个或多个比特流语法元素结合使用。图3B列出的比特流语法元素用来说明，用于自适应性帧压缩控制以达到更好的压缩品质的一些有效的实施例。这些比特流语法元素不应该作为本发明的限制，任何本领域技术人员可使用其他比特流语法元素来实现本发明。

[0027] 图3B为用于帧压缩以提高压缩品质的一些示范性控制信号。图3B中的示范性控制信号包含无帧压缩371、应用帧压缩372、增加压缩比373、减小压缩比374、保持压缩比375、从一设置中选择压缩比376、选择一压缩算法377及应用无损压缩378。当图3B所提及的压缩比作为自适应性帧压缩控制相关的一编码参数时，通过调整帧压缩技术内在的(intrinsic)其他参数，可以实现帧压缩的压缩比调整。举例来说，若帧压缩基于转换编码(transform coding)，转换系数的量化步长(quantization step size)或量化参数是调整压缩比的一种有效方法。为了获得一要求的压缩比，可以采用一种比特分配机制(bit allocation scheme)或一种比特率控制机制(bitrate control scheme)，其中，比特分配机制或比特率控制机制是所属领域的公知常识，故对其细节说明在此省略以求简洁。

[0028] 图4为基于系统带宽的自适应性帧压缩一实施例对应的工作流程图。在步骤410中，系统带宽BW与阈值T2作比较。如果系统带宽BW超过阈值T2，如步骤420，减小压缩比；否则，如步骤430，增加压缩比。图4的工作流程图表示依据本发明一实施例的基于系统带宽以提高压缩品质的自适应性帧压缩的一实施例。任何本领域技术人员，在基于系统状态/参数的自适应性帧压缩控制相关步骤上，可作些许的修改或增加一些步骤来实现本发明。例如，在上述实施例中，当带宽不大于阈值T2时，会执行一附加测试来检测BW是否比阈值T3大，其中T2＞T3。若条件T2≥BW＞T3成立，压缩比保持不变；否则，压缩比增加。更多的阈值会被采用以将带宽划分成更多的间隔，每一间隔会指定一对应的压缩比。如上所述，系统状态/参数的其他元素，例如分配的帧缓冲器尺寸、帧缓冲器的缓冲区占用(buffer occupancy)、系统功耗、系统处理负荷以及与带宽、功耗和处理负荷相关的其他参数，也会在自适应性帧压缩控制中使用，以提高压缩品质。

[0029] 图2B为基于帧类型的自适应性帧压缩的一实施例。针对自适应性帧压缩控制，也能够使用从解码器的比特流中得到的各种语法元素以提高压缩品质。举例来说，在H.264/AVC标准中使用的语法元素：nal_ref_idc，pic_init_qp_minus26，pic_width_in_mbs_minus1，pic_height_in_map_units_minus1以及level_idc，可在自适应性帧压缩中使用，以提高压缩品质。语法元素nal_ref_idc是定义在H.264/AVC中的一网络抽象层(Network Abstraction Layer，NAL)级(level)语法。当nal_ref_idc等于0时，表明相关帧为一非参考帧，也就意味着像素数据不会被后续的帧作为参考，因此由帧压缩产生的误差漂移(error drift)不会传播到其他帧，从而，更多的压缩(即较小的压缩比)能够在这些帧中得到应用。语法pic_init_qp_minus26是基础图像(underlying picture)中与初始量化参数(QP)有关的一图像级语法。较大的QP意味着基础图像包含了较多的低频内容，更适于进行帧压缩。相应地，用于图像的一较小的压缩比有一较大的QP值。语法元素pic_width_in_mbs_minus1，pic_height_in_map_units_minus1以及level_idc为序列级语法。语法元素pic_width_in_mbs_minusl和pic_height_in_map_units_minus1与图像尺寸有关。越大的图像需要越多的帧缓冲器空间并作为更多压缩的候选。相应地，大图像会使用较小的压缩比。语法profile_idc和level_idc为序列相关图像的轮廓(profile)和级数，可在自适应性帧压缩中使用以提高压缩品质。从上述H.264/AVC视频标准的例子可知，本发明实施例可用于各种视频标准，包含MPEG-1/2/4，H.261/2/3，WMV/VC-1，AVS，VP6/8等，但不局限于此。

[0030] 图5为基于得自视频解码器120的语法元素的自适应性帧压缩控制以提高压缩品质的一示范性工作流程图。步骤510中，将图像宽度和图像高度(Pic W，H)与第一阈值T0进行检查。若图像宽度和图像高度比第一阈值T0大，在步骤520中对语法元素nal_ref_idc进行检查，若为一非参考帧(nal_ref_idc＝0)，帧压缩于步骤522中实施；否则，再执行进一步的测试来判定pic_init_qp_minus26是否如步骤530所示大于第二阈值T1。若pic_init_qp_minus26大于第二阈值T1，则采用帧压缩(步骤532)；否则，不采用帧压缩(步骤534)。如果步骤510中的测试结果为假(false)，将进行进一步测试以判定pic_init_qp_minus26是否如步骤540所示大于第二阈值T1，若步骤540中的测试结果为真(true)，则采用帧压缩(步骤544)；否则，不采用帧压缩(步骤542)。图5中的示范性工作流程图为依据本发明以提高帧压缩品质的一实施例。所属领域技术人员可通过对上述工作流程图做些许修改来实现本发明的自适应性帧压缩以提高帧压缩品质，例如，可以重新安排这些步骤、加入更多其它步骤，或者略过一些步骤。

[0031] 图4所示的基于系统状态/参数的帧压缩控制及图5所示的基于比特流语法元素的帧压缩控制，在一视频处理装置中被采用，以根据本发明一实施例解码一比特流。初始帧的压缩比如图6所示，其中压缩比为1表明没有采用帧压缩。对于第一个三帧(1帧，2帧和3帧)，没有采用帧压缩；对于4帧、5帧和6帧，采用的压缩比分别为3/4，1/2和1/2；对于7帧、8帧和9帧，没有采用帧压缩。基于所使用的特定的自适应性帧压缩控制及基础比特流的特性，该压缩比自适应地被调整，以提高帧压缩品质。在包含传统帧压缩的一解码器中，压缩比通常是固定的。当压缩比为1时表明为了维持基础参考帧的整体品质而没有采用帧压缩，而是以无损压缩来进行替代。

[0032] 本发明一实施例也可应用在一多层次编码系统(multi-layer coding system)(例如，一可适性视频编码(SVC)系统或一多视角视频编码(MVC)系统)的一解码器中。在一多层次编码系统中，基础视频以多层次来表示，层间预测(inter-layer prediction)用来进行有效的视频编码，使用层间预测的一高层(higher layer)图像的重建要以一底层(lower layer)图像为参考。因此，如果这一低层图像随后会被一高层图像使用，该底层图像就必须要储存在缓冲器中。可适性视频编码可提供空间分级(spatial scalability)，其中一低空间分辨率图像可被初始重建，高空间分辨率图像可利用在比特流中接收的附加数据来被重建。一空间分级图像构造如图7所示，其中分层图像构造由三个空间图像层组成。最底层710用dependency_id，D＝0表示，第二层720用dependency_id，D＝1表示，第三层730用dependency_id，D＝2表示。如果一较底层图像被其他层用来进行重建，那么较底层帧压缩所产生的噪声便会传播至较高层。因此，有益的做法是，为一较底层图像选择更好的图像品质(更大压缩比)，一较高层图像便依赖于此以进行重建。

[0033] 图7为依据本发明的自适应性帧压缩的一实施例。阴影图案(shaded pattern)表示该图像使用了帧压缩进行压缩。如图7例子所示，第三层图像730是要显示的目标图像。因此，在第三层图像730中由帧压缩产生的任何噪声，都不会影响其他层的图像品质。所以，如阴影图案所示，帧压缩在第三层图像730中被采用。对于第一层图像及第二层图像，二者都可作为其他层进行重建的基础图像。被其他层的图像用于重建的基础图像，可从语法元素ref_layer_dq_id来判定，其中，当前dependency_id＝ref_layer_dq_id表示，该层被其他层使用来进行重建。若该层被其他层使用来进行重建，为了保持图像品质，该层不会被压缩。相应地，如箭头732所示，因为第二层图像720被第三层图像730作为参考，所以第二层图像720没有被压缩；另一方面，第一层图像710被压缩。图7为通过对第二层不采用压缩及对第一层和第三层采用帧压缩，基于一可适性视频编码系统的空间层的自适应性帧压缩的一实施例。然而，此例中为各层得出压缩比的具体方法不应该作为本发明的限制。所属领域的技术人员可基于可适性视频编码系统的空间层，通过提供不同的帧压缩控制来实现本发明。例如，第一层可被稍微压缩，第二层可不压缩，第三层可比第一层使用更小的压缩比来进行压缩。

[0034] 图8所示为一品质可适性图像构造，其中该可适性图像构造由三个图像品质层组成。最底层810用quality_id，Q＝0表示，其中该图像可不依赖其他层图像而进行重建。第二层820用quality_id，Q＝1表示，其中该图像重建依赖一底层图像。第三层830用quality_id，Q＝2表示，其中该图像重建依赖两个底层图像。该第一层的帧压缩产生的任意噪声，都会传播至该第二层和该第三层，以及该第二层的帧压缩产生的噪声会传播至该第三层。因此，有益的做法是，为底层图像选择高图像品质(更大压缩比)，为高层图像选择低图像品质(更小压缩比)。

[0035] 图8为依据本发明的自适应性帧压缩的一实施例。阴影图案表示该图像使用帧压缩进行压缩。如图8所示的例子中，当最上层图像830被压缩时，两个底层图像810和820没有被压缩。图8为通过对第一层和第二层不采用压缩及对第三层采用帧压缩，基于一可适性视频编码系统的品质层的自适应性帧压缩的一实施例。然而，此例中各层压缩比的具体判定不应该作为本发明的限制。所属领域的技术人员可基于可适性视频编码系统的品质层，通过提供不同的帧压缩控制来实现本发明。例如，第一层可不被压缩，第二层可被稍微压缩，第三层可比第二层使用更小的压缩比来进行压缩。

[0036] 图9为依据本发明的基于空间层的自适应性帧压缩以提高压缩品质的一示范性工作流程图。Dcurr为当前层，用当前dependency_id表示，Dtarget为目标层，用目标dependency_id表示。步骤910中，执行判断当前层是否等于目标层的测试，若当前层等于目标层，意味着当前层为目标层，并且，帧压缩在当前层被采用(即压缩比Ratio＜1)，如步骤912所示；否则，在步骤920中执行判断当前层是否等于ref_layer_dq_id的测试。若步骤920中的测试结果为真，即意味着当前层为其他层的一参考层，当前层不会被压缩(即压缩比Ratio＝1)，如步骤924所示；否则，该层被压缩(即压缩比Ratio＜1)，如步骤922所示。图9为依据本发明实施例的基于空间层语法的自适应性帧压缩以提高压缩品质的一实施例的工作流程图。所属领域的技术人员可通过重新安排这些步骤来实现本发明，例如修改或加入一个或多个基于系统状态/参数的自适应性控制相关的步骤。

[0037] 本发明一实施例也可在一多视角视频编码系统中的一解码器中使用。图10为3D视频的多视角视频编码的一实施例，其中该3D视频通过对应于一左视角和一右视角的两个序列1010和1020来表示。通常，当一个视角被当成一目标视角并可用视角间预测(inter-view prediction)来进行编码时，另一个视角可被当成一基础视角并可用传统视频编码来进行编码。图10所示的例子指定左视角为基础视角，并采用常规视频序列编码，例如H.264/AVC，来压缩对应于基础视角的视频序列。基础视角1011、1012、1013、1014、1015、1016和1017一段帧的图像类型如图10所示，其中1011和1017帧为I帧，而其他帧为B帧。目标视角的视频编码可使用以基础视角作为预测器的视角间预测。目标视角的相应帧标记为1021至1027，如图10所示。1021和1027帧分别使用相应的视角间帧1011和1017来进行预测，对应地，1021和1027帧作为P帧被编码，其他帧作为B帧被编码，其中目标视角的B帧的预测可基于基础视角的帧和/或目标视角中先前编码的帧来进行。

[0038] 目标视角的B帧可被目标视角的其他帧作为参考帧，也可不被目标视角的其他帧作为参考帧。如果目标视角的一B帧没有作为目标视角中其他帧的一参考帧，则可使用帧压缩来对B帧进行压缩以提高压缩品质。在图10的例子中，1022，1023，1025和1026帧为非参考(Non-ref)的B帧，并使用帧压缩来进行压缩，如阴影图案部分所示。目标视角中的1024帧被其他帧使用以进行重建，并以一未压缩形式储存在帧缓冲器中。图10为一多视角编码系统中的一解码器的自适应性帧压缩的一实施例，其中该自适应性帧压缩控制基于视角层和参考图像预测nal_ref_idc。本领域的技术人员可通过判定自适应性帧压缩控制来实现本发明，该自适应性帧压缩控制是基于该视角层和一个或多个比特流语法元素的组合。此外，由自适应性帧控制压缩的帧会使用各种压缩比以提高压缩品质。

[0039] 本发明一实施例也可在一多码流视频编码系统(multi-stream video codingsystem)中的一解码器中使用。图11A和图11B为多码流系统中的两个例子：图像与图像布置(picture-in-picture arrangement)1100和视频会议布置(videoconference arrangement)1150。在图像与图像布置的例子中，多码流数据包含与一主图(main picture)相关的一比特流和与一子图(sub-picture)相关的一比特流。主图1102通常覆盖了整个显示区域，而子图1104通常覆盖一较小的显示区域。图11A显示主图1102为一分辨率为1920×1080的HDTV图像，而子图1104为一分辨率为640×480的SIF图像。主图比特流和子图比特流相当于两条不同电视信道(TV channels)的HDTV信号。然而，当该子图的解码HDTV信号可能与主图有着同样高的分辨率时，该子图的解码HDTV信号会显示在减小的尺寸中，帧压缩产生的任意噪声将不太明显。相应地，有益的做法是，对子图采用帧压缩，而不对主图采用帧压缩，以提高压缩品质。

[0040] 图11B为视频会议布置的一实施例，包含在同一显示区域1152的一远程站点(remote site)的一视频窗口1154和一本地站点(local site)的一视频窗口1156。通常本地站点的显示窗口用于监测目的并且使用一减小的窗口尺寸。另一方面，从远程站点所看到的视频是视频会议的主要目的。因此，远程站点通常使用一较大的显示窗口。图11B例子中所使用的该显示窗口的尺寸在远程站点及本地站点分别为720×480及320×240。因为本地站点的显示窗口用于监测目的，所以本地显示的视频通常从本地站点传输的比特流中得到。该解码的本地视频可与该远程站点具有同样高的分辨率。然而，该解码的本地视频是以一减小的分辨率显示在屏幕上，由帧压缩产生的任意噪声将不太明显。相应地，有益的做法是，对本地视频采用帧压缩，而不对远程视频采用帧压缩，以提高压缩品质。

[0041] 基于系统信息和/或比特流语法以提高压缩品质的自适应性帧压缩实施例，可以各种硬件编码、软件编码或软硬件结合编码的方式来实现。举例来说，本发明一实施例可为整合于一视频压缩芯片(video compression chip)中的多处理器电路(multiple processor circuits)，或者为整合于视频压缩软件中的程序代码，以实现此处描述的处理过程。本发明的一实施例也可为在一电脑CPU中执行的程序代码以实现此处描述的处理过程，该电脑CPU具备多CPU核或数字信号处理器(Digital Signal Processor，DSP)。本发明也可包含被电脑处理器(computer processor)、数字信号处理器、微处理器(microprocessor)或现场可编程门阵列(field programmable gate array，FPGA)执行的许多功能。依据本发明，可配置这些处理器以执行特定的任务，例如通过执行机器可读(machine-readable)软件代码或固件代码来定义本发明的特定方法，这些软件代码或固件代码可用不同的编程语言及不同的格式或类型来开发。软件代码也可在不同的目标平台上编译。然而，依据本发明以不同的代码格式、类型、软件代码的语言及其他配置代码的方式来执行任务，都不会脱离本发明的精神和范围。

[0042] 虽然本发明已以具体实施例揭露如上，然其仅为了易于说明本发明的技术内容，而并非将本发明狭义地限定于该实施例，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，因此本发明的保护范围当视本发明的权利要求所界定者为准。

标题	发布/更新时间	阅读量
用于基于三维色彩映射模型参数优化的系统和方法	2020-05-08	959
用于混合的交错和递进内容的可伸缩视频编码的方法	2020-05-11	643
针对高效率视频编码标准的跳过编码模式提前判决方法	2020-05-12	579
向后兼容的HDR视频多层压缩技术	2020-05-12	152
编码方法、系统和编码器、解码方法、系统和解码器	2020-05-12	159
一种基于压缩感知的质量可分级快速编码方法	2020-05-12	779
压缩/解压缩的装置和系统、芯片、电子装置、方法	2020-05-08	169
在native层实现无缝录像的方法、装置及终端设备	2020-05-08	810
用于对视频数据进行编码的方法、装置和设备	2020-05-12	62
解码器、解码方法、编码器和编码方法	2020-05-08	403

视频解码方法及其系统

视频解码方法及其系统

该功能需要专业版企业版VIP权限，您可以：