使能够进行平滑质量转换的自适应流感知节点、编码器以及客户端专利检索-图像比例显示技术专利检索查询-专利查询网

使能够进行平滑质量转换的自适应流感知 节点、编码器以及客户端

阅读：390发布：2024-01-16

专利汇可以提供使能够进行平滑质量转换的自适应流感知节点、编码器以及客户端专利检索，专利查询，专利分析的服务。并且对于自适应流，视频项目在多个质量版本中可用。在所述不同质量版本中对应的视频切片(411，421；412，422)被预处理以包含用于相等图像部分的比特串。所述客户端(303)可请求所述视频项目的视频段借以在其请求中指定任何任意的被请求质量/比特率。随即自适应流感知节点 (301)以匹配所述任意的被请求质量的比率为所述被请求的视频段从多个质量版本中成比例地选择视频切片/NAL单元(431，442)。所述自适应流感知节点(301)将包括所述成比例地选择的视频切片/NAL单元(431，442)的视频段流传输至所述客户端(303)。，下面是使能够进行平滑质量转换的自适应流感知节点、编码器以及客户端专利的具体信息内容。

权利要求

1.一种自适应流感知网络节点(301)，其能够将视频项目的视频段流传输到客户端(303)，所述视频项目在多个质量版本(316，317)中可用，所述多个质量版本(316，317)具有相同的图像纵横比，并且在所述多个质量版本中对应的视频切片(411,421；412,422)被预处理以包含用于相等图像部分的比特串，所述自适应流感知网络节点(301)包括：
-请求接收装置，用于接收和解释来自所述客户端的对所述视频项目的视频段的请求，所述请求指定任意的被请求质量；
-切片选择装置，用于以匹配所述任意的被请求质量的比率从所述多个质量版本(316，
317)中为所述视频段成比例地选择视频切片(431，442)；
-流传输装置，用于将包括成比例地选择的所述视频切片(431，442)的所述视频段流传输到所述客户端(303)。
2.如权利要求1所述的自适应流感知网络节点(301)，
其中所述切片选择装置适于从所述视频项目的第一质量版本(317)和第二质量版本(316)以各自的概率随机地或伪随机地选择视频切片(431，442)，所述各自的概率被确定以匹配所述任意的被请求质量。
3.如权利要求1所述的自适应流感知网络节点(301)，
其中所述切片选择装置适于从第一质量版本(317)选择所述视频项目的第一数量的视频切片(431)，并且从第二质量版本(316)选择所述视频项目的第二数量的视频切片(442)，所述第一数量和第二数量被确定以匹配所述任意的被请求质量。
4.如权利要求1所述的自适应流感知网络节点(301)，
其中所述切片选择装置适于从第一质量版本(317)选择具有第一语义的第一数量的视频切片(431)，并且从第二质量版本(316)选择具有第二语义的第二数量的视频切片(442)，所述第一数量和所述第二数量被确定以匹配所述任意的被请求质量。
5.如权利要求2或权利要求3或权利要求4所述的自适应流感知网络节点(301)，其中所述视频项目的第一质量版本和第二质量版本具有相差有理数N'/N的分辨率；并且
其中对所述第一质量版本中的N×N宏块的方形和所述第二质量版本中对应的N'×N'宏块的方形作出实质上相等的编码决策。
6.一种将视频项目的视频段流传输到客户端(303)的方法，所述视频项目在多个质量版本(316，317)中可用，所述多个质量版本(316，317)具有相同的图像纵横比，并且所述多个质量版本(316，317)中对应的视频切片(411，421；412，422)被预处理以包含用于相等图像部分的比特串，所述方法包括：
-接收并解释来自所述客户端(303)的对所述视频项目的视频段的请求，所述请求指定任意的被请求质量；
-以匹配所述任意的被请求质量的比率从所述多个质量版本(316,317)中为所述视频段成比例地选择视频切片(431,442)；以及
-将包括成比例地选择的所述视频切片(431,442)的所述视频段流传输到所述客户端(303)。
7.一种能够请求、接收并解码视频项目的视频段的自适应流感知客户端(303)，所述视频项目在多个质量版本(316，317)中可用，所述多个质量版本(316，317)具有相同的图像纵横比，并且所述多个质量版本(316，317)中对应的视频切片(411，421；412，422)被预处理以包含用于相等图像部分的比特串，所述自适应流感知客户端(303)包括：
-请求生成装置，用于生成对所述视频项目的视频段的请求，所述请求指定任意的被请求质量，所述任意的被请求质量不与所述多个质量版本(316，317)中的任意一个一致；
-清单文件接收装置，用于接收和解释清单文件，所述清单文件描述在所述多个质量版本(316，317)中所述视频项目的视频切片的可用性；
-逐切片质量选择装置，用于选择用于所述视频段的每个视频切片的被请求的质量版本，以与所述任意的被请求质量匹配的比率从所述多个质量版本(316，317)中成比例地选择所述被请求的质量版本；
-所述请求生成装置适于生成指定用于每个视频切片的所述被请求的质量版本的请求。
8.一种用于请求、接收和解码视频项目的视频段的方法，所述视频项目在多个质量版本(316，317)中可用，所述多个质量版本(316，317)具有相同的图像纵横比，并且所述多个质量版本(316，317)中对应的视频切片(411，421；412，422)被预处理以包含用于相等图像部分的比特串，所述方法包括：
-生成用于所述视频项目的视频段的请求，所述请求指定任意的被请求质量，所述任意的被请求质量不与所述多个质量版本(316，317)中的任意一个一致；
-接收和解释清单文件，所述清单文件描述在所述多个质量版本(316，317)中所述视频项目的视频切片的可用性；
-选择用于所述视频段的每个视频切片的被请求的质量版本，以与所述任意的被请求质量匹配的比率从所述多个质量版本(316，317)中成比例地选择所述被请求的质量版本；
以及
-生成指定用于每个视频切片的所述被请求的质量版本的请求。

说明书全文

使能够进行平滑质量转换的自适应流感知 节点、编码器以及

客户端

技术领域

[0001] 本发明一般地涉及视频段的自适应流，即，典型地具有数秒钟长度的视频项目的固定大小或可变大小的片段，其可依据可用的网络及客户端资源以不同版本或质量等级传送。本发明特别地旨在当网络或客户端资源变化以致视频项目被请求的质量需要被改变时，平滑视频质量、比特率和播出缓存器填充水平的波动。

背景技术

[0002] 越来越多地使用自适应流(AS)技术来传送视频，像例如超文本传输协议(HTTP)自适应流(HAS)。HAS的优势在于易于部署，因为其比其他协议更容易穿过防火墙，具有从TCP继承来的内在的拥塞控制，以及可使用可用的HTTP基础设施，例如HTTP缓存节点和内容分发网络(CDN)节点。

[0003] 使用自适应流，视频项目——例如视频文件或流——可被编码并且使得在不同版本中可用。所述不同版本表示不同的质量等级和不同的比特率。在特定的时间点，视频客户端基于其自身的测量估计最高可支撑的质量等级，并且以此最高的可支撑质量等级请求视频项目。两个连续的转换时间之间的间隔被称为视频段。与所述间隔对应的比特串——注意有多少质量版本就有多少比特串——被称为组块(chunk)。换句话说，视频客户端监测可用网络吞吐量，尤其是由传输控制协议(TCP)提供的吞吐量，并且通过请求传送具有特定质量的视频段来设法针对可用的网络吞吐量为下一视频段匹配视频比特率。因为被请求的比特率不能精确地匹配可用的比特率，所述视频客户端需要维护播出缓存器以避免播出停顿或中断。

[0004] 在传统HTTP自适应流情况中，每个段通过连同清单文件的HTTP服务器而可用，所述清单文件在用于播出的可用质量等级和所需的段方面描述了视频项目。所述视频客户端通过从所述HTTP服务器请求清单文件来发起播出。所述视频客户端随后通过为每个段发送HTTP-GET请求，开始下载所述视频段。在HTTP-GET请求中指定对每个视频段期望的质量。另外，所述视频客户端合并了自动地确定每个被请求的视频段的质量等级的客户端启发方法。由所述客户端启发方法进行的质量选择是基于上述被监控的可用网络吞吐量，但还可考虑其他参数，如客户端终端规格，例如，显示器尺寸、支持的解码器和客户端设备的处理能力，以及涉及正在继续的会话的附加信息，例如客户端缓冲器的填充水平等等。

[0005] 通常，所述视频项目的两个质量版本之间的转换导致对观看者来说非常明显的质量跳变、非常显著的比特率跳变、以及非常大的播出缓冲区填充水平波动，因此引起视频客户端启发方法再次转换。即使对于两个邻近的质量版本，较高的质量/比特率版本可在很大程度上超过可用的网络吞吐量，而较低的质量/比特率版本可能小于所述可利用的网络吞吐量。因此，所述视频客户端算法将在所述两个邻近的质量版本之间经常转换，导致恼人的质量跳变和观看体验。

[0006] 用于上面明确的问题的直截了当的方案包括预测视频项目更多的质量版本，并且相应地增加视频客户端的智能以改善转换之间的比特率的粒度。然而此方案的缺点在于更多的每个视频项目的质量版本需要更多的视频服务器中的存储能力及视频点播(VoD)环境中的中间节点，或者需要增加至在实时流媒体环境中为视频客户端服务的节点的网络传输能力。

[0007] 在多种的解决方案中避免了对需求的存储以及传输能力的增加，可在视频服务器或中间CDN节点实施转码。当客户端请求时，通过解码和编码，这样的转码功能可从现有的质量版本构建出新的质量版本。然而具有转码器的多种解决方案需要视频服务器和中间CDN节点的处理能力的显著增长以使得能够进行所述解码和编码。

[0008] 本发明的目的在于公开自适应流感知网络节点、自适应流感知客户端、以及视频编码器，其能够在没有显著影响视频服务器及CDN节点所需要的存储能力或处理能力，并且没有影响所需要的网络传输能力的情况下，解决上述确定的在传统自适应流中的比特率、缓存器填充水平以及质量方面的高波动的技术问题。

发明内容

[0009] 依据本发明，上述确定的目的通过由权利要求1限定的自适应流感知网络节点实现，能够流传输视频项目的视频段至客户端，所述视频项目在多个质量版本中可用，所述多个质量版本具有相同的图像纵横比，并且在所述多个质量版本中对应的视频切片(video slice)被预处理以包含用于相等图像部分的比特串，所述自适应流感知网络节点包括：

[0010] -请求接收装置，用于接收和解释来自客户端对视频项目的视频段的请求，所述请求指定任意的被请求的质量；

[0011] -切片选择装置，用于按照与所述任意的被请求的质量匹配的比率从所述多个质量版本中为视频段成比例地选择视频切片；

[0012] -流传输装置，用于将包括所述适当地选择出的视频切片的视频段流传输至所述客户端。

[0013] 因此，本发明预见以在视频服务器或中间节点中的机制来预测，为被请求的视频段构建由客户端请求的任意质量的比特串或组块(chunk)。所述比特串是通过在数量或比例方面挑选能够匹配所述请求的任意质量/比特率的现有的质量版本的视频切片来构建。这样的视频切片为能够被独立地解码的宏块集合。宏块集合为如16x 16 像素的基本块。与视频切片对应的比特串被称为网络适配层(NAL)单元。本发明因此聪明地从例如所述视频项目的两个邻近的质量版本中选择NAL单元以便为所述被请求的视频段构建组块，并且匹配或接近所期望的任意质量等级，典型地为NAL单元被选中并被适当地结合的质量版本之间的质量等级。

[0014] 由于依照本发明的节点使用可用质量版本的视频切片，在NAL单元选择处理中不需要进行解码和编码，并且因此视频服务器和/或CDN节点中所需的处理能力没有受到消极地影响。由于不需预测和存储视频项目的附加质量版本，在视频服务器和CDN中需要的整体存储能力以及整体网络传输能力同样没有被影响。

[0015] 为避免质量劣化，所述视频切片或NAL单元优选地可被独立地解码，即，不依赖先前被解码的视频段的NAL单元，所述视频段已从所述视频项目的质量/比特率版本中被选择出，其不同于当前被解码的视频切片或NAL单元。为了获得能够被独立解码的NAL单元，有必要预先处理所述视频项目的不同质量版本的视频切片以包含用于相同图像部分的比特串，即，表示图像中相同区域的比特串。换句话说，虽然视频段与视频段之间的所述切片不同，但视频切片必须跨不同的质量版本被排列(aligned)。进一步优选地，编码与不同质量版本的视频帧对应的相同的运动矢量，以及在不同质量版本中的帧模式转换是同步的，对此在文章后续中将阐释更多的细节。对于本发明的进一步的先决条件为所述不同的质量版本拥有相同的图像纵横比，即相同的宽/高比例，例如，4:3或16:9。

[0016] 在依据本发明所述的自适应流感知网络节点的第一实施例中，由权利要求2限定，所述切片选择装置适于从所述视频项目的第一质量版本或第二质量版本中以相应地的概率随机地或伪随机地选择视频切片，所述相应地的概率被确定以匹配所述任意的被请求的质量/比特率。

[0017] 因此，在第一实施例中，所述视频切片被随机地或伪随机地以概率P从所述视频项目的第一质量版本并且以概率(1-P)从第二质量版本中挑选。所述第一质量版本和第二质量版本典型的地应为连续的质量版本，所述第一质量版本具有比所述任意被请求的质量更低的质量/比特率，并且所述第二质量版本具有比所述任意被请求的质量更高的质量/比特率。P应被这样确定：使第一质量/第一比特率切片和第二质量/第二比特率切片的比例能够匹配或接近所述任意被请求的质量。

[0018] 在依照本发明所述的自适应流感知网络节点的第二实施例中，由权利要求3限定，所述切片选择装置适于从第一质量版本选择所述视频项目的第一数量的视频切片，并从第二质量版本选择所述视频项目的第二数量的视频切片，所述第一数量和所述第二数量被确定以匹配所述任意被请求的质量。

[0019] 因此，在所述第二实施例中，所述视频切片以确定的方式从所述视频项目的第一质量版本和第二质量版本被选出。再一次地，所述第一质量版本和第二质量版本典型地应为连续的质量版本，所述第一质量版本具有比所述任意被请求的质量更低的质量/比特率，并且所述第二质量版本具有比所述任意被请求的质量更高的质量/比特率。所述第一质量/第一比特率切片和所述第二质量/第二比特率切片的比例被确定以匹配或接近所述任意被请求的质量。

[0020] 在依照本发明所述的自适应流感知网络节点的第三实施例中，由权利要求4限定，所述切片选择装置适于从所述视频项目的第一质量版本中选择具有第一语义的第一数量视频切片，并从所述视频项目的第二质量版本中选择具有第二语义的第二数量视频切片，所述第一数量和所述第二数量被确定以匹配所述任意被请求的质量。

[0021] 因此，在所述第三实施例中，所述视频切片同样是以确定的方式从所述视频项目的第一质量版本和第二质量版本中选出。再一次的，所述第一质量版本和第二质量版本典型地应为连续的质量版本，所述第一质量版本具有比所述任意被请求的质量更低的质量/比特率，并且所述第二质量版本具有比所述任意被请求的质量更高的质量/比特率。在所述第三实施例中，对主观的质量体验影响较大的切片，例如前景的切片，应从所述较高质量/比特率的第二版本中挑选，相反，对主观的质量体验影响较小的切片，例如背景的切片，应从所述较低质量/比特率的第一版本中挑选。换句话说，在确定哪些切片应从所述第一版本中挑选和哪些切片应从所述第二版本中挑选时，要考虑所述切片的语义(semantic meaning)。第一质量/第一比特率的切片和第二质量/第二比特率的切片的比例被确定以匹配或接近所述任意被请求的质量。

[0022] 在依据本发明所述的自适应流感知网络节点的第四实施例中，所述视频项目的第一质量版本和第二质量版本相差有理数(rational number)N'/N的分辨率；并且实质上，对所述第一质量版本中的N×N宏块的方形和对应的在所述第二质量版本中的N’×N’宏块的方形采取相等的编码决策。在本发明的背景下，第一图像中的宏块集合(相应的切片)被称为与第二幅图像的宏块集合(相应的切片)对应，如果两个集合覆盖所述图像的表面区域的相同部分，则两个宏块集合被认为是相应的。所述第四实施例中的切片选择可同样在所述第一、第二或第三实施例中实施。

[0023] 因此，在所述第四实施例中，假设所述两个质量版本具有相差有理数的分辨率。在这两种分辨率中的切片结构仍被选择以使得所述不同分辨率的切片相对应，在某种意义上这些切片覆盖了两种不同的分辨率的图像的表面区域的相同部分。此外，第四实施例中的2
编码处理被限制以使得对于在第一质量版本中形成N 宏块的方形部分的宏块与相应的在第二质量版本中形成N2宏块的方形部分的宏块，实质上采取相等的编码决定，例如，选择尽可能相似的运动矢量，并且对于所有这些宏块选择相同的模式选择。这样会导致较如第一实施例中的NAL单元挑选过程——即随机地以概率P、如第二实施例——即以局部确定的方式、或如第三实施例——即考虑切片的语义，为少的失真。

[0024] 除了由权利要求1限定的自适应流感知网络节点之外，本发明涉及相应的由权利要求6限定的用于将视频项目的视频段流传输至客户端的方法，所述视频项目在多个质量版本中可用，所述多个质量版本拥有相同的图像纵横比，并且在所述多个质量版本中的相应的视频切片被预处理以包含对相等图像部分的比特流，所述方法包括：

[0025] -接收并解释来自客户端的对所述视频项目的视频段的请求，所述请求指定任意被请求的质量；

[0026] -以匹配所述任意被请求的质量的比率，从所述多个质量版本中为所述视频段成比例地选择视频切片；并且

[0027] -将包括所述成比例选择的视频切片的视频段流传输至客户端。

[0028] 如权利要求7所限定的，本发明进一步涉及自适应流视频编码器，能够以多个质量版本编码视频项目的视频段，所述多个质量版本具有相同的图像纵横比，并且所述自适应流视频编码器适于编码对相等图像部分的多个质量版本中相应的视频切片的比特串。

[0029] 的确，由于本发明组合了视频项目的多个版本的视频切片以接近所述任意的被请求的质量，所述不同版本中的对应的视频切片必须表示所述视频项目中图像的相同区域。由视频切片表示的区域可为任何形状并且从帧到帧之间是可变的，但是所述编码器必须以这样的方式预先处理所述不同的版本，即视频项目的所有版本中的对应切片包含用于相同图像部分或表面区域的比特串或组块。换句话说，所述视频项目的不同质量版本的切片之间必须存在一对一的映射。否则，从所述视频项目的多种版本中挑选的切片的任意选择将不能表示完整的图像或帧。

[0030] 依照由权利要求8限定的可选的方面，依照本发明所述的自适应流视频编码器可进一步适于在所述多种视频版本的对应视频帧中使用相等的运动矢量。

[0031] 所述不同的版本应包含I帧或能够被独立地解码的帧，即不需利用先前已接收到的帧。由于所述视频切片在不同的版本间被对齐(aligned)，所述I帧也被对齐(aligned)。其他类型的帧，即P帧或B帧，使用来自先前已接收到的帧的信息以便被解码。所需的先前接收到的帧被运动矢量所参考，其伴随着该帧并指出先前接收到的帧中的像素值。当实施本发明时，即从多个质量版本中选择视频切片时，编码约束优选地为使得在与所述不同版本的对应P和B切片中，运动矢量是相同的(考虑两个被考虑的质量版本的分辨率之间的比例因子)。由于参考先前接收到的帧中的像素需要依赖所述切片的选择，与来自所述视频项目的不同质量版本的相应切片包含不同运动矢量的情况相比，这将降低噪音。

[0032] 依照由权利要求9限定的另一可选方面，依照本发明所述的自适应流视频编码器可进一步适于同步在所述多个质量版本中的帧模式转换。

[0033] 的确，如果找不到可接收的用于P帧的运动矢量，例如在场景变化的情况下无法使用来自先前已接收到的帧的信息生成/解码新帧，被编码为I帧的帧可被独立地解码。当应用本发明时，这样的帧模式变化或帧模式转换优选地同样跨所述不同的质量版本对齐以降低噪声。

[0034] 除了由权利要求7限定的自适应流视频编码器之外，本发明还涉及对应的用于以多个质量版本编码视频项目的视频段的方法，所述多个质量版本具有相同的图像图像纵横比，并且所述方法包括编码用于相同图像部分的多个质量版本中的对应视频切片的比特串。该方法由权利要求10限定。

[0035] 本发明还进一步涉及如权利要求11限定的自适应流感知客户端，能够请求、接收和解码视频项目的视频段，所述视频项目在多个质量版本中可用，所述多个质量版本具有相同的图像内容比例，并且所述多个质量版本中的对应的视频切片被预处理以包含对相等图像部分的比特串，所述自适应流感知客户端包括：

[0036] -请求生成装置，用于生成所述视频项目的视频段的请求，所述请求指定与任一所述多个质量版本都不一致的任意被请求的质量。

[0037] 因此，依照本发明所述的自适应流感知客户端被允许请求任意质量的视频段。不再限制为列于清单文件上的质量版本，而是可请求以任意中间质量传送视频段。中间版本应随后由依照本发明的服务器以相对比例通过从不同的现有质量版本选出切片来构建，以接近被请求的任意质量等级。所述客户端应依据监测到的吞吐量、播出缓存器填充水平，以及可能的其他参数来确定所述请求的质量等级，并且不再需要将被计算出的期望质量等级/比特率映射至清单文件中列出的最接近的可用质量等级。

[0038] 在依据本发明所述的自适应流感知客户端的进一步的实施例中，由权利要求12所限定，所述客户端进一步包括：

[0039] -清单文件接收装置，用于接收和解释描述多个质量版本的视频项目的视频切片的可用性的清单文件；

[0040] -逐切片质量选择装置，用于为视频段中的每个视频切片选择被请求的质量版本，所述被请求的质量版本被以与所述任意被请求的质量匹配的比率从所述多个质量版本中成比例地选择；

[0041] -请求生成装置，适于生成为每个视频切片指定被请求质量的请求。

[0042] 因此，可设想(contemplated)本发明的实施例，其中用于从不同质量版本按比例选择视频切片以接近任意的中间质量等级的智能被集成至客户端而不是服务器。这样的客户端必须为每个视频切片发送指定质量等级的请求。为了能够做到这样，所述客户端必须知晓所述多个质量等级，在其中每个视频切片均可用。这样的信息可在清单文件中说明。为了为每个视频切片选择质量版本，客户端可应用与上述用于本发明的服务器实现类似的算法：可使用概率按比例地从不同质量版本选择切片、以确定的样式按比例从不同质量版本选择切片、或者对他们的语义进行考虑，从不同质量版本中将他们选出。

[0043] 除了由权利要求11限定的自适应流感知客户端之外，本发明还涉及对应的由权利要求13限定的用于请求、接收和解码视频项目的视频段的方法，所述视频项目在多个质量版本中可用，所述多个质量版本具有相同的图像图像纵横比，并且在所述多个质量版本中的对应视频切片被预处理以包含对相等图像部分的比特串，所述方法包括：

[0044] -生成用于所述视频项目的视频段的请求，所述请求指定任意被请求的质量，所述任意被请求的质量不与所述多个质量版本中的任意一个一致。附图说明

[0045] 图1示出了根据现有技术的位于HAS服务器和HAS客户端之间的自适应视频流；

[0046] 图2示出了根据本发明的通过HAS解码器进行的预处理；

[0047] 图3示出了根据本发明的位于HAS服务器和HAS客户端之间的自适应视频流；并且[0048] 图4示出了基于视频切片选择的语义，所述视频切片选择在依照本发明的HAS感知服务器的实施例中进行。

具体实施方式

[0049] 图1示出了依照现有技术的自适应流的技术问题。图1D展示了两个邻近的质量等级116和117，其中视频项目被提供。HAS服务器101经由所谓的清单文件，通知HAS客户端103存在质量等级116和117。图1A中描绘了在多个连续的视频段期间与这些质量等级116和117中的每一个相关联的比特率，并被分别标记为111和112。所述HAS客户端估计网络102中可用的带宽或比特率。所述估计的可用带宽在图1B中被标记为113。然后，所述HAS客户端103尝试根据所述估计的可用带宽113，通过请求相应的质量等级中的连续视频段来匹配比特率114至可用比特率113。该被请求的质量等级118由图1E示出。

[0050] 在现有技术中，像116和117这样的两个邻近质量版本之间的转换常常太过粗糙。这导致了在118中过于醒目的质量跳变和114中过于显著的比特率跳变。两者中较高的比特率版本116大大超过了可用网络吞吐量，而两者中较低的比特率版本117小于可用网络吞吐量。这导致大的视频播放缓存器的波动，会引起HAS客户端130过于频繁地转换被请求的质量等级。

[0051] 本发明约束视频项目的编码过程，所述视频项目对于自适应流在多个质量版本中可用，使得对视频项目的不同质量版本中对应的宏块集合或对应的视频切片做出特定决策是相似的。这在图2中示出并在下述段落中进一步的解释。

[0052] 如果两个切片包含对应宏块的相同集合，在一个质量版本中的视频切片对应在另一质量版本中的视频切片。当视频切片在两个质量版本中都覆盖相同的相对表面区域时就是这种情况。除了在所述不同质量版本中的对应的切片需包含对应的宏块之外，没有附加的约束。视频切片可为任意形状并且从帧到帧是可变化的。例如在图2中，视频项目的第i个质量版本中的帧201包含第一切片211和第二切片212，所述两个切片分别覆盖图像表面区域的上半部分和下半部分。在第一切片211中绘制出宏块的集合213和214。相同视频项目的第(i+1)个质量版本中的对应的帧202包含第一切片221和第二切片222，所述两切片分别对应于帧201中的切片211和212。视频切片221和222同样分别覆盖所述图像表面区域的上半部分和下半部分。在视频切片221中绘制出宏块集合223和224，其分别对应帧201中的宏块集合213和214。在另一例子中，第一切片可例如覆盖前景(代替帧的上半部分)，并且另一切片可例如覆盖背景(代替帧的下半部分)。前景和背景可从帧到帧发展(evolve)，并且因此由所述切片覆盖的表面区域同样可从帧到帧发展(evolve)。

[0053] 不同质量版本的纵横比，即不同质量版本中图像或帧的高/宽比例，被假设为相同的。进一步假设(k，l)和(k’，l’)分别为视频项目的第i个和第(i+1)个质量版本中的特定宏块的坐标。这样的宏块为像素的基本块并且包括例如，在4:2:0的图像序列中的由16x16的方形亮度采样和两个对应的8x8 色度采样。如果第i个质量版本中的像素坐标(k，l)与第(i+1)个质量版本中的像素坐标(k’,l’)服从关系：k/N＝k’/N’＝k”和l/N＝l’/N’＝l”，其中对(k”,l”)与对应指定区域相关，其覆盖两个版本中的图像或帧的全部表面区域的相同部分，那么第i个质量版本中的N2宏块集合对应第(i+1)个质量版本中的N’2宏块集合。此处，N/N’表示视频项目的第i和第(i+1)个质量版本的分辨率的比例，N和N’互质，即N和N’为没有公因数的整数值。进一步假设RSi

[0054] 对应宏块和切片的上述定义在图2中以N＝2和N’＝3示出。例如，第i个质量版本的帧201中具有坐标(0，0)、(0，1)、(1，0)和(1，1)的宏块集合213对应第(i+1)个质量版本的帧202中具有坐标(0，0)、(0，1)、(1，0)、(1，1)、(1，2)、(2，0)、(2，1)和(2，2)的宏块集合223。如果不同的质量版本有相同的分辨率，即，如果N＝N’，则对应的宏块为具有相同坐标的宏块。

[0055] 总之，本发明需要切片结构被选择，以使得视频项目的不同质量版本之间对应的切片存在一对一的映射。特别地，不同质量版本中的切片必须对应。

[0056] 进一步注意到在HAS中，优选地每组块的第一帧为IDR或瞬间解码刷新帧。这样的帧需要由I切片组成，因为在转换点，即在切片边缘，所述帧需要在不参考前一帧的情况想可被解码。这是因为不确定所述帧的哪一版本在客户端可用。

[0057] 图3示出了本发明的实施。在图3D中，服务器301选出各自质量为316和317的两个邻近质量版本的NAL单元或切片。对于访问单元k的每个切片mk(mk＝1…Mk)——访问单元表示解码一幅图像所需的比特串——需确定在所述邻近的质量版本316和317中的两个对应的NAL单元中的哪一个将被选择。该选择过程可为随机的或可参考下面不同的实施例所描述的特定规则来驱动。从第一质量版本316选择的NAL单元/切片和从第二质量版本317中选择的NAL单元/切片的比率由客户端303参考在网络302中监测的吞吐量请求的质量来确定。该被监测到的吞吐量或带宽在图3B中记为313，而在连续的视频段期间与质量版本316和
317对应的比特率则在图3A中被记为311和312。因此，假设在清单文件中，声明具有比特率Ri和Ri+1(有Ri客户端303参考被监测的吞吐量313请求任何的任意质量/比特率。服务器301确定参数P以便发送具有质量/比特率接近被请求的任意质量/比特率的被请求的视频段。某个视频段将以在所述第一质量版本的比特率311与所述第二质量版本的比特率312之间的比特率320传送。该视频段同样将以在所述第一质量版本316和所述第二质量版本317之间的质量321传送。因此，没有发生质量等级间的粗糙转换，同时在比特率上没有发生跳变。

[0058] 在本发明的第一实施例中，视频项目的所述两个质量版本被假设具有相同的分辨率并且切片/组块的选择过程为随机的。在该实施例中，N＝N’＝1并且对应的切片包含相同的宏块。所述编码约束条件是这样的：使在对应的P和B切片，运动矢量被重复使用，并且在所有的相应的宏块中的模式决策，即无论宏块为类型I、P或B或者如何将宏块分裂为较小的块，尽可能地一致地进行选择。事实上，只有数字转换器(quantiser)的决策在两个对应的切片中不同。对于每个对应的切片(k＝1…K且mk＝1…Mk)，所述两个版本之一以概率P从所述第(i+1)个质量版本中被随机挑选出。因为与P或B切片关联的NAL单元可能从一个质量版本中选择，而经由其运动矢量指向的帧却是基于从另一质量版本选择的NAL单元而解码，可能存在轻微的质量劣化。因为该特殊的切片的残留信号与所述解码器中的残留信号不同，将会存在附加的失真。但是如果遵循上述规则，该失真将会很小。对于对应的宏块需要选择相同的模式的需求可被放宽，但这将在新构建的组块中引入附加的失真。

[0059] 在本发明的第二实施例中，所述两个质量版本再一次被假设具有相同的分辨率，并且选择过程以质量的逐渐增加或降低为目的。在该第二实施例中，所述编码约束条件同所述第一实施例中的相同，但是NAL单元的选择过程不同。所述比特率的增加或降低类似地被实施。在下文中，仅对降低进行了详细描述。每个访问单元(access unit)k(k＝1…K)在NAL单元选择过程中，以显示的顺序被逐一访问。所述第K个访问单元(mk＝1…Mk)的每个NAL单元以概率P＝1-(k-1)/(K-1)从第(i+1)个质量版本中选出。该随机选择过程可由部分确定性选择来替代。如果假设在组块中有11个访问单元，每个包含10个切片，那么第一访问单元中的所有NAL单元可从所述第(i+1)个质量版本中选出。在下一访问单元中，10个NAL单元中的9个可从第(i+1)个质量版本中选出，在下一访问单元，10个NAL单元中的8个可从第(i+1)'个质量版本中挑选，等等。

[0060] 在本发明的第三实施例中，所述两个质量版本再次被假设为具有相同的分辨率并且选择过程依赖于切片的重要性。在该第三实施例中，编码器约束条件再次与所述第一实施例中编码器的限制条件相等，但是NAL单元的选择过程将不同。在图像中，切片被假设具有能用于选择质量版本的语义。例如，如在图4中示出的可能的前景和背景切片。在第i个质量版本中，图像401可具有背景像素的第一切片411和前景像素的第二切片412。在第(i+1)个质量版本中，对应的图像402具有背景像素的对应第一切片421和前景像素的对应第二切片422。在第i个质量版本中对应的组块包含NAL单元431和432。类似地，在第(i+1)个质量版本中对应的组块包含NAL单元441和442。在新构建的切片/组块中，为每个前景像素选出最高质量NAL单元442，而对于背景切片，选择最低质量NAL单元431至第一质量等级/第二质量等级切片的比例的范围，所述范围被考虑以匹配被请求的中间质量需求的质量。因此，基于从视频项目的多个质量版本的切片的选择，显然所述语义可与上述技术结合以如上述相关的所述第二实施例2描述的那样逐渐增加或降低质量。

[0061] 在第四实施例中，假设两个质量版本具有相差有理数的分辨率。两种分辨率中的切片结构被选择以使得不同分辨率的切片相对应。此外，编码过程被约束以使得对于形成第i个质量版本中的方形N2宏块的部分的宏块(比特率为Ri)和对应的形成第(i+1)个质量版本中的方形N’2宏块的部分的宏块(比特率为Ri+1)，尽可能地采取类似的编码决定，例如选择尽可能类似的运动矢量并且为所有这些宏块选择相同的模式选择。越多地采取共同决策，由依照本发明的NAL单元挑选过程造成的失真就越少，但是会有越多的编解码器偏离最优率失真曲线。所述NAL单元挑选过程可以如同第一实施例——即以概率P随机地、第二实施例——即以确定性的方式、或所述第三实施例——即考虑切片的语义。

[0062] 虽然本发明参考特定的实施例进行了阐述，对于本领域技术人员来说显而易见的是本发明不仅限于上述示出的实施例的细节，并且本发明可具现化出多种的变化或修改，同时不离开本发明的范围。因此本实施例被认为在各个方面是说明性的而非限制性的，本发明的范围通过所附的权利要求而不是通过上述描述指出，并且因此落入与所有权利要求的相等物的意思或范围之内的所有改变都被认为被包含在其中。也就是说，已考虑覆盖落入本专利申请中所要求的基础的基本原则及其本质属性的任意和所有的修改、变动或相等物。此外，本专利申请的读者应理解词语“包括”或“包含”不排除其他元素或步骤，词语“个”或“某个”不排除多个，并且单独的元素，例如一个计算机系统、一台处理器，或其他完整的单位可实现权利要求列举的多个装置的功能。权利要求中的任何参考符号不应被解释为对各自有关的权利要求进行限制。除非被明确地表述，术语“第一”、“第二”、“第三”、“a”、“b”、“c”及类似物在说明书或权利要求书中使用时被用来区分相似的元素或步骤而不是对顺序或时间顺序进行描述。相似地，术语“顶部”、“底部”、“之上”、“之下”，及其类似物被引入用来描述性的目的而不是指示相对的位置。应理解这样使用的术语在是适当的环境下是可交换的，并且在不同于上述描述或阐释的其他序列或方向上，依照本发明的本发明的实施例具有运行的能力。

标题	发布/更新时间	阅读量
一种基于像素坐标的摄像监视设备匹配控制方法	2020-05-08	342
基于巡检机器人和Cascade RCNN算法的变压器外观缺陷识别方法	2020-05-08	865
一种基于双向对抗网络的图像超分辨率重建方法	2020-05-11	263
存储视频数据的方法和装置	2020-05-08	374
基于图像的人脸畸变校正方法、装置及电子设备	2020-05-11	624
拍摄方法及电子设备	2020-05-08	989
基于深度学习实现图像分割和分类的骨龄评估方法	2020-05-08	179
一种基于极化SAR图像的车辆船舶检测方法及装置	2020-05-08	513
一种孔洞检测方法、装置、设备和介质	2020-05-08	301
工件内外表面缺陷检测方法	2020-05-08	781

使能够进行平滑质量转换的自适应流感知节点、编码器以及客户端

使能够进行平滑质量转换的自适应流感知节点、编码器以及

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：