首页 / 专利库 / 视听技术与设备 / 视频编码层 / 使用多轨视频的高速可伸缩视频编码装置和方法

使用多轨视频的高速可伸缩视频编码装置和方法

阅读:147发布:2020-11-25

专利汇可以提供使用多轨视频的高速可伸缩视频编码装置和方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种使用多轨视频的高速可伸缩 视频编码 装置和方法,所述可伸缩视频编码装置包括:视频排列单元,其用于根据设定标准将多轨视频排列在多个层中;比特流分析单元,其用于分析各个层的比特流并提取包括编码模式和预测信息的编码信息;层,其用于执行可伸缩视频编码;以及可伸缩视频编码(SVC)编码单元,其用于利用执行可伸缩视频编码的层的上层或下层的编码信息来确定编码模式,并用于按照所确定的编码模式进行编码。本发明的可伸缩视频编码装置和方法利用标准多轨视频的编码信息来提高将多轨视频编码为可伸缩视频的速度。,下面是使用多轨视频的高速可伸缩视频编码装置和方法专利的具体信息内容。

1.一种可伸缩视频编码装置,该可伸缩视频编码装置包括:
视频排列单元,其用于根据设定的基准将多轨视频排列在多个层中;
比特流分析单元,其用于通过分析各个层的比特流来提取包括编码模式和预测信息的编码信息;以及
SVC编码单元,其用于利用关于执行可伸缩视频编码的层的编码信息以及执行可伸缩视频编码的所述层的上层或下层的编码信息来确定编码模式,并按照所确定的编码模式执行编码。
2.根据权利要求1所述的可伸缩视频编码装置,其中,所述视频排列单元按照具有较高分辨率的视频设置在较高层次中的方式将所述多轨视频排列在所述多个层中,如果存在具有相同分辨率的两个或更多个视频,则按照具有较高速率的视频设置在较高层次中的方式将所述多轨视频排列在所述多个层中,并且如果存在具有相同分辨率和帧速率的两个或更多个视频,则按照具有较高比特率的视频设置在较高层次中的方式将所述多轨视频排列在所述多个层中。
3.根据权利要求1所述的可伸缩视频编码装置,其中,所述SVC编码单元按照宏对所述多轨视频的各个层进行编码,并从最低层到最高层或者从最高层到最低层依次对所述多个层执行可伸缩视频编码。
4.根据权利要求1所述的可伸缩视频编码装置,其中,所述SVC编码单元通过将关于执行可伸缩视频编码的所述层的宏块的经解码的纹理信息以及关于与所述宏块对应的上层宏块的经解码的纹理信息上扩展来执行层间帧内预测,计算层间帧内模式的编码开销,计算执行可伸缩视频编码的所述层的编码模式的编码开销,将所计算出的编码开销彼此进行比较,如果所述层间帧内模式的编码开销小于执行可伸缩视频编码的所述层的编码模式的编码开销,则按照所述层间帧内模式执行编码,并且如果所述层间帧内模式的编码开销大于或等于执行可伸缩视频编码的所述层的编码模式的编码开销,则按照执行可伸缩视频编码的所述层的编码模式执行编码。
5.根据权利要求1所述的可伸缩视频编码装置,其中,
所述设定的基准是利用客观画面质量评价方法确定的画面质量的顺序,并且所述视频排列单元根据所述画面质量的顺序按照高画面质量的视频设置在上层中的方式将所述多轨视频排列在所述多个层中。
6.根据权利要求1所述的可伸缩视频编码装置,其中,所述比特流分析单元通过针对所述多个层中的邻近层的视频比特流解码来提取包括宏块分割信息和运动矢量信息的所述预测信息。
7.根据权利要求1所述的可伸缩视频编码装置,其中,所述SVC编码单元按照宏块对所述多轨视频的各个层进行编码,并利用宏块分割信息和运动矢量信息来按照层间运动预测模式、帧内模式或执行可伸缩视频编码的所述层的编码模式对所述宏块进行编码。
8.根据权利要求7所述的可伸缩视频编码装置,其中,所述SVC编码单元通过依次确定第一处理、第二处理、第三处理和第四处理来将层间运动预测模式、帧内模式或执行可伸缩视频编码的所述层的编码模式确定为所述宏块的编码模式,其中所述第一处理确定执行可伸缩视频编码的所述层的宏块是否为运动预测模式,所述第二处理确定所述宏块的下层宏块是否为运动预测模式,所述第三处理确定关于经上扩展的所述下层宏块的宏块分割信息是否与关于所述宏块的宏块分割信息相同,并且所述第四处理确定所述下层宏块的运动矢量是否与所述宏块的运动矢量相同。
9.一种可伸缩视频编码方法,该可伸缩视频编码方法包括以下步骤:
(a)由可伸缩视频编码装置根据设定的基准将多轨视频排列在多个层中;
(b)由所述编码装置通过分析各个排列的层的比特流来提取包括编码模式和预测信息的编码信息;以及
(c)由所述编码装置利用关于执行可伸缩视频编码的层的编码信息以及执行可伸缩视频编码的所述层的上层或下层的编码信息来确定编码模式,并按照所确定的编码模式对所述多轨视频进行编码。
10.根据权利要求9所述的可伸缩视频编码方法,该可伸缩视频编码方法还包括以下步骤:在所述步骤(a)之前,由所述编码装置通过按照各种格式压缩视频来生成所述多轨视频,或者由所述编码装置接收所述多轨视频。
11.根据权利要求9所述的可伸缩视频编码方法,其中,所述步骤(a)包括以下步骤:
(a-1)按照具有较高分辨率的视频设置在较高层次中的方式将所述多轨视频排列在所述多个层中;
(a-2)如果在根据分辨率排列的所述多轨视频中存在具有相同分辨率的两个或更多个视频,则按照具有较高帧速率的视频设置在较高层次中的方式将所述多轨视频排列在所述多个层中;以及
(a-3)如果在根据帧速率排列的所述多轨视频中存在具有相同帧速率的两个或更多个视频,则按照具有较高比特率的视频设置在较高层次中的方式将所述多轨视频排列在所述多个层中。
12.根据权利要求9所述的可伸缩视频编码方法,其中,所述步骤(c)包括以下步骤:
(c-1)通过将关于执行可伸缩视频编码的所述层的宏块的编码信息以及关于与所述宏块对应的上层宏块的编码信息上扩展来执行层间帧内预测;
(c-2)计算层间帧内模式的编码开销以及执行可伸缩视频编码的所述层的编码模式的编码开销;
(c-3)通过将所计算出的编码开销彼此进行比较,来将所述层间帧内模式或者执行可伸缩视频编码的所述层的编码模式确定为执行可伸缩视频编码的所述层的编码模式;以及(c-4)按照所确定的编码模式对执行可伸缩视频编码的所述层的宏块执行编码,其中,重复步骤(c-1)至(c-4),直至所述多轨视频的从最低层到最高层的视频的编码依次完成为止。
13.根据权利要求12所述的可伸缩视频编码方法,其中,在所述步骤(c-3)中,如果计算出的所述层间帧内模式的编码开销小于执行可伸缩视频编码的所述层的编码模式的编码开销,则将所述层间帧内模式确定为执行可伸缩视频编码的所述层的编码模式,并且如果计算出的所述层间帧内模式的编码开销大于或等于执行可伸缩视频编码的所述层的编码模式的编码开销,则将执行可伸缩视频编码的所述层的编码模式确定为执行可伸缩视频编码的所述层的编码模式。
14.根据权利要求9所述的可伸缩视频编码方法,其中,在所述步骤(a)中,所述设定的基准是利用客观画面质量评价方法确定的画面质量的顺序,并且根据所述画面质量的顺序按照高画面质量的视频设置在上层中的方式将所述多轨视频排列在所述多个层中。
15.根据权利要求9所述的可伸缩视频编码方法,其中,所述步骤(c)包括以下步骤:
(c-1)利用运动矢量信息来确定执行可伸缩视频编码的所述层的宏块是否为运动预测模式;
(c-2)如果所述宏块是运动预测模式,则执行步骤(c-3),如果所述宏块不是运动预测模式,则按照帧内模式对所述宏块进行编码;
(c-3)确定所述宏块的下层宏块是否为运动预测模式;
(c-4)如果所述下层宏块是运动预测模式,则执行步骤(c-5),如果所述下层宏块不是运动预测模式,则按照所述宏块的编码模式对所述宏块进行编码;
(c-5)将关于经上扩展的所述下层宏块的宏块分割信息与关于所述宏块的宏块分割信息进行比较;
(c-6)如果这些宏块分割信息彼此相同,则执行步骤(c-7),如果这些宏块分割信息彼此不相同,则按照所述宏块的编码模式对所述宏块进行编码;
(c-7)将经上扩展的所述下层宏块的运动矢量与所述宏块的运动矢量进行比较;以及(c-8)如果这些运动矢量彼此相同,则按照层间运动预测模式对所述宏块进行编码,如果这些运动矢量彼此不相同,则按照所述宏块的编码模式对所述宏块进行编码,其中,在步骤(c-2)、(c-4)、(c-6)和(c-8)中,当完成对所述宏块的编码时,对下一宏块重复地执行步骤(c-1)之后的步骤,并且从最高层到最低层对宏块依次进行编码。

说明书全文

使用多轨视频的高速可伸缩视频编码装置和方法

技术领域

[0001] 本发明涉及使用多轨视频的高速可伸缩(scalable)视频编码装置和方法,更具体地讲,涉及一种使用多轨视频的高速可伸缩视频编码装置和方法,其利用关于多轨视频的编码信息来按照内预测或运动预测模式对宏进行高速编码。

背景技术

[0002] 为了向用户终端提供包括内容提供商(CP)所提供的视频和音频的内容,对内容执行诸如分辨率缩放、帧速率转换、视频/音频编码、元数据插入和封装的基本采集(ingesting)处理。
[0003] 这里,如果内容服务器向用户终端提供在执行采集处理时发生错误的视频,则在用户终端中回放视频时会出现问题。为了防止这种问题,执行回放最终结果并由人直接检查播放的结果的处理。
[0004] 从内容服务器提供给用户终端的大多数视频数量上众多。因此,近来已提出一种通过使由人检查的处理自动化来更快速地执行所述处理的技术,因为为了采集由人逐个地检查的处理花费很长时间或者有限。
[0005] 根据所述技术,在在线视频服务中,通过互联网对视频进行流处理以使得用户能够消费该视频。这里,防止用户观看中断的视频或者包括破损图像的视频的技术通过自适应视频流处理技术而普及,在该自适应视频流处理技术中,根据用户的网络环境来控制视频数据的量并进行发送。在目前的自适应视频流处理技术中,通常,准备与一个原始视频对应的各种数据大小的压缩视频,选择适合于用户的网络环境的压缩视频。在这种方法中,服务系统需要采集多轨视频,该多轨视频是针对一个视频的多个压缩视频。
[0006] 此外,近来为了通过一个压缩视频向各种装置和网络环境提供视频服务,已由ITU的联合视频技术(JVT)组和基于H.264的MPEG对可伸缩视频编码(SVC)方法进行了标准化。
[0007] 然而,SVC方法近来才被标准化,并且处于商业化的早期阶段,现在使用的是作为SVC方法之前的措施,利用现有编码方法(例如H.264)为视频准备多个文件,并提供适合于各个装置和网络环境的文件的多轨视频方法。在未来转换为SVC的情况下,需要将现有的多轨视频再次编码为SVC。这种重新编码存在花费大量时间的问题。

发明内容

[0008] 技术问题
[0009] 本发明致于解决上述问题,本发明的目的在于提供一种使用多轨视频的高速可伸缩视频编码装置和方法,其利用多轨视频(即,以各种格式压缩的压缩视频)的编码模式以及包括预测信息的编码信息,来按照层间帧内预测模式或层间/层内运动预测模式对宏块进行高速编码。
[0010] 技术方案
[0011] 根据实现上述目的的本发明的一方面,一种可伸缩视频编码装置包括:视频排列单元,其根据设定的基准将多轨视频排列在多个层中;比特流分析单元,其通过分析各个层的比特流来提取包括编码模式和预测信息的编码信息;以及SVC编码单元,其利用关于执行可伸缩视频编码的层的编码信息以及执行可伸缩视频编码的所述层的上层或下层的编码信息来确定编码模式,并按照所确定的编码模式来执行编码。
[0012] 这里,所述设定的基准可被定义为利用客观画面质量评价方法确定的画面质量的顺序,所述视频排列单元可根据所述画面质量的顺序按照高画面质量的视频设置在上层中的方式将所述多轨视频排列在所述多个层中。
[0013] 另外,所述视频排列单元可按照具有较高分辨率的视频设置在较高层次中的方式将所述多轨视频排列在所述多个层中,如果存在具有相同分辨率的两个或更多个视频,则按照具有较高帧速率的视频设置在较高层次中的方式将所述多轨视频排列在所述多个层中,如果存在具有相同分辨率和帧速率的两个或更多个视频,则按照具有较高比特率的视频设置在较高层次中的方式将所述多轨视频排列在所述多个层中。
[0014] 另外,所述SVC编码单元可按照宏块对所述多轨视频的各个层进行编码,并从最低层到最高层或者从最高层到最低层依次对所述多个层执行可伸缩视频编码。
[0015] 另外,所述SVC编码单元可通过将关于执行可伸缩视频编码的所述层的宏块的解码的纹理信息以及关于与所述宏块对应的上层宏块的解码的纹理信息上扩展来执行层间帧内预测,计算层间帧内模式的编码开销,计算执行可伸缩视频编码的所述层的编码模式的编码开销,将所计算出的编码开销彼此进行比较,如果所述层间帧内模式的编码开销小于执行可伸缩视频编码的所述层的编码模式的编码开销,则按照所述层间帧内模式执行编码,并且如果所述层间帧内模式的编码开销大于或等于执行可伸缩视频编码的所述层的编码模式的编码开销,则按照执行可伸缩视频编码的所述层的编码模式执行编码。
[0016] 另外,所述比特流分析单元可通过针对所述多个层中的邻近层进行视频比特流解码来提取包括宏块分割信息和运动矢量信息的所述预测信息。
[0017] 另外,所述SVC编码单元可按照宏块对所述多轨视频的各个层进行编码,并利用宏块分割信息和运动矢量信息来按照层间运动预测模式、帧内模式或执行可伸缩视频编码的所述层的编码模式对所述宏块进行编码。
[0018] 另外,所述SVC编码单元可通过依次确定第一处理、第二处理、第三处理和第四处理来将层间运动预测模式、帧内模式或执行可伸缩视频编码的所述层的编码模式确定为所述宏块的编码模式,其中所述第一处理确定执行可伸缩视频编码的所述层的宏块是否为运动预测模式,所述第二处理确定所述宏块的下层宏块是否为运动预测模式,所述第三处理确定关于经上扩展的所述下层宏块的宏块分割信息是否与关于所述宏块的宏块分割信息相同,并且所述第四处理确定所述下层宏块的运动矢量是否与所述宏块的运动矢量相同。
[0019] 根据本发明的另一方面,一种可伸缩视频编码方法包括以下步骤:(a)由可伸缩视频编码装置根据设定的基准将多轨视频排列在多个层中;(b)由所述编码装置通过分析各个排列的层的比特流来提取包括编码模式和预测信息的编码信息;(c)由所述编码装置利用关于执行可伸缩视频编码的层的编码信息以及执行可伸缩视频编码的所述层的上层或下层的编码信息来确定编码模式,并按照所确定的编码模式来对所述多轨视频进行编码。
[0020] 另外,所述可伸缩视频编码方法还可包括以下步骤:在所述步骤(a)之前,由所述编码装置通过以各种格式压缩视频来生成所述多轨视频,或者由所述编码装置接收所述多轨视频。
[0021] 另外,所述步骤(a)可包括以下步骤:(a-1)按照具有较高分辨率的视频设置在较高层次中的方式将所述多轨视频排列在所述多个层中;(a-2)如果在根据分辨率排列的所述多轨视频中存在具有相同分辨率的两个或更多个视频,则按照具有较高帧速率的视频设置在较高层次中的方式将所述多轨视频排列在所述多个层中;以及(a-3)如果在根据帧速率排列的所述多轨视频中存在具有相同帧速率的两个或更多个视频,则按照具有较高比特率的视频设置在较高层次中的方式将所述多轨视频排列在所述多个层中。
[0022] 另外,所述步骤(c)可包括以下步骤:(c-1)通过将关于执行可伸缩视频编码的所述层的宏块的编码信息以及关于与所述宏块对应的上层宏块的编码信息上扩展来执行层间帧内预测;(c-2)计算层间帧内模式的编码开销以及执行可伸缩视频编码的所述层的编码模式的编码开销;(c-3)通过将所计算出的编码开销彼此进行比较,来将所述层间帧内模式或执行可伸缩视频编码的所述层的编码模式确定为执行可伸缩视频编码的所述层的编码模式;以及(c-4)按照所确定的编码模式对执行可伸缩视频编码的所述层的宏块进行编码,其中,重复步骤(c-1)至(c-4),直至依次完成所述多轨视频的从最低层到最高层的视频的编码为止。
[0023] 另外,在所述步骤(c-3)中,如果计算出的所述层间帧内模式的编码开销小于执行可伸缩视频编码的所述层的编码模式的编码开销,则可将所述层间帧内模式确定为执行可伸缩视频编码的所述层的编码模式,如果计算出的所述层间帧内模式的编码开销大于或等于执行可伸缩视频编码的所述层的编码模式的编码开销,则可将执行可伸缩视频编码的所述层的编码模式确定为执行可伸缩视频编码的所述层的编码模式。
[0024] 另外,在所述步骤(a)中,所述设定的基准可以是利用客观画面质量评价方法确定的画面质量的顺序,可根据所述画面质量的顺序按照高画面质量的视频设置在上层中的方式将所述多轨视频排列在所述多个层中。
[0025] 另外,所述步骤(c)可包括以下步骤:(c-1)利用运动矢量信息来确定执行可伸缩视频编码的所述层的宏块是否为运动预测模式;(c-2)如果所述宏块是运动预测模式,则执行步骤(c-3),如果所述宏块不是运动预测模式,则按照帧内模式对所述宏块进行编码;(c-3)确定所述宏块的下层宏块是否为运动预测模式;(c-4)如果所述下层宏块是运动预测模式,则执行步骤(c-5),如果所述下层宏块不是运动预测模式,则按照所述宏块的编码模式对所述宏块进行编码;(c-5)将关于经上扩展的所述下层宏块的宏块分割信息与关于所述宏块的宏块分割信息进行比较;(c-6)如果这些宏块分割信息彼此相同,则执行步骤(c-7),如果这些宏块分割信息彼此不相同,则按照所述宏块的编码模式对所述宏块进行编码;(c-7)将经上扩展的所述下层宏块的运动矢量与所述宏块的运动矢量进行比较;以及(c-8)如果这些运动矢量彼此相同,则按照层间运动预测模式对所述宏块进行编码,如果这些运动矢量彼此不相同,则按照所述宏块的编码模式对所述宏块进行编码,其中,在步骤(c-2)、(c-4)、(c-6)和(c-8)中,当所述宏块的编码完成时,对下一宏块重复地执行步骤(c-1)之后的步骤,并且对从最高层到最低层的宏块依次进行编码。
[0026] 有益效果
[0027] 如上所述,根据本发明的使用多轨视频的高速可伸缩视频编码装置和方法的优点在于:由于使用了关于多轨视频的编码信息,所以编码为可伸缩视频所花费的时间可以减少。
[0028] 另外,由于通过将多轨视频的现有编码模式的编码开销与层间帧内预测模式的编码开销进行比较来确定编码模式,所以压缩效率可提高。
[0029] 另外,由于通过将关于现有多轨视频的预测的信息与关于可伸缩视频的预测的信息进行比较来确定编码模式,所以运动预测所需的计算时间可以减少,并且编码为可伸缩视频所花费的时间可以减少。附图说明
[0030] 图1是示出根据本发明的一方面的可伸缩视频提供系统的实施方式的构造图。
[0031] 图2是示出根据本发明的另一方面的可伸缩视频编码装置的第一实施方式的构造图。
[0032] 图3是示出根据本发明的另一方面的可伸缩视频编码装置的第二实施方式的构造图。
[0033] 图4是示出作为根据本发明的第二实施方式的可伸缩视频编码装置的元件的多轨视频生成单元的功能的示图。
[0034] 图5是示出作为根据本发明的第一实施方式或第二实施方式的可伸缩视频编码装置的元件的SVC编码单元的功能的示图。
[0035] 图6是示出根据本发明的另一方面的可伸缩视频编码方法的流程图
[0036] 图7是示出根据本发明的另一方面的可伸缩视频编码方法的第一实施方式的流程图。
[0037] 图8是示出根据本发明的另一方面的可伸缩视频编码方法的第二实施方式的流程图。
[0038] 图9是示出根据本发明的另一方面的可伸缩视频编码方法的第三实施方式的流程图。
[0039] 图10是示出根据本发明的另一方面的可伸缩视频编码方法的第四实施方式的流程图。

具体实施方式

[0040] 本发明可以按照各种方式进行修改,并且可实现为具有多个实施方式。特定实施方式示出在附图中并被详细描述。然而,需要注意的是,本发明并非旨在限于本发明的所述特定实施方式,而是应该理解,所述特定实施方式包括与落入本发明的精神和技术范围内的替换等效的所有修改。
[0041] 参照附图详细描述根据本发明的使用多轨视频的高速可伸缩视频编码装置和方法的实施方式。在参照附图描述实施方式时,为相同或对应的元件指派相同的标号,并且省略其冗余描述。
[0042] 可伸缩视频提供系统
[0043] 图1是示出根据本发明的一方面的可伸缩视频提供系统的实施方式的构造图。
[0044] 如图1所示,本发明的可伸缩视频提供系统1000包括用户终端100、可伸缩视频编码装置200和通信网络300。
[0045] 用户终端100可接收可伸缩视频,并根据用户终端的规格、网络环境或服务类型来对可伸缩视频进行解码和显示。
[0046] 用户终端100表示视频显示装置(包括IPTV、机顶盒、智能电话和支持DMB功能的移动通信终端),用户终端的规格表示关于显示屏幕的分辨率和大小的信息,网络环境表示帧传输速率,服务类型表示显示的视频的类型,诸如HDTV、SDTV或DMB。
[0047] 可伸缩视频编码装置200对多轨视频执行可伸缩视频编码功能。通信网络300提供将从可伸缩视频编码装置200接收到的可伸缩视频发送给用户终端100的路径,通信网络300包括诸如WCDMA、HDPA、3G或4G的移动通信网络、诸如Bluetooth、Zigbee或Wi-Fi的本地通信网络、诸如PSTN的有线通信网络、或者有线和无线互联网。
[0048] 参照图2至图5详细描述可伸缩视频编码装置200。
[0049] 可伸缩视频编码装置
[0050] 图2是示出根据本发明的另一方面的可伸缩视频编码装置的第一实施方式的构造图,图3是示出根据本发明的另一方面的可伸缩视频编码装置的第二实施方式的构造图,图4是示出作为根据本发明的第二实施方式的可伸缩视频编码装置的元件的多轨视频生成单元的功能的示图,图5是示出作为根据本发明的第一实施方式或第二实施方式的可伸缩视频编码装置的元件的SVC编码单元的功能的示图。
[0051] 可伸缩视频编码装置200执行这样的功能:根据设定的基准将多轨视频排列在多个层中,提取关于多个排列的层的编码信息,并利用所提取的编码信息将多轨视频编码为可伸缩视频。
[0052] 多轨视频表示具有不同格式的多个压缩视频,所述多个压缩视频是以各种格式从相同视频压缩而成的。多轨视频表示利用各种编码方法(例如,H.264)编码的视频,以便提供具有适合于各种装置和网络环境的格式的压缩视频。
[0053] 可伸缩视频编码装置200是用于将多轨视频(即,现有的编码的压缩视频)编码为可伸缩视频的装置。可伸缩视频编码装置200可在将多轨视频编码为可伸缩视频时利用关于多轨视频的编码信息提高可伸缩视频编码速度。
[0054] 另外,可伸缩视频编码装置200基于排列多轨视频的“设定的基准”以及用于确定编码模式的“编码信息”来确定编码模式,并可通过基于所确定的编码模式对多轨视频进行编码来减少编码时间。
[0055] 根据第一实施方式的可伸缩视频编码装置
[0056] 如图2所示,根据第一实施方式的可伸缩视频编码装置200被配置为包括视频排列单元210、比特流分析单元220和SVC编码单元230。
[0057] 可伸缩视频编码装置的视频排列单元210根据设定的基准将多轨视频排列在多个层中,使得具有不同格式的压缩视频排列在多个层中。
[0058] 本文中使用的“层”表示压缩视频。
[0059] 视频排列单元210可选择第一基准(包括压缩视频的分辨率、帧速率和比特率)和第二基准(即,客观评价的画面质量的顺序)中的任一个作为排列多轨视频的设定的基准。
[0060] 比特流分析单元220通过分析各个层的比特流来提取包括编码模式和预测信息的编码信息。
[0061] 这里,编码模式表示帧内模式或帧间模式,即,压缩宏块的方法。预测信息表示运动预测所需的信息,其包括运动矢量和宏块分割信息。
[0062] 也就是说,比特流分析单元220执行提取编码信息的功能,所述编码信息在对多轨视频进行编码时使用。
[0063] SVC编码单元230利用关于现在执行可伸缩视频编码的层的上层或下层以及现在执行可伸缩视频编码的层(以下称为“现在要编码的层”)的编码信息来确定编码模式,并按照所确定的编码模式来执行编码。
[0064] SVC编码单元230利用关于两个层或与这两个层对应的宏块的编码信息来确定现在要编码的层或宏块的编码模式。
[0065] 另外,SVC编码单元230可选择第一编码信息(包括编码模式的编码开销)和第二编码信息(包括运动矢量和宏块分割信息)中的一个,以便确定编码模式。
[0066] 如果视频排列单元210选择第一基准并排列多轨视频,并且SVC编码单元230选择第一编码信息并确定编码模式,则可伸缩视频编码装置200根据如下顺序对多轨视频进行编码。
[0067] 视频排列单元210根据第一基准(即,分辨率、帧速率和比特率)将多轨视频排列在多个层中。
[0068] 更具体地讲,视频排列单元210按照具有较高分辨率的视频设置在较高层次中的方式将多轨视频排列在多个层中,如果存在具有相同分辨率的两个或更多个视频,则按照具有较高帧速率的视频设置在较高层次中的方式将多轨视频排列在多个层中,如果存在具有相同分辨率和帧速率的两个或更多个视频,则按照具有较高比特率的视频设置在较高层次中的方式将多轨视频排列在多个层中。
[0069] 比特流分析单元220通过分析各个层的比特流来提取编码信息,并依次向SVC编码单元230提供关于最低层或最高层的编码信息。
[0070] SVC编码单元230按照宏块对多轨视频的多个层中的每一个层进行编码,并从所述多个层中的最低层到最高层或者从所述多个层中的最高层到最低层依次执行可伸缩视频编码。
[0071] 当从最低层开始依次执行可伸缩视频编码时,使用最低层的比特流作为基层来执行可伸缩视频编码,然后使邻近上层依次进行可伸缩视频编码。
[0072] 更具体地讲,SVC编码单元230通过对现在要编码的层的宏块以及关于与该宏块对应的各个上层宏块的解码的纹理信息进行上扩展(up-scaling)来执行层间帧内预测。
[0073] SVC编码单元230计算现在要编码的层的编码模式的编码开销,通过层间帧内预测来计算层间帧内模式的编码开销,并使用所计算出的编码开销作为第一编码信息。
[0074] SVC编码单元230将所计算出的编码开销彼此进行比较,如果层间帧内模式的编码开销小于现在要编码的层的编码模式的编码开销,则将层间帧内模式确定为编码模式,如果层间帧内模式的编码开销等于或大于现在要编码的层的编码模式的编码开销,则将现在要编码的层的编码模式确定为编码模式。
[0075] 最后,SVC编码单元230按照所确定的编码模式对多轨视频执行可伸缩视频编码。
[0076] 如果视频排列单元210选择第二基准并排列多轨视频,并且SVC编码单元230选择第二编码信息并确定编码模式,则可伸缩视频编码装置200根据如下顺序对多轨视频进行编码。
[0077] 首先,视频排列单元210选择第二基准作为设定的基准,并根据画面质量的顺序按照高画面质量的视频设置在上层中的方式将多轨视频排列在多个层中,所述画面质量利用客观画面质量评价方法来确定。
[0078] 客观画面质量评价方法可分为:全基准方法,其将压缩的图像与原始图像进行比较;缩减基准方法,其从原始图像仅提取主要信息并评价所提取的信息;以及无基准方法,其在没有原始图像的情况下评价画面质量。在评价压缩视频的画面质量时,如果压缩视频具有相同的容量,可使用关于相对于原始图像减少了多少损失或者在相同的损失下减少了多少容量的压缩容量对峰值信噪比(PSNR)作为评价标准。
[0079] 接下来,比特流分析单元220通过针对多个层中的邻近层的视频比特流解码来提取预测信息(包括宏块分割信息和运动矢量信息)作为第二编码信息,并基于关于最高层以及与最高层邻近的层的预测信息向SVC编码单元230提供所提取的预测信息。
[0080] SVC编码单元230利用宏块分割信息和运动矢量信息来将层间运动预测模式、帧内模式以及执行可伸缩视频编码的层的编码模式中的一个确定为针对宏块的编码模式,并按照宏块对多轨视频的各个层进行编码。
[0081] 这里,SVC编码单元230可依次确定第一处理(确定现在要编码的层的宏块是否为运动预测模式)、第二处理(确定所述宏块的下层宏块是否为运动预测模式)、第三处理(确定关于经上扩展的所述下层宏块的宏块分割信息是否与关于所述宏块的宏块分割信息相同)和第四处理(基于运动矢量信息来确定所述下层宏块的运动矢量是否与所述宏块的运动矢量相同),并且基于确定结果将层间运动预测模式、帧内模式或执行可伸缩视频编码的层的编码模式确定为针对宏块的编码模式,并按照所确定的编码模式来对宏块进行编码。
[0082] 更具体地讲,如果在第一处理中现在要编码的层的宏块不对应于运动预测模式,则SVC编码单元230按照帧内模式对现在要编码的层的宏块进行编码,如果现在要编码的层的宏块是运动预测模式,则SVC编码单元230执行第二处理。
[0083] 如果在第二处理中,下层宏块不对应于运动预测模式,则SVC编码单元230按照它自己的编码模式对现在要编码的宏块进行编码,如果下层宏块是运动预测模式,则SVC编码单元230执行第三处理。
[0084] 如果在第三处理中,关于下层宏块的宏块分割信息不与关于现在要编码的宏块的宏块分割信息相同,则SVC编码单元230按照它自己的编码模式对所述宏块进行编码,如果关于下层宏块的宏块分割信息与关于所述宏块的宏块分割信息相同,则SVC编码单元230执行第四处理。
[0085] 如果在第四处理中,下层宏块的运动矢量不与现在要编码的宏块的运动矢量相同,则SVC编码单元230按照它自己的编码模式对所述宏块进行编码,如果下层宏块的运动矢量与关于现在要编码的宏块的运动矢量相同,则SVC编码单元230按照层间运动预测模式对所述宏块进行编码。
[0086] 当如图5所示接收到视频(即,多轨视频的一个层)时,SVC编码单元230通过利用关于所接收到的层的纹理信息以及所接收到的层的下层的纹理信息执行帧内预测来确定编码模式,或者通过针对所接收到的层和下层的运动预测来确定编码模式。
[0087] SVC编码单元260按照所确定的操作模式对SVC视频执行离散余弦变换(DCT)/量化处理和上下文自适应可变长度编码(CAVLC)/上下文自适应二进制算术编码(CABAC)处理。
[0088] 也就是说,当通过SVC编码单元230基于关于下层的纹理信息按照帧内预测模式执行编码并且基于关于下层的运动信息按照运动预测模式执行编码时,作为比较结果,如果关于下层宏块的宏块分割信息与关于要编码的宏块的宏块分割信息相同,则可伸缩视频编码装置200将下层宏块的运动矢量与要编码的宏块的运动矢量进行比较。如果要编码的宏块的运动矢量与下层宏块的运动矢量相同,则可伸缩视频编码装置200按照层间运动预测模式执行编码,如果宏块分割信息不相同或者运动矢量不相同,则可伸缩视频编码装置200按照现在要编码的宏块的编码模式执行编码。
[0089] 根据第二实施方式的可伸缩视频编码装置
[0090] 如图3所示,根据第二实施方式的可伸缩视频编码装置被配置为包括视频排列单元210、比特流分析单元220、SVC编码单元230、通信单元240、原始视频存储单元250和多轨视频生成单元260。
[0091] 这里,视频排列单元210、比特流分析单元220和SVC编码单元230与根据第一实施方式的可伸缩视频编码装置200中的那些单元相同,因此仅描述与根据第一实施方式的可伸缩视频编码装置200不同的通信单元240、原始视频存储单元250和多轨视频生成单元260。
[0092] 通信单元240是经由通信网络访问用户终端的元件。通信单元240形成信道,通过该信道传输控制信号和可伸缩视频,原始视频存储单元250存储未编码的原始视频。
[0093] 如图4所示,多轨视频生成单元260从原始视频存储单元250接收原始视频并生成多轨视频。
[0094] 多个视频编码器1至N利用原始视频生成具有不同格式的压缩视频,所生成的具有不同格式的压缩视频表示多轨视频。
[0095] 也就是说,根据第二实施方式的可伸缩视频编码装置200与根据第一实施方式的可伸缩视频编码装置的不同之处在于,其还执行通过按照各种格式对原始视频进行编码来生成多轨视频的功能。
[0096] 可伸缩视频编码方法
[0097] 图6是示出根据本发明的另一方面的可伸缩视频编码方法的流程图,图7至图10是示出根据本发明的另一方面的可伸缩视频编码方法的第一实施方式至第四实施方式的流程图。
[0098] 如图6所示,根据本发明的另一方面的可伸缩视频编码方法包括以下步骤:由可伸缩视频编码装置根据设定的基准将多轨视频排列在多个层中(S610);以及通过分析排列的层的比特流来提取包括编码模式和预测信息的编码信息(S620)。
[0099] 接下来,可伸缩视频编码方法包括以下步骤:利用关于执行可伸缩视频编码的层的编码信息以及关于上层或下层的编码信息来确定编码模式(S630);以及按照所确定的编码模式来对多轨视频进行编码(S640)。
[0100] 因此,在可伸缩视频编码方法中,可将多轨视频高速编码为可伸缩视频,因为利用关于现有多轨视频的编码信息和多轨视频来确定对多轨视频进行编码的编码模式。
[0101] 根据第一实施方式的可伸缩视频编码方法
[0102] 根据第一实施方式的可伸缩视频编码方法是选择第一基准和第一编码信息并执行编码的情况。如图7所示,根据处理S710至S760来执行针对多轨视频的可伸缩视频编码方法。
[0103] 首先,接收原始视频,利用该原始视频生成具有不同格式的多轨视频(S710)。根据多轨视频的分辨率、帧速率和比特率来排列多轨视频(S720)。
[0104] 在生成多轨视频的步骤(S710)中,可伸缩视频编码装置可通过按照各种格式压缩原始视频来生成多轨视频。
[0105] 排列多轨视频的步骤(S720)可通过以下步骤执行:按照具有较高分辨率的视频设置在上层中的方式排列多轨视频,如果在根据分辨率排列的多轨视频中存在具有相同分辨率的两个或更多个视频,则按照具有较高帧速率的视频设置在上层中的方式再次排列多轨视频,如果在根据帧速率排列的多轨视频中存在具有相同帧速率的两个或更多个视频,则按照具有较高比特率的视频设置在上层中的方式再次排列多轨视频。
[0106] 接下来,提取编码信息(S730),所述编码信息包括各个排列的层的编码模式以及关于各个层的预测信息,将关于现在要编码的第(N-1)层的编码信息以及作为上层的第N层的编码信息传送给SVC编码单元。
[0107] SVC编码单元利用关于第(N-1)层的编码信息和关于第N层的编码信息来按照宏块对第N层的比特流进行编码(S740),并确定第N层是否为最高层(S750)。如果编码已执行到最高层,则SVC编码单元终止编码,如果第N层不是最高层,则通过代入N<-(N+1)重复处理S740至S750来从最低层到最高层执行可伸缩视频编码。
[0108] 根据第二实施方式的可伸缩视频编码方法
[0109] 根据第二实施方式的可伸缩视频编码方法是在选择第一基准和第一编码信息并且执行编码的情况下图7的处理S740至S760的详细处理,该可伸缩视频编码方法示出在图8中。
[0110] 根据第二实施方式的可伸缩视频编码方法包括根据第一基准(分辨率、帧速率和比特率)排列多轨视频,并提取关于各个层的编码信息。
[0111] 另外,通过将关于执行视频编码的层的宏块的编码信息以及关于执行视频编码的宏块的上层宏块的编码信息上扩展来执行层间帧内预测(S810)。
[0112] 接下来,计算层间帧内模式的编码开销A以及执行可伸缩视频编码的层的编码模式的编码开销B(S820),将所计算出的编码开销彼此进行比较(S830)。
[0113] 作为比较结果,如果发现A小于B,则将层间帧内模式确定为编码模式并对现在要编码的层进行编码(S840)。如果A不小于B,则按照现在要编码的层的编码模式对现在要编码的层进行编码(S850)。
[0114] 可重复处理S810至S850,直至依次完成多轨视频的从最低层到最高层的视频的编码为止。
[0115] 根据第三实施方式的可伸缩视频编码方法
[0116] 根据第三实施方式的可伸缩视频编码方法是选择第二基准和第二编码信息并执行编码的情况。如图8所示,根据处理S910至S970来执行针对多轨视频的可伸缩视频编码方法。
[0117] 根据第三实施方式的可伸缩视频编码方法包括以下步骤:接收原始视频;生成具有不同格式的多轨视频(S910);以及按照画面质量的顺序排列多轨视频(S920)。
[0118] 多轨视频的排列可按照利用客观画面质量评价方法确定的画面质量的顺序来确定,可根据画面质量的顺序按照高画面质量的视频排列在上层中的方式将多轨视频排列在多个层中。
[0119] 接下来,可伸缩视频编码方法提取各个排列的层的预测信息(包括编码模式、宏块分割信息和运动矢量信息)作为编码信息(S930)。
[0120] 利用关于第N层(即,现在要编码的层)和第(N-1)层(即,下层)的宏块分割信息和运动信息来确定第N层的宏块的编码模式(S940)。按照所确定的编码模式执行编码(S950)。
[0121] 当第N层的编码完成时,确定第(N-1)层是否为最低层(S960)。如果确定第(N-1)层不是最低层,则代入N<-(N-1)(S970),重复处理S940至S970。如果确定第(N-1)层是最低层,则终止处理S940至S970,并且对最低层进行编码。
[0122] 根据第四实施方式的可伸缩视频编码方法
[0123] 根据第四实施方式的可伸缩视频编码方法对应于在选择第二基准和第二编码信息并执行编码的情况下图9的处理S940至S970的详细处理,该可伸缩视频编码方法示出在图10中。
[0124] 根据第四实施方式的可伸缩视频编码方法包括以下步骤:利用运动矢量信息来确定第N层(即,现在要编码的层)的宏块是否为运动预测模式(S1010)。如果确定第N层的宏块不是运动预测模式,则按照帧内模式对第N层的宏块进行编码(S1020)。如果确定第N层的宏块是运动预测模式,则确定第(N-1)层的宏块是否为运动预测模式(S1030)。
[0125] 作为确定结果,如果确定第(N-1)层的宏块不是运动预测模式,则按照第N层的宏块的编码模式对第N层的宏块进行编码(S1040)。作为确定结果,如果确定第(N-1)层的宏块是运动预测模式,则将关于经上扩展的第(N-1)层的宏块的宏块分割信息与关于第N层的宏块的宏块分割信息进行比较(S1050)。
[0126] 作为比较结果,如果发现关于经上扩展的第(N-1)层的宏块的宏块分割信息不与关于第N层的宏块的宏块分割信息相同,则按照第N层的宏块的编码模式对第N层的宏块进行编码(S1040)。作为比较结果,如果发现关于经上扩展的第(N-1)层的宏块的宏块分割信息与关于第N层的宏块的宏块分割信息相同,则将经上扩展的第(N-1)层的宏块的运动矢量与第N层的宏块的运动矢量进行比较(S1060)。
[0127] 作为比较结果,如果发现经上扩展的第(N-1)层的宏块的运动矢量与第N层的宏块的运动矢量相同,则按照层间运动预测模式对第N层的宏块进行编码(S1070)。作为比较结果,如果发现经上扩展的第(N-1)层的宏块的运动矢量不与第N层的宏块的运动矢量相同,则按照第N层宏块的编码模式对第N层的宏块进行编码(S1040)。
[0128] 当第N层的宏块的编码完成时,对下一宏块重复地执行处理S1010至S1070,对从最高层到最低层的宏块依次进行编码。
[0129] 如上所述,根据本发明,在将按照各种格式从原始视频编码而来的多轨视频编码为可伸缩视频时,利用关于现有的多轨视频的编码信息高速地确定编码模式。因此,可提高编码速度。
[0130] 具体地讲,可从关于现有多轨视频的编码信息高速地提取多轨视频的编码模式,在编码时具有最高计算负荷的运动预测时间可加快。因此,可提高向可伸缩视频的转换速度。
[0132] 本发明可应用于对可伸缩视频进行编码的编码器、包括该编码器的装置以及使用该装置发送内容的系统。
[0133] 另外,本发明可应用于用于经由通信网络提供包括视频和音频的内容的内容服务器或者包括用于接收和显示内容的用户终端的内容媒体通信系统。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈