首页 / 专利库 / 视听技术与设备 / 视频编码层 / 用于视频的三维编码和/或解码的方法及装置

用于视频的三维编码和/或解码的方法及装置

阅读:318发布:2021-06-12

专利汇可以提供用于视频的三维编码和/或解码的方法及装置专利检索,专利查询,专利分析的服务。并且一种用于视频的三维编码和/或解码的方法、介质和设备,包含:适应视频的时间和空间特性。该方法包括:当多个其它摄像机被排列成一行时,参考由同一摄像机在紧邻的以前时间所拍摄的视频,对由位于中心 位置 的摄像机所拍摄的视频执行时间估计;以及参考由与位于中心位置的摄像机相邻的摄像机所拍摄的以前的视频,对由其它摄像机所拍摄的视频执行时间-空间估计。,下面是用于视频的三维编码和/或解码的方法及装置专利的具体信息内容。

1、一种用于视频的三维编码的方法,所述方法包括:
当多个其它摄像机被排列成一行且位于中心的摄像机处在该行的中心位 置时,参考由位于中心的摄像机在至少紧邻的以前时间所拍摄的视频,执行 对由位于中心的摄像机所拍摄的视频的时间估计;以及
参考由在位于中心的摄像机的方向上与所述其它摄像机相邻的摄像机在 至少紧邻的以前时间所拍摄的视频以及由所述其它摄像机在至少紧邻的以前 时间所拍摄的视频,执行对由所述其它摄像机所拍摄的视频的时间-空间估 计。
2、如权利要求1所述的方法,其中,所述执行对由位于中心的摄像机所 拍摄的视频的时间估计的结果为基础层视频,并且所述执行对由其它摄像机 所拍摄的视频的时间-空间估计的结果是基础层视频的至少一个加强层视频。
3、如权利要求1所述的方法,其中,在执行对由其它摄像机所拍摄的视 频的时间-空间估计中,至少参考等于预定数目的参考图像的多个以前时间的 视频,至少对由其它摄像机所拍摄的视频所参考的以前时间的视频执行所述 时间-空间估计。
4、如权利要求3所述的方法,其中,所述参考图像的预定数目为5。
5、如权利要求3所述的方法,其中,在对由其它摄像机所拍摄的视频的 时间-空间估计中,该时间-空间估计还进一步参考由与位于中心的摄像机相邻 的摄像机所拍摄的当前视频而执行。
6、如权利要求3所述的方法,其中,在对由其它摄像机所拍摄的视频的 时间-空间估计中,该时间-空间估计参考由落在由与位于中心的摄像机相邻的 摄像机所拍摄的以前时间的视频和目前将被估计的视频之间的一度范围内 的所有多个摄像机所拍摄的视频而执行。
7、一种用于视频的三维编码的方法,所述方法包括:
参考与目前将被编码的视频的中心相邻的摄像机所拍摄的以前时间的视 频;以及
按照预定数目的参考图像进一步参考同样多的、由相邻于视频的中心的 摄像机所拍摄的以前时间的视频执行时间-空间估计。
8、如权利要求7所述的方法,其中,所述参考的结果是基础层视频,并 且所述执行时间-空间估计的结果为基础层视频的至少一个加强层视频。
9、如权利要求7所述的方法,其中,与视频的中心相邻的摄像机和目前 将被编码的视频之间的角度随着相邻摄像机之间的间隔而变化。
10、一种用于视频的三维编码的方法,通过该方法对由二维排列的摄像 机所拍摄的多个视频进行编码,所述方法包括:
通过时间估计,对由在二维排列的其它摄像机中位于中心的摄像机所拍 摄的视频编码;以及
通过时间-空间估计,按照基于距位于中心的摄像机的距离最短的顺序, 顺序地对由其它摄像机所拍摄的视频编码。
11、如权利要求10所述的方法,其中,对由位于中心的摄像机所拍摄的 视频编码的结果为基础层视频,并且,顺序编码的结果为基础层视频的至少 一个加强层视频。
12、如权利要求10所述的方法,其中,在所述顺序编码中,如果存在多 个到位于中心的摄像机的距离相同的摄像机,则对该具有相同距离的多个摄 像机的编码以螺旋方式顺序地执行。
13、一种用于三维编码的编码器,包括:
第一编码器,其在多个其它摄像机被排列成一行且位于中心的摄像机处 于该行的中心位置时,参考由位于中心的摄像机在至少紧邻的以前时间所拍 摄的视频,执行对由位于中心的摄像机所拍摄的视频的时间估计;
第二编码器,其参考由在位于中心的摄像机的方向上与所述其它摄像机 相邻的摄像机在至少紧邻的以前时间所拍摄的视频和由所述其它摄像机在至 少紧邻的以前时间所拍摄的视频,执行对由所述其它摄像机所拍摄的视频的 时间-空间估计;以及
复用器,其复用第一编码器的输出和第二编码器的输出。
14、如权利要求13所述的编码器,其中,在所述第二编码器中,至少参 考等于预定数目的参考图像的多个以前时间的视频,至少对由其它摄像机所 拍摄的视频所参考的以前时间的视频执行所述时间-空间估计。
15、如权利要求14所述的编码器,其中,所述参考图像的预定数目为5。
16、如权利要求14所述的编码器,其中,在所述第二编码器中,所述时 间-空间估计还进一步参考由与位于中心的摄像机相邻的摄像机所拍摄的当 前视频而执行。
17、如权利要求14所述的编码器,其中,在所述第二编码器中,所述时 间-空间估计参考由落在由与位于中心的摄像机相邻的摄像机所拍摄的以前 时间的视频和目前将被估计的视频之间的一角度范围内的所有多个摄像机所 拍摄的视频而执行。
18、如权利要求14所述的编码器,其中,所述第一编码器的输出为基础 层视频,并且所述第二编码器的输出为基础层视频的至少一个加强层视频。
19、一种用于视频的三维编码的编码器,包括:
第一编码器,其通过参考与视频的中心相邻的摄像机的以前时间的视频, 对由与视频的中心相邻的摄像机所拍摄的当前时间的视频编码;
第二编码器,其按照预定数目的参考图像进一步参考同样多的、由相邻 于视频的中心的摄像机所拍摄的以前时间的视频执行时间-空间估计;以及
复用器,其复用第一编码器的输出和第二编码器的输出。
20、如权利要求19所述的编码器,其中,所述与视频的中心相邻的摄像 机和所述目前将被编码的视频之间的角度随着相邻摄像机之间的间隔而变 化。
21、如权利要求19所述的编码器,其中,所述第一编码器的输出为基础 层视频,并且所述第二编码器的输出为基础层视频的至少一个加强层视频。
22、一种用于视频的三维编码的编码器,通过该编码器对由二维排列的 摄像机所拍摄的多个视频进行编码,包括:
第一编码器,其通过时间估计,对由在二维排列的其它摄像机中位于中 心的摄像机所拍摄的视频编码;
第二编码器,其通过时间-空间估计,按照基于到位于中心的摄像机的距 离最短的顺序,顺序地对由其它摄像机所拍摄的视频编码;以及
复用器,其复用第一编码器的输出和第二编码器的输出。
23、如权利要求22所述的编码器,其中,在所述第二编码器中,如果存 在多个到位于中心的摄像机的距离相同的摄像机,则对该具有相同距离的多 个摄像机的编码以螺旋方式顺序地执行。
24、如权利要求22所述的编码器,其中,所述第一编码器的输出为基础 层视频,并且所述第二编码器的输出为基础层视频的至少一个加强层视频。
25、一种用于三维编码的编码系统,包括:
多个摄像机,该多个摄像机中的至少一个摄像机位于该多个摄像机的中 心;
第一编码器,其当所述多个摄像机中的多个其它摄像机被排列成一行且 位于中心的摄像机处在该行的中心位置时,参考由位于中心的摄像机在至少 紧邻的以前时间所拍摄的视频,执行对由位于中心的摄像机所拍摄的视频的 时间估计;
第二编码器,其参考由在位于中心的摄像机的方向上与所述其它摄像机 相邻的摄像机在至少紧邻的以前时间所拍摄的视频以及由所述其它摄像机在 至少紧邻的以前时间所拍摄的视频,执行对由所述其它摄像机所拍摄的视频 的时间-空间估计;以及
复用器,其复用第一编码器的输出和第二编码器的输出。
26、如权利要求25所述的编码系统,其中,在所述第二编码器中,至少 参考等于预定数目的参考图像的多个以前时间的视频、至少对由其它摄像机 所拍摄的视频所参考的以前时间的视频执行所述时间-空间估计。
27、如权利要求26所述的编码系统,其中,在所述第二编码器中,所述 时间-空间估计参考由落在由与位于中心的摄像机相邻的摄像机所拍摄的以 前时间的视频和目前将被估计的视频之间的一角度范围内的所有多个摄像机 所拍摄的视频而执行。
28、如权利要求25所述的编码系统,其中,所述第一编码器的输出为基 础层视频,并且所述第二编码器的输出为基础层视频的至少一个加强层视频。
29、一种用于视频的三维解码的方法,该方法包括:
将视频比特流解复用成基础层视频和至少一个加强层视频;
对所述基础层视频解码,以便对通过当多个其它摄像机被排列成一行且 位于中心的摄像机处于该行的中心位置时,参考由位于中心的摄像机在至少 紧邻的以前时间所拍摄的视频而执行对由位于中心的摄像机所拍摄的视频的 时间估计而编码的视频进行解码;以及
基于网络资源对至少一个加强层视频解码,以便对通过参考由在位于中 心的摄像机的方向上与所述其它摄像机相邻的摄像机在至少紧邻的以前时间 所拍摄的视频以及由所述其它摄像机在至少紧邻的以前时间所拍摄的视频而 执行对由所述其它摄像机所拍摄的视频的时间-空间编码而编码的视频解码。
30、如权利要求29所述的方法,其中,在所述对至少一个加强层视频的 编码中,在执行对由其它摄像机所拍摄的视频的时间-空间估计中,至少参考 与预定数目的参考图像相等的多个以前时间的视频,至少对由其它摄像机所 拍摄的视频所参考的以前时间的视频执行所述时间-空间估计。
31、如权利要求30所述的方法,其中,所述参考图像的预定数目为5。
32、如权利要求30所述的方法,其中,在所述对至少一个加强层视频的 编码中,在执行对由其它摄像机所拍摄的视频的时间-空间估计中,所述时间 -空间估计还进一步参考由与位于中心的摄像机相邻的摄像机所拍摄的当前 视频而执行。
33、如权利要求30所述的方法,其中,在所述对至少一个加强层视频的 编码中,在执行对由其它摄像机所拍摄的视频的时间-空间估计中,参考由落 在由与位于中心的摄像机相邻的摄像机所拍摄的以前时间的视频和目前将被 估计的视频之间的一角度范围内的所有多个摄像机所拍摄的视频而执行所述 时间-空间估计。
34、一种用于视频的三维解码的方法,该方法包括:
将视频比特流解复用成基础层视频和至少一个加强层视频;
对所述基础层视频解码,以便对通过参考由与当前将被编码的视频的中 心相邻的摄像机所拍摄的以前时间的视频而编码的视频解码;以及
基于网络资源对所述至少一个加强层视频解码,以便对通过按照预定数 目的参考图像进一步参考同样多的、由相邻于视频的中心的摄像机所拍摄的 以前时间的视频执行时间-空间估计而编码的视频解码。
35、如权利要求34所述的方法,其中,与视频的中心相邻的摄像机和目 前将被编码的视频之间的角度随着相邻摄像机之间的间隔而变化。
36、一种用于视频的三维解码的方法,通过该方法由二维排列的摄像机 所拍摄的多个视频被编码,所述方法包括:
将视频比特流解复用成基础层视频和至少一个加强层视频;
对所述基础层视频解码,以便对通过以时间估计对由在二维排列的其它 摄像机中位于中心的摄像机所拍摄的视频编码而编码的视频解码;以及
基于网络资源对所述至少一个加强层视频解码,以便对通过以时间-空间 估计按照基于到位于中心的摄像机的距离最短的顺序、顺序地对由其它摄像 机所拍摄的视频编码而编码的视频解码。
37、如权利要求36所述的方法,其中,在对顺序编码的至少一个加强层 视频的解码中,如果存在多个到位于中心的摄像机的距离相等的摄像机,则 对具有相同距离的多个摄像机的编码以螺旋方式顺序地执行。
38、一种用于视频的三维解码的解码器,包括:
解复用器,其将视频比特流解复用成基础层视频和至少一个加强层视频;
第一解码器,其通过对通过当多个其它摄像机被排列成一行且位于中心 的摄像机处于该行的中心位置时,参考由位于中心的摄像机在至少紧邻的以 前时间所拍摄的视频而执行对由位于中心的摄像机所拍摄的视频的时间估计 而编码的视频解码,对基础层视频解码;以及
第二解码器,其通过对通过参考由在位于中心的摄像机的方向上与所述 其它摄像机相邻的摄像机在至少紧邻的以前时间所拍摄的视频以及由所述其 它摄像机在至少紧邻的以前时间所拍摄的视频而执行对由所述其它摄像机所 拍摄的视频的时间-空间编码而编码的视频解码,基于网络资源对至少一个加 强层视频解码。
39、如权利要求38所述的解码器,其中,在所述对至少一个加强层视频 的编码中,在执行对由其它摄像机所拍摄的视频的时间-空间估计中,至少参 考等于预定数目的参考图像的多个以前时间的视频,至少对由其它摄像机所 拍摄的视频所参考的以前时间的视频执行所述时间-空间估计。
40、如权利要求39所述的解码器,其中,所述参考图像的预定数目为5。
41、如权利要求39所述的解码器,其中,在所述对至少一个加强层视频 的编码中,在执行对由其它摄像机所拍摄的视频的时间-空间估计中,所述时 间-空间估计还进一步参考由与位于中心的摄像机相邻的摄像机所拍摄的当 前视频而执行。
42、如权利要求39所述的解码器,其中,在所述对至少一个加强层视频 的编码中,在执行对由其它摄像机所拍摄的视频的时间-空间估计中,所述时 间-空间估计参考由落在由与位于中心的摄像机相邻的摄像机所拍摄的以前 时间的视频和目前将被估计的视频之间的一角度范围内的所有多个摄像机所 拍摄的视频而执行。
43、一种用于视频的三维解码的解码器,包括:
解复用器,其将视频比特流解复用为基础层视频和至少一个加强层视频;
第一解码器,其通过对通过参考由与当前将被编码的视频的中心相邻的 摄像机所拍摄的以前时间的视频而编码的视频解码,对所述基础层视频解码; 以及
第二解码器,其通过对通过按照预定数目的参考图像进一步参考同样多 的、由相邻于视频的中心的摄像机所拍摄的以前时间的视频执行时间-空间估 计而编码的视频解码,基于网路资源对所述至少一个加强层视频解码。
44、如权利要求43所述的解码器,其中,所述与视频的中心相邻的摄像 机和目前将被编码的视频之间的角度随着相邻摄像机之间的间隔而变化。
45、一种用于视频的三维解码的解码器,通过该解码器由二维排列的摄 像机所拍摄的多个视频被编码,包括:
解复用器,其将视频比特流解复用成基础层视频和至少一个加强层视频;
第一解码器,其通过对通过以时间估计对由在二维排列的其它摄像机中 位于中心的摄像机所拍摄的视频编码而编码的视频解码,对所述基础层视频 解码;以及
第二解码器,其通过对通过以时间-空间估计按照基于到位于中心的摄像 机的距离最短的顺序、顺序地对由其它摄像机所拍摄的视频编码而编码的视 频解码,基于网络资源对所述至少一个加强层视频解码。
46、如权利要求45所述的解码器,其中,在所述对顺序编码的至少一个 加强层视频的解码中,如果存在多个到位于中心的摄像机的距离相等的摄像 机,则对具有相同距离的多个摄像机的编码以螺旋方式顺序地执行。

说明书全文

技术领域

发明实施例涉及视频编码和解码,更具体地说,涉及对视频进行三 维编码和/或解码的方法、介质和装置,其包含:适应视频的时间特性和空间 特性。

背景技术

运动图像专家组(MPEG)-4第2部分和H.264(MPEG-4高级视频编码 (AVC))中的视频编码包含对视频的二维编码,并且着重于提高编码效率。 但是,在逼真(real-like)通信或虚拟现实领域中,还要求对视频的三维编码 和重现。因此,应该对音视频(AV)数据的三维编码进行研究,以代替对二 维编码进行研究。
视频编码标准化组织MPEG已经致于建立AV数据的三维编码标准。 作为该努力的一部分,已经成立了三维AV编码特别组(ad-hoc group,AHG), 并且标准化工作正在进行中。

发明内容

本发明的实施例包含用于对视频进行三维编码和/或解码的方法、介质和 装置,通过它们对从多台摄像机接收的视频数据进行三维编码/解码。
根据本发明的实施例,使用多台摄像机所获得的三维视频能够被有效地 编码,以获得较好的视频显示质量
附图说明
图1是示出了根据本发明的实施例的、使用左视图(left view)视频和右 视图视频对立体视频的编码和重现的视图;
图2A和2B示出了基础层(base layer)视频和加强层(enhancement layer) 视频的示例性结构;
图3是示出了根据本发明的实施例的、使用左视图视频和右视图视频的 抽取(decimation)来创建单个视频以及使用单个视频的内插(interpolation) 来将单个视频重建成左视图视频和右视图视频的视图;
图4是示出了对由左视图视频和右视图视频组成的抽取视频(decimated video)的运动估计/补偿的视图;
图5A示出了根据本发明的实施例的、对从排成一行的摄像机接收的多 个视频数据的编码;
图5B示出了由于场景变化而由多台摄像机随着时间所拍摄的视频;
图6A和6B是示出了根据本发明的实施例的、根据本发明的视频的三维 编码的视图;以及
图7示出了根据本发明的实施例的、当多台摄像机存在于二维空间中时 的摄像机位置和编码顺序。
最优方式
为了获得上述和/或其它方面和优点,本发明的实施例提出了一种用于视 频的三维编码的方法,所述方法包括:当多个其它摄像机被排列成一行,且 位于中心的摄像机处在该行的中心位置时,参考由位于中心的摄像机在至少 紧邻的以前时间(immediately previous-in-time)所拍摄的视频,执行对由位于中 心的摄像机所拍摄的视频的时间估计;和参考由与所述其它摄像机相邻的摄 像机在至少紧邻的以前时间所拍摄的视频,以及由所述其它摄像机在至少紧 邻的以前时间所拍摄的视频,执行对由所述其它摄像机所拍摄的视频的时间- 空间估计。
执行对由位于中心的摄像机所拍摄的视频的时间估计的结果可以是基础 层视频,并且执行对由其它摄像机所拍摄的视频的时间-空间估计的结果可以 是基础层视频的至少一个加强层视频。
在执行对由其它摄像机所拍摄的视频的时间-空间估计中,可以参考等于 预定数目的参考图像的多个以前时间的视频,对由其它摄像机所拍摄的视频 所参考的以前时间的视频执行时间-空间估计。并且,所述参考图像的预定数 目可以为5。
此外,在对由其它摄像机所拍摄的视频的时间-空间估计中,该时间-空 间估计也可以参考由与位于中心的摄像机相邻的摄像机所拍摄的当前视频而 执行。在对由其它摄像机所拍摄的视频的时间-空间估计中,该时间-空间估计 也可以是参考由落在由与位于中心的摄像机相邻的摄像机所拍摄的以前时间 的视频和目前将被估计的视频之间的一度范围内的所有多个摄像机所拍摄 的视频而执行的。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种用于视频 的三维编码的方法,所述方法包括:参考与目前将被编码的视频的中心相邻 的摄像机所拍摄的以前时间的视频;和按照预定数目的参考图像进一步参考 同样多的、由相邻于视频的中心的摄像机所拍摄的以前时间的视频执行时间- 空间估计。
参考的结果可以是基础层视频,并且执行时间-空间估计的结果可以是基 础层视频的至少一个加强层视频。
并且,与视频的中心相邻的摄像机和目前将被编码的视频之间的角度可 以随着相邻摄像机之间的间隔而变化。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种用于视频 的三维编码的方法,通过该方法对由二维排列的摄像机所拍摄的多个视频进 行编码,该方法包括:对由在二维排列的其它摄像机中位于中心的摄像机所 拍摄的视频编码;并且按照基于到位于中心的摄像机的距离最短的顺序,顺 序地对由其它摄像机所拍摄的视频编码。
对由位于中心的摄像机所拍摄的视频编码的结果可以是基础层视频,并 且,顺序编码的结果可以是基础层视频的至少一个加强层视频。
此外,在顺序编码中,如果存在多个到位于中心的摄像机的距离相同的 摄像机,则对该具有相同距离的多个摄像机的编码可以以螺旋方式顺序地执 行。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种包含计算 机可读代码的介质,所述计算机可读代码执行用于视频的三维编码的方法, 所述方法包括:当多个其它摄像机被排列成一行,且位于中心的摄像机处在 该行的中心位置时,参考由位于中心的摄像机在至少紧邻的以前时间所拍摄 的视频,执行对由位于中心的摄像机所拍摄的视频的时间估计;和参考由与 所述其它摄像机相邻的摄像机在至少紧邻的以前时间所拍摄的视频,以及由 所述其它摄像机在至少紧邻的以前时间所拍摄的视频,执行对由所述其它摄 像机所拍摄的视频的时间-空间估计。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种用于三维 编码的编码器,包括:第一编码器,其在多个其它摄像机被排列成一行,且 位于中心的摄像机处于该行的中心位置时,参考由位于中心的摄像机在至少 紧邻的以前时间所拍摄的视频,执行对由位于中心的摄像机所拍摄的视频的 时间估计;第二编码器,其参考由与所述其它摄像机相邻的摄像机在至少紧 邻的以前时间所拍摄的视频,和由所述其它摄像机在至少紧邻的以前时间所 拍摄的视频,执行对由所述其它摄像机所拍摄的视频的时间-空间估计;以及 复用器,其复用第一编码器的输出和第二编码器的输出。
在第二编码器中,可以参考等于预定数目的参考图像的多个以前时间的 视频,对由其它摄像机所拍摄的视频所参考的以前时间的视频执行所述时间- 空间估计。
此外,第一编码器的输出可以是基础层视频,并且第二编码器的输出可 以是基础层视频的至少一个加强层视频。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种用于视频 三维编码的编码器,包括:第一编码器,其通过参考与视频的中心相邻的摄 像机的以前时间的视频,对由与视频的中心相邻的摄像机所拍摄的当前时间 的视频编码;第二编码器,其按照预定数目的参考图像进一步参考同样多的、 由相邻于视频的中心的摄像机所拍摄的以前时间的视频执行时间-空间估计; 以及复用器,其复用第一编码器的输出和第二编码器的输出。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种用于视频 三维编码的编码器,通过该编码器对由二维排列的摄像机所拍摄的多个视频 进行编码,包括:第一编码器,其对由在二维排列的其它摄像机中位于中心 的摄像机所拍摄的视频编码;第二编码器,其按照基于到位于中心的摄像机 的距离最短的顺序,顺序地对由其它摄像机所拍摄的视频编码;以及复用器, 其复用第一编码器的输出和第二编码器的输出。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种用于三维 编码的编码系统,包括:多个摄像机,该多个摄像机中的至少一个摄像机位 于该多个摄像机的中心;第一编码器,其当所述多个摄像机中的多个其它摄 像机被排列成一行,且位于中心的摄像机处在该行的中心位置时,参考由位 于中心的摄像机在至少紧邻的以前时间所拍摄的视频,执行对由位于中心的 摄像机所拍摄的视频的时间估计;第二编码器,其参考由与所述其它摄像机 相邻的摄像机在至少紧邻的以前时间所拍摄的视频,以及由所述其它摄像机 在至少紧邻的以前时间所拍摄的视频,执行对由所述其它摄像机所拍摄的视 频的时间-空间估计;以及复用器,其复用第一编码器的输出和第二编码器的 输出。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种用于视频 的三维解码的方法,该方法包括:将视频比特流解复用成基础层视频和至少 一个加强层视频;对所述基础层视频解码,以便对通过当多个其它摄像机被 排列成一行,且位于中心的摄像机处于该行的中心位置时参考由位于中心的 摄像机在至少紧邻的以前时间所拍摄的视频而执行对由位于中心的摄像机所 拍摄的视频的时间估计而编码的视频进行解码;以及基于网络资源对至少一 个加强层视频解码,以便对通过参考由与所述其它摄像机相邻的摄像机在至 少紧邻的以前时间所拍摄的视频、以及由所述其它摄像机在至少紧邻的以前 时间所拍摄的视频而执行对由所述其它摄像机所拍摄的视频的时间-空间编 码而编码的视频解码。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种用于视频 的三维解码的方法,该方法包括:将视频比特流解复用成基础层视频和至少 一个加强层视频;对所述基础层视频解码,以便对通过参考由与当前将被编 码的视频的中心相邻的摄像机所拍摄的以前时间的视频而编码的视频解码; 以及基于网络资源对所述至少一个加强层视频解码,以便对通过按照预定数 目的参考图像进一步参考同样多的、由相邻于视频的中心的摄像机所拍摄的 以前时间的视频执行时间-空间估计而编码的视频解码。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种用于视频 的三维解码的方法,通过该方法由二维排列的摄像机所拍摄的多个视频被编 码,所述方法包括:将视频比特流解复用成基础层视频和至少一个加强层视 频;对所述基础层视频解码,以便对通过对由在二维排列的其它摄像机中位 于中心的摄像机所拍摄的视频编码而编码的视频解码;以及基于网络资源对 所述至少一个加强层视频解码,以便对通过按照基于到位于中心的摄像机的 距离最短的顺序、顺序地对由其它摄像机所拍摄的视频编码而编码的视频解 码。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种包含计算 机可读代码的计算机可读介质,该计算机可读代码执行用于视频的三维解码 的方法,所述方法包括:将视频比特流解复用成基础层视频和至少一个加强 层视频;对所述基础层视频解码,以便对通过在多个其它摄像机被排列成一 行,且位于中心的摄像机处于该行的中心位置时,参考由位于中心的摄像机 在至少紧邻的以前时间所拍摄的视频而执行对由位于中心的摄像机所拍摄的 视频的时间估计而编码的视频解码;以及基于网路资源对所述至少一个加强 层视频解码,以便对通过参考由与所述其它摄像机相邻的摄像机在至少紧邻 的以前时间所拍摄的视频、以及由所述其它摄像机在至少紧邻的以前时间所 拍摄的视频而执行对由所述其它摄像机所拍摄的视频的时间-空间估计而编 码的视频解码。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种用于视频 的三维解码的解码器,包括:解复用器,其将视频比特流解复用成基础层视 频和至少一个加强层视频;第一解码器,其通过对通过当多个其它摄像机被 排列成一行,且位于中心的摄像机处于该行的中心位置时,参考由位于中心 的摄像机在至少紧邻的以前时间所拍摄的视频而执行对由位于中心的摄像机 所拍摄的视频的时间估计而编码的视频解码,对基础层视频解码;以及第二 解码器,其通过对通过参考由与所述其它摄像机相邻的摄像机在至少紧邻的 以前时间所拍摄的视频、以及由所述其它摄像机在至少紧邻的以前时间所拍 摄的视频而执行对由所述其它摄像机所拍摄的视频的时间-空间编码而编码 的视频解码,基于网络资源对至少一个加强层视频解码。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种用于视频 的三维解码的解码器,包括:解复用器,其将视频比特流解复用为基础层视 频和至少一个加强层视频;第一解码器,其通过对通过参考由与当前将被编 码的视频的中心相邻的摄像机所拍摄的以前时间的视频而编码的视频解码, 对所述基础层视频解码;以及第二解码器,其通过对通过按照预定数目的参 考图像进一步参考同样多的、由相邻于视频的中心的摄像机所拍摄的以前时 间的视频执行时间-空间估计而编码的视频解码,基于网路资源对所述至少一 个加强层视频解码。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种用于视频 三维解码的解码器,通过该解码器由二维排列的摄像机所拍摄的多个视频被 编码,包括:解复用器,其将视频比特流解复用成基础层视频和至少一个加 强层视频;第一解码器,其通过对通过对由在二维排列的其它摄像机中位于 中心的摄像机所拍摄的视频编码而编码的视频解码,对所述基础层视频解码; 以及第二解码器,其通过对通过按照基于到位于中心的摄像机的距离最短的 顺序、顺序地对由其它摄像机所拍摄的视频编码而编码的视频解码,基于网 络资源对所述至少一个加强层视频解码。
为了获得上述和/或其它方面和优点,本发明的实施例提出一种三维编码 信号,包括:通过当多个其它摄像机被排列,且位于中心的摄像机处于所排 列的位于中心的摄像机的中心位置时,参考由位于中心的摄像机在至少紧邻 的以前时间所拍摄的视频,对由位于中心的摄像机所拍摄的视频执行时间估 计而编码的基础层视频;和通过参考由与所述其它摄像机相邻的摄像机在至 少紧邻的以前时间所拍摄的视频和由所述其它摄像机在至少紧邻的以前时间 所拍摄的视频,对由所述其它摄像机所拍摄的视频执行时间-空间估计而编码 的至少一个加强层视频,其中,所述基础层视频和所述至少一个加强层视频 被复用以生成所述三维编码信号

具体实施方式

现在,将详细参照本发明的实施例,其例子在附图中示出,在所有附图 中相似的附图标记表示相似的元素。下面将参照附图说明实施例,从而解释 本发明。
图1是示出了根据本发明的实施例的、使用左视图视频和右视图视频编 码和重现立体视频的视图。
如图1所示,在MPEG-2多视图类(multi-view profile)(13818-2)中, 能够使用可缩放编解码器(scalable codec)编码和重现三维视频,在可缩放 编解码器中,搜索左视图视频和右视图视频之间的相关性,并根据相应网络 的条件对两个视频之间的差异(disparity)编码。通过使用左视图视频作为基 础层视频而使用右视图视频作为加强层视频来进行编码。基础层视频是指能 够按原样(as it is)被编码的视频,而加强层视频是指如下视频:其在传输两 个视频层的相应网络状况良好时,即当网络状况不利于仅重现基础层视频时, 被额外编码,并且以后能够被用于提高基础层视频的质量。这样,使用基础 层视频和加强层视频两者的编码被称为可缩放编码。
左视图视频能够由第一运动补偿DCT编码器110编码。左视图视频和右 视图视频之间的差异能够由差异估计器122和差异补偿器124计算,并随后 由第二运动补偿DCT编码器126编码,其中差异估计器122估计左视图视频 和右视图视频之间的差异。假定对左视图视频编码的第一运动补偿DCT编码 器110为基础层视频编码器,则参与对左视图视频和右视图视频之间的差异 编码的差异估计器122、差异补偿器124和第二运动补偿DCT编码器126可 以被称为加强层视频编码器120。之后,编码后的基础层视频和加强层视频 由系统复用器130复用,并被发送以用于随后的解码。
当解码时,系统解复用器140能够将复用的数据分解成左视图视频和右 视图视频。左视图视频能够由第一运动补偿DCT解码器150解码。然后,差 异视频由差异补偿器162和第二运动补偿DCT解码器164恢复成右视图视 频,其中差异补偿器162补偿左视图视频和右视图视频之间的差异。假定对 左视图视频解码的第一运动补偿DCT解码器150是基础层视频解码器,则参 与搜索左视图视频和右视图视频之间的差异以及对右视图视频解码的差异补 偿器162和第二运动补偿DCT解码器164可以被称为加强层视频解码器160。
图2A和2B示出了基础层视频和加强层视频的示例性结构。
如图2A所示,与MPEG-2或MPEG-4中的视频编码相似,使用内图像 (intra picture)(称为I图像)212、预测图像(predictive picture)(称为P图 像)218以及双向图像(bidirectional picture)(称为B图像)214和216对左 视图视频类型的基础层视频编码。另一方面,右视图视频类型的加强层视频 可以包含参考左视图视频类型的I图像212编码的P图像222、参考右视图视 频类型的P图像222和左视图视频类型的B图像214编码的B图像224、参 考右视图视频类型的B图像224和左视图视频类型的B图像216编码的B图 像226、和参考右视图视频类型的B图像226和左视图视频类型的P图像218 编码的B图像228。换言之,可以参考基础层来编码差异。在图2A的表示中, 箭头的方向表示参考由箭头点(arrow point)标识的视频对各个视频进行编码。
图2B示出了加强层视频的另一示例性结构。
参照图2B,右视图视频类型的加强层视频能够包含参考左视图视频类型 的B图像232编码的B图像242、参考右视图视频类型的B图像242和左视 图视频类型的B图像234编码的B图像244、和参考右视图视频类型的B图 像244和左视图视频类型的P图像236编码的B图像246。
图3示出了使用对左视图视频和右视图视频的抽取创建单个视频,和使 用单个视频的内插将单个视频重建成左视图视频和右视图视频。
参照图3,立体视频编码可以在使用运动编码和差异编码的MPEG-2主 类(MP)中执行。通过将左视图视频和右视图视频平抽取为立体视频编码 中的1/2而后将带宽缩小1/2,可以将两个视频组合成一个视频。然后,将组 合的视频发送给解码器。解码器接收该组合视频,并且通过将组合的视频分 解为左视图视频和右视图视频并两次内插该左视图视频和右视图视频来恢复 原始视频。
图4是示出了对包含左视图视频和右视图视频的抽取视频的运动估计/ 补偿的视图。
如图4所示,可以参考与基础层视频LI、LB和LP相邻的加强层视频对 加强层视频RI、RB和RP编码。这里,RI表示右视图视频类型的I图像, RB表示右视图视频类型的B图像,而RP表示右视图视频类型的P图像,LI 表示左视图视频类型的I图像,LB表示左视图视频类型的B图像,而LP表 示左视图视频类型的P图像。
但是,这种编码方法存在这样的问题,即,差异信息没有被有效地压缩, 并且左视图视频和右视图视频之间的显示质量的差别将变得始终大于0.5- 1.5dB。并且,如果对于一个场景存在几台摄像机,将很难接收附加的视频数 据。
图5A是示出了从排列成一行的多台摄像机接收的编码视频数据的视图。
参照图5A,多台摄像机可以被排列成一行,例如,排列成一条一维的线。 在本发明的实施例中,可以假定摄像机存在于由i轴和j轴构成的二维空间中。 但是,为了解释本发明的实施例,多台摄像机的情况被示为仅存在于一维空 间中,即,(i,j)的i等于0。如果i不等于0,则多台摄像机将存在于二维 空间中。后面将参照图7说明这样的例子。
图5B示出了由多台摄像机随着时间,例如随着场景变化而拍摄的视频。
由一台摄像机在特定时间t拍摄的视频由f(i,j,t)标识,(i,j)将标 识摄像机的位置,并且当i等于0时,相应的摄像机如图5A和5B所示,仅 存在于一维空间中。例如,f(0,0,0)标识由中心摄像机在起始时间拍摄 的视频。如果将由其它摄像机拍摄的视频沿时间轴排列,则对于由相邻摄像 机在相邻时间t拍摄的视频,还将存在一个角度q。该角度信息q也可以被用 于编码和解码。
图6A和6B是示出了根据本发明的实施例的视频的三维编码的视图。
如图6A所示,分别由位于中心位置(0,0,t)的摄像机从第一方向摄 取的视频f(0,0,0)、f(0,0,1)、f(0,0,2)、f(0,0,3)和f(0,0, 4)每一个被编码成基础层视频,即,仅参考紧邻的以前时间的基础层视频对 它们每一个进行时间估计和编码。例如,参考f(0,0,1)估计f(0,0,2), 参考f(0,0,2)估计f(0,0,3)。作为例子,可以使用最多5个参考视频。 由位于位置(0,-1,t)的摄像机拍摄的视频f(0,-1,t)被编码成第一加 强层视频。更具体地说,可以使用时间上以前时间的解码视频(temporally previous-in-time decoded video)和参考视频f(0,-1,t-1~t-5)估计视频f(0, -1,t)。例如,可以参考视频f(0,0,1)和f(0,-1,1)估计视频f(0, -1,2),参考视频f(0,0,2)和f(0,-1,2)估计视频f(0,-1,3)。在 本例中,在对基础层视频的运动估计中再次使用最多5个参考视频。换句话 说,时间-空间估计运动,并随后对其编码。
可以使用与上述相同的方法对其它层的视频编码。换句话说,从摄像机 位置(0,-2,t)拍摄的视频f(0,-2,t)可以被编码成第三加强层视频, 从摄像机位置(0,1,t)拍摄的视频f(0,1,t)可以被编码成第二加强层 视频,而从摄像机位置(0,2,t)拍摄的视频f(0,2,t)可以被编码成第 四加强层视频。
如图6B进一步所示,根据本发明的另一个实施例,也可以参考相邻层 视频来对加强层视频编码。在本例中,由于使用了更多数量的参考视频,因 此能够提高恢复的视频的显示质量。
图7示出了当在二维空间中存在多台摄像机时,摄像机的位置和编码顺 序。
参照图7,当摄像机存在于二维空间中且t等于0时摄像机的位置被示出。 按照对摄像机所摄取的视频进行编码的一个顺序,由位于中心位置的摄像机 所摄取的视频被首先编码,并且与位于中心的摄像机位置最接近的8台摄像 机,例如那些与位于中心的摄像机的距离为1(这里假定从一台摄像机到另 一台的距离为1)的摄像机所摄取的视频被以螺旋方式顺序地编码。然后, 以螺旋方式顺序地对由与位于中心的摄像机的距离为2的16台摄像机所摄取 的视频编码。这种编码可以如下安排:
(1)f(0,0):距离=0
(2)f(1,0),f(1,1),f(0,1),f(-1,1),f(-1,0),f(-1,-1), f(0,-1),f(1,-1):距离=1
(3)f(2,0),f(2,1),f(2,2),...:距离=2
(4)f(3,0),f(3,1),...:距离=3
如果以上述顺序执行编码,虽然可以缩小相应网络的带宽,但是不能对 来自所有摄像机的视频进行编码和发送,并且这样仅仅发送一部分视频。因 此,为了克服这个潜在的带宽问题,可以使用双线性内插或同步功能型内插 (sync function type interpolation)来空间-时间预测并恢复来自N台摄像机的 视频。所以,只要来自位于位置(i,j,t)的摄像机的三维视频信息被编码 并发送到解码器,即使在网络带宽不足时仅发送了部分数据,解码器也仍然 能够通过执行内插来恢复原始视频。
使用视频f(0,6,6)作为例子,可以如下进一步解释根据本发明实施 例的用于编码的方法。
(1)f(0,6,5),f(0,6,4),f(0,6,3),f(0,6,2),f(0,6, 1):当j等于6时,执行时间预测,即运动估计/补偿。此时,参考图像的 数目为5,注意,参考图像的数目是可以根据不同情况而变化的。
(2)可以从视频f(0,6,6)向中心图像执行时间-空间预测。此时, 使用以前定义的角度θ执行时间-空间预测。换句话说,可以对落在角度θ范 围内的所有图像执行时间-空间预测。如果θ等于45°,则以如下顺序(例如) 执行预测:
a)f(0,5,5),f(0,5,4),f(0,5,3),f(0,5,2),f(0,5,1)
b)f(0,4,4),f(0,4,3),f(0,4,2),f(0,4,1)
c)f(0,3,3),f(0,3,2),f(0,3,1)
d)f(0,2,2),f(0,2,1)
e)f(0,1,1)
换句话说,可以以宏为单位对上面15个时间-空间参考图像执行运动 估计/补偿,其中参考图像使用以前定义的角度θ来确定。
(3)在(1)和(2)的时间-空间估计编码期间,可以从参考图像中搜索与当 前编码的宏块最相似的宏块,并且可以对找到的宏块执行运动估计/补偿和冗 余变换(residual transform)。
根据本发明的另一个实施例,例如,可以类似地执行与前述编码方法相 反的解码方法。如参照图6A和6B所述的,只要接收到复用的基础层视频和 加强层视频,该复用的视频就能够被分解成各个层的视频并被解码。
用于视频的三维编码的方法可以通过计算机可读代码,例如计算机程序 来实现。熟练的计算机程序员能够容易地解释组成的计算机可读代码的代码 和代码片段。并且,计算机可读代码可以在计算机可读介质上存储/传输,通 过读取和执行该计算机可读代码可以实现用于视频的三维编码/解码的方法。 该计算机可读介质包含例如磁性记录介质、光学记录介质和载波介质。
虽然参考其示范实施例具体示出并说明了本发明,但是本领域技术人员 应该理解,在不脱离所附权利要求所定义的本发明的精神和范围的前提下, 可以对其进行各种形式上和细节上的修改
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈