首页 / 专利库 / 物理 / 指向性 / 全景图像的展示方法、客户端、服务器及存储介质

全景图像的展示方法、客户端、服务器及存储介质

阅读:951发布:2022-03-28

专利汇可以提供全景图像的展示方法、客户端、服务器及存储介质专利检索,专利查询,专利分析的服务。并且本 申请 公开了一种全景图像的展示方法,包括:从应用 服务器 接收全景图像的数据并展示所述全景图像;响应于第一用户发表附加内容的操作,接收输入的附加内容数据;将所述附加内容数据及所述第一用户的 视野 朝向数据发送至所述 应用服务器 ,以使所述应用服务器根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围,其中,所述一段时间包含所述第一用户发表所述附加内容数据的时间点,使得所述应用服务器或第二应用客户端根据所述视野朝向变化范围和第二用户当前的视野朝向数据确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据。本申请还公开了相应的客户端、服务器和存储介质。,下面是全景图像的展示方法、客户端、服务器及存储介质专利的具体信息内容。

1.一种全景图像的展示方法,其特征在于,应用于第一应用客户端,该方法包括:
从应用服务器接收全景图像的数据并展示所述全景图像;
响应于第一用户发表附加内容的操作,接收输入的附加内容数据;
确定在发表所述附加内容的时间点之前和之后的一段时间内、所述第一用户在所述一段时间对应的视野朝向变化范围内的停留时间
将所述附加内容数据及所述第一用户的视野朝向数据发送至所述应用服务器,所述视野朝向数据包括所述停留时间;以使所述应用服务器根据所述视野朝向数据确定在所述一段时间内所述第一用户的视野朝向变化范围,其中,如果所述应用服务器或第二应用客户端确定所述视野朝向变化范围覆盖第二用户当前的视野朝向,并且所述第一用户在所述视野朝向变化范围的内停留时间达到预定阈值,则确定所述第二应用客户端在展示所述全景图像时展示所述附加内容数据,所述第二用户为所述第二应用客户端的使用者。
2.根据权利要求1所述的方法,进一步包括:响应于所述发表附加内容的操作,确定在发表所述附加内容数据的时间点之前和之后的一段时间内所述第一用户的视野朝向变化范围;
其中,发送至所述应用服务器的所述视野朝向数据包括所述视野朝向变化范围。
3.根据权利要求1所述的方法,进一步包括:所述应用服务器根据所述第一用户的视野朝向数据确定所述附加内容的展示方式;
其中,如果所述第一用户发表所述附加内容的时间点之前和之后的一段时间内,所述第一用户的视野朝向变化小于阈值,则确定所述展示方式为静态的展示方式;
如果所述第一用户发表所述附加内容的时间点之前和之后的一段时间内,所述第一用户的视野朝向变化大于阈值,则确定所述展示方式为动态的展示方式。
4.根据权利要求3所述的方法,其中,当所述展示方式为静态的展示方式时,所述第二应用客户端在固定的位置展示所述附加内容;
当所述展示方式为动态的展示方式时,所述第二应用客户端根据指向方向移动展示所述附加内容。
5.根据权利要求1所述的方法,其中,每隔一段时间将所述第一用户的视野朝向数据发送至所述应用服务器,所述视野朝向数据为当前的视野朝向数据,所述当前的视野朝向数据包括所述第一用户当前视野朝向的相关数据。
6.根据权利要求1所述的方法,其中,当所述第一用户发表附加内容时,将所述视野朝向数据发送至所述应用服务器,所述视野朝向数据包括:所述一段时间内所述第一用户的各个视野朝向对应的视野朝向数据,所述各个视野朝向对应的视野朝向数据包括所述第一用户在各个视野朝向上的相关数据。
7.一种全景图像的展示方法,其特征在于,应用于应用客户端,该方法包括:
从应用服务器接收全景图像的数据并展示所述全景图像;
从所述应用服务器接收至少一份附加内容数据以及发表各份附加内容数据的第一用户在发表所述附加内容数据的时间点之前和之后的一段时间内的视野朝向变化范围;
从所述应用服务器接收所述第一用户在所述一段时间内在所述视野朝向变化范围内的停留时间;
针对每一份附加内容数据,如果该份附加内容数据的所述视野朝向变化范围覆盖第二用户的视野朝向,并且所述第一用户在所述视野朝向变化范围内的停留时间达到预定阈值,则确定可展示所述附加内容数据,所述第二用户为所述应用客户端的使用者;
展示所述确定的可展示的各份附加内容数据。
8.根据权利要求7所述的方法,进一步包括:
当从所述应用服务器接收所述附加内容数据及其视野朝向变化范围时,进一步接收所述附加内容数据的展示方式;
其中,按所述展示方式展示所述附加内容数据。
9.根据权利要求7所述的方法,进一步包括:
根据所述附加内容数据的所述视野朝向变化范围,确定所述附加内容数据的展示方式;
其中,按所述展示方式展示所述附加内容数据。
10.根据权利要求8或9所述的方法,其中,
当所述展示方式指示所述附加内容是静止的时,以静态的方式展示所述附加内容数据;
当所述展示方式指示所述附加内容是指向性的时,确定指向方向,根据所述指向方向以动态的方式展示所述附加内容数据。
11.根据权利要求10所述的方法,其中,所述确定指向方向包括:根据接收到的多份附加内容数据的所述视野朝向变化范围确定所述指向方向。
12.根据权利要求11所述的方法,其中,所述根据接收到的多份附加内容数据的所述视野朝向变化范围确定所述指向方向,包括:
根据多份附加内容数据的所述视野朝向变化范围,确定所述第一用户中多数者的视野移动方向并将其作为所述指向方向。
13.根据权利要求11所述的方法,其中,所述根据接收到的多份附加内容数据的所述视野朝向变化范围确定所述指向方向,包括:
根据多份附加内容数据的所述视野朝向变化范围,确定所述第一用户中指定类型者的视野移动方向并将其作为所述指向方向。
14.一种全景图像的展示控制方法,其特征在于,应用于应用服务器,该方法包括:
向多个应用客户端发送全景图像的数据,以使其分别展示所述全景图像;
当接收到所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时,接收所述第一用户的视野朝向数据,根据所述视野朝向数据确定在发表所述附加内容数据的时间点之前和之后的一段时间内所述第一用户的视野朝向变化范围;所述视野朝向数据进一步包含所述第一用户在所述一段时间内在所述视野朝向变化范围内的停留时间;
将当前已收到的各份附加内容数据和各自的所述第一用户的视野朝向变化范围和所述停留时间分别发送给所述多个应用客户端,以使其针对每一份附加内容数据,如果确定该份附加内容数据的所述视野朝向变化范围覆盖第二用户的视野朝向,且所述第一用户在所述视野朝向变化范围的停留时间达到预定阈值,确定可展示所述附加内容数据,并展示所述确定的可展示的各份附加内容数据,所述第二用户为收到所述附加内容数据的所述应用客户端的使用者。
15.根据权利要求14所述的方法,进一步包括:
针对每一份附加内容数据,根据所述附加内容数据的所述视野朝向变化范围,确定该份附加内容数据的展示方式,并将所述展示方式发送给所述多个应用客户端,以使其按所述展示方式展示该份附加内容数据。
16.根据权利要求15所述的方法,其中,如果所述第一用户发表所述附加内容的时间点之前和之后的一段时间内,所述第一用户的视野朝向变化小于阈值,则确定所述展示方式为静态的展示方式;
如果所述第一用户发表所述附加内容的时间点之前和之后的一段时间内,所述第一用户的视野朝向变化大于阈值,则确定所述展示方式为动态的展示方式。
17.根据权利要求16所述的方法,其中,当所述展示方式为静态的展示方式时,所述多个应用客户端在固定的位置展示所述附加内容;
当所述展示方式为动态的展示方式时,所述多个应用客户端根据指向方向移动展示所述附加内容。
18.一种全景图像的展示控制方法,其特征在于,应用于应用服务器,该方法包括:
向多个应用客户端发送全景图像的数据,以使其分别展示所述全景图像;
当接收到所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时,接收所述第一用户的视野朝向数据,根据所述视野朝向数据确定在发表所述附加内容数据的时间点之前和之后的一段时间内所述第一用户的视野朝向变化范围;所述视野朝向数据进一步包含所述第一用户在所述一段时间内在所述视野朝向变化范围内的停留时间;
针对每一个应用客户端执行如下操作:
针对当前已收到的每一份附加内容数据,如果该份附加内容数据的所述视野朝向变化范围覆盖第二用户的视野朝向,并且所述第一用户在所述视野朝向变化范围内的停留时间达到预定阈值,则确定该应用客户端可展示所述附加内容数据,所述第二用户为该应用客户端的使用者;
将所述确定的该应用客户端可展示的各份附加内容数据发送给该应用客户端,以使其展示所述可展示的各份附加内容数据。
19.根据权利要求18所述的方法,进一步包括:所述应用服务器根据所述第一用户的视野朝向数据确定所述附加内容的展示方式;其中,如果所述第一用户发表所述附加内容的时间点之前和之后的一段时间内,所述第一用户的视野朝向变化小于阈值,则确定所述展示方式为静态的展示方式;
如果所述第一用户发表所述附加内容的时间点之前和之后的一段时间内,所述第一用户的视野朝向变化大于阈值,则确定所述展示方式为动态的展示方式。
20.根据权利要求19所述的方法,其中,当所述展示方式为静态的展示方式时,所述多个应用客户端在固定的位置展示所述附加内容;
当所述展示方式为动态的展示方式时,所述多个应用客户端根据指向方向移动展示所述附加内容。
21.一种应用客户端,其特征在于,包括:
全景展示模,从应用服务器接收全景图像的数据并展示所述全景图像;
接收模块,响应于第一用户发表附加内容的操作,接收输入的附加内容数据;
确定模块,确定在发表所述附加内容的时间点之前和之后的一段时间内、所述第一用户在所述一段时间对应的视野朝向变化范围内的停留时间;
发送模块,将所述附加内容数据及所述第一用户的视野朝向数据发送至所述应用服务器,所述视野朝向数据包括所述停留时间;以使所述应用服务器根据所述视野朝向数据确定在所述一段时间内所述第一用户的视野朝向变化范围,其中,如果所述应用服务器或第二应用客户端确定所述视野朝向变化范围覆盖和第二用户当前的视野朝向,并且所述第一用户在所述视野朝向变化范围的内停留时间达到预定阈值,则确定所述第二应用客户端在展示所述全景图像时展示所述附加内容数据,所述第二用户为所述应用客户端的使用者。
22.根据权利要求21所述的应用客户端,其中:
确定模块,进一步响应于所述发表附加内容的操作,确定在发表所述附加内容数据的时间点之前和之后的一段时间内所述第一用户的视野朝向变化范围;
其中,所述发送模块发送至所述应用服务器的所述视野朝向数据包括所述视野朝向变化范围。
23.根据权利要求21所述的应用客户端,其中,所述应用服务器进一步根据所述第一用户的视野朝向数据确定所述附加内容的展示方式;
其中,如果所述第一用户发表所述附加内容的时间点之前和之后的一段时间内,所述第一用户的视野朝向变化小于阈值,则所述应用服务器确定所述展示方式为静态的展示方式;
如果所述第一用户发表所述附加内容的时间点之前和之后的一段时间内,所述第一用户的视野朝向变化大于阈值,则所述应用服务器确定所述展示方式为动态的展示方式。
24.根据权利要求23所述的应用客户端,其中,当所述展示方式为静态的展示方式时,所述第二应用客户端在固定的位置展示所述附加内容;
当所述展示方式为动态的展示方式时,所述第二应用客户端根据指向方向移动展示所述附加内容。
25.根据权利要求21所述的应用客户端,其中,所述发送模块每隔一段时间将所述第一用户的视野朝向数据发送至所述应用服务器,所述视野朝向数据为当前的视野朝向数据,所述当前的视野朝向数据包括所述第一用户当前视野朝向的相关数据。
26.根据权利要求21所述的应用客户端,其中,当所述第一用户发表附加内容时,所述发送模块将所述视野朝向数据发送至所述应用服务器,所述视野朝向数据包括:所述一段时间内所述第一用户的各个视野朝向对应的视野朝向数据,所述各个视野朝向对应的视野朝向数据包括所述第一用户在各个视野朝向上的相关数据。
27.一种应用客户端,其特征在于,包括:
全景展示模块,从应用服务器接收全景图像的数据并展示所述全景图像;
接收模块,从所述应用服务器接收至少一份附加内容数据以及发表各份附加内容数据的第一用户在发表所述附加内容数据的时间点之前和之后的一段时间内的视野朝向变化范围;从所述应用服务器接收所述第一用户在所述一段时间内在所述视野朝向变化范围内的停留时间;
确定模块,针对每一份附加内容数据,如果该份附加内容数据的所述视野朝向变化范围覆盖第二用户的视野朝向,并且所述第一用户在所述视野朝向变化范围内的停留时间达到预定阈值,则确定可展示所述附加内容数据,所述第二用户为所述应用客户的使用者;
所述全景展示模块,展示所述确定的可展示的各份附加内容数据。
28.根据权利要求27所述的应用客户端,其中,
所述接收模块,当从所述应用服务器接收所述附加内容数据及其视野朝向变化范围时,进一步接收所述附加内容数据的展示方式;
所述全景展示模块,按所述展示方式展示所述附加内容数据。
29.根据权利要求27所述的应用客户端,其中,
所述确定模块,根据所述附加内容数据的所述视野朝向变化范围,进一步确定所述附加内容数据的展示方式;
所述全景展示模块,按所述展示方式展示所述附加内容数据。
30.一种应用服务器,其特征在于,包括:
发送模块,向多个应用客户端发送全景图像的数据,以使其分别展示所述全景图像;
确定模块,当接收到所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时,接收所述第一用户的视野朝向数据,根据所述视野朝向数据确定在发表所述附加内容数据的时间点之前和之后的一段时间内所述第一用户的视野朝向变化范围;所述视野朝向数据进一步包含所述第一用户在所述一段时间内在所述视野朝向变化范围内的停留时间;
所述发送模块,将当前已收到的各份附加内容数据和各自的所述第一用户的视野朝向变化范围和所述停留时间分别发送给所述多个应用客户端,以使其针对每一份附加内容数据,如果确定该份附加内容数据的所述视野朝向变化范围覆盖第二用户的视野朝向,且所述第一用户在所述视野朝向变化范围的停留时间达到预定阈值,确定可展示所述附加内容数据,并展示所述确定的可展示的各份附加内容数据,所述第二用户为收到所述附加内容数据的所述应用客户端的使用者。
31.根据权利要求30所述的应用服务器,其中,针对每一份附加内容数据,所述确定模块,进一步根据所述附加内容数据的所述视野朝向变化范围,确定该份附加内容数据的展示方式;
所述发送模块,进一步将所述展示方式发送给所述多个应用客户端,以使其按所述展示方式展示该份附加内容数据。
32.根据权利要求31所述的应用服务器,其中,如果所述第一用户发表所述附加内容的时间点之前和之后的一段时间内,所述第一用户的视野朝向变化小于阈值,则所述确定模块进一步确定所述展示方式为静态的展示方式;
如果所述第一用户发表所述附加内容的时间点之前和之后的一段时间内,所述第一用户的视野朝向变化大于阈值,则所述确定模块进一步确定所述展示方式为动态的展示方式。
33.根据权利要求32所述的应用服务器,其中,当所述展示方式为静态的展示方式时,所述多个应用客户端在固定的位置展示所述附加内容;
当所述展示方式为动态的展示方式时,所述多个应用客户端根据指向方向移动展示所述附加内容。
34.一种应用服务器,其特征在于,包括:
发送模块,向多个应用客户端发送全景图像的数据,以使其分别展示所述全景图像;
确定模块,当接收到所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时,接收所述第一用户的视野朝向数据,根据所述视野朝向数据确定在发表所述附加内容数据的时间点之前和之后的一段时间内所述第一用户的视野朝向变化范围;所述视野朝向数据进一步包含所述第一用户在所述一段时间内在所述视野朝向变化范围内的停留时间;
所述发送模块,针对每一个应用客户端执行如下操作:针对当前已收到的每一份附加内容数据,如果该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向,并且所述第一用户在所述视野朝向变化范围内的停留时间达到预定阈值,则确定该应用客户端可展示所述附加内容数据,所述第二用户为该应用客户端的使用者;将所述确定的该应用客户端可展示的各份附加内容数据发送给该应用客户端,以使其展示所述可展示的各份附加内容数据。
35.根据权利要求34所述的应用服务器,其中,针对每一份附加内容数据,所述确定模块,进一步根据所述附加内容数据的所述视野朝向变化范围,确定该份附加内容数据的展示方式;如果所述第一用户发表所述附加内容的时间点之前和之后的一段时间内,所述第一用户的视野朝向变化小于阈值,则所述确定模块进一步确定所述展示方式为静态的展示方式;
如果所述第一用户发表所述附加内容的时间点之前和之后的一段时间内,所述第一用户的视野朝向变化大于阈值,则所述确定模块进一步确定所述展示方式为动态的展示方式。
36.根据权利要求35所述的应用服务器,其中,当所述展示方式为静态的展示方式时,所述多个应用客户端在固定的位置展示所述附加内容;
当所述展示方式为动态的展示方式时,所述多个应用客户端根据指向方向移动展示所述附加内容。
37.一种计算机可读存储介质,其特征在于,存储有数据处理程序,该数据处理程序用于使计算机执行如权利要求1至20任一项所述的方法。

说明书全文

全景图像的展示方法、客户端、服务器及存储介质

技术领域

[0001] 本申请涉及计算机技术领域,尤其涉及全景图像的展示方法、全景图像的展示控制方法、应用客户端、应用服务器及存储介质。

背景技术

[0002] 随着智能用户设备的发展,虚拟现实(VR,Virtual Reality)技术越来越多的应用到普通的用户设备中,如智能手机、平板电脑、PC机等,于是出现了各种VR软件(如VR视频APP),用户佩戴了连接了用户设备的头盔、眼镜等VR可穿戴设备,可观看到VR软件展示的VR全景图像,可以获得三维空间视景中的沉浸式体验。
[0003] 目前,已存在一些VR平台,用户设备中可安装VR应用客户端,各VR应用客户端通过访问VR平台中的VR应用服务器能够访问VR全景图像数据并向用户展示。比如:VR应用客户端可以从VR应用服务器获取到VR视频数据并播放,用户佩戴了连接VR应用客户端的VR头显设备(如头盔、眼镜等)就能够体验到沉浸式的全景视频。发明内容
[0004] 本申请实例提供一种全景图像的展示方法,应用于第一应用客户端,该方法包括:从应用服务器接收全景图像的数据并展示所述全景图像;响应于第一用户发表附加内容的操作,接收输入的附加内容数据;将所述附加内容数据及所述第一用户的视野朝向数据发送至所述应用服务器,以使所述应用服务器根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围,其中,所述一段时间包含所述第一用户发表所述附加内容数据的时间点,使得所述应用服务器或第二应用客户端根据所述视野朝向变化范围和第二用户当前的视野朝向数据,确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据,所述第二用户为所述第二应用客户端的使用者。
[0005] 本申请实例提供了一种全景图像的展示方法,应用于应用客户端,该方法包括:从应用服务器接收全景图像的数据并展示所述全景图像;从所述应用服务器接收至少一份附加内容数据以及发表各份附加内容数据的第一用户在一段时间内的视野朝向变化范围;其中,针对一份附加内容数据,所述一段时间包含发表该份附加内容数据的时间点;针对每一份附加内容数据,根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否可展示所述附加内容数据,所述第二用户为所述应用客户端的使用者;展示所述确定的可展示的各份附加内容数据。
[0006] 本申请实例提供了一种全景图像的展示控制方法,应用于应用服务器,该方法包括:向多个应用客户端发送全景图像的数据,以使其分别展示所述全景图像;当接收到所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时,接收所述第一用户的视野朝向数据,根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围,其中,所述一段时间包含所述第一用户发表所述附加内容数据的时间点;将当前已收到的各份附加内容数据和各自的所述第一用户的视野朝向变化范围分别发送给所述多个应用客户端,以使其针对每一份附加内容数据,根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否可展示所述附加内容数据,并展示所述确定的可展示的各份附加内容数据,所述第二用户为收到所述附加内容数据的所述应用客户端的使用者。
[0007] 本申请实例提供了一种全景图像的展示控制方法,应用于应用服务器,该方法包括:向多个应用客户端发送全景图像的数据,以使其分别展示所述全景图像;当接收到所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时,接收所述第一用户的视野朝向数据,根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围,其中,所述一段时间包含所述第一用户发表所述附加内容数据的时间点;针对每一个应用客户端执行如下操作:针对当前已收到的每一份附加内容数据,根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定该应用客户端是否可展示所述附加内容数据,所述第二用户为该应用客户端的使用者;将所述确定的该应用客户端可展示的各份附加内容数据发送给该应用客户端,以使其展示所述可展示的各份附加内容数据。
[0008] 本申请实例提供了一种应用客户端,包括:全景展示模,从应用服务器接收全景图像的数据并展示所述全景图像;接收模块,响应于第一用户发表附加内容的操作,接收输入的附加内容数据;发送模块,将所述附加内容数据及所述第一用户的视野朝向数据发送至所述应用服务器,以使所述应用服务器根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围,其中,所述一段时间包含所述第一用户发表所述附加内容数据的时间点,使得所述应用服务器或第二应用客户端根据所述视野朝向变化范围和第二用户当前的视野朝向数据确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据,所述第二用户为所述应用客户端的使用者。
[0009] 在一些实例中,上述客户端进一步包括:确定模块,响应于所述发表附加内容的操作,确定在发表所述附加内容数据的时间点之前和之后的一段时间内所述第一用户的视野朝向变化范围;其中,所述发送模块发送至所述应用服务器的所述视野朝向数据包括所述视野朝向变化范围。
[0010] 在一些实例中,所述确定模块,进一步确定在发表所述附加内容数据的时间点之前和之后的一段时间内所述第一用户在所述视野朝向变化范围内的停留时间;其中,所述发送模块发送至所述应用服务器的所述视野朝向数据进一步包括所述停留时间;其中,所述应用服务器或第二应用客户端根据所述视野朝向变化范围、所述停留时间和所述第二用户当前的视野朝向数据确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据。
[0011] 在一些实例中,所述发送模块每隔一段时间将包括所述第一用户当前视野朝向参数的视野朝向数据发送至所述应用服务器。
[0012] 本申请实例提供了一种应用客户端,包括:全景展示模块,从应用服务器接收全景图像的数据并展示所述全景图像;接收模块,从所述应用服务器接收至少一份附加内容数据以及发表各份附加内容数据的第一用户在一段时间内的视野朝向变化范围;其中,针对一份附加内容数据,所述一段时间包含发表该份附加内容数据的时间点;确定模块,针对每一份附加内容数据,根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否可展示所述附加内容数据;所述全景展示模块,展示所述确定的可展示的各份附加内容数据,所述第二用户为所述应用客户端的使用者。
[0013] 在一些实例中,所述接收模块,当从所述应用服务器接收所述附加内容数据及其视野朝向变化范围时,进一步接收所述附加内容数据的展示方式;所述全景展示模块,按所述展示方式展示所述附加内容数据。
[0014] 在一些实例中,所述确定模块,根据所述附加内容数据的所述视野朝向变化范围,进一步确定所述附加内容数据的展示方式;所述全景展示模块,按所述展示方式展示所述附加内容数据。
[0015] 在一些实例中,所述确定模块,当该份附加内容数据的所述视野朝向变化范围对应的视觉停留区域覆盖了所述第二用户的所述视野朝向数据对应的视觉停留区域时,确定可展示该份附加内容数据。
[0016] 在一些实例中,所述接收模块,当从所述应用服务器接收所述附加内容数据及其视野朝向变化范围时,进一步接收所述视野朝向变化范围的停留时间;所述确定模块,当该份附加内容数据的所述视野朝向变化范围对应的视觉停留区域覆盖了所述第二用户的所述视野朝向数据对应的视觉停留区域,并且所述视野朝向变化范围对应的停留时间达到预定阈值时,确定可展示该份附加内容数据。
[0017] 本申请实例提供了一种应用服务器,包括:发送模块,向多个应用客户端发送全景图像的数据,以使其分别展示所述全景图像;确定模块,当接收到所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时,接收所述第一用户的视野朝向数据,根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围,其中,所述一段时间包含所述第一用户发表所述附加内容数据的时间点;所述发送模块,将当前已收到的各份附加内容数据和各自的所述第一用户的视野朝向变化范围分别发送给所述多个应用客户端,以使其针对每一份附加内容数据,根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否可展示所述附加内容数据,并展示所述确定的可展示的各份附加内容数据,所述第二用户为收到所述附加内容数据的所述应用客户端的使用者。
[0018] 在一些实例中,针对每一份附加内容数据,所述确定模块,进一步根据所述附加内容数据的所述视野朝向变化范围,确定该份附加内容数据的展示方式;
[0019] 所述发送模块,进一步将所述展示方式发送给所述多个应用客户端,以使其按所述展示方式展示该份附加内容数据。
[0020] 本申请实例提供了一种应用服务器,包括:发送模块,向多个应用客户端发送全景图像的数据,以使其分别展示所述全景图像;确定模块,当接收到所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时,接收所述第一用户的视野朝向数据,根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围,其中,所述一段时间包含所述第一用户发表所述附加内容数据的时间点;所述发送模块,针对每一个应用客户端执行如下操作:针对当前已收到的每一份附加内容数据,根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定该应用客户端是否可展示所述附加内容数据,所述第二用户为该应用客户端的使用者;将所述确定的该应用客户端可展示的各份附加内容数据发送给该应用客户端,以使其展示所述可展示的各份附加内容数据。
[0021] 本申请实例提供了一种存储介质,存储有数据处理程序,该数据处理程序用于使计算机执行如上所述的方法。
[0022] 采用本申请提出的上述技术方案,能够改善VR系统中全景图像和附加内容的展示效果。附图说明
[0023] 为了更清楚地说明本申请实例中的技术方案,下面将对实例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0024] 图1是本申请涉及的一种系统构架示意图;
[0025] 图2为本申请一实例的方法流程图
[0026] 图3为本申请一实例的三维虚拟空间示意图;
[0027] 图4为本申请一实例的方法流程图;
[0028] 图5为本申请一实例的方法流程图;
[0029] 图6为本申请一实例的方法流程图;
[0030] 图7为本申请一实例的消息交互图;
[0031] 图8是本申请一实例的应用客户端结构图;
[0032] 图9是本申请一实例的应用客户端结构图;
[0033] 图10是本申请一实例的应用服务器结构图;
[0034] 图11是本申请一实例的应用服务器结构图;及
[0035] 图12是本申请一些实例的设备结构图。

具体实施方式

[0036] 下面将结合本申请实例中的附图,对本申请实例中的技术方案进行清楚、完整地描述,显然,所描述的实例仅是本申请一部分实例,而不是全部的实例。基于本申请中的实例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例,都属于本申请保护的范围。
[0037] 本申请提出的全景图像的展示方法可应用于VR系统。图1示出了一种VR系统100,其包括:终端设备101、VR设备102和服务器103。其中,终端设备101中可运行VR客户端(即VR APP),VR设备102可包括用户可操作的控制器(Controller)和可穿戴的装备(如:各种VR头显设备、VR体感设备等)。上述终端设备101中的VR客户端可与VR设备102进行信息交互以为用户提供沉浸式的VR图像并完成相应的操作功能。具体的,VR客户端可根据可穿戴的装备提供的用户在虚拟空间中的位置信息以及运动信息为用户展示相应的VR图像数据,以给用户带来沉浸式体验;VR客户端还可以响应于用户操作控制器发出的指令而执行相应的操作,比如:打开/暂停/关闭视频文件、发表评论(如弹幕信息)等等。服务器103中可运行相应的VR应用服务器软件(简称VR服务器或者VR平台),VR服务器可为各个VR客户端提供各种VR全景图像数据,比如:全景图片、全景视频、VR游戏等,可响应于来自VR客户端的业务请求而执行相应的处理,比如:为VR客户端提供用于选择全景视频的页面,向VR客户端提供其选中的VR视频的数据以进行播放,发表VR客户端提供的附加内容(如评论信息)等等。
[0038] 这里,上述终端设备101是指具有数据计算处理功能的终端设备,包括但不限于(安装有通信模块的)智能手机、掌上电脑、平板电脑、智能电视(SmartTV)等。这些通信终端上都安装有操作系统,包括但不限于:Android操作系统、Symbian操作系统、Windows mobile操作系统、以及苹果iPhone OS操作系统等等。上述的VR头显设备(HMD,Head Mount Display)包括可以显示实时的画面的屏幕,还可包括眼球追踪模块,其能够获得人眼球的实时运动轨迹。上述的VR设备中还可包括跟踪系统和计算处理单元,其中,跟踪系统能够追踪用户在真实三维空间的实时位置信息与运动信息,计算处理单元能够从跟踪系统中获得用户的实时位置信息与运动信息,并计算出用户头部在虚拟三维空间中的三维坐标以及运动信息、用户在虚拟三维空间中的视野朝向数据、用户实时的注视点在虚拟三维空间中的三维坐标。
[0039] 当用户佩戴VR设备观看VR图像时,可以通过控制器创建该VR图像的附加内容(比如发表评论、添加注释或标签等),在VR系统中,如评论这种附加内容通常以弹幕信息的形式展示在VR图像中。当不同用户针对同一VR媒体内容(如一个VR视频)发表了不同的弹幕信息时,由于各个用户的方位及视野朝向不同,其所看到的VR图像也不同(同一VR视频中对应不同视/视点的图像),也就是说各个用户发表的弹幕信息所针对的VR图像不同。这是因为,一个VR媒体内容(比如:一张全景图片或者一个全景视频)是由在实际场景中的不同方位和角度拍摄的多张图片或多组图像拼接而成的,每张图片或每组帧图像能够映射到虚拟空间中的特定位置中,VR客户端在向用户提供VR图像时,会根据当前获取到的该用户在实际场景中的位置信息和运动信息确定其在虚拟空间中的位置信息和运动信息,进而为用户提供对应于虚拟空间中特定位置的图片或帧图像。所以,对于同一VR媒体内容,各个用户看到的VR图像画面内容可能是各不相同的。例如,用户戴上VR头显设备时,VR客户端是按默认初始视角播放VR视频的,此默认初始视角由VR服务器随机分配,不同用户的可能不一样。进一步的,用户的头部在移动,VR视频的播放视角也会相应发生变化,所以导致他看到的视频画面与其他用户看到的视频画面是不一致的。那么,一个VR客户端在播放一个VR媒体内容时,如果有弹幕信息发表,就要在VR图像中展示弹幕信息,而如果将不同用户针对此VR媒体内容发表的不同弹幕信息同时展示在当前播放的VR图像中,会给当前观看用户带来困扰,因为很可能会有不少弹幕信息与当前播放的VR图像无关,这样,就会严重影响VR图像及其弹幕信息的展示效果,也会造成处理资源的浪费,影响系统性能。
[0040] 针对上述问题,本申请一些实例中提出了一种全景图像的展示方法,该方法可应用于第一应用客户端101,即可针对VR全景图像发表附加内容(如评论)的VR客户端。如图2所示,该方法包括如下处理200:
[0041] 步骤201:第一应用客户端从应用服务器接收全景图像的数据并展示所述全景图像。
[0042] 步骤202:第一应用客户端响应于第一用户发表附加内容的操作,接收输入的附加内容数据。
[0043] 这里,当第一用户要发表附加内容时,可操作手持的控制器或者运行第一应用客户端的终端设备的键盘鼠标等外设,进而能够向第一应用客户端发出发表附加内容的指令,使得第一应用客户端开始接收第一用户输入的附加内容数据(比如:评论信息)。在VR场景下,用户可通过按下控制器上的特定按钮或者手持控制器执行特定手势操作而发出上述发表附加内容的指令,可通过VR图像中呈现的虚拟键盘输入文本形式的评论信息或者通过VR可穿戴设备上的麦克输入语音形式的评论信息,VR客户端(即第一应用客户端)可将接收到文本或者语音形式的评论信息,并可将语音形式的评论信息转换成文本形式的评论信息。VR客户端可将用户要发表的文本形式的评论信息通过网络发送给VR服务器,这样,VR服务器可将这种评论信息提供给各个VR客户端。
[0044] 步骤203:第一应用客户端将所述附加内容数据及所述第一用户的视野朝向数据发送至所述应用服务器,以使所述应用服务器根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围,其中,所述一段时间包含所述第一用户发表所述附加内容数据的时间点,使得所述应用服务器或第二应用客户端根据所述视野朝向变化范围和第二用户当前的视野朝向数据确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据。其中,当第一用户的所述视野朝向变化范围覆盖(或者说包含)第二用户当前的视野朝向数据代表的视野朝向时,可确定所述第二应用客户端在展示所述全景图像时展示所述附加内容数据。这里,所述第二用户为所述第二应用客户端的使用者,第一用户为第一应用客户端的使用者。
[0045] 在此实例中,发表附加内容的VR客户端(即第一应用客户端)可根据其所连接的可穿戴设备(VR头显、眼镜或者体感设备)所传递的实时用户数据获取到的当前用户(即第一用户)在虚拟空间中的视野朝向数据,并可将此视野朝向数据发送给VR服务器。此视野朝向数据可以包括:用户头部在虚拟空间中的三维位置坐标(x,y,z)(也可称为视点坐标)、用户头部的视角参数(α,β,γ)。其中,俯仰角为α,偏转角为β,绕预设相机光轴的旋转角为γ。这里,根据用户头部在虚拟空间中的三维位置坐标(x,y,z)和视角参数(α,β,γ),基于一些列经验数据,如最佳视距(如2.5米)、视野宽度FOV(如90度角),能够确定用户的视觉停留平面的参数,包括:该平面的长和宽,该平面上每个点在虚拟空间中的三维位置坐标。如图3所示,在基于三维坐标系XOY的三维虚拟空间300中,用户头部的位置P的位置坐标为(x,y,z),用户头部的视角参数为(α,β,γ),基于这些参数能够确定该用户的视觉停留平面301。也就是说,基于一个时间点上第一用户的视野朝向数据可以确定一个视觉停留平面(或者称视觉停留区域),那么根据一段时间内第一用户的视野朝向变化范围,则可确定第一用户的视觉停留平面的变化范围。这里,表征视野朝向变化范围的参数可以包括:起点的位置坐标(x0,y0,z0)和视角参数(α0,β0,γ0),终点的位置坐标(x1,y1,z1)和视角参数(α1,β1,γ1),也可以包括中间点的位置坐标(xi,yi,zi)和视角参数(αi,βi,γi);所确定的视觉停留平面的变化范围可以由一个视觉停留平面集合来表征。根据另一用户(即第二用户)当前的视野朝向数据也可以确定第二用户当前的视觉停留平面。根据第二用户当前的视觉停留平面的部分或全部是否被第一用户的上述视觉停留平面的变化范围覆盖,就可确定第二用户的第二应用客户端当前展示全景图像时是否展示第一用户发表的附加内容。这里,所谓第二用户当前的视觉停留平面的部分或全部、被第一用户的上述视觉停留平面的变化范围覆盖,并不要求第二用户的视觉停留平面与第一用户的视觉停留平面的变化范围包含的某个平面,完全吻合(即处于同一平面),而是说第二用户的视觉停留平面与第一用户的视觉停留平面的变化范围中的平面达到一定的吻合度,使得它们在虚拟空间中呈现给用户的全景图像画面基本相同。这样,当第二用户当前的视觉停留平面的部分或全部被第一用户的上述视觉停留平面的变化范围覆盖时,就说明第一用户发表附加内容时看到的全景图像画面(如全景视频的画面内容或者全景图片的画面内容)和第二用户当前看到的全景图像画面基本相同,第一用户发表的附加内容(如弹幕评论)是与第二用户当前看到的全景图像画面有关联的,可以在第二用户的第二应用客户端当前展示的全景图像画面上展示此第一用户发表的附加内容。
[0046] 上述实例中,考虑了用户在虚拟空间中的位置坐标(即视点坐标),而在某些VR系统中(比如手机VR盒子)是不考虑用户的视点坐标的。那么,在一些实例中,上述步骤203的视野朝向数据可以包括:用户头部的视角参数(α,β,γ)。这里,根据系统预设的虚拟空间中的默认三维位置坐标(x,y,z)和视角参数(α,β,γ),能够确定用户的视觉停留平面的参数。这里,表征视野朝向变化范围的参数可以包括:起点的视角参数(α0,β0,γ0),终点的视角参数(α1,β1,γ1),也可以包括中间点的视角参数(αi,βi,γi)。
[0047] 在一些实例中,上述步骤203中也可以采用简化的视角参数,比如:用户视线在平面上的投影与该水平面上一坐标轴(如图3的X轴)之间的夹角α’。上述步骤203的视野朝向数据可以包括视角参数α’。这里,视角参数α’可以代表用户大致的视野朝向,表征视野朝向变化范围的参数可以包括视角变化范围:起点的视角参数α’0、终点的视角参数α’1,基于这种视角参数也能实现上述步骤203,当某份附加内容数据的视角变化范围覆盖了当前第二用户的视角时,即认为该份附加内容数据中所述视野朝向变化范围对应的视觉停留区域覆盖了当前第二用户的视野朝向数据所对应的视觉停留区域。具体的,根据第二用户当前的视角参数α’2是否属于第一用户的上述视角参数变化范围α’0~α’1,就可确定第二应用客户端当前展示全景图像时是否展示第一用户发表的附加内容。这里,第二应用客户端为第二用户使用的应用客户端。
[0048] 在一些实例中,上述一段时间可以是从第一用户发表附加内容的时间点之前的一个时间点到其之后的一个时间点的这个时间段,比如:发表弹幕的时间为9:00,则此时间段可以为8:59~9:01这个时间段。总之,根据实现需要,可以预设这个时间段的长度以及起始时间点,比如:设置时间段长度为n秒钟或分钟,起始时间点为发表弹幕的时间点之前的m秒钟或分钟。
[0049] 在上述实施例中,基于各用户的视野朝向数据,可以应用客户端在展示全景图像时可以有针对性的选择当前已发表的附加内容来进行展示,对于单个用户而言,其所看到的其它用户发表的附加内容是与当前全景图像的画面内容有关,附加内容的展示不会给用户带来干扰,还能提供一定的提示和引导。比如:用户在观看一个全景恐怖影片(比如《生化危机》,能够看到一个弹幕“前方高能”,用户就会知道即将出现恐怖的一幕,可以提前做好心理准备;用户在观看一个全景旅行片,有一个弹幕飘来“这汽车好漂亮”,用户就会知道画面中即将出现一个汽车。可见,采用上述方案,能够有效的利用弹幕这种附加内容引导用户更好的观看全景图像,减少全景图像的方位及视角变化而给用户带来的观看困扰,减少用户因这种困扰而进行的盲目操作(比如:对控制器的操作、转头移动等),也减少了附加内容的展示量(在一个应用客户端侧有针对性的展示部分用户发表的附加内容),因此,也节约了系统处理资源,提高了处理效率,提升了系统整体性能。
[0050] 在一些实例中,上述方法可进一步包括:响应于第一用户发表附加内容的操作,第一应用客户端确定在发表所述附加内容数据的时间点之前和之后的一段时间内所述第一用户的视野朝向变化范围。其中,第一应用客户端发送至所述应用服务器的所述视野朝向数据包括所述视野朝向变化范围。
[0051] 在一些实例中,上述方法可进一步包括:第一应用客户端确定第一用户在发表所述附加内容数据的时间点之前和之后的一段时间内第一用户在所述视野朝向变化范围内的停留时间。其中,第一应用客户端发送至所述应用服务器的所述视野朝向数据进一步包括所述停留时间;其中,所述应用服务器或第二应用客户端根据所述视野朝向变化范围、所述停留时间和所述第二用户当前的视野朝向数据确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据。这里,在确定是否要展示附加内容时要考虑两个条件:一、第一用户的视野朝向变化范围覆盖第二用户当前的视野朝向,二、第一用户的视野朝向变化范围的累计停留时间达到预定阈值。当这两个条件均满足时确定展示第一用户发表的附加内容。这里,第一用户的视野朝向变化范围中包含一个或多个视野朝向(每个视野朝向可对应一个视觉停留平面),每个视野朝向都有自己的停留时间,将各个视野朝向的停留时间累加则可得到该视野朝向变化范围的累计停留时间。当这个累计停留时间达到预定阈值,则说明第一用户在此视野朝向变化范围内的视野方向比较稳定,是一次有效的观看过程,其所发表的附加内容也是与该视野朝向变化范围对应的全景图像画面内容有关联的。通过进一步考虑累计停留时间这一条件,可以使附加内容的展示更加有针对性,为第二用户更准确的选择出合适的附加内容进行展示。
[0052] 上述实例中,第一应用客户端发送视野朝向数据的方式至少包括以下两种:
[0053] 1、当第一用户发表附加内容(比如发布一个弹幕)时,第一应用客户端确定在第一用户在发表所述附加内容数据的时间点之前和之后的一段时间内第一用户在各个视野朝向上的停留时间,并将这段时间内第一用户的各个视野朝向的相关数据(包含表征视野朝向的参数及停留时间)发送给应用服务器。这样,应用服务器根据第一应用客户端发送的与此附加内容相关的视野朝向数据即可确定在此时间段内第一用户的视野朝向变化范围以及累计停留时间。可选的,第一应用客户端也可以计算在此段时间内第一用户在各个视野朝向上的累计停留时间,再将这个累计停留时间发给应用服务器,应用服务器即可直接得到第一用户在此时间段内的视野朝向变化范围的累计停留时间。
[0054] 2、每隔预定时间间隔,第一应用客户端将第一用户当前视野朝向的相关数据(如表征当前视野朝向的参数)发送给应用服务器,当第一用户发表附加内容时,将该附加内容及第一用户当前视野朝向的相关数据也发送给应用服务器。这样,应用服务器能够获得第一用户全量的视野朝向数据以及发表附加内容的行为数据。此种情况下,应用服务器针对第一用户发表的一个附加内容能够计算得到发表该附加内容的时间点之前和之后的一段时间内第一用户的视野朝向变化范围以及累计停留时间。
[0055] 在一些实例中,当用户在带上HMD头显观看VR视频时,VR客户端进行播放初始化,VR服务器可随机设置该用户的初始视角参数(α0,β0,γ0)并传递给VR客户端,VR客户端以此视角参数为准开始播放VR视频。这样,不同的用户带上HMD头显时,其各自的初始视角参数就可能不同,也就是说他们看到的VR视频的初始画面可能不同。在VR视频开始播放之后,VR客户端记录当前用户发表弹幕的时间信息以及发表弹幕时的视野朝向数据,包括位置坐标(xi,yi,zi)和视角参数(αi,βi,γi),并将此弹幕的数据和所记录的视野朝向数据和时间信息发送给VR服务器。在一些实例中,VR客户端可以每隔一个单位时间(具体数值不做限定)记录一次用户的视野朝向数据并上报给VR服务器。这样,VR服务器可以从每一个VR客户端获得了基于时间序列的全量的用户行为数据(视野朝向变化数据和发表弹幕的行为数据),VR服务器可以根据这种全量的用户行为数据,针对每个弹幕,确定发表该弹幕的时间点之前和之后一段时间内,发表该弹幕的用户的视野朝向变化范围和累计停留时间。
[0056] 在一些实例中,在VR视频刚开始播放时,VR服务器还没有收集到与弹幕相关的上述视野朝向数据,此时,VR服务器为各个用户设置初始视角参数时,可以让各个用户的视角均匀分布。在VR视频播放过一段时间后,VR服务器已收集了一些弹幕相关的视野朝向数据,因此可以确定对应最多弹幕的视野朝向范围(主要是视角范围),这样,当用户带上HMD头显时,VR客户端进行播放初始化时就可以从VR服务器获得视角参数,该视角参数可以根据上述对应最多弹幕的视角范围而确定,这样,各个VR客户端在播放初始化时就可以首先将画面定位到最多弹幕关联的VR视频画面,即根据视角参数获取相应的VR视频图像数据进行播放,这样,VR服务器就可以利用已收集的弹幕数据对各个用户的VR视频观看进行引导,使得用户首先看到最多弹幕对应的视频画面。也就是说,VR服务器可以根据一段时间收集到的弹幕数据能够分析得到用户最感兴趣的视角范围,进而可以引导后续用户观看这个视角范围内容的VR视频内容。
[0057] 在一些实例中,用户可能未佩戴HMD头显,VR客户端可以确定用户要在2D平面上观看诸如VR视频等的全景图像,则可进入自动播放模式,VR客户端无需响应于用户佩戴的HMD头显传递的视野朝向数据(如用户位置坐标变化和视角变化参数等)而调整当前展示的全景图像的视角和/或视点,而可以根据预定的视角变化规则自动调节当前展示的全景图像的视角。对于用户而言,其所看到的某个图像画面就是沿某个方向移动的,比如从右向左移动。由于VR客户端可以从VR服务器获取到各个弹幕对应的视野朝向数据(比如:某个弹幕发表时的用户视角参数),VR客户端可以令当前图像的播放视角随当前可展示的弹幕的移动而变化,或者令当前可展示的弹幕随当前图像的播放视角变化而移动,使得用户所看到的弹幕随其所对应的图像画面同步移动。在VR视频播放场景中,用户无需手动调整视角,即可实现VR视频的播放视角随着弹幕进行同步移动。
[0058] 本申请实例还提出了一种全景图像的展示方法,该方法可应用于应用客户端(如前述实例中的第二应用客户端),即可针对VR全景图像展示附加内容(如评论)的VR客户端。如图4所示,该方法包括如下处理400:
[0059] 步骤401:应用客户端从应用服务器接收全景图像的数据并展示所述全景图像。
[0060] 步骤402:应用客户端从所述应用服务器接收至少一份附加内容数据以及发表各份附加内容数据的第一用户在一段时间内的视野朝向变化范围;其中,针对一份附加内容数据,所述一段时间包含发表该份附加内容数据的时间点。
[0061] 步骤403:针对每一份附加内容数据,应用客户端根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否可展示所述附加内容数据。所述第二用户为此应用客户端的使用者。
[0062] 步骤404:应用客户端展示所述确定的可展示的各份附加内容数据。
[0063] 在此实例中,应用客户端在展示全景图像时,可接收到各个第一用户发表的附加内容以及视野朝向变化范围,根据第二用户的视野朝向数据与各第一用户的视野朝向变化范围确定哪个或哪些第一用户发表的附加内容是可展示的。采用这种方案,能够选择出针对当前全景图像画面内容的附加内容进行展示。
[0064] 在一些实例中,该方法可进一步包括:当从所述应用服务器接收所述附加内容数据及其视野朝向变化范围时,应用客户端进一步接收所述附加内容数据的展示方式;其中,按所述展示方式展示所述附加内容数据。
[0065] 在一些实例中,应用服务器可以根据收集到的各第一用户发表弹幕前后的视野朝向数据对各第一用户的发表弹幕的行为进行归类:
[0066] 第一类,静止弹幕:用户在发表弹幕前后,用户的视野朝向变化(包括水平方向或垂直方向)小于一定阈值,即用户基本没有转头。即说明向用户展示的视频的优质区域未发生变化,此弹幕只是一个固定视野朝向内的弹幕。
[0067] 第二类,指向性弹幕:用户在发表弹幕前后,用户的视野朝向变化(包括水平方向或垂直方向)大于一定阈值,即用户发生了明显的转头行为。即说明向用户展示的视频的优质区域发生了变化。例如以下三种情况:
[0068] 情况一,发表弹幕前用户基本不转动头部,发表后转动头部。
[0069] 情况二,发表弹幕前用户转动头部,发表后用户基本不转头。
[0070] 情况三,发表弹幕前到弹幕后,用户一直在转头。
[0071] 经过上述分析,应用服务器即可确定各弹幕的展示方式,比如:对于第一类的静止弹幕,可以确定以静态的方式进行展示,对于第二类指向性弹幕,可以确定以动态的方式进行展示。应用客户端根据应用服务器指示的展示方式来展示弹幕,其中,当所述展示方式指示所述弹幕是静止的时,以静态的方式展示此弹幕,比如:在固定位置展示弹幕,进一步的可在展示一段时间后令弹幕消失,或者当第二用户转头时令弹幕消失;当所述展示方式指示所述弹幕是指向性的时,确定指向方向,根据所述指向方向以动态的方式展示此弹幕,比如:沿指向方向移动展示此弹幕,进一步的可展示指向此指向方向的箭头,在展示此箭头时,弹幕可以是在固定位置展示或者是沿指向方向移动展示的。采用这种方式分析并展示弹幕,可以给用户更精准的观看提示,比如:在一个恐怖全景视频画面中从右到左移动展示一弹幕“前方高能预警”,用户就可以知道左边即将出现一幕恐怖的画面;再比如:在一个全景视频画面中静止展示一个弹幕,用户就可以知道此弹幕是与当前画面相关的,当用户转头、变换视觉方向时,视频画面也会相应变化,相应的,此弹幕还会消失,以减少对用户的干扰。
[0072] 在一些实例中,所述确定指向方向包括:根据接收到的多份附加内容数据的所述视野朝向变化范围确定所述指向方向。比如:应用客户端在选择一些弹幕进行展示时,对于动态展示的弹幕,统一确定一个指向方向,此指向方向是根据多个弹幕对应的视野朝向变化数据而确定的。可选的,可以根据各份附加内容数据各自对应的视野朝向变化范围确定各自的指向方向,即所展示的各动态弹幕的指向方向可以不同。
[0073] 在一些实例中,上述对于第一用户发表附加内容(如弹幕)前后的视野朝向数据进行分析以对各第一用户发表附加内容的行为进行归类的处理可以在应用客户端侧实现,该方法可进一步包括:应用客户端根据所述附加内容数据对应的视野朝向变化范围,确定所述附加内容数据的展示方式;其中,按所述展示方式展示所述附加内容数据。
[0074] 在一些实例中,所述根据接收到的多份附加内容数据的所述视野朝向变化范围确定所述指向方向,包括:根据多份附加内容数据的所述视野朝向变化范围,确定所述第一用户中多数者的视野移动方向并将其作为所述指向方向。这里,可以在所有第一用户中选择多数者的视野移动方向,并将其作为指向方向,也可以在所确定的可展示的各附加内容对应的各第一用户中选择多数者的视野移动方向。这样,可以采用用户群中多数者的视野移动方向来引导用户进行观看,进而能够提升弹幕展示中引导的准确性和有效性。
[0075] 在一些实例中,所述根据接收到的多份附加内容数据的所述视野朝向变化范围确定所述指向方向,包括:根据多份附加内容数据的所述视野朝向变化范围,确定所述第一用户中指定类型者的视野移动方向并将其作为所述指向方向。这里,可以从第一用户中选择用户级别较高者的视野移动方向,所谓用户级别较高者,可以根据用户在应用平台(如全景视频平台或者虚拟现实平台或者登录VR客户端所用的社交应用账号的社交应用平台)中注册的用户信息以及积累的用户等级积分等等来确定。比如:可以选择意见领袖(KOL)用户或者VIP用户的视野移动方向等等。这样,可以利用用户群中有影响的用户的视野移动方向来引导用户进行观看,进而能够实现全景图像观看中更多更有趣的应用,改善全景图像的展示效果,提升用户的观看感受。
[0076] 在一些实例中,所述根据该份附加内容数据的所述视野朝向变化范围和所述第二用户的视野朝向数据确定是否可展示所述附加内容数据,包括:当该份附加内容数据的所述视野朝向变化范围对应的视觉停留区域覆盖了该第二用户的所述视野朝向数据对应的视觉停留区域时,所述应用客户端确定可展示该份附加内容数据。
[0077] 在一些实例中,进一步包括:当从所述应用服务器接收所述附加内容数据及其视野朝向变化范围时,所述应用客户端进一步接收所述视野朝向变化范围的停留时间;其中,当该份附加内容数据的所述视野朝向变化范围对应的视觉停留区域覆盖了该第二用户的所述视野朝向数据对应的视觉停留区域,并且所述视野朝向变化范围对应的停留时间达到预定阈值时,所述应用客户端确定可展示该份附加内容数据。
[0078] 这里,确定是否可展示附加内容数据的具体方法前文已有详述,这里不再赘述。
[0079] 本申请的一些实例中还提出了一种全景图像的展示控制方法,该方法可应用于应用服务器103(如VR服务器),如图5所示,该方法包括如下处理500:
[0080] 步骤501:应用服务器向多个应用客户端发送全景图像的数据,以使其分别展示所述全景图像。
[0081] 这里,应用服务器可为各个应用客户端提供全景图像服务,比如VR视频在线播放服务,其可以响应应用客户端的请求而为应用客户端提供相应的全景图像的数据。而对于一个媒体内容(一个VR视频或一个全景图片)而言,可能会多多个应用客户端同时访问,应用服务器会将此媒体内容的全景图像数据发送给各个应用客户端供其展示。
[0082] 步骤502:当接收到多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时,应用服务器接收所述第一用户的视野朝向数据,根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围,其中,所述一段时间包含所述第一用户发表所述附加内容数据的时间点。
[0083] 步骤503:将当前已收到的各份附加内容数据和各自的所述第一用户的视野朝向变化范围分别发送给所述多个应用客户端,以使其针对每一份附加内容数据,根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否可展示所述附加内容数据,并展示所述确定的可展示的各份附加内容数据。这里,第二用户指接收到附加内容数据的应用客户端的使用者。
[0084] 在此实例中,各个应用客户端会从应用服务器获取到当前已发表的各份附加内容数据和各份附加内容数据各自的发表用户的视野朝向变化范围,每个应用客户端会根据接收到的这些信息和自身当前用户的视野朝向数据从接收到的各份附加内容数据中筛选出可展示的附加内容数据。也就是说,应用客户端可以筛选出在自身用户视野朝向范围内适于展示的附加内容(比如弹幕),进而能改善附加内容的展示效果,使所展示的附加内容与当前全景图像画面内容更有关联性,对于用户而言所展示的附加内容就更具有可读性,减少全景图像的方位及视角变化给用户带来的观看困扰,减少用户因这种困扰而进行的盲目操作(比如:对控制器的操作、转头移动等),也减少了附加内容的展示量(在一个应用客户端侧有针对性的展示部分用户发表的附加内容),因此,也节约了系统处理资源,提高了处理效率,提升了系统整体性能。
[0085] 在一些实例中,上述方法进一步包括:针对每一份附加内容数据,应用服务器根据所述附加内容数据的所述视野朝向变化范围,确定该份附加内容数据的展示方式,并将所述展示方式发送给所述多个应用客户端,以使其按所述展示方式展示该份附加内容数据。
[0086] 本申请的一些实例还提出了一种全景图像的展示控制方法,可应用于应用服务器103,如图6所示,该方法包括如下处理600:
[0087] 步骤601:应用服务器向多个应用客户端发送全景图像的数据,以使其分别展示所述全景图像。
[0088] 步骤602:当接收到所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时,应用服务器接收所述第一用户的视野朝向数据,根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围,其中,所述一段时间包含所述第一用户发表所述附加内容数据的时间点。
[0089] 步骤603:应用服务器针对每一个应用客户端执行步骤604~605:
[0090] 步骤604:针对当前已收到的每一份附加内容数据,应用服务器根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定该应用客户端是否可展示所述附加内容数据。所述第二用户为该应用客户端的使用者。
[0091] 步骤605:应用服务器将所述确定的该应用客户端可展示的各份附加内容数据发送给该应用客户端,以使其展示所述可展示的各份附加内容数据。
[0092] 在上述实例中,应用服务器可以针对每一个应用客户端,从当前已发布的各附加内容数据中筛选出该应用客户端可展示的附加内容,再将其发送给该应用客户端,也能实现与前述实例类似的技术效果。
[0093] 图7示出了本申请一实例的消息交互图。在此实例中,应用客户端为VR客户端,应用服务器为VR服务器,附加内容为弹幕,全景图像为VR视频。图7仅示出一个VR客户端与VR服务器,而实际场景中,针对一个VR视频的展示而言,会有多个VR客户端与VR服务器进行消息交互,每个VR客户端都可执行图7所示的处理。如图7所示,针对当前播放的VR视频,VR客户端和VR服务器的交互过程700如下:
[0094] 步骤701~702:VR客户端每发表一个弹幕,就记录当前用户发表该弹幕的时间点之前和之后一段时间内的视野朝向变化数据,并将此视野朝向变化数据连同该弹幕的数据发送给VR服务器。进而,VR服务器从各个VR客户端收集了各个用户的视野朝向变化数据和弹幕数据。这里,一个VR客户端对应一个用户,该用户使用VR应用的用户账号登录该VR客户端来观看VR视频。
[0095] 步骤703:VR服务器获得弹幕-视野朝向-时间序列的数据,在此序列中针对每个已发表的弹幕会有一系列数据记录,包括:弹幕内容、发表该弹幕的时间点之前和之后一段时间内的视野朝向变化范围、此视野朝向变化范围对应的累计停留时间。
[0096] 步骤704:VR服务器将此弹幕-视野朝向-时间序列的数据发送给各个VR客户端。
[0097] 步骤705:VR客户端在收到此弹幕-视野朝向-时间序列的数据后,可以根据此序列中的各弹幕的数据记录以及当前用户的视野朝向数据,确定本客户端要显示的一个或多个弹幕以及显示方式(是静止或者指向性的)。
[0098] 上述各步骤的具体实现方式,前文已有详述,这里不再赘述。
[0099] 本申请的一些实例提出了一种应用客户端,如图8所示,该应用客户端800包括如下模块:
[0100] 全景展示模块801,从应用服务器接收全景图像的数据并展示所述全景图像。
[0101] 接收模块802,响应于第一用户发表附加内容的操作,接收输入的附加内容数据.[0102] 发送模块803,将所述附加内容数据及所述第一用户的视野朝向数据发送至所述应用服务器,以使所述应用服务器根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围,其中,所述一段时间包含所述第一用户发表所述附加内容数据的时间点,使得所述应用服务器或第二应用客户端根据所述视野朝向变化范围和第二用户当前的视野朝向数据确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据。所述第二用户为所述第二应用客户端的使用者。
[0103] 在一些实例中,该应用客户端800可进一步包括:
[0104] 确定模块804,响应于所述发表附加内容的操作,确定在发表所述附加内容数据的时间点之前和之后的一段时间内所述第一用户的视野朝向变化范围。其中,发送模块803发送至所述应用服务器的所述视野朝向数据包括所述视野朝向变化范围。
[0105] 在一些实例中,确定模块804,可进一步确定在发表所述附加内容数据的时间点之前和之后的一段时间内所述第一用户在所述视野朝向变化范围内的停留时间。其中,发送模块803发送至所述应用服务器的所述视野朝向数据进一步包括所述停留时间;所述应用服务器或第二应用客户端根据所述视野朝向变化范围、所述停留时间和所述第二用户当前的视野朝向数据确定所述第二应用客户端在展示所述全景图像时是否展示所述附加内容数据。
[0106] 在一些实例中,发送模块803每隔一段时间将包括所述第一用户当前视野朝向参数的视野朝向数据发送至所述应用服务器。
[0107] 上述实例中的应用客户端可将用户发表的附加内容及其相关的视野朝向数据提供给应用服务器,使得应用服务器或者另一应用客户端能够确定该另一应用客户端可展示的附加内容,进而能够改善附加内容的展示效果。
[0108] 本申请的一些实例还提出了一种应用客户端,如图9所示,该应用客户端900可包括如下模块:
[0109] 全景展示模块901,从应用服务器接收全景图像的数据并展示所述全景图像。
[0110] 接收模块902,从所述应用服务器接收至少一份附加内容数据以及发表各份附加内容数据的第一用户在一段时间内的视野朝向变化范围;其中,针对一份附加内容数据,所述一段时间包含发表该份附加内容数据的时间点。
[0111] 确定模块903,针对每一份附加内容数据,根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否可展示所述附加内容数据。其中,全景展示模块901,展示所述确定的可展示的各份附加内容数据。所述第二用户为所述应用客户端的使用者。
[0112] 在一些实例中,接收模块902,当从所述应用服务器接收所述附加内容数据及其视野朝向变化范围时,可进一步接收所述附加内容数据的展示方式。全景展示模块901,按所述展示方式展示所述附加内容数据。
[0113] 在一些实例中,确定模块903,根据所述附加内容数据的所述视野朝向变化范围,进一步确定所述附加内容数据的展示方式;全景展示模块901,按所述展示方式展示所述附加内容数据。
[0114] 在一些实例中,确定模块903,当该份附加内容数据的所述视野朝向变化范围对应的视觉停留区域覆盖了该第二用户的所述视野朝向数据对应的视觉停留区域时,确定可展示该份附加内容数据。
[0115] 在一些实例中,接收模块902,当从所述应用服务器接收所述附加内容数据及其视野朝向变化范围时,进一步接收所述视野朝向变化范围的停留时间;确定模块903,当该份附加内容数据的所述视野朝向变化范围对应的视觉停留区域覆盖了该第二用户的所述视野朝向数据对应的视觉停留区域,并且所述视野朝向变化范围对应的停留时间达到预定阈值时,确定可展示该份附加内容数据。
[0116] 上述实例中的应用客户端可以根据从应用服务器获取的附加内容数据及其视野朝向变化范围,确定当前可展示的附加内容数据,进而能够基于用户的视野朝向有针对性的选择附加内容进行展示。
[0117] 本申请一些实例提出了一种应用服务器,如图10所示,该应用服务器1000可包括如下模块:
[0118] 发送模块1001,向多个应用客户端发送全景图像的数据,以使其分别展示所述全景图像.
[0119] 确定模块1002,当接收到所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时,接收所述第一用户的视野朝向数据,根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围,其中,所述一段时间包含所述第一用户发表所述附加内容数据的时间点。
[0120] 其中,发送模块1001,将当前已收到的各份附加内容数据和各自的所述第一用户的视野朝向变化范围分别发送给所述多个应用客户端,以使其针对每一份附加内容数据,根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定是否可展示所述附加内容数据,并展示所述确定的可展示的各份附加内容数据。所述第二用户为接收到附件内容数据的应用客户端的使用者。
[0121] 在一些实例中,针对每一份附加内容数据,确定模块1002,可进一步根据所述附加内容数据的所述视野朝向变化范围,确定该份附加内容数据的展示方式;发送模块1001,进一步将所述展示方式发送给所述多个应用客户端,以使其按所述展示方式展示该份附加内容数据。
[0122] 上述实例中的应用服务器可以从各个应用客户端收集各附加内容数据和视野朝向数据,确定各附加内容数据对应的视野朝向变化范围并分发给各应用客户端,使得各应用客户端能够基于视野朝向变化范围选择可展示的附加内容数据,进而改善附加内容展示效果。
[0123] 本申请实例提出了一种应用服务器,如图11所示,该应用服务器1100可包括如下模块:
[0124] 发送模块1101,向多个应用客户端发送全景图像的数据,以使其分别展示所述全景图像.
[0125] 确定模块1102,当接收到所述多个应用客户端中任一应用客户端上传的第一用户发表的附加内容数据时,接收所述第一用户的视野朝向数据,根据所述视野朝向数据确定在一段时间内所述第一用户的视野朝向变化范围,其中,所述一段时间包含所述第一用户发表所述附加内容数据的时间点。
[0126] 发送模块1101,针对每一个应用客户端执行如下操作:针对当前已收到的每一份附加内容数据,根据该份附加内容数据的所述视野朝向变化范围和第二用户的视野朝向数据确定该应用客户端是否可展示所述附加内容数据,该第二用户为该应用客户端的使用者;将所述确定的该应用客户端可展示的各份附加内容数据发送给该应用客户端,以使其展示所述可展示的各份附加内容数据。
[0127] 上述实例中的应用服务器可以从各个应用客户端收集各附加内容数据和视野朝向数据,确定各附加内容数据对应的视野朝向变化范围并确定各应用客户端可展示的附加内容数据,进而改善附加内容展示效果。
[0128] 上述各模块功能的具体实现原理在前文已有描述,这里不再赘述。
[0129] 另外,在本申请各个实例中的全景图像的展示方法、应用客户端、应用服务器以及其中的各模块可以集成在一个处理单元中,也可以是各个模块单独物理存在,也可以两个或两个以上装置或模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0130] 在一些实例中,上述的应用客户端和/或应用服务器可运行在各种可进行全景图像数据处理的计算设备中,并加载在该计算设备的存储器中。
[0131] 图12示出了上述应用客户端和/或应用服务器所在的计算设备的组成结构图。如图12所示,该计算设备1200包括一个或者多个处理器(CPU)1202、通信模块1204、存储器1206、用户接口1210,以及用于互联这些组件的通信总线1208。
[0132] 处理器1202可通过通信模块1204接收和发送数据以实现网络通信和/或本地通信。
[0133] 用户接口1210包括一个或多个输出设备1212,其包括一个或多个扬声器和/或一个或多个可视化显示器。用户接口1210也包括一个或多个输入设备1214,其包括诸如,键盘,鼠标,声音命令输入单元或扩音器,触屏显示器,触敏输入板,姿势捕获摄像机或其他输入按钮或控件等。
[0134] 存储器1206可以是高速随机存取存储器,诸如DRAM、SRAM、DDR RAM、或其他随机存取固态存储设备;或者非易失性存储器,诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备,或其他非易失性固态存储设备。
[0135] 存储器1206存储处理器1202可执行的指令集,包括:
[0136] 操作系统1216,包括用于处理各种基本系统服务和用于执行硬件相关任务的程序;
[0137] 应用1218,包括用于实现全景图像数据处理的各种程序,这种程序能够实现上述各实例中的处理流程,比如可以包括图8所示的应用客户端800、图9所示的应用客户端900、图10所示的应用服务器1000和/或图11所示的应用服务器1100。
[0138] 在一些实例中,应用客户端800可包括图8所示的各模块801~804中的至少个,各模块801~804可以存储有机器可执行指令。处理器1202通过执行存储器1206中各模块801~804中至少一个的机器可执行指令,进而能够实现上述各模块801~804中至少一个的功能。
[0139] 在一些实例中,应用客户端900可包括图9所示的各模块901~903中的至少一个,各模块901~903可以存储有机器可执行指令。处理器1202通过执行存储器1206中各模块901~903中至少一个的机器可执行指令,进而能够实现上述各模块901~903中至少一个的功能。
[0140] 在一些实例中,应用服务器1000可包括图10所示的各模块1001~1002中的至少一个,各模块1001~1002中的至少一个可以存储有机器可执行指令。处理器1202通过执行存储器1206中各模块1001~1002中至少一个的机器可执行指令,进而能够实现上述各模块1001~1002中至少一个的功能。
[0141] 在一些实例中,应用服务器1100可包括图11所示的各模块1101~1102中的至少一个,各模块1101~1102中的至少一个可以存储有机器可执行指令。处理器1202通过执行存储器1206中各模块1101~1102中至少一个的机器可执行指令,进而能够实现上述各模块1101~1102中至少一个的功能。
[0142] 另外,本申请的每一个实例可以通过由数据处理设备如计算机执行的数据处理程序来实现。显然,数据处理程序构成了本发明。此外,通常存储在一个存储介质中的数据处理程序通过直接将程序读取出存储介质或者通过将程序安装或复制到数据处理设备的存储设备(如硬盘和或内存)中执行。因此,这样的存储介质也构成了本发明。存储介质可以使用任何类型的记录方式,例如纸张存储介质(如纸带等)、磁存储介质(如软盘、硬盘、闪存等)、光存储介质(如CD-ROM等)、磁光存储介质(如MO等)等。
[0143] 因此本申请还公开了一种非易失性存储介质,其中存储有数据处理程序,该数据处理程序用于执行本申请上述方法的任何一种实例。
[0144] 另外,本申请所述的方法步骤除了可以用数据处理程序来实现,还可以由硬件来实现,例如,可以由逻辑开关、专用集成电路(ASIC)、可编程逻辑控制器和嵌微控制器等来实现。因此这种可以实现本申请所述方法的硬件也可以构成本申请。
[0145] 以上所述仅为本申请的较佳实例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈