基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置
阅读：921发布：2020-05-11
专利汇可以提供基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置专利检索，专利查询，专利分析的服务。并且方法的一些 实施例 可以包括：基于相机操作者的视点和生理数据来识别多视图视频中的感兴趣对象；显示所述多视图视频；以及显示与所述感兴趣对象相关联的视觉效果。方法的一些实施例可以包括：利用相机捕获多视图视频； 跟踪 控制所述相机的相机操作者的视点；测量所述相机操作者的生理数据；基于所述视点和所述生理数据，识别所述多视图视频中的感兴趣对象；以及存储所述多视图视频和指示所识别的感兴趣对象的信息。，下面是基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置专利的具体信息内容。
1.一种方法，包括：
利用相机捕获多视图视频；
跟踪控制所述相机的相机操作者的视点；
测量所述相机操作者的生理数据；
基于所述视点和所述生理数据，识别所述多视图视频中的感兴趣对象；以及存储所述多视图视频和指示所识别的所述感兴趣对象的信息。
2.根据权利要求1所述的方法，还包括：
显示所述多视图视频；以及
基于所述相机操作者的所述视点和所述相机操作者的所述生理数据中的至少一者来显示视觉效果。
3.根据权利要求1或2中任一项所述的方法，还包括：
渲染所述多视图视频以强调所述感兴趣对象；以及
显示所渲染的多视图视频。
4.根据权利要求3所述的方法，其中渲染所述多视图视频以强调所述感兴趣对象包括：
识别所述多视图视频的具有所述感兴趣对象的第一部分；
识别所述多视图视频的不具有所述感兴趣对象的第二部分；
减小所述多视图视频的所述第二部分的数据大小；以及
渲染所述多视图视频的所述第一部分和所述多视图视频的所述数据大小减小的第二部分。
5.根据权利要求1或2中任一项所述的方法，还包括：
基于所述生理数据，将所述感兴趣对象与情绪状态进行匹配；以及
基于所匹配的情绪状态，显示针对所述感兴趣对象的视觉效果。
6.根据权利要求1或2中任一项所述的方法，还包括：
确定所述多视图视频的包含所述感兴趣对象的一部分；
选择所述生理数据的与所述多视图视频的包含所述感兴趣对象的所述部分相关联的部分；以及
基于所述生理数据的所选择的部分，显示视觉效果。
7.根据权利要求1或2中任一项所述的方法，还包括：
基于所述多视图视频的观看者的视点与所述相机操作者的视点的比较，显示所述感兴趣对象的视觉效果。
8.根据权利要求1或2中任一项所述的方法，还包括：
将所述相机操作者的视点(POV)与所述多视图视频的观看者的POV进行比较；以及确定所述相机操作者的所述POV与所述观看者的所述POV之间的重叠量。
9.根据权利要求1或2中任一项所述的方法，其中所述生理数据包括以下至少一者的测量：所述相机操作者的瞳孔大小、所述相机操作者的脉搏率、和所述相机操作者的运动。
10.根据权利要求1或2中任一项所述的方法，还包括：
显示所述多视图视频；
将视点(POV)重叠确定为所述相机操作者的POV与所述多视图视频的观看者的POV之间的区域重叠量；
设置与所述POV重叠成比例的视觉效果强度；以及
显示具有与所述视觉效果强度相等的强度的视觉效果。
11.根据权利要求10所述的方法，还包括基于所述相机操作者的总体情绪状态和利用所述感兴趣对象识别的特性来设置所述视觉效果。
12.根据权利要求10所述的方法，还包括响应于检测到所述观看者的所述POV中的所述感兴趣对象，增加所述视觉效果强度。
13.根据权利要求1或2中任一项所述的方法，还包括：
显示所述多视图视频以与所述多视图视频的观看者的头部移动同步；以及响应于检测到所述观看者的所述POV与所述相机操作者的所述POV的对准，显示针对与所述感兴趣对象相关联的情绪状态的视觉效果。
14.根据权利要求1或2中任一项所述的方法，还包括：
显示所述多视图视频以与所述多视图视频的观看者的头部移动同步；以及响应于检测到所述观看者的视点(POV)与所述相机操作者的所述POV之间的接近度，显示一指示所述观看者的所述POV与所述相机操作者的所述POV之间的所述接近度的视觉效果。
15.根据权利要求1或2中任一项所述的方法，其中基于所述视点和所述生理数据来识别所述多视图视频中的所述感兴趣对象包括：
识别所述多视图视频中的多个对象；
针对所述多个对象中的每个对象，确定与所述相机操作者的所述视点指向所述相应对象的时间长度相等的持续时间；
针对所述多个对象中的每个对象，确定与所述相机操作者的所述视点指向所述相应对象的次数的频率相等的对象频率；
针对所述多个对象中的每个对象，将所述生理数据的一部分与所述相应对象相关联；
以及
针对所述多个对象中的每个对象，基于针对所述相应对象的所述持续时间、所述对象频率和所述生理数据的所述部分来确定感兴趣水平。
16.根据权利要求1或2中任一项所述的方法，其中跟踪所述相机操作者的所述视点跟踪所述相机操作者的眼睛位置。
17.根据权利要求1或2中任一项所述的方法，其中跟踪所述相机操作者的所述视点包括：
捕获所述相机操作者的至少一只眼睛的图像；以及
使用所述相机操作者的所述至少一只眼睛的所述图像，确定所述相机操作者的眼睛方向。
18.根据权利要求1或2中任一项所述的方法，还包括：
基于所述相机操作者的所述视点和所述相机操作者的所述生理数据中的至少一个，呈现一效果，
其中所述效果包括声音效果和触觉效果中的至少一者。
19.根据权利要求1或2中任一项所述的方法，其中所述多视图视频包括360度视频。
20.一种装置，包括：
处理器；以及
存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求1至19中任一项所述的方法。
21.根据权利要求20所述的装置，其进一步包括：
注视跟踪传感器；
相机；
生理传感器；以及
显示器。
22.根据权利要求20所述的装置，其进一步包括：
视点比较模块；
情绪估计模块；
情绪标记模块；以及
存储器存储设备。
23.一种方法，包括：
接收关于多视图视频中的感兴趣对象的信息，该信息基于相机操作者的视点和相机操作者的生理数据；
向除所述相机操作者之外的用户显示所述多视图视频；以及
显示与所述感兴趣对象相关联的视觉效果作为所述多视图视频的一部分。
24.一种装置，包括：
处理器；以及
存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求23所述的方法。
25.根据权利要求24所述的装置，其进一步包括：
注视跟踪传感器；
相机；
生理传感器；以及
显示器。
26.一种方法，包括：
利用多视图相机捕获多视图视频；
使用安装在所述相机上的眼睛跟踪器来跟踪控制所述相机的相机操作者的观看方向和视点；
测量所述相机操作者的生理数据；
基于所述观看方向和所述生理数据，识别所述多视图视频中的感兴趣对象，其中所述感兴趣对象在所述相机操作者的所述视点内；
在由除所述相机操作者之外的用户佩戴的头戴式设备(HMD)的可视显示器上显示所述多视图视频的一部分，其中所述HMD的所述可视显示器定义所述用户的视点；
当所述用户的所述视点被确定为与所述相机操作者的所述视点重叠时，在向所述用户显示的所述多视图视频的所述部分中以及在所述用户的所述视点内渲染所识别的感兴趣对象；以及
实现一显示效果，以即使在所述用户的所述视点不再与所述相机操作者的所述视点重叠时，也继续在所述用户的所述视点内渲染所识别的感兴趣对象。
27.一种装置，包括：
处理器；以及
存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求26所述的方法。
28.根据权利要求27所述的装置，其进一步包括：
注视跟踪传感器；
相机；
生理传感器：以及
显示器。
29.一种方法，包括：
在用户佩戴的头戴式设备(HMD)的可视显示器上显示多视图视频的一部分，其中所述HMD的所述可视显示器定义了所述用户相对于所述多视图视频的视点；
接收关于除所述用户之外的相机操作者的视点和所述多视图视频中的感兴趣对象的信息，所述相机操作者的所述视点正相对于所述多视图视频，并且所述感兴趣对象被识别为所述在相机操作者的视点内并且被指示为被所述相机操作者感兴趣；
响应于确定由所述HMD的所述可视显示器限定的所述用户的所述视点与所述相机操作者的所述视点重叠，在向所述用户显示的所述多视图视频的所述部分中以及在所述用户的所述视点内渲染所述感兴趣对象；
确定由所述HMD的所述可视显示器限定的所述用户的所述视点不再与所述相机操作者的所述视点重叠；以及
响应地实现一显示效果，以继续在所述用户的所述视点内渲染所述感兴趣对象，即使在由所述HMD的所述可视显示器限定的所述用户的所述视点不再与所述相机操作者的所述视点重叠时。
30.根据权利要求29所述的方法，还包括：
测量所述相机操作者的生理数据；以及
跟踪所述相机操作者的眼睛位置，
其中基于所述生理数据和所述相机操作者的所述眼睛位置，所述感兴趣对象被识别为正在所述相机操作者的所述视点内并且被指示为正被所述相机操作者感兴趣。
31.一种装置，包括：
处理器；以及
存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时操作以执行根据权利要求29至30中任一项所述的方法。
32.根据权利要求31所述的装置，其进一步包括：
注视跟踪传感器；
相机；
生理传感器；以及
显示器。
基于眼睛跟踪和生理测量而生成和显示360度视频的方法和
装置
相关申请的交叉引用
[0001] 本申请是2017年6月30提交的名称为“用于基于眼睛跟踪和生理测量而生成和显示360度视频的方法和装置(Method and Apparatus for Generating and Displaying 360-Degree Video Based on Eye Tracking and Physiological Measurements)”的美国临时专利申请序列号62/527,752的非临时申请，并且按照35 U.S.C.§119(e)而要求其权益，该申请的全部内容通过引用而被并入本文。
背景技术
[0002] 多视图(multi-view)视频(例如，360度视频)，也被称为沉浸式视频或球形视频，是诸如通过使用全向相机或相机集合而使得多个方向上的视图被同时记录的视频记录。在回放期间，观看者可例如利用数字全景照片而具有对观看方向的控制。
[0003] 为了拍摄多视图(例如，360度)视频，已经开发了多种全向相机和装备，这其中包括装备(诸如，GoPro的Omni和Odyssey、Nokia OZO、Facebook Surround 360、Kodak Pixpro SP360 4K Dual Pack Pro和Axon的AZilPix Studio.One(所有这些都由安装在单个装备中的多个相机组成))、Vuze相机、诸如Ricoh Theta S和Samsung Gear360的手持双镜头相机、以及Kogeto Dot360-为iPhone4、4S和Samsung Galaxy Nexus开发的全景相机镜头附件。在许多视频会议系统中，使用360°相机，使得可以利用一个相机来记录一个位置处的多个(例如，所有)参与者。发明内容
[0004] 方法的一些实施例可以包括：利用相机捕获多视图视频；跟踪控制所述相机的相机操作者的视点(a point of view)；测量所述相机操作者的生理数据；基于所述视点和所述生理数据，识别所述多视图视频中的感兴趣对象；以及存储所述多视图视频和指示所识别的感兴趣对象的信息。
[0005] 对于一些实施例，一种方法可进一步包括：显示所述多视图视频；以及基于相机操作者的视点和相机操作者的生理数据中的至少一者，显示一视觉效果。
[0006] 对于一些实施例，一种方法可进一步包括：渲染所述多视图视频以强调所述感兴趣对象；以及显示所渲染的多视图视频。
[0007] 对于一些实施例，渲染所述多视图视频以强调感兴趣对象可以包括：识别所述多视图视频的具有所述感兴趣对象的第一部分；识别所述多视图视频的不具有所述感兴趣对象的第二部分；减小所述多视图视频的所述第二部分的数据大小；以及渲染所述多视图视频的所述第一部分和所述多视图视频的所述数据大小减小的第二部分。
[0008] 对于一些实施例，一种方法可进一步包括：基于所述生理数据，将所述感兴趣对象与情绪状态进行匹配；以及基于所匹配的情绪状态，显示针对所述感兴趣对象的视觉效果。
[0009] 对于一些实施例，一种方法可进一步包括：确定所述多视图视频的包含所述感兴趣对象的一部分；选择所述生理数据的与所述多视图视频的包含所述感兴趣对象的所述部分相关联的部分；以及基于所述生理数据的所选部分，显示一视觉效果。
[0010] 对于一些实施例，一种方法可以进一步包括：基于所述多视图视频的观看者的视点与所述相机操作者的视点的比较，显示所述感兴趣对象的视觉效果。
[0011] 对于一些实施例，一种方法可进一步包括：将所述相机操作者的视点(POV)与所述多视图视频的观看者的POV进行比较；以及确定所述相机操作者的所述POV与所述观看者的所述POV之间的重叠量。
[0012] 对于一些实施例，生理数据可以包括关于以下至少一者的测量：所述相机操作者的瞳孔大小、所述相机操作者的脉搏率、以及所述相机操作者的运动。
[0013] 对于一些实施例，一种方法可进一步包括：显示所述多视图视频；将视点(POV)重叠确定为所述相机操作者的POV与所述多视图视频的观看者的POV之间的区域重叠量；设置与所述POV重叠成比例的视觉效果强度；以及显示具有与所述视觉效果强度相等的强度的视觉效果。
[0014] 对于一些实施例，一种方法可以进一步包括基于所述相机操作者的总体情绪状态和利用所述感兴趣对象识别的特性来设置所述视觉效果。
[0015] 对于一些实施例，一种方法还可以包括响应于在所述观看者的所述POV中检测到所述感兴趣对象，增加所述视觉效果强度。
[0016] 对于一些实施例，一种方法可进一步包括：显示所述多视图视频以与所述多视图视频的观看者的头部移动同步；以及响应于检测到所述观看者的所述POV与所述相机操作者的所述POV的对准，显示针对与所述感兴趣对象相关联的情绪状态的视觉效果。
[0017] 对于一些实施例，一种方法可进一步包括：显示所述多视图视频以与所述多视图视频的观看者的头部移动同步；以及响应于检测所述观看者的视点(POV)与所述相机操作者的所述POV之间的接近度，显示一指示了所述观看者的所述POV与所述相机操作者的所述POV之间的所述接近度的视觉效果。
[0018] 对于一些实施例，基于所述视点和所述生理数据识别所述多视图视频中的所述感兴趣对象可以包括：识别所述多视图视频中的多个对象；针对所述多个对象中的每个对象，确定与所述相机操作者的所述视点指向所述相应对象的时间长度相等的持续时间；针对所述多个对象中的每个对象，确定与所述相机操作者的所述视点指向所述相应对象的次数的频率相等的对象频率；针对所述多个对象中的每个对象，将所述生理数据的一部分与所述相应对象相关联；以及针对所述多个对象中的每个对象，基于针对所述相应对象的所述持续时间、所述对象频率和所述生理数据的所述部分来确定感兴趣水平。
[0019] 对于一些实施例，跟踪所述相机操作者的所述视点可以跟踪所述相机操作者的眼睛位置。
[0020] 对于一些实施例，跟踪所述相机操作者的所述视点可以包括：捕获所述相机操作者的至少一只眼睛的图像；以及使用所述相机操作者的所述至少一只眼睛的所述图像来确定所述相机操作者的眼睛方向。
[0021] 对于一些实施例，一种方法可进一步包括：基于所述相机操作者的所述视点和所述相机操作者的所述生理数据中的至少一者，呈现一效果，其中所述效果可以包括声音效果和触觉效果中的至少一者。
[0022] 对于一些实施例，所述多视图视频可以包括360度视频。
[0023] 装置的一些实施例可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上述方法。
[0026] 方法的一些实施例可以包括：基于相机操作者的视点和生理数据来识别多视图视频中的感兴趣对象；显示所述多视图视频；以及显示与所述感兴趣对象相关联的视觉效果。
[0027] 方法的一些实施例可以包括：利用多视图相机捕获多视图视频；使用安装在所述相机上的眼睛跟踪器来跟踪控制所述相机的相机操作者的观看方向和视点；测量所述相机操作者的生理数据；基于所述观看方向和所述生理数据，识别所述多视图视频中的感兴趣对象，其中所述感兴趣对象在所述相机操作者的所述视点内；在由除所述相机操作者之外的用户佩戴的头戴式设备(HMD)的可视显示器上，显示所述多视图视频的一部分，其中所述HMD的所述可视显示器定义所述用户的视点；当所述用户的所述视点被确定为与所述相机操作者的所述视点重叠时，在所述多视图视频的向所述用户显示的所述部分中以及在所述用户的所述视点内，渲染所识别的感兴趣对象；以及实现一显示效果，以即使当所述用户的所述视点不再与所述相机操作者的所述视点重叠时，也继续在所述用户的所述视点内渲染所识别的感兴趣对象。
[0028] 装置的一些实施例可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法。
[0029] 对于一些实施例，一种装置可以进一步包括：注视跟踪传感器；相机；生理传感器；以及显示器。
[0030] 方法的一些实施例可以包括：在用户佩戴的头戴式设备(HMD)的可视显示器上显示多视图视频的一部分，其中所述HMD的所述可视显示器定义了所述用户相对于所述多视图视频的视点；接收关于除所述用户之外的相机操作者的视点和所述多视图视频中的感兴趣对象的信息，所述相机操作者的所述视点正相对于所述多视图视频，并且所述感兴趣对象被识别为正在所述相机操作者的所述视点内并且被指示正被所述相机操作者感兴趣；响应于确定由所述HMD的所述可视显示器限定的所述用户的所述视点与所述相机操作者的所述视点重叠，在所述多视图视频的向所述用户显示的所述部分中以及在所述用户的所述视点内，渲染所述感兴趣对象；确定由所述HMD的所述可视显示器限定的所述用户的所述视点不再与所述相机操作者的所述视点重叠；以及响应地实现一显示效果，以继续在所述用户的所述视点内渲染所述感兴趣对象，即使在由所述HMD的所述可视显示器限定的所述用户的所述视点不再与所述相机操作者的所述视点重叠时。
[0031] 对于一些实施例，一种方法可进一步包括：测量所述相机操作者的生理数据；以及跟踪所述相机操作者的眼睛位置，其中基于所述相机操作者的所述生理数据和所述眼睛位置，所述感兴趣对象可以被识别为正在所述相机操作者的所述视点内，并且可以被指示为正被所述相机操作者感兴趣。
[0032] 装置的一些实施例可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上文列出的方法。
[0034] 图1A是示出了其中可以实施一个或多个公开的实施例的示例通信系统的系统图。
[0035] 图1B是示出了根据实施例的可在图1A中所示的通信系统内使用的示例无线发射/接收单元(WTRU)的系统图。
[0036] 图2是示出了根据一些实施例的基于观看方向(例如，眼睛移动)和生理指标来生成和显示多视图(例如，360度)视频的示例过程概览的系统图。
[0037] 图3是示出了根据一些实施例的用于基于眼睛移动和生理指标来生成和显示多视图(例如，360度)视频的一组示例界面的系统图。
[0038] 图4A和4B是示出了根据一些实施例的用于基于眼睛移动和生理指标来生成和显示多视图(例如，360度)视频的示例装置的图示。
[0040] 图6是示出了根据一些实施方式的用于基于眼睛跟踪数据来确定摄像者的视点的示例过程的流程图。
[0041] 图7是示出了根据一些实施例的相对于摄像者的同时期的视点对准的生物测定传感器数据和加速度计数据的示例测量组的时序图。
[0042] 图8是示出了根据一些实施例的用于记录和渲染多视图(例如，360度)内容的示例过程的消息序列图。
[0043] 图9是示出了根据一些实施例的示例双向渲染过程的过程图。
[0044] 图10是示出了根据一些实施例的第一渲染方法的示例的过程图。
[0045] 图11是示出了根据一些实施例的第二渲染方法的示例的过程图。
[0047] 图13是示出了根据一些实施例的用于合并所收缩的帧的示例方法的过程图。
[0048] 图14是示出了根据一些实施例的用于对帧进行收缩和合并的示例的过程图。
[0049] 图15是示出了根据一些实施例的用于基于眼睛跟踪数据来收缩和合并帧的示例过程的流程图。
[0050] 图16是示出了根据一些实施例的用于基于观看者的视点(POV)来显示指示效果和情绪效果的示例的过程图。
[0051] 图17是示出了根据一些实施例的基于观看者的视点相对于具有指示效果的区域的渐进效果级别的示例的示意性平面图。
[0052] 图18是示出了根据一些实施例的基于观看者的视点相对于具有指示效果的区域的渐进效果级别的示例的示意性平面图，其中示出了记录阶段参考图像。
[0053] 图19是示出了根据一些实施方式的用于识别摄像者的潜在情绪状态的示例的状态图。
[0054] 图20是示出了根据一些实施方式的用于向多视图(360度)内容观看者指示摄像者的情绪状态的示例过程的消息顺序图。
[0055] 图21是示出了根据一些实施例的用于基于观看者的视点(POV)来显示视觉效果的示例的示意性平面图。
[0056] 图22是示出了根据一些实施例的指示效果的示例屏幕截图的图示。
[0057] 图23是示出了根据一些实施例的示例第一情绪效果(摩擦(friction))的过程图。
[0058] 图24是示出了根据一些实施例的示例第二情绪效果(振动)的过程图。
[0059] 图25是示出了根据一些实施例的示例第三情绪效果(缩放)的过程图。
[0060] 图26是示出了根据一些实施例的示例第四情绪效果(快动(snapping))的过程图。
[0061] 图27是示出了根据一些实施例的示例第五情绪效果(亮度)的过程图。
[0062] 图28是示出了根据一些实施例的示例第六情绪效果(音频)的过程图。
[0063] 图29是示出了根据一些实施例的用于基于眼睛辨识而将多视图(例如，360度)视频内容分割成2D图像的示例的过程图。
[0064] 图30是示出了根据一些实施例的用于基于检测到的眼睛跟踪对象从多视图(例如，360度)视频内容中选择2D图像以用于社交媒体上传的示例的过程图。
[0065] 图31是示出了根据一些实施例的用于确定视点路径的示例的过程图。
[0066] 图32是示出了根据一些实施例的具有被识别为重要的两个对象的示例多视图(例如，360度)场景的图示。
[0067] 图33是示出了图32的示例多视图(例如，360度)场景并且根据一些实施例指示了两个所识别的对象的视点路径的图示。
[0068] 图34是示出了根据一些实施例的从第一视点路径的一起始点观看的图32的示例多视图(例如，360度)场景的图示。
[0069] 图35是示出了根据一些实施例的从第二视点路径的起始点观看的图32的示例多视图(例如，360度)场景的图示。
[0070] 图36是示出了根据一些实施例的在回放开始时将观看者的视点(POV)与感兴趣对象对准以及在回放期间与其他POV对准的示例的过程图。
[0071] 图37A和37B是示出了根据某些实施例的第一示例快动效果区域的图示。
[0072] 图38A和38B是示出了根据某些实施例的第二示例快动效果区域的图示。
[0073] 图39是示出了根据一些实施例的磁效应区域的示例的示意性透视图。
[0074] 图40A和40B是示出了根据一些实施例的示例性弹跳(bouncing)效果的图示。
[0075] 图41是示出了根据一些实施例的用于处理受限视点的示例的过程图。
[0076] 图42是示出了根据一些实施例的用于调整观看者的起始视点的示例的过程图。
[0077] 图43是示出了根据一些实施例的用于跟踪相机操作者的视点并识别多视图视频中的感兴趣对象的示例过程的流程图。
[0078] 图44是示出了根据一些实施例的用于基于相机操作者和观看者的视点而实现一显示效果的示例过程的流程图。
[0079] 图45是示出了根据一些实施例的用于显示与感兴趣对象相关联的视觉效果的示例过程的流程图。
[0080] 应当理解，附图中的元素是为了简单和清楚而示出的，并且不一定按比例绘制。例如，附图中的一些元素的大小相对于其他元素可能不按比例，以帮助改善对根据一些实施例的本文描述的方法和系统的理解。
[0081] 在附图中，在适当的地方，已经通过常规符号表示了装置和方法组件，其中仅示出了与理解根据一些实施例的在此描述的方法和系统有关的那些具体细节。
[0082] 在各个附图中描绘并结合各个附图描述的实体、连接、布置等是作为示例而非作为限制来呈现的。因此，关于以下的任何和所有陈述或其他指示在孤立且脱离上下文的情况下可被解读为绝对的且因此是限制性的：特定附图“描绘了什么”、特定附图中的特定元素或实体“是”或“具有”什么、以及任何和所有类似陈述，其可以仅其前被建设性冠以诸如“在至少一个实施例中，...”等条款的情况下被正确地解读。为了简洁和清楚地呈现，在附图的详细描述中，并不重复这个隐含的前导条款。
具体实施方式
[0084] 图1A是示出了可以实施一个或多个所公开的实施例的示例通信系统100的示图。该通信系统100可以是为多个无线用户提供语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够接入此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块过滤OFDM以及滤波器组多载波(FBMC)等等。
[0085] 如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络
112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任意者可被可交换地称为UE。
112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。每一个WTRU 102a、102b、102c、102d可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，任一WTRU 102a、102b、102c、102d都可被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、车辆、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任意者可被可交换地称为UE。
[0086] 通信系统100还可以包括基站114a和/或基站114b。每一个基站114a、114b可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一个无线对接来促使其接入一个或多个通信网络(例如CN 106/115、因特网110、和/或其他网络112)的任何类型的设备。举例来说，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然每一个基站114a、114b都被描述成了单个部件，然而应该了解。基站114a、114b可以包括任何数量的互连基站和/或网络部件。
[0087] 基站114a可以是RAN 104/113的一部分，并且所述RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，也就是说，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。举例来说，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
[0088] 基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、微米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
[0089] 更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
[0090] 在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTA Pro(LTE-A Pro)来建立空中接口116。
[0091] 在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如NR无线电接入，其中所述无线电技术可以使用新型无线电(NR)来建立空中接口116。
[0092] 在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。举例来说，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如eNB和gNB)发送的传输来表征。
[0093] 在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即无线高保真(WiFi))、IEEE 802.16(全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)以及GSM EDGE(GERAN)等等。
[0094] 图1A中的基站114b可以是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、车辆、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-APro、NR等等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106/115来接入因特网110。
[0095] RAN 104/113可以与CN 106/115进行通信，其中所述CN可以是被配置成向一个或多个WTRU 102a、102b、102c、102d提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户验证之类的高级安全功能。虽然在图1A中没有显示，然而应该了解，RAN 104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN 106/
115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
[0096] CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如TCP/IP网际协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或网际协议(IP))的全球性互联计算机网络设备系统。所述网络112可以包括由其他服务供应商拥有和/或运营的有线和/或无线通信网络。例如，所述其他网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN 104/113使用相同RAT或不同RAT。
[0097] 通信系统100中一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如，WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图1A所示的WTRU 102c可被配置成与可以使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
[0098] 图1B是示出了例示WTRU 102的系统图示。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136以及其他外围设备138。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。
[0099] 处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU 102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图1B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以集成在一个电子组件或芯片中。
[0100] 发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在实施例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
[0101] 虽然在图1B中将发射/接收部件122描述成是单个部件，但是WTRU102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在实施例中，WTRU 102可以包括两个或多个通过空中接口116来发射和接收无线电信号的发射/接收部件122(例如多个天线)。
[0102] 收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
[0103] WTRU 102的处理器118可以耦合到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户标识模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
[0104] 处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU 102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
[0105] 处理器118还可以耦合到GPS芯片组136，该芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。
[0106] 处理器118还可以耦合到其他外围设备138，其中所述外围设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、 模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。外围设备138可以包括一个或多个传感器，所述传感器可以是以下的一个或多个：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器。
[0107] WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减少和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
[0108] 有鉴于图1A-1B以及关于图1A-1B的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b和/或这里描述的其他任何设备(一个或多个)。这些仿真设备可以是被配置成模拟这里一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
[0109] 多视图视频(例如，360度视频)也被称为沉浸式视频或球形视频，是诸如通过使用全向相机或相机集合而使得多个方向上的视图被同时记录的视频记录。在回放期间，观看者可例如利用数字全景照片而具有对观看方向的控制。
[0110] 360度(或多视图)视频通常使用具有多个相机的特殊装备或使用包含嵌入到设备中的多个相机镜头的专用相机来记录，并且可以涉及同时拍摄重叠角度。通过被称为视频拼接的方法，该单独的连续镜头被合并到一起成为一个球形视频段，并且每个拍摄(shot)的颜色和对比度被校准为与其他拍摄一致。该过程由所述相机本身完成，或者使用可以分析公共视频和音频以将不同的相机馈送同步和链接在一起的专用视频编辑软件来完成。通常，不能被观看到的唯一区域是朝向相机支架的视图。
[0111] 为了拍摄多视图(例如，360度)视频，已经开发了全向相机和装备，这其中包括装备(诸如，GoPro的Omni和Odyssey、Nokia OZO、Facebook Surround 360、Kodak Pixpro SP3604K Dual Pack Pro和Axon的AZilPix Studio.One(所有这些都由安装在单个装备中的多个相机组成))、Vuze相机、诸如Ricoh Theta S和Samsung Gear360的手持双镜头相机、以及Kogeto Dot 360-为iPhone4、4S和Samsung Galaxy Nexus开发的全景相机镜头附件。在许多视频会议系统中，使用360°相机，使得可以利用一个相机来记录一个位置处的多个(例如，所有)参与者。
[0112] 例如，360度(或多视图)视频通常经由个人计算机、诸如智能电话的移动设备或专用头戴式显示器来观看。如果在PC上观看，则鼠标通常用于通过点击和拖动来环摄(pan around)视频。在智能电话上，诸如陀螺仪的内部传感器用于基于设备的定向来摇摄(pan)视频。诸如Google Carboard和Samsung Gear VR Viewer的设备提供立体镜式头戴式外壳，智能电话可以插入该外壳中以便以虚拟现实格式观看内容。这样的设备可以模拟专用头戴式显示器的操作，但是利用电话的显示器和内部透镜，而不包含专用屏幕。
[0113] 本文描述了根据一些实施例的用于基于摄像者(videographer)的眼睛跟踪和测量的生理参数而生成和显示多视图(例如，360度)视频内容的系统和方法。多视图(例如360度)视频可以与各种上下文数据一起被记录，以帮助确定摄像者在记录(或拍摄)时的焦点。多视图(例如，360度)视频可以与补充的上下文(contextual)数据一起显示，以帮助观看者辨识被确定为摄像者感兴趣(或者例如，重要)的对象。该上下文数据可以包括眼睛跟踪器(或注视跟踪器或视点检测器)数据、运动传感器数据、生物测定数据和其他数据类型。
[0114] 各种子处理和模块可以帮助基于摄像者在视频捕获时的焦点和生理状态来渲染多视图(例如，360度)视频。此外，系统可以包括提供各种视觉、触觉和声音效果以引导观看体验并且以自然和沉浸方式中继情绪状态数据。在视频记录时，可以通过跟踪摄像者的眼睛并检测定视(fixation)来确定多视图(例如，360度)视频的上下文方面(context-wise)的重要帧。可以渲染所述多视图(例如，360度)视频的帧以强调上下文方面的重要部分。如果佩戴HMD的观看者将焦点调整到所述上下文方面的重要帧(转动观看者的头部以将观看者的虚拟世界视图与所述上下文方面的重要帧对准)，则可以将摄像者的情绪状态生动地指示给观看者，其中该情绪状态可以基于在记录时测量的信息来确定。
[0115] 本文公开了根据一些实施例的用于基于眼睛跟踪和测量的生理参数而生成和显示多视图(例如，360度)视频内容的系统和方法。可以跟踪摄像者的眼睛，并且可以在多视图(例如360度)内容记录期间测量摄像者的生物测定指标。所记录的多视图(例如，360度)内容的渲染和回放可以增强被识别为重要的项目。
[0116] 对于一些实施例，多视图(例如，360度)视频的记录可以包括：捕获描绘多视图(例如360度)视场的图像数据、跟踪摄像者的眼睛运动以及测量所述摄像者的生理指标。该过程还可以包括基于所跟踪的眼睛移动和所测量的生理指标来识别所记录的多视图(例如，360度)视频的帧中的感兴趣对象。该过程可以包括呈现所记录的多视图(例如，360度)视频以强调所识别的感兴趣对象并且削弱不重要的帧。在所渲染的多视图(例如，360度)视频的回放期间，该过程可以基于所跟踪的眼睛移动和所测量的生理指标而将实时视觉效果应用于所渲染的多视图(例如，360度)视频。
[0117] 用户可以欣赏帮助观看者辨识摄像者的焦点的视频捕获和观看系统，尤其是在多视图(例如，360度)内容和其他内容格式的背景下。对于多视图(例如，360度)视频，观看者可以从任何角度探索所捕获的场景。因此，可能难以获得在记录时的摄像者的情绪状态的感觉。根据一些实施例，这里公开了一种用于多视图(例如360度)内容的示例性用户界面(UI)/用户体验(UX)方法，其可以用于识别对所述摄像者重要的信息，并且将该信息传送给观看者(例如通过突出显示对摄像者重要的对象)。
[0118] 用户可以欣赏可能包含大量数据的多视图(例如，360度)内容的智能捕获和查看系统。随着多视图(例如360度)相机的释放，可以以更大的速度和更大的体量来生成多视图(例如360度)内容。各种社交平台和服务允许该内容被与朋友共享。随着市场扩展到与朋友共享多视图(例如，360度)视频，用户可以欣赏多视图(例如，360度)视频中的关于摄像者最感兴趣的对象(一个或多个)/帧(一个或多个)的清楚和直观的指示。
[0119] 对于一些实施例，所述多视图(例如，360度)内容可以包含比在从观看者的视点的任何单个时刻中可见的图像数据更多的图像数据；一种可以识别和指示摄像者的重要记录事件的技术。在回放期间，在一些实施例中，在多视图(例如，360度)内容记录过程期间收集的视点数据和生物测定传感器数据可以用于帮助观看者快速理解所述摄像者的视点。
[0120] 一些实施例可以确定多视图(例如360度)视频数据中描绘的哪些内容可以被识别为从摄像者的视点看是重要的(或者例如感兴趣的)内容。即使在相同位置拍摄了多视图(例如，360度)内容的各种示例，每个摄像者关注的特定事件/对象可能是不同的，并且摄像者的视觉关注和情绪反应可能连续地改变。
[0121] 对于一些实施例，可以使用眼睛跟踪信息来确定摄像者的实时视点。对象辨识可以用于识别摄像者的视点内的对象。通过将该数据流与同时感测的生物测定信息耦合，一些对象和帧可以被确定为重要的，并且摄像者在记录时所感受的情绪反应可被确定。另外，所述生物测定信息和感测的运动信息可以与所述摄像者的重要视点一起存储。该存储的信息可以用于在所记录的多视图(例如，360度)内容的回放期间指示所述摄像者的情绪状态。
[0122] 特别地，如果由摄像者记录的360度内容被呈现给观看者，则观看者可能想要知道摄像者在记录会话期间所关注的对象或视点。另外，观看者可能希望接收关于摄像者的与记录时关注的对象或区域有关的感觉(由所测量的生理指标确定的情绪状态)的指示。
[0123] 如果渲染所记录的多视图(例如360度)视频，则可以使用摄像者的测量的眼睛跟踪信息和生物测定感测信息。基于所述眼睛跟踪信息和生物测定传感器信息，可以确定360度视频中摄像者认为重要的帧(或者例如感兴趣的帧-例如从所述眼睛跟踪和生物测定感测信息推断的感兴趣帧)。在一些实施例中，被识别为不重要的帧可以被收缩和合并，作为从摄像者的增强视点渲染多视图(例如，360度)视频的一部分。如果回放所渲染的多视图(例如360度)视频，则可以基于所计算的记录时摄像者的视点与观看者的视点之间的相对距离来触发各种效果。
[0124] 如果渲染所记录的多视图(例如360度)视频，则摄像者的测量的眼睛跟踪信息和生物测定感测信息可以用于标记所识别(或辨识)的对象。所述系统和过程可使用所识别(或辨识)的感兴趣对象来确定上下文方面重要的帧和上下文方面不重要的帧。可收缩所述上下文方面不重要的帧以便以有效地强调所述上下文方面重要的帧的方式来渲染多视图(例如，360度)视频。对于一些实施例，所渲染的内容可以被存储在服务器上。
[0125] 对于一些实施例，以上概述的示例过程可以响应于摄像者利用2D相机扫描环境以生成3D渲染、或者响应于本地多视图(例如，360度)相机馈送而被应用。此外，在一些实施例中，从摄像者的角度来看重要的对象可以根据该对象的特性或拍摄(或记录视频)时的上下文而被不同地确定。例如，对象辨识和分类可以用于帮助预测所述摄像者的情绪状态，并且确定重要的帧和不重要的帧。
[0126] 图2是示出根据一些实施例的基于观看方向(例如，眼睛移动)和生理指标而生成和显示多视图(例如，360度)视频的示例过程概览的系统图。对于一些实施例，该示例过程概述将过程200划分成三个阶段：记录阶段、渲染阶段和回放阶段。
[0127] 对于所述记录阶段的一些实施例，眼睛跟踪和生物测定感测过程202可以包括例如(i)捕获描绘多视图(例如360度)视场的图像数据，(ii)跟踪摄像者(例如，相机操作者)的眼睛运动，以及(iii)测量摄像者的生理(或生物测定)指标。例如，在图5-8的描述中进一步讨论该记录阶段。
[0128] 对于渲染阶段的一些实施例，过程可以包括例如基于可以使用眼睛跟踪数据计算的视点(POV)中的所跟踪的眼睛移动和所测量的生理(或生物测定)指标来识别所记录的多视图(例如360度)视频的帧中的感兴趣对象(或例如确定重要对象)204，以及渲染所记录的多视图(例如360度)视频内容206，其可以强调包括所识别的感兴趣对象(或重要对象)的那些帧。该渲染阶段可以包括收缩和合并所记录的多视图(例如，360度)内容的帧，并且在例如图9-15的描述中被进一步描述。
[0129] 对于回放阶段的一些实施例，过程可以包括例如基于例如(i)摄像者的记录视点和观看者的视点之间的相对距离以及(ii)所测量的与重要帧(或感兴趣对象)相关联的生理指标，将实时视觉效果208应用于所渲染的多视图(例如360度)视频，这可以突出显示重要对象(或感兴趣对象)。对于某些实施例，应用效果208可包括路径寻找210、确定起始POV 212、执行效果214(诸如音频、亮度、摩擦、触觉(触摸)、图标脉冲、磁性、快动、文本通知、以及缩放)。关于回放阶段的更多信息可以在例如图16-29的描述中找到。
[0130] 对于一些实施例，相机操作者可以物理地操作相机。例如，360度相机可以安装在相机操作者的头戴装备上。对于一些实施例，相机操作者可以远程地操作相机。例如，相机操作者可以佩戴360度VR头戴装置，并且可以基于该头戴装置的移动来控制相机。对于一些实施例，相机操作者可以不控制所述相机的移动，但是可以在捕获视频时观看多视图(例如，360度)视频(诸如相机操作者佩戴的360度VRHMD)。可以在相机操作者观看内容的同时，捕获该相机操作者的注视点和生理读数。对于一些实施例，相机操作者可以在捕获内容时控制或观看该内容(用于捕获注视点和生理测量)。对于一些实施例，内容可以是多视图(例如，360度)视频。对于一些实施例，相机操作者可以基于先前捕获和/或记录的内容在稍后的时间控制或观看内容(用于捕获注视点和生理测量)。对于一些实施例，相机操作者可以在内容被实时流式传输给终端用户和/或观看者的同时，控制或观看所述内容(用于捕获注视点和生理测量)。对于一些实施例，相机操作者可以在注视点和生理测量被记录时的第一时间，控制或查看内容(用于捕获注视点和生理测量结果)，并且所述内容可以在稍后的第二时间被流式传输给终端用户和/或观看者。
[0131] 图3是示出根据一些实施例的用于基于眼睛移动和生理指标来生成和显示多视图(例如，360度)视频的一组示例界面的系统图。图3描绘了具有经由因特网306连接的HMD设备302和VR内容服务器304的系统300，然而，本地网络连接也可以用于一些实施例。所述HMD设备302可以包括总线308，其连接通信单元310、处理器312、情绪提供单元314、捕获单元316、传感器单元318(其可以包括生物测定传感器320和加速度传感器322)、眼睛跟踪器324和显示器326。所述VR内容服务器304可以包括(i)VR内容创建器328，其具有视点(POV)比较单元332、情绪估计器334和情绪标记单元336，以及(ii)存储器330，其具有观看者的个人信息338、VR对象属性340和情绪数据表324。
[0132] 所述通信单元310可以被配置为执行去往和来自HMD设备的所有有线和无线I/O数据传输。例如，可以使用诸如WiFi、蓝牙、USB、以太网、光保真(LiFi)或闪电连接器的连接。
[0133] 所述处理器312可被配置成控制每个传感器单元、显示单元和情绪提供单元。所述处理器312可以被配置为从VR内容服务器接收所渲染的VR内容。所述处理器312可以被配置成如果观看者的视点与摄像者的同期视点相匹配，则向所述观看者提供关于所标记的情绪的指示。
[0134] 所述情绪提供单元314可以被配置成向观看者提供关于摄像者的情绪状态的指示。这些指示可以通过后面描述的各种方法来实现。
[0135] 所述捕获单元316可以被配置成捕获环境的多视图(例如，360度)环绕视图。该多视图(例如，360度)内容最终被渲染，然后由所述显示单元显示。捕获多视图(例如，360度)内容可以经由扫描/2D拼接过程或通过使用本地多视图(例如，360度)记录设备来完成。
[0136] 所述生物测定传感器320可以被配置为检测HMD的用户的生物数据。所述生物测定传感器可以包括例如ECG、EEG、PPG、GSR和EMG(肌电图)。如果和/或当用户佩戴所述HMD设备时，EMG电极可被固定到用户的皮肤表面。所述生物测定传感器320可以安装在与用户皮肤接触的位置。除了由所述HMD收集的生物测定信息之外，也可以接收智能手表或其他可穿戴设备的生物测定传感器信息。对于一些实施例，可以通过组合来自所述HMD用户的两个或更多个设备的测量信息来增加所述生物测定信息的准确度。在一些实施例中，如果使用所述HMD来初始化多视图(例如，360度)视频捕获，则可以发送控制信号以激活(一个或多个)可穿戴设备的(一个或多个)生物测定传感器。
[0137] 所述加速度传感器322可以被配置为检测所述HMD的用户的运动数据。该运动数据可以包括例如定向数据(例如，罗盘数据)和移动数据(例如，多轴重力数据)。所述加速度传感器322可以被配置为检测所述HMD的用户的头部移动数据。所述HMD的用户的所述头部移动数据可以用于将摄像者的视点与观看者的视点进行比较。
[0138] 所述眼睛跟踪器324可以被配置为检测注视点(诸如摄像者正在看的地方)和眼睛相对于头部的运动中的至少一者。所述眼睛跟踪器324可以使用虹膜跟踪、视网膜跟踪和/或闪光跟踪。由该眼睛跟踪器产生的数据可以用于识别保持摄像者的焦点的对象。
[0139] 所述显示单元326可被配置成向观看者显示所渲染的多视图(例如，360度)内容，并且可使用所估计的摄像者的情绪信息来应用相应的效果。
[0140] 所述VR内容创建器328可以被配置为基于摄像者的视点和所标记的情绪信息来渲染VR内容。所渲染的VR内容可以被传送到所述HMD的处理器312。可以基于生物测定传感器数据、加速度传感器数据、VR对象属性数据和观看者的个人数据来估计所述摄像者在视点的情绪，这可以由情绪估计器334来执行。所估计的情绪信息可由情绪标记单元336标记到摄像者的多视图(例如360度)视频内描绘的眼睛跟踪的虚拟对象。在回放期间，可以使用图像分析和加速度传感器数据来相对于摄像者的视点而跟踪观看者的视点。所跟踪的两个视点之间的距离可从由情绪标记单元336检测到的触发效果来确定。
[0141] VR对象属性可以包括在所记录的多视图(例如，360度)内容内检测到的所识别的感兴趣对象(或者例如，重要对象)周围的元数据。对象属性可以包括可以被映射到所确定的情绪状态的对象类别、动作和强度。所述情绪数据表可以从查找表中确定以将所测量的生物测定数据、加速度数据和对象属性转换成可能的情绪状态。表1(其将在下面在图19的讨论之前被讨论并参考图19而被讨论)示出了查找表的示例。
[0142] 图4A和4B是示出根据一些实施例的用于基于眼睛移动和生理指标来生成和显示多视图(例如，360度)视频的示例装置的图示。在图4A的示例中，用户佩戴具有生物测定传感器和可旋转眼睛跟踪相机402的肩戴式多视图(例如，360度)相机系统402。图4A的系统400可用于生成所述多视图(例如，360度)视频和补充数据。
[0143] 在图4B的示例中，可以使用包括生物测定传感器和运动传感器452的头戴式设备(HMD)。对于一些实施例，所述HMD具有用于记录所述多视图(例如，360度)视频的面向外的相机454和面向内的眼睛跟踪相机456。图4B的系统450可以用于生成多视图(例如，360度)视频和补充数据。
[0144] 对于一些实施例，用户可通过头戴式显示器观看所记录和渲染的360度(或多视图)视频。所述视频数据的内容可以通过头部的运动来探索。生物测定测量数据(其可以用于确定摄像者(例如，相机操作者)的想法和情绪)可以用于确定摄像者对存在于所述多视图(例如，360度)视频内的对象的重要性水平的评估。这样的确定可用于例如减少观看者的头部移动和寻找时间以及高效地显示内容。
[0145] 图5是示出根据一些实施例的在记录阶段中使用的示例装置的示意性正视图，其中所述记录阶段包括记录多视图(例如，360度)视频、生物测定传感器数据和加速度计数据以及计算视点。用于记录阶段的示例系统500可以包括多视图(例如360度)相机502，其捕获视频信息，同时生物测定传感器记录生理(生物测定)数据，并且眼睛跟踪系统记录摄像者的注视并且确定摄像者的视点(POV)504，其中该POV可以包括摄像者眼睛的焦点区域。所述摄像者的情绪可以从生理数据确定，并且在一些实施例中，可以从所识别的感兴趣对象的特性确定。可以利用所确定的情绪来标记感兴趣的对象或帧。
[0146] 在一些实施例中，初始化利用多视图(例如，360度)相机设备进行记录可触发眼睛跟踪器和生物测定传感器的激活。所述生物测定传感器(一个或多个)测量摄像者对物理环境的响应，并且可以包括例如光电血管容积图(PPG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、外周毛细血管氧饱和度(SpO2)传感器、瞳孔扩张传感器和其他生理传感器。
[0147] 对于一些实施例，可以从耦合到HMD的眼睛跟踪器确定所述摄像者的视点。所述眼睛跟踪器可以包括一个或多个面向内的相机，用于跟踪摄像者的至少一只眼睛的运动。眼睛移动的跟踪可以基于瞳孔、虹膜、对象模型和闪烁跟踪。所跟踪的一只或两只眼睛的移动可用于确定相对于HMD上的眼睛跟踪器的注视方向的时间序列。在每个时间样本的注视方向可以用于计算所述摄像者的视点。
[0148] 图6是示出了根据一些实施方式的用于基于眼睛跟踪数据来确定摄像者的视点的示例处理的流程图。示例过程600可以包括接收与HMD相关联的眼睛跟踪信息602。该过程还可以包括确定与视觉定视相对应的眼睛运动模式604。该过程还可以包括确定所述定视的对象606，其可以例如基于时间和频率。该过程还可以包括将所述对象识别为上下文方面的重要对象608。该过程还可以包括记录摄像者的描绘所述重要对象的视点610。
[0149] 可以基于眼睛跟踪数据来识别摄像者的视点中的对象的感兴趣级别。公式1指示对于一些实施例可以用于确定对象的感兴趣级别的示例计算：Level of Interest(Obj)＝Sustaining(Obj)+Frequency(Obj) 公式1
Sustaining(Obj)是基本上在一个对象内的起始时间，并且Frequency(Obj)是观看者转向观看同一对象的累积次数。公式1是示例公式，并且例如，可以使用其他确定或关系来估计对一个或多个对象的感兴趣级别。当然，在一些实施例中，可以指示或以其他方式推断对象的感兴趣级别，而不使用(排他地或以其他方式)确定。
Sustaining(Obj)是基本上在一个对象内的起始时间，并且Frequency(Obj)是观看者转向观看同一对象的累积次数。公式1是示例公式，并且例如，可以使用其他确定或关系来估计对一个或多个对象的感兴趣级别。当然，在一些实施例中，可以指示或以其他方式推断对象的感兴趣级别，而不使用(排他地或以其他方式)确定。
[0150] 对于一些实施例，如果一系列注视点中的连续注视点基本上在一个区域内，则可以确定一持续注视。这样，如果摄像者正凝视感兴趣的对象，使得摄像者的眼睛运动指示该摄像者可能正在专注地朝感兴趣的对象看，导致一系列注视点中的连续注视点基本上在一个区域(其可以接近感兴趣的对象)内，则可以确定所述持续注视。
[0151] 对于一些实施例，通过参考所述生物测量传感器信息来确定摄像者的视点中的上下文方面的重要对象。所述生物测定传感器信息可在摄像者的视点被检测时被检测。可以用于确定上下文方面的重要对象的其他示例因素包括：当摄像者在所述视点内观看所述对象时，摄像者的瞳孔大小是否突然增大(在阈值时间段内)；当摄像者正在观看所述视点内的所述对象时，脉搏率是否突然增加(例如，高于平均脉搏率阈值)；以及当观看所述视点内的所述对象时，运动信息是否突然增加(例如，如果摄像者陷入惊愕)。所述摄像者的视点(其可以基于眼睛跟踪信息来确定)可以相对于所述记录的时间序列来存储。所述摄像者的视点可以包括该摄像者正在专注地观看的上下文方面的重要对象。
[0152] 图7是示出根据一些实施例的相对于摄像者的同时期的视点对准的生物测定传感器数据和加速度计数据的示例测量组的时序图700。对于一些实施例，所记录的生物测定感测信息和运动感测信息可以用于估计所述摄像者的情绪状态。
[0153] 在一些实施例中，当视频记录设备(诸如具有相机的HMD设备)记录用户(或穿戴者)的周围环境的图像时，包括在所述设备中(或耦合到所述设备或共享资源)的传感器(例如，加速度计、心电图(ECG)传感器或脑电图(EEG)传感器)可以测量数据。该数据可以被发送到所述VR内容服务器，使得VR内容创建器可以分析所述数据的模式并且将时间序列分组为多个分段。根据该示例，所分组的间隔信息与和所记录的视频一致的时间间隔相匹配。情绪状态可以基于例如每个传感器的数据值之间的关系、使用所述视频数据进行的推断和/或其他上下文指示符来估计。对于一些实施例，通过参考在记录相应分段期间佩戴者正在看的对象，一系列估计的情绪状态可以被精简为一个情绪状态。
[0154] 加速度传感器读数702可以用于情绪状态估计，从而向估计功能提供摄像者的移动的读数。如果加速度传感器数据的强度小于阈值A，则该强度可被识别为轻微移动。如果加速度传感器数据的强度在阈值A和B之间，则该强度可以被识别为适度移动。如果加速度传感器数据的强度大于阈值B，则如果该强度大于预设B值，则该强度可被识别为动态移动。图7示出了示例加速度传感器读数702，其指示了在t0和t1之间发生的轻微移动、在t1和t2之间发生的动态移动、以及在t2和t3之间发生的适度移动。
[0155] ECG传感器读数704可以用于情绪状态估计，为所述估计功能提供摄像者的平均心率的读数。图7示出了示例ECG传感器读数704，其在t0和t1之间发生每分钟86次心跳(BPM)、在t1和t2之间发生133BPM、以及在t2和t3之间发生111 BPM。
[0156] EEG传感器读数706可以用于情绪状态估计，从而为所述估计功能提供摄像者的脑波活动的读数。图7示出了示例性EEG传感器读数706，其中θ波指示在t0和t1之间发生的稳定性，β波指示在t1和t2之间发生的兴奋，并且α波指示在t2和t3之间发生的稳定性。EEG传感器读数可以根据测量的活动水平而被分成β波(兴奋)、α波(稳定)、θ波(睡眠)、纺锤波(睡眠)和δ波(睡眠)。
[0157] EMG传感器读数(未示出)可以用于情绪状态估计，从而向所述估计功能提供关于肌肉移动的读数。如果确定了摄像者的视点，则可以准备从HMD传感器接收的感测信息(例如，生物测定感测信息和加速度感测信息)。可以将该感测信息标记到所述摄像者的视点内的上下文方面的重要对象或帧。所标记的感测信息(例如，情绪状态)可以用于提供当观看者的视点接近或匹配摄像者的视点时触发的各种视觉效果。该标记信息可以被传送给观看者，以便观看者可以体验到摄像者对上下文方面的重要对象感觉到的情绪或反应。因此，摄像者的与所述重要对象有关的情绪状态可以被传送给所述观看者。
[0158] 对于图7的示例记录时间线708，情绪状态可被估计为在时间t0和t1之间为“平静”、在t1和t2之间为“兴奋”、以及在t2和t3之间为“快乐”。这些情绪状态可以被标记到同时期的视点710、712、714内的对应对象(例如，烟花爆炸)。在所述渲染阶段，VR内容创建器可以将所述生物测定信息和所述加速度信息转换成情绪指标信息。该情绪指标信息可用于传递在记录时摄像者的感觉和体验。
[0159] 对于一些实施例，确定多视图(例如，360度)视频的含有感兴趣对象的部分可包含：将所识别的感兴趣对象与多视图视频的含有所识别的感兴趣对象的视频的相机角度和时间段进行匹配。对于一些实施例，这样的匹配过程可以在捕获视频时发生。对于一些实施例，这样的匹配过程可以在向终端用户和/或观看者显示所述视频时发生。对于一些实施例，所述视频被捕获的时间与所述视频被显示并且由终端用户和/或观看者观看的时间相同。对于一些实施例，可以基于在所述多视图(例如，360度)视频中识别的感兴趣对象来选择生理数据的一部分(例如，加速度计幅度数据702、ECG强度数据704或EEG强度数据706)。对于一些实施例，可在捕获所述视频时识别所述感兴趣对象。对于一些实施例，可在观看时识别所述感兴趣对象。
[0160] 图8是示出了根据一些实施例的用于记录和渲染多视图(例如，360度)内容的示例过程的消息序列图。图8的消息序列图800示出了HMD设备802和VR内容服务器804。对于一些实施例，所述HMD设备802包括例如显示单元806、处理器808、传感器单元810、捕获单元812、眼睛跟踪器814和情绪提供单元816。对于一些实施例，所述VR内容服务器804包括例如VR内容创建器818和存储器820。
[0161] 所述处理器808可以被配置822以捕获由摄像者(例如，相机操作者)记录的多视图(例如，360度)视频。该多视图(例如，360度)视频可以由捕获单元812捕获824。所述处理器808可以被配置826以激活所述传感器单元810(例如，生物测定传感器和加速度传感器)。生物测定传感器数据和加速度传感器数据可以由(一个或多个)传感器810检测828并且可以被传送到所述处理器808。该处理器808可以被配置830以通过使用眼睛跟踪器814进行眼睛跟踪来确定所述摄像者的视点。可以基于眼睛跟踪信息来检测832所述摄像者的视点。在检测到的视点内可以检测到重要的虚拟对象834。可以将所述视点内的感测数据传送836到所述处理器808。该处理器808可以被配置为将所述感测数据传输838到VR内容服务器804(其可以包括VR内容创建器818)。
[0162] 当所述感测数据对应于指示各种情绪状态的预定条件时，所记录的视频可被分割840成多个时间序列(例如，所记录的视频的捕获的分段被确定为情绪标记分段)。VR属性数据和所述摄像者的个人数据可以从存储器820传送842到VR内容创建器818。所述摄像者在所述视点的情绪可以由VR内容创建器818的情绪估计器估计844。所估计的情绪可以在情绪标签分段中在所述视点被标记846。在记录之后，可以基于在摄像者的视点处标记的情绪，渲染848所述VR内容。对于一些实施例，HMD设备802包括显示单元806和情绪提供单元816。
[0163] 图9是示出根据一些实施例的示例双向渲染过程的过程图。对于示例过程900，对于一些实施例，记录信息902可以从存储器检索并被发送到第一属性检测过程908。可以接收906眼跟踪器数据并将其发送到第一属性检测过程908。用户的兴趣信息可以从存储器中检索904并发送到第二属性检测过程914。每个过程908、914可以使用视频数据910、916来生成912、918语义属性元数据，该元数据可以被输入到属性匹配过程920。该属性匹配过程920的输出可以由确定视点中的重要对象的过程922使用。内容拆分过程924可以将视频数据划分成上下文方面的重要图像926和上下文方面的不重要图像928。内容显示过程930可以确定是使用第一渲染方法932还是第二渲染方法934。所述第一方法932可以选择936重要对象并且突出显示938该重要对象。所述第二方法934可以收缩940不重要的帧并合并942所收缩的帧。
[0164] 为了渲染所述多视图(例如360度)内容，所记录的摄像者的视点可以被识别为上下文方面的重要帧。所述服务器系统可以通过基于所述上下文方面的重要帧而选择936和突出显示938(渲染方法1(932))或收缩940和合并942(渲染方法2(934))所捕获的多视图(例如360度)视频，从而渲染所述多视图(例如360度)内容。对于一些实施例，如果仅存在一个上下文方面的重要帧，则所述第一渲染方法932可被应用来调整重要对象的亮度、大小和位置，以便突出显示所述上下文方面的重要帧。对于一些实施例，如果存在至少两个上下文方面的重要帧，则可以应用所述第二渲染方法来收缩上下文方面的重要帧之间的上下文方面的不重要的帧，从而向观看者提供摄像者的视角的重要信息。所述第一渲染方法932可强调所述摄像者对多视图(例如，360度)内容的视点，并使观看者能够掠过多媒体数据。
[0165] 图10是示出根据一些实施例的第一渲染方法的示例的过程图。该图示1000示出了(基于眼睛跟踪1002)将跑步女人检测为重要对象并响应地放大以突出显示1006的示例。因为存在一个由眼睛辨识信息确定的上下文方面的重要对象，所以可以应用图9的第一渲染方法。所突出显示或选择的包含眼睛跟踪对象1004(跑步女人)的帧可以区别于其它显示帧的方式(例如，例如通过以较大大小、鲜艳颜色、可能重叠其它帧来呈现)而被突出显示(或显示)1006。所述眼睛跟踪对象(例如，跑步女人)可以相对于其他对象被放大以指示突出显示状态。例如，突出显示的对象可以用彩色示出，而其他对象是黑白的，和/或其外观可以被增强、变亮或以其他方式调整，和/或其帧可以用不同的彩色或其他视觉上有区别的方式示出。
[0166] 图11是示出了根据一些实施例的第二渲染方法的示例的过程图。该图示1100示出了被检测为重要对象的跑步女性和坐下男性的示例。因为基于眼睛辨识信息检测到两个上下文方面的重要对象，所以应用图9的第二渲染方法。在图9的第二渲染方法中，多视图(例如，360度)视频可以被划分为具有上下文方面的重要对象的上下文方面(或内容方面)的重要帧和不具有上下文方面的重要对象的上下文方面的不重要帧。对于图11的示例，在两个视点1102、1106内检测上下文方面的重要对象。图9的第二渲染方法收缩了上下文方面不重要的帧(对于图11的示例，其在视点1104内)，并使观看者能够避免大角度头部旋转来将焦点从一个重要对象切换到另一个重要对象。尽管至少一个上下文方面不重要的帧1104在观看者的视点1108中被收缩，但是用户能够在不旋转他或她的头部的情况下辨识所述多视图(例如，360度)内容中的环境上下文。
[0167] 图12是示出了根据一些实施例的用于收缩帧的示例方法的过程图。图12的方法1200示出了示例性像素映射技术(或收缩方法1206)。在图12所示的示例中，原始帧(A)1202具有一含12个像素的水平线。左边六个像素A1-A6被确定为重要对象(如由用户的兴趣信息所确定的)，而右边六个像素A7-A12被确定为低重要性(或不重要)对象(如由用户的兴趣信息所确定的)。
[0168] 如果所述原始帧(A)1202被大小调整为具有九个像素宽度的大小调整后的帧(B)1204，则某些实施例的像素映像方法会将左边六个像素A1至A6映像至相同位置，如大小调整后的帧(B)1204中的像素B1至B6所示。像素A1-A6被确定为是上下文方面的重要区域1208的一部分。右边的六个像素A7-A12会被合并，以产生大小调整后的帧(B)1204的三个像素B7-B9。像素A7-A12被确定为是上下文方面不重要的区域1210的一部分。在大小调整后的帧(B)1204中，像素B1-B6对应于上下文方面的重要区域1212，而像素B7-B9对应于上下文方面的不重要区域1214。对于图12的示例，所述原始帧(A)1202对上下文方面不重要的区域1208和上下文方面不重要的区域1210使用1x压缩比，而大小调整后的帧(B)1204对上下文方面不重要的区域1212使用1x压缩比，而对上下文方面不重要的区域1214使用0.5x压缩比。对于一些实施例，这些压缩比可以改变。
[0169] 图13是根据一些实施例，示出了用于合并经收缩的帧的示例方法的过程图。图13示出了用于一些实施例的合并技术的方法1300。在图13中，可以基于所检测的对象(具有至少一个像素)的重要性值，在x方向上调整多视图(例如，360度)内容中的至少两个帧的大小。对于图13的示例，帧1(1302)和帧2(1304)不包含感兴趣对象1308、1310，并且帧1(1302)和帧2(1304)被收缩和合并1316以形成帧3(1306)。此外，对于该示例，帧1(1302)和帧2(1304)在多视图(例如，360度)环境1318中彼此远离。
[0170] 一些实施例通过将原始帧(或图像)1312中的像素映射到经调整的帧(或经调整大小的图像)1314中的不同位置来调整帧(或图像)的大小。对于收缩所述图像的一些实施例，所述原始帧1312的具有高重要性的那些像素(其可以是作为感兴趣对象的一部分的像素)可以被一对一地映射到经调整的帧(或经调整大小的图像)1314中的单独像素，并且所述原始帧1312的不重要的像素可以在经调整的帧(或经调整大小的图像)1314中被收缩和合并1316。
[0171] 对于一些实施例，所述多视图(例如，360度)图像还可通过从一组相应接缝(seam)群组中的每一者移除目标数目个接缝而被调整大小。移除接缝可致使图像水平或垂直地收缩所删除的接缝的宽度。垂直接缝的移除可使图像在水平方向上收缩了所移除的接缝的宽度。同样，水平接缝的移除可使图像在垂直方向上收缩了所移除的接缝的宽度。
[0172] 图14是示出了根据一些实施例的用于收缩和合并帧的示例的过程图。图14示出了对于一些实施例，通过比较原始内容1402和所渲染的内容1404来收缩和合并的效果。图14示出了对帧(对于该示例，其包括建筑物之间的开放空间)进行收缩1406的一些实施例的示例，其变成所渲染的内容1404中的收缩后的帧1408。
[0173] 图15是示出了根据一些实施例的用于基于眼睛跟踪数据而收缩和合并帧的示例过程的流程图。以下描述的示例过程1500的一些实施例可以用于收缩和合并缺少眼睛跟踪的感兴趣对象的帧。该过程1500可以包括接收1502描绘多个眼睛跟踪对象的至少两个源帧(待调整大小)。该过程1500可以包括确定1504(或例如，识别)眼睛跟踪对象为上下文方面重要的对象。所述过程1500还可包括将所述源帧划分成1506上下文方面的重要帧和上下文方面的不重要帧。该划分1506可以基于具有多个像素的所述眼睛跟踪对象。所述过程1500可确定1508帧是否处于上下文方面不重要的区域中。若该帧是在一上下文方面不重要的区域中，则属于上下文方面不重要的帧的(不重要的)像素可在大小调整后的图像中被合并1512。如果所述帧不在上下文方面不重要区域中，则属于上下文方面重要帧的那些像素可以被映射1510到大小调整后的图像中的单独像素。在事件1512及1510这两者中，示例过程
1500还可包含使用所述大小调整后的帧来渲染1514所述多视图(例如，360度)视频，以及将所述所渲染的多视图(例如，360度)视频传递到例如服务器系统以用于内容分发。
1500还可包含使用所述大小调整后的帧来渲染1514所述多视图(例如，360度)视频，以及将所述所渲染的多视图(例如，360度)视频传递到例如服务器系统以用于内容分发。
[0174] 图16是示出了根据一些实施例的用于基于观看者的视点(POV)而显示指示效果和情绪效果的示例的过程图。该显示过程1600在第一图像1602中示出了的场景的示例开始。该显示过程1600在第二图像1604中示出了当用户背离(背向)摄像者的视点(POV)时不提供效果。在第三图像1606中，观看者转向摄像者的视点(POV)，并且指示效果1610可将观看者引导向所述摄像者的视点(POV)。在第四图像1608中，观看者的视点(POV)与摄像者的POV相匹配，并且情绪效果1612将所述摄像者的情绪状态(其可以被标记到该帧)传达给所述观看者。
[0175] 所述显示过程1600可以在基于摄像者的视点而渲染所述多视图(例如360度)内容之后开始。对于一些实施例，可以利用具有多视图(例如，360度)相机、眼睛跟踪器、生物测定传感器和运动传感器的HMD来记录所述多视图(例如，360度)内容。对于一些实施例，可以基于在记录期间捕获的眼睛跟踪信息来确定视点。可以在保持特定视点聚焦的同时，记录所述摄像者的运动信息和生物测定信息，并且可以将所感测的运动信息和生物测定信息标记到相应的视点时间序列。时间序列中的心率数据可以由HMD设备的生物测定传感器来测量(或接收)。所述HMD设备可确定输入的心率与诸如移动平均值之类的阈值相比是否高。如果所述输入的心率超过所述心率阈值(例如，移动平均值)一大于所述输入的心率的阈值量，则可以将该增加的输入心率的时间标记到所述摄像者的视点帧。
[0176] 所述显示过程1600可以包括基于观看者头部相对于摄像者视点的方向提供指示效果。如果观看者的视点与摄像者的视点相反，则对观看者的视点没有影响。如果观看者的头部向摄像者的视点移动，则提供对观看者视点的指示效果，以帮助该观看者看到所述摄像者的视点。
[0177] 所述显示过程1600可以包括如果观看者的视点与摄像者的视点相匹配，则提供情绪效果。将摄像者在拍摄(或记录视频)时的生物测定信息(例如心率)(其可以在摄像者的视点中被标记)转换为情绪效果并存储。当观看者的视点与摄像者的视点相匹配时，所述HMD设备以情绪效果的形式向所述观看者指示生物测定信息。例如，对于一些实施例，可以使用所述HMD和所连接的观看者佩戴的可穿戴设备的各种输出(例如，视觉、触觉或声音)，使得观看者可以意识到在摄像者的视点中标记的摄像者的心跳信息(例如，通过在显示器上闪烁心率指示符、使触觉模块脉动、使声音样本脉动、以及将心率映射到声音频率)。利用触觉模块，时间序列心率数据(诸如79、75、88、72、77、70、69、73、71、75、...)可以被变换成振动节拍。该振动节拍可以经由与观看者耦合的触觉反馈模块输出，以指示所述摄像者的心率。
[0178] 在图16中，所述摄像者的情绪可以通过调节表示烟花的视觉信息的亮度和大小来传递。在一些实施例中，当烟花爆喷时，所标记的心率被转换并作为提供给观看者的声音被回放。
[0179] 图17是示出了根据一些实施例的基于观看者的视点相对于具有指示效果的区域的渐进效果级别的示例的示意性平面图。这三个描述示出了不同的视点重叠量可以被指派给不同的效果级别1702、1704、1706。即使摄像者的视点和观看者的视点不完全匹配，如果用户的动作向摄像者的视点改变，则生物测定指示效果可以细微地或逐渐地开始。随着观看者的视点更接近摄像者的视点(其在效果级别1、2和3(1702、1704、1706)的进展中被示出)，效果的强度级别可以被逐渐增加。例如，对于一些实施例，如果摄像者的视点对应于该摄像者感觉到的情绪(这可以作为振动效果被传达给观看者)，则观看者的视点越靠近摄像者的视点，所述振动的强度越高。
[0180] 图18是示出了根据一些实施例的基于观看者的视点相对于具有指示效果的区域的渐进效果级别的示例的示意性平面图，其中具有记录阶段参考图像。对于关于图17描述的渐进效果处理的一些实施例，这里的系统和处理可以确定观看者的视点是否与摄像者的视点匹配以及该匹配有多接近。
[0181] 图18示出了对于一些实施例的场景1800，其中用户利用配备有眼跟踪器的相机来记录多视图(例如，360度)视频。所述眼跟踪器可以确定摄像者在多视图(例如360度)环境中的视点，并且包含该视点的帧可被渲染以提供适当的效果。在记录阶段行1844中描绘了所述摄像者的视点信息。该摄像者的关于记录时间的眼睛跟踪信息可以与视频序列一起被标记，并被存储在服务器中。所述摄像者的注视所瞄准的对象可以被确定为360度(或多视图)图像中的重要对象。可以编辑所述多视图(例如360度)图像以强调包含所述重要对象的上下文方面的重要帧。换句话说，可以在视觉上减少上下文方面不重要的帧。
[0182] 来自摄像者的视点的多视图(例如360度)图像可被渲染(可以在服务器上进行)，并且如果摄像者或其他用户随后播放所渲染的多视图(例如360度)内容，则可以通过向上下文方面的重要帧提供各种效果来有效地提供所述摄像者的视点的多视图(例如360度)图像。例如，如果观看者的视点不是在记录时由摄像者进行眼睛跟踪的视点，则对于一些实施例，不执行显著的后渲染效果。如果观看者的视点变得与摄像者的视点(POV)相同，则可以向观看者提供多个效果以有效地指示所述视点的重要对象。可以以各种比率调制效果参数，以基于用户的头部移动和视点之间的距离来控制所提供的效果的种类及其相应的强度。观看者的运动变化信息包括观看者在多视图(例如，360度)观看期间的头部移动、注视移动、距离行走(或行走)。在视点重叠的状态下，通过观看者的HMD输出根据该观看者的运动变化信息而确定的视点(视点)中所标记的摄像者的反应信息。图18的播放阶段行1846描述了观看者的POV 1830、1834、1838、1842的时间序列对准。
[0183] 对于图18的示例，所述记录阶段行1844示出了记录帧1-4(1802、1804、1806、1808)的时间序列，其示出了所记录的注视1820、1822、1824、1826的变化。播放阶段行1846示出了播放帧1-4(1810、1812、1814、1816)的时间序列，其示出了效果区域1828、1832、1836、1840和观看者的POV 1830、1834、1838、1842。对于图18所示的示例，每个播放帧1-4(1810、1812、1814、1816)的效果区域1828、1832、1835、1840与记录帧1-4(1802、1804、1806、1808)的记录的注视1820、1822、1824、1826匹配。
[0184] 表1描绘了根据至少一个实施例的将加速度计数据和生物测定数据映射到潜在情绪状态的示例性表。这里描述的系统和过程包括如果观看者的视点匹配摄像者的视点，则提供所述摄像者的情绪状态。表1示出了将传感器数据(例如，ECG和EEG数据)与摄像者的情绪状态进行匹配的示例查找表。情况 加速度计 ECG EEG 情绪状态
1 动态移动 111bpm β波 快乐、有趣、满意、满足
2 轻微移动 86bpm α波 镇静、稳定、冷漠、冷淡
3 适度移动 133bpm β波 刺激、恐惧、愤怒、惊吓
表1.与情绪状态匹配的传感器数据
1 动态移动 111bpm β波 快乐、有趣、满意、满足
2 轻微移动 86bpm α波 镇静、稳定、冷漠、冷淡
3 适度移动 133bpm β波 刺激、恐惧、愤怒、惊吓
表1.与情绪状态匹配的传感器数据
[0185] 在记录时在视点中标记的生物测定感测数据和加速度感测数据可以由VR内容创建器的情绪估计单元确定。对于一些实施例，VR内容创建器可基于情绪表将感测信息分类到至少一个情绪状态。所述情绪表可以存储在所述VR内容服务器中。对于一些实施例，可以基于视点中眼睛跟踪的对象的属性信息来选择单个情绪状态。通过使用眼睛辨识的对象信息，两个或更多个情绪状态可以被缩小到一个情绪状态。也就是说，如果生物测定和运动传感器数据被映射到多于一个情绪状态，则摄像者在记录时观看的虚拟对象的属性信息可以被用于确定单个情绪状态。
[0186] 所确定的情绪可以在视点中被标记，并且所标记的情绪信息可以作为随观看者的头部运动而变的效果(诸如，3D效果)来提供。对于一些实施例，可以连续跟踪观看者的头部方向与摄像者的时序注视之间的相对视点差异。如果观看者的视点与摄像者的视点匹配，则可以将在所述视点中标记的摄像者的情绪提供给所述观看者。对于一些实施例，可以确定与观看者的视点(POV)相关联的罗盘角度和与摄像者(或者对于一些实施例，是相机操作者)的POV相关联的罗盘角度之间的差异。可以基于观看者和摄像者的罗盘角度(或对于一些实施例的POV)之间的差异而向观看者呈现效果(例如视觉效果)。
[0187] 例如，对于表1的情况1，加速度传感器(或加速度计)数据被分类为动态运动，ECG传感器数据被测量为111bpm，并且EEG传感器数据被测量并被存储为β波。对于情况1，情绪状态被分类为快乐、有趣、满意和满足。这些情绪可以基于由摄像者辨识的上下文方面的重要对象的属性信息而被缩合到一个情绪状态。即使测量到类似的传感器数据，由于摄像者观看的对象的属性，所选择的情绪状态也可能是不同的。情况2和3可以被类似地缩合。
[0188] 图19是示出了根据一些实施方式的用于识别摄像者的潜在情绪状态的示例的状态图。如图19所示，当传感器数据结果被绘制在线性独立轴(例如，图19中示出了三个轴)上时，各种范围的多维生物测定和加速数据可以与某些情绪状态相关联。三个传感器数据流(例如，加速度计1908、EEG 1910和ECG 1912)中的每一个可以被绘制在单独的轴上以形成状态图(例如，VR情绪立方体)(或者，在更多传感器流的情况下为高阶情绪状态图)。可以使用传感器数据的组合来区分所述摄像者的情绪状态。表1的示例情况1、2和3在图19上被绘制为情况1、2和3(1902、1904、1906)。所述VR内容创建器可以使用类似于表1的情绪表和类似于图19的情绪状态图来标记所述摄像者的情绪状态。在视点中标记的情绪状态信息可以在将来提供给观看者。
[0189] 图20是示出了根据一些实施例的用于向多视图(360度)内容观看者指示摄像者(例如，相机操作者)的情绪状态的示例过程的消息序列图。图20的消息序列图2000示出了HMD设备2002(其包括例如显示单元2006、处理器2008、传感器单元2010、捕获单元2012、眼睛跟踪器2014和情绪提供单元2016)以及VR内容服务器2004，其包括用于一些实施例的VR内容创建器2018和存储器2020。
[0190] 所述处理器2008可将消息发送2022至所述VR内容创建器2010以请求所渲染的VR内容。所述处理器2008可从所述VR内容创建器2010接收2024所渲染的VR内容。所述处理器2008可将消息(其可包含VR内容)发送2026到显示单元2026以显示所渲染的VR内容，且所渲染的VR内容可被显示2028。所述处理器2020可以向眼睛跟踪器2014发送2030消息，以测量(或者对于一些实施例检测)VR内容观看者的眼睛跟踪数据。可以基于该眼睛跟踪数据来确定2032(或者对于一些实施例来说，检测)观看者的视点。该观看者的视点数据可以被传送
2034到所述VR内容创建器2018。该观看者的视点可以由VR内容创建器2010(或者由连接到VR内容创建器2018(或者其一部分)的视点比较单元)与摄像者的视点进行比较2036。如果确定2038观看者的视点与摄像者的视点相同，则可以将观看者的个人数据从存储装置2020传输2040到VR内容创建器2018。可以基于该观看者的个人数据而将在视点处所标记的摄像者的情绪数据变换2042成情绪输出信息。经变换的情绪输出数据可被传送2044到HMD的处理器2008。该处理器2008可向情绪提供单元2016发送2046消息，以便向观看者提供变换后的情绪输出数据。如果观看者的视点与摄像者的视点匹配，则可以提供2048所述情绪输出数据。对于一些实施例，所述情绪提供单元2016可以基于经变换的情绪输出数据而向显示单元2006发送消息或内容，以作为向观看者提供情绪输出数据的一种方式。对于一些实施例，可重复2050此过程的步骤以提供实时功能性。
2034到所述VR内容创建器2018。该观看者的视点可以由VR内容创建器2010(或者由连接到VR内容创建器2018(或者其一部分)的视点比较单元)与摄像者的视点进行比较2036。如果确定2038观看者的视点与摄像者的视点相同，则可以将观看者的个人数据从存储装置2020传输2040到VR内容创建器2018。可以基于该观看者的个人数据而将在视点处所标记的摄像者的情绪数据变换2042成情绪输出信息。经变换的情绪输出数据可被传送2044到HMD的处理器2008。该处理器2008可向情绪提供单元2016发送2046消息，以便向观看者提供变换后的情绪输出数据。如果观看者的视点与摄像者的视点匹配，则可以提供2048所述情绪输出数据。对于一些实施例，所述情绪提供单元2016可以基于经变换的情绪输出数据而向显示单元2006发送消息或内容，以作为向观看者提供情绪输出数据的一种方式。对于一些实施例，可重复2050此过程的步骤以提供实时功能性。
[0191] 图21是示出了根据一些实施例的用于基于观看者的视点(POV)而显示视觉效果的示例的示意性平面图。图21示出了用于一组效果的示例场景2100，该组效果可以用于强调上下文方面的重要对象，或者用于如果观看者的POV与摄像者的POV匹配，则传递摄像者的情绪。所述观看者可以辨识出摄像者在记录时认为重要的对象，并且还可以感觉到情绪状态。
[0192] 对于图21中所示的示例，对于一些实施例，可能正佩戴HMD并利用HMD观看视频内容的用户可以基于他或她的注视方向体验各种效果。所渲染的多视图(例如，360度)视频可以在回放期间根据上下文方面的重要对象的特性来提供各种效果。示例场景2100包括具有优选内容2106的摄像者的视点2118、在缩小效果区域2116内的男人2104、在放大效果区域2114内的女人2102、在快动效果区域2122中的优选内容2110、以及在声音效果区域2120中的危险情况2108。
[0193] 对于一些实施例，如果观看者的POV与摄像者的POV 2118重叠和/或对准，则可以向观看者呈现第一组优选内容2106。如果观看者的POV与缩小区域2116重叠和/或对准，则男人2104可被显示为具有缩小效果。如果观看者的POV与放大区域2114重叠和/或对准，则可以利用放大效果来显示女人2102。如果观看者的POV与快动区域2122重叠和/或对准，则可以以快动效果呈现第二组优选内容2110。如果观看者的POV与警告危险情况2108的声音效果区域2120重叠和/或对准，则可以发出声音。
[0194] 佩戴所述HMD的观看者可以通过移动他或她的头部来自由地改变视点，并且如果视点(或视点)内存在上下文方面的重要对象，则可以传达各种效果。例如，如果摄像者(例如，相机操作者)在观看眼睛跟踪的对象时跌倒，则通过运动传感器(例如，加速度传感器或地磁传感器)输入的传感器值可以与眼睛跟踪的对象一起被标记。所述观看者的HMD可以输出各种3D效果，使得观看者可以体验二手感觉，例如，摄像者的五种感觉中的至少一些感觉。观看者的运动可包括可能改变3D虚拟环境中观看者的视点的所有运动，诸如在佩戴HMD期间检测到的物理距离移动、头部移动、以及注视移动。
[0195] 对于一些实施例，如果观看者的视点与摄像者的视点重叠，则所述生物测定信息可以被转换成触觉信息并且通过HMD触觉源提供，并且所述加速度信息可以例如通过将该加速度信息转换成视觉信息或听觉信息而被提供给观看者。将可基于摄像者的重要对象的视点检测到的摄像者的情绪状态传送给观看者，使得观看者能够通过视觉、触觉和听觉输出信息而具有更身临其境的虚拟现实体验。对于一些实施例，输出模态的强度可以被调整到适当的水平，以便不干扰观看者的情绪状态。
[0196] 图22是示出根据一些实施例的指示效果的示例屏幕截图的图示。对于一些实施例，可以提供VR指示符2202，以避免在某个视点处的突然情绪变化。基于即将到来的标记的摄像者情绪，所述VR内容服务器可预测观看者在回放间隔中可能产生哪种情绪。因此，所述HMD可以提供VR指示符2202，以基于观看者的个人信息(例如，简档数据或生物数据)给出警告，从而避免突然的情绪感觉或体验。通过使用基于用户数据和移动的速度、方向或与视点对准的距离的关于观看者头部的运动预测和/或激活阈值，可以在观看者的POV与所标记的POV匹配之前提供VR指示符。图22中的提示2200可以覆盖在HMD显示器上以使观看者预先感到潜在的突然情绪变化。
[0197] 图23是示出了根据一些实施例的示例第一情绪效果(摩擦)的过程图。图23示出了视点运动摩擦效果的场景2300，其基于上下文方面的重要帧来调整物理头部旋转与虚拟视点旋转之比。对于一些实施例，可以将从摄像者的眼睛辨识信息中被分类为重要的上下文方面的重要帧的控制和显示(C/D)增益设置为低比率，并且可以将一被收缩的上下文方面不重要帧的C/D增益设置为高比率。对于某些实施例，通过平衡大C/D增益和小C/D增益的使用，总的可越过(traversable)内容可被映射到360度的物理头部旋转。
[0198] 图23示出了观看者的一系列POV 2302、相对于观看者POV示出的眼睛跟踪对象2304、以及从观看者的视角看到的HMD屏幕2306。例如，在视点1(2308)，观看者的视点与摄像者的视点相同，并且C/D增益可以被设置为1∶1(未修改)。如果观看者的POV经由观看者的头部运动而被改变到视点2(2310)，则所述对象仍然在观看者的视野范围内，尽管从观看者的视角来看靠近HMD屏幕的右侧。所述C/D增益可以被设置为1∶0.9，以引导观看者观看重要的对象。视点2(2310)的C/D增益可以与物理环境中的旋转速率相比，降低(或“减慢”)虚拟环境中的旋转速率。在视点2(2310)中，所述摩擦效果使得重要对象(例如，对象2304)的位置比对象在其他情况下更接近中心注视线。如果观看者的POV(或头部运动)被改变到视点3(2312)，则对象2304现在在观看者的POV之外。然而，所述C/D增益可以被设置为1∶1.1以补偿视点2(2310)中的低C/D增益，并且所述对象2304现在被渲染在HMD屏幕内，尽管超出观看者的POV。通过使用这些C/D增益，可使得物理环境中的360度头部旋转能够对应于虚拟环境中的360度(或整个可越过范围)视点旋转。
[0199] 图24是示出了根据一些实施例的示例第二情绪效果(振动)的过程图。图24示出了用于指示生物测定传感器数据的振动效果的场景2400。图24示出了一系列观看者的POV2402、眼睛跟踪对象2404和HMD屏幕2406。触觉反馈脉冲可以用于通过与摄像者的测量的脉搏率同步地脉动来指示所述脉搏率。振动强度基于视点1-3(2408、2410、2412)的视点的对准而增加和减小。
[0200] 生物测定传感器可以用于测量摄像者(例如，相机操作者)在记录时的生物测定信息。对于一些实施例，观看者佩戴的HMD可以通过电机输出所述生物测定读数的视觉指示，以允许观看者物理地体验对眼睛跟踪对象的生物反应。例如，如果摄像者在观看一对象时感觉到刺激(这可以由生物测定传感器测量)，并且如果观看者的头部指向包含所述对象的视点，则可以通过触觉电机发送对生物测定传感器信号的模拟。如果观看者的视点与摄像者的视点相同，则可以将振动效果设置为最大强度。随着观看者的视点离摄像者的视点越远，振动效果的强度水平可以逐渐降低。
[0201] 如应用于图24的示例，当对象(一个或多个)2404进一步位于观看者的POV的右侧或左侧时，振动水平降低，这与当所述对象(一个或多个)例如位于观看者的POV的中心(或更靠近观看者的POV的中心)时振动水平增加是相反的。
[0202] 图25是示出了根据一些实施例的示例第三情绪效果(缩放)的过程图。图25示出了缩放效果的场景2500。图25示出了一系列观看者的POV 2502、眼睛跟踪对象2504和HMD屏幕2506。当观看者转旋他或她的头部而将POV从视点1改变到2(2508，2510)时，眼睛跟踪对象进入视野。如果观看者的视点与摄像者的视点(视点3(2512))相同，则显示器可以放大重要对象(或眼睛跟踪对象)。这种效果可以允许观看者从感兴趣对象中提取更多细节。在一些实施例中，所述缩放效果可以由观看者经由用户界面手动控制。对于一些实施例，如果观看者正在观看放大的上下文方面的重要对象，则HMD可以呈现其他视觉/听觉/触觉情绪效果(诸如输出在记录时测量的摄像者的生物测定信息)。
[0203] 图26是示出了根据一些实施例的示例第四情绪效果(快动)的过程图。图26示出了用于将上下文方面的重要对象保持在显示器中间的快动效果的场景2600。图26示出了一系列观看者的POV 2602、眼睛跟踪对象2604和HMD屏幕2606。在视点1(2608)中，感兴趣对象出现在屏幕的左侧。在视点2(2610)中，观看者的视点与摄像者的视点相同。在视点3(2612)中，观看者的视点与摄像者的视点具有重叠区域，并且眼睛跟踪的对象被显示在屏幕的中心。在视点4(2614)中，观看者的注视方向远离眼睛跟踪对象，并且感兴趣对象迅速返回到显示器的中心。这种快动效果可以使上下文方面的重要对象显示更长的时间，并且使观看者能够更快地与摄像者的视角对准。可以使用许多变型。在一些实施例中，即使当观看者的POV改变时，感兴趣对象也保持显示器中的中心位置。在一些实施例中，感兴趣对象最初随着或响应于观看者的POV的变化而移动，然后“快动”回到例如显示器中的中心位置。在一些实施例中，感兴趣的对象最初移出与观看者的POV改变一致的视图，但是然后“快动”回到例如显示器中的中心或向右位置。
[0204] 图27是示出了根据一些实施例的示例第五情绪效果(亮度)的过程图。图27示出了用于渐变亮度效果的场景2700，当视点密切对准时，该渐变亮度效果强烈地使重要对象变亮，而当视点部分对准时，该渐变亮度效果柔和地使所述重要对象变亮。图27示出了一系列观看者的POV 2702、眼睛跟踪对象2704和HMD屏幕2706。在作为视点2(2710)的周边视点的视点1(2708)和视点3(2712)中，亮度的强度可以被设置为中间级别值。对于视点2(2710)，亮度的强度可以被设置为高值。对于视点4(2714)，亮度可被设置为低值，因为眼睛跟踪的对象不再可见。通过控制所述对象的亮度强度，观看者可以改变他或她的POV以匹配摄像者的POV。对于一些实施例，所应用的增亮效果强度可以是观看者的视点与摄像者的视点之间的重叠区域的大小的函数。
[0205] 图28是示出了根据一些实施例的示例第六情绪效果(音频)的过程图。图28示出了经由例如观看者的HMD的耳机或扬声器输出的声音效果的场景2800。图28示出了一系列观看者的POV 2802和HMD屏幕2804。在多视图(例如，360度)视频记录期间，可以使用麦克风和标记方法来测量和标记环境和定向声音信息。如果观看所述多视图(例如，360度)视频，则当观看者看向眼睛跟踪的对象时，可以激活所记录的声音的回放。对于一些实施例，所记录的声音可以在完全视点重叠之前被播放，以诱导观看者关注于眼睛跟踪的对象。对于一些实施例，随着观看者的视点与摄像者的视点对准，HMD可以增大相关声音的音量。对于图28的示例，当观看者的POV从视点1(2806)改变到视点2(2808)再到视点3(2810)时，声音的音量可以增加。对于视点4(2812)，观看者的POV远离摄像者的POV，并且可以减小声音的音量。一些实施例可以将在记录时捕获的生物测定信息(例如，脉搏率数据流)转换成声音信息。
脉搏率可以通过HMD扬声器而被播放为同步节奏的嘟嘟声。所记录的摄像者的心理状态可以与观看者所体验的身体感觉实时同步。
脉搏率可以通过HMD扬声器而被播放为同步节奏的嘟嘟声。所记录的摄像者的心理状态可以与观看者所体验的身体感觉实时同步。
[0206] 图29是示出了根据一些实施例的用于基于眼睛辨识而将多视图(例如，360度)视频内容分割成2D图像的示例的过程图。对于一些实施例，图像和/或视频数据的2D帧2906、2908、2910可被分割并从多视图(例如，360度)内容2902中提取。例如，各种2D数据可以被发布到社交媒体服务或云存储。在图29中，多视图(例如，360度)内容2902的部分A、B和C可被提取并分别被转换成2D内容2904，诸如图像A(2906)、B(2908)和C(2910)。对于一些实施例，处理器可以基于当摄像者(例如，相机操作者)记录所述多视图(例如，360度)内容时捕获的眼睛跟踪和其他信息来标记所述2D内容2904。
[0207] 图30是示出了根据一些实施例的用于基于检测到的眼睛跟踪对象从多视图(例如，360度)视频内容中选择2D图像以用于社交媒体上传的示例的过程图。对于过程3000的一些实施例，对象浏览菜单3006可以向用户呈现在多视图(例如，360度)内容3002中的所识别和标记的对象3008的列表。可以选择所标记的对象以导出2D内容类型，例如2D图像3004。用户可以在社交媒体上张贴叠加在所述多视图(例如，360度)内容的2D视图上的2D静态或动态缩略图图像。可以经由对象浏览功能来标记兴趣点和其他重要对象。可以为所标记的对象生成缩略图，并且可以通过使用经由所述缩略图访问的GUI 3012(诸如菜单)来设置各种缩略图属性。
[0208] 对于一些实施例，所述处理器可对球形图像A执行眼睛辨识算法以识别所述多视图(例如，360度)内容中所显示的一个或一个以上对象的空间位置。所述缩略图的视点可以基于所标记的眼睛辨识而改变，以模仿那些个体的视点。所述用户还可以调整所述缩略图中的视点路径3010的属性，诸如移动轨迹、移动速度、所标记对象的深度或其他运动效果。对应于所述视点路径的调整后的属性，可自适应地提供缩略图的输出。所述缩略图可被设计以增强用户的沉浸式体验。
[0209] 图31是示出了根据一些实施例的用于确定视点路径的示例的过程图。对于一些实施例，多视图(例如，360度)内容3102可以是重要性因子确定单元3104(或过程)的输入。该单元3104可以使用例如根据一些实施例的本文所公开的方法来识别重要和不重要的对象和帧。路径确定单元3106可以基于重要和不重要的对象的位置来选择起始视点(和/或速度、加速度、或放大/缩小比例)。该信息可以被发送到显示单元3108，其可以相应地向用户呈现数据。
[0210] 图32是示出了根据一些实施例的具有被识别为重要的两个对象的示例多视图(例如，360度)场景的图示。对于图32的示例环境3200，所识别的重要对象3202、3204是两个空手道参赛者的面部。基于摄像者的注视和生理反应，每个参赛者的脸部可以在视频记录会话期间被标记为参赛者的脸部，每个参赛者的脸部被认为是重要的。
[0211] 图33是示出了图32的示例多视图(例如，360度)场景并且根据一些实施例指示了两个识别的对象3302、3304的视点路径的图示。在图33中，路径查找器过程可以基于摄像者的眼睛跟踪信息(其可以指示眼睛跟踪路径3310、3312)来设置视点路径3306、3308。所述眼睛跟踪路径3310、3312示出了在记录期间摄像者的眼睛的焦点的路径。所述视点路径3306、3308指示用于记录所述多视图(或360度)视频的相机的路径。
[0212] 图34是示出了根据一些实施例的从第一视点路径的起始点观看的图32的示例多视图(例如，360度)场景的图示。所述显示单元可从第一视点3402的所确定的起始点(由圆圈指示)开始播放所述多视图(例如，360度)内容3400，并且可根据由路径确定单元生成的第一路径3404、3406来改变视角。
[0213] 图35是示出了根据一些实施例的从第二视点路径的起始点观看的图32的示例多视图(例如，360度)场景的图示。所述显示单元可从第二路径3502的确定的起始点(由圆圈指示)播放所述多视图(例如，360度)内容3500，并根据由路径确定单元产生的第二路径改变视角。
[0214] 图36是示出了根据一些实施例的在回放开始时将观看者的视点(POV)与感兴趣对象对准以及在回放期间与其他POV对准的示例的过程图。在图36中，多视图(例如，360度)视频3602包括分别描绘男人和女人的重要部分1和2。对于图36的示例，每个部分可以是在时间T1、T2和T3从视点记录的一系列帧3610、3612、3614、3616、3618、3620。
[0215] 当所记录的多视图(例如，360度)内容呈现过程3600在T1开始时，观看者的视点可被初始化至帧(或部分)2(3604)，其是描绘所标记的感兴趣对象的区域。因为存在多个感兴趣的对象，所以观看者的视点可以在观看女人(视点B)和观看男人(视点A)之间切换，并且回到观看所述女人。视点切换会导致具有重要对象存在的视角的时间序列。对于示例呈现过程3600的一些实施例，如果记录的时间大于阈值时间，则摄像者的有效眼睛跟踪位置在时间T1是帧2(3604)，在时间T2是帧1(3606)，在时间T3是帧2(3608)。
[0216] 图37A和37B是示出了根据某些实施例的第一示例快动效果区域的图示。VR内容球体3700可以包括快动区域3702、3752和非快动(或规则)区域。可基于视觉数据内的重要对象的位置来确定所述快动区域3702、3752(在此实例中，环状形状)。对于一些实施例，视点路径可沿着快动区域(或在快动区域内)移动。在一些实施例中，如图37B所示，快动区域3752的视觉引导可被覆盖在VR内容3750上。对于一些实施例，如果用户试图将视图改变为所述快动区域(虚线)3752之外的区域，则显示器可快动回到图37B所示的视图。
[0217] 图38A和38B是示出了根据某些实施例的第二示例快动效果区域的图示。VR内容球体3800可以包括允许所述快动效果的允许区域3802和非快动(或规则)区域。可以基于视觉数据内的重要对象的位置来确定所述允许区域3802(在该示例中，投影到球体上的矩形)。对于一些实施例，可以基于诸如观看时间、观看者的简档(例如，性别、年龄)、观看者的意图或按次计费状态之类的因素来确定所述允许区域3802、3852的属性(例如，大小、形状、深度或分辨率)。在一些实施例中，如图38B所示，所述允许区域3852的视觉引导可以被覆盖在VR内容3850上。对于一些实施例，如果用户试图将视图改变为所述允许区域3852之外的区域，则显示器可以改变回图38B所示的视图。
[0218] 图39是示出根据一些实施例的磁效应区域的示例的示意性透视图。磁效应可以包括放大第一区域3902和缩小第二区域3904。在图39中，区域A是放大区域3902，区域B是缩小区域3904。可以基于重要对象的位置来确定放大区域和缩小区域。对于一些实施例，在阈值(或预定)时间段已经期满之后，应用于所述多视图(例如，360度)内容的效果可以返回到它们的原始水平(或者例如非磁性效果)。为了强调所述多视图(例如，360度)内容的特定部分，对于一些实施例，可以调整所述磁效应的属性(例如，诸如缩放强度、缩放面积、放大比或缩小比之类的属性)。
[0219] 图40A和40B是示出了根据一些实施例的示例性弹跳效果的图示。处理器可以在允许区域4002、4052和非允许区域之间的边界线4004、4054处提供回弹/反弹效果(例如听觉、触觉或视觉效果)。首先，观看者可能不能观看非允许区域内的内容。该非允许区域可以通过进行支付(或付费入场)或通过用户识别和访问验证(例如，密码或生物测定信息)来解锁。在该非允许区域被解锁之后，可以禁用边界线4004、4054处的弹跳效果。
[0220] 例如，用户A可能由于他/她的年龄而仅在所述允许区域中观看内容(或移动)。在所述允许区域中，用户A在试图越过该区域的边缘观看时，会经历快动或弹跳效果。如果父母输入用户标识信息，则用户A可以移动到所述不允许区域中。在图40A和40B中，未授权的观看者可能不能从一群人中转移目光。快动或回弹效果可防止观看者看到超过区域边界4004、4054。
[0221] 图41是示出了根据一些实施例的用于处理受限视点的示例的过程图。图41示出了一过程4100，其从原始(或受限的)起始视点4102和改变后的起始视点4104改变起始视点4106。一些实施例可以使用限制效果，该限制效果防止观看者在没有特殊访问的情况下看到定义的区域。限制可以基于年龄(例如，对成人内容的限制)、父母控制、受管理的隐私设置、观看空间的环境属性(例如，房间大小、公共区域、人口密度)，并且还可以列出更多因素。如果默认起始视点受到限制并且观看者缺少访问权，则该起始视点可以被改变为不同的起始视点。该不同的起始视点可以仅包括观看者的可允许区域。
[0222] 图42是示出根据一些实施例的用于调整观看者的起始视点的示例的过程图。图42示出了比较原始起始视点和改变后的起始视点的示例过程4200。可以基于摄像者的偏好、观看者的意图(例如，学习、购物、放松、娱乐、游戏)、观看者的简档信息(例如，性别、年龄)以及关于观看者在社交媒体上的行为/活动的信息来确定在所述多视图(例如，360度)内容中显示的对象(例如，汽车)是重要的。
[0223] 所述第一起始视点4202可以被改变4206为第二视点4204，以强调所述重要对象。为了进一步强调一对象，可以相应地调整所述重要对象的输出模态。如果存在多个冲突因素，则可以基于观看者的个人信息来调整所述起始视点和一个视点路径中的至少一者。此外，在回放期间，可以基于测量的反应信息(例如，大脑信号、面部表情、眼睛方向和脉搏)来改变视点处的视点路径和输出模态中的至少一者。例如，如果观看者付费访问特定的受限区域或特定的视觉对象，则可以将多视图(例如，360度)内容中的可越过区域放大预定量。
对于一些实施例，视觉对象可被强调(诸如通过增加该对象的大小或向该对象添加突出显示)，以诸如用于广告。
对于一些实施例，视觉对象可被强调(诸如通过增加该对象的大小或向该对象添加突出显示)，以诸如用于广告。
[0224] 图43是示出根据一些实施例的用于跟踪相机操作者的视点并识别多视图视频中的感兴趣对象的示例过程的流程图。对于一些实施例，方法4300可以包括利用相机捕获4302多视图视频。方法4300可进一步包含跟踪4304控制相机的相机操作者的视点。方法
4300可以进一步包括测量4306所述相机操作者的生理数据。方法4300还可以包括基于所述视点和所述生理数据来识别4308所述多视图视频中的感兴趣对象。所述方法4300可进一步包含存储4310所述多视图视频和指示所识别的所述感兴趣对象的信息。
4300可以进一步包括测量4306所述相机操作者的生理数据。方法4300还可以包括基于所述视点和所述生理数据来识别4308所述多视图视频中的感兴趣对象。所述方法4300可进一步包含存储4310所述多视图视频和指示所识别的所述感兴趣对象的信息。
[0225] 图44是示出了根据一些实施例的用于基于所述相机操作者和所述观看者的视点而实现显示效果的示例过程的流程图。对于一些实施例，方法4400可以包括显示4402用户佩戴的头戴式设备(HMD)的可视显示器的多视图视频的一部分，其中所述HMD的所述可视显示器定义了所述用户相对于所述多视图视频的视点。所述方法4400还可以包括接收4404关于除所述用户之外的相机操作者的视点和所述多视图视频中的感兴趣对象的信息，所述相机操作者的所述视点是相对于所述多视图视频的，并且所述感兴趣对象被识别为在所述相机操作者的所述视点内并且被指示为被所述相机操作者感兴趣。所述方法4400还可包括响应于确定4406由所述HMD的所述可视显示器定义的所述用户的所述视点与所述相机操作者的所述视点重叠，在向所述用户显示的所述多视图视频的所述部分中并且在所述用户的所述视点内渲染所述感兴趣对象。所述方法4400还可以包括确定4408由所述HMD的所述可视显示器定义的所述用户的所述视点不再与所述相机操作者的所述视点重叠。所述方法4400还可以包括响应性地实现4410显示效果，以继续在所述用户的所述视点内渲染所述感兴趣对象，即使在由所述HMD的所述可视显示器所定义的所述用户的所述视点不再与所述相机操作者的所述视点重叠时。
[0226] 图45是示出根据一些实施例的用于显示与感兴趣对象相关联的视觉效果的示例过程的流程图。对于一些实施例，方法4500可以包括接收4502关于多视图视频中的感兴趣对象的信息，该信息基于相机操作者的视点和相机操作者的生理数据。对于一些实施例，可以在相机操作者控制所述多视图视频的记录时，记录所述相机操作者的所述生理数据和所述视点。方法4500可以包括向除了所述相机操作者之外的用户(诸如，终端用户/观看者)显示4504所述多视图视频。所述方法4500可以包括显示4506与所述感兴趣对象相关联的视觉效果作为所述多视图视频的一部分。
[0227] 虽然在虚拟现实(VR)的上下文中讨论了根据一些实施例的方法和系统，但是一些实施例也可以应用于混合现实(MR)/增强现实(AR)上下文。尽管根据一些实施例在本文中使用术语“头戴式显示器(HMD)”，但是对于一些实施例，一些实施例可以应用于具备例如VR、AR和/或MR能力的可穿戴设备(其可以附接到头部或者可以不附接到头部)。虽然根据一些实施例在此使用术语“摄像者”，但是在一些实施例中，摄像者可以包括例如相机操作者、导演、或者一个或多个相机的远程操作者。对于一些实施例，摄像者可以佩戴一个或多个相机。对于一些实施例，摄像者可以位于远离所述一个或多个视频相机的位置。尽管根据一些实施例，在此使用了对象的“感兴趣级别”，但是对象的“重要性级别”也可以用于一些实施例。尽管根据一些实施例在此使用术语“感兴趣对象”，但是术语“重要对象”、“重要内容”和“重要虚拟对象”也可以用于一些实施例。
[0228] 所述仿真设备可以被设计为在实验室环境和/或运营商网络环境中实现对其他设备的一个或多个测试。例如，所述一个或多个仿真设备可以执行所述一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试所述通信网络内的其他设备。所述一个或多个仿真设备可以执行所述一个或多个或所有功能，同时被临时实现/部署为有线和/或无线通信网络的一部分。所述仿真设备可出于测试目的而直接耦合到另一设备，和/或可使用空中无线通信执行测试。
[0229] 所述一个或多个仿真设备可以执行所述一个或多个功能(包括所有功能)，而不是作为有线和/或无线通信网络的一部分来实现/部署。例如，所述仿真设备可以在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现对一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用经由RF电路(例如，其可以包括一个或多个天线)的直接RF耦合和/或无线通信来发送和/或接收数据。
[0230] 方法的一些实施例可以包括：利用相机捕获多视图视频；跟踪控制所述相机的相机操作者的视点；测量所述相机操作者的生理数据；基于所述视点和所述生理数据，识别所述多视图视频中的感兴趣对象；以及存储所述多视图视频和指示所识别的感兴趣对象的信息。
[0231] 对于一些实施例，一种方法可进一步包括：显示所述多视图视频；以及基于所述相机操作者的视点和所述相机操作者的生理数据中的至少一者，显示视觉效果。
[0232] 对于一些实施例，一种方法可进一步包括：渲染所述多视图视频以强调所述感兴趣对象；以及显示所渲染的多视图视频。
[0233] 对于一些实施例，渲染多视图视频以强调所述感兴趣对象可以包括：识别所述多视图视频的具有所述感兴趣对象的第一部分；识别所述多视图视频的不具有所述感兴趣对象的第二部分；减小所述多视图视频的所述第二部分的数据大小；以及渲染所述多视图视频的所述第一部分和所述多视图视频的所述数据大小减小的第二部分。
[0234] 对于一些实施例，一种方法可进一步包括：基于所述生理数据，将所述感兴趣对象与情绪状态进行匹配；以及基于所匹配的情绪状态，显示针对所述感兴趣对象的视觉效果。
[0235] 对于一些实施例，一种方法可进一步包括：确定所述多视图视频的包含所述感兴趣对象的一部分；选择所述生理数据的与所述多视图视频的包含所述感兴趣对象的所述部分相关联的部分；以及基于所述生理数据的所选部分，显示视觉效果。
[0236] 对于一些实施例，一种方法可以进一步包括基于所述多视图视频的观看者的视点与所述相机操作者的视点的比较，显示所述感兴趣对象的视觉效果。
[0237] 对于一些实施例，一种方法可进一步包括：将所述相机操作者的视点(POV)与所述多视图视频的观看者的POV进行比较；以及确定所述相机操作者的所述POV与所述观看者的所述POV之间的重叠量。
[0238] 对于一些实施例，生理数据可以包括关于以下至少一者的测量：所述相机操作者的瞳孔大小、所述相机操作者的脉搏率和所述相机操作者的运动。
[0239] 对于一些实施例，一种方法可进一步包括：显示所述多视图视频；将视点(POV)重叠确定为所述相机操作者的POV与所述多视图视频的观看者的POV之间的区域重叠量；设置与所述POV重叠成比例的视觉效果强度；以及显示具有与所述视觉效果强度相等的强度的视觉效果。
[0240] 对于一些实施例，一种方法可以进一步包括基于所述相机操作者的总体情绪状态和利用所述感兴趣对象识别的特性，设置所述视觉效果。
[0241] 对于一些实施例，一种方法还可以包括响应于检测到所述观看者的所述POV中的所述感兴趣对象，增加所述视觉效果强度。
[0242] 对于一些实施例，一种方法可进一步包括：显示所述多视图视频以与所述多视图视频的观看者的头部移动同步；以及响应于检测到所述观看者的所述POV与所述相机操作者的所述POV的对准，显示针对与所述感兴趣对象相关联的情绪状态的视觉效果。
[0243] 对于一些实施例，一种方法可进一步包括：显示所述多视图视频以与所述多视图视频的观看者的头部移动同步；以及响应于检测到所述观看者的视点(POV)与所述相机操作者的所述POV之间的接近度，显示指示所述观看者的所述POV与所述相机操作者的所述POV之间的所述接近度的视觉效果。
[0244] 对于一些实施例，基于所述视点和所述生理数据识别所述多视图视频中的所述感兴趣对象可以包括：识别所述多视图视频中的多个对象；针对所述多个对象中的每个对象，确定与所述相机操作者的所述视点指向所述相应对象的时间长度相等的持续时间；针对所述多个对象中的每个对象，确定与所述相机操作者的所述视点指向所述相应对象的次数的频率相等的对象频率；针对所述多个对象中的每个对象，将所述生理数据的一部分与所述相应对象相关联；以及针对所述多个对象中的每个对象，基于针对所述相应对象的所述持续时间、所述对象频率和所述生理数据的所述部分来确定感兴趣水平。
[0245] 对于一些实施例，跟踪所述相机操作者的所述视点可以跟踪所述相机操作者的眼睛位置。
[0246] 对于一些实施例，跟踪所述相机操作者的所述视点可以包括：捕获所述相机操作者的至少一只眼睛的图像；以及使用所述相机操作者的至少一只眼睛的所述图像，确定所述相机操作者的眼睛方向。
[0247] 对于一些实施例，一种方法可进一步包括：基于所述相机操作者的所述视点和所述相机操作者的所述生理数据中的至少一者，呈现一效果，其中所述效果可以包括声音效果和触觉效果中的至少一者。
[0248] 对于一些实施例，所述多视图视频可以包括360度视频。
[0249] 装置的一些实施例可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时可操作以执行上述方法。
[0250] 对于一些实施例，一种装置可以进一步包括：注视跟踪传感器；相机；生理传感器；以及显示器。
[0251] 对于一些实施例，一种装置可以进一步包括：视点比较模块；情绪估计模块；情绪标记模块；以及存储器存储设备。
[0252] 方法的一些实施例可以包括：基于相机操作者的视点和生理数据，识别多视图视频中的感兴趣对象；显示所述多视图视频；以及显示与所述感兴趣对象相关联的视觉效果。
[0253] 方法的一些实施例可以包括：利用多视图相机捕获多视图视频；使用安装在所述相机上的眼睛跟踪器来跟踪控制所述相机的相机操作者的观看方向和视点；测量所述相机操作者的生理数据；基于所述观看方向和所述生理数据，识别所述多视图视频中的感兴趣对象，其中所述感兴趣对象在所述相机操作者的所述视点内；在由除所述相机操作者之外的用户佩戴的头戴式设备(HMD)的可视显示器上显示所述多视图视频的一部分，其中所述HMD的所述可视显示器定义了所述用户的视点；当所述用户的所述视点被确定与所述相机操作者的所述视点重叠时，在向所述用户显示的所述多视图视频的所述部分中并且在所述用户的所述视点内渲染所识别的感兴趣对象；以及实现显示效果，以即使当所述用户的所述视点不再与所述相机操作者的所述视点重叠时，也继续在所述用户的所述视点内渲染所识别的感兴趣对象。
[0254] 装置的一些实施例可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时可操作以执行上文列出的方法。
[0255] 对于一些实施例，一种装置可以进一步包括：注视跟踪传感器；相机；生理传感器；以及显示器。
[0256] 方法的一些实施例可以包括：在用户佩戴的头戴式设备(HMD)的可视显示器上显示多视图视频的一部分，其中所述HMD的所述可视显示器定义了所述用户相对于所述多视图视频的视点；接收关于除所述用户之外的相机操作者的视点和所述多视图视频中的感兴趣对象的信息，所述相机操作者的所述视点正相对于多视图视频，并且所述感兴趣对象被识别为在所述相机操作者的视点内并且被指示为被所述相机操作者感兴趣；响应于确定由所述HMD的所述可视显示器限定的所述用户的所述视点与所述相机操作者的所述视点重叠，在向所述用户显示的所述多视图视频的所述部分中并且在所述用户的所述视点内，渲染所述感兴趣对象；确定由所述HMD的所述可视显示器限定的所述用户的所述视点不再与所述相机操作者的所述视点重叠；以及响应地实现显示效果，以继续在所述用户的所述视点内渲染所述感兴趣对象，即使在由所述HMD的所述可视显示器限定的所述用户的所述视点不再与所述相机操作者的所述视点重叠时。
[0257] 对于一些实施例，一种方法可进一步包括：测量所述相机操作者的生理数据；以及跟踪所述相机操作者的眼睛位置，其中基于所述相机操作者的所述生理数据和所述眼睛位置，所述感兴趣对象可以被识别为在所述相机操作者的所述视点内，并且可以被指示为被所述相机操作者感兴趣。
[0258] 装置的一些实施例可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由所述处理器执行时可操作以执行上文列出的方法。
[0259] 对于一些实施例，一种装置可以进一步包括：注视跟踪传感器；相机；生理传感器；以及显示器。
[0260] 方法的一些实施例可以包括：记录上下文增强的360度视频，其中记录上下文增强的360度视频可以包括：使用第一相机捕获描绘360度视场的数据，使用第二相机跟踪摄像者的眼睛运动，以及使用传感器测量所述摄像者的生理指标；基于所跟踪的眼睛移动来识别所记录的360度视频的帧中的感兴趣对象；渲染所记录的360度视频以强调包括所识别的感兴趣对象的帧；以及在所渲染的360度视频的回放期间，将基于所跟踪的眼睛移动和所测量的生理指标的实时视觉效果应用于所渲染的360度视频。
[0261] 对于一些实施例，所述第一相机可以是360度视频相机。
[0262] 对于一些实施例，跟踪眼睛移动可以包括瞳孔跟踪。
[0263] 对于一些实施例，跟踪眼睛移动可以包括虹膜跟踪。
[0264] 对于一些实施例，跟踪眼睛移动可以包括对象模型跟踪。
[0265] 对于一些实施例，跟踪眼睛移动可以包括闪烁跟踪。
[0266] 对于一些实施例，生理指标可以包括心率、皮肤电反应、EEG数据、ECG数据、EMG数据中的至少一个。
[0267] 对于一些实施例，传感器可以嵌入HMD中。
[0268] 对于一些实施例，传感器可以嵌入在可以无线地耦合到HMD的可穿戴设备中。
[0269] 对于一些实施例，识别所记录的360度视频的帧中的感兴趣对象可以进一步基于所测量的生理指标。
[0270] 对于一些实施例，一种方法还可以包括在记录期间用估计的情绪状态来标记感兴趣的对象，使得情绪指标和效果可以在回放期间被提供给观看者。
[0271] 对于一些实施例，渲染所记录的360度视频以强调包括所识别的感兴趣对象的帧包括放大所识别的感兴趣对象。
[0272] 对于一些实施例，渲染所记录的360度视频以强调包括所识别的感兴趣对象的帧可以包括收缩和合并可以被认为不重要的帧。
[0273] 对于一些实施例，用于所渲染的360度视频的视觉效果可以包括缩放效果、快动效果、弹跳效果、限制效果、亮度效果、磁性效果、摩擦效果和视点轨迹效果。
[0274] 对于一些实施例，所施加的视觉效果强度可以与摄像者和观看者的相应视点的重叠面积相称。
[0275] 对于一些实施例，一种方法还可以包括基于所述传感器数据和对象属性分析来提供关于摄像者的情绪状态的指示。
[0276] 对于一些实施例，方法可以由HMD执行。
[0277] 方法的一些实施例可以包括：渲染360度内容以与内容观看者的头部移动同步；响应于检测到所述内容观看者的POV与所记录的摄像者的POV之间的接近度，在所述观看者的当前视场中提供指示效果；以及响应于检测到内容观看者的POV与所记录的摄像者的POV完全对准，提供与被感测为对所述摄像者重要的对象相关联的情绪效果。
[0278] 对于一些实施例，可以提供朝向上下文重要的对象的指示效果，以使当前用户的POV偏向于所述摄像者的所记录的POV。
[0279] 对于一些实施例，指示效果强度可以与当前用户的POV和包含上下文重要对象的摄像者的所记录的POV之间的匹配区域成比例地增加。
[0280] 对于一些实施例，情绪效果可以基于：(i)使用所测量的传感器值的所述摄像者的总体情绪状态，以及(ii)所识别的重要对象的特性。
[0281] 装置的一些实施例可以包括：传感器模块；注视跟踪模块；视频捕获单元；显示器；记录情绪指标模块；以及处理器、通信集线器和数据存储器，所述数据存储器包含可由所述处理器执行以用于执行一组任务的指令，所述一组任务可以包括：利用所述传感器模块、所述注视跟踪模块和所述视频捕获模块来记录新的上下文增强的360度视频；以及利用所述显示器显示所记录的上下文增强的360度视频，并且使用所述记录情绪指标模块来指示情绪数据。
[0282] 对于一些实施例，装置可以被实现为HMD。
[0283] 对于一些实施例，一种装置可进一步包含VR内容创建器及存储装置，其中：所述VR内容创建器可以包括POV比较单元、情绪估计器和情绪标记单元，并且可以被配置为根据360度视频、眼睛跟踪数据和传感器数据，生成上下文增强的360度视频；以及所述存储装置可以包括所述观看者的个人信息、VR对象属性和情绪数据查找表，其可由VR内容创建者用于生成所述上下文增强的360度视频。
[0284] 对于一些实施例，装置可以被实现为服务器。
[0285] 对于一些实施例，360度/全景内容/视频可以由摄像者(例如，相机操作者)为观看者记录和捕获。
[0286] 对于一些实施例，可以跟踪所述相机操作者的眼睛。
[0287] 对于一些实施例，可以测量与所述相机操作者相关的生物测定传感器值(心率/EEG/ECG)和/或运动传感器值。
[0288] 对于一些实施例，可以确定对于所述相机操作者而言上下文重要的对象。
[0289] 对于一些实施例，可以基于眼睛跟踪和/或所测量的传感器值来确定对于所述相机操作者上下文上重要的对象。
[0290] 对于一些实施例，可以针对所确定的上下文重要对象来存储所述相机操作者的POV。
[0291] 对于一些实施例，所述相机操作者的总体情绪状态可以与所确定的POV中的所确定的上下文重要对象相关联。
[0292] 对于一些实施例，所述总体情绪状态可以基于在相机操作者的POV中看到某些对象的某个时间段中测量的传感器值而被确定。
[0293] 对于一些实施例，可以为观看者渲染所述360度内容。
[0294] 对于一些实施例，可以检测内容观看者的POV与所述相机操作者所记录的POV之间的接近度。
[0295] 对于一些实施例，可以响应于检测到所述内容观看者的POV与相机操作者的所记录的POV之间的接近度而在所述视场中重新提供指示效果。
[0296] 对于一些实施例，如果所述内容观看者的POV与所述相机操作者的记录的POV匹配，则可以提供合成效果(诸如，摩擦、振动、缩放、快动、亮度、声音、触觉回放和心率)。
[0297] 对于一些实施例，合成效果(诸如，摩擦、振动、缩放、快动、亮度、声音、触觉回放和心率)可以在当前视场中被提供到所述相机操作者的上下文重要对象上。
[0298] 方法的一些实施例可以包括为内容的观看者创建所述相机操作者的上下文感知360度内容。
[0299] 方法的一些实施例可以包括确定对于所述相机操作者重要的对象。
[0300] 方法的一些实施例可以包括跟踪相机操作者的眼睛，其可以包括：确定眨眼频率和确定注视持续时间。
[0301] 方法的一些实施例可以包括利用来自附接到所述相机操作者的生物测定传感器和运动传感器的值，其可以包括心率和加速度的尖峰或增加。
[0302] 方法的一些实施例可以包括基于在所述相机操作者的POV中看到某些对象的某个时间段中的每个测量的传感器值，计算所述相机操作者的总体情绪状态。
[0303] 方法的一些实施例可以包括将所述相机操作者的总体情绪状态与所确定的POV中的所确定的上下文重要对象相关联。
[0304] 方法的一些实施例可以包括向所述观看者呈现由所述相机操作者捕获的所述内容。
[0305] 方法的一些实施例可以包括基于所述观看者的移动，向所述观看者呈现所述内容。
[0306] 方法的一些实施例可以包括比较所述观看者的POV和所述相机操作者的POV。
[0307] 方法的一些实施例可以包括如果检测到POV的靠近，则在当前视场中相应地提供指示效果。
[0308] 方法的一些实施例可以包括向对于所述相机操作者重要的对象，提供多种效果，诸如摩擦、振动、缩放、快动、亮度、声音和触觉效果。
[0309] 尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征或元素可以单独使用或与其它特征和元素任意组合使用。本领域普通技术人员理解，在不背离如所附权利要求中阐述的本发明的范围的情况下，可以进行各种修改和改变。在前述说明书中，已经描述了特定实施例。因此，说明书和附图应被认为是说明性的而非限制性的，并且所有这样的修改旨在被包括在本教导的范围内。
[0310] 此外，在本文档中，诸如第一和第二、顶部和底部等的关系术语可以仅用于将一个实体或动作与另一实体或动作区分开，而不一定要求或暗示在这样的实体或动作之间的任何实际的这样的关系或顺序。术语“包括(comprises)”、“包括(comprising)”、“具有(has)”、“具有(having)”、“包含(inculdes)”、“包含(inculding)”、“含有(contains)”、“含有(containing)”或其任何其它变化形式旨在涵盖非排他性的包含，使得包括、具有、包含、含有一系列元素的过程、方法、物品或装置不仅包括那些元素，而且可以包括未明确列出的或对于这样的过程、方法、物品或装置固有的其它元素。前面有“包括...一”、“具有...一”、“包括...一”、“包含...一”的元素在没有更多约束的情况下不排除在包括、具有、包含该元素的过程、方法、物品或装置中存在附加的相同元素。术语“一”和“一个”被定义为一个或多个，除非在此明确地另外声明。术语“基本上”、“本质上”、“近似”、“大约”或其任何其它版本被定义为接近本领域普通技术人员所理解的，并且在一个非限制性实施例中，该术语被定义为在10％内，在另一个实施例中在5％内，在另一个实施例中在1％内，并且在另一个实施例中在0.5％内。这里使用的术语“耦合”被定义为连接，尽管不必是直接连接，也不必是机械连接。以某种方式“配置”的设备或结构至少以该方式配置，但也可以未列出的方式配置。
[0311] 一些实施例可以包括一个或多个通用或专用处理器(或“处理设备”)，诸如微处理器、数字信号处理器、定制处理器和现场可编程门阵列(FPGA)以及唯一存储的程序指令(包括软件和固件)，该程序指令控制一个或多个处理器结合某些非处理器电路来实现本文描述的方法和/或装置的一些、大部分或全部功能。作为替代，一些或所有功能可由不具有存储的程序指令的状态机实施，或在一个或一个以上专用集成电路(ASIC)中实施，其中每一功能或某些功能的一些组合实施为定制逻辑。对于一些实施例，可以使用这两种功能的组合。
[0312] 因此，一些实施例或其部分可以将一个或多个处理设备与存储在有形计算机可读存储器设备中的一个或多个软件组件(例如，程序代码、固件、驻留软件、微代码等)组合，其与执行如本文所述的功能的具体配置的装置组合。形成专门编程的设备的这些组合在这里通常可以被称为“模块”。该模块的软件组件部分可以用任何计算机语言编写，并且可以是单片代码库的一部分，或者可以以更离散的代码部分开发，诸如这在面向对象的计算机语言中是很典型的。另外，所述模块可以分布在多个计算机平台、服务器、终端等上。甚至可以实现给定模块，使得单独的处理器设备和/或计算硬件平台执行所描述的功能。
[0313] 此外，实施例可以被实现为计算机可读存储介质，该计算机可读存储介质具有存储在其上的计算机可读代码，用于对计算机(例如，包括处理器)进行编程以执行如本文所描述和要求保护的方法。这种计算机可读存储介质的示例包括但不限于硬盘、CD-ROM、光存储设备、磁存储设备、ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)和闪存。此外，可以预期，尽管可能由例如可用时间、当前技术和经济考虑激发了显著的努力和许多设计选择，但是当由这里公开的概念和原理引导时，本领域技术人员将能够容易地以最少的实验生成这样的软件指令和程序以及IC。
[0314] 提供本公开的摘要以允许读者快速确定本技术公开的本质。提交该摘要的前提是该摘要将不用于解释或限制权利要求的范围或含义。另外，在前述具体实施方式中，为了使本公开流畅，在各种实施例中将各种特征分组在一起。这种公开方法不应被解释为反映了这样的意图：所要求保护的实施例需要比每个权利要求中明确记载的特征更多的特征。相反，如所附权利要求所反映的，发明主题在于少于单个公开的实施例的所有特征。因此，以下权利要求由此被并入具体实施方式中，其中每个权利要求独立地作为单独要求保护的主题。
[0315] 注意，所描述的一个或多个实施例的各种硬件元件被称为“模块”，其实施(即，执行、运行等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现方式的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于实施被描述为由相应模块实现的一个或多个功能的指令，并且那些指令可以采取硬件(或硬连线)指令、固件指令、和/或软件指令等的形式或包括它们，并且可以存储在任何合适的非瞬态计算机可读介质或媒体中，诸如通常被称为RAM、ROM等的那些。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种力反馈装置对人体软组织仿真的控制系统与方法 | 2020-05-18 | 307 |
| 基于特征相似度的触觉再现轮廓渲染真实感定量评估方法 | 2020-05-12 | 657 |
| 一种埋线提升整形手术仿真系统 | 2020-05-26 | 576 |
| 一种上肢康复训练装置 | 2020-05-08 | 844 |
| 用于虚拟、增强和混合现实显示系统的键盘 | 2020-05-12 | 377 |
| 应用于静电力触觉再现装置的多参量视觉对象渲染方法 | 2020-05-24 | 785 |
| 基于4D模拟技术的文化展示系统 | 2020-05-14 | 967 |
| 一种被动触觉反馈的混合现实交互系统 | 2020-05-23 | 972 |
| 用于增强现实中用户交互的方法和装置 | 2020-05-12 | 366 |
| 一种带有触觉引导功能的图形显示器及其使用方法 | 2020-05-20 | 138 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
触觉渲染热门专利
QQ群二维码
意见反馈
意见反馈