[0002] 本申请案主张2015年9月9日递交的
发明名称为“移动设备上光场增强现实/虚拟现实的方法和系统”的第14/848，759号美国申请案的优先权，该申请案的内容以全部复制的方式并入本文中。
[0004] 不适用
[0005] 参考缩微胶片附录
[0006] 不适用
技术领域
背景技术
[0007] 增强现实(augmented reality，AR)是一种在用户看到的现实世界的视图上
叠加计算机生成图像从而得到复合视图的技术。虚拟现实(virtual reality，VR)是一种用户交互式地探索计算机生成环境的技术，此技术通常使用
护目镜实现。部分AR和VR系统要求将计算机生成的(computer-generated，CG)或扫描的三维(three dimensional，3D)对象插入视频序列中。计算机生成的或扫描的三维对象的真实性通常是极其有限的。此外，计算机生成的三维内容的设计和制作是劳动密集型的。另一个缺点在于捕捉全景视频只准许用户转动头部，却不能在房间里自由移动。
发明内容
[0008] 本发明描述的是基于光场的增强或虚拟现实的方法和装置。如智能手机等移动设备的视图相关的几何代理用于将所述光场的虚拟对象插入所获取的现实世界图像的过程中。例如，一种移动设备，包括处理器和耦合至所述处理器的相机。所述处理器用于：界定视图相关的几何代理；通过所述相机记录图像，生成记录
帧；以及基于所述视图相关的几何代理，通过插入的光场虚拟对象
渲染所述记录帧。
[0009] 在另一
实施例中，一种包括指令的非暂时性存储设备，当所述指令由处理器执行时，使所述处理器执行以下步骤：当移动设备在三维(three dimensional，3D)空间移动时，确定所述移动设备的视图相关的几何代理；接收相机记录的
视频帧；以及基于所述视图相关的几何代理，通过插入的光场虚拟对象在显示器上渲染所述记录帧。
[0010] 在又一实施例中，一种增强或虚拟现实的方法，包括：通过
用户界面接收在移动相机捕捉的图像中插入光场对象的
位置；以及通过所述移动相机记录视频，生成记录视频帧。所述方法还包括：基于针对所述移动相机界定的视图相关的几何代理，通过插入的光场虚拟对象渲染所述记录视频帧。
[0011] 以下将结合
附图以及
权利要求进行的详细描述，将更清楚地理解这些特征以及其它特征。
附图说明
[0012] 为了更透彻地理解本发明，现参阅结合附图和具体实施方式描述的以下简要说明，其中附图标记表示相同部件。
[0013] 图1示出了根据各实施例的增强现实视频帧图像的实例；
[0014] 图2示出了根据各实施例的通过光场相机的圆形阵生成光场的实例；
[0015] 图3示出了根据各实施例的通过光场相机的二维阵列生成光场的实例；
[0016] 图4示出了根据各实施例的移动相机相对于光场生成相机的移动；
[0017] 图5示出了根据各实施例的基于移动相机的几何代理表示，通过插入的光场对象渲染视频帧的方法；
[0018] 图6示出了根据各实施例的部分地基于移动相机的几何代理变换邻近光场图像视图的方法的一实例；以及
[0019] 图7示出了根据各种实施例的基于移动设备的几何代理，可通过插入的光场对象渲染视频的移动设备的方
块图。
具体实施方式
[0020] 首先应理解，尽管下文提供一个或多个实施例的说明性实施方案，但所公开的系统和/或方法可使用任何数目的技术来实施，无论该技术是当前已知还是现有的。本发明决不应限于下文所说明的说明性实施方案、附图和技术，包括本文所说明并描述的示例性设计和实施方案，而是可在所附权利要求书的范围以及其等效物的完整范围内
修改。
[0021] 本文所公开的是生成增强现实(augmented reality，AR)或虚拟现实(virtual reality，VR)图像的各种实施例，所述图像包括静态照片和视频。所公开实施例包括利用光场渲染AR或VR图像。通过使
用例如智能手机等移动相机，用户可以轻易将一个或多个光场对象插入所述移动相机当前捕捉的视频图像中的任何位置。此外，用户可以带着移动相机自由地在空间内移动，从不同位置和
角度
感知在移动相机中AR或VR图像中渲染的光场视频内容。
[0022] 因此，可以通过如图1所示的移动相机捕捉现实世界图像。所述现实世界图像是所述相机捕捉的实际图像，光场对象叠加在所述现实世界图像上，由此产生AR或VR效果。图1示出了通过移动设备的相机捕捉的现实世界图像50的一实例。光场对象60分别是由同一个移动相机或其它相机以前获取的，并且渲染为如所述移动相机自身显示器或单独的显示器上显示的现实世界图像。
[0023] 所述用于捕捉现实世界图像和嵌入光场对象的移动相机可以包括如上所述的智能手机，也可以包括
平板电脑、计算机眼镜、护目镜、
笔记本电脑和
数码相机等。此外，所述移动相机可以是任何具备与处理器通信的相机的便携
电子设备的一部分。此类设备通常包括图像捕捉设备(例如，相机)、处理器、
存储器、显示器(例如，触控显示器)和其它组件。利用光场渲染AR或VR图像可以由所述设备的处理器执行
软件执行。在各实施例中，利用光场渲染AR或VR图像可以由软件、
固件、
硬件或其任何组合执行。
[0024] 为便于说明，以下从渲染增强现实视频方面进行说明。但是，实施例包括渲染虚拟现实视频以及AR或VR静态图像。
[0025] 光场是在3D场景中从不同视角捕捉对象的图像的集合。例如，图2示出了光场相机70(70a、70b、70c、70d、70e、70f和70g)的圆形阵。每个相机70示意性地表示为三角形。每个光场相机70朝内指向所述圆形阵的中心75。物理对象可放置在中心点75，以便每个相机70可以从不同位置和角度捕捉所述对象的静态或视频图像。每个相机的位置
指定为“T”，并且可以得出相对于原点(例如，点75)的x、y和z坐标。例如，相机70a位于位置T1，相机70b位于位置T2。每个相机通常指向位于中心点75的对象。因为每个相机70处于不同的位置T，所以每个相机的定向角不同。定向角在此指定为“R”，并且可以根据例如
俯仰角，倾斜角和偏转角得出。相机70a具有定向角R1，相机70b具有定向角R2。图2的实例示出了7个光场相机。但是一般而言，有i(优选地，i大于1)个光场相机，并且每个相机具有位置Ti和定向角Ri。在一些实施例中，每个光场相机70的光场图像可以是视频或静态照片，但在其它实施例中，光场图像是视频序列。
[0026] 图3示出了用于生成光场的二维(two-dimensional，2D)相机阵列80。如图2中的圆形阵，阵列80中的相机82可以是相同或类似的相机，但被布置为2D阵列。在图2的实例中，每个相机具有位置Ti和定向角Ri。
[0027] 在另一实例中，用户可通过单个相机在一个位置从所述相机获取图像，然后移动所述相机到另一个位置并获取新图像等，生成光场图像。
[0028] 用于生成光场图像的光场相机70和82可以是上文提到的与用于捕捉现实世界图像的移动相机同种类型的相机，即智能手机、平板电脑、计算机眼镜、护目镜、笔记本电脑和数码相机等。在用单一相机来捕捉光场(通过将相机在不同位置间移动)的实施例中，相同的相机(例如，相同的智能手机)可以用于捕捉光场图像和现实世界图像，其中光场图像中显示的光场对象被渲染为所述现实世界图像。用户可以获取多个光场对象集合并将其存储在用于捕捉现实世界图像的移动相机的存储器。或者，用户可以捕捉光场对象，将光场对象上传存储到在线存储服务，随后下载到移动设备来生成AR或VR图像。在其它实施例中，用于生成AR或VR图像的移动设备的用户不会生成其自身的光场图像，而是使用以前记录的从例如，在线服务，下载到用户移动相机或设备的光场图像。
[0029] 术语方面，用于捕捉其中插入光场对象的现实世界图像的设备被称作移动相机，用于捕捉光场对象的相机被称作光场相机。如上所述，相同的相机设备可以同时用于捕捉现实世界图像和光场图像。
[0030] 如上所述，在本文所述的实施例中，设备上光场AR/VR渲染中采用了“几何代理”。几何代理与用于捕捉其中插入光场对象的现实世界视频的移动相机相关联。几何代理可以是有场景深度的平面、圆柱体或者表面。几何代理是视图相关的，指的是其定向取决于用于捕捉现实世界视频的移动相机的位置和定向角。为便于说明，以下以几何代理是平面为例，但几何代理也可以是许多其它的形状。
[0031] 平面可以部分地由垂直于所述平面表面的向量界定。所述平面的角定向会改变，法向量的角定向也会改变。几何代理被视为位于由移动相机的用户指定的3D空间内一个特定点。随着用户在所述空间四处移动所述移动相机，改变所述移动相机的角度和位置，几何代理平面改变其角度以直接面向相机。如此，在一些实施例中，几何代理是表示为(n，d)的平面，其中n是所述平面的3D法线，d是所述平面和移动相机之间的距离。
[0032] 由于用户到处移动相机，所述移动相机可以通过任何合适的技术来计算在每个时间点的(n，d)。例如，任何各种同时
定位与地图构建(simultaneous localization and mapping，SLAM)技术可用于达成此目的。在皮涅斯等人在2007年4月10至14日于意大利罗
马举行的美国电气和电子工程师协会国际
机器人及自动化大会提出的“使用单眼相机的反向深度SLAM惯性辅助”中描述了一种合适的SLAM技术，其中使用了惯性测量单元。在该技术中，惯性测量单元(inertial measurement unit，IMU)如
陀螺仪和/或
加速计被用于辅助确定移动相机的位置、转动和速度。IMU以相对快的更新速率测量其自身的加速度和
角速度。根据测量值，可以通过整合来计算所述移动相机的位置、速度和角定向。移动相机部分地基于来自IMU的
传感器信号和图像捕捉设备捕捉的图像计算其几何代理。
[0033] 通过相机和3D空间中的每个特征之间的相关信息，估算相机的位置、速度和角定向以及具有环境最相关特征位置的地图。待估算状态向量为：
[0034]
[0035] 其中xv(k)表示载体状态
[0036]
[0037] Y(k)是所述地图中n个特征的集合
[0038]
[0039] 所述特征yi(k)的成分描述如下。所述载体状态xv(k)包含相机的位置rn、速度vn和用欧拉角ψn表示姿势的三个笛卡尔坐标，所有都参
照相机的
机体框架B中的导航框架N、加速计的
偏压 以及陀螺仪的偏压 来表示。
[0040] 状态在时间上的动态演变通过非线性的状态迁移函数得出：
[0041] x(k+1)＝f(x(k)，u(k)，w(k))
[0042] 其中输入u(k)包括IMU测量的机体框架参考加速度和角速度ωb(k)
[0043]
[0044] w(k)项表示测量值中的噪声为具有协方差Q的零均值不相关的高斯噪声[0045]
[0046] 根据之前的输入和噪声，相机状态的演变可以通过以下等式计算：
[0047]
[0048] 其中 和 分别是方向余弦矩阵和旋转速率变换矩阵。假定偏压是不变的，且受高斯噪声影响。在一些实施例中，3D特征的表示过参数化如下：
[0049]
[0050] 其中 表示笛卡尔坐标中第一次观察到特征的相机光学中心。角度 和 界定从初始相机位置到3D点特征的射线的方位角和仰角。最后， 是相机位置和特征之间的距离di的倒数。
[0051] 在一些实例中，观察通过如下等式与状态相关：
[0052]
[0053] 其中 界定从当前相机位置到相机坐标(c)中3D点的射线的向量hc的分量，v是不相关的具有协方差R的零均值高斯观测噪声。以下等式阐明了如何计算从相机状态xv和对应特征yi的成分发出的射线hc。 项是在机体框架中的惯性测量的传感器偏移，矩阵 是从机体框架到相机框架的变换矩阵。
[0054]
[0055]
[0056] 向量m是第一次发现特征时描述射线方向的单式向量。m可以依据特征的方位角和仰角 计算如下：
[0057]
[0058] 在对图像上的兴趣点进行不失真处理后，使用针孔相机模型根据特征的
像素坐标(u，v)确定在相机内的方位角和仰角：
[0059]
[0060] 其中u0和v0是所述图像的中心坐标，fu和fv是焦距的分量。
[0061] 由于移动相机在捕捉视频图像时在空间中四处移动，对于视频的每一帧，移动相机利用上述技术或其它技术确定相机的位置和定向角(T和R)。在其它实施例中，与对于每个视频帧相比，移动相机确定相机的位置和定向角的
频率可更小(一次10视频帧)。由于相机被移动，移动相机的位置和定向角随时间改变，因此相机的位置和定向角被表示为T(t)和R(t)来指示位置和定向角随时间t变化。
[0062] 总的来说，获取并存储物理对象的光场图像的集合，除此以外用于后续对移动相机获取的真实世界图像的视频渲染。每个光场相机i的位置Ti和定向角Ri连同光场图像一起被记录下来。在移动相机获取其中插入光场对象的现实世界场景的过程中，记录相机的位置T(t)和方位角R(t)。移动相机的用户指定其想要光场对象在3D空间中插入的位置。用户可以在现实世界兴趣场景中指向移动相机时，通过在移动相机中输入距离值来指定位置。例如，用户可以指定5英尺的距离，意思是插入并渲染光场对象以使其似乎正好在移动相机的镜头前方5英尺处。如果移动相机是智能手机，用户可以用智能手机的触敏显示器输入光场对象的距离。一旦移动相机察觉到用户想在待获取的现实世界场景中放置光场对象的地点，基于移动相机的几何代理，移动相机计算一个或多个光场图像的修改版。图4示出了初始定位在位置101处并在获取位于点107处的对象的视频图像时并沿相机轨道105移动的移动相机100的概念。移动相机100的几何代理110也位于点107处，并且由相机100计算出以基于相机100的移动具有可变定向角。几何代理110的当前定向角正好面向移动相机100的当前位置。图4还示出了叠加在移动相机100所获取的现实世界场景顶部的光场相机70的圆形阵，以说明相机70之前获取的光场图像和移动相机100所获取的现实世界图像之间的关系。
当然，所述光场相机70不是真的叠加在移动相机100所获取的图像上。相机的圆形阵的中心点被视为与相机的几何代理110的位置一致。因此，如果定位每个光场相机70(例如70a和
70b)以获取位于点107处的对象的光场图像，它们将在其本来的位置和定向角被显示。如上所述，针对每个光场相机70a和70b等，记录位置Ti和方位角Ri。类似地，当移动相机100沿相机轨道105移动时，记录移动相机100的位置T(t)和定向角R(t)数据。那些位置和定向角值，以及几何代理110的表面法线n(t)和距离d(t)用于计算在移动装置当前位置的预定范围内一个或多个光场视图中每个光场视图的变换。在图4的实例中，光场相机70a和70b最接近移动相机100，因此通过以下变换，来变换当前时间点的这两个相机的光场图像：
[0063]
[0064] 其中：
[0065] ●Ki指第i个光场相机(本实例中的相机70a或70b)的内部相机矩阵；
[0066] ●Ri指第i个光场相机的3D定向角；
[0067] ●Ti指第i个光场相机的3D位置；
[0068] ●R(t)指移动相机100的3D定向角；
[0069] ●T(t)指移动相机100的3D位置；
[0070] ●n(t)指几何代理110的平面的法线；
[0071] ●d(t)指几何代理110与移动相机当前位置之间的距离。n(t)和d(t)的值界定几何代理的位置和定向。
[0072] 内部相机矩阵Ki是描述相机内部参数的3×3上三角形矩阵。所述内部矩阵包含5个内参数。这些参数包括焦距、图像传感器格式和主点。以下提供一种内部矩阵的实例：
[0073]
[0074] 参数αx＝f·mx和ay＝f·my表示像素焦距，其中mx和my是将距离和像素关联的缩放因子，f是距离的焦距。参数γ表示x轴和y轴之间的偏态系数，通常为0。参数u0和v0表示主点，在图像中心可以是0。
[0075] 用如上述提供的变换来变换每个邻近光场图像。将变换的光场图像或每个变换的光场图像的衍
生物嵌入移动相机100捕捉的现实世界图像中。
[0076] 图5示出了根据本公开实施的生成AR或VR图像的方法。可以按所示的顺序或不同顺序执行图5的实例中的操作。此外，可以并行而非依次执行两个或两个以上的操作。152，该方法包括捕捉光场。该操作可以如上文所述执行。例如，用于捕捉现实世界场景的移动相机100也可以用于获取光场，其中光场对象被渲染在所述现实世界场景中。所捕捉的光场可以是存储在移动相机100的存储器中的一系列静态照片或视频序列。在其它实施例中，多个光场相机可以被布置成圆形、2D阵列或其它排列，用于捕捉光场。操作152中捕捉的光场可以提前执行并存储在存储器中以便后续渲染过程使用，或可与捕捉现实世界图像同时执行。
[0077] 154，该方法包括生成用于每个光场相机(或者至少临近移动相机100的光场相机)的映射函数。所述映射函数可以含有给定的视频帧中每个像素的一组映射值。每个光场相机可以有一个映射函数，所述映射函数为指定光场对象渲染入在现实世界场景方式的时间函数。例如，如果光场对象是不透光的，所述映射函数只包含每个像素的一个值(0或1)，并且为了使产生的图像看上去更逼真，可以被当作渲染时用于α混合的α通道。可以用前台/后台分段模块来得到所述映射函数，从而将较高值分配给在对象强加前景对象上的像素，将较低值分配给用户不想在光场AR/VR体验中展现出来的
背景像素。当光场对象具有透明度时，所述映射函数包含用于环境抠图的出射射线方向(u，v)的信息。
[0078] 156，该方法包括指定用户想要将光场对象插入待获取的现实世界图像的位置。可以通过用户输入移动相机100前方的距离，即在3D空间中光场对象被渲染的位置，来指定所述位置。
[0079] 158，移动相机开始记录现实世界视频。用户按压移动相机上的“记录”按钮或触摸移动设备如智能手机或台式计算机的触敏显示器上的记录图标来启动该操作。相机开始记录实况图像，并且如果需要的话，将此类图像存储在存储器中。
[0080] 160，该方法包括基于现实世界视图相关的几何代理，通过光场虚拟对象渲染现实世界视图。与移动相机100相关和且由移动相机100计算的几何代理能使光场图像被处理且被渲染入移动相机捕捉的图像中。更具体地说，如果光场图像的光场相机位于移动相机100的当前位置并且面向记录的目标对象，通过几何代理变换(即扭曲)光场图像以使得其看上去更接近它们原来看上去的样子。
[0081] 在一些实施例中，操作152、154和158可以由相同的设备执行，如可能是如上文所述的平板电脑设备和智能手机等移动设备100。此外，操作152和154可由光场捕捉设备或系统执行，操作158可由其它设备执行。所捕捉的光场因此可以提前捕捉并被包括在不同设备获取的图像中。操作156和160可以由用于记录现实世界视频的相同的设备或由不同的设备如计算机(例如，
服务器和笔记本电脑等)执行。
[0082] 图6示出了操作160的实现方式的一实例，其中通过移动相机的几何代理进行渲染。可以按所示的顺序或不同顺序执行图5的实例中的操作。此外，可以并行而非依次执行两个或两个以上的操作。图6所示的操作由移动相机100针对所捕捉的视频的每一帧(例如每两个视频帧)或以不同速率(例如每秒30次)执行。
[0083] 162，确定移动相机100的位置和转动。可以通过如上所述的SLAM技术使用加速计、陀螺仪或通过其它技术来执行确定的动作。移动相机的当前位置表示为T(t)，其中t是当前时间，移动相机的当前转动是如上文所述的R(t)。
[0084] 至少基于移动相机的当前位置和定向，选择邻近光场视图(164)。这是指，当光场相机指向几何代理时，如果此类光场相机实际出现于当前3D空间中，将本来最接近于当前移动相机的位置和定向确定为光场相机的位置。例如，图4示出了两种邻近光场相机70a和70b。可以基于
阈值距离选择“邻近”光场相机。阈值距离内(固定或可配置)的光场相机被认为是邻近的。在一些情况下，移动相机100的当前位置可以和光场相机70中的一个一致。如果光场相机70和移动相机100之间的距离小于另一个阈值(即，极接近)，那么操作164中只确定使用那一个光场相机的视图。例如，在图4中，如果移动相机100在光场相机70b的顶部(同一位置)，那么只有光场相机70b的视图被使用。在其它情况下，移动相机100不在任何光场相机位置的顶部，操作164中确定使用两个或两个以上最接近的光场相机的视图。
[0085] 对于确定与移动相机100当前位置临近的每个光场相机，该方法包括166，基于视图相关的几何代理，针对每个邻近视图计算变换。上文提供了变换的一个实例，是关于几何代理的当前法线和距离值(从几何代理到移动相机100的距离)、移动设备的当前位置T(t)和转动R(t)、视图被变换的光场相机的位置和转动、以及用于该光场相机的内部相机矩阵的函数。
[0086] 168，通过在操作166中针对该光场相机计算的相对应的变换，重映射每个邻近视图。在此操作中，示于该光场相机的当前视频帧中的实际图像随着每次变换而被改变。结果是，如果光场相机位于移动相机100当前的位置，所述变换的图像看上去比本来看上去的视图更精确。170，通过操作166确定的同样的变换函数来重映射用于每个邻近视图的映射函数。
[0087] 172，内插操作168中重映射的邻近视图，生成单一内插光场图像。可使用各种插值法，如线性插值法。也可以内插重映射的映射函数，生成单一内插映射函数。
[0088] 174，将内插光场图像嵌入移动相机捕捉的现实世界视图中。相对应的内插映射函数也用于生成结果图像来进一步提高结果图像的真实性。图7示出了本文所述的可使用的移动设备200的方块图的一实例。所述移动设备200包括处理器202、非暂时性存储设备204、相机210、输入设备212、3D传感器214和显示器216。所述非暂时性存储设备204可以包括易失性存储器(例如，
随机存取存储器)和
非易失性存储器(例如，固态存储器，
磁性存储器和光学存储器等)，或者是二者的组合。所述非暂时性存储设备204可以是单个存储设备或多个存储设备。所述非暂时性存储设备204包括AR/VR应用206，AR/VR应用206包含多个可被处理器202执行的指令。当所述指令被执行时，AR/VR应用206使所述处理器202执行上述移动相机的一些或全部功能。
[0089] 所述输入设备212可以是任何类型的用户输入设备，如小
键盘、键盘、
鼠标和
触摸板等。在一实施例中，所述移动设备200是集成计算设备，如智能手机和平板设备等。所述输入设备212和显示器216可以实现为单个触敏显示器。在此类实施例中，所述输入设备212可以是触敏显示器。所述3D传感器214可以包括单轴或多轴
加速度计、单轴或多轴陀螺仪或者任何其它类型的3D传感器。
[0090] 在一个实施例中，所揭示的移动设备包括处理器构件和耦合至处理器构件的相机构件。所述处理器构件用于界定视图相关的几何代理；通过所述相机记录图像，生成记录帧；以及基于所述视图相关的几何代理，通过插入的光场虚拟对象渲染所述记录帧。
[0091] 在另一实施例中，非暂时性存储设备包括指令，当该指令被处理器构件执行时，所述处理器构件在所述移动设备在三维(3D)空间中移动时，确定移动设备的视图相关的几何代理，接收相机记录的视频帧，并且基于所述视图相关的几何代理通过插入的光场虚拟对象在显示器上渲染所述视频帧。
[0092] 虽然本发明中已提供若干实施例，但应理解，在不脱离本发明的精神或范围的情况下，本发明所公开的系统和方法可以以许多其它特定形式来体现。本发明的实例应被视为说明性而非限制性的，且本发明并不限于本文本所给出的细节。例如，各种元件或部件可以在另一系统中组合或合并，或者某些特征可以省略或不实施。此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一
接口、设备或中间部件间接地耦合或通信。其它变化、替代和改变的示例可以由本领域的技术人员在不脱离本文精神和所公开的范围的情况下确定。
