用于头戴式显示系统的测距和附件跟踪
阅读：313发布：2020-05-08
专利汇可以提供用于头戴式显示系统的测距和附件跟踪专利检索，专利查询，专利分析的服务。并且公开了可由VR/MR系统实现的测距方法和装置，所述系统包括用户保持或穿戴的 头戴式显示器 (HMD)和附件。测距 传感器 (例如，超 声换能器 )可被包括在HMD上以及附件上，并且用于 跟踪 受约束物理环境诸如房间、体育馆、庭院或场地内或不受约束物理环境中的壁、对象和其他障碍物的距离和相对 位置 。来自HMD和附件上的传感器的测距信息可用于生成在VR/MR系统中可用于各种目的的用户的环境的3D标测图。除了标测用户的环境之外，测距方法和装置还可用于跟踪附件相对于HMD的相对位置。，下面是用于头戴式显示系统的测距和附件跟踪专利的具体信息内容。
1.一种系统，包括：
头戴式显示器(HMD)，所述头戴式显示器(HMD)包括一个或多个测距传感器，所述HMD与包括一个或多个测距传感器的附件通信；
一个或多个处理器；和
存储器，所述存储器包括程序指令，所述程序指令能够由所述一个或多个处理器执行以分析由环境中所述HMD上的所述测距传感器和所述附件上的所述测距传感器捕获的程距数据，以估计所述环境中的表面和对象的距离和相对位置；
其中所述附件上的所述测距传感器能够捕获来自所述环境的不在所述HMD上的所述测距传感器的范围内的部分的程距数据。
2.根据权利要求1所述的系统，其中所述系统是虚拟现实(VR)系统或混合现实(MR)系统，其中所述程序指令能够由所述一个或多个处理器执行以部分地基于所述环境中所述表面和对象的所估计的距离和相对位置来渲染包括虚拟内容的帧。
3.根据权利要求1所述的系统，其中所述程序指令能够由所述一个或多个处理器执行以至少部分地基于所述附件和所述HMD之间测距信号的飞行时间来确定所述附件相对于所述HMD的距离、相对位置和取向。
4.根据权利要求1所述的系统，其中所述程序指令能够由所述一个或多个处理器执行以：
至少部分地基于所述环境中表面和对象的所估计的距离和相对位置来检测与所述环境中的所述表面和对象的潜在碰撞；以及
经由所述HMD或所述附件来提供音频、视觉或触觉反馈中的一者或多者以指示所述潜在碰撞。
5.根据权利要求1所述的系统，其中所述附件包括惯性测量单元(IMU)，并且其中所述程序指令能够由所述一个或多个处理器执行以：
基于所述环境中所述表面和对象的所估计的距离和相对位置以及由所述IMU获得的运动数据来检测所述附件与所述环境中的表面或对象的潜在碰撞；以及
经由所述附件或所述HMD来提供音频、视觉或触觉反馈中的一者或多者以指示所述潜在碰撞。
6.根据权利要求1所述的系统，其中，为了分析所述程距数据以估计所述环境中表面和对象的距离和相对位置，所述程序指令能够由所述一个或多个处理器执行以测量和分析在所述测距传感器处接收的由所述测距传感器发射的测距信号的回波的时间延迟，以估计所述表面和对象的距离和相对位置。
7.根据权利要求1所述的系统，其中所述程序指令能够由所述一个或多个处理器执行以至少部分地基于所述环境中所述表面和对象的所估计的距离和相对位置来生成所述环境的地图。
8.根据权利要求1所述的系统，其中所述附件是手持式设备或可穿戴设备。
9.根据权利要求1所述的系统，其中所述附件是用于所述HMD的控制器或移动多用途设备。
10.根据权利要求1所述的系统，其中所述一个或多个处理器和所述存储器是所述HMD的部件。
11.根据权利要求1所述的系统，其中所述一个或多个处理器和所述存储器是基站的部件，所述基站经由一个或多个有线或无线连接与所述HMD和所述附件通信。
12.根据权利要求11所述的系统，其中所述基站包括一个或多个测距传感器，其中所述程序指令能够进一步执行以结合由所述HMD和所述附件上的所述测距传感器捕获的程距数据来分析由所述基站上的所述测距传感器捕获的程距数据，以估计所述环境中表面和对象的距离和相对位置。
13.根据权利要求1所述的系统，其中所述测距传感器包括超声换能器。
14.一种方法，包括：
由一个或多个处理器执行：
当用户在真实环境中移动时从向所述用户显示视图的头戴式显示器(HMD)的一个或多个测距传感器获得程距数据；
当所述用户在所述真实环境中移动时从被所述用户保持或穿戴的附件的一个或多个测距传感器获得附加程距数据，其中所述附件上的所述测距传感器能够捕获来自所述环境的不在所述HMD上的所述测距传感器的范围内的部分的程距数据；以及分析由所述HMD上的所述测距传感器和所述附件上的所述测距传感器捕获的程距数据以估计所述真实环境中表面和对象的距离和相对位置。
15.根据权利要求14所述的方法，其中所述视图是虚拟现实(VR)视图或混合现实(MR)视图，所述方法还包括：
由所述一个或多个处理器部分地基于所述环境中所述表面和对象的所估计的距离和相对位置来渲染包括虚拟内容的帧；以及
由所述HMD在所述HMD上显示所渲染的帧。
16.根据权利要求14所述的方法，还包括由所述一个或多个处理器至少部分地基于所述附件和所述HMD之间测距信号的飞行时间来确定所述附件相对于所述HMD的距离、相对位置和取向。
17.根据权利要求14所述的方法，还包括：
由所述一个或多个处理器至少部分地基于所述环境中表面和对象的所估计的距离和相对位置来检测与所述环境中所述表面和对象的潜在碰撞；以及
经由所述HMD或所述附件来提供音频、视觉或触觉反馈中的一者或多者以指示所述潜在碰撞。
18.根据权利要求14所述的方法，其中所述附件包括惯性测量单元(IMU)，所述方法还包括：
由所述一个或多个处理器基于所述环境中所述表面和对象的所估计的距离和相对位置以及由所述IMU获得的运动数据来检测所述附件与所述环境中的表面或对象的潜在碰撞；以及
经由所述附件或所述HMD来提供音频、视觉或触觉反馈中的一者或多者以指示所述潜在碰撞。
19.根据权利要求14所述的方法，其中分析由所述HMD上的所述测距传感器和所述附件上的所述测距传感器捕获的程距数据以估计所述真实环境中表面和对象的距离和相对位置包括测量和分析在所述测距传感器处接收的由所述测距传感器发射的测距信号的回波的时间延迟以估计所述表面和对象的距离和相对位置。
20.根据权利要求14所述的方法，还包括至少部分地基于所述环境中所述表面和对象的所估计的距离和相对位置来生成所述环境的地图。
用于头戴式显示系统的测距和附件跟踪
背景技术
[0001] 头戴式显示器(HMD)例如头盔、护目镜或眼镜可用于多种应用中，包括但不限于虚拟现实(VR)系统和混合现实(MR)系统。虚拟现实(VR)允许用户体验和/或与沉浸式人工环境进行交互，使得用户感觉他们好像身处于该环境中。例如，虚拟现实系统可向用户显示立体场景以产生深度错觉，并且计算机可实时调整场景内容以提供用户在场景内移动的错觉。当用户通过虚拟现实系统观看图像时，用户可因此感觉他们好像正从第一人称视角在场景内移动。类似地，混合现实(MR)将计算机生成的信息(被称为虚拟内容)与真实世界图像或真实世界视图组合，以增强用户的世界视图或者向用户的世界视图添加内容，或者另选地将真实世界对象的虚拟表示与三维(3D)虚拟世界的视图组合。因此，虚拟现实的模拟环境和/或混合现实的混合环境可用于为多种应用提供交互式用户体验，诸如将虚拟内容添加到观察者环境的实时视图的应用、生成3D虚拟世界的应用、与虚拟培训环境进行交互、游戏、远程控制无人机或其他机械系统、查看数字媒体内容、与互联网交互、探索虚拟景观或环境等。发明内容
[0002] 本文描述了用于虚拟现实(VR)系统和混合现实(MR)系统中测距的方法和装置的各种实施方案。描述了测距方法和装置的实施方案，其可例如由VR/MR系统实施，所述系统包括头戴式显示器(HMD)诸如头盔、护目镜或眼镜；以及用户保持或穿戴的附件(例如，手持式设备，诸如用于HMD的控制器或移动多用途设备)。在实施方案中，测距传感器(例如，发射器和接收器(或收发器)，例如超声换能器)可被包括在HMD上以及附件上，并且用于跟踪受约束物理环境诸如房间、体育馆、庭院或场地内或不受约束物理环境中的壁、对象和其他障碍物的距离以及相对位置。来自HMD和附件上的传感器的测距信息可用于生成在VR/MR系统中可用于各种目的的用户环境的3D标测图。除了标测用户环境之外，测距方法和装置的实施方案还可用于跟踪附件相对于HMD的相对位置。
[0003] 为了跟踪与物理环境内的壁、对象和其他障碍物的距离以及相对位置，HMD上的超声换能器和/或附件上的超声换能器发送超声信号或“ping”，所述超声信号或“ping”在环境中的表面上反射或产生回波；回波被HMD上和/或附件上一定数量的超声换能器接收。回波的时间延迟可被测量和分析以估计表面的距离和相对位置。在附件上包括测距传感器诸如超声换能器允许扫描比HMD上的测距传感器能够扫描的更多的环境。
[0004] 可利用超声换能器、或超声换能器与从附件和/或HMD中的惯性测量单元(IMU)获得的运动和取向信息的组合来跟踪附件相对于HMD的位置。在一些实施方案中，为了跟踪附件，HMD上的超声换能器(例如，三个换能器)发送超声信号或“ping”，所述超声信号或“ping”被附件上一定数量的超声换能器接收。另选地，附件上的超声换能器(例如，三个换能器)发送超声信号，所述超声信号被HMD上一定数量的超声换能器接收。从发射器到接收器的信号飞行时间可被分析，以确定附件相对于HMD的距离、相对位置和取向。附图说明
[0005] 图1例示了根据一些实施方案的示例性虚拟现实(VR)系统或混合现实(MR)系统，该系统包括头戴式显示器(HMD)和附件，该HMD和附件包括用于标测用户环境的超声传感器。
[0006] 图2例示了根据一些实施方案的示例性VR/MR系统，该系统包括HMD和附件上的用于跟踪附件与HMD的相对位置的超声传感器。
[0007] 图3是根据一些实施方案的例示如图1和图2所示的示例性VR/MR系统的部件的框图。
[0008] 图4例示了根据一些实施方案的示例性设备上的超声换能器。
[0009] 图5和图6以图形方式例示了根据一些实施方案的在图1至图3所示的示例VR/MR系统中使用超声来标测真实世界环境。
[0010] 图7是根据一些实施方案的用于图1至图3所示VR/MR系统中测距的操作方法的高级流程图。
[0011] 图8是根据一些实施方案的用于使用图1至图3所示VR/MR系统中的HMD和附件上的超声换能器来跟踪附件与HMD的相对位置的操作方法的高级流程图。
[0012] 图9是根据一些实施方案的用于检测图1至图3所示VR/MR系统中的潜在碰撞的方法的高级流程图。
[0014] “包括”，该术语是开放式的。如在权利要求书中所使用的，该术语不排除附加结构或步骤。考虑以下引用的权利要求：“一种包括一个或多个处理器单元...的装置”此类权利要求不排除该装置包括附加部件(例如，网络接口单元、图形电路等)。
[0015] “被配置为”，各种单元、电路或其他部件可被描述为或叙述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”用于通过指示单元/电路/部件包括在操作期间执行这一项或多项任务的结构(例如，电路)来暗指该结构。如此，单元/电路/部件据称可被配置为即使在指定的单元/电路/部件当前不可操作(例如，未接通)时也执行该任务。与“被配置为”语言一起使用的单元/电路/部件包括硬件——例如电路、存储可执行以实现操作的程序指令的存储器等。引用单元/电路/部件“被配置为”执行一项或多项任务明确地旨在针对该单元/电路/部件不援引35U.S.C.§112的第六段。此外，“被配置为”可包括由软件或固件(例如，FPGA或执行软件的通用处理器)操纵的通用结构(例如，通用电路)以能够执行待解决的一项或多项任务的方式操作。“被配置为”还可包括调整制造过程(例如，半导体制作设施)，以制造适用于实现或执行一项或多项任务的设备(例如，集成电路)。
[0016] “第一”“第二”等。如本文所用，这些术语充当它们所在之前的名词的标签，并且不暗指任何类型的排序(例如，空间的、时间的、逻辑的等)。例如，缓冲电路在本文中可被描述为执行“第一”值和“第二”值的写入操作。术语“第一”和“第二”未必暗指第一值必须在第二值之前被写入。
[0017] “基于”或“取决于”，如本文所用，这些术语用于描述影响确定的一个或多个因素。这些术语不排除可影响确定的附加因素。即，确定可仅基于这些因素或至少部分地基于这些因素。考虑短语“基于B来确定A”。在这种情况下，B为影响A的确定的因素，此类短语不排除A的确定也可基于C。在其他实例中，可仅基于B来确定A。
[0018] “或”，在权利要求书中使用时，术语“或”被用作包含性的或，而不是排他性的或。例如，短语“x、y或z中的至少一个”表示x、y和z中的任何一个以及它们的任何组合。
具体实施方式
[0019] 本文描述了用于虚拟现实(VR)系统和混合现实(MR)系统中测距的方法和装置的各种实施方案。描述了测距方法和装置的实施方案，其可由VR/MR系统实施，所述系统包括头戴式显示器(HMD)诸如头盔、护目镜或眼镜；以及用户保持或穿戴的附件(例如，手持式设备诸如控制器或手杖、腕带或手表、移动多用途设备诸如智能电话、平板电脑或平板、手套或防护手套等)。在一些实施方案中，HMD和附件可经由无线连接来通信和交换数据(例如，由测距传感器收集的数据)。另选地，HMD和附件可经由有线连接来连接。
[0020] 本文所述用于测距的方法和装置的实施方案可例如在允许用户在物理环境内自由移动的VR/MR系统中实施。VR/MR系统可包括HMD。在一些实施方案中，HMD可为独立设备。然而，在一些实施方案中，VR/MR系统也可包括单独的计算设备，在本文中称为基站，其实施VR/MR系统的至少一些功能，并且通过有线或无线连接与HMD通信。
[0021] HMD可包括收集关于用户环境的信息的传感器(例如，摄像机、环境光传感器等)，并且还可包括收集关于用户的信息(例如，用户的表情、眼睛运动、头部运动、手势等)的传感器。在包括基站的VR/MR系统中，传感器所收集的信息可经由有线或无线连接被传输给基站。基站和/或HMD可包括至少部分地基于从HMD上的传感器接收的传感器信息来生成虚拟内容和渲染帧的软件和硬件(例如，处理器(片上系统(SOC)、CPU、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/解码器(编解码器)等)，存储器等)。在VR系统中，当用户在真实世界环境中移动时，HMD显示所述帧以向用户提供虚拟世界的视图。在MR系统中，HMD显示所述帧以提供真实世界环境的增强视图。
[0022] 在实施方案中，VR/MR系统可包括用户可保持或穿戴的附件。附件的示例可包括但不限于手持式设备诸如控制器或手杖、腕带或手表、移动多用途设备诸如智能电话、平板电脑或平板、手套或防护手套等。在一些实施方案中，附件可经由有线或无线连接与HMD通信。在一些实施方案中，附件相反或者另外可经由有线或无线连接与基站通信。
[0023] 在实施方案中，测距传感器(例如，发射器和接收器(或收发器)，例如超声换能器)可被包括在HMD上和附件上。测距传感器可例如用于跟踪受约束物理环境诸如房间、体育馆、庭院或场地内或不受约束物理环境中的壁、对象和其他障碍物的距离以及相对位置。来自HMD上和附件上的传感器的测距数据可例如用于生成在VR/MR系统中可用于各种目的的用户环境的3D标测图。除了标测用户环境之外，测距方法和装置的实施方案还可用于跟踪附件相对于HMD的相对位置。
[0024] 虽然各种类型的测距传感器可在实施方案中使用，包括但不限于基于光的传感器，诸如光探测和测距(LIDAR)技术传感器，但一般性地描述使用使用声音进行测距的超声换能器(例如，超声发射器和超声接收器，或超声收发器)的实施方案。使用声音优于光的一个优点是，基于光的传感器可能难以用于某些表面诸如玻璃和镜子，而超声换能器能够容易地检测。此外，基于光的传感器在某些条件诸如明亮阳光下可能具有光干涉方面的问题。在一些实施方案中，VR/MR系统可包括基于光的传感器和超声收发器两者，并且来自这两个系统的测距数据可被组合以更准确地标测用户的环境。
[0025] 为了跟踪物理环境内的壁、对象和其他障碍物的距离以及相对位置，HMD上的超声换能器和/或附件上的超声换能器发送超声信号或“ping”，所述超声信号或“ping”在环境中的表面和对象上反射或回波；回波被HMD上和/或附件上一定数量的超声换能器接收。回波的时间延迟可被测量和分析以估计表面和对象的距离和相对位置。
[0026] 在附件上包括测距传感器诸如超声换能器允许扫描比HMD上的测距传感器能够扫描的更多的环境。用户将附件保持在手中或将其穿戴在手臂上，并且因此附件可扫描不在HMD的前向传感器的程距内的环境的部分，例如用户的侧边或后面。另外，用户可在保持附件的同时移动手臂，以标测房间的不在HMD上传感器的程距内的部分。此外，当用户移动手臂时，附件上的测距传感器可用于检测用户的手或臂与环境中的表面和对象的潜在碰撞；用户可被警示以防止碰撞，例如利用音频、视觉和/或触觉反馈来警示。
[0027] 在一些实施方案中，可利用超声换能器、或超声换能器与从附件和/或HMD中的惯性测量单元(IMU)获得的运动和取向信息的组合来跟踪附件相对于HMD的位置和取向。在一些实施方案中，为了利用超声换能器跟踪附件的运动和取向，HMD上的超声换能器(例如，三个换能器)发送超声信号或“ping”，所述超声信号或“ping”被附件上一定数量的超声换能器接收。另选地，附件上的超声换能器(例如，三个换能器)发送超声信号，所述超声信号被HMD上一定数量的超声换能器接收。从发射器到接收器的信号飞行时间可被分析，以确定附件相对于HMD的距离、相对位置和取向。
[0028] 利用超声的运动检测的准确性受到声音速度的限制，因此超声换能器可能更适于跟踪正常或较慢的运动，但不太适合跟踪快速运动或旋转。因此，在一些实施方案中，IMU可被包括在附件中并且被用于跟踪附件的快速运动和旋转。由IMU收集的运动和取向数据可与超声换能器收集的运动和取向数据一起用于跟踪附件相对于HMD的位置。
[0029] 在一些实施方案中，超声换能器所收集的运动和取向数据可用于校正附件中IMU的漂移。IMU检测附件的加速度和旋转，但自身不能检测附件的3D空间中的绝对位置。测量中的累积误差可能导致漂移，这可能例如导致IMU在没有加速度或旋转时感测到加速度或旋转。然而，HMD上和附件上的超声换能器所收集的运动和取向数据可被用于计算附件的位置、取向和运动。由超声换能器收集的运动和取向数据所确定的位置、取向和运动可与IMU正报告的位置、取向和运动进行比较。如果检测到差异，例如如果在超声系统未检测到运动或旋转时IMU报告运动或旋转，则这指示IMU正经历漂移，并且IMU可被重新初始化以校正漂移。
[0030] HMD上和附件上的超声换能器可例如用于检测真实世界环境中在用户正在该环境中四处移动时的静止或移动对象(例如，家具、人等)和表面(例如，壁、镜子、玻璃)。在一些实施方案中，在VR系统中，如果用户处于与所检测到的对象或表面碰撞的危险，则系统可执行用户的位置或取向的硬重置。在一些实施方案中，在VR或MR系统中，如果系统检测到与对象或表面的潜在碰撞，则系统可向用户提供音频、视觉和/或触觉反馈或警示。在一些实施方案中，超声换能器检测到的真实世界对象或表面的虚拟表示或指示可在其四处移动时在VR或MR视图中显示给用户。
[0031] 虽然一般性地描述了在用户保持在手中或穿戴在手臂上的HMD上和附件上包括超声换能器的VR/MR系统的实施方案，但也可实施VR/MR系统，其中超声换能器被包括在附件上，但不被包括在HMD上。此外，可在没有附件的情况下使用本文所述具有超声换能器的HMD。另外，在一些实施方案中，超声换能器可被包括在环境中的其他位置或被包括在用户身上。例如，在受约束环境诸如房间中，超声发射器可安装在环境内的壁上或对象上的不同位置；HMD上和/或附件上的超声换能器可接收来自超声发射器的信号或ping。ping的飞行时间和方向性可在标测环境中使用。又如，超声发射器可被包括在用户上的不同位置处。例如，在一些实施方案中，用户可以在两只手中保持附件，或在两个手臂上穿戴附件，所述附件均包括超声换能器。又如，超声换能器可在用户身体上的不同位置处例如在背部或在腿部上附接到用户的衣服。又如，基站可包括测距传感器诸如超声换能器，并且基站上传感器所收集的测距数据可与系统中其他传感器(例如，HMD上和/或附件上的传感器)所收集的测距数据一起用于标测环境。
[0032] 虽然本文主要针对包括用于在虚拟或增强视图中显示虚拟内容的HMD(例如，头盔、护目镜或眼镜)和手持式设备(诸如控制器)的VR/MR系统来描述使用超声换能器进行测距的方法和装置，但需注意，使用超声换能器进行测距的方法和装置也可应用于其他类型的使用HMD显示视频帧并且还可包括手持式设备的个人显示系统中。
[0033] 图1至图3例示了可实施本文所述测距方法和装置的实施方案的示例性虚拟现实(VR)系统或混合现实(MR)系统的实施方案。
[0034] 图1例示了根据一些实施方案的示例性虚拟现实(VR)系统或混合现实(MR)系统，其包括包括用于标测用户环境的超声传感器的头戴式显示器(HMD)和手持式设备。在一些实施方案中，VR/MR系统可以包括可由用户190穿戴的HMD 100诸如耳机、头盔、护目镜或眼镜。在一些实施方案中，HMD 100可为独立系统。然而，在一些实施方案中，VR/MR系统可包括被配置为渲染帧以用于供HMD 100显示的基站(未示出)。在一些实施方案中，HMD 100和基站可各自包括无线通信技术，该无线通信技术允许HMD 100和基站通信和交换数据。然而，在一些实施方案中，可使用HMD 100与基站160之间的有线连接。基站可与用户190分开定位，或者另选地，可为可由用户190例如在背包中携带的便携式设备。
[0035] 在一些实施方案中，VR/MR系统还可包括用户可穿戴或携带的附件110(例如，手持式设备诸如控制器或手杖、腕带或手表、移动多用途设备诸如智能电话、平板电脑或平板、手套或防护手套等)。例如，VR/MR系统可包括可由用户190保持的附件110，该附件允许用户与VR或AR视图中的虚拟内容进行交互，或者以其他方式控制VR或AR体验或与VR或AR体验进行交互。附件110可经由有线或无线连接180与HMD 100通信。在包括基站的实施方案中，附件110相反或另外可经由有线或无线连接与基站通信。
[0036] HMD 100可包括收集关于用户190的环境的信息(视频、照明信息等)并且可以也收集关于用户190的信息(例如，用户的表情、眼睛运动、注视方向、手势等)的传感器120(例如，摄像机、红外或近红外相机、光传感器等)。
[0037] HMD 100可包括超声换能器122。此外，附件110可包括超声换能器112。HMD 100上和附件110上的超声换能器可例如用于跟踪受约束物理环境诸如房间、体育馆、庭院或场地内或不受约束物理环境中的壁、对象和其他障碍物的距离以及相对位置。来自HMD 100上和附件110上的超声换能器的测距数据可例如用于生成在VR/MR系统中可用于各种目的的用户环境的3D标测图。除了标测用户的环境之外，HMD 100上和附件110上的超声换能器还可用于跟踪附件110相对于HMD 100的相对位置和取向。
[0038] 虽然一般性地描述了包括使用声音进行测距的超声换能器(例如，超声发射器和超声接收器，或超声收发器)的实施方案，但在一些实施方案中，可使用其他类型的测距传感器，包括但不限于基于光的传感器，诸如光探测和测距(LIDAR)技术传感器。使用声音优于光的一个优点是，基于光的传感器可能难以用于某些表面诸如玻璃和镜子，而超声换能器能够容易地检测。此外，基于光的传感器在某些条件诸如明亮阳光下可能具有光干涉方面的问题。在一些实施方案中，VR/MR系统可包括基于光的传感器和超声换能器两者，并且来自这两个系统的测距数据可被组合以更准确地标测用户的环境。
[0039] 为了跟踪物理环境内的壁、对象和其他障碍物的距离以及相对位置，HMD 100上的超声换能器122和/或附件110上的超声换能器112发送超声信号或“ping”，所述超声信号或“ping”在环境中的表面和对象上反射或回波；回波被HMD 100上和/或附件110上一定数量的超声换能器接收。回波的时间延迟可被测量和分析以估计表面和对象的距离和相对位置。
[0040] 在附件110上包括超声换能器112允许扫描比HMD 100上的超声换能器122能够扫描的更多的环境。用户190将附件110保持在手中或将其穿戴在手臂上，并且因此附件110可扫描不在HMD 100的前向传感器的程距内的环境的部分，例如用户190的侧边或后面。另外，用户190可在保持附件110的同时移动手臂，以标测房间的不在HMD 100上传感器的程距内的部分。此外，当用户190移动手臂时，附件110上的超声换能器112可检测用户的手或臂与环境中的表面和对象的潜在碰撞；用户可被警示以防止碰撞，例如利用HMD 100和/或附件110中的音频、视觉和/或触觉反馈来警示。
[0041] 在包括基站的VR/MR系统中，传感器120和超声换能器122和超声换能器112所收集的信息可经由有线或无线连接被传输给基站。基站和/或HMD 100可至少部分地基于从传感器120和超声换能器122和超声换能器112获得的各种信息来渲染包括虚拟内容的帧。在VR系统中，在用户在真实世界环境中四处移动时，所述帧可由HMD 100显示以向用户提供虚拟世界的视图。在一些实施方案中，由超声换能器122和超声换能器112检测到的真实世界对象的虚拟表示可叠置在HMD 100所提供的虚拟视图上或合成在HMD 100所提供的虚拟视图中。在MR系统中，所述帧可由HMD 100显示以提供真实世界环境的增强视图。在一些实施方案中，由超声换能器122和超声换能器112检测到的真实世界对象的虚拟表示或视觉增强可被包括在HMD 100所提供的增强视图中。
[0042] HMD 100可实施各种类型的显示技术中的任一者。例如，HMD 100可为近眼显示系统，该近眼显示系统在用户190的眼睛前面的屏幕上显示左图像和右图像(该左图像和右图像由受试者查看)，诸如DLP(数字光处理)、LCD(液晶显示器)和LCoS(硅上液晶)技术VR显示系统。作为另一示例，HMD 100可包括直接视网膜投影仪系统，该直接视网膜投影仪系统逐像素地将左图像和右图像扫描到受试者的眼睛。为了扫描图像，左投影仪和右投影仪生成光束，该光束被引导到位于用户190的眼睛前面的左显示屏和右显示屏(例如，椭球镜)；显示屏将光束反射到用户的眼睛。为了创建三维(3D)效果，不同深度或距离处的虚拟内容在这两个图像中根据距离的三角测量而向左或向右移位，其中较近的对象比较远的对象移位得更多。
[0043] 虽然未在图1中示出，但是，在一些实施方案中，VR/MR系统可包括一个或多个其它部件。虽然图1示出了穿戴HMD 100并携带附件110的单个用户190，但在一些实施方案中，VR/MR系统可支持多个用户190穿戴可经由无线连接彼此通信、或者另选地可与基站通信从而使得多个用户190能够同时在共同位于的物理环境中使用VR/MR系统的HMD 100。在一些实施方案中，第一用户的HMD 100上和/或附件110上的超声换能器可接收来自第二用户的HMD上100和/或附件110上的超声换能器的信号；VR/MR系统可例如使用从超声换能器收集的数据来标识第二用户在环境中的位置。
[0044] 图2例示了根据一些实施方案的示例性VR/MR系统，该系统包括用于跟踪附件与HMD的相对位置的HMD上和附件上的超声传感器。图2示出了根据一些实施方案的示例性HMD 200的侧视图，该示例性HMD 200包括与包括超声传感器212的附件210一起使用的世界和用户传感器220和超声传感器222。需注意，如图2所示的HMD 200和附件210以举例的方式给出，并且不旨在为限制性的。在各种实施方案中，HMD和附件的形状、尺寸及其它特征可以不同，并且传感器的位置、数量、类型和其它特征可有所不同。
[0045] 如图2所示，HMD 200可被穿戴在用户290的头部上，使得显示器202(例如，近眼VR显示系统的屏幕和光学器件，或直接视网膜投影仪系统的反射部件(例如，椭球镜))设置在用户290的眼睛292的前面。在一些实施方案中，HMD 200可包括收集关于用户290的环境的信息(视频、照明信息等)并且可以也收集关于用户290的信息(例如，用户的表情、眼睛运动、注视方向、手势等)的传感器220(例如，摄像机、红外或近红外相机、光传感器等)。HMD 200可包括超声换能器222(例如，超声发射器和超声接收器，或超声收发器)。HMD 200可包括各种类型的处理器204(片上系统(SOC)、CPU、图像信号处理器(ISP)、图形处理单元(GPU)、编码器/解码器(编解码器)等)中的一者或多者。
[0046] 在一些实施方案中，可存在一个或多个超声换能器222位于HMD 200的前表面上。然而，在各种实施方案中，超声换能器222相反或另外可定位在HMD 200上的其他位置，例如在HMD 200的侧面、顶部或底部上。在一些实施方案中，可使用三个超声换能器222的阵列；
然而，在一些实施方案中可使用更多或更少的超声换能器222。在一些实施方案中，超声换能器222可以是收发器。然而，在一些实施方案中，超声换能器222可包括一个或多个发射器和一个或多个接收器。图4进一步例示了设备诸如HMD 200上的超声换能器222。
然而，在一些实施方案中可使用更多或更少的超声换能器222。在一些实施方案中，超声换能器222可以是收发器。然而，在一些实施方案中，超声换能器222可包括一个或多个发射器和一个或多个接收器。图4进一步例示了设备诸如HMD 200上的超声换能器222。
[0047] 附件210可为用户290可在手294中穿戴或携带的手持式设备，诸如控制器或手杖、腕带或手表、移动多用途设备诸如智能电话、平板电脑或平板、手套或防护手套等。附件210可包括超声换能器212(例如，超声发射器和超声接收器，或超声收发器)。附件可经由有线或无线连接280与HMD 200通信。
[0048] 在一些实施方案中，可存在一个或多个超声换能器212位于附件210的至少一个表面上。在一些实施方案中，可使用三个超声换能器212的阵列；然而，在一些实施方案中可使用更多或更少的超声换能器212。在一些实施方案中，超声换能器212可以是收发器。然而，在一些实施方案中，超声换能器212可包括一个或多个发射器和一个或多个接收器。图4进一步例示了设备诸如附件210上的超声换能器212。
[0049] 在一些实施方案中，可利用超声换能器、或超声换能器与从附件210和/或HMD 200中的惯性测量单元(IMU)获得的运动和取向信息的组合来跟踪附件210相对于HMD 200的位置和取向。在一些实施方案中，为了利用超声换能器跟踪附件210的运动和取向，HMD 200上的超声换能器222(例如，三个换能器)发送超声信号或“ping”，所述超声信号或“ping”被附件210上一定数量的超声换能器212接收。另选地，附件210上的超声换能器212(例如，三个换能器)发送超声信号，所述超声信号被HMD 200上一定数量的超声换能器222接收。从发射器到接收器的信号飞行时间可被分析，以确定附件210相对于HMD 200的距离、相对位置和取向。在一些实施方案中，HMD 200上和附件210上的超声换能器可以以不同速率、频率和/或时间发射信号，使得信号的发射器可在接收器处被标识。
[0050] 在其中HMD 200上的超声换能器222发送被附件210上的超声换能器212接收的超声信号的实施方案中，可在附件212上分析从发射器到接收器的信号飞行时间，以确定附件210相对于HMD 200的距离、相对位置和取向；然后可经由连接280将所计算的信息传输给HMD 200。在包括基站的实施方案中，所计算的信息相反或另外可经由有线或无线连接被传输给基站。另选地，可经由连接280将由附件210上的超声换能器212收集的数据传输给HMD
200，并且可在HMD 200上分析所述数据以确定附件210相对于HMD 200的距离、相对位置和取向。
200，并且可在HMD 200上分析所述数据以确定附件210相对于HMD 200的距离、相对位置和取向。
[0051] 在其中附件210上的超声换能器212发送被HMD 200上的超声换能器222接收的超声信号的实施方案中，可在HMD 200上分析从发射器到接收器的信号飞行时间，以确定附件210相对于HMD 200的距离、相对位置和取向。
[0052] 在包括基站的实施方案中，由附件210上或HMD 200上的超声换能器收集的数据可经由有线或无线连接传输给基站，并且可在基站上分析所述数据以确定附件210相对于HMD 200的距离、相对位置和取向。
[0053] 利用超声的运动检测的准确性受到声音速度的限制，因此超声换能器212和超声换能器222可能更适于跟踪正常或较慢的运动，但不太适合跟踪快速运动或旋转。因此，在一些实施方案中，IMU可被包括在附件210中并且被用于跟踪附件210的快速运动和旋转。由IMU收集的运动和取向数据可与超声换能器212和超声换能器222收集的运动和取向数据一起用于跟踪附件210相对于HMD 222的位置。
[0054] 为了跟踪物理环境内的壁、对象和其他障碍物的距离以及相对位置，HMD 200上的超声换能器222和/或附件210上的超声换能器212发送超声信号或“ping”，所述超声信号或“ping”在环境中的表面和对象上反射或回波；回波被HMD 200上和/或附件210上一定数量的超声换能器接收。回波的时间延迟可例如被在处理器204上执行的软件测量和分析以估计表面和对象的距离和相对位置。
[0055] 在附件210上包括超声换能器212允许扫描比HMD 200上的超声换能器222能够扫描的更多的环境。用户290将附件210保持在手中或将其穿戴在手臂上，并且因此附件210可扫描不在HMD 200的前向传感器的程距内的环境的部分，例如用户290的侧边或后面。另外，用户290可在保持附件210的同时移动手294，以标测房间的不在HMD 200上传感器的程距内的部分。此外，当用户290移动手臂时，附件210上的超声换能器212可检测用户的手294与环境中的表面和对象的潜在碰撞；用户可被警示以防止碰撞，例如利用HMD 200和/或附件210中的音频、视觉和/或触觉反馈来警示。
[0056] 在包括独立HMD 200的实施方案中，HMD 200可包括被配置为存储可由处理器204执行的软件(例如，一个或多个VR或MR应用程序)以及在软件在HMD 200上执行时可由软件使用的数据的存储器。HMD 200可执行被配置为向用户290提供VR或MR体验的VR或MR应用程序。在应用程序的执行期间，HMD 200可渲染用于VR或MR体验的虚拟内容的帧(每个帧包括左图像和右图像)。在执行期间，VR或MR应用程序可至少部分地基于由传感器220和超声换能器222和超声换能器212收集的数据来应用一种或多种方法。
[0057] 在包括基站的实施方案中，HMD 200可经由有线或无线连接将传感器220和超声换能器222收集的数据传输给VR/MR系统的基站以用于处理。由附件210上的超声换能器收集的数据也可经由有线或无线连接传输给基站。基站可以是经由有线或无线连接通信地耦接到HMD 200的外部设备(例如，计算系统、游戏控制台等)。基站可包括各种类型的处理器(例如，SOC、CPU、ISP、GPU、编解码器和/或其他部件)中的一者或多者，以及被配置为存储可由处理器执行的软件(例如，一个或多个VR或MR应用程序)和在软件在基站上执行时可由软件使用的数据的存储器。基站可执行被配置为向用户290提供VR或MR体验的VR或MR应用程序。在应用程序的执行期间，基站可渲染用于VR或MR体验的虚拟内容的帧(每个帧包括左图像和右图像)。在执行期间，VR或MR应用程序可至少部分地基于由传感器220和超声换能器222和超声换能器212收集的数据来应用一种或多种方法。基站可对所渲染的帧进行编码/压缩，并且将被压缩的帧传输给HMD 200以用于处理并显示给左和右显示器202，从而向用户
290提供VR或MR视图。
290提供VR或MR视图。
[0058] 在一些实施方案中，VR或MR系统可至少部分地基于由超声换能器222和超声换能器212收集的数据来应用一种或多种方法，以检测和识别真实世界环境中的对象和表面，以及确定对象和表面相对于用户290的当前位置和运动的位置、距离和速度。在一些实施方案中，由超声换能器222和212超声换能器检测到的至少一些真实世界对象和表面的虚拟表示可被合成为被显示给用户290的VR或MR视图。虚拟表示可对应于实际对象(例如，物理椅子可被显示成虚拟椅子，物理壁可被显示成虚拟壁，等等)或可表示一些其他对象(例如，物理椅子可由虚拟灌木表示，物理壁可由虚拟围栏表示，等等)
[0059] 在一些实施方案中，传感器220可包括一个或多个基于光的传感器(例如，具有红外(IR)照明源的IR相机、或光探测和测距(LIDAR)发射器和接收器/检测器)，该一个或多个基于光的传感器例如捕获用户环境中对象和表面的深度信息。由基于光的传感器收集的深度信息可与由超声换能器222和超声换能器212收集的数据以及由场景相机捕获的帧一起用于检测和识别真实世界环境中的对象和表面，以及确定对象和表面相对于用户290的当前位置和运动的位置、距离和速度。由基于光的传感器收集的深度信息也可与由超声换能器222和超声换能器212收集的数据一起用于定位真实世界对象的虚拟表示来在正确深度合成到虚拟环境中。在一些实施方案中，由基于光的传感器收集的深度信息可与由超声换能器222和超声换能器212收集的数据一起用于检测与真实世界对象和表面发生碰撞的可能性。在一些实施方案中，可存在一个基于光的传感器位于HMD 200的前表面上。然而，在各种实施方案中，可使用多于一个基于光的传感器，并且基于光的传感器可被定位在其它位置处。
[0060] 图3是根据一些实施方案的例示如图1和图2所示的示例性VR/MR系统的部件的框图。在一些实施方案中，VR/MR系统可包括用户可穿戴或携带的HMD 300诸如耳机、头盔、护目镜或眼镜；以及附件310(例如，手持式设备诸如控制器或手杖、腕带或手表、移动多用途设备诸如智能电话、平板电脑或平板、手套或防护手套等)。在一些实施方案中，VR/MR系统还可包括与HMD 300和/或附件310通信以执行VR/MR系统的至少一些功能的基站(未示出)，诸如计算系统、游戏控制台等。
[0061] HMD 300可包括显示器302部件或子系统，包含虚拟内容的帧可经由其被显示给用户。显示器302可实施各种类型的虚拟现实显示技术中的任一种。例如，HMD 300可包括近眼显示器，该近眼显示器显示包括由用户查看的屏幕上的左图像和右图像的帧，诸如DLP(数字光处理)、LCD(液晶显示器)和LCoS(硅上液晶)技术显示器。作为另一示例，HMD 300可包括直接视网膜投影仪，该直接视网膜投影仪经由反射表面(例如，反射眼镜镜片)将包括左图像和右图像的帧逐像素地直接扫描到用户的眼睛。
[0062] HMD 300还可包括控制器304，该控制器包括被配置为实施VR/MR系统中HMD 300的功能的一个或多个处理器。在一些实施方案中，HMD 300也可包括存储器330，存储器330被配置为存储可被控制器304执行的VR/AR系统的软件(代码332)、以及当在控制器304上执行时可由代码332使用的数据334。
[0063] 在各种实施方案中，控制器304可为包括一个处理器的单处理器系统、或包括若干个处理器(例如，两个、四个、八个或另一合适数量)的多处理器系统。控制器304可包括被配置为实现任何合适的指令集架构的中央处理单元(CPU)，并且可被配置为执行在该指令集架构中定义的指令。例如，在各种实施方案中，控制器304可包括实现多种指令集架构(ISA)(诸如x86、PowerPC、SPARC、RISC或MIPS ISA、或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器可共同实现相同的ISA，但不是必需的。控制器304可采用任何微架构，包括标量、超标量、流水线、超流水线、乱序、有序、推测性、非推测性等，或它们的组合。控制器304可包括实现微码技术的电路。控制器304可包括各自被配置为执行指令的一个或多个处理核心。控制器304可包括一个或多个级别的高速缓存，该高速缓存可采用任何大小和任何配置(集合关联、直接映射等)。在一些实施方案中，控制器304可包括至少一个图形处理单元(GPU)，该至少一个图形处理单元(GPU)可包括任何合适的图形处理电路。通常，GPU可被配置为将待显示对象渲染到帧缓冲区中(例如，包括整个帧的像素数据的帧缓冲区)。GPU可包括一个或多个图形处理器，该图形处理器可执行图形软件以进行部分或全部的图形操作或某些图形操作的硬件加速。在一些实施方案中，控制器304可包括用于处理和渲染视频和/或图像的一个或多个其他部件，例如图像信号处理器(ISP)、编码器/解码器(编解码器)等。在一些实施方案中，控制器304可包括至少一个片上系统(SOC)。
[0064] 存储器330可包括任何类型的存储器，诸如动态随机存取存储器(DRAM)、同步DRAM(SDRAM)、双数据速率(DDR、DDR2、DDR3等)SDRAM(包括SDRAM的移动版本，诸如mDDR3等，或SDRAM的低功率版本，诸如LPDDR2等)、RAMBUS DRAM(RDRAM)、静态RAM(SRAM)等。在一些实施方案中，一个或多个存储器设备可以耦合到电路板上以形成存储器模块，诸如单列直插存储器模块(SIMM)、双列直插存储器模块(DIMM)等。另选地，设备可以与实现系统的集成电路在芯片堆叠构造、封装堆叠构造或者多芯片模块构造中安装。
[0065] 在一些实施方案中，HMD 300可包括至少一个惯性测量单元(IMU)306，该惯性测量单元(IMU)306被配置为检测HMD 300的位置和/或运动并向HMD 300的控制器304提供检测到的位置和/或运动数据。
[0066] 在一些实施方案中，HMD 300可包括收集关于用户的环境的信息(视频、照明信息等)并且可以也收集关于用户的信息(例如，用户的表情、眼睛运动、注视方向、手势等)的传感器320(例如，摄像机、红外或近红外相机、光传感器等)。
[0067] HMD 300可包括超声换能器222(例如，超声发射器和超声接收器，或超声收发器)。在一些实施方案中，可存在一个或多个超声换能器322位于HMD 300的前表面上。然而，在各种实施方案中，超声换能器322可定位在HMD 300上的其他位置，例如在HMD 300的侧面、顶部或底部上。在一些实施方案中，可使用三个超声换能器322的阵列；然而，在一些实施方案中可使用更多或更少的超声换能器322。在一些实施方案中，超声换能器322可以是收发器。
然而，在一些实施方案中，超声换能器322可包括一个或多个发射器和一个或多个接收器。
图4进一步例示了设备诸如HMD 300上的超声换能器322。
然而，在一些实施方案中，超声换能器322可包括一个或多个发射器和一个或多个接收器。
图4进一步例示了设备诸如HMD 300上的超声换能器322。
[0068] HMD 300还可包括被配置为经由连接380与附件310通信的一个或多个接口308。在一些实施方案中，接口308可利用商业(例如，Wi-Fi，蓝牙等)或专有无线通信技术来实现HMD 300和附件310之间的无线连接380。在一些实施方案中，接口308可利用商业(例如，USB等)或专有有线通信技术来实现HMD 300和附件310之间的有线连接380。在具有基站的实施方案中，接口308还可被配置为利用有线或无线通信技术连接到基站并与基站通信。
[0069] HMD 300还可包括或连接到音频输出320部件，例如集成在HMD 300中的耳机或经由有线或无线连接连接至HMD的耳塞。
[0070] 附件310可为用户可在手中穿戴或携带的手持式设备，诸如控制器或手杖、腕带或手表、移动多用途设备诸如智能电话、平板电脑或平板、手套或防护手套等。附件310可包括超声换能器312(例如，超声发射器和超声接收器，或超声收发器)。在一些实施方案中，可存在一个或多个超声换能器312位于附件310的至少一个表面上。在一些实施方案中，可使用三个超声换能器312的阵列；然而，在一些实施方案中可使用更多或更少的超声换能器312。在一些实施方案中，超声换能器312可以是收发器。然而，在一些实施方案中，超声换能器
312可包括一个或多个发射器和一个或多个接收器。图4进一步例示了设备诸如附件310上的超声换能器312。
312可包括一个或多个发射器和一个或多个接收器。图4进一步例示了设备诸如附件310上的超声换能器312。
[0071] 附件310还可包括被配置为经由连接380与HMD 300通信的一个或多个接口316。在一些实施方案中，接口316可利用商业(例如，Wi-Fi，蓝牙等)或专有无线通信技术来实现HMD 300和附件310之间的无线连接380。在一些实施方案中，接口316可利用商业(例如，USB等)或专有有线通信技术来实现HMD 300和附件310之间的有线连接380。在具有基站的实施方案中，接口316还可被配置为利用有线或无线通信技术连接到基站并与基站通信。
[0072] 在一些实施方案中，附件310可包括被配置为实施VR/MR系统中附件310的功能的一个或多个处理器314。在一些实施方案中，附件310还可包括被配置为存储可由所述一个或多个处理器314执行的软件、以及在所述一个或多个处理器314上执行时代码可使用的334的存储器(未示出)。
[0073] 在一些实施方案中，附件310可包括被配置为检测附件310的运动和旋转的至少一个惯性测量单元(IMU)318。利用超声的运动检测的准确性受到声音速度的限制，因此超声换能器312可能更适于跟踪正常或较慢的运动，但不太适合跟踪附件的快速运动或旋转。因此，在一些实施方案中，IMU 318可用于跟踪附件310的快速运动和旋转。由IMU 318收集的运动和取向数据可例如与超声换能器312收集的运动和取向数据一起用于跟踪附件310相对于HMD 300的位置。
[0074] 在一些实施方案中，超声换能器312和/或超声换能器322所收集的运动和取向数据可用于校正附件310中IMU318的漂移。IMU 318检测附件310的加速度和旋转，但自身不能检测附件310的3D空间中的绝对位置。测量中的累积误差可能导致漂移，这可能例如导致IMU 318在没有加速度或旋转时感测到加速度或旋转。然而，HMD 300上和附件310上的超声换能器所收集的运动和取向数据可被用于计算附件310的位置、取向和运动。由超声换能器收集的数据所确定的位置、取向和运动可与IMU 318正报告的位置、取向和运动进行比较。如果检测到差异，例如如果在超声系统未检测到运动或旋转时IMU 318报告运动或旋转，则这指示IMU 318正经历漂移，并且IMU 318可被重新初始化以校正漂移。
[0075] 图4例示了根据一些实施方案的示例性设备上的超声换能器。设备400可为HMD或附件，如图1至图3所示。设备400可包括多个超声换能器402布置在设备400的一个或多个表面上。在一些实施方案中，超声换能器402可位于设备400的前表面上。然而，在各种实施方案中，超声换能器402相反或另外可定位在设备400上的其他位置，例如在设备400的侧面、顶部或底部上。如该示例所示，可使用三个超声换能器402的阵列；然而，在一些实施方案中可使用更多或更少的超声换能器402。在一些实施方案中，超声换能器402可以是收发器。然而，在一些实施方案中，超声换能器402可包括一个或多个超声发射器和一个或多个超声接收器。在一些实施方案中，超声换能器402可以以不同速度、频率、和/或时间发射信号，使得在信号从表面或对象的回波在超声换能器402处被接收时能够对信号进行区分。
[0076] 图5和图6以图形方式例示了根据一些实施方案的在图1至图3所示的示例VR/MR系统中使用超声来标测真实世界环境。图5示出了真实世界环境中穿戴HMD 500并携带附件510的用户。真实环境可为受约束环境，诸如房间或体育馆；然而，实施方案也可用于不受约束的环境中。VR/MR系统允许用户在真实环境中自由移动。真实环境可包括壁或其他表面诸如玻璃或镜子，并且可包括一个或多个对象诸如家具或其他人。HMD 500上和附件510上的超声换能器发射在环境内的表面和对象上回弹的信号或ping，并且接收所述信号从所述表面和对象的回波。在一些实施方案中，超声换能器可以以不同速率、频率和/或时间发射信号，使得信号的发射器可在接收器处被标识。回波的时间延迟可被测量和分析以估计表面和对象的距离和相对位置。所估计的距离和相对位置可用于构造、增强或更新环境的3D标测图。
[0077] 如图5所示，用户将附件510保持在手中或将其穿戴在手臂上，并且因此附件510上的超声换能器可扫描不在HMD 500上的超声换能器的程距内的环境的部分，例如用户的侧边或后面。另外，用户可在保持附件510的同时移动手臂，以标测房间的不在HMD 500上的超声换能器的程距内的部分。此外，当用户移动手臂时，附件510上的测距传感器可检测用户的手或臂与环境中的表面和对象的潜在碰撞；用户可被警示以防止碰撞，例如利用音频、视觉和/或触觉反馈来警示。
[0078] 如前所述，在一些实施方案中，HMD 500可以是由用户穿戴的覆盖用户的眼睛和耳朵的头盔。因此，在一些实施方案中，HMD 500可以相对大体积，并且延伸超过用户的头部所具有的图像的范围。此外，HMD 500可覆盖用户的耳朵和/或向用户播放音频，这夺走了用户的听觉，而听觉通常提供可帮助用户不使头部碰到附近对象或表面的听觉反馈。因此，用户可能倾向于使HMD 500碰到表面或对象，尤其是当处于受约束空间中时。在一些实施方案中，由HMD 500上的超声换能器提供的测距能力可用于检测相对或非常接近的表面或对象，并且可例如利用音频、视觉和/或触觉反馈使用户知道接近的表面或对象或向其警示以防止碰撞。
[0079] 在测距中使用声音优于光的一个优点是，基于光的传感器可能难以用于某些表面诸如玻璃和镜子，而超声换能器能够容易地检测。此外，基于光的传感器在某些条件诸如明亮阳光下可能具有光干涉方面的问题。然而，在一些实施方案中，超声换能器所收集的数据可与利用HMD 500上的其他测距技术(例如，LIDAR技术传感器)获得的深度数据一起用于构造、增强或更新环境的3D标测图。
[0080] 图6例示了可由VR/MR系统至少部分地基于如图5所示对由HMD 500上和附件510上的超声换能器收集的数据的分析而渲染和显示的示例性视图。HMD 500上和附件510上的超声换能器可用于在用户正在真实世界环境中四处移动时检测该环境中的静止或移动对象(例如，家具、人等)和表面(例如，壁、镜子、玻璃)。HMD 500上和附件510上的超声换能器发射在环境内的表面和对象上回弹的信号或ping，并且接收所述信号从所述表面和对象的回波。在一些实施方案中，HMD 500上和附件510上的超声换能器可以以不同速率、频率和/或时间发射信号，使得信号的发射器可在接收器处被标识。回波的时间延迟可被测量和分析以估计表面和对象的距离和相对位置。所估计的距离和相对位置可用于构造、增强或更新环境的3D标测图。3D标测图可例如用于渲染用于显示的3D视图600。在VR系统中，3D视图600是虚拟世界的视图。在MR系统中，3D视图600是现实的增强视图。在一些实施方案中，超声换能器检测到的真实世界对象或表面的虚拟表示或指示可在其四处移动时在VR或MR视图600中显示给用户。在该示例中，渲染和显示对象520A和对象520B以及表面530的虚拟表示。
[0081] 使用声音优于光的一个优点是，基于光的传感器可能难以用于某些表面诸如玻璃和镜子，而超声换能器能够容易地检测。例如，在图5所示的环境中，表面530可以是玻璃墙壁。如果HMD 500包括基于光的传感器，则基于光的传感器可能没有检测到表面530。然而，HMD 500上和/或附件510上的超声换能器可容易地检测到表面530，从而允许表面530被准确地标测。
[0082] 如图5所示，用户将附件510保持在手中或将其穿戴在手臂上，并且因此附件510上的超声换能器可扫描不在HMD 500上的超声换能器的程距内的环境的部分，例如用户的侧边或后面。另外，用户可在保持附件510的同时移动手臂，以标测房间的不在HMD 500上的超声换能器的程距内的部分。因此，附件510上的超声换能器可检测不在HMD 500上的超声波换能器的程距内或者不完全在其程距内的对象和表面诸如对象520B和对象520C和表面530。
[0083] 除了使用由超声换能器收集的数据来生成环境的3D标测图600之外，HMD 500上和附件510上的超声换能器还可用于检测真实世界环境中的附近对象(例如，家具、人等)和表面(例如，壁、镜子、玻璃)，以帮助防止在用户在该环境中四处移动时与所述对象和表面发生碰撞。在一些实施方案中，在VR系统中，如果用户处于与所检测到的对象或表面碰撞的危险，则系统可执行用户的位置或取向的硬重置。在一些实施方案中，在VR或MR系统中，如果系统检测到与对象或表面的潜在碰撞，则系统可向用户提供音频、视觉和/或触觉反馈或警示。
[0084] 图7是根据一些实施方案的用于图1至图3所示VR/MR系统中测距的操作方法的高级流程图。如1000处所示，用户开始在真实环境中使用HMD和附件。例如，HMD可以是用户放置在其头部上的头盔、护目镜或眼镜，并且附件可以是手持式设备，诸如控制器或移动多用途设备。用户然后可开始执行VR或MR应用程序以查看和参与虚拟现实视图或现实的增强视图。VR/MR系统允许用户在真实环境内自由移动，例如在受约束环境诸如房间或体育馆内。因此，用户可在体验VR或MR世界视图时四处走动。然而，实施方案也可用于不受约束的环境中。
[0085] 如1010处所示，HMD上和附件上的超声换能器捕获真实环境中的程距数据。HMD上和附件上的超声换能器发射在环境内的表面和对象上回弹的信号或ping，并且接收所述信号从所述表面和对象的回波。在一些实施方案中，HMD上和附件上的超声换能器以不同速率、频率和/或时间发射信号，使得信号的发射器可在接收器处被标识。因为附件被携带在用户的手中或被穿戴在其手臂上，所以附件上的超声换能器可扫描不在HMD上的超声换能器的程距内的环境的部分。
[0086] 如1020处所示，分析程距数据以估计真实环境中表面和对象的距离和相对位置。例如，回波的时间延迟可被测量和分析以估计表面和对象的距离和相对位置。
[0087] 如1030处所示，至少部分地基于对程距数据的分析来渲染包括虚拟内容的帧。例如，所估计的距离和相对位置可用于构造、增强或更新环境的3D标测图。3D标测图可例如用于渲染用于显示的3D视图。在VR系统中，3D视图是虚拟世界的视图。在MR系统中，3D视图是现实的增强视图。在一些实施方案中，超声换能器检测到的真实世界对象或表面的虚拟表示或指示可在其四处移动时在VR或MR视图中显示给用户。
[0088] 如1040处所指示的，HMD显示所渲染的帧来为用户生成虚拟或增强视图。如从元素1050返回到元素1010的箭头所指示的，只要用户正在使用VR/MR系统，VR/MR系统就可继续接收和处理来自超声换能器的输入以及渲染用于显示的帧。
[0089] 图8是根据一些实施方案的用于使用图1至图3所示VR/MR系统中的HMD上和附件上的超声换能器来跟踪附件与HMD的相对位置的操作方法的高级流程图。如1100处所示，用户开始在真实环境中使用HMD和附件。例如，HMD可以是用户放置在其头部上的头盔、护目镜或眼镜，并且附件可以是手持式设备，诸如控制器或移动多用途设备。用户然后可开始执行VR或MR应用程序以查看和参与虚拟现实视图或现实的增强视图。VR/MR系统允许用户在真实环境内自由移动，例如在受约束环境诸如房间或体育馆内。因此，用户可在体验VR或MR世界视图时四处走动。然而，需注意，实施方案也可用于不受约束的环境中。
[0090] 如1110处所示，HMD上或附件上的超声换能器发射信号。例如，HMD上的三个超声发射器或收发器发射信号或ping，或附件上的三个超声发射器或收发器发射信号或ping。在一些实施方案中，HMD上和附件上的超声换能器以不同速率、频率和/或时间发射信号，使得信号的发射器可在接收器处被标识。
[0091] 如1120处所示，另一设备(附件或HMD)上的超声接收器接收在1110处发射的信号。例如，HMD上的三个超声接收器或收发器接收所述信号或ping，或者附件上的三个超声接收器或收发器接收所述信号或ping。
[0092] 如在1130处所示，从发射器到接收器的信号飞行时间被分析，以确定附件相对于HMD的距离、相对位置和取向。在其中HMD上的超声换能器发送被附件上的超声换能器接收的超声信号的实施方案中，可在附件上分析从发射器到接收器的信号飞行时间，以确定附件相对于HMD的距离、相对位置和取向；然后可经由有线或无线连接将所计算的信息传输给HMD。另选地，可经由有线或无线连接将由附件上的超声换能器收集的数据传输给HMD，并且可在HMD上分析数据以确定附件相对于HMD的距离、相对位置和取向。在其中附件上的超声换能器发送被HMD上的超声换能器接收的超声信号的实施方案中，可在HMD上分析从发射器到接收器的信号飞行时间，以确定附件相对于HMD的距离、相对位置和取向。在包括基站的实施方案中，由附件上或HMD上的超声换能器收集的数据可经由有线或无线连接传输给基站，并且可在基站上分析所述数据以确定附件相对于HMD的距离、相对位置和取向。
[0093] 如通过从元素1140返回到元素1110的箭头所指出的，只要用户正在使用VR/MR系统，VR/MR系统就可继续处理来自超声换能器的数据以跟踪附件的位置和取向。
[0094] 图9是根据一些实施方案的用于检测图1至图3所示VR/MR系统中的潜在碰撞的方法的高级流程图。如1200处所示，用户开始在真实环境中使用HMD和附件。例如，HMD可以是用户放置在其头部上的头盔、护目镜或眼镜，并且附件可以是手持式设备，诸如控制器或移动多用途设备。用户然后可开始执行VR或MR应用程序以查看和参与虚拟现实视图或现实的增强视图。VR/MR系统允许用户在真实环境内自由移动，例如在受约束环境诸如房间或体育馆内。因此，用户可在体验VR或MR世界视图时四处走动。然而，实施方案也可用于不受约束的环境中。
[0095] 如1210处所示，HMD上和附件上的超声换能器捕获真实环境中的程距数据。HMD上和附件上的超声换能器发射在环境内的表面和对象上回弹的信号或ping，并且接收所述信号从所述表面和对象的回波。在一些实施方案中，HMD上和附件上的超声换能器以不同速率、频率和/或时间发射信号，使得信号的发射器可在接收器处被标识。因为附件被携带在用户的手中或被穿戴在其手臂上，所以附件上的超声换能器可扫描不在HMD上的超声换能器的程距内的环境的部分。
[0096] 如1220处所示，程距数据与运动数据结合地被分析，以检测与真实环境中的表面和对象的潜在碰撞。分析程距数据以估计真实环境中表面和对象的距离和相对位置。例如，回波的时间延迟可被测量和分析以估计表面和对象的距离和相对位置。分析例如通过随时间推移分析程距数据和/或分析从HMD和/或附件中的IMU收集的加速度、取向和旋转数据而确定的运动数据，以确定HMD和/或附件相对于真实环境的运动。
[0097] 在1230处，如果对程距数据和运动数据的分析指示HMD和/或附件可能与环境中的表面或对象碰撞，则如在1240处所示，VR/MR系统可向用户提供反馈以向用户警示潜在碰撞和/或向用户通知存在用户应当意识到的附近表面或对象。否则，方法前进到1250。可使用音频、视觉和/或触觉反馈来警示或通知用户。例如，如果VR/MR系统从附件所收集的数据中检测到用户的手可能撞到附近对象或表面，则系统可通过附件提供触觉反馈以向用户警示潜在碰撞，可能与通过HMD的音频和/或视觉警示相结合。又如，如果VR/MR系统从HMD所收集的数据中检测到HMD可能撞到附近对象或表面，则系统可通过HMD提供触觉、音频和/或视觉反馈以向用户警示潜在碰撞。
[0098] 如从元素1250返回到元素1210的箭头所指示的，只要用户正在使用VR/MR系统，VR/MR系统就可继续接收和处理来自超声换能器的输入以检测和警示潜在碰撞。
[0099] 在实施方案中，VR/MR系统可在用户正在使用VR/MR系统时执行如图7至图9所示的方法中的一者或多者。
[0100] 在不同的实施方案中，本文所述的方法可以在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，并且可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可做出各种修改和改变。本文所述的各种实施方案旨在为例示的而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为在本文中被描述为单个示例的部件提供多个示例。各种部件、操作和数据存储库之间的界限在一定程度上是任意性的，并且在具体的示例性配置的上下文中示出了特定操作。预期了功能的其他分配，它们可落在所附权利要求的范围内。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合的结构或部件。这些和其他变型、修改、添加和改进可落入如以下权利要求书中所限定的实施方案的范围内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 用于确定转子位置传感器的测量偏移的方法和装置 | 2020-05-08 | 472 |
| 用于机动车的高压插接连接器的高压插接连接部件、高压车载电网以及机动车 | 2020-05-08 | 792 |
| 用于分配卫生产品的分配器及操作所述分配器的方法 | 2020-05-08 | 964 |
| 用于温度确定的温度测量装置和方法 | 2020-05-11 | 852 |
| 具有传感器的移动设备 | 2020-05-08 | 392 |
| 可充电电池短路预测装置和可充电电池短路预测方法 | 2020-05-08 | 884 |
| 无线电力系统的保护和控制 | 2020-05-08 | 207 |
| 力矩传感器以及转向装置 | 2020-05-11 | 587 |
| 包括多个光电二极管的定位和检测设备 | 2020-05-08 | 645 |
| 水处理系统 | 2020-05-08 | 169 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
传感器热门专利
QQ群二维码
意见反馈
意见反馈