相机模块及其相关系统专利检索-头戴式显示器近眼显示器显示技术专利检索查询-专利查询网

相机模块及其相关系统

阅读：522发布：2020-05-12

专利汇可以提供相机模块及其相关系统专利检索，专利查询，专利分析的服务。并且本发明公开了一种相机模块及其相关系统，其中相机模块用于头戴式显示器，包含有第一光学模块，用来追踪用户的手部动作以产生第一追踪数据；第二光学模块，用来追踪该用户的手势、步伐及实体空间以产生第二追踪数据；第三光学模块，用来追踪该实体空间中的三维实体物件以产生第三追踪数据；以及处理单元，用来整合该第一追踪数据、该第二追踪数据及该第三追踪数据以基于该实体空间及三维实体物件重建虚拟空间及三维虚拟物件并重建该用户的肢体动作。，下面是相机模块及其相关系统专利的具体信息内容。

权利要求

1.一种相机模块，用于头戴式显示器，其特征在于，包含有：
第一光学模块，用来追踪用户的手部动作以产生第一追踪数据；
第二光学模块，用来追踪该用户的手势、步伐及实体空间以产生第二追踪数据；
第三光学模块，用来追踪该实体空间中的三维实体物件以产生第三追踪数据；以及处理单元，用来整合该第一追踪数据、该第二追踪数据及该第三追踪数据以基于该实体空间及三维实体物件重建虚拟空间及三维虚拟物件并重建该用户的肢体动作。
2.根据权利要求1所述的相机模块，其特征在于，该第一光学模块、该第二光学模块及第三光学模块为可旋转的，且该第一光学模块、该第二光学模块及第三光学模块的旋转不同步。
3.根据权利要求1所述的相机模块，其特征在于，该第一光学模块是宽视野RGB相机，用来实现实时定位与地图构建及追踪该用户的该手部动作。
4.根据权利要求1所述的相机模块，其特征在于，该第二光学模块为深度RGB相机，并且该处理单元基于该深度RGB相机的第二追踪数据及深度算法，重建该用户的该手势、该步伐及虚拟空间。
5.根据权利要求1所述的相机模块，其特征在于，该第三光学模块为高分辨率相机用来拍摄复数张照片，并且该处理单元基于该高分辨率相机的第三追踪数据重建三维虚拟物件。
6.一种系统，其特征在于，包含有：
头戴式显示器；以及
相机模块，设置于该头戴式显示器，并且该相机模块包含有：
第一光学模块，用来追踪用户的手部动作以产生第一追踪数据；
第二光学模块，用来追踪该用户的手势、步伐及实体空间以产生第二追踪数据；
第三光学模块，用来追踪该实体空间中的三维实体物件以产生第三追踪数据；以及处理单元，用来整合该第一追踪数据、该第二追踪数据及该第三追踪数据以基于该实体空间及三维实体物件重建虚拟空间及三维虚拟物件并重建该用户的肢体动作。
7.根据权利要求6所述的系统，其特征在于，该第一光学模块、该第二光学模块及第三光学模块为可旋转的，且该第一光学模块、该第二光学模块及第三光学模块的旋转不同步。
8.根据权利要求6所述的系统，其特征在于，该第一光学模块是宽视野RGB相机用来以实现实时定位与地图构建及追踪该用户的该手部动作。
9.根据权利要求6所述的系统，其特征在于，该第二光学模块为深度RGB相机，并且该处理单元基于该深度RGB相机的第二追踪数据及深度算法，重建该用户的该手势、该步伐及重建虚拟空间。
10.根据权利要求6所述的系统，其特征在于，该第三光学模块为高分辨率相机用来拍摄复数张照片，并且该处理单元基于该高分辨率相机的第三追踪数据重建三维虚拟物件。

说明书全文

相机模块及其相关系统

【技术领域】

[0001] 本发明涉及一种相机模块及其相关系统，尤其涉及一种将多个光学模块整合于头戴式显示器的相机模块及其相关系统。【背景技术】

[0002] 随着科技的发展与进步，计算机游戏与用户之间的互动需求也随之增加。人机互动科技，例如体感游戏、虚拟现实(Virtual Reality，VR)环境、增强现实(Augmented Reality，AR)环境、混合现实(Mixed Reality，MR)环境、扩展现实(Extended Reality，XR)环境，也由于其生理及娱乐功能而愈趋流行。现有的人机互动科技，如头戴式显示器(head-mounted display，HMD)、运动外围控制器或相机，通过由外而内的追踪方法以重建虚拟物件、实时地追踪移动物件的场景坐标，以追踪用户的动作进而虚拟化用户。如此一来，头戴式显示器、运动外围控制器或相机可共同配合以反应用户在VR/AR/MR/XR环境中所做的手势，以同时在VR/AR/MR/XR环境中与用户产生互动。

[0003] 然而，当现有技术缺少运动外围控制器或相机以追踪用户的动作或手势时，头戴式显示器则无法虚拟化用户的动作或手势，进而影响用户的体验。【发明内容】

[0004] 因此，本发明提供一种相机模块及其相关系统，以提供用户更佳的体验。

[0005] 本发明的一实施例公开一种相机模块，用于头戴式显示器，包含有第一光学模块，用来追踪用户的手部动作以产生第一追踪数据；第二光学模块，用来追踪该用户的手势、步伐及实体空间以产生第二追踪数据；第三光学模块，用来追踪该实体空间中的三维实体物件以产生第三追踪数据；以及处理单元，用来整合该第一追踪数据、该第二追踪数据及该第三追踪数据以基于该实体空间及三维实体物件重建虚拟空间及三维虚拟物件并重建该用户的肢体动作。

[0006] 本发明的另一实施例公开一种系统，包含有头戴式显示器；以及相机模块，设置于该头戴式显示器，并且该相机模块包含有第一光学模块，用来追踪用户的手部动作以产生第一追踪数据；第二光学模块，用来追踪该用户的手势、步伐及实体空间以产生第二追踪数据；第三光学模块，用来追踪该实体空间中的三维实体物件以产生第三追踪数据；以及处理单元，用来整合该第一追踪数据、该第二追踪数据及该第三追踪数据以基于该实体空间及三维实体物件重建虚拟空间及三维虚拟物件并重建该用户的肢体动作。【附图说明】

[0007] 图1为本发明实施例的系统的示意图。图2为本发明实施例的相机模块的示意图。
图3及图4为本发明实施例的系统应用于用户时的示意图。

[0008] 附图标记说明：10                    系统
102                         头戴式显示器
104                         相机模块
C1                          第一光学模块
C2                          第二光学模块
C3                          第三光学模块
P1                          第一位置
P2                          第二位置
【具体实施方式】

[0009] 请参考图1，图1为本发明实施例的系统10的示意图。系统10包含头戴式显示器(head-mounted display，HMD)102及相机模块104。头戴式显示器102可被用户配戴，并且头戴式显示器102的显示部分可用来呈现具有至少一虚拟物件的VR/AR/MR/XR环境。相机模块104如图2所示，可设置或安装于头戴式显示器102，其包含有第一光学模块C1用来追踪用户的手部动作以产生第一追踪数据、第二光学模块C2用来追踪用户的手势或步伐以及实体空间以产生第二追踪数据、第三光学模块C3用来追踪实体空间中的三维实体物件以产生第三追踪数据，以及处理单元用来整合第一追踪数据、第二追踪数据及第三追踪数据基于该实体空间及三维实体物件重建虚拟空间及三维虚拟物件，并重建该用户的肢体动作。除此之外，相机模块104为可旋转的。举例来说，当用户配戴具有相机模块104的头戴式显示器102时，系统10可根据相机模块104所撷取的用户的手势、步伐以及实体空间，依据由内而外的追踪方法，以重建三维虚拟空间以及三维虚拟物件。因此，本发明的系统10重建用户的肢体动作及重建VR/AR/MR/XR环境中的虚拟物件，而不需要布建额外装置以重建虚拟物件及虚拟空间。

[0010] 上述范例仅概略描述本案发明的系统10不需布建额外的装置以重建虚拟空间及虚拟物件。值得注意的是，本发明所属技术领域中的一般技术人员可据以适当修改本发明。举例来说，相机模块104所包含的光学模块不限于前述范例，可采用四个以上的光学模块整合于头戴式显示器，来重建虚拟空间及三维虚拟物件，但不限于此，皆属本发明的范畴。

[0011] 详细而言，第一光学模块C1可以是宽视野(field-of-view，FOV)RGB相机，用来实现实时定位与地图构建(simultaneous localization and mapping，SLAM)方式及追踪用户的手部动作，以通过处理单元重建或更新未知环境的地图，并实时地在未知环境的地图中，持续追踪用户的位置。在一实施例中，当用户的手在移动时，宽视野RGB相机以宽视野角度追踪用户的手部动作。值得注意的是，宽视野RGB相机的视野角度至少为100度。因此，本发明的系统10可在不需要追踪器或者由外而内的装置(如运动控制器及相机追踪或感测用户的移动)的情形下，实现SLAM并追踪用户的手部动作。

[0012] 第二光学模块C2可用来追踪用户当前所在的实体空间、用户的手势及步伐。在一实施例中，第二光学模块C2可以深度RGB(RGB-D)相机实现。因此，处理单元可利用深度RGB相机的追踪结果与深度模型或深度算法以重建三维空间、用户的手势及步伐。具体而言，在三维实体空间中，深度RGB相机撷取具有用户的手势、步伐的深度信息的照片，以通过处理单元辨识动态的手势及步伐。相似地，三维虚拟空间也可根据深度RGB相机所拍摄的照片进行重建。换句话说，深度RGB相机扫描用户周遭的空间以建立三维虚拟空间。因此，系统10的第二光学模块C2的追踪结果可用于处理单元重建三维虚拟空间、用户的手势及步伐，而不需要由外而内的装置以感测或追踪用户的动作。

[0013] 第三光学模块C3可以是高分辨率(high-definition，HD)相机用来拍摄物件的照片，以重建三维空间中的虚拟物件。在一实施例中，高分辨率相机可以拍摄2400万像素以上的照片。具体而言，高分辨率相机拍摄用户周围的物件，使得处理单元可不需要由外而内的装置，在虚拟三维空间中建立虚拟物件。或者，处理单元可整合高分辨率相机所拍摄的照片以及物件重建算法来建立虚拟物件。因此，系统10可依据第三光学模块C3而不需由外而内装置或其他辅助装置，以重建虚拟物件。

[0014] 值得注意的是，上述实施例仅概略描述本发明的构想，本发明所属技术领域中的一般技术人员可据以适当修改，而不限于此。举例来说，请参考图3及图4，其为本发明实施例的系统10应用于用户时的示意图。如图3及图4所示，虚线代表相机模块104的每一光学模块的追踪范围，其包含有用户的手部、脚部及肢体，使得系统10可不需要由外而内装置以重建并虚拟化三维虚拟物件及空间。进一步地，由于设置于头戴式显示器102上的相机模块104为可旋转的，因此，其追踪范围可以被最大化。如图4所示，相机模块104可在第一位置P1与一第二位置P2之间旋转。当相机模块104位于第一位置P1时，追踪范围主要位于用户前方，而当相机模块104位于第二位置P2时，追踪范围主要位于用户的肢体以及脚部。值得注意的是，相机模块104可以被调整或固定于第一位置P1与第二位置P2之间的任一位置，而不限于的第一位置P1及第二位置P2。在另一实施例中，相机模块104的光学模块C1、C2及C3可分别地往不同维度旋转，以最大化追踪范围并选择适当的拍摄角度。

[0015] 综上所述，本发明提供一种具有由内而外的追踪方法的相机模块及系统，以提供用户更佳的体验。以上所述仅为本发明的较佳实施例，凡依本发明权利要求书所做的均等变化与修饰，皆应属本发明的涵盖范围。

标题	发布/更新时间	阅读量
用于手术的装置与方法	2020-05-12	692
用于偏振旋转的液晶盒	2020-05-12	299
具有可调节骨传导声学装置的头部穿戴设备	2020-05-12	945
通过数据融合产生脸部表情的方法、装置及头戴式显示器	2020-05-12	67
用于确定用户视力的方法和设备	2020-05-11	610
相机模块及其相关系统	2020-05-12	522
作为认知控制信号的瞳孔调制	2020-05-11	204
一种基于脑信号控制的VR装置	2020-05-08	601
一种目镜光学系统及头戴显示器	2020-05-12	612
一种基于VR技术的焊接设备	2020-05-08	231

相机模块及其相关系统

相机模块及其相关系统

该功能需要专业版企业版VIP权限，您可以：