用于在施工现场生成自适应投射现实的方法和系统专利检索-电梯井道自动扶梯，电梯和楼梯专利检索查询-专利查询网

用于在施工现场生成自适应投射现实的方法和系统

阅读：319发布：2020-05-11

专利汇可以提供用于在施工现场生成自适应投射现实的方法和系统专利检索，专利查询，专利分析的服务。并且本文提供了一种用于在动态变化的施工现场上投射自适应增强现实内容的方法和系统。该系统可以包括：捕获设备，其包括被配置为捕获场景的3D图像的至少一个传感器；计算机处理器，其被配置为：基于所述捕获的3D图像，生成所述场景内的表面的3D模型；以及获得与将在所述场景中被建造的建筑物相关联的施工方案；基于以下项生成可投影视觉内容：基于施工方案的期望施工状态和基于所述场景内的所述表面的3D模型的当前施工状态；以及投影仪，其被配置为将所述可投影视觉内容投射到所述场景内的所述表面上，其中，所述捕获设备、所述计算机处理器和所述投影仪被配置为重复它们的操作并更新所述可投影视觉内容。，下面是用于在施工现场生成自适应投射现实的方法和系统专利的具体信息内容。

权利要求

1.一种用于在动态变化的施工现场上投射自适应增强现实内容的系统，所述系统包括：
捕获设备，所述捕获设备包括至少一个传感器，所述至少一个传感器被配置为捕获场景的3D图像；
计算机处理器，所述计算机处理器被配置为：
基于所捕获的3D图像，生成所述场景内的表面的3D模型；以及
获得与将在所述场景中建造的建筑物相关联的施工方案；
基于以下内容生成可投影视觉内容：
i)基于所述施工方案的期望施工状态；以及，
ii)基于所述场景内的所述表面的3D模型的当前施工状态；以及
投影仪，所述投影仪被配置为将所述可投影视觉内容投射到所述场景内的所述表面上，其中，所述捕获设备、所述计算机处理器和所述投影仪被配置成重复所述捕获设备、所述计算机处理器和所述投影仪的操作并更新所述可投影视觉内容。
2.根据权利要求1所述的系统，其中，所述表面的3D模型是3D点云，所述3D点云包括被布置在整个所述场景中的一组数据点，并且其中，根据所述3D点云，所述施工方案被转换并渲染成可投影视觉内容。
3.根据权利要求1所述的系统，其中，所述系统还被配置为将所述当前施工状态与所述施工方案进行比较，并由此确定施工准确度水平。
4.根据权利要求3所述的系统，其中，所述处理器还被配置为根据未对准阈值来评估所述施工准确度水平，并在所述施工准确度水平违反了所述未对准阈值的情况下，生成以下项中的一个或更多个：
i)警告指示；以及，
ii)修改后的施工方案。
5.根据权利要求1所述的系统，其中，所述施工方案包括施工进度表，并且其中，所述系统还被配置为将所述当前施工状态与所述施工进度表进行比较，并由此确定施工及时性水平。
6.根据权利要求5所述的系统，其中，所述处理器还被配置成根据施工时间线评估所述施工及时性水平，并在所述施工及时性水平违反了所述施工时间线的情况下，生成以下项中的一个或更多个：
i)警告指示；以及，
ii)修改后的施工方案。
7.根据权利要求4和6所述的系统，其中，所述处理器还被配置成根据以下项中的一个或更多个自动地或选择性地更新所述可投影视觉内容：
i)手动用户输入；
ii)所述施工时间线；以及，
iii)所述修改后的施工方案。
8.根据权利要求3和5所述的系统，其中，所述系统还包括通信模块，并且其中，所述处理器还被配置成使用所述通信模块向外部实体或内部实体传输关于以下项中的至少一项的一个或更多个反馈或状态更新：所述施工准确度水平和所述施工及时性水平。
9.根据权利要求8所述的系统，其中，所述反馈或状态更新包括警报或警告信息，并且其中，所述警报或警告信息包括以下项中的一个或更多个：
i)关于施工质量的信息；
ii)关于所述当前施工状态和所述施工方案之间的差异的信息；
iii)关于统计或调度差异的信息；
iv)关于潜在的安全隐患的信息；
v)关于房间或建筑物的尺寸测量值的信息；以及，
vi)关于资源使用状况的信息。
10.根据权利要求1所述的系统，其中，所述可投影视觉内容包括以下项中的一个或更多个：
i)电源布线和插座；
ii)沟渠；
iii)空调导管或管；
iv)通风通道；
v)窗户；
vi)房间或建筑物横梁；
vii)管子通道；
viii)电梯井；
ix)说明或指导；
x)隐藏的对象；
xi)水平或网格线；
xii)墙壁或其他表面；以及，
xiii)模板。
11.根据权利要求4或6所述的系统，其中，所述系统还包括显示设备，并且其中，所述处理器还被配置成在生成所述修改后的施工方案的情况下在所述显示设备上生成警告或提示。
12.根据权利要求11所述的系统，其中，所述系统还包括输入设备，并且其中，可以使用所述输入设备来接受或拒绝所述修改后的施工方案。
13.根据权利要求1所述的系统，其中，所述系统还包括传感器，所述传感器被配置为检测所述捕获设备是否已经相对于所述场景被移动，并且其中，所述捕获设备、所述计算机处理器和所述投影仪被配置为在所述捕获设备被确定为已经相对于所述场景被移动的情况下立即重复所述捕获设备、所述计算机处理器和所述投影仪的操作。
14.根据权利要求1所述的系统，其中，所述捕获设备、所述计算机处理器和所述投影仪被配置成周期性地重复所述捕获设备、所述计算机处理器和所述投影仪的操作并更新所述可投影视觉内容。
15.根据权利要求1所述的系统，其中，所述捕获设备是可操作来捕获2D图像的2D相机，并且其中，所述场景的所述3D图像由所述2D图像和其他数据的组合来构建。
16.根据权利要求1所述的系统，其中，所述投影仪和所述捕获设备共享一个或更多个公共部件。
17.根据权利要求1所述的系统，其中，所述系统还包括传感器，所述传感器可操作来检测用户的存在和距离中的一者或更多者，并且其中，所述投影仪被配置成在所述用户位于所述投影仪和所述场景内的所述表面之间的情况下终止操作。
18.根据权利要求1所述的系统，其中，所述可投影视觉内容包括维护示意图，并且其中，所述投影仪可操作来将所述可投影视觉内容投射到完全施工好的建筑物内的表面上。
19.根据权利要求1所述的系统，其中，所述系统还包括外部用户接口模块和内部用户接口模块中的至少一个，并且其中，所述外部用户接口模块和内部用户接口模块中的每一个被配置为进行以下操作中的至少一个：向所述系统发出控制命令，以及向用户显示信息。
20.根据权利要求5所述的系统，其中，所述施工进度表包括施工顺序，并且其中，所述处理器被配置为进行以下操作中的至少一个：在所述施工顺序被违反的情况下生成警告指示；以及，根据所述施工顺序生成投影。
21.一种用于在动态变化的施工现场上投射自适应增强现实内容的方法，所述方法包括：
使用捕获设备捕获场景的3D图像；
基于所述场景的所述3D图像，生成所述场景内的表面的3D模型；
获得与将在所述场景中建造的建筑物相关联的施工方案；
基于以下内容生成可投影视觉内容：
i)基于所述施工方案的期望施工状态；以及，
ii)基于所述场景内的所述表面的3D模型的当前施工状态；以及
将所述可投影视觉内容投射到所述场景内的所述表面上，
其中，所述捕获、所述获得、所述生成和所述投射被重复以更新所述可投影视觉内容。
22.根据权利要求21所述的方法，其中，所述表面的3D模型是3D点云，所述3D点云包括布置在整个所述场景中的一组数据点，并且其中，根据所述3D点云，所述施工方案被转换并渲染成可投影视觉内容。
23.根据权利要求21所述的方法，其中，所述方法还包括将所述当前施工状态与所述施工方案进行比较，并由此确定施工准确度水平。
24.根据权利要求23所述的方法，其中，所述方法还包括根据未对准阈值来评估所述施工准确度水平，并在所述施工准确度水平违反了所述未对准阈值的情况下生成以下项中的一个或更多个：
iii)警告指示；以及，
iv)修改后的施工方案。
25.根据权利要求21所述的方法，其中，所述施工方案包括施工进度表，并且其中，所述方法还包括将所述当前施工状态与所述施工进度表进行比较，并由此确定施工及时性水平。
26.根据权利要求25所述的方法，其中，所述方法还包括根据施工时间线来评估所述施工及时性水平，并在所述施工及时性水平违反了所述施工时间线的情况下生成以下项中的一个或更多个：
i)警告指示；以及，
ii)修改后的施工方案。
27.根据权利要求24和26所述的方法，其中，所述方法还包括根据以下项中的一个或更多个自动地或选择性地更新所述可投影视觉内容：
i)手动用户输入；
ii)所述施工时间线；以及，
iii)所述修改后的施工方案。
28.根据权利要求23和25所述的方法，其中，所述方法还包括向外部实体或内部实体传输关于以下项中的至少一项的一个或更多个反馈或状态更新：所述施工准确度水平和所述施工及时性水平。
29.根据权利要求28所述的方法，其中，所述反馈或状态更新包括警报或警告信息，并且其中，所述警报或警告信息包括以下项中的一个或更多个：
i)关于施工质量的信息；
ii)关于所述当前施工状态和所述施工方案之间的差异的信息；
iii)关于统计或调度差异的信息；
iv)关于潜在的安全隐患的信息；
v)关于房间或建筑物的尺寸测量值的信息；以及，
vi)关于资源使用状况的信息。
30.根据权利要求21所述的方法，其中，所述可投影视觉内容包括以下项中的一个或更多个：
i)电源布线和插座；
ii)沟渠；
iii)空调导管或管；
iv)通风通道；
v)窗户；
vi)房间或建筑物横梁；
vii)管子通道；
viii)电梯井；
ix)说明或指导；
x)隐藏的对象；
xi)水平或网格线；
xii)墙壁或其他表面；以及，
xiii)模板。
31.根据权利要求24或26所述的方法，其中，所述方法还包括在生成所述修改后的施工方案的情况下显示警告或提示。
32.根据权利要求31所述的方法，其中，所述方法还包括接受或拒绝所述修改后的施工方案。
33.根据权利要求21所述的方法，其中，所述方法还包括感测所述捕获设备是否已经相对于所述场景被移动，并且在所述捕获设备被确定为已经相对于所述场景被移动的情况下，立即重复所述捕获、所述获得、所述生成和所述投射。
34.根据权利要求21所述的方法，其中，所述捕获、所述生成、所述获取和所述投射被周期性地重复以更新所述可投影视觉内容。
35.根据权利要求21所述的方法，其中，所述捕获设备可操作来捕获2D图像，并且其中，所述场景的所述3D图像由所述2D图像和其他数据的组合来构建。
36.根据权利要求21所述的方法，其中，所述投射和所述捕获是使用一个或更多个公共部件来执行的。
37.根据权利要求21所述的方法，其中，所述方法还包括感测用户的存在和距离中的一者或更多者，并且其中，所述投射在所述用户位于所述可投影视觉内容的路径中的情况下终止。
38.根据权利要求21所述的方法，其中，所述可投影视觉内容包括维护示意图，并且其中，所述可投影视觉内容被投射到完全施工好的建筑物内的表面上。
39.根据权利要求21所述的方法，其中，所述方法还包括使用外部用户接口模块和内部用户接口模块中的至少一个，并且其中，所述外部用户接口模块和内部用户接口模块中的每一个被配置为进行以下操作中的至少一个：发出控制命令，以及向用户显示信息。
40.根据权利要求25所述的方法，其中，所述施工进度表包括施工顺序，并且其中，所述方法还包括以下操作中的至少一个：在所述施工顺序被违反的情况下生成警告指示；以及，根据所述施工顺序生成投影。

说明书全文

用于在施工现场生成自适应投射现实的方法和系统

发明领域

[0001] 本发明总体上涉及自适应投射现实领域，且更具体地说，涉及用于动态变化场景的自适应投射现实。

[0002] 发明背景

[0003] 典型的施工过程包括两个主要阶段，即设计阶段和建造阶段。在设计阶段，建筑师通常规划结构的布局和组成，并可能提出施工时间表或进度表。在建造阶段，承包商可能由建造者团队协助来实施建筑方案，且从而根据提供的规范和进度表建造该结构。

[0004] 为了确保最终的结构与建筑方案尽可能紧密地匹配，建造阶段通常非常缓慢，并且可能需要多个测量员定期地评估和测量结构以避免方案差异的出现或延续。这通常是重要的，因为如果出现重大的非预期的方案差异，在建造周期的后期纠正结构的机会可能是有限的。特别是，某些级别的方案差异会妨碍结构的完整性，而且另外需要进行实质性的修改、大修或甚至重建。在某些情况下，特别是在有严格的时间表或预算的情况下，纠正方案差异可能过于昂贵或耗时，而且另外会导致施工工程完工晚、超出预算和/或保持未完成。

[0005] 为了提高建造准确度和效率，通常在建造工程期间采用许多已知的电子设备，例如激光测距仪和三维(3D)重建工具。然而，这些电子设备很笨重且有时难以使用，而且通常解决的是结构的局部方面，而不是宏观方面。在已经将施工作为整体进行隔离的情况下进行了建造优化或重组的情况下，未对准问题在建造周期的后期出现的可能性增加。因此，本发明的一个目的是提出一种用于在施工工程中提高建造准确度和效率的手段。本发明的另一个目的是提出一种用于在动态建造环境中宏观评估建造差异并自适应地提高建造质量的手段。

[0006] 本发明概述

[0007] 本发明的一些实施例提供了一种用于在动态变化的施工现场上投射自适应增强现实内容的系统。该系统可以包括：捕获设备，其包括被配置为捕获场景的3D图像的至少一个传感器；计算机处理器，其被配置为：基于所述捕获的3D图像，生成所述场景内的表面的3D模型；以及获得与将在所述场景中建造的建筑物相关联的施工方案；基于以下内容生成可投影视觉内容：基于施工方案的期望施工状态和基于所述场景内的所述表面的3D模型的当前施工状态；以及投影仪，其被配置为将所述可投影视觉内容投射到所述场景内的所述表面上，其中，所述捕获设备、所述计算机处理器和所述投影仪被配置为重复它们的操作并更新所述可投影视觉内容。

[0008] 本发明的可选实施例提供了一种用于在动态变化的施工现场上投射自适应增强现实内容的方法。该方法可以包括：使用捕获设备捕获场景的3D图像；基于所述场景的所述3D图像，生成所述场景内的表面的3D模型；获得与将在所述场景中建造的建筑物相关联的施工方案；基于以下内容生成可投影视觉内容：基于施工方案的期望施工状态；以及，基于所述场景内的所述表面的3D模型的当前施工状态；以及将所述可投影视觉内容投射到所述场景内的所述表面上，其中，所述捕获步骤、所述获得步骤、所述生成步骤和所述投影步骤被重复以更新所述可投影视觉内容。

[0009] 本发明的这些特征和其他特征在以下描述中被详细阐述。

[0010] 附图简述

[0011] 为更好地理解本发明，并为了示出如何可以实现本发明，仅以举例的方式参照附图，附图中类似的标记表示相对应的元素或部分。在附图中：

[0012] 图1是示出根据本发明的实施例的非限制性系统布置的高层次图。

[0013] 图2是示出根据本发明的实施例的示例性实现周期的高层次图。

[0014] 图3是示出根据本发明的实施例的非限制性示例性感测模块操作的高层次框图。

[0015] 图4是示出根据本发明的实施例的非限制性示例性拟合模块操作的高层次框图。

[0016] 图5是示出根据本发明的实施例的非限制性示例性投影模块操作的高层次框图。

[0017] 图6是示出根据本发明的实施例的详细的非限制性系统布置的高层次图。

[0018] 图7是示出根据本发明的实施例的非限制性示例性三维扫描方法的高层次流程图。

[0019] 图8是示出根据本发明的实施例的非限制性示例性方法的高层次框图。

[0020] 发明的详细描述

[0021] 现在详细地具体参考附图，要强调的是，所示的细节是出于举例的目的且仅是为了讨论本发明的优选实施例，并为了提供被认为是本发明的原理和概念方面的最有用和容易理解的描述而被呈现。在这一点上，没有试图比基本理解本发明所必需的更详细地示出本发明的结构细节。使用附图进行的描述对于本领域技术人员来说，如何可以在实践中实施本发明的若干形式是明显的。

[0022] 在详细解释本发明的实施例之前，应理解，本发明在应用中不受限于在下面的描述中阐述或在附图中示出的部件的构建和布置的细节。本发明可适用于其他实施例并且可以以各种方式被实践或被执行。而且，应理解本文采用的措辞和术语是出于描述的目的而不应被看作是限制性的。

[0023] 在阐述本发明的详细描述之前，提供以下术语定义。

[0024] 术语“自适应”通常是指经历调和的变化以改善拟合度或适用性的能力或敏感性。更具体地说，在当前上下文中，‘自适应’是指系统或工具根据动态场景或环境变化改变其输出(例如其投影输出)的能力。

[0025] 术语“增强现实”通常是指物理真实世界环境的直接或间接视图，其中物理真实世界环境的元素已经通过覆盖的计算机生成的感知信息增强。这种感知信息尤其可以使用视觉模式来呈现；然而，也可以采用其他模式，例如听觉、触觉、体感和嗅觉模式。覆盖的感官信息可以是建设性的或破坏性的，且从而起到额外补充环境中存在的特征的作用，或者以其他方式起到混淆和掩盖环境中存在的特征的作用。

[0026] 术语“动态变化”通常是指连续、规则、不规则或恒定的变化、活动或进展的特征。更具体地说，在当前上下文中，“动态变化”是指环境变化，例如建造进度，其与时间的流逝相对应或作为时间流逝的结果而产生。在某些情况下，动态变化可能是预期的，并且可能根据方案或进度表出现。在其他情况下，动态变化可能是非预期的，并且是作为错误的结果或由于例如意外天气事件而导致的。

[0027] 术语“三维(3D)点云”通常是指在整个空间或环境中规则地或均匀地布置的一组数据点。点云通常是使用3D 扫描仪产生的，3D扫描仪测量和表征所在地物体的外表面。点云可用于许多目的，最显著的目的包括CAD模型、计量、质量检查，或者如在当前上下文中的可视化、动画和渲染。点云可以使用许多已知技术(例如Delaunay三角剖分、alpha形状或球旋转(ball pivoting))被转换并渲染成3D表面。这些转换方法中的一些方法需要在点云中的现有顶点上构建三角形网络，而另一些方法通过使用例如移动立方体(marching cub)算法将点云转换成体积距离场(volumetric distance field)并重建隐式表面。

[0028] 术语“点集配准(point set registration)”(PSR)或“点匹配”通常是指找到对准两个点集的空间变换的模式识别过程。更具体地，在当前上下文中，可以通过将多个数据集合并到全局一致的模型中并将新的测量值映射到已知数据集以识别特征或估计姿态(即，位置和定向)来导出空间变换。在一些情况下，至少一个点集可以从描绘例如真实世界场景和/或施工现场的原始3D扫描数据中导出。

[0029] 术语“迭代最近点”(ICP)通常是指被采用来最小化两个点云之间的差异或散度的算法。在当前上下文中，施工方案可以被表示为保持固定的第一目标点云或参考点云。可通过扫描真实场景或施工现场中的2D或3D表面而导出的第二点云可以被变换以最佳匹配目标点云或参考点云。特别地，该算法可以迭代地修改例如在平移和旋转方面的变换，以最小化误差度量，例如两个点云之间的点距离。

[0030] 现在转向详细描述，本发明的一些实施例提供了一种自适应投射现实(APR)设备，以供例如建造者、鉴定人、建筑师、工程师、测量员、检查员等使用。出于例如提高建造者可以进行施工的准确度和效率的目的，APR设备可用于将期望的施工方案投射到目标表面上。

[0031] APR设备可以监测本地或邻近环境，并将指示或图像投射到位于该环境中的表面上。APR设备可以能够根据环境变化、施工进程和/或重新定位自适应地改变和对准投射图像或指示。特别地，APR设备可以基于以下任一项来改变投射图像或指示：更新后或修改后的方案；环境变化；以及设备位置相对于环境的变化。在一些实施例中，APR设备还可以提供关于(例如相对于预定义的进度表)施工的进度的反馈，或者关于建造正进行着的质量和准确度(例如相对于偏离预定义的建造或设计方案)的反馈。

[0032] 在一些实施例中，APR设备可以连续或不定期地记录(例如与建造进度表相关的)建造进度，并创建状态更新。在一些实施例中，状态更新可以包括警报或警告信息，并且可以例如经由无线方式传输到相关的预定义内部实体或外部实体。在一些实施例中，相关内部实体可以包括一个或更多个施工雇员，例如：现场的工人；现场监督员；工程经理等等。在可选实施例中，相关外部实体可以包括一个或更多个利益相关者，例如：开发商；诸如银行的金融实体；诸如律师的法律实体；市政或政府当局；施工经理；内部和外部监督员；以及工程经理。在一些实施例中，警报或警告信息可以包括以下全部或其中一些：

[0033] a.关于施工质量的信息；

[0034] b.关于实际施工和其相关联的方案/设计之间的偏差的信息；

[0035] c.关于统计或调度偏差/异常的信息；

[0036] d.关于原始设计或实际施工内的潜在安全问题的信息；以及，

[0037] e.关于实际施工中的特定房间或建筑物的尺寸测量值的信息，例如用于不动产税目的。

[0038] 本领域技术人员将理解，APR设备不限于与施工相关的用途，并且在一些实施例中可以用于其他目的，例如：

[0039] a.汽车、飞机或其他大型结构制造；

[0040] b.室内导航，例如用于绘制场所内部地图；

[0041] c.游戏，例如用于将动画角色投射到玩家周围的表面上；

[0042] d.模板，例如用于将引导线(guides)投射到表面上以供油漆工描绘或绘制；以及，[0043] e.木工工艺，例如用于将橱柜或其他家具安装在墙上。

[0044] 在可选实施例中，APR设备可用于施工后的维护、翻新和修理。特别地，如果建筑物例如由于老化或火灾爆发而失修或需要扩建，如本领域技术人员将会理解的，APR设备可用于识别和预测导管(例如，管道系统(pipework))、电缆和/或其他关键建筑构件的位置。当建造元件/电缆/导管位于不透明表面(例如墙壁、隔板(bulkhead)等)后面时，这可能是有特殊价值的。

[0045] 此外，本领域技术人员将理解，本文使用的对“施工现场”的引用可以互换地指任何形式的商业或私人不动产。商业或私人不动产的非限制性示例包括：新的建筑物、修复的建筑物、房屋、公寓、或任何其他适当形式的基础设施。此外，对“建成的”或“完成的”的引用可以指构建的结构/建筑物的最终形式或其一部分。要理解的是，“建成的”结构可能对施工方案具有差的、充分的或最佳的依从性。

[0046] 图1是根据本发明的实施例示出被配置成执行感测、拟合和投影的非限制性系统布置100的高层次图。系统100可以包括感测模块110，感测模块110包括一个或更多个传感器，例如一个或更多个2D和/或3D相机、全球定位系统(GPS)、惯性测量单元(IMU)等。在可选实施例中，该一个或更多个传感器可以是无源传感器和/或有源传感器，例如光检测和测距传感器(LiDAR)、射频传感器(RF)、或超声波雷达传感器。感测模块110还可以包括一个或更多个信号处理器，例如一个或更多个数字信号处理器(DSP)、高级RISC机器(ARM)、或本领域技术人员将理解的任何其他处理器。感测模块110可以测量APR设备与其周围的特征和对象的表面之间的距离，并由此产生表示感测模块110的视场(FOV)中存在的特征和对象的3D坐标的3D点云。在一些实施例中，3D点云可用于映射真实场景环境140，将APR设备定位在真实场景环境140内，和/或相对于真实场景环境140定向APR设备。

[0047] 在一些实施例中，由一个或更多个2D和/或3D相机捕获的图像可以被存储在APR设备和/或外部云服务器上，以用于后续处理，例如：以识别安全隐患和/或用于计划监测和跟踪的目的。

[0048] 在一些实施例中，真实场景140可以采取任何真实世界环境或者围绕或包围APR设备的任何地方的形式。真实场景140的非限制性示例包括：房间、走廊、停车场、花园等。

[0049] 在一些实施例中，系统100还可以包括拟合模块120。拟合模块120可以可操作来接收由感测模块110记录的数据，并且还可以接收方案数据150。在一些实施例中，如本领域技术人员将理解的，方案数据150可以通过有线或无线方式被传输到拟合模块120。拟合模块120可以将从感测模块110接收的3D点云和/或其他信息(例如，额外的映射、定位和/或定向数据)与方案数据150关联起来。这可能需要拟合模块120作用于将方案数据150与由3D点云表示的真实场景140对准、拟合和/或匹配。基于该拟合，拟合模块120可以计算相关的可视图像，以供投影模块130输出。

[0050] 本领域技术人员将会理解，拟合过程可以通过以下任一方式完成：将方案数据150拟合、对准或匹配到由3D点云表示的真实场景140上/中；将由3D点云表示的真实场景140拟合、对准或匹配到方案数据150上/中；或者通过任何其他合适的方法或其组合。此外，本领域技术人员将会理解，可以使用任何已知的方法(例如ICP或视觉定位系统(VPS)技术)来进行拟合过程或PSR。

[0051] 在一些实施例中，可以通过使用真实场景140内或相对于真实场景140的具有量化位置的已知或预定义对象/点来加速或辅助拟合过程。在一些实施例中，已知或预定义对象/点可以单独测量或预先测量，并且可以用作参考点，APR设备可以关于该参考点探知其在真实场景140内或相对于真实场景140的定向和/或位置。特别地，墙壁、不可移动的对象和/或其他场景特征可以被标记或注释为锚(anchor)，并且可以被用作参考点。

[0052] 在一些实施例中，系统100还可以包括投影模块130。投影模块130可以包括用于光投影的一个或更多个装置，例如激光投影、发光二极管(LED)投影等。在一些实施例中，投射的光可以是可见光或不可见光，并且可以包括不同的波长，可能包括红外(IR)光或近红外(NIR)光。在可选实施例中，投射的光可以是可见光和不可见光的组合。投影模块130可以可操作来从拟合模块120接收期望的图像数据和/或相关的可见图像，并且可以将所述数据/图像投射到目标场景160上。在另外的实施例中，相关的可见图像可以由拟合模块120计算，并且可以包括各种形式的信息(可能包括部分的方案数据150)或者对于本领域技术人员来说明显的任何其他适当的信息。

[0053] 在一些实施例中，方案数据150可以包括计算机辅助设计(CAD)草图、地理信息系统(GIS)、图形图像、文本、箭头、用户定义的信息等。方案数据150或其部分还可以包括建筑信息模型(BIM)，并且可以包括建筑资产各方面(例如3D结构、时间计划、成本等方面)的数字描述。在一些实施例中，感测模块110和投影模块130可以同时或基本上同时操作。在可选实施例中，感测模块110和投影模块130可以独立地和/或在单独的时间或间隔地操作。

[0054] 在一些实施例中，目标场景160可以是真实场景140的子集或一部分。特别地，目标场景160可以包括真实场景140内的任何地方、表面或对象，例如但不限于：墙壁、天花板、地板、屏幕等。在可选实施例中，目标场景160可以包括真实场景140的全部或基本全部。

[0055] 在一些实施例中，感测模块110、拟合模块120和投影模块130可以在相同单一设备或复合设备中实现。在可选实施例中，感测模块110、拟合模块120和投影模块130可以在单独或分立的设备上实现。例如，感测模块110和投影模块130可以放置在一个位置，而拟合模块120可以放置在外部便携式计算机上或云中。

[0056] 在一些实施例中，感测模块110、拟合模块120和投影模块130可以共享相同的部件。例如，感测模块110可以使用有源光束投影来扫描真实场景140，并且可以例如使用转向镜等来实现。投影模块130可以类似地使用可见光束投影来投射视觉图像。在这些情况下，感测模块110和投影模块130可以共享相同的转向镜。

[0057] 图2是根据本发明的实施例示出示例性实现周期201的高层次图。部分202描绘了用于实现到立体空间施工图(cubic room construction plot)202a中的示例方案数据150。具体地，在该示例中，图示的方案数据150包括将窗户202b添加到立体空间施工图202a中的远端壁。

[0058] 部分203描绘了添加窗户202b之前的真实场景140。在该图示中，施工环境(即立体空间203a)已经部分被建成并且包括多个完全施工好的墙壁。负责在远端壁上钻孔并安装窗户202a的工人203b从将APR设备203c定位在施工环境内(即在立体空间203a内)开始。

[0059] 部分204描绘了APR设备203c的示例性感测模块110的输出。该输出可以包括根据相对于立体空间203a的设备映射和/或本地化的坐标轴204b的3D点云204a。

[0060] 部分205描绘了APR设备203c的示例性拟合模块120的输出。拟合模块120接收方案数据150和来自感测模块110的输出数据(即，3D点云204a)并将二者关联起来。特别地，来自感测模块110的输出数据与方案数据150的坐标系对准以产生相关数据205a。

[0061] 部分206描绘了APR设备206a的示例性投影模块130的输出。APR设备206a的投影单元将光束206b投射到施工环境中，具体投射到立体空间203a的远端壁上，且从而绘制相关数据205a(即窗户206c)以作为钻孔和安装向导供工人203b使用。在一些实施例中，投影可以包括其他信息，可能包括窗户206c的尺寸和高度，以进一步帮助工人203b。

[0062] 图3是根据本发明的实施例示出非限制性示例性感测模块操作311的高层次框图。在一些实施例中，步骤312包括使用传感器从真实场景140收集数据；步骤313包括融合和处理来自传感器的数据；以及，步骤314包括从经融合和处理的数据生成表示所述真实场景
140的3D点云。在一些实施例中，3D点云可以表示整个真实场景140的3D坐标。在可选实施例中，3D点云可以表示真实场景140的子集或一部分的3D坐标。在一些实施例中，经融合和处理后的数据和/或3D点云的全部或一部分被发送到拟合模块120。

[0063] 图4是根据本发明的实施例示出非限制性示例性拟合模块操作的高层次框图。在一些实施例中，步骤422包括将来自感测模块110的输出数据与方案数据150关联起来。在一些实施例中，来自感测模块110的输出数据可以表示真实场景140，而方案数据150可以表示期望的设计方案。感测模块110的输出数据和方案数据150之间的相关性可以被用于使方案数据与真实场景140环境对准。

[0064] 在一些实施例中，步骤423包括估计真实场景140的表面；以及，步骤424包括计算用于投射在真实场景140表面上的图像。在一些实施例中，步骤423中进行的表面估计可以在步骤422中进行的拟合之前完成。当期望相关性来考虑表面估计而不是期望来自感测模块110的输出数据来考虑表面估计，或者除了期望来自感测模块110的输出数据之外还期望相关性来考虑表面估计，这可能是有利的。在一些实施例中，用于投射到真实场景140表面上的所有或部分计算出的图像被发送到投影模块130。

[0065] 图5是根据本发明的实施例示出非限制性示例性投影模块操作的高层次框图。在一些实施例中，步骤532包括在控制器处从拟合模块120接收图像数据；以及，步骤533包括使用该控制器来配置光学元件和/或其他元件以将光束导向真实场景140内的特定位置。在一些实施例中，被导向的光束将图像或信息投射并渲染到真实场景140内的表面上。

[0066] 图6是根据本发明的实施例示出详细非限制性APR系统布置600的高层次图。在一些实施例中，APR系统布置600包括3D深度相机620，其可操作来扫描系统附近的真实场景140。3D深度相机620可以是例如使用光束转向光学器件(例如，微机电传感器(MEMS)镜、数字光处理(DLP)等)被投射到特定位置的激光。从真实场景140内的表面反射的光可以使用
3D深度相机620中包括的接收传感器来捕获。3D深度相机620的致动、配置和定向可以由中央处理单元(CPU)610选择性地或连续地控制。在一些实施例中，3D深度相机620获得和/或接收到的信息可以被发送到CPU 610和/或由CPU 610处理。在可选实施例中，3D深度相机可以是例如立体相机、结构光相机、有源立体相机、飞行时间(TOF)相机、基于LiDAR的相机、基于CMOS图像传感器的相机、或对于本领域技术人员明显的任何其他合适的相机。

[0067] 在一些实施例中，APR系统布置600还可以包括相机单元630，相机单元630可操作来监测和扫描附近区域和/或周围区域。相机单元630可以包括一个或更多个相机，例如一个或更多个高清晰度(HD)相机和/或IR相机。相机单元630可以由CPU 610控制和/或可以将记录/测量的数据发送到CPU 610进行处理。

[0068] 在一些实施例中，APR系统布置600还可以包括传感器集线器(hub)640，其可操作来接收来自例如以下项的一个或更多个不同传感器的信息：一个或更多个加速度计641，其可操作来测量APR系统布置600的加速度；一个或更多个陀螺仪642，其可操作来测量APR系统布置600的定向；一个或更多个磁力计643，其可操作来测量APR系统布置600周围的磁性；一个或更多个气压计644，其可操作来测量APR系统布置周围的大气压力；一个或更多个全球定位系统(GPS)，其可操作来测量APR系统布置600的位置；一个或更多个其他传感器646，例如一个或更多个IR检测器；和/或它们的任意组合。在一些实施例中，从所述一个或更多个不同传感器接收的测量数据由传感器集线器640处理，并且相关信息和/或处理后的信息可以被发送到CPU 610以用于进一步处理/分析。在可选实施例中，CPU 610可以可操作来控制传感器集线器640。

[0069] 在一些实施例中，APR系统布置600还可以包括控制/接口单元650，其可操作来控制APR系统布置600的功能。在一些实施例中，控制/接口单元650可以被包括在APR系统布置600内，或者作为APR系统布置600的一部分(即，作为单一或复合系统结构的一部分)。在可选实施例中，控制/接口单元650可以被设置在APR系统布置600的外部，例如体现为计算机、便携式计算机、移动设备、iPad等，并且可以经由有线或无线方式(例如经由蓝牙、Wi-Fi等)与APR系统布置600互连。在又一些实施例中，例如在有多个控制/接口单元650的情况下和/或在有可选/可变的插入/互联装置的情况下，控制/接口单元650可以在APR系统布置600的外部，也可以被包括在APR系统布置600内。在一些实施例中，控制/接口单元650可以与其他设备、物联网(IoT)设备、云计算/连接服务等通信。在一些实施例中，控制/接口单元650还可以包括以下一个或更多个：射频识别(RFID)阅读器；一个或更多个条形码阅读器；或者，本领域技术人员将会理解的任何其他信息读取设备。控制/接口单元650还可以包括用户可交互界面，通过该用户可交互界面可以输入/发布配置命令/控制以定义APR系统布置650的功能。

[0070] 在一些实施例中，控制/接口单元650可以接收方案数据150，并且可以向CPU 610发送数据的相关部分和/或全部数据。在可选实施例中，例如在没有中间连接和/或处理的情况下，CPU 610可以直接接收方案数据150。在一些实施例中，控制/接口单元650可以包括输入设备，例如屏幕、触摸屏、鼠标、键盘等，用户可以使用输入设备来配置APR系统布置600。在一些实施例中，控制/接口单元650可以确定/计算3D感测和投影方法/参数和/或用于投影到真实场景140中的信息/图像。在可选实施例中，CPU 610可以向控制/接口单元650提供/发送关于APR系统布置600的信息/数据，例如包括扫描信息、投射信息、传感器测量值等。在又一些实施例中，方案数据150可以经由有线或无线方式，例如经由USB盘或通过从云计算服务器下载，上传到APR系统布置600。

[0071] 在一些实施例中，控制/接口单元650可以可操作来基于原始方案数据150创建修改后的方案数据670。可以根据测量的真实场景140和原始方案数据150之间的偏差/未对准/失拟合来确定或生成修改后的方案数据670。在一些实施例中，用户可以例如通过警告或提示来决定是否接受真实场景140的测量。在该测量不被接受的情况下，用户可以指示控制/接口单元650对真实场景140进行补充测量。在测量被接受的情况下，用户可以例如通过补充警告或提示而另外决定是否自动确定或生成修改后的方案数据670，例如因为在原始方案数据650和真实场景140之间存在显著的失拟合。在可选实施例中，用户可以使用控制/接口单元650手动改变原始方案数据150，以生成修改后的方案数据670。在可选实施例中，修改后的方案数据670可以经由有线或无线方式(例如经由USB盘或通过上传到云计算服务器)从APR系统布置600下载或检索。在又一些实施例中，修改后的方案数据670可以在控制/接口单元650上图形地呈现或显示，并且可以使用用户可交互界面来选择性地修改。

[0072] 在一些实施例中，APR系统布置600还可以包括中央处理单元(CPU)610，其例如被体现为诸如ARM、DSP等的专用处理器。在一些实施例中，CPU 610可以从以下中的至少一个接收数据/信息：3D深度相机620；相机单元630；传感器集线器640；以及控制/接口单元650。在一些实施例中，CPU 610可以结合一个或更多个算法(例如相关、配准(registration)、即时定位与地图构建(simultaneous localization and mapping)(SLAM)、图像检测等)使用接收到的数据/信息来创建/生成一个或更多个投影图像/信息。在一些实施例中，创建/生成的投影图像/信息可以被发送到投影单元660，以用于投影到真实场景140中。投影图像/信息可以例如以符合国际激光显示协会(ILDA)的图像数据传输格式从CPU 610被发送到投影单元660。

[0073] 在一些实施例中，CPU 610可以控制/指示相机单元630和/或任何其他传感器(例如IR传感器)来检测APR系统布置600附近的人和/或其他特定对象。在做出积极性确定的情况下，例如在APR系统布置600附近检测到人的情况下，出于安全原因，CPU 610可以停用/禁用投影单元660。在一些实施例中，CPU 610可以仅部分停用/禁用投影单元660，例如仅在已检测到人和/或特定对象的方向/区域。

[0074] 在一些实施例中，CPU 610可以控制/指示相机单元630和/或任何其他传感器(例如IR传感器)来检测人和/或特定对象以及它们相对于APR系统布置600的相应位置/地点。在APR系统布置600附近检测到人和/或特定对象的情况下，当此人和/或特定对象在特定区域内时，CPU 610可以发出/呈现警报/警告。如本领域技术人员将会理解的，警报/警告可以以任何方式发出/呈现，例如以可听见的嘟嘟声(beep)、嚎叫声(howl)、语音、指示、声音等形式。在可选实施例中，可以使用投影单元660可视地呈现警报，例如以被投射到真实场景
140中的可视警报标志的形式呈现。在又一些实施例中，警报可以附加地/可选地使用一个或更多个通信协议(例如使用WiFi、蓝牙(BT)、蜂窝等)经由控制/接口单元650被传输到场景外的相关个人(例如经理、检查员等)。

[0075] 在一些实施例中，CPU 610可以使用来自加速度计641、陀螺仪642、和/或任何其他传感器中的一个或更多个的数据，与稳定器算法(stabilizer algorithm)结合/对应，以补偿APR系统布置600和/或3D深度相机620、相机单元630和投影单元660中任何一个的移动/振动。特别地，当例如用手握住APR系统布置600和/或3D深度相机620、相机单元630和投影单元660中任何一个时，稳定器算法可以用于补偿振动/移动，且从而校正与真实场景140相关的投影和/或感测数据。在可选实施例中，传感器集线器640接收的信息和/或数据，例如从加速度计641和/或陀螺仪642接收的信息和/或数据，可以由CPU 610用来估计APR系统布置600在真实场景140内的3D定向和/或移动。这可以提高由CPU 610执行的其他算法/过程(例如SLAM、配准等)的效力和/或效率。

[0076] 在一些实施例中，APR系统布置600还可以包括内置水平传感器，例如重力水平。在一些实施例中，CPU 610可以使用来自水平传感器的信息/数据来对准以下中的一个或更多个：3D深度相机620；相机单元630；以及投影单元660。

[0077] 在一些实施例中，由投影单元660投射的图像/信息还可以被传输和例如经由液晶显示器(LCD)被显示在一个或更多个移动设备上。在可选实施例中，被传输到一个或更多个移动设备的图像/信息可以利用使用移动设备获得的相机视图/图像(例如经由增强现实)来增强。在又一些实施例中，显示在移动设备上的信息/图像可以不同于由投影单元660投射到真实场景140中的信息/图像。

[0078] 在一些实施例中，由控制/接口单元650生成/确定并由投影单元660投射的图像/信息可以根据施工的进度动态地和适应性地改变。特别地，图像/信息可以对应于正在进行的施工而被顺序地或连续地更新，例如，以引导建造者通过大型多部分的施工工程的多个不同阶段。在可选实施例中，由控制/接口单元650生成/确定并由投影单元660投射的图像/信息可以由CPU 610可能结合用户输入而自动或选择性地修改，例如在真实场景140和方案数据150之间存在差异的情况下。可以使用评估以下中的一个或更多个的优化算法来修改图像/信息：真实场景140和方案数据150之间的偏差；建造标准；工作规约；等等。

[0079] 在一些实施例中，APR设备可以使用感测模块110和拟合模块120来跟踪其相对于真实场景140(例如房间/公寓)的位置。在可选实施例中，APR设备可以被预先配置或用户配置有多个方案，每个方案与唯一的引用标记相关联。每个引用标记可以涉及唯一的楼层/公寓/房间号，并且可以被APR设备用来确保正确的方案与正确的真实场景140相关联，例如在每个房间具有基本相似的构成/布局的非常大的施工工程中。在可选实施例中，每个楼层/公寓/房间可以包括定位器设备，APR设备可以使用该定位器设备来识别它的位置。在一些实施例中，定位器设备可以包括以下中的一个或更多个：

[0080] a.蓝牙信标，其可操作来向控制/接口单元650发送位置信息；

[0081] b.可由控制/接口单元650中的RFID阅读器读取的RFID标签；以及，

[0082] c.可以由与控制/接口单元650互连的相机(例如相机单元630)读取的条形码信息。

[0083] 在又一些实施例中，APR设备可以使用气压计644、GPS 645和/或室内导航传感器646来确定APR设备相对于大规模真实场景140或在大规模真实场景140内的位置，且从而上传/访问正确的方案数据150。

[0084] 在一些实施例中，APR设备可以由用户手动移动或者由电机自动移动，并且当在运输中时可以确定相对于建筑物/房间/结构或者在建筑物/房间/结构内的精确位置。在一些实施例中，APR设备可以使用已知或预定的对象/点位置作为参考点。APR设备可以结合适当的算法使用这些参考点来确定真实场景140内的定向和/或位置。在一些实施例中，参考点可以包括在规划方案(例如方案数据150)中被标记为锚对象的墙壁和/或其他对象。

[0085] 在一些实施例中，APR设备可以可操作来经由任何适当的传感器(例如加速度计641、陀螺仪642等)来检测APR设备是否已经被移动。APR设备还可以可操作来在检测到设备移动的情况下生成移动警报，且从而警告用户该设备已经被移动并且感测位置和/或投影不再准确。在可选实施例中，由APR设备的移动引起的未对准/失拟合可以通过被投射图像/信息的自动校正来改善，例如，如本文所讨论的，通过自动重复和/或重新执行感测/成像和/或拟合过程。在可选实施例中，APR设备可以固定地连接到专用的或“现成的(off-the-shelf)”三脚架，以提高稳定性并限制移动。在可选实施例中，APR设备可以固定地或可移除地连接到专用可移动车辆和/或机器人。可移动车辆和/或机器人可以由用户手动控制或者根据例如传感器数据被自动控制。可移动车辆和/或机器人可以可操作来根据施工进展和/或由于阻挡/阻碍投影视场(FOV)中的对象而改变被投射的图像/信息的对准。

[0086] 在一些实施例中，APR设备还可以包括屏幕，例如LCD显示器，以用于在APR设备本身的主体上呈现混合/增强的现实图像/信息。在可选实施例中，屏幕可以是透明屏幕。

[0087] 在一些实施例中，APR设备还可以包括一个或更多个麦克风。这些麦克风可以可操作地连接到处理单元，例如CPU 610，并且可以使用语音识别算法(例如自动语音识别(ASR)算法和/或自然语言处理(NLP)算法)来检测和确定/理解来自用户的语音命令。这可以使用户能够从一定距离处向APR设备发出控制命令，且从而例如当站在梯子上时操作APR设备，等等。在可选实施例中，APR设备可以包括一个或更多个远程控制器。这些远程控制器也可以使用户能够从一定距离处(例如当工人站在梯子上时等)向APR设备发出控制命令。

[0088] 在一些实施例中，APR设备可以与包括增强滤光器的眼镜(例如标准眼镜等)结合使用。在一些实施例中，这些增强滤光器可以是被定制成匹配和改善由投影单元660投射的图像/信息的(例如由于太阳眩光引起的)可视性的滤光器。

[0089] 在一些实施例中，APR设备可以在移动的车辆/机器人/无人机上使用，以扫描结构的每个楼层/房间并构建其地图。在一些实施例中，APR设备可以使用投影单元660来引导机器人执行特定任务，例如粉刷墙壁、清洁地板等。特别地，由投影单元660投射的光可以用作机器人可以围绕其移动并完成其任务的轨迹或引导线。可以使用3D深度相机620和/或相机单元630来跟踪任务的进度和/或机器人的移动。

[0090] 在一些实施例中，APR设备还可以包括与控制/接口单元650互连的内部/外部音频扬声器。在一些实施例中，音频扬声器可以播放不同的声音以例如：

[0091] a.警示/警告用户或设备附近的任何其他人/工人；以及，

[0092] b.提供解释任务或被投影的图像/信息的指导和说明。

[0093] 在一些实施例中，多个APR设备可以作为IoT设备(例如经由云计算服务器)无线互连，并且在其间共享数据/信息。每个APR设备中的控制/接口单元650可以用于向云发送数据/信息和从云接收数据/信息。在可选实施例中，多个APR设备可以使用控制/接口单元650例如经由有线或无线方式彼此直接连接。特别地，APR设备之间的互连使得它们能够遍布例如大型施工现场，而不损失信息/数据交换，从而提高施工可以进行的准确度和/或效率。

[0094] 在一些实施例中，APR设备可以与其他外部APR设备(例如独立的APR设备)通信，并且可以发送要投射的信息/图像。外部APR设备可以用于例如将投影距离延伸到离初始APR设备太远的表面。

[0095] 在一些实施例中，APR设备可以是紧凑的和/或便携式的。在可选实施例中，APR设备可以包括可折叠、互锁或可拆卸的底架，以促进便携性。

[0096] 在一些实施例中，APR系统布置600还可以包括投影单元660。由投影单元660投射的图像和/或信息可以包括真实的3D图像，例如CAD草图、用户定义的模板、现场工人/监督员已知的具有预定含义的标志等。在一些实施例中，标志可以包括：图例；符号；语言；数字；不同的指定颜色；等等。在一些实施例中，这些标志中的一个或更多个可以被投射到真实场景140内的表面/墙壁/天花板/地板/地面上，且从而充当给用户/工人/建造者的评论/警报/通知/消息。在一些实施例中，被投射的图像/信息可以利用不同的颜色来表示不同的方案类型，例如蓝色表示水，红色表示电，和/或绿色表示位置。在可选实施例中，可以指定和/或选择颜色，以便匹配出现在方案数据150中的颜色。

[0097] 在一些实施例中，投射的图像/信息可以包括以下中的一个或多个：

[0098] o电源布线和插座；

[0099] o沟渠；

[0100] o 空调导管/管；

[0101] o通风通道；

[0102] o窗户；

[0103] o房间和/或建筑横梁；

[0104] o管子通道(例如水、污水系统)；

[0105] o电梯井；

[0106] o说明(例如，安全警报)；

[0107] o关于隐藏对象的信息(例如，尺寸)；以及，

[0108] o标准和/或瓷砖网格线/引导线。

[0109] 在一些实施例中，投射的信息可以包括一种或更多种语言(例如汉语、英语、和/或西班牙语)的句子/字母。

[0110] 在一些实施例中，由投影单元660投射的信息/图像可以包括不同程度/水平的准确度，例如适当的距离或投射角度。在一些实施例中，投影准确度可以根据APR设备的位置和真实场景140中周围对象/表面的位置而变化。投影准确度可以例如由用户通过自动或手动调整APR设备相对于真实场景140或在真实场景140内的位置来提高，例如使得APR设备被定位成更靠近一表面。投影准确度的水平/程度可以用不同的颜色、散列和/或密度来表示。

[0111] 在一些实施例中，用户可以手动选择哪些图像/信息应该被投影到真实场景140中，例如通过取消选择某些不期望的对象/线。在可选实施例中，投射图像/信息可以包括可以帮助用户进行其施工的工具，例如水平仪、罗盘、直尺等。在又一些实施例中，用户可以将图像/信息从真实场景140内的一个地方移动到另一个地方，而无需移动APR设备。这可以使用以下中的一个或更多个来实现：耦合到控制/接口单元650的输入设备，例如触摸屏、触摸板、跟踪点(track-point)等；通过手势；通过用户语音命令；或者通过对本领域技术人员来说明显的任何其他合适的方式。

[0112] 在一些实施例中，用户可以例如使用控制/接口单元650来输入命令，以指示APR设备将附加的线和/或其他图像形状投射到真实场景140中。在可选实施例中，这些附加的线和/或其他图像形状可以不存在于原始方案数据150中，并且可以选择性地被添加到方案数据150以产生更新后的方案数据。

[0113] 在一些实施例中，APR设备可以随着变化(例如在由3D深度相机620和/或相机单元630收集的数据不同于原始方案数据150的情况下)自动地更新原始方案数据150。在可选实施例中，APR设备可以根据用户决定来更新原始方案数据150。

[0114] 在一些实施例中，APR设备可以由用户(例如由监督员、经理、承包商、工程经理等)预编程，以在建造周期期间的特定时刻/阶段经由投影单元660传递被投射的消息/注释。在一些实施例中，这些注释/消息可以包括补充性的文本指示和/或箭头，例如“Tuomas，请将这堵墙涂成红色”。在可选实施例中，这些注释/消息可以包括补充性的动画指示，例如，这些补充性的动画指示随时间改变，并且可能强调危险和/或工作注释/布局，以例如提高用户安全。本领域技术人员将会理解，在需要快速吸引用户对例如关键设计元素/标准的注意的情况下，动画指示可能是优选的。

[0115] 在一些实施例中，APR设备可以可操作来投射地形数据和/或标示，以帮助例如铺砖者铺设瓷砖和/或泥水匠抹平墙壁。地形数据和/或标示可以包括可能具有不同的颜色的一个或更多个图像/点/文字，并且可以表示表面的起伏/隆起/凸起和/或曲率/斜率。在可选实施例中，APR设备可以可操作来投射调平信息和/或引导线，例如以关于APR设备的水平轴和/或垂直轴的固定调平线的形式。

[0116] 图7是根据本发明的实施例示出非限制性示例性三维扫描方法700的高层次流程图。方法700可以包括以下步骤：步骤701，使用包括激光束的3D深度相机620扫描通过水平和垂直轴坐标表示的真实场景140；步骤702，将光束导向第一Laser_Horizontal＝x0和Laser_Vertical＝y0方向点；步骤703，在3D深度相机处捕获从真实场景140内的表面反射回的光束反射或其部分；步骤704，根据Laser_Horizontal和Laser_Vertical方向计算表面和APR设备之间的距离。在3D深度相机没有接收到反射信号的情况下，距离被假设为无穷大或某个其他最大固定数，并且激光的水平/垂直位置被推进。

[0117] 方法700还可以包括以下步骤：步骤705，确定是否已经到达扫描区域的末端(即真实场景140的边界或其子部分)。如果还没有到达末端，则方法700还可以包括：步骤706，推进光束的激光_水平和激光_垂直方向点。如果已经到达末端，则方法700可以包括以下步骤：创建3D点云的步骤，该3D点云表示真实场景140内的邻近/周围表面的3D地点/位置。

[0118] 图8是根据本发明的实施例示出非限制性示例性方法的高层次框图。该方法800可包括以下步骤：步骤801，3D扫描APR设备周围/附近的真实场景140，并生成3D点云；步骤802，映射设备周围的真实场景140，并且在真实场景140内定位APR设备的位置；步骤803，将
3D点云与原始方案数据150和/或锚定对象进行比较，以产生APR设备的准确位置和定向；步骤804，将3D投影模型(即，要被投射的对象/示意图的3D模型)变换成与真实场景140中的投影表面对准的2D图像；步骤805，以及使用投影单元660将2D图像投射到投影表面上。

[0119] 在一些实施例中，表面的3D模型是包括布置在整个所述场景中的一组数据点的3D点云，并且施工方案根据该3D点云被转换并渲染成可投影视觉内容。

[0120] 在一些实施例中，可以将当前施工状态与施工方案进行比较，以确定施工准确度水平。这可能需要评估和分级，例如，如本文所讨论的，期望施工点和实际施工点之间的距离。

[0121] 在一些实施例中，可以根据未对准阈值来评估施工准确度水平。APR设备还可以在所述施工准确度水平违反了所述未对准阈值的情况下，生成以下中的一个或更多个：警告指示；以及修改后的施工方案。未对准阈值可以是例如关于期望施工点和实际施工点之间的距离的、表示例如可接受的差异水平的界限或极限的预定义的或用户选择的值。在某些情况下，例如在对差异有很大容限的情况下，未对准阈值可以是允许显著差异的值。在其他情况下，例如在需要精确的情况下，未对准阈值可以是允许有限差异的值。

[0122] 在一些实施例中，施工方案可以包括施工进度表，并且APR设备还可以被配置为将当前施工状态与施工进度表进行比较，以确定施工及时性水平。特别地，施工进度表可以定义施工的某些方面、任务或部分应该完成的时间表。在施工周期的不同时间点，可以将当前施工状态和过去的时间与施工进度表进行比较，以确定及时性(即，任务是否已经及时完成，或者任务是否已经逾期)。

[0123] 在一些实施例中，可以根据施工时间线来评估施工及时性水平。APR设备还可以在所述施工及时性水平违反了所述施工时间线的情况下，生成以下中的一个或更多个：警告指示；以及修改后的施工方案。施工时间线可以包括关于例如施工的某些方面、任务或部分应该完成的顺序和时间表的预定义的或用户选择的值。在某些情况下，例如，当施工及时性表明一个或更多个工程逾期和/或未按时完成时，施工时间线可能需要修订或大修。在可选情况下，例如，当施工及时性表明对施工进度的最佳遵守时，施工时间线可以仍适合目的，并且需要很少修订或不需要修订。

[0124] 在一些实施例中，APR设备还可以被配置为根据以下中的一个或更多个自动或选择性地更新所述可投影视觉内容：手动用户输入；施工时间线；以及修改后的施工方案。

[0125] 在一些实施例中，APR设备可以包括通信模块，并且还可以被配置为使用所述通信模块向外部或内部实体传输关于以下中的至少一个的一个或更多个反馈或状态更新：所述施工准确度水平和所述施工及时性水平。

[0126] 在一些实施例中，APR设备可以被配置为检测捕获设备是否已经相对于真实场景移动。捕获设备、计算机处理器和投影仪也可以被配置成在捕获设备被确定为已经相对于真实场景移动的情况下立即重复它们的操作。

[0127] 在一些实施例中，捕获设备、计算机处理器和投影仪可以被配置成周期性地重复它们的操作并更新所述可投影视觉内容。

[0128] 在一些实施例中，捕获设备可以是可操作来捕获2D图像的2D相机。所述场景的3D图像还可以通过将所述2D图像与其他数据(例如其他传感器数据)组合来构建。

[0129] 在一些实施例中，APR设备还包括可操作来检测用户的存在和/或其位置的传感器，其中，所述投影仪被配置成在用户位于投影仪和所述场景内的表面之间的情况下终止操作。

[0130] 在一些实施例中，可投影视觉内容可以包括维护示意图，其中，投影仪可操作来将可投影视觉内容投射到完全施工好的建筑物内的表面上。

[0131] 在一些实施例中，APR设备还可以包括以下中的至少一个：外部用户接口模块和内部用户接口模块，其中，所述外部用户接口模块和内部用户接口模块中的每一个被配置为进行以下操作中的至少一个：向所述APR设备发出控制命令，以及向用户显示信息。

[0132] 在一些实施例中，施工进度表可以包括施工顺序，并且其中，APR设备可以被配置为进行以下操作中的至少一个：在所述施工顺序被违反的情况下生成警告指示；以及根据所述施工顺序生成投影。

[0133] 前述流程图和图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。就这点而言，在流程图或部分图(portion diagrams)中的每个部分可代表模块、程序段、或代码的部分，该模块、程序段、或代码的部分包括用于实现指定的逻辑功能的一个或更多个可执行指令。还应当注意，在某些可选实现方式中，在部分中提到的功能可以不以图中提到的顺序发生。例如，连续示出的两个部分实际上可以基本上并行执行，或者这些部分有时可以以相反的顺序执行，这取决于所涉及的功能。还要注意的是，部分图和/或流程图说明的每个部分以及部分图和/或流程图说明中的部分的组合，可以由执行特定功能或动作的基于专用硬件的系统、或者专用硬件和计算机指令的组合来实现。

[0134] 如本领域技术人员将会理解的，本发明的各方面可被体现为系统或装置。因此，本发明的各方面可采用完全硬件实施例或将在本文中通常全部可以被称为“电路”、“模块”或“系统”的软件方面和硬件方面组合的实施例的形式。

[0135] 前述的附图示出了根据本发明的各种实施例的系统和装置的可能实现方式的架构、功能和操作。当在上面的描述中被提及时，实施例是本发明的示例或实现方式。“一个实施例”、“实施例”或“一些实施例”的各种出现并不一定都指相同的实施例。

[0136] 尽管本发明的各种特征可以在单个实施例的上下文中进行描述，这些特征也可以单独地或以任何合适的组合提供。相反，尽管为了清楚起见，本发明可在本文中在单独的多个实施例的上下文中进行描述，但是本发明也可以在单个实施例中实现。

[0137] 说明书中对“一些实施例”、“实施例”、“一个实施例”或“其他实施例”的提及意指结合实施例所描述的特定的特征、结构、或特性被包括在发明的至少一些实施例中，但不一定被包括在所有实施例中。还要认识到的是，在本发明的实施例中，上文描述的本发明的方面可以组合或以其他方式共存。

[0138] 应该理解，在本文使用的措辞和术语不应被解释为限制性的，并且仅用于描述性目的。

[0139] 参考所附说明书、附图和示例可以更好地理解本发明的教导的原理和用途。

[0140] 要理解的是，在本文阐述的细节并不认作对本发明的应用的限制。

[0141] 此外，要理解的是，本发明可以按照各种方式执行或实施，并且本发明可以在不同于上述描述中概括的实施例的实施例中实现。

[0142] 应该理解，术语“包括(including)”、“包括(comprising)”、“由...组成”及其语法变体并不排除一个或更多个部件、特征、步骤、或完整事物或其组的添加，并且术语应被解释为指定部件、特征、步骤或完整事物。

[0143] 如果说明书或权利要求提到“附加”元件，其并不排除有多于一个的附加元件。

[0144] 应该理解，在权利要求或说明书提到“一个(a)”或“一个(an)”元素的情况下，这样的提及并不被解释为仅存在该元素中的一个。

[0145] 应该理解，在说明书规定部件、特征、结构或特性“可以”、“可能”、“能够(can)”或“能够(could)”被包括的场合，该特定的部件、特征、结构、或特性不要求被包括。

[0146] 在可适用的情况下，虽然可以使用状态图、流程图或两者来描述实施例，但是本发明不限于这些图或相对应的描述。例如，流程不需要移动经过每个示出的框或状态，或按照与图示和描述完全相同的顺序移动。

[0147] 本发明的方法可以通过手动地、自动地、或其组合执行或完成所选择的步骤或任务来实现。

[0148] 术语“方法”可以指用于完成给定任务的方式、手段、技术和过程，包括但不限于本发明所属领域的实践者已知的或从已知方式、手段、技术和过程容易开发出的那些方式、手段、技术和过程。

[0149] 在权利要求书和说明书中呈现的描述、示例和材料不应被解释为限制性的，而仅仅是说明性的。

[0150] 本文使用的技术和科学术语的含义是如本发明所属领域的普通技术人员通常理解的含义，除非另有规定。

[0151] 本发明可以在使用与本文所述的那些材料等同或相似的材料的测试或实践中被实现。

[0152] 虽然本发明关于有限数量的实施例进行了描述，但是这些不应被解释为对本发明的范围的限制，而是应作为一些优选实施例的示例。其他或等同的变化、修改和应用也落入本发明的范围内。相应地，本发明的范围不应被迄今为止已经描述的内容限定，而是由所附的权利要求及其法律等效物限定。

标题	发布/更新时间	阅读量
电梯系统以及用于电梯系统的多层轿厢	2020-05-08	677
施工电梯高位转换基础及其施工方法	2020-05-11	801
一种高层建筑集成施工机器人	2020-05-11	88
双向曲扭错层立面的外脚手架的施工方法	2020-05-12	779
加装电梯用井道装置	2020-05-12	577
一种施工建筑电梯井道用截污装置	2020-05-12	953
一种电梯井道无轨交替内爬式双层井架的安全装置	2020-05-11	102
一种自动降低电梯机房的温度的建筑结构	2020-05-13	682
一种新型电梯井道底坑检修平台结构	2020-05-12	83
一种便于安装的无剪力墙电梯井道施工平台	2020-05-12	802

用于在施工现场生成自适应投射现实的方法和系统

用于在施工现场生成自适应投射现实的方法和系统

该功能需要专业版企业版VIP权限，您可以：