现场命令视觉
阅读：1029发布：2020-06-01
专利汇可以提供现场命令视觉专利检索，专利查询，专利分析的服务。并且实施方式使用 增强现实 中的全息投影来将 建筑物 3D 可视化 并以全息图的形式示出人在建筑物中的 位置 。在一些实施方式中，用户可“敲击”全息图以查看关于该人的数据，例如 皮肤 温度 、室温、心率等。，下面是现场命令视觉专利的具体信息内容。
1.一种用于识别代理在建筑物的内部的位置的系统，该系统包括：
位置接收器，该位置接收器被配置为从所述代理获得定位器信息，所述定位器信息指示所述代理相对于参考系的位置；
模型接收器，该模型接收器被配置为获取所述建筑物的内部的3D模型；
相关器，该相关器被配置为将所述3D模型与所述参考系相关，以产生表示所述代理在所述建筑物内的位置的相关位置；
渲染模块，该渲染模块被配置为根据所述3D模型和所述相关位置来渲染3D图像，所述
3D图像在所述3D图像内的所述相关位置处包括表示所述代理的化身；以及
3D显示装置，该3D显示装置与所述渲染模块通信，所述3D显示装置被配置为接收所述
3D图像并将所述3D图像显示给用户。
2.根据权利要求1所述的系统，所述系统还包括被配置为从随所述代理的发送器接收遥测数据的遥测接收器，其中，所述相关器还被配置为将所述生物遥测数据与所述相关位置相关。
3.根据权利要求2所述的系统，其中，所述遥测数据包括所述代理在所述建筑物的内部的位置的室温。
4.根据权利要求2所述的系统，其中，所述遥测数据是包括下列中的至少一项的生物遥测数据：
所述代理的皮肤温度；
所述代理的呼吸速率；以及
所述代理的心率。
5.根据权利要求2所述的系统，其中，所述渲染模块还被配置为将所述相关位置处的遥测窗口渲染到所述3D图像中，使得所述遥测数据视觉上与由所述化身表示的所述代理关联。
6.根据权利要求1所述的系统，所述系统还包括：
被配置为获取参考系的参考系模块；并且
其中，所述相关器还被配置为：
将所述定位器信息与所述参考系相关，以及
将所述参考系与所述建筑物模型相关。
7.根据权利要求1所述的系统，所述系统还包括随所述建筑物中的所述代理设置的定位器装置，所述定位器装置包括被配置为发送所述定位器信息的发送器。
8.根据权利要求7所述的系统，其中，所述定位器装置还包括与所述发送器数据通信的磁传感器。
9.一种显示代理在不透明建筑物内的位置的方法，该方法包括以下步骤：
从所述代理接收定位器信息，所述定位器信息指示所述代理相对于参考系的位置；
接收所述建筑物的内部的3D模型；
将所述3D模型与所述参考系相关，以产生表示所述代理在所述建筑物内的位置的相关位置；
根据所述3D模型和所述相关位置来渲染3D图像，所述3D图像在所述3D图像内的所述相关位置处包括表示所述代理的化身；以及
在3D显示装置上显示所述3D图像。
10.根据权利要求9所述的方法，所述方法还包括以下步骤：
从随所述代理的发送器接收遥测数据；
将所述遥测数据与所述相关位置相关；以及
将所述相关位置处的遥测窗口渲染到所述3D图像中，使得所述遥测窗口视觉上与由所述化身表示的所述代理关联。
11.根据权利要求10所述的方法，其中，将所述相关位置处的遥测窗口渲染到所述3D图像中的步骤包括：响应于在所显示的化身处接收的用户输入而将所述相关位置处的遥测窗口渲染到所述3D图像中。
12.根据权利要求9所述的方法，其中，将所述3D模型与所述参考系相关的步骤包括：
获取参考系；以及
将所述定位器信息和所述建筑物模型二者与所述参考系相关。
13.根据权利要求12所述的方法，其中：
所述定位器信息包括来自所述代理在所述建筑物内的位置的一组磁读数；
所述参考系包括来自所述建筑物内的已知位置的多个磁矢量；并且
将所述定位器信息和所述建筑物模型二者与所述参考系相关的步骤包括通过将所述一组磁读数与对应的一组磁矢量匹配来确定所述代理在所述建筑物内的所述相关位置。
14.根据权利要求9所述的方法，其中，所述3D模型包括点云。
15.一种用于产生建筑物的内部的3D地图的系统，该系统包括：
移动同时捕获模态，该移动同时捕获模态能够遍及所述建筑物的内部移动；以及传感器系统，该传感器系统设置在所述移动模态上以随着所述移动模态遍及所述建筑物移动而生成所述3D地图。
16.根据权利要求15所述的系统，其中，所述移动模态包括自主运输器设备。
17.根据权利要求15所述的系统，其中，所述传感器系统包括激光扫描仪，该激光扫描仪产生表示所述建筑物的内部的物理测量值的点云作为获得的数据。
18.根据权利要求15所述的系统，其中，所述传感器系统包括磁传感器，该磁传感器产生共同限定所述建筑物的内部的磁特征的一组磁读数作为获得的数据。
19.根据权利要求15所述的系统，其中，所述传感器系统包括：
激光扫描仪，该激光扫描仪产生表示所述建筑物的内部的物理测量值的点云作为获得的数据；以及
磁传感器，该磁传感器产生共同限定所述建筑物的内部的磁特征的一组磁读数作为获得的数据；
所述激光扫描仪和所述磁传感器设置在所述移动模态上，使得所述传感器系统在所述移动模态同一次穿过所述建筑物时同时产生所述点云和所述磁读数二者。
20.根据权利要求15所述的系统，所述系统还包括映射模块，该映射模块被配置为将(i)所述建筑物的内部的由所述传感器系统收集的物理测量值的点云与(ii)所述建筑物的内部的由所述传感器系统收集的磁特征相关，以产生所述建筑物的内部的混合3D地图。
现场命令视觉
[0001] 相关申请
[0002] 本专利申请要求2017年6月12日提交的发明人名为Andrew England；Laura Beth Ezzell；Thomas Overfield；Renz Santos和Ed Sieja[从业人员文件2686/1123]的题为“OnScene Command Vision”的临时美国专利申请No.62/518,167的优先权，其公开整体通过引用并入本文。
技术领域
背景技术
[0004] 本领域中已知通过例如观察者对人的位置的直接个人观察或通过使用摄像头来确定该人在建筑物内的位置。
发明内容
[0006] 根据本发明的一个实施方式，一种用于识别代理(agent)在建筑物内部的位置的系统，该系统包括：位置接收器，其被配置为从代理获得定位器信息，该定位器信息指示代理相对于参考系的位置；以及模型接收器，其被配置为获取建筑物内部的3D模型。
[0007] 该系统还包括：相关器，其被配置为将3D模型与参考系相关，以产生表示代理在建筑物内的位置的相关位置。
[0008] 该系统还包括：渲染模块，其被配置为根据3D模型和相关位置渲染3D图像，该3D图像在3D图像内的相关位置处包括表示代理的化身；以及与渲染模块通信的3D显示装置，该3D显示装置被配置为接收3D图像并将该3D图像显示给用户。
[0009] 一些实施方式还包括遥测接收器，其被配置为从随代理的发送器接收遥测数据。例如，遥测数据可包括代理在建筑物内部的位置的环境温度。在一些实施方式中，遥测数据包括生物遥测数据，例如代理的皮肤温度；代理的呼吸速率；和/或代理的心率中的至少一项。在这样的实施方式中，相关器还被配置为将生物遥测数据与相关位置相关。此外，在一些这样的实施方式中，渲染模块还被配置为将相关位置处的遥测窗口渲染到3D图像中，使得遥测数据在视觉上与化身所表示的代理关联。
[0010] 一些实施方式还包括被配置为获取参考系的参考系模块。在这样的实施方式中，相关器还被配置为将定位器信息与参考系相关，并将参考系与建筑物模型相关。
[0012] 另一实施方式包括一种显示代理在不透明建筑物内的位置的方法。该方法包括从代理接收定位器信息，该定位器信息指示代理相对于参考系的位置。
[0013] 该方法还包括接收建筑物内部的3D模型，并将3D模型与参考系相关，以产生表示代理在建筑物内的位置的相关位置。例如，在一些实施方式中，3D模型包括点云或者从点云产生的表面重构。
[0014] 在一些实施方式中，将3D模型与参考系相关包括：获取参考系；以及将定位器信息和建筑物模型二者与参考系相关。
[0015] 该方法还包括根据3D模型和相关位置渲染3D图像。该3D图像在3D图像内的相关位置处包括表示代理的化身。然后，该方法将3D图像显示在3D显示装置上。
[0016] 在一些实施方式中，该方法包括：从随代理的发送器接收遥测数据；以及将遥测数据与相关位置相关。这些实施方式还包括将相关位置处的遥测窗口渲染到3D图像中，以使得遥测窗口视觉上与化身所表示的代理关联。例如，一些实施方式响应于在所显示的化身处接收的用户输入而在相关位置处渲染遥测窗口。
[0017] 在一些实施方式中，定位器信息包括来自代理在建筑物内的位置的一组磁读数；并且参考系包括来自建筑物内的已知位置的多个磁矢量。在这样的实施方式中，将定位器信息和建筑物模型二者与参考系相关包括通过将这一组磁读数与对应一组磁矢量匹配来确定代理在建筑物内的相关位置。
[0018] 又一实施方式包括一种用于产生建筑物内部的3D地图的系统。该系统包括能够遍及建筑物内部移动的移动同时捕获模态(modality)以及设置在移动模态上以随着移动模态遍及建筑物移动而生成3D地图的传感器系统。
[0019] 在一些实施方式中，移动模态包括自主运输器设备。
[0020] 在一些实施方式中，传感器系统包括激光扫描仪，其产生表示建筑物内部的物理测量值的点云作为获得的数据。在一些实施方式中，传感器系统包括磁传感器，其产生共同限定建筑物内部的磁特征(magnetic signature)的一组磁读数作为获得的数据。
[0021] 在一些实施方式中，传感器系统包括：激光扫描仪，其产生表示建筑物内部的物理测量值的点云作为获得的数据；以及磁传感器，其产生共同限定建筑物内部的磁特征的一组磁读数作为获得的数据。在这样的实施方式中，激光扫描仪和磁传感器设置在移动模态上，使得传感器系统在移动模态同一次穿过建筑物时同时产生点云和磁读数二者。
[0022] 在一些实施方式中，该系统还包括映射模块，其被配置为将(i)建筑物内部的由传感器系统收集的物理测量值的点云与(ii)建筑物内部的由传感器系统收集的磁特征相关，以产生建筑物内部的混合3D地图。附图说明
[0023] 通过参考以下参照附图进行的详细描述，实施方式的上述特征将更容易理解，附图中：
[0024] 图1A示意性地示出各种实施方式的环境；
[0025] 图1B示意性地示出定位器装置的实施方式；
[0026] 图2A示意性地示出用户正在查看示出代理在建筑物内的位置的3D虚拟显示；
[0027] 图2B示意性地示出建筑物的3D虚拟显示的实施方式；
[0028] 图3A示意性地示出建筑物内部的点云的实施方式；
[0029] 图3B示意性地示出基于点云来渲染建筑物的实施方式；
[0030] 图3C示意性地示出建筑物的CAD模型的实施方式；
[0031] 图4A示意性地示出通过三角测量来确定人在建筑物内的位置的系统的实施方式；
[0032] 图4B示意性地示出笛卡尔参考系的实施方式；
[0033] 图4C示意性地示出建筑物的磁地图的实施方式；
[0034] 图4D示意性地示出建筑物的磁地图参考系的实施方式；
[0035] 图5A和图5B示意性地示出将建筑物模型与参考系相关的实施方式；
[0036] 图6是将人在建筑物内的位置显示在该建筑物的3D渲染上的方法的流程图；
[0037] 图7示意性地示出将人在建筑物内的位置显示在该建筑物的3D渲染上的系统；以及
[0038] 图8示意性地示出同时捕获模态的实施方式。
具体实施方式
[0039] 各种实施方式使得显示装置能够向不透明建筑物外部的人示出该不透明建筑物内的另一人的位置。为了方便，例示性实施方式将建筑物内的人称为代理99，并将建筑物外部的人称为管理者188，但该术语并非暗示他们之间的代理或管理关系。
[0040] 例示性实施方式使用建筑物110的3D模型310结合识别代理99的位置的定位器信息来将代理99的位置显示在建筑物110的3D渲染内。使位置信息与3D模型310相关以使得用户99的化身299可在图形上设置在建筑物的3D渲染内。一些实施方式通过将定位器信息和3D模型310二者与第三数据集(例如，磁地图)相关来将定位器信息与3D模型310相关。
[0041] 此外，在一些实施方式中，管理者188能够使得代理99的生物特征数据261显示在生物特征显示部260中。例如，管理者188可通过选择化身299来使得生物特征数据261显示。可按照各种方式选择化身299，例如通过利用鼠标或其它控制器点击化身299，或者通过虚拟现实头戴装置(例如，Oculus Rift或HTC Vive)领域中已知的手势。在一些实施方式中，生物特征显示部260显示在生物特征数据261应用于的代理99的化身299附近，以便将生物特征数据261与该代理相关。例如当示出两个或更多个化身299时这是有益的，以使得用户可确定哪一化身299与哪一生物特征显示部260关联。
[0042] 应该注意的是，优选实施方式能够确定代理99的位置，而不需要建筑物110内的传感器来识别代理99的位置。
[0043] 图1A示意性地示出允许管理者188知道并跟踪建筑物110内部的代理99的位置的系统使用的例示性环境。在例示性实施方式中，建筑物110可能正在经历紧急情况，代理99可以是应急人员(例如，消防员；警察；急救人员)，管理者188可以是现场指挥者。
[0044] 可参照图6的流程图中示意性地示出的方法600来理解例示性实施方式。该方法的概述结合图6来描述，并且可从本文中的附加描述中进一步理解。
[0045] 概述
[0046] 在例示性实施方式中，在步骤610，系统(例如，700；图7)接收定位器信息。定位器信息包括可用于识别代理99相对于框架的位置的数据。例如，定位器信息可由代理99所穿戴或携带的定位器装置90提供，定位器装置90的实施方式在下面描述。
[0047] 定位器装置90的例示性实施方式示意性地示出于图1B中，并且包括无线电发送器91和一组传感器92(其中，一组包括至少一个传感器)。在该例示性实施方式中，该组传感器
92包括设置为测量代理99的位置处的地球磁场的磁传感器。通常，该组传感器92可包括其它传感器，例如设置为测量代理99的心率的心率传感器、设置为测量代理99的呼吸速率的呼吸传感器、设置为测量代理99的皮肤温度的皮肤温度传感器以及设置为测量代理99的位置的环境温度的温度计。
92包括设置为测量代理99的位置处的地球磁场的磁传感器。通常，该组传感器92可包括其它传感器，例如设置为测量代理99的心率的心率传感器、设置为测量代理99的呼吸速率的呼吸传感器、设置为测量代理99的皮肤温度的皮肤温度传感器以及设置为测量代理99的位置的环境温度的温度计。
[0048] 众所周知，建筑物110或其组件(例如，钢梁)使地球磁场扭曲。地球磁场的大小和方向在建筑物内变化(例如，作为使磁场扭曲的建筑物组件的接近度的函数)。这些扭曲可遍及建筑物映射，以产生磁地图。磁地图可被存储在诸如数据库131中。通过传感器92对建筑物110内的任何点处的地球磁场的测量可与磁地图进行比较，并且传感器92在建筑物110内的位置可由此以高精度确定。因此，携带传感器92的代理99在建筑物110内的位置可同样以高精度确定。
[0049] 在另一实施方式中，发送器91可周期性地发送ping信号。ping信号可被设置在建筑物110内或周围的多个三角测量接收器406接收。通过三角测量处理，可准确地确定发送器91在建筑物110内的位置。
[0050] 一些实施方式使用发送器91来将传感器91测得的数据(或传感器组92的测量值；例如，代理99的心率、代理99的呼吸速率、代理99的皮肤温度；代理99的位置的环境温度，仅举几个例子)发送到接收器120的天线121。接收器120是系统700的一部分或至少与系统700数据通信，以将所测得的数据提供给系统700。
[0051] 在步骤620，方法600获取参考系400，其实施方式在下面描述。参考系400允许定位器信息与建筑物模型310相关。在一些实施方式中，参考系400被存储在参考系数据库131中并从参考系数据库131检索。
[0052] 在步骤630，方法600获取建筑物模型310，其实施方式在下面描述。建筑物模型310包括建筑物110的结构细节。在一些实施方式中，建筑物模型310被存储在建筑物模型数据库132中并从建筑物模型数据库132检索。
[0053] 在步骤640，该方法将定位器信息、参考系和建筑物模型彼此相关。
[0054] 步骤650生成建筑物110的3D渲染210，包括相对于建筑物110的代理99的化身299。
[0055] 方法600然后优选在3D显示装置150上显示包括化身299的3D渲染。
[0056] 可选地，在步骤670，该方法与观察者188交互。例如，观察者188可激活(例如，点击、敲击或以其它方式做手势)化身299以使得显示装置150示出附加信息，例如与代理99或代理99的位置处的建筑物110内的环境有关的遥测数据。一些实施方式还允许观察者188操纵渲染(例如，旋转3D渲染；放大；缩小等)。
[0057] 建筑物模型
[0058] 在例示性实施方式中，建筑物110的3D模型310被存储在存储器中，例如已在先前时间创建的建筑物模型数据库132。这种3D模型可被称为“先验”建筑物模型310。
[0059] 在优选实施方式中，3D模型是(或包括或创建自)点云，例如由激光扫描仪从建筑物110内产生的点云。在优选实施方式中，3D模型不是原始点云数据，而是基于点云的建筑物内部的模型。在一些实施方式中，3D模型是表面网格3D模型。在优选实施方式中，3D模型是参数化3D模型。这些3D模型可使用本领域已知的CAD软件来创建，例如带有可从Leica Geostysems购买的Leica CloudWorx插件的AutodeskRevit(仅举一个例子)。
[0060] 建筑物110的内部的点云310示意性地示出于图3A中，其中建筑物110的内部的表面由散列图案(hashing patterns)表示，其中阴影图案(hatching pattern)的各个顶点表示点云中的点。
[0061] 如激光扫描领域中已知的，点云通过利用激光扫描仪测量建筑物110的内部来产生密集点阵列。点阵列中的各个点表示建筑物内的表面的物理点，并且与点云中的所有其它点具有已知的空间关系，以使得点共同形成建筑物110的内部的详细表示。在一些实施方式中，点云记录(并且当显示时，揭示)至少摄影质量的建筑物内部的细节。例如，图3B中的图像311是从点云创建的建筑物(例如，建筑物110)内部的表面重构的2D渲染，该点云通过可从Leica Geosystems购买的Leica BLK360激光扫描仪获得。
[0062] 然而，点云相比于照片的优势在于，可例如通过为此目的编程的计算机来操纵阵列中的各个点，以产生建筑物110的内部的3D渲染。在优选实施方式中，点云和/或基于点云开发的图像可由用户以启用查看图像的选项的方式操纵。这些操纵可包括旋转图像和/或放大和/或缩小图像(仅举几个例子)。
[0063] 在其它实施方式中，3D模型310可以是通过计算机辅助设计(“CAD”)系统产生的渲染，例如图3C中示意性地示出的建筑物110的CAD模型350。例如，建筑师可在设计建筑物110的过程中创建这种CAD模型350。另选地，可在建造建筑物之后例如由观察建筑物110的内部的画家或勘测员开发这种CAD模型350。
[0064] 代理位置{参考系}
[0065] 一旦在建筑物110内，代理99通常从建筑物110外部不可见。这带来了挑战，即，如何优选从建筑物外部并且优选不使用建筑物基础设施来确定代理99的位置。
[0066] 例示性实施方式从建筑物110外部相对于参考系定位代理99。
[0067] 例如，例示性实施方式从建筑物110外部通过三角测量来定位代理99。为此，一个、两个或更多个三角测量基准发送器406可围绕建筑物110的外部设置。例如，这些三角测量基准发送器406可被放置在建筑物110的已知结构元件处，例如门117和一个或更多个拐角119。
[0068] 另外，围绕建筑物110的外部设置三角测量接收器405的阵列。三角测量接收器405从三角测量基准发送器406接收信号，并且可以说系统700知道三角测量基准发送器405相对于彼此的位置，从而相对于建筑物定义3D笛卡尔参考系(X、Y、Z轴)。
[0069] 图4B示意性地示出可例如通过上述三角测量系统产生的笛卡尔参考系410。点425和426表示分别设置在图4A中的建筑物110的对角相关拐角119处的两个三角测量基准发送器406的位置，点427表示设置在建筑物110的前门117处的三角测量基准发送器406的位置。这三个点定义三维笛卡尔参考系410。
[0070] 代理99携带具有发送器91(例如，无线电发送器)的定位器装置(或定位装置)90。三角测量接收器405的阵列从发送器91接收信号。通过熟知的三角测量几何处理，可以以足够在建筑物110的模型内渲染代理99的化身299的准确度确定代理99在3D参考系(X、Y、Z轴)内的位置。
[0071] 为此，在优选实施方式中，建筑物模型310然后可与该参考系相关，以提供建筑物110与参考系之间的配准(registration)。
[0072] 其它实施方式使用GPS来定位建筑物110内的代理99。在这样的实施方式中，定位器装置90可包括全球定位系统(“GPS”)接收器93。如GPS领域中已知的，GPS接收器将其自身定位在由绕地球的轨道中的卫星群定义的参考系中，以产生代理的GPS坐标作为定位器信息。
[0073] 另一例示性实施方式通过使用建筑物基础设施来确定代理99在建筑物110内的位置，也示意性地示出于图4A中。例如，建筑物110可在建筑物110的已知位置中包括内部传感器430。内部传感器430被设置在建筑物中的已知位置处，因此定义参考系。例如，内部传感器430的位置可被配准到建筑物110的CAD模型。在这种情况下，当给定一个内部传感器430检测到代理99的存在时，便知道代理99在建筑物110内的位置是在内部传感器430的位置处。
[0074] 为此，代理99可携带定位器装置90(在一些实施方式中，为徽章的形式)，其可被建筑物110内的传感器430检测到。例如，定位器装置90可携带电路，该电路响应来自内置于建筑物的传感器430的查询。在其它实施方式中，传感器430可以是摄像头(例如，监控摄像头)。
[0075] 优选实施方式使用磁感测来确定代理99在建筑物内的位置。众所周知，建筑物110(更具体地，建筑物110的构成材料)以可检测方式使地球磁场扭曲(如本文所用，“EMF”是指“地球磁场”)。该扭曲遍及建筑物110变化。例如，形成建筑物结构的一部分的钢柱115可使地球磁场扭曲。当利用磁传感器92(例如，磁力计；这些传感器通常见于一些现代智能电话中)测量建筑物110内的地球磁场时，磁传感器92离钢梁115越近，扭曲越大或至少越特别。
[0076] 如图4C中示意性地示出的，遍及建筑物110获取的多个磁读数形成磁矢量441的阵列，其被共同称为建筑物110的“磁地图”440(或“EMF地图”)。磁地图440是参考系400的实施方式。各个磁读数是空间中获取读数的点处的地球磁场的测量值。通常，这些读数由在建筑物110中穿过开放空间(例如走廊、房间、楼梯井等)移动的人获取。
[0077] 在图4C和图4D中，各个磁矢量441由箭头表示。箭头的取向(在这些图中，相对于X-Y轴)在图形上表示该点处的地球磁场的方向，箭头的长度在图形上表示该点处的地球磁场的强度。应该注意的是，在优选实施方式中，各个磁矢量表示三个维度(例如，正交的X、Y和Z轴)上的EMF。
[0078] 应该注意的是，这些磁矢量441没有显示或揭示建筑物110的物理特征。例如，从图4C将理解，围绕建筑物110的第一层111获取磁矢量441，但没有从柱115内或楼梯113内获取读数。这是因为用于创建磁地图440的磁传感器无法被放置在实心物体内以便在那里获取读数。图4D示意性地示出箭头，省略了建筑物110的墙壁116、柱115和楼梯113的背景。如所示，磁矢量441没有示出建筑物110的墙壁116、柱115和楼梯113。可以说磁地图440仅示出了建筑物110内的开放空间。换言之，磁地图440示出了没有建筑物特征(例如，楼梯113；柱
115；墙壁116)的地方。
115；墙壁116)的地方。
[0079] 一旦已建立建筑物110的磁地图440，就可通过在代理99的一组位置处测量(扭曲的)地球磁场并将该组测量值与来自磁场地图上的已知位置(即，来自建筑物110内的已知位置)的对应一组磁矢量441匹配来确定代理99在建筑物110内的位置。如本文所用，术语“组”意指至少一个。该匹配识别代理99相对于磁地图的位置。
[0080] 为此，代理携带磁传感器92，例如见于许多现代蜂窝电话中的磁传感器。表示来自该组测量值中的各个测量值的数据被发送到系统700(如下所述)。
[0081] 因此，一些较不优选的实施方式用楼面布置图(例如，建筑物110的一部分的2D表示)或其它2D建筑绘图来补充磁地图。如上所述，这些2D渲染不如例如3D CAD渲染或3D点云可取，因为它们未能包括产生建筑物110的内部的3D渲染所需的细节。
[0082] 将位置信息与建筑物模型相关
[0083] 一旦知道代理99在建筑物110内的位置[例如，相对于参考系400(例如，GPS参考系；笛卡尔系统410或磁地图440)]，就可将代理99的位置与3D建筑物模型310相关以产生相关位置。更具体地，当代理99在建筑物110内的位置与参考系400相关并且参考系与建筑物模型310相关时，则代理99在建筑物模型310内的位置已知。
[0084] 例示性实施方式识别3D建筑物模型310中与识别代理99的位置的位置信息具有已知相关的至少一个(优选两个或三个)位置。
[0085] 在例示性实施方式中，如果3D模型310是建筑物110的内部的点云，则可包括建筑物110的前门117和后门118。
[0086] 如果在GPS坐标中代理99的位置已知并且建筑物的位置的GPS坐标(例如，前门117和后门118的GPS坐标)已知，则代理99的位置相对于前门117和后门118的位置已知。
[0087] 在其它实施方式中，笛卡尔参考系410由点425、426和427定义，更具体地，由这些点相对于三角测量接收器405的位置定义。代理99相对于三角测量接收器405的位置也已知。因此，代理99的位置可与笛卡尔参考系410相关，如图4B中的点428示意性地示出的。
[0088] 类似地，磁地图参考系440可包括前门117和后门118的磁读数。代理99在磁地图440内的位置也已知，因此代理99的位置可与磁地图440相关。
[0089] 接下来，建筑物模型310可与参考系400相关，因此与代理99的位置相关。通常，建筑物模型310的特征可被配准或对准到参考系400。
[0090] 例如，通过操纵点云中的点，点云的前门317和后门318(或者更具体地，表示前门和后门的点云数据)可被配准或对准到参考系400的前门和后门。类似地，CAD模型的前门317和后门318可被配准或对准到参考系400的前门和后门。
[0091] 以这些方式，代理99在建筑物内的位置被配准到建筑物模型310。
[0092] 渲染合成图像
[0093] 一旦代理99的位置与3D建筑物模型310相关，建筑物110的3D渲染210就可生成并显示在显示装置150上。这种渲染包括在建筑物的3D渲染中、在实际代理99在实际建筑物内的位置中显示代理99的化身299，并且可被称为“合成图像”。例如，如图4A和图2B示意性地示出的，如果代理99正走过建筑物110的第二层112，则3D渲染将在建筑物的3D渲染210的第二层上的相同位置处示出化身299。
[0094] 系统
[0095] 图7示意性地示出用于实现上述实施方式的系统700。系统700包括通过通信总线701互连的模块。
[0096] 通信模块710包括被配置为与诸如定位装置90和数据库131、132(例如，如果这些数据库不在数据库模块730内)(仅举几个例子)的其它装置通信的电路。在一些实施方式中，通信模块710可包括接收器120，但在其它实施方式中，接收器120与通信模块710分离，但与通信模块710数据通信。
[0097] 一些实施方式还包括模型接收器711，其被配置为获取建筑物110的3D模型。例如，模型接收器711可从捕获装置(例如，下述映射模态800)或远程数据库132(仅举几个例子)获取建筑物110的3D模型。
[0098] 一些实施方式还包括参考系接收器712，其被配置为获取建筑物110的参考系(或“定位器地图”)410。例如，模型接收器711可从远程数据库获取建筑物110的3D模型(例如，如果参考系410无法从数据库模块730获得)。与上述示例一致，参考系400可以是建筑物110的磁地图、建筑物110的GPS地图或将建筑物内的地方与三角测量的位置协调的笛卡尔参考系(仅举几个例子)。
[0099] 系统700还包括相关模块720。如上所述，相关模块720被配置为将参考系400、代理99的定位器信息和建筑物模型310相关。
[0100] 渲染模块740生成3D渲染210以用于显示在显示装置150上。如上所述，这样显示化身299：化身299相对于3D渲染的显示位置与代理99相对于建筑物110的位置相同。换言之，化身299准确地示出代理99在建筑物110内的位置。
[0103] 同时捕获模态
[0104] 图8示意性地示出同时捕获模态800。
[0105] 在例示性实施方式中，模态800包括联接到机架802的磁传感器(例如，磁力计)810和激光扫描仪820。在操作中，模态穿过建筑物110的内部移动(或被移动)，并且随着行进对建筑物内部进行测量。更具体地，在优选实施方式中，磁传感器810获取建筑物110的磁读数440(如上所述)并且激光扫描仪820对建筑物110内部进行物理测量以产生点云。
[0106] 在优选实施方式中，磁传感器810和激光扫描仪820同时获取它们相应的读数和测量值，结果是读数和测量值彼此相关，这可被称为“复合模型”。使用复合模型的益处是消除了将单独的参考系400与建筑物模型310相关的需求(和处理步骤)。
[0107] 为此，在优选实施方式中，磁传感器810和激光扫描仪820以彼此固定的物理和空间关系联接到机架802。
[0108] 在一些实施方式中，模态800由工人携带穿过建筑物以便获取读数和测量值。例如，模态800可被拿在手中、放在背包中或在推车上通过轮子转动(wheeled)穿过建筑物110。
[0109] 在优选实施方式中，模态800包括运输器801。运输器801是自主载具，其被配置为并且能够遍及建筑物110中的开放空间(例如，房间、走廊等)导航和移动。例如，运输器801可包括已知用于这些目的的电机、轮子和导航电路，例如可从iRobot公司购买的各种Roomba真空电器中的那些。
[0110] 模态800将读数和测量值存储在一个或更多个数据库(例如，数据库131和数据库132中的任一者或二者)中。在优选实施方式中，模态将读数和测量值存储为上述复合模型，但在一些实施方式中可将读数和测量值分别单独地存储在数据库131和数据库132中。
[0111] 附图标记：
[0112] 本文中所使用的附图标记包括以下：
[0113] 90：定位器装置；
[0114] 91：无线电发送器；
[0115] 92：传感器；
[0116] 93：GPS接收器；
[0117] 99：代理；
[0118] 100：系统；
[0119] 110：建筑物；
[0120] 111：建筑物的第一层；
[0121] 112：建筑物的第二层；
[0122] 113：建筑物中的楼梯；
[0123] 114：楼梯井；
[0124] 115：柱；
[0125] 116：建筑物的墙壁；
[0126] 117：前门；
[0127] 118：后门；
[0128] 120：接收器；
[0129] 121：天线；
[0130] 131：建筑物参考系数据库；
[0131] 132：建筑物物理模型数据库；
[0132] 150：显示装置；
[0133] 151：3D图像；
[0134] 170：远程终端；
[0135] 188：管理者；
[0136] 210：建筑物的3D渲染；
[0137] 213：渲染的楼梯；
[0138] 215：渲染的柱；
[0139] 217：渲染的前门；
[0140] 218：渲染的后门；
[0141] 260：生物特征显示部；
[0142] 261：生物特征数据；
[0143] 299：化身；
[0144] 310：建筑物模型；
[0145] 311：示例渲染模型；
[0146] 330：建筑物的点云；
[0147] 331：第一层的点云；
[0148] 332：第二层的点云；
[0149] 333：楼梯的点云；
[0150] 335：柱的点云；
[0151] 350：建筑物的CAD模型；
[0152] 351：建筑物的第一层的CAD模型；
[0153] 352：建筑物的第二层的CAD模型；
[0154] 353：建筑物中的楼梯的CAD模型；
[0155] 354：楼梯井的CAD模型；
[0156] 355：柱的CAD模型；
[0157] 400：参考系；
[0158] 405：三角测量接收器；
[0159] 406：三角测量基准发送器；
[0160] 410：笛卡尔参考系；
[0161] 425：第一拐角点；
[0162] 427：第二拐角点；
[0163] 427：前门点；
[0164] 428：代理的位置；
[0165] 430：内部传感器；
[0166] 440：磁地图；
[0167] 441：磁矢量；
[0168] 547：前门配准磁矢量；
[0169] 548：后门配准磁矢量；
[0170] 800：映射模态；
[0171] 801：运输器；
[0172] 802：机架；
[0173] 810：磁传感器；
[0174] 820：点云扫描仪。
[0175] 上面总结并在下面更详细描述的实施方式具有这样的效果：将建筑物内部的人与该人在建筑物内的位置的观察者之间交互的本质从存在于物理世界中(通常基于个人观察(例如，观察者透过窗户看或经由监控摄像头观看))变换为包括远程定位建筑物内的人并利用建筑物的3D渲染图像生成人的化身的虚拟显示的赛博空间(cyberspace)活动。通常，例示性实施方式由本文中要求保护并描述的技术基础架构来实现。由于这些原因以及其它，由所附的权利要求限定的活动并不是本发明领域的技术人员充分了解的、常规的或惯例的。
[0176] 本发明的各种实施方式可至少部分地用任何常规计算机编程语言来实现。例如，一些实施方式可用过程编程语言(例如，“C”)或用面向对象的编程语言(例如，“C++”)来实现。本发明的其它实施方式可被实现为预编程的硬件元件(例如，专用集成电路、FPGA和数字信号处理器)或者其它相关组件。
[0177] 在另选实施方式中，所公开的设备和方法可被实现为与计算机系统一起使用的计算机程序产品。这种实现方式可包括固定在诸如非瞬态计算机可读介质(例如，软盘、CD-ROM、ROM、闪存或固定盘)的有形介质上的一系列计算机指令。这一系列计算机指令可具体实现本文中先前关于系统描述的全部或部分功能。
[0178] 本领域技术人员应该理解，这些计算机指令可用若干编程语言来编写，以与许多计算机架构或操作系统一起使用。此外，这些指令可被存储在任何存储器装置(例如，半导体、磁、光学或其它存储器装置)中，并且可使用任何通信技术(例如，光学、红外、微波或其它传输技术)来发送。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种用于智能制造的自动化分拣系统及其工作方法 | 2020-05-28 | 1 |
| 一种生物识别方法、装置和系统 | 2020-09-27 | 0 |
| 基于视觉图像的油田作业区安全监控系统 | 2020-09-28 | 2 |
| 一种视觉触觉融合的步态识别系统及识别方法 | 2021-01-30 | 2 |
| CPR竞赛系统 | 2023-02-11 | 0 |
| 一种基于IR-UWB和图像矩的装备展示导览系统 | 2020-09-24 | 0 |
| 基于车位状态监控的目的地停车位智能推荐系统及方法 | 2020-07-31 | 2 |
| 一种基于激光与视觉混合引导的无人转运叉车及方法 | 2020-10-09 | 1 |
| Location sensitive, public security advisory system and method | 2021-06-27 | 1 |
| Collaborative development of visualization dashboards | 2023-01-05 | 0 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈