首页 / 专利库 / 建筑物 / 自动建模 / 建筑信息模型 / 一种基于BIM与计算机视觉技术的室内定位导航方法

一种基于BIM与计算机视觉技术的室内定位导航方法

阅读:170发布:2020-05-12

专利汇可以提供一种基于BIM与计算机视觉技术的室内定位导航方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于BIM与 计算机视觉 技术的室内 定位 导航方法,包括以下步骤:基于BIM模型的室内导航网络路径生成,设置建筑内部空间实体的自定义属性生成IFC文件,通过IFC文件解析提取几何空间构件及其拓扑关系,生成几何拓扑网络模型;基于计算机视觉技术实现室内定位,通过 图像识别 方法进行初步定位,然后结合所预先设定的先验信息,应用投影成像原理实现定位解算;连接定位点与几何拓扑网络模型,获取用户兴趣点,生成最 短路 径;本发明可实现低成本、动态性和 可视化 的室内定位导航。,下面是一种基于BIM与计算机视觉技术的室内定位导航方法专利的具体信息内容。

1.一种基于BIM与计算机视觉技术的室内定位导航方法,其特征在于,包括步骤:
步骤1、基于BIM模型的室内导航网络路径生成,设置建筑内部空间实体的自定义属性生成IFC文件,通过IFC文件解析提取几何空间构件及其拓扑关系,生成几何拓扑网络模型;
步骤2、基于计算机视觉技术实现室内定位,通过图像获取模图像识别模型进行初步定位,然后结合所预先设定的先验信息,应用投影成像原理实现定位解算;
步骤3、连接定位点与几何拓扑网络模型,获取用户兴趣点,生成最短路径。
2.根据权利要求1所述的室内定位导航方法,其特征在于,所述步骤1中生成几何拓扑网络模型的步骤具体为:
步骤11、分楼层提取构件、楼梯构件及空间构件;
步骤12、遍历每个构件,在IFC文件中,获取IFC Product的子类几何表达类型IFC Product Representation;提取近似几何中心,将所提取的构件的几何模型中提取其顶点坐标在X,Y方向的最大值与最小值,得到该几何模型的外包尺寸,拾取二维中心点,把各节点的在Z方向的值降低至楼层高度,取构件近似几何中心N作为网络节点坐标;
步骤13、获取坐标属性IFC Object Placement,进行坐标转换;
统一所有构件在同一坐标系下,通过从IFC Local Placement和IFC  Axis2 Placement3D中获得的转换矩阵实现;
步骤14、导航兴趣点索引添加,提取每一个IFC文件中每一个空间元素的LongName属性作为空间节点的附加名称属性,自动生成三维导航兴趣点的索引;
进而生成几何拓扑网络模型。
3.根据权利要求2所述的室内定位导航方法,其特征在于,所述几何拓扑网络模型中的边包括平边和垂直边,水平边连接走廊、房间、门以及与楼梯节点最近的走廊骨架点,而垂直边则是连接层间的楼梯节点。
4.根据权利要求3所述的室内定位导航方法,其特征在于,所述水平边中,以走廊的边界为输入数据,通过Delaunay算法,把走廊区域分割成若干个三形,通过判断三角形的邻接关系输出路径。
5.根据权利要求3所述的室内定位导航方法,其特征在于,所述楼梯节点,通过提取IFC Stair,生成楼梯节点,并将相邻的楼梯节点依次连接;将楼梯节点连接至与其最近的走廊骨架点,从而连接垂直和水平路径。
6.根据权利要求3所述的室内定位导航方法,其特征在于,所述水平边中,提取所有门的节点,并连接到与其最近的走廊骨架点。
7.根据权利要求3所述的室内定位导航方法,其特征在于,所述几何拓扑网络模型中,首先提取所有房间空间,并把房间简化成节点,在房间构件属性IFC RelSpaceBoundary中遍历与房间边缘相连接的其他构件,找出属性为Ifc Door的门构件,并把该门构件节点与房间节点相连。
8.根据权利要求1所述的的室内定位导航方法,其特征在于,所述步骤2具体为:
步骤21、建立图像数据库;通过图像获取模块采集目标物体的实时拍摄图像,对目标物体设定3个控制点,控制点选取具有明显边角特征的点,并选用其中一张作为参考照片,记录参考照片中3个控制点的像素坐标及世界坐标,其中世界坐标定义为BIM中1:1建模的世界坐标系;其余图像用作训练样本;
步骤22、室内静态目标识别与初步定位;采用Faster-RCNN算法图像识别算法,通过迁移AlexNet进行学习训练新的图像识别模型;
步骤23、通过图像识别模型对手机实时拍摄的室内图像进行识别,得到识别后实时图像,提取别后实时图像在数据库中相对应类别的参考照片及其相对应参考点的像素坐标及世界坐标;
步骤24、假设同一个点在两幅图像中的图像坐标分别为(x1,y1)、(x2,y2),则存在以下对应关系:
其中,H为单应性矩阵,为3X3的矩阵;
对实时拍摄图像与步骤23中提取的参考照片通过SIFT特征提取及匹配,求解得到单应性矩阵H;
步骤25、计算控制点像素坐标,根据步骤23中提取参考照片中控制点的像素坐标Xref,及步骤24中获取的单应性矩阵H计算实时照片上的控制点X=H*Xref;
步骤26、定位解算,以摄像头三维坐标作为用户三维坐标,因此该步骤需要解算摄像头在空间中的三维坐标;摄像头坐标系与地面坐标系存在旋转和平移关系,再依据图像坐标系与摄像头坐标系之间的变换关系,可以得出地面坐标系与图像坐标系之间的关系,如下所示:
其中:
(u0,v0)是图像中心即光轴与图像平面的交点坐标;
fx=f·Sx、fy=f·sy,f为焦距;
为单位长度的像素个数;
(u,v)为图像像素点坐标;
rij为旋转矩阵中的元素,由偏航俯仰滚转三个方向角决定;
(xw,yw,zw)为像素点地面坐标;
tx,ty,tz为摄像头相对于目标的平移量,它与目标地面坐标的和即为摄像机三维位置坐标值;
根据步骤23中提取的3个控制点的世界坐标,以及步骤25中计算所得3个控制点在实时照片中的像素坐标,代入此方程,即可解算此方程。
9.根据权利要求1所述的室内定位导航方法,其特征在于,所述步骤3中包括以下步骤:
步骤31、搜寻在步骤1中生成的导航网络点与步骤2中的定位点最相近的节点,并将导航网络点与定位点相连,形成新的导航网络;
步骤32、获取用户兴趣点,通过Dijkstra算法计算出兴趣点与用户之间的最短路径。
10.根据权利要求1所述的室内定位导航方法,其特征在于,所述通过图像识别方法初步定位的步骤具体为:
利用图像获取模块采集训练样本,通过迁移学习方法获得图像识别模型,将室内图片输入模型中识别。

说明书全文

一种基于BIM与计算机视觉技术的室内定位导航方法

技术领域

[0001] 本发明涉及三维定位导航领域,特别涉及一种基于BIM与计算机视觉技术的室内定位导航方法。

背景技术

[0002] 随着城市化进程加快,商业中心、停车场、医院等复杂室内的位置服务及地下空间的安全管理对室内定位导航的需求日益迫切。现阶段,室内定位导航过程通常面向于二维地图,已很难满足人们的日常需求。
[0003] 与传统的CAD技术相比,BIM(Building Information Modeling,简称BIM)能够恢复建筑构件的纹理信息、丰富的语义信息以及它们之间的关系,并支持全生命周期数据共享。IFC(Industry Foundation Classes)为BIM的主要数据交换标准。基于IFC格式的模型包含建筑构件的几何信息和丰富的语义信息。如今,IFC标准已经得到了大多数BIM软件供应商的支持,近年来的研究主要涉及到提取和管理以IFC格式生成的建筑构件的语义信息并将其应用于各种场景,如基于规则的自动检查、设计方案的评估、施工成本估算、施工管理、IFC文件之间的比较。
[0004] 室内定位是理解人或物体在室内环境中的位置和方向的过程。在室内环境中,全球导航卫星系统(GNSS)信号难以接收,难以在室内定位中推广应用。
[0005] 当前,室内定位导航依然停留在起步阶段,在充分利用先验信息,并结合BIM与结合计算机视觉技术实现的定位导航方法上存在很大空缺。

发明内容

[0006] 本发明的目的在于克服现有技术的缺点与不足,提供一种基于BIM与计算机视觉技术的室内定位导航方法,此方法可实现低成本、动态性和可视化的室内定位导航。
[0007] 本发明的目的通过以下的技术方案实现:一种基于BIM与计算机视觉技术的室内定位导航方法,包括步骤:
[0008] 步骤1、基于BIM模型的室内导航网络路径生成,设置建筑内部空间实体的自定义属性生成IFC文件,通过IFC文件解析提取几何空间构件及其拓扑关系,生成几何拓扑网络模型;
[0009] 步骤2、基于计算机视觉技术实现室内定位,通过图像识别方法进行初步定位,然后结合所预先设定的先验信息,应用投影成像原理实现定位解算;
[0010] 步骤3、连接定位点与几何拓扑网络模型,获取用户兴趣点,生成最短路径。
[0011] 优选的,所述生成几何拓扑网络模型的步骤具体为:
[0012] 步骤11、分楼层提取楼梯及空间构件;
[0013] 步骤12、遍历每个构件,在IFC文件中,获取IFC Product的子类几何表达类型IFC Product Representation;提取近似几何中心,将所提取各构件的几何模型中提取其顶点坐标在X,Y方向的最大值与最小值,得到模型的外包尺寸,拾取二维中心点,把各节点的在Z方向的值降低至楼层高度,取构件近似几何中心N作为网络节点坐标;
[0014] 步骤13、获取坐标属性IFC Object Placement,进行坐标转换;
[0015] 统一所有构件在同一坐标系下(IfcSite),通过从IFC Local Placement和IFC Axis2 Placement3D中获得的转换矩阵实现。
[0016] 步骤14、导航兴趣点索引添加;
[0017] 提取每一个IFC文件中每一个空间元素的LongName属性作为空间节点的附加名称属性,即可自动生成三维导航兴趣点的索引。
[0018] 更进一步的,所述几何拓扑网络模型中的边包括平边和垂直边,水平边连接走廊、房间、门以及与楼梯节点最近的走廊骨架点,而垂直边则是连接层间的楼梯节点。
[0019] 更进一步的,走廊是连接房间之间的通道,为了进行走廊的路径骨架提取,以走廊的边界为输入数据,通过Delaunay算法,把走廊区域分割成多个三形,通过判断三角形的邻接关系输出路径。
[0020] 更进一步的,楼梯在空间上代表着连接不同楼层的垂直路径,通过提取IFC Stair,生成楼梯节点,并将相邻的楼梯节点依次连接;将楼梯节点连接至与其最近的走廊骨架点,从而连接垂直和水平路径。
[0021] 更进一步的,走廊和门的拓扑关系可以从IFC Rel Space Boundary中提取出来。在这一步中,提取所有门的节点,并连接到与其最近的走廊骨架点。
[0022] 更进一步的,在几何拓扑网络模型中,首先提取所有房间空间,并把房间简化成节点,即房间节点,在房间构件属性IFC RelSpaceBoundary中遍历与房间边缘相连接的其他构件,找出属性为Ifc Door的门构件,并把该门构件节点与房间节点相连。
[0023] 优选的,所述步骤2具体为:
[0024] 步骤21、建立图像数据库;采集大量目标物体的图像,对目标物体设定3个控制点,控制点选取具有明显边角特征的点(如门的边角点),并选用其中一张作为参考照片,记录参考照片中3个控制点的像素坐标及世界坐标,其中世界坐标定义为BIM中1:1建模的世界坐标系;其余图像用作训练样本;
[0025] 步骤22、室内静态目标识别与初步定位;采用Faster-RCNN算法图像识别算法,通过迁移AlexNet进行学习训练新的图像识别模型;
[0026] 步骤23、应用步骤22训练后得到的图像识别模型,对手机实时拍摄的室内图像进行识别,提取其在数据库中相对应类别的参考照片及其相对应参考点的像素坐标及世界坐标;
[0027] 步骤24、假设同一个点在两幅图像中的图像坐标分别为(x1,y1)、(x2,y2),则存在以下对应关系:
[0028]
[0029] 其中,H为单应性矩阵,为3X3的矩阵。
[0030] 因此对实时拍摄图像与步骤23中提取的参考照片通过SIFT算法进行特征提取及匹配,获得四组以上点对,进而求解单应性矩阵H;
[0031] 步骤25、计算控制点像素坐标,根据步骤23中提取参考照片中控制点的像素坐标Xref,及步骤24中获取的单应性矩阵H计算实时照片上的控制点X=H*Xref;
[0032] 步骤26、定位解算,以摄像头三维坐标作为用户三维坐标,因此该步骤需要解算摄像头在空间中的三维坐标;摄像头坐标系与地面坐标系存在旋转和平移关系,再依据图像坐标系与摄像头坐标系之间的变换关系,可以得出地面坐标系与图像坐标系之间的关系,如下所示:
[0033]
[0034]
[0035] 其中:
[0036] (u0,v0)是图像中心(光轴与图像平面的交点)坐标;
[0037] fx=f·Sx、fy=f·sy,f为焦距;
[0038] 为单位长度的像素个数;
[0039] (u,v)为图像像素点坐标;
[0040] rij为旋转矩阵中的元素,由偏航roll(绕x轴旋转)、俯仰pitch(绕y轴旋转)、滚转yaw(绕z轴旋转)三个方向角决定;
[0041] (xw,yw,zw)为像素点地面坐标;
[0042] tx,ty,tz为摄像头相对于目标的平移量,它与目标地面坐标的和即为摄像机三维位置坐标值;
[0043] 上述公式中,u0,v0,fx,fy,sx,sy为相机内参,为已知量;rij与tx,ty,tz为旋转平移量,属于未知量。其中,rij为旋转矩阵,由三个基本旋转序列roll,pitch,yaw复合而成,为3个未知量,tx,ty,tz为摄像头相对目标在x,y,z方向的平移量,为3个未知量,共六个未知数。根据上述公式可知,只要知道3组三维空间坐标和对应的像素坐标即可解算用户的位置。因此,本发明根据步骤23中提取的3个控制点的世界坐标,以及步骤25中计算所得3个控制点在实时照片中的像素坐标,即可解算此方程。
[0044] 优选的,所述步骤3中包括以下步骤:
[0045] 步骤31、搜寻在步骤1中生成的导航网络点与步骤2中的定位点最相近的节点,并将导航网络点与定位点相连,形成新的导航网络。
[0046] 步骤32、获取用户兴趣点,通过Dijkstra算法计算出兴趣点与用户之间的最短路径。
[0047] 优选的,所述通过图像识别方法初步定位的步骤具体为:
[0048] 采集训练样本,通过迁移学习方法获得图像识别模型,将室内图片输入模型中识别。
[0049] 本发明与现有技术相比,具有如下优点和有益效果:
[0050] 1、本发明结合BIM与计算机视觉技术,构建三维室内几何拓扑网络模型、识别室内定位点,并连接定位点与网络模型,实现低成本、动态性和可视化的室内定位导航[0051] 2、本发明通过基于IFC的路径规划方法,在考虑提取几何信息的同时充分利用空间信息。IFC是BIM的主要数据交换标准,同时包含构件的几何信息以及丰富的语义信息(如门的状态、多个楼层的可通行等),支持全生命周期的数据共享。
[0052] 3、本发明应用计算机视觉技术实现室内定位。鉴于建筑物室内物体大多处于静态不变状态,本项目以室内静态物体作为识别目标,通过匹配过程计算出用户的实时位置。此过程主要包括:场景识别、SIFT特征匹配以及基于投影成像原理的定位计算。
[0053] 4、本发明以BIM作为视觉定位的三维数据源,区别于以往的视觉定位方法(通过像素坐标系与空间地理坐标系之间的转换实现定位),本项目以BIM为媒介,把现实世界中的构件在BIM模型项目坐标系中的位置作为参考,直接实现从像素坐标系到模型的项目坐标系的转换,免除通过全站仪测量获取世界坐标或是通过各类数据采集设备(如:三维激光扫描仪等)采集数据的繁琐过程,在现实在虚拟之间搭设桥梁附图说明
[0054] 图1为本发明所述一种基于BIM与计算机视觉技术的室内定位导航方法流程图
[0055] 图2为本发明所述实施例中生成网络节点的流程图。
[0056] 图3为本发明所述实施例中室内静态目标定位流程图。

具体实施方式

[0057] 为了更好的理解本发明的技术方案,下面结合附图详细描述本发明提供的实施例,但本发明的实施方式不限于此。
[0058] 实施例1
[0059] 一种基于BIM与计算机视觉技术的室内定位导航方法,如图1所示,包括步骤:
[0060] 步骤1、基于BIM模型的室内导航网络路径生成,设置建筑内部空间实体的自定义属性生成IFC文件,通过IFC文件解析提取几何空间构件及其拓扑关系,生成几何拓扑网络模型;
[0061] 优选的,所述步骤1中生成几何拓扑网络模型的步骤,如图2所示,具体为:
[0062] 步骤11、分楼层提取门、楼梯及空间构件;
[0063] 步骤12、遍历每个构件,在IFC文件中,获取IFC Product的子类几何表达类型IFC Product Representation;提取近似几何中心,将所提取的各构件的几何模型中提取其顶点坐标在X,Y方向的最大值与最小值,得到模型的外包尺寸,拾取二维中心点,把各节点的在Z方向的值降低至楼层高度,取构件近似几何中心N作为网络节点坐标;
[0064] 步骤13、获取坐标属性IFC Object Placement,进行坐标转换;
[0065] 统一所有构件在同一坐标系下(IfcSite),通过从IFC Local Placement和IFC Axis2 Placement3D中获得的转换矩阵实现。
[0066] 步骤14、导航兴趣点索引添加;
[0067] 提取每一个IFC文件中每一个空间元素的LongName属性作为空间节点的附加名称属性,即可自动生成三维导航兴趣点的索引。
[0068] 更进一步的,所述几何拓扑网络模型中的边包括水平边和垂直边,水平边连接走廊、房间、门以及与楼梯节点最近的走廊骨架点,而垂直边则是连接层间的楼梯节点。
[0069] 走廊是连接房间之间的通道,为了进行走廊的路径骨架提取,以走廊的边界为输入数据,通过Delaunay算法,把走廊区域分割成多个三角形,通过判断三角形的邻接关系输出路径。
[0070] 楼梯在空间上代表着连接不同楼层的垂直路径,通过提取IFC Stair,生成楼梯节点,并将相邻的楼梯节点依次连接;将楼梯节点连接至与其最近的走廊骨架点,从而连接垂直和水平路径。
[0071] 走廊和门的拓扑关系可以从IFC Rel Space Boundary中提取出来。在这一步中,提取所有门的节点,并连接到与其最近的走廊骨架点。
[0072] 在几何拓扑网络模型中,首先提取所有房间空间,并把房间简化成节点,即房间节点,在房间构件属性IFC RelSpaceBoundary中遍历与房间边缘相连接的其他构件,找出属性为Ifc Door的门构件,并把该门构件节点与房间节点相连。
[0073] 步骤2、基于计算机视觉技术实现室内定位,通过图像识别方法进行初步定位,然后结合所预先设定的先验信息,应用投影成像原理实现定位解算,如图3所示,具体如下:
[0074] 步骤21、建立图像数据库;采集大量目标物体的图像,对目标物体设定3个控制点,控制点选取具有明显边角特征的点(如门的边角点),并选用其中一张作为参考照片,记录参考照片中3个控制点的像素坐标及世界坐标,其中世界坐标定义为BIM中1:1建模的世界坐标系;其余图像用作训练样本;
[0075] 步骤22、室内静态目标识别与初步定位;采用Faster-RCNN算法图像识别算法,通过迁移AlexNet进行学习训练新的图像识别模型;
[0076] 步骤23、应用步骤22训练后得到的图像识别模型,对手机实时拍摄的室内图像进行识别,提取其在数据库中相对应类别的参考照片及其相对应参考点的像素坐标及世界坐标;
[0077] 步骤24、假设同一个点在两幅图像中的图像坐标分别为(x1,y1)、(x2,y2),则存在以下对应关系:
[0078]
[0079] 其中,H为单应性矩阵,为3X3的矩阵。
[0080] 因此对实时拍摄图像与步骤23中提取的参考照片通过SIFT算法进行特征提取及匹配,获得四组以上点对,进而求解单应性矩阵H;
[0081] 步骤25、计算控制点像素坐标,根据步骤23中提取参考照片中控制点的像素坐标Xref,及步骤24中获取的单应性矩阵H计算实时照片上的控制点X=H*Xref;
[0082] 步骤26、定位解算,以摄像头三维坐标作为用户三维坐标,因此该步骤需要解算摄像头在空间中的三维坐标;摄像头坐标系与地面坐标系存在旋转和平移关系,再依据图像坐标系与摄像头坐标系之间的变换关系,可以得出地面坐标系与图像坐标系之间的关系,如下所示:
[0083]
[0084]
[0085] 其中:
[0086] (u0,v0)是图像中心(光轴与图像平面的交点)坐标;
[0087] fx=f·Sx、fy=f·sy,f为焦距;
[0088] 为单位长度的像素个数;
[0089] (u,v)为图像像素点坐标;
[0090] rij为旋转矩阵中的元素,由偏航roll(绕x轴旋转)、俯仰pitch(绕y轴旋转)、滚转yaw(绕z轴旋转)三个方向角决定;
[0091] (xw,yw,zw)为像素点地面坐标;
[0092] tx,ty,tz为摄像头相对于目标的平移量,它与目标地面坐标的和即为摄像机三维位置坐标值;
[0093] 上述公式中,u0,v0,fx,fy,sx,sy为相机内参,为已知量;rij与tx,ty,tz为旋转平移量,属于未知量。其中,rij为旋转矩阵,由三个基本旋转序列roll,pitch,yaw复合而成,为3个未知量,tx,ty,tz为摄像头相对目标在x,y,z方向的平移量,为3个未知量,共六个未知数。根据上述公式可知,只要知道3组三维空间坐标和对应的像素坐标即可解算用户的位置。因此,本发明根据步骤23中提取的3个控制点的世界坐标,以及步骤25中计算所得3个控制点在实时照片中的像素坐标,即可解算此方程。
[0094] 步骤3、连接定位点与几何拓扑网络模型,获取用户兴趣点,通过Dijkstra算法实现最短路径生成。
[0095] 步骤31、搜寻在步骤1中生成的导航网络点与步骤2中的定位点最相近的节点,并将导航网络点与定位点相连,形成新的导航网络。
[0096] 步骤32、获取用户兴趣点,通过Dijkstra算法计算出兴趣点与用户之间的最短路径。
[0097] 上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

微信群二维码
意见反馈