一种基于bim与ar技术的可视化风险辨识方法及设备专利检索-姿态位姿人工智能专利检索查询-专利查询网

一种基于bim与ar技术的可视化 风险辨识方法及设备

阅读：2发布：2024-01-10

专利汇可以提供一种基于bim与ar技术的可视化风险辨识方法及设备专利检索，专利查询，专利分析的服务。并且本发明涉及工程建造技术领域，具体来说是一种基于bim与ar技术的可视化风险辨识方法及设备，通过移动端采集用户位置及用户位置处的现实影像以实时上传至后台客户端，并接受客户端所发出的反馈信息。通过后台客户端对现场进行BIM建模并实时接收移动端所采集的用户位置及用户位置处的现实影像，对现实影像进行特征识别以与预设的风险类型库进行特征相似度匹配，并向移动端发出包括BIM模型图像的反馈信息。本发明同现有技术相比，其优点在于：利用BIM与AR技术提供可视化风险辨识方案，直观快速的对风险特征进行辨识，将风险信息与预设建议的应对措施反馈给用户，第一时间告知用户，提供有力的决策支持，提升工程现场安全水平。，下面是一种基于bim与ar技术的可视化风险辨识方法及设备专利的具体信息内容。

权利要求

1.一种基于bim与ar技术的可视化风险辨识方法，其特征在于所述的可视化风险辨识方法包括如下步骤：
通过移动端采集用户位置及用户位置处的现实影像以实时上传至后台客户端，并接受客户端所发出的反馈信息；
通过后台客户端对现场进行BIM建模并实时接收移动端所采集的用户位置及用户位置处的现实影像，对现实影像进行特征识别以与预设的风险类型库进行特征相似度匹配，若特征相似度达到预设的阈值，则后台客户端在BIM模型中标识出该类风险，并向移动端发出包括BIM模型图像的反馈信息。
2.如权利要求1所述的一种基于bim与ar技术的可视化风险辨识方法，其特征在于所述的可视化风险辨识方法具体包括如下步骤：
步骤a.采用真实的绝对坐标，通过后台客户端建立现场的BIM模型；
步骤b.采用机器学习模块对预设的风险特征进行学习，利用风险源图片作为训练数据源，将风险源图片的几何特征、颜色、行为状态及物理属性作为风险特征，并对应将输出变量设为风险源的类型，利用CNN神经网络对全体训练库中数据进行分类和回归分析，得出预设的风险特征和输出变量的相关性模型，并将预设的风险特征和输出变量的相关性模型存储于后台客户端的风险类型库中。
3.如权利要求1或2所述的一种基于bim与ar技术的可视化风险辨识方法，其特征在于所述的可视化风险辨识方法具体包括如下步骤：
步骤c.通过移动端采集用户位置、姿态及用户位置处的现实影像并上传至后台客户端，由客户端对现实影像进行对象识别与边缘提取，并将提取得到的特征与风险类型库中预设的风险类型进行匹配，若匹配度大于预设阈值，则判定现实影像中的识别对象为该类风险。
4.如权利要求1或3所述的一种基于bim与ar技术的可视化风险辨识方法，其特征在于所述的可视化风险辨识方法具体包括如下步骤：
步骤d1.若用户位置处的现实影像中存在风险特征，则通过用户实际定位在BIM模型中所处的绝对位置，结合AR技术的api 接口的目标追踪算法，用3D引擎渲染被摄图像上的风险特征，并且将虚拟信息姿态根据估计出的实际对象的姿态矩阵进行变换。
5.如权利要求1或4所述的一种基于bim与ar技术的可视化风险辨识方法，其特征在于所述的可视化风险辨识方法具体包括如下步骤：
步骤d2.若用户位置处的现实影像中存在风险特征，则利用BIM可视化模块，叠加显示当前定位及姿态下所有风险特征所预设的相对应的风险预警信息，并提示可采取的建议措施。
6.如权利要求1或6所述的一种基于bim与ar技术的可视化风险辨识方法，其特征在于所述的可视化风险辨识方法具体包括如下步骤：
步骤e.系统在辨识到风险特征后自动计时，若因人员未做反应或未及时远离风险特征导致识别到风险特征存在持续时间达到设定时间，则移动端将以声音警报形式对用户进行持续警告，并自动生成风险警报，通过无线模块上传至后台服务器端，通知现场监控室管理人员。
7.如权利要求3所述的一种基于bim与ar技术的可视化风险辨识方法，其特征在于所述的步骤c包括如下步骤：
风险类型库中预设的风险特征项集用D1＝D1(p1，p2，…，pn)表示；
现实影像的特征集用D2＝D2(p’1，p’2，…，p’n)表示；
将D1和D2之间的内容相关度Sim用特征集在几何空间坐标下所表示向量之间夹角的余弦值表示，以用于判断相似程度，W1k、W2k分别表示D1和D2第K个特征项的权值，
8.一种用于如权利要求1所述的基于bim与ar技术的可视化风险辨识方法的设备，其特征在于所述的设备包括：
用于采集用户位置及用户位置处的现实影像以上传至后台客户端，并接受客户端所发出的反馈信息的移动端；
用于对现场进行BIM建模并接收移动端所采集的用户位置及用户位置处的现实影像，对现实影像进行特征识别以与预设的风险类型库进行特征相似度匹配，当特征相似度达到预设的阈值，则在BIM模型中标识出该类风险，并向移动端发出包括BIM模型图像的反馈信息的后台客户端。

说明书全文

一种基于bim与ar技术的可视化 风险辨识方法及设备

技术领域

[0001] 本发明涉及工程建造技术领域，具体来说是一种基于bim与ar技术的可视化风险辨识方法及设备。

背景技术

[0002] AR技术(Augmented Reality，增强现实技术)，是一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术，这种技术的目标是在屏幕上实现虚拟世界与现实世界之间的互动。这种技术最早在1990年提出，随着随身电子产品CPU运算能力的提升，其预期增强现实的用途将会越来越广。在AR设备中，头盔式显示器(Head-mounted displays,简称HMD)被广泛地应用于虚拟现实系统中，用以增强用户的视觉沉浸感。

[0003] 目前AR技术主要应用于移动应用交互，在工程实际应用中尚处于探索阶段。本申请的发明人发现，在风险识别工作中，AR与BIM技术结合有着天然的互补效应，利用BIM的三维可视化展示和模型结构化数据的特征，AR可提供带入感的反馈交互进行叠加，可提供较好的风险辨识可视化效果及预警展示。鉴于此，本申请发明人设计了一种基于bim与ar技术的可视化风险辨识方法及设备。

发明内容

[0004] 本发明的目的在于解决现有技术的不足，提供基于bim与ar技术的可视化风险辨识方法及设备，对工程一线的风险源进行辨识，并利用可视化效果反馈于用户，以达到风险源快速辨识、辨识后发出危险警告，风险信息展示及提示采取措施的作用，从而确保工程一线人员在施工环境下的人身安全。

[0005] 为了实现上述目的，设计一种基于bim与ar技术的可视化风险辨识方法，其特征在于所述的可视化风险辨识方法包括如下步骤：

[0006] 通过移动端采集用户位置及用户位置处的现实影像以实时上传至后台客户端，并接受客户端所发出的反馈信息。

[0007] 通过后台客户端对现场进行BIM建模并实时接收移动端所采集的用户位置及用户位置处的现实影像，对现实影像进行特征识别以与预设的风险类型库进行特征相似度匹配，若特征相似度达到预设的阈值，则后台客户端在BIM模型中标识出该类风险，并向移动端发出包括BIM模型图像的反馈信息。

[0008] 本发明还具有如下优选的技术方案及实施步骤：

[0009] 步骤a.采用真实的绝对坐标，通过后台客户端建立现场的BIM模型。

[0010] 步骤b.采用机器学习模块对预设的风险特征进行学习，利用风险源图片作为训练数据源，将风险源图片的几何特征、颜色、行为状态及物理属性作为风险特征，并对应将输出变量设为风险源的类型，利用CNN神经网络对全体训练库中数据进行分类和回归分析，得出预设的风险特征和输出变量的相关性模型，并将预设的风险特征和输出变量的相关性模型存储于后台客户端的风险类型库中。

[0011] 步骤c.通过移动端采集用户位置、姿态及用户位置处的现实影像并上传至后台客户端，由客户端对现实影像进行对象识别与边缘提取，并将提取得到的特征与风险类型库中预设的风险类型进行匹配，若匹配度大于预设阈值，则判定现实影像中的识别对象为该类风险。

[0012] 步骤d1.若用户位置处的现实影像中存在风险特征，则通过用户实际定位在BIM模型中所处的绝对位置，结合AR技术的api 接口的目标追踪算法，用3D引擎渲染被摄图像上的风险特征，并且把增加的虚拟信息姿态根据估计出的实际对象的姿态矩阵进行变换。

[0013] 步骤d2.若用户位置处的现实影像中存在风险特征，则利用BIM可视化模块，叠加显示当前定位及姿态下所有风险特征所预设的相对应的风险预警信息，并提示可采取的建议措施。

[0014] 步骤e.系统在辨识到风险特征后自动计时，若因人员未做反应或未及时远离风险特征导致识别到风险特征存在持续时间达到设定时间，则移动端将以声音警报形式对用户进行持续警告，并自动生成风险警报，通过无线模块上传至后台服务器端，通知现场监控室管理人员。

[0015] 所述的步骤c包括如下步骤：

[0016] 风险类型库中预设的风险特征项集用D1＝D1(p1，p2，…，pn)表示。

[0017] 现实影像的特征集用D2＝D2(p’1，p’2，…，p’n)表示。

[0018] 将D1和D2之间的内容相关度Sim用特征集在几何空间坐标下所表示向量之间夹角的余弦值表示，以用于判断相似程度，W1k、W2k分别表示D1和D2第K个特征项的权值。

[0019]

[0020] 本发明还设计一种用于所述的基于bim与ar技术的可视化风险辨识方法的设备，所述的设备包括：

[0021] 用于采集用户位置及用户位置处的现实影像以上传至后台客户端，并接受客户端所发出的反馈信息的移动端。

[0022] 用于对现场进行BIM建模并接收移动端所采集的用户位置及用户位置处的现实影像，对现实影像进行特征识别以与预设的风险类型库进行特征相似度匹配，当特征相似度达到预设的阈值，则在BIM模型中标识出该类风险，并向移动端发出包括BIM模型图像的反馈信息的后台客户端。

[0023] 本发明同现有技术相比，其优点在于：

[0024] (1)利用BIM与AR技术提供可视化风险辨识方案，直观快速的对风险特征进行辨识。

[0025] (2)将风险信息与预设建议的应对措施反馈给用户，第一时间告知用户，提供有力的决策支持。

[0026] (3)用BIM与AR技术对风险可视化管理与预警，提升工程现场安全水平。附图说明

[0027] 图1是一实施方式中本发明基于bim与ar技术的可视化风险辨识方法的方案架构示意图。

[0028] 图2是一实施方式中基于bim与ar技术的可视化风险辨识方法的步骤流程图。

具体实施方式

[0029] 下面结合附图对本发明作进一步说明，这种装置及方法的结构和原理对本专业的人来说是非常清楚的。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

[0030] 参见图1和图2，在本实施方式中，基于bim与ar技术的可视化风险辨识方法的大体步骤如下：

[0031] 步骤1：利用BIM建模软件创建项目，选用真实的绝对坐标建模。

[0032] 步骤2：BIM工程现场模型建立，赋予基础的工程实体几何外观信息及需要展示的场地内工程实体及物品附加信息。

[0033] 步骤3：利用移动设备的摄像头采集现实影像，移动设备内包含有定位模块和陀螺仪以采集用户位置，所述的陀螺仪还能采集用户的姿态。

[0034] 步骤4:利用互联网通过AR技术的api接口与云端服务器的图像识别引擎对接，实时传输采集的现实影像。

[0035] 步骤5:将采集的现实影像进行截帧,进行影像预处理，完成去噪处理与图像优化。

[0036] 步骤6:进行对象识别与边缘提取，利用图像模型捕捉画面中的对象及轮廓，并且进行对象特征点的提取和标识。

[0037] 步骤7:机器学习模块：利用数千张风险源图片作为训练数据源，对几何特征、颜色、行为状态及物理属性作为特征，对应输出变量设为风险源的类型，利用CNN神经网络对全体训练库中数据进行分类和回归分析，得出预设特征和输出变量的相关性模型。

[0038] 步骤8:，为相关性模型设定阈值，设定相似度判定条件“若相似度>＝80％，则返回值为风险，否则为无风险。”

[0039] 步骤9:将提取的特征点传入机器学习模块，用预先风险源图像建立起的机器学习训练库中的相关性模型(预测模型)，进行特征相似度度量匹配若与库中某类风险的特征匹配度达到预设阈值则将现实影像中的识别对象判定为该类风险，否则返回结果为无风险。

[0040] 步骤10:利用用户实际定位在BIM模型中所处的绝对位置，结合AR技术api接口的目标追踪算法，用3D引擎渲染被摄物体上的欲展示的关联信息，并且把增加的虚拟信息姿态根据估计出的实际对象的姿态矩阵进行变换，实现虚拟与真实物体的联动，实现增强现实的体验。

[0041] 步骤11:若当前视角中存在风险，利用BIM可视化模块，叠加显示当前定位及姿态下对应的风险预警信息，提示可采取的建议措施，否则继续返回步骤3。

[0042] 步骤12:人员读取BIM+AR反馈信息，作出反应或动作。

[0043] 步骤13:系统在辨识到风险源后自动计时，若因人员未做反应或未及时远离风险源导致识别到风险源存在持续时间达到10秒，将以声音警报形式对用户进行持续警告，并自动生成风险警报，通过无线模块上传服务器端，通知现场监控室管理人员。

[0044] 步骤14：根据人员进一步的动作，反复进行步骤3-13的识别与预警流程。

[0045] 实施例

[0046] 首先，选用真实的绝对坐标系进行工程现场bim模型创建，赋予基础的工程实体几何外观信息及需要展示的场地内工程实体及物品附加信息。

[0047] 假设工作人员在实际施工过程中路经基坑边，视野前存在未封闭的围挡结构。此时人员可能受现场机械运作、人员交流、环境杂乱等因素，注意力不在围挡结构上，从而可能会从未封闭围挡结构中从高处坠落，因这个风险源造成生成安全事故。

[0048] 然而，运用BIM、AR与机器视觉技术，可以提供快速自动辅助风险源识别与预警技术。现场人员利用移动设备的摄像头采集现实影像，定位模块和陀螺仪辅助采集用户位置与姿态。在现场作业时，移动设备进行持续运作，实时捕捉定位信息及视野影像。移动设备利用互联网通过与云端服务器的图像识别引擎对接，传输实时采集的影像。此处，云端服务器能够将采集影像进行截帧,并进行影像预处理，完成去噪处理与图像优化。

[0049] 服务器内预设机器学习模块：针对“未封闭围挡结构”这一风险源，预先利用数百张未封闭结构图片作为训练数据源，对未封闭围挡结构的基本几何特征、颜色、行为状态及变现出未封闭状态的物理属性作为特征，将这些典型特征对应输出变量设定为【未封闭围挡结构】，利用CNN神经网络对全体训练库中数据进行分类和回归分析，得出预设特征和输出变量的相关性模型。为相关性模型设定阈值，设定相似度判定条件“若相似度>＝80％，则返回值为风险，否则为无风险。”

[0050] 预设训练库中风险源图片“围挡未封闭”的特征可用特征项集用D1＝D1(p1，p2，…，pn)来表示。

[0051] 利用前述预处理优化的特征化影像，进行对象识别与边缘提取，利用图像模型捕捉画面中的对象及轮廓，并且进行对象特征点的提取和标识。对象识别，即图像轮廓识别以及对象捕捉方式很多，现有技术中，对图像中的物体的识别技术及方法是比较成熟的，本实施方式中的对象识别及边缘提取方法，采用下述文献中的方法：何苏利.基于轮廓形状和复杂网络的图像识别新方法[D].广东工业大学,2016。实拍影像中的特征集用D2＝D2(p’1，p’2，…，p’n)表示。

[0052] 在相关性模型中，将D1和D2之间的内容相关度Sim用特征集在几何空间坐标下所表示向量之间夹角的余弦值表示，用来判断相似程度。W1k、W2k分别表示D1和D2第K个特征项的权值。

[0053]

[0054] 基于现场围挡图像的识别，若其与“围挡未封闭”判断相似性达到80％，则判定为存在该类风险源。此处涉及的AR技术api接口的目标追踪算法，为现有技术的方法，一些信息科技企业提供的接口可直接应用于开发实现该算法，例如下述文献的内容：王宇希,张凤军,刘越.增强现实技术研究现状及发展趋势[J].科技导报,2018,36(10):75-83。利用用户实际定位在BIM模型中所处的绝对位置，结合AR技术api接口的目标追踪算法，用3D引擎渲染围挡数字模型的名称及参数信息，叠加显示当前定位及姿态下对应的风险预警信息“存在【未封闭围挡结构】风险源”，提示可采取的建议措施“请远离【未封闭围挡结构】”，并且根据估计出的实际对象的姿态，对该对象的虚拟信息姿态进行刚体空间坐标变换，并将这一变换后所展现的模型图像发送给移动设备，使得用户得以观察到风险特征，以实现虚拟与真实物体的联动，实现增强现实的体验。

[0055] 姿态变换的原理如下：把增加的虚拟信息姿态根据估计出的实际对象的姿态进行刚体空间坐标变换，实现虚拟与真实物体的联动，实现增强现实的体验。具体空间姿态变换矩阵如下：

[0056]

[0057] 上式为刚体平动变换矩阵，其中vx、vy、vz表示在三维空间x,y,z三个方向上的平移量。

[0058]

[0059]

[0060]

[0061] 上式为刚体绕x、y、z轴旋转变换矩阵，其中θ表示在三维空间绕x,y,z三个方向上的旋转角度。由上述的刚体平动变换矩阵和x、y、z轴旋转变换矩阵得出

[0062] 系统在辨识到未封闭的围挡结构后自动计时，现场人员读取BIM+AR反馈信息，可根据提示作出反应或动作，若因人员未做反应或未及时远离风险源导致识别到风险源存在持续时间达到10秒，将以声音警报形式对用户进行持续警告，并自动生成风险警报，通过无线模块上传服务器端，通知现场监控室管理人员，相关警报数据在服务器中保存，为后期人员安全教育、责任追究等提供数据支持。

[0063] 移动端保持持续运作，循环识别各类风险源并提供人员安全预警。

标题	发布/更新时间	阅读量
数据合成方法和装置、存储介质和电子装置	2020-05-08	337
数据检测方法、装置、计算机设备和存储介质	2020-05-08	976
一种汽车爆胎时稳定车身防偏移方向车轮	2020-05-08	512
一种多传感器姿态检测系统	2020-05-08	102
工厂用设备的衬体修补方法	2020-05-08	161
一种基于记忆合金的智能蛇形臂机器人系统	2020-05-08	185
一种施工区自组网的安全帽	2020-05-08	225
一种超大直径盾构穿越小半径曲线隧道段的施工方法	2020-05-08	537
一种基于机器视觉的模糊抓取方法及装置	2020-05-08	458
一种液氮制冷近红外相机及使用该近红外相机的望远镜	2020-05-11	636

一种基于bim与ar技术的可视化风险辨识方法及设备

一种基于bim与ar技术的可视化风险辨识方法及设备

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：