基于增强现实的机械设备可视化交互与设备状态监控系统及其方法专利检索-交互式应用程序软件专利检索查询-专利查询网

基于 增强现实的机械设备可视化交互与设备状态监控系统及其方法

阅读：723发布：2020-05-13

专利汇可以提供基于增强现实的机械设备可视化交互与设备状态监控系统及其方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于增强现实的机械设备可视化交互与设备实时监控系统及其方法，本系统由四大模块组成，即设备数据模块、AR系统服务器模块、移动应用端模块和真实设备场景模块；设备数据模块采集汇总机械设备状态参数数据，通过无线网络传输数据给AR系统服务器模块，在其中完成模型处理与数据叠加工作，构建设备AR虚拟场景，并将AR虚拟场景根据移动应用端模块的需求发送对应的场景内容，移动应用端的摄像机拍摄真实设备场景的场景图像与图形识别码，匹配跟踪标识、提供人机交互、渲染场景，输出AR图像；本发明通过对生产现场设备增强现实交互管理，减少了日常操作的难度与出错源，提高了设备在生产环境下的作业质量和效率。，下面是基于增强现实的机械设备可视化交互与设备状态监控系统及其方法专利的具体信息内容。

权利要求

1.一种基于增强现实技术的机械设备可视化交互与设备状态监控系统，其特征在于：
由四大模块构成，即设备数据模块(1)、AR系统服务器模块(2)、移动应用端模块(3)和真实设备场景模块(4)。
所述的设备数据模块(1)采集汇总机械设备参数数据，无线传输给AR系统服务器模块(2)，AR系统服务器模块(2)中完成模型处理与数据叠加，构建AR虚拟场景，并将AR虚拟场景通过网络根据移动应用端模块(3)的需求指令发送对应场景内容，移动应用端的摄像机拍摄真实设备场景模块(4)的场景图像，识别图形识别码后估算位姿并追踪标识图、提供可视化人机交互、渲染场景，输出AR图像。
2.根据权利要求1所述的一种基于增强现实技术的机械设备可视化交互与设备状态监控系统，其特征在于：所述设备数据模块(1)是设备数据采集与汇总单元，主要由设备控制系统、设备状态监测系统以及数据传感器组成，主要通过调取设备控制系统实时动态读取设备的上层控制数据，获取设备运动控制信息，通过调取设备状态监测系统读取已被监控的设备电压、电流、转速及主要参数，通过直接读取外加传感器数据获得设备振动值、环境温度值及物理参数信息，设备数据模块采集汇总上述数据并通过无线网络将数据传输给AR系统服务器模块(2)。
3.根据权利要求1所述的一种基于增强现实技术的机械设备可视化交互与设备状态监控系统，其特征在于：所述AR系统服务器模块(2)是AR场景内容整合处理与构建单元，接收设备数据模块(1)传来的设备数据并存储在数据库中，整合处理虚拟样机、3D模型、设备手册、维修辅助四个内容模块，构建AR虚拟场景，其中设备虚拟样机根据数据和实体设备状态同步，提供3D模型与使用手册查询以及交互式的AR维修辅助功能，集成上述内容通过无线网络按需传输给移动应用端模块(3)。
4.根据权利要求1所述的一种基于增强现实技术的机械设备可视化交互与设备状态监控系统，其特征在于：所述移动应用端模块(3)是增强现实可视化交互与状态监控的内容呈现单元，根据应用端摄像机拍摄的图像进行图像监测实现目标识别，识别目标后根据摄像角度计算应用端位姿状态进而实现位姿估计，完成位姿估计后对标识图进行跟踪锁定，依托标识图呈现内容，人机交互程序读取AR系统服务器模块(2)提供的内容场景信息，对其中设备三维模型进行引擎渲染，并叠加数据构建虚实融合场景，最终通过显示屏进行AR图像输出。
5.根据权利要求1所述的一种基于增强现实技术的机械设备可视化交互与设备状态监控系统，其特征在于：所述真实设备场景模块(4)是增强现实场景的现实标识单元，提供进行AR可视化操作的设备场景，根据AR系统服务器模块(2)中构建的数字化设备场景对真实设备场景进行可识别化操作，在所要应用AR可视化操作的设备部位安置图形识别码，为移动应用端模块(3)摄像机提供可识别的场景图象。
6.一种基于增强现实技术的机械设备可视化交互与设备状态监控方法，采用根据权利要求1所述的基于增强现实技术的机械产品可视化交互系统进行操作，其特征在于操作步骤如下：
1)通过设备数据模块(1)实时采集汇总机械设备的数据信息，利用无线网络通信技术将设备参数信息传输到AR系统服务器模块(2)，作为增强现实可视化交互与状态监控的数据来源，为虚实同步提供数据基础；
2)移动应用端模块(3)中的摄像机拍摄识别真实设备场景模块(4)中的图形识别码，计算当前模型的位置与姿态信息，叠加显示从AR系统服务器模块(2)读取的AR内容场景，并根据不同的识别场景提供对应的人机交互选项；
3)AR系统服务器模块(2)接收从设备数据模块(1)传递来的所采集设备状态参数信息数据，并根据移动应用端模块(3)人机交互需求指令提供对应的数据，叠加虚拟模型、模型数据以及真实场景，实现虚实同步可视化。

说明书全文

基于 增强现实的机械设备可视化交互与设备状态监控系统及

其方法

技术领域

[0001] 本发明涉及机械设备的可视化交互与监控领域，尤其涉及一种基于增强现实技术的机械设备可视化交互与设备状态监控系统及其方法。

背景技术

[0002] 在当代商业环境中，互联网科技与信息技术应用迅猛，机械行业却面临着发展严重滞后的问题。很多机械企业使用的设计手段较为落后，先进的交互式运动仿真与产品分析技术未能得到运用。机械设备的优化通过使用增强现实、虚拟现实先进可视化技术可以获得出色的效果，然而机械行业中在产品优化中却鲜有应用，方式传统落后。对于设备销售环节，机械行业大多企业仍然停留在传统的采购模式，订单定制化是市场发展的趋势，为用户提供可客制化的参数选项设置将更加具有市场竞争力，可是机械行业并未能采用这一模式。而这些也都是智能制造与智慧工厂对机械行业所提出的要求。增强现实正是实现智能制造、智慧工厂的一大关键技术。

[0003] 增强现实技术是在虚拟现实技术的基础上发展起来的，该技术将计算机生成的虚拟物体、场景、声音或系统提示信息叠加到真实场景中，从而实现对现实场景的增强，增加用户对现实世界的感知。在工业领域，国外的一些发达国家已经开始探索将增强现实技术应用在未来的智慧工厂中。增强现实技术已经日趋成熟并被证明是一种创新和有效的解决方案，可以帮助解决一些机械行业遇到的关键问题，以便在加工制造过程或者设备维护开始实施之前进行模拟，辅助和改进。这样可以确保诸如设计，计划，加工甚至销售活动在第一时间完成，而不需要后续的重做和修改。增强现实是一种新颖的人机交互工具，将虚拟数字信息叠加在现实世界中。信息显示和图像叠加是紧密关联的。这种新颖的技术可以与人类活动结合起来，提供有效的辅助工具来辅助机械行业发展。

[0004] 相关技术中，将增强现实技术应用于机械设备使用中，通过融合传感物联技术，让设备运行状态信息一目了然，在虚实交互的环境下面向复杂真实设备进行运行监控、维护指导，实现现场设备的实时维护操作指导，减少了车间繁杂的监控布线，提高了设备在生产环境下的作业质量和效率。故运用以上技术手段，对于企业而言具有重要的现实意义。

发明内容

[0005] 本发明的目的在于针对当前机械行业设备状态监控与交互使用中的不足，提供一种基于增强现实技术的机械设备可视化交互与设备状态监控系统及其方法，运用增强现实与数据采集技术，使得设备信息的读取更加高效，设备装备的监控更加便捷，日常操作与维护安排更加合理。

[0006] 一种基于增强现实技术的机械设备可视化交互与设备状态监控系统，其特征在于：由四大模块组成，即设备数据模块、AR系统服务器模块、移动应用端模块和真实设备场景模块，设备数据模块采集汇总机械设备状态参数数据，通过无线网络传输数据给AR系统服务器模块，AR系统服务器模块中完成模型处理与数据叠加工作，构建AR虚拟场景，并将AR虚拟场景通过无线网络根据移动应用端模块的需求指令发送对应场景内容，移动应用端的摄像机拍摄真实设备场景模块的场景图像，识别图形识别码后估算位姿并追踪标识图、提供可视化人机交互、渲染场景，输出AR图像。

[0007] 本发明所述的设备传感端主要由设备控制系统、设备状态监测系统以及数据传感器组成，通过OPC标准对设备的控制系统、状态监测系统、传感器数据完成感知与采集，主要通过调取设备控制系统实时动态读取设备的上层控制数据，获取设备运动控制信息，通过调取设备状态监测系统读取已被监控的设备电压、电流、转速及主要参数，通过直接读取外加传感器数据获得设备振动值、环境温度值及物理参数信息。利用无线传感网络的远程通信技术，将设备运行的实时状态数据传送给AR系统服务器进行汇总存储。

[0008] 本发明所述的AR系统服务器包含了基于增强现实的设备监控系统应用中的所有内容场景与数据，接收设备数据模块传来的设备数据并存储在数据库中，整合处理虚拟样机、3D模型、设备手册、维修辅助四个内容模块，包括设备数字虚拟样机数据库、设备的三维模型数据、设备运行维护数据、设备的文本手册数据以及辅助维修内容库，构建AR虚拟场景，其中设备虚拟样机根据数据和实体设备状态同步，提供3D模型与使用手册查询以及交互式的AR维修辅助功能，集成上述内容通过无线网络按需传输给移动应用端模块。

[0009] 本发明所述移动应用端包含了目标图像识别模块，人机交互模块和场景渲染输出模块。应用端调用摄像机扫描现场设备上的图形码，系统目标图像识别模块对输入的视频流图像进行识别码的检测与匹配，识别码被匹配之后，通过位姿估计方法，利用标识图跟踪，计算识别图位姿。完成位姿估计后对标识图进行跟踪锁定，依托标识图呈现内容，人机交互程序读取AR系统服务器模块提供的内容场景信息，对其中设备三维模型进行引擎渲染，并叠加数据构建虚实融合场景，最终通过显示屏进行AR图像输出。三维渲染引擎将AR系统服务器中的虚拟数字模型输出叠加到真实场景中，并根据不同操作指令显示对应的功能信息与维护信息，完成对设备监控与维护的增强效果。

[0010] 本发明所述真实设备场景模块是增强现实场景的现实标识单元，提供进行AR可视化操作的设备场景，根据AR系统服务器模块中构建的数字化设备场景对真实设备场景进行可识别化操作，在所要应用AR可视化操作的设备部位安置图形识别码，为移动应用端模块摄像机提供可识别的场景图象。

[0011] 一种基于增强现实技术的机械设备可视化交互与设备状态监控方法，采用基于增强现实技术的机械产品可视化交互系统进行操作，其特征在于操作步骤如下：

[0012] 1)通过设备数据模块实时采集汇总机械设备的数据信息，利用无线网络通信技术将设备参数信息传输到AR系统服务器模块，作为增强现实可视化交互与状态监控的数据来源，为虚实同步提供数据基础；

[0013] 2)移动应用端模块中的摄像机拍摄识别真实设备场景模块中的图形识别码，计算当前模型的位置与姿态信息，叠加显示从AR系统服务器模块读取的AR内容场景，并根据不同的识别场景提供对应的人机交互选项；

[0014] 3)AR系统服务器模块接收从设备数据模块传递来的所采集设备状态参数信息数据，并根据移动应用端模块人机交互需求指令提供对应的数据，叠加虚拟模型、模型数据以及真实场景，实现虚实同步可视化。

[0015] 本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著技术进步：让设备运行状态信息一目了然，在虚实交互的环境下面向复杂真实设备进行运行监控、维护指导、参数访问、交互操作，实现现场设备的实时维护操作指导，减少了车间繁杂的监控布线，提高了设备在生产环境下的作业质量和效率。

[0016] 本发明基于设备的数字化三维模型，采用Thingworx Studio与Unity 3D作为增强现实系统的开发平台，通过物联网技术采集汇总设备的运行数据与状态参数，将增强现实技术应用于设备监控维护，通过融合传感物联技术，设备操作指导各项信息集成，构建设备的增强现实场景，分析设备的故障失效模式，结合运行参数，进行设备健康状态诊断，通过增强现实技术向工作人员进行可视化展示与交互操作，并指导完成维护工作。附图说明

[0017] 图1是本发明一种增强现实技术的机械设备可视化交互与设备状态监控系统的框架结构示意图。

[0018] 图2是本发明增强现实应用端机械设备可视化交互界面的设计框架图。

具体实施方式

[0019] 为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例和附图，对本发明实施例中的技术方案进行清楚、完整地描述。

[0020] 实施例一：

[0021] 图1所示的一种基于增强现实技术的机械设备可视化交互与设备状态监控系统，其特征在于：由四大模块组成，即设备数据模块、AR系统服务器模块、移动应用端模块和真实设备场景模块，设备数据模块采集汇总机械设备状态参数数据，无线传输给AR系统服务器模块，AR系统服务器模块中进行模型处理与数据叠加，构建AR虚拟场景，并将AR虚拟场景通过网络根据移动应用端模块的需求指令发送对应场景内容，移动应用端的摄像机拍摄真实设备场景模块的场景图像，识别图形识别码后估算位姿并追踪标识图、提供可视化人机交互、渲染场景，输出AR图像。

[0022] 本发明所述的设备传感端主要由设备控制系统、设备状态监测系统以及数据传感器组成，通过OPC标准对设备的控制系统、状态监测系统、传感器数据完成感知与采集，主要通过调取设备控制系统实时动态读取设备的上层控制数据，获取设备运动控制信息，通过调取设备状态监测系统读取已被监控的设备电压、电流、转速及主要参数，通过直接读取外加传感器数据获得设备振动值、环境温度值及物理参数信息。利用无线传感网络的远程通信技术，将设备运行的实时状态数据传送给AR系统服务器进行汇总存储。

[0023] 本发明所述的AR系统服务器包含了基于增强现实的设备监控系统应用中的所有内容场景与数据，接收设备数据模块传来的设备数据并存储在数据库中，整合处理虚拟样机、3D模型、设备手册、维修辅助四个内容模块，包括设备数字虚拟样机数据库、设备的三维模型数据、设备运行维护数据、设备的文本手册数据以及辅助维修内容库，构建AR虚拟场景，其中设备虚拟样机根据数据和实体设备状态同步，提供3D模型与使用手册查询以及交互式的AR维修辅助功能，集成上述内容通过无线网络按需传输给移动应用端模块。

[0024] 本发明所述移动应用端包含了目标图像识别模块，人机交互模块和场景渲染输出模块。应用端调用摄像机扫描现场设备上的图形码，系统目标图像识别模块对输入的视频流图像进行识别码的检测与匹配，识别码被匹配之后，通过位姿估计方法，利用标识图跟踪，计算识别图位姿。完成位姿估计后对标识图进行跟踪锁定，依托标识图呈现内容，人机交互程序读取AR系统服务器模块提供的内容场景信息，对其中设备三维模型进行引擎渲染，并叠加数据构建虚实融合场景，最终通过显示屏进行AR图像输出。三维渲染引擎将AR系统服务器中的虚拟数字模型输出叠加到真实场景中，并根据不同操作指令显示对应的功能信息与维护信息，完成对设备监控与维护的增强效果。

[0025] 本发明所述真实设备场景模块是增强现实场景的现实标识单元，根据AR系统服务器模块中构建的数字化设备场景对真实设备场景进行可识别化操作，在所要应用AR可视化操作的设备部位安置图形识别码，为移动应用端模块摄像机提供可识别的场景图象。

[0026] 实施例二：

[0027] 图2所示基于增强现实的机械设备可视化交互与设备状态监控设计方法分为三部分：即模型构建、增强现实展示、UI控制与交互。

[0028] 1)模型构建

[0029] 模型构建部分是实现整体方案的基础部分，在开发之前，首先需要具备开发所需要用的全部机械三维模型，包含三维模型建立与处理、动画制作以及产品运动仿真动作的制作，通过多软件结合使用，最终转换为Unity 3D和ThingWorx Studio所支持兼容的文件格式并导入其中，进而利用开发引擎进行场景的制作和动作、信息部分的构建。

[0030] 2)增强现实展示

[0031] 增强显示展示部分是核心部分，完成了三维模型准备、系统环境搭建以及数据信息搜集一系列准备工作之后，让普通的三维数字物体转变为基于增强现实的形式呈现的数字物体，通过ThingWorx Studio与Unity 3D开发引擎，在界面编辑窗口对已有的三维模型进行场景搭建，使得各个部分按照符合增强现实效果体验的形式出现，完成场景构建的同时完善所有的动作系统与脚本控制。

[0032] 3)UI控制与交互

[0033] UI控制与交互部分是整个方案设计中影响到体验是否出色的关键部分，UI即User Interface，用户界面，设置一系列的用户操作控件，如信息面板、控制按钮、选择按钮、滚动条、信息填写框、弹窗，UI控制与交互部分是实现所有订单客制化功能、信息展示功能、模拟调度功能以及展示与仿真功能的输出管控单元，整个增强现实应用的功能与体验通过该部分全部完善。

[0034] 以上所述，仅为本发明的较佳实施例，而不是全部实施例，并不用以限制本发明，本发明的专利保护范围以权利要求书为准，凡是运用本发明的说明书及其附图内容所作的等同结构变化，同理均应包含在本发明的保护范围之内。

标题	发布/更新时间	阅读量
用于用户与计算机系统之间通信的方法和系统	2020-05-08	178
一种基于联盟链的电力物资全寿命周期管理机制	2020-05-11	580
一种基于仿真软件Simulink实时扩展RTX的飞行器实时仿真程序的编程方法	2020-05-13	794
快速验证应用程序漏洞状态的方法及系统	2020-05-13	179
用于控制媒体设备的方法、系统、电子设备以及介质	2020-05-14	471
泛型决策树构建方法、装置、设备及可读存储介质	2020-05-11	378
虚拟现实环境内基于注视的对象放置	2020-05-11	728
虚拟和增强现实中的多屏幕交互	2020-05-12	546
对象插入	2020-05-13	835
交互式白板共享	2020-05-08	447

基于增强现实的机械设备可视化交互与设备状态监控系统及其方法

基于增强现实的机械设备可视化交互与设备状态监控系统及

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：