一种基于AR技术的低压设备运维方法
专利汇可以提供一种基于AR技术的低压设备运维方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于AR技术的低压设备运维方法，该方法 包括步骤：首先通过现场智能眼镜和终端设备采集现场音视频、图像信息，通过网络上传到 云 平台运维系统；其次进行运维对象的目标检测和识别，利用数据训练模型对运维现场传来的图像进行目标的检测和识别；然后进行运维对象的故障诊断，根据常见故障数据和经验进行存储，再建立数据映射；最后基于 增强现实 呈现诊断结果，将设计好的增强现实内容 叠加 到运维对象上。本发明方法针对低压集抄运维业务需求，基于 人工智能 和AR技术公开了一种基于AR技术的低压设备运维方法，可以自动采集、处理运维现场的信息并给出故障诊断和排查意见，通过增强现实的方式进行呈现，对 电网 低压设备的运维具有较大的应用价值。，下面是一种基于AR技术的低压设备运维方法专利的具体信息内容。
1.一种基于AR技术的低压设备运维方法，其特征在于：该方法包括以下步骤：
（1）现场音视频采集：采集现场音视频和图像信息，到云平台运维系统；
（2）运维对象的目标检测和识别：采集至少5000张运维设备上的目标样本，进行数据清洗和框选类别标注；利用图像以及标注框训练YOLO深度神经网络模型；模型训练完成后对运维现场传来的图像进行运维设备上目标的检测，给出目标包围框；
（3）运维对象的故障诊断：根据常见运维故障及运维数据和经验，建立专家知识库进行存储，再通过计算机语言和逻辑判断将各类故障编码和解决方案建立数据映射；
（4）增强现实呈现诊断结果：检测运维设备在图像中的横纵坐标位置，再通过相机的位姿追踪计算相机和对象在空间中相对的位置，接着重建场景的三维信息，最后将设计好的增强现实内容叠加到运维对象上。
2.根据权利要求1所述的一种基于AR技术的低压设备运维方法，其特征在于：步骤（1）中运维人员穿戴增强现实智能眼镜设备，通过连线连接智能终端或手机；智能终端或手机运行智能运维应用后即可与智能眼镜通信；通过智能眼镜和终端设备采集现场音视频、图像信息，通过网络上传到云平台运维系统。
3.根据权利要求1所述的一种基于AR技术的低压设备运维方法，其特征在于：步骤（2）中深度神经网络检测模型在训练阶段，深度网络在三种不同的尺度上进行检测，对于输入图像，先归一化到416×616的大小，深度网络在三个尺度等级上进行预测，深度网络是通过分别将输入图像的尺寸下采样32、16和8倍精确地给出，网络的基本组件为卷积、批量归一化和带泄露的截断线性单元，第一次检测由第82层进行，图像由网络前81层下采样，得到13×13×255的检测特征图，然后，来自层79的特征经过几个卷积层2倍上采样到26×26的大小并且与来自层61的特征映射深度连接产生26×26×255的检测特征图，进行第二次检测，第三次检测在第106层进行，采用第二次检测方法得到特征图的尺寸为52×52×255。
4.根据权利要求1所述的一种基于AR技术的低压设备运维方法，其特征在于：步骤（3）中运维对象的故障诊断：APP扫描计量设备条形码开始工单排查，后台接口收到APP上传图像识别通知，接口上传的信息包括：客户端及其链路socket id、图片信息和检测类别；
后台接口调用图像识别检测动态库,传递需要检测的图片信息及检测类别，图像检测动态里根据故障检测模型detectConfig.xml找到相应检测场景下的方法method做处理，异步回调返回结果；
回调返回结果：图像识别检测动态库检测出结果会保存更新至结构体，在YOLO检测算法进程里调用java回调函数返回结构体；结构体中包含每次检测的结果；
APP工单排查接口返回展示：APP根据返回的检测结果，在APP本地素材库里找到配置文件进行解析，然后进行向导式的故障运维知识指导和流程跳转，若本地没有素材，则去云端下载更新到本地服务器。
5.根据权利要求1所述的一种基于AR技术的低压设备运维方法，其特征在于：步骤（4）中利用滑动窗口和模版匹配法确定运维设备在图像中的横纵坐标位置，其中滑动窗口为与运维设备在图像中的大小相同的窗口，模版图像为采集的具有代表性的运维设备图像，用滑动窗口在图像中从上到下、从左到右地进行滑动，在每个位置将窗口内的图像与模版图像进行互相关匹配，选取相关度最高的位置作为运维设备在图像中的位置；
在相机采集到的相邻两帧图像中提取特征点，并利用特征点周围的像素为该特征点生成描述子，在相邻两帧图像中根据描述子对特征点进行匹配，找到至少4对的特征点对后根据相机模型解算相机采集这两帧之间的运动变换矩阵，连续执行该步骤得到相机在每一个时刻的位置，获得相机运动的轨迹信息以及对象在空间中的位置信息；
利用相机运动的轨迹信息和提取到的特征点，利用对极几何和三角测量原理获得像素的深度值；根据摄像机成像原理，计算出世界坐标系与图像像素坐标系之间的转换关系；对于多帧通过不同角度拍摄的景物图像，各帧之间包含的公共部分，对图像进行分析，求解各帧之间的变换参数，深度图像的配准是以场景的公共部分为基准，把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中。
一种基于AR技术的低压设备运维方法
技术领域
背景技术
发明内容
（2）运维对象的目标检测和识别：采集至少5000张运维设备上的目标样本，进行数据清洗和框选类别标注；利用图像以及标注框训练YOLO深度神经网络模型；模型训练完成后对运维现场传来的图像进行运维设备上目标的检测，给出目标包围框；
（3）运维对象的故障诊断：根据常见运维故障及运维数据和经验，建立专家知识库进行存储，再通过计算机语言和逻辑判断将各类故障编码和解决方案建立数据映射；
（4）增强现实呈现诊断结果：检测运维设备在图像中的横纵坐标位置，再通过相机的位姿追踪计算相机和对象在空间中相对的位置，接着重建场景的三维信息，最后将设计好的增强现实内容叠加到运维对象上。
回调返回结果：图像识别检测动态库检测出结果会保存更新至结构体，在YOLO检测算法进程里调用java回调函数返回结构体；结构体中包含每次检测的结果（厂家名称、设备种类、故障代码这些值）等，如识别出的厂家名称factory、设备型号model、成功及失败的识别结果等；
APP工单排查接口返回展示：APP根据返回的检测结果，在APP本地素材库里找到配置文件进行解析，然后进行向导式的故障运维知识指导和流程跳转，若本地没有素材，则去云端下载更新到本地服务器。
利用相机运动的轨迹信息和提取到的特征点，利用对极几何和三角测量原理获得像素的深度值；根据摄像机成像原理，计算出世界坐标系与图像像素坐标系之间的转换关系；对于多帧通过不同角度拍摄的景物图像，各帧之间包含的公共部分，对图像进行分析，求解各帧之间的变换参数，深度图像的配准是以场景的公共部分为基准，把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中。
图3为智能眼镜侧视结构示意图；
图4为智能眼镜俯视结构示意图；
图5为运维对象的目标检测和识别流程示意图；
图6为本发明的增强现实呈现流程示意图。
具体实施方式
在训练阶段，为了解决对不同尺度目标的检测，深度网络在三种不同的尺度上进行检测。对于输入图像，先归一化到416×616的大小，深度网络在三个尺度等级上进行预测，这是通过分别将输入图像的尺寸下采样32，16和8倍来精确地给出。网络的基本组件为卷积，批量归一化和带泄露的截断线性单元（Leaky ReLU）。 第一次检测由第82层进行，图像由网络前81层下采样，得到13×13×255的检测特征图。然后，来自层79的特征经过几个卷积层2倍上采样到26×26的大小并且与来自层61的特征映射深度连接产生26×26×255的检测特征图，进行第二次检测。与此类似，第三次检测在第106层进行，特征图的尺寸为52×52×
255。
回调返回结果：C动态库检测出结果会保存更新至结构体，C检测算法进程里调用java回调函数返回结构体；结构体中包含每次检测的结果（厂家名称、设备种类、故障代码这些值）等，如识别出的厂家名称factory、设备型号model、成功及失败的识别结果等；
APP工单排查接口返回展示：APP根据返回值，在APP本地素材库里找到json文件进行解析，然后进行向导式的故障运维知识指导和流程跳转。若本地没有素材，则去云端下载更新到本地。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 车载环视图像的特征点标定方法、装置和可读存储介质 | 2020-10-02 | 0 |
| 一种三维显示云渲染方法和系统 | 2021-03-01 | 1 |
| 一种基于驾驶员疲劳状态的主动限速方法 | 2021-04-04 | 0 |
| 一种水声定位与授时浮标及其工作方法 | 2021-10-15 | 2 |
| 一种基于RFID系统多项式估计的高速移动车辆速度预测方法 | 2022-04-11 | 0 |
| 六相逆变器供电的无轴承磁通切换电机驱动方法及系统 | 2020-10-03 | 0 |
| 一种跟踪路由处理方法和装置 | 2022-10-18 | 1 |
| 一种S=8编码方式的低功耗蓝牙维特比联合解调解码算法 | 2020-05-20 | 3 |
| 空调控制方法、装置和车辆 | 2022-01-11 | 2 |
| 数据拆分方法、装置、电子设备、及存储介质 | 2020-09-01 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
