一种多模态多目标下的动态指示灯批量检测方法专利检索-多模态交互人工智能专利检索查询-专利查询网

一种多模态多目标下的动态指示灯批量检测方法

阅读：501发布：2020-05-17

专利汇可以提供一种多模态多目标下的动态指示灯批量检测方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种多模态多目标下的动态指示灯批量检测方法：待检测设备进入测试工位完成接驳；进行数据交互；数据交互过程中，对各指示灯所在区域进行连续拍照；进行数据融合，形成最终待检测图片；噪声消除；将最终待检测图片由RGB空间转换到HSV空间；形成掩码，并与转换到HSV空间后的图片进行“与”操作，形成只保留特定颜色的彩色图片；进行灰度化处理，检测轮廓；将形成的图片分割为多个区域；对各区域内的识别情况进行去重操作；判定各区域内图片区域内的数量和指示灯颜色是否符合要求。本发明用以解决现有技术成本高、安装调试复杂、动态效果差的问题，实现对安装环境无特殊要求，调试及维护方便，可以适应不同应用场景的目的。，下面是一种多模态多目标下的动态指示灯批量检测方法专利的具体信息内容。

权利要求

1.一种多模态多目标下的动态指示灯批量检测方法，其特征在于，包括以下步骤：
(1)待检测设备进入测试工位，并完成接驳；测试工位与待检测设备进行数据交互，从而点亮电源指示灯、通信收发指示灯；数据交互过程中，相机对各指示灯所在区域进行连续拍照；
(2)对多幅连续图片进行数据融合，形成最终待检测图片，所述最终待检测图片上包含所有待检测指示灯；
(3)对最终待检测图片进行噪声消除；
(4)将最终待检测图片由RGB空间转换到HSV空间；
(5)根据待检测指示灯颜色形成掩码，并与转换到HSV空间后的图片进行“与”操作，形成只保留特定颜色的彩色图片；
(6)对所述彩色图片进行灰度化处理，然后采用霍夫变换算法检测轮廓；
(7)根据测试工位的实际待检测设备数量和相对位置，将步骤(6)形成的图片分割为多个区域；
(8)对各区域内的识别情况，采用面积重叠算法进行去重操作；
(9)判定各区域内图片区域内的数量和指示灯颜色是否符合要求。
2.根据权利要求1所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，所述数据融合为对原始图片直接进行融合，或在对特定目标进行分割后进行融合。
3.根据权利要求1所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，所述连续拍照时间间隔小于指示灯单次点亮时间。
4.根据权利要求3所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，所述连续拍照时间间隔小于指示灯单次点亮时间的一半。
5.根据权利要求1所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，所述噪声消除包括：进行均值模糊消除随机噪声；进行中值滤波消除椒盐噪声；进行高斯滤波消除高斯噪声。
6.根据权利要求1所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，步骤(7)中，图片分割为多个区域的方法为：根据托盘或相机拍照时可拍摄的模块数量进行多个虚拟区域的分割。
7.根据权利要求1所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，步骤(8)中所述去重操作的方法为：当两区域之间面积重叠率超过设定阈值时，则判定为同一目标。
8.根据权利要求7所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，两区域的面积重叠率计算方法为：
(a)得到目标A坐标为半径为目标B坐标为半径为
(b)计算目标A、目标B之间的圆心距d；
(c)计算目标A对应的区域面积S0、目标B对应的区域面积S1；
(d)计算重叠面积S，
(e)计算重叠率∈，
9.根据权利要求1所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，还包括步骤(10)，若需要多种颜色的指示灯进行检测，则循环执行步骤(5)～(6)直至任务结束。
10.根据权利要求1所述的一种多模态多目标下的动态指示灯批量检测方法，其特征在于，进行数据融合的图片数量，与待检指示灯数量正相关。

说明书全文

一种多模态多目标下的动态指示灯批量检测方法

技术领域

[0001] 本发明涉及电能计量设备检测领域，具体涉及一种多模态多目标下的动态指示灯批量检测方法。

背景技术

[0002] 电能已成为人类社会赖以生存和发展的重要能源，人类的所有活动几乎都与电有密切的关系。通信模块作为客户与电力公司用电信息采集的重要设备，其质量的好坏直接关乎到各方的直接经济利益。因此，如何保证通信模块的质量，就成为摆在电力公司面前亟需解决的问题。为有效确保通信模块的质量，通信模块在安装之前，电力公司质量管控部门会对通信模块进行流水线大规模集中检测，其中也包括通信模块的指示灯检测。常见的通信指示灯检测方法是在待检测工位安装光敏元件，利用光敏元件在特定波长的光照射下，其阻值迅速减小的特性来判断指示灯是否工作正常。对于兼容多尺寸通信模块的流水线而言，由于不同尺寸通信模块指示灯位置各不相同，上述检测方式需要针对不同的通信模块制作不同的光敏阵列，从而确保对所有通信模块的指示灯进行检测；例如对于兼容5种模块的自动化检测流水线，则应制作5种光敏阵列，且在运行过程中需要人工不断的进行手动切换，严重制约了自动化检测流水线的产能释放。

发明内容

[0003] 本发明的目的在于提供一种多模态多目标下的动态指示灯批量检测方法，以解决现有技术成本高、安装调试复杂、动态效果差的问题，实现对安装环境无特殊要求，调试及维护方便，可以适应不同应用场景的目的。

[0004] 本发明通过下述技术方案实现：

[0005] 一种多模态多目标下的动态指示灯批量检测方法，包括以下步骤：

[0006] (1)待检测设备进入测试工位，并完成接驳；测试工位与待检测设备进行数据交互，从而点亮电源指示灯、通信收发指示灯；数据交互过程中，相机对各指示灯所在区域进行连续拍照；

[0007] (2)对多幅连续图片进行数据融合，形成最终待检测图片，所述最终待检测图片上包含所有待检测指示灯；

[0008] (3)对最终待检测图片进行噪声消除；

[0009] (4)将最终待检测图片由RGB空间转换到HSV空间；

[0010] (5)根据待检测指示灯颜色形成掩码，并与转换到HSV空间后的图片进行“与”操作，形成只保留特定颜色的彩色图片；

[0011] (6)对所述彩色图片进行灰度化处理，然后采用霍夫变换算法检测轮廓；

[0012] (7)根据测试工位的实际待检测设备数量和相对位置，将步骤(6)形成的图片分割为多个区域；

[0013] (8)对各区域内的识别情况，采用面积重叠算法进行去重操作；

[0014] (9)判定各区域内图片区域内的数量和指示灯颜色是否符合要求。

[0015] 进一步的，所述数据融合为对原始图片直接进行融合，或在对特定目标进行分割后进行融合。

[0016] 进一步的，所述连续拍照时间间隔小于指示灯单次点亮时间。

[0017] 进一步的，所述连续拍照时间间隔小于指示灯单次点亮时间的一半。

[0018] 进一步的，所述噪声消除包括：进行均值模糊消除随机噪声；进行中值滤波消除椒盐噪声；进行高斯滤波消除高斯噪声。

[0019] 进一步的，步骤(7)中，图片分割为多个区域的方法为：根据托盘或相机拍照时可拍摄的模块数量进行多个虚拟区域的分割。

[0020] 进一步的，步骤(8)中所述去重操作的方法为：当两区域之间面积重叠率超过设定阈值时，则判定为同一目标。

[0021] 进一步的，两区域的面积重叠率计算方法为：

[0022] (a)得到目标A坐标为半径为目标B坐标为半径为

[0023] (b)计算目标A、目标B之间的圆心距d；

[0024] (c)计算目标A对应的区域面积S0、目标B对应的区域面积S1；

[0025] (d)计算重叠面积S，

[0026] (e)计算重叠率∈，

[0027] 进一步的，还包括步骤(10)，若需要多种颜色的指示灯进行检测，则循环执行步骤(5)～(6)直至任务结束。

[0028] 进一步的，进行数据融合的图片数量，与待检指示灯数量正相关。即使数据融合中，融合的图片数量根据待检指示灯数量变化而变化。

[0029] 本发明与现有技术相比，具有如下的优点和有益效果：

[0030] 1、本发明一种多模态多目标下的动态指示灯批量检测方法，流程构成简洁且对安装环境无特殊要求；并且安装、调试及维护方便；

[0031] 2、本发明一种多模态多目标下的动态指示灯批量检测方法，无需对各个模块进行同步，对同一模块不同指示灯或不同模块不同指示灯的点亮时间也无特殊要求，无须同步；

[0032] 3、本发明一种多模态多目标下的动态指示灯批量检测方法，实现了可以适应不同的应用场景，对指示灯的数量和位置无任何要求，可同时对多种模块的指示灯进行监测。附图说明

[0033] 此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

[0034] 图1为本发明具体实施例的流程示意图；

[0035] 图2为本发明具体实施例的应用情形设备结构示意图；

[0036] 图3为本发明具体实施例中用于承载待检测设备的托盘；

[0037] 图4为本发明具体实施例中其中一种集中器HPLC的示意图；

[0038] 图5为本发明具体实施例中装载待集中器HPLC的托盘

[0039] 图6为本发明具体实施例中面积重叠算法示意图。

[0040] 附图中标记及对应的零部件名称：

[0041] 1-支撑架，2托盘输送线一，3-托盘输送线二，4-装置外壳，5-相机支架，6-相机支架横杆，7-彩色相机，8-含有待检测设备的托盘。

具体实施方式

[0042] 为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

[0043] 实施例1：

[0044] 一种多模态多目标下的动态指示灯批量检测方法，参见图1，图1为本发明方法的流程示意图，它包括以下内容：

[0045] 检测对象可以是单相电能表、经互感接入式三相电能表、直接接入式电能表、直流电能表、采集器、集中器、专变采集终端及其本地和远程通信模块，通信模块包括高速宽带载波通信模块(简称：HPLC)、窄带载波通信模块、4G通信模块、微功率无线通信模块、双模通信模块等。以集中器HPLC为例进行指示灯检测，判断各指示灯颜色设置是否正确、指示灯是否能够正常点亮。其中：

[0046] S101数据获取：

[0047] 当载有9个HPLC集中器载波模块的托盘流转至指示灯检测工位，并完成接驳后，此时模块电源指示灯已经点亮，检测工位开始与各通信模块进行数据通信，通信过程中，其他指示灯将交替闪烁；同时相机开始进行连续拍照。

[0048] 为保证各通信模块指示灯均被拍摄，相机连续拍照时间间隔不得低于一次指示灯显示时长，且尽量不大于指示灯单次点亮时间的一半。优选的，该时长可根据现场实际情况进行配置。

[0049] S102数据融合：

[0050] 将多幅连续图片进行数据融合，形成最终待检测图片，确保最终待检测图片上包含所有待检测指示灯。

[0051] S103图像预处理

[0052] 对融合后形成的待检测图片进行均值模糊消除随机噪声，对其进行中值滤波消除椒盐噪声，对其进行高斯滤波消除高斯噪声。

[0053] S104图像空间转换

[0054] 将待检测图片由RGB空间转换到HSV空间。

[0055] S105颜色空间掩码

[0056] 形成“红色”掩码，并与原图片进行“与”操作，形成只保留红色颜色的彩色图片；

[0057] S106目标检测

[0058] 首先对“颜色空间掩码”操作形成的图片进行灰度化处理，然后采用霍夫变换算法检测轮廓；

[0059] S107图像分割

[0060] 根据流入工位的实际待检测设备数量和相对位置，将“目标检测”形成的图片分割为多个区域；如图5所示，图5中间的细交叉线为分割线。由于托盘和相机位置相对固定，可通过现场测试方式确定分割线具体位置。需要特别说明的是，对于使用单一尺寸托盘的情形，分割线只需要确定一次即可。

[0061] S108区域去重

[0062] 对各区域内的识别情况，采用面积重叠算法进行去重操作；如图6所示，当两者之间重叠区域，即阴影部分面积超过设定阈值时，则判定为同一目标；反之为不同目标。区域去重的具体算法为：假设目标A坐标为半径为目标B坐标为半径为A目标和B目标圆心之间距离：

[0063]

[0064] 区域1面积：

[0065]

[0066] 区域2面积：

[0067]

[0068] 重叠区域面积：

[0069]

[0070] 计算重叠率∈：

[0071]

[0072] 当A目标和B目标面积重叠率∈超过设定阈值时，则判定为A目标和B目标为同一目标。

[0073] S109结果处理

[0074] 判定各区域内图片区域内的数量和指示灯颜色是否符合要求。如本例中，各区域内红色指示灯数应为2。若红色指示灯数不等于2，则判定为不合格。

[0075] 其他：循环执行步骤“颜色空间掩码”、“目标检测”，对黄色、蓝色、绿色指示灯进行检测直至任务结束。

[0076] 优选的，本实施例中：

[0077] 所述的数据融合，融合的图片数量根据待检指示灯数量变化而变化。

[0078] 所述的数据融合，可对原始图片直接进行融合，也可在对特定目标进行分割后进行融合。

[0079] 所述的图像预处理，滤波方法根据噪声类型不同，可采用不同的滤波算法，其中噪声类型包括高斯噪声、椒盐噪声、随机噪声等；滤波算法包括均值滤波、中值滤波、高斯滤波、K近领滤波、低通滤波、高通滤波、双边滤波。

[0080] 所述的目标检测，检测目标包括圆形轮廊、方形轮廊及多边形轮廊中的一种或多种。

[0081] 以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

标题	发布/更新时间	阅读量
多模态融合的示教方法、装置、计算设备及存储介质	2020-05-11	412
一种基于多模态历史响应结果的人机交互方法及系统	2020-05-13	704
一种基于作业辅导和批改的智能装置	2020-05-15	196
基于体感交互的数据处理方法以及装置、系统	2020-05-08	525
多模态融合的通讯方法、装置、头戴设备及存储介质	2020-05-14	200
一种多模态情感识别方法、系统及存储介质	2020-05-15	636
交互方法、设备、存储介质和操作系统	2020-05-14	467
基于儿童专用穿戴智能设备的交互方法及系统	2020-05-15	551
基于泛在电力物联网的电网基建现场安全动态管控系统	2020-05-08	604
一种飞机能源需求精细化分析方法及设备	2020-05-18	720

一种多模态多目标下的动态指示灯批量检测方法

一种多模态多目标下的动态指示灯批量检测方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：