专利类型 | 发明公开 | 法律事件 | 公开; 实质审查; 授权; 实施许可; |
专利有效性 | 有效专利 | 当前状态 | 授权 |
申请号 | CN202311421455.6 | 申请日 | 2023-10-31 |
公开(公告)号 | CN117152146A | 公开(公告)日 | 2023-12-01 |
申请人 | 深圳市爱卓依科技有限公司; | 申请人类型 | 企业 |
发明人 | 王羲之; | 第一发明人 | 王羲之 |
权利人 | 深圳市爱卓依科技有限公司 | 权利人类型 | 企业 |
当前权利人 | 深圳市爱卓依科技有限公司 | 当前权利人类型 | 企业 |
省份 | 当前专利权人所在省份:广东省 | 城市 | 当前专利权人所在城市:广东省深圳市 |
具体地址 | 当前专利权人所在详细地址:广东省深圳市宝安区沙井街道共和社区新桥同富裕工业区恒明珠科技工业园10栋301、302、9栋二层、8栋3楼 | 邮编 | 当前专利权人邮编:518000 |
主IPC国际分类 | G06T7/00 | 所有IPC国际分类 | G06T7/00 ; A24F47/00 ; G06T7/13 ; G06T7/62 |
专利引用数量 | 6 | 专利被引用数量 | 0 |
专利权利要求数量 | 10 | 专利文献类型 | A |
专利代理机构 | 深圳海豚知识产权代理事务所 | 专利代理人 | 钟兆花; |
摘要 | 本 发明 涉及图像 数据处理 技术领域,提出了基于 图像处理 的 电子 烟烟弹 质量 检测方法,包括:获取烟弹灰度图;根据烟弹灰度图获取感兴趣区域和初始锐化系数,根据初始锐化系数获取初次锐化图像;根据初次锐化图像获取烟道内腔连通域和烟道外壁连通域,获取烟道内腔连通域的平均边缘梯度;根据烟道内腔连通域和烟道外壁连通域的边缘 像素 点获取距离序列;根据距离序列获取拉东左序列和拉东右序列,并以此获取锐化质量评分;根据初次锐化图像中每个像素点周围像素点的灰度值获取过锐化惩罚项;根据锐化质量评分和过锐化惩罚项构建价值函数获取最终锐化图像;对感兴趣区域的最终锐化图像进行质量检测。本发明解决了边缘模糊问题,提高质量检测 精度 。 | ||
权利要求 | 1.基于图像处理的电子烟烟弹质量检测方法,其特征在于,该方法包括以下步骤: |
||
说明书全文 | 基于图像处理的电子烟烟弹质量检测方法技术领域背景技术[0002] 电子烟是一种电子设备,用于模拟传统香烟的感觉和体验,它通过加热并蒸发液体(通常含有尼古丁)来产生一种可以吸入的气雾。电子烟主要包括:烟杆、烟弹以及雾化器,其中烟弹作为消耗品包含烟油,具有可更换、即插即用等性质。常规电子烟烟弹进行质量检测时,由于电子烟烟弹具有小物体,颜色较为一致等特性,直接获取的图像会存在边缘模糊的问题,因此会导致检测精度低。 发明内容[0003] 本发明提供基于图像处理的电子烟烟弹质量检测方法,以解决边缘模糊导致的检测精度较低的问题,所采用的技术方案具体如下:本发明一个实施例提供了一种基于图像处理的电子烟烟弹质量检测方法,该方法包括以下步骤: 获取烟弹灰度图; 根据烟弹灰度图获取感兴趣区域;根据感兴趣区域中每个像素点的梯度幅值获取初始锐化系数,根据初始锐化系数获取初次锐化图像; 根据初次锐化图像获取烟道内腔连通域,并获取烟道内腔连通域的平均边缘梯度;根据烟道内腔连通域获取烟道外壁连通域;根据烟道内腔连通域和烟道外壁连通域的边缘像素点获取距离序列;根据距离序列获取拉东左序列和拉东右序列;根据烟道内腔连通域的平均边缘梯度、拉东左序列和拉东右序列的拉东值的方差以及距离序列的DTW距离获取锐化质量评分; 根据初次锐化图像中每个像素点周围像素点的灰度值获取过锐化惩罚项;根据锐化质量评分和过锐化惩罚项构建价值函数,根据价值函数获取最优锐化系数以及最终锐化图像; 在最终锐化图像中,根据烟道内腔区域和最终锐化图像的面积比值对电子烟烟弹的质量进行检测。 [0004] 优选的,所述根据烟弹灰度图获取感兴趣区域的方法为:对烟弹灰度图使用Canny边缘检测算子获取边缘图像,对边缘图像使用FAST角点检测获取角点,在所有角点中获取边缘图像最左侧和最右侧的角点,将最左侧和最后侧角点连线的上方区域作为感兴趣区域。 [0005] 优选的,所述根据感兴趣区域中每个像素点的梯度幅值获取初始锐化系数,根据初始锐化系数获取初次锐化图像的方法为:将感兴趣区域中所有像素点的梯度幅值累加获取感兴趣区域的高频信息量,将感兴趣区域的高频信息量与预设最大高频信息量的比值作为初始锐化系数; 根据感兴趣区域获取拉普拉斯图像,根据初始锐化系数与拉普拉斯图像每个像素点的灰度值的乘积获取第一乘积图,所述第一乘积图与感兴趣区域的和记为初次锐化图像。 [0006] 优选的,所述根据初次锐化图像获取烟道内腔连通域,并获取烟道内腔连通域的平均边缘梯度的方法为:将初次锐化图像进行Canny边缘检测后使用连通域分析获取多个连通域,在初次锐化图像上找到平均灰度值最大的连通域作为烟道内腔连通域; 获取烟道内腔连通域内每个边缘像素点的梯度幅值,获取所有边缘像素点的梯度幅值的均值作为烟道内腔连通域的平均边缘梯度。 [0007] 优选的,所述根据烟道内腔连通域获取烟道外壁连通域的方法为:在初次锐化图像中,与烟道内腔连通域存在一个相邻的连通域,将所述相邻的连通域与烟道内腔连通域相邻的像素点记为间隔像素点,在所有间隔像素点相似点中,过最上方的两个间隔像素点做水平方向的垂线,保留相邻连通域中两条垂线之间的部分记为烟道外壁连通域。 [0008] 优选的,所述根据烟道内腔连通域和烟道外壁连通域的边缘像素点获取距离序列的方法为:将烟道内腔连通域两侧的边缘点记为内腔边缘点,将烟道外壁连通域所有边缘点中与内腔连通域不相邻的边缘点记为外壁边缘点; 将所有内腔边缘点构成两条序列,其中每条序列由相邻的内腔边缘点构成,将内腔边缘点构成的两条序列中靠左的序列记为内腔左序列,靠右的序列记为内腔右序列; 将所有外壁边缘点构成两条序列,其中每条序列由相邻的外壁边缘点构成,将外壁边缘点构成的两条序列中靠左的序列记为外壁左序列,靠右的序列记为外壁右序列; 所述内腔左序列、内腔右序列、外壁左序列、外壁右序列记为距离序列。 [0009] 优选的,所述根据距离序列获取拉东左序列和拉东右序列的方法为:过外壁左序列和外壁右序列中的每个像素点分别作垂直于外壁左序列和外壁右序列一条垂线,对于每条垂线使用拉东变换得到拉东值,将外壁左序列和外壁右序列每个像素点的距离值替换为拉东值获取拉东左序列和拉东右序列。 [0010] 优选的,所述根据烟道内腔连通域的平均边缘梯度、拉东左序列和拉东右序列的拉东值的方差以及距离序列的DTW距离获取锐化质量评分的方法为:式中, 表示内腔左序列和外壁左序列的DTW距离, 表示内腔 右序列和外壁右序列的DTW距离, 表示内腔左序列, 表示外壁左序列, 表示内腔右序列, 表示外壁右序列, 和 分别表示拉东左序列和拉东右序列, 表示拉东左序列的拉东值的方差, 表示拉东右序列的拉东值的方差, 表示烟道内腔连通域的平均边缘梯度, 表示感兴趣区域的锐化质量评分。 [0011] 优选的,所述根据初次锐化图像中每个像素点周围像素点的灰度值获取过锐化惩罚项的方法为:在初始锐化图像中,每个边缘像素点获取一个预设大小的邻域窗口,计算领域窗口内的灰度标准差,获取所有领域窗口的灰度标准差的均值,将所述均值与预设调整值作差后的差值与0进行比较,选取较大的值作为过锐化惩罚项。 [0012] 优选的,所述根据锐化质量评分和过锐化惩罚项构建价值函数,根据价值函数获取最优锐化系数以及最终锐化图像的方法为:令价值函数为锐化质量评分与过锐化惩罚项和预设系数的差值,若初次锐化图像对应的过锐化惩罚项小于0时,初始锐化系数增加预设值获取第二次锐化图像,若锐化惩罚项依然小于0,则再次增加初始锐化系数获取第三次锐化图像,依此类推,直到过锐化惩罚项大于等于0为止,将获取的所有锐化系数对应的价值函数中选择最大的价值函数对应的锐化系数为最优锐化系数; 若初次锐化图像对应的过锐化惩罚项大于0时,初始锐化系数减小预设值获取第二次锐化图像,若锐化惩罚项依然大于0,则再次减小初始锐化系数获取第三次锐化图像,依此类推,直到过锐化惩罚项小于等于0为止,将获取的所有锐化系数对应的价值函数中选择最大的价值函数对应的锐化系数为最优锐化系数。 [0013] 本发明的有益效果是:本发明基于电子烟烟弹外壳灰度图像获取ROI区域,根据高频信息量设定锐化系数初始值并进行价值函数的构建,该函数由锐化质量评分与过锐化惩罚项共同得到,其中锐化质量评分通过烟道边缘平均梯度幅值以及烟道结构完整度求得,其反映了锐化增强后图像边缘信息效果,通过价值函数获取自适应锐化系数,并得到最优锐化系数,最终使得电子烟烟弹外壳灰度图像锐化效果更优,解决了边缘模糊的问题,以提高质量检测精度。附图说明 [0014] 为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。 [0015] 图1为本发明一个实施例所提供的基于图像处理的电子烟烟弹质量检测方法的流程示意图;图2为烟弹灰度图示意图; 图3为感兴趣区域示意图。 具体实施方式[0016] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。 [0017] 请参阅图1,其示出了本发明一个实施例提供的基于图像处理的电子烟烟弹质量检测方法流程图,该方法包括以下步骤:步骤S001,获取烟弹灰度图。 [0018] 在电子烟烟弹生产结束后,在上方假设LED散射光源以消除光照变化引起的图像颜色不均匀的问题,使用CCD相机正面采集烟弹的图像,并将采集到的图像使用高斯滤波和加权平均法将其去噪和灰度化,将获取的去噪后的灰度图像记为烟弹灰度图。 [0019] 步骤S002,根据烟弹灰度图获取感兴趣区域;根据感兴趣区域中每个像素点的梯度幅值获取初始锐化系数,根据初始锐化系数获取初次锐化图像。 [0020] 对于获取的烟弹灰度图,其中烟弹的主体结构由半透明亚克力材料制成,上半部分弧形结构为烟嘴,下半部分为储存烟油的烟仓,通过烟杆里的加热装置使烟仓里的烟油挥发变为气体形态从而通过烟嘴溢出,如果中间烟道阻塞会影响整体的出烟效果,因此需要获取烟道所在的图像区域。 [0021] 烟道所在区域位于烟嘴部分,因此对于烟弹灰度图使用Canny边缘检测算子获取边缘图像,对边缘图像使用FAST角点检测得到若干角点,由于烟嘴部分和烟仓部分的结合处存在凸起,因此获取烟弹灰度图中最左侧和最右侧的角点,如图2所示,图2中X为最左侧角点,图2中Y为最右侧角点,将两个角点的连线作为烟嘴区域和烟仓区域的分界线,将分界线上方的区域作为烟嘴区域,即感兴趣区域。所述感兴趣区域如图3所示。 [0023] 在本实施例中,使用拉普拉斯算子对感兴趣区域使用卷积计算得到拉普拉斯图像与原图像相加获取锐化图像,并且为了控制锐化程度,在拉普拉斯图像前添加锐化系数,在拉普拉斯锐化算法中锐化系数 的选择十分重要,如果锐化系数 过大或过小可能会导致过度锐化或锐化不足等问题,此处根据初始的锐化效果对拉普拉斯图像的系数 进行自适应优化,首先需要根据感兴趣区域自身的灰度特征获取初始锐化系数。 [0024] 首先使用Sobel算子对感兴趣区域进行处理,获取每个像素点的梯度幅值,通过所有像素点的梯度幅值获取感兴趣区域的高频信息量,公式如下:式中, 表示感兴趣区域中第k个像素点的梯度幅值,K表示感兴趣区域中像素点的个数,表示了感兴趣区域的高频信息量。高频信息量 初步体现了感兴趣区域中快速变化的细节部分,如边缘、纹理等,高频信息量可用来衡量图像中这些高频信号的能量,为初始锐化系数 的确定提供数据支持。 [0025] 将感兴趣区域的高频信息量与此场景下高频信息量的最大值的比值作为初始锐化系数,公式如下:式中,表示了感兴趣区域的高频信息量, 表示此场景下感兴趣区域的高频信息量最大值, 表示感兴趣区域的初始锐化系数。其中此场景下感兴趣区域的高频信息量最大值为像素点梯度幅值都取最大值255时的情况,值为 。 [0026] 根据初始锐化系数获取锐化后的图像,公式如下:式中,表示感兴趣区域, 表示初始锐化系数, 表示拉普拉斯图像,表示使用初始锐化系数后的锐化图像记为初次锐化图像。 [0027] 至此,得到了初次锐化图像。 [0028] 步骤S003,根据初次锐化图像获取烟道内腔连通域,并获取烟道内腔连通域的平均边缘梯度;根据烟道内腔连通域获取烟道外壁连通域;根据烟道内腔连通域和烟道外壁连通域的边缘像素点获取距离序列;根据距离序列获取拉东左序列和拉东右序列;根据烟道内腔连通域的平均边缘梯度、拉东左序列和拉东右序列的拉东值的方差以及距离序列的DTW距离获取锐化质量评分。 [0029] 使用初始锐化系数得到的锐化图像只考虑了高频信息量,此时得到的锐化效果并非是最优的,因此需要对初始锐化系数进行修正,使得后续的锐化效果更优,此时通过构建价值函数来选择最终的自适应锐化系数,而价值函数通过锐化质量评分和过锐化惩罚项获取。 [0030] 其中锐化质量评分的获取方法如下,具体的,将初次锐化图像进行Canny边缘检测以及连通域分析获取多个连通域,由于部分烟道所在连通域的灰度值较大,因此在初次锐化图像中找到平均灰度值最大的连通域作为烟道内腔连通域,计算烟道内腔连通域内每个边缘像素点的梯度幅值,所述梯度幅值反映了连通域边缘像素点的边缘强度,烟道内腔连通域内所有边缘像素点的梯度幅值求均值作为烟道内腔连通域的平均边缘梯度。当每个边缘像素点的梯度幅值都较大时,锐化效果越好,边缘越明显。 [0031] 一般图像在锐化后,除了边缘增强外,其结构完整度同样也会增强,而在利用初始锐化系数获取初始锐化图像后,其结构完整度可能并不好,可以观察到烟嘴区域边界处有缺失且不明晰。 [0032] 对于烟道内腔连通域存在一个相邻的连通域,将所述相邻的连通域与烟道内腔连通域相邻的像素点记为间隔像素点,在所有间隔相似点中,最上方的两个间隔像素点做垂直水平方向的垂线,保留相邻连通域中间的部分记为烟道外壁连通域。 [0033] 烟道外壁连通域因为和烟道内腔连通域相邻,因此两个连通域的相邻的边缘线之间具有结构相似性,烟道外壁连通域的外边缘连续性好,因此以烟道外壁连通域的外边缘作为参考边缘,对烟道内腔连通域边缘进行评估。对于无质量问题烟弹来说,其整体结构具有对称性,所以以感兴趣区域下边缘中心点为原点,构建二维空间坐标系。 [0034] 对烟道内腔连通域两侧的边缘点记为内腔边缘点,将烟道外壁连通域所有边缘点中与内腔连通域不相邻的边缘点记为外壁边缘点,其中外壁边缘点构成两条折线,内腔边缘点构成两条折线,将所有内腔边缘点和外壁边缘点分别与二维空间坐标系的原点求欧氏距离,将每一条折现的像素点求到的距离构成一个距离序列,由此获取了四个距离序列。 [0035] 对于四条距离序列,由于序列长度可能不一致,因此选择使用DTW距离度量烟道内腔连通域的距离序列与烟道外壁连通域的距离序列的相似度,将烟道内腔连通域对应的两条距离序列中左侧的距离序列记为内腔左序列,右侧的距离序列记为内腔右序列,将烟道外壁连通域对应的两条距离序列中左侧距离序列记为外壁左序列,右侧的距离序列记为外壁右序列。 [0036] 获取内腔左序列和外壁左序列的DTW距离以及内腔右序列和外壁右序列的DTW距离,过外壁左序列和外壁右序列中的每个像素点作一条垂线,对于每个垂线使用拉东变换得到拉东值,所述拉东变换为公知技术,在此不做赘述,将外壁左序列和外壁右序列每个像素点的距离值替换为拉东值获取拉东左序列和拉东右序列,计算拉东左序列内所有像素点的拉东值的方差以及拉东右序列内所有像素点的拉东值的方差。 [0037] 根据烟道内腔连通域的平均边缘梯度、拉东左序列和拉东右序列的拉东值的方差以及距离序列的DTW距离获取锐化质量评分,公式如下:式中, 表示内腔左序列和外壁左序列的DTW距离, 表示内腔 右序列和外壁右序列的DTW距离, 表示内腔左序列, 表示外壁左序列, 表示内腔右序列, 表示外壁右序列, 和 分别表示拉东左序列和拉东右序列, 表示拉东左序列的拉东值的方差, 表示拉东右序列的拉东值的方差, 表示烟道内腔连通域的平均边缘梯度, 表示感兴趣区域的锐化质量评分。 [0038] 其中,烟道内腔连通域的平均边缘梯度值越大说明边缘强度越大,则锐化质量评分越大;两个DTW的距离越小,说明两条边缘的相似度越高,即烟道内腔连通域和烟道外壁连通域的结构越相似,锐化质量评分越大,两个拉东序列的方差越小,说明烟道整体结构月份定,相应的烟道内腔连通域边缘完成度越高,锐化质量评分越大。 [0039] 至此,获取了感兴趣区域的锐化质量评分。 [0040] 步骤S004,根据初次锐化图像中每个像素点周围像素点的灰度值获取过锐化惩罚项;根据锐化质量评分和过锐化惩罚项构建价值函数,根据价值函数获取最优锐化系数以及最终锐化图像。 [0041] 获取了锐化质量评分后,还需补充过锐化惩罚项,在初次锐化图像中的边缘像素点获取 邻域窗口,对于每个边缘像素点的邻域窗口,计算邻域窗口内的灰度标准差;若边缘像素点的邻域窗口超过了初次锐化图像的边界,则不计算超出的部分。获取所有边缘像素点的邻域窗口中灰度标准差的均值,根据所有邻域窗口内灰度标准差的均值获取过锐化惩罚项,公式如下: 式中, 表示所有邻域窗口内灰度标准差的均值, 表示惩罚调整值, 在本实施例中,惩罚调整值为10, 表示最大值函数, 表示感兴趣区域的过锐化惩罚项。 [0042] 令锐化质量评分和过锐化惩罚项的差值构成价值函数,公式如下:式中, 表示感兴趣区域的锐化质量评分, 表示感兴趣区域的过锐化惩罚项,表示控制系数,在本实施例中控制系数为0.1,表示价值函数的函数值。 [0043] 上述是价值函数的构成公式,在每次获取锐化图像时会获取一个新的函数值,具体如下:当初次锐化图像的价值函数 中过锐化惩罚项 小于0时,说明该锐 化系数得到的锐化图像中没有过锐化情况,此时锐化系数初始值 自增 ,变为 ,然后使用该锐化系数再次进行锐化,得到第二次锐化图像,同样的若第二次锐化图像的价值函数 中仍未出现过锐化,那么再次执行上述操作,直到出现过锐化惩罚项大于0的情况则停止,将停止之前的所有价值函数中最大的价值函数值对应的锐化系数为最优锐化系数 。 [0044] 而当初次锐化图像的价值函数 中过锐化惩罚项 大于0时,说明此时锐化系数较大,所以锐化系数初始值 进行自减,变为 ,使用该锐化系数再次进行锐化得到第二次锐化图像,若第二次锐化图像的价值函数 仍出现过锐化情况,继续进行锐化系数自减,直到锐化图像的价值函数不再出现过锐化情况即锐化惩罚项小于0时则停止,同样的将停止之前的所有价值函数中最大的价值函数值的锐化系数为最优锐化系数 。 [0045] 在本实施例中,上述的自增自减系数 可以选择经验值为0.05,获取最优锐化系数后,使用最优锐化系数对感兴趣区域进行锐化得到最终锐化图像。 [0046] 至此,获取了感兴趣区域的最终锐化图像。 [0047] 步骤S005,对感兴趣区域的最终锐化图像进行质量检测。 [0048] 获取最终锐化图像后,提取最终锐化图像的烟道内腔连通域,获取烟道内腔连通域的面积,之后获取最终锐化图像的总面积,令烟道内腔区域的面积与最终锐化图像的总面积的比值作为烟道通透度,此时设定范围阈值,若烟道通透度在范围阈值内,则说明烟道质量较好,否在烟弹质量较差,在本实施例中范围阈值为9%到11%之间。 |