首页 / 专利库 / 信号处理 / LC滤波器 / 一种基于深度聚类分析的珊瑚分布及健康状况评估方法

一种基于深度聚类分析的珊瑚分布及健康状况评估方法

阅读:1020发布:2020-05-15

专利汇可以提供一种基于深度聚类分析的珊瑚分布及健康状况评估方法专利检索,专利查询,专利分析的服务。并且本 发明 属于海洋珊瑚 生物 研究技术领域,具体涉及一种基于深度 聚类分析 的珊瑚分布及健康状况评估方法。本发明通过改进的图像拼接 算法 将采集的视频图像拼接成较大的图像,利用 深度学习 算法对暖 水 珊瑚进行目标识别检测,之后将识别目标通过k-means分割算法进行 图像分割 ,最后再来研究珊瑚的分布及健康状况。本发明提出的方法提高了图像拼接效率,实现了珊瑚图像的光滑无缝拼接,利用YOLOV3实现了对图像中珊瑚的快速检测,通过图像分割计算珊瑚面积提高了珊瑚 覆盖 率的精确度,使得珊瑚分布及健康状况的整体计算速率获得很大提高,对研究珊瑚礁的分布情况和健康状况具有良好的效果。,下面是一种基于深度聚类分析的珊瑚分布及健康状况评估方法专利的具体信息内容。

1.一种基于深度聚类分析的珊瑚分布及健康状况评估方法,其特征在于,包括以下步骤:
步骤1:建立海底珊瑚数据集;对海底珊瑚数据集进行深度学习离线训练,生成YOLOV3检测器;所述的海底珊瑚数据集包括珊瑚、与珊瑚共生的海藻和底质;
步骤2:通过下摄像机和进行航位推算的设备记录水下图像及其所对应的经纬度信息;
步骤3:将水下摄像机采集的连续多具有重叠区域的海底图像中的每幅图像与其对应的经纬度信息进行匹配,将多幅图像拼接成一幅水下图像;
步骤4:将拼接图像等分成m×n个小方,在每个小方块中,利用YOLOV3检测器对小方块中的海底目标进行识别,标出类别标签;
步骤5:在每一个小方块中进行图像分割;结合YOLOV3检测器识别出的类别标签获取小方块中各类别的比例,将小方块中占比最大的类别定义为小方块的类别;
步骤6:将每一个类别为珊瑚的小方块的主颜色与珊瑚健康色卡进行比对,获得该类别为珊瑚的方块的主颜色分数Si;
步骤7:将珊瑚覆盖率、珊瑚健康指数和该区域所有珊瑚主颜色的平均颜色分数作为珊瑚礁健康状况的评价指标,根据不同评价指数的权重值,得到珊瑚礁健康状况的综合得分W,并根据珊瑚礁健康状况的综合得分W获得珊瑚礁健康评估结果;
步骤8:记录所有珊瑚对应的种类与颜色分数,与其所对应的经纬度信息进行匹配,获得珊瑚分布状况。
2.根据权利要求1所述的一种基于深度聚类分析的珊瑚分布及健康状况评估方法,其特征在于:所述的步骤3中将多幅图像拼接成一幅水下图像具体为:
步骤3.1:对待拼接珊瑚图像进行图像预处理,提高图像质量
步骤3.2:利用SIFT算法获取参考图像和待配准图像的特征点;
步骤3.3:用欧式距离比对提取出的特征点进行特征匹配,找出所有的潜在匹配点对;
步骤3.4:根据检测到的特征匹配点对,分析相邻图像序列的相交区域变化,进而计算出相机的运动情况,建立Kalman滤波器来预测相机下一时刻的运动趋势,估计下一图像对的相交区域;在估计图像对相交区域的基础上,将检测到的特征点进行区域匹配;
步骤3.5:利用SFM算法恢复出相机的外部参数和场景的稀疏三维点图;
步骤3.6:在恢复出的稀疏三维点云图的基础上,通过最小化所有特征点到拼接参考平面的距离和,获取最佳投影平面;通过旋转平移将最佳投影平面与世界坐标系的平面重合,作为图像的参考平面;
步骤3.7:选取骨架图像,由运动结构恢复算法恢复的参数作为最终的骨架图像的变换参数;
步骤3.8:通过全局调整优化配准结果,得到配准图像;
步骤3.9:计算两幅待拼接图像的重叠区域的均值和方差;计算来自重叠区域像素的概率分布函数;
步骤3.10:根据概率分布函数计算重叠区域的每一个像素的权值;
步骤3.11:根据权值实现像素的重新取值,进而完成图像融合,实现拼接。
3.根据权利要求1或2所述的一种基于深度聚类分析的珊瑚分布及健康状况评估方法,其特征在于:所述的步骤5中图像分割的方法具体为:
步骤5.1:将YOLOV3检测识别中标出的每一个框作为待分割图像,输入待分割图像,进行预处理;
步骤5.2:将YOLOV3检测出的标签的种类数量作为聚类计算的簇的数目K值,各标签图框中心作为聚类中心的初始值即为初始中心点mi,i=1,2...K;
步骤5.3:初始化K个聚类中心;
步骤5.4:计算图像中的每个像素点到每一个簇的加权距离,并将图像中的每个像素点划分到与其加权距离最小的簇中;
步骤5.5:重新计算各个簇的聚簇中心,新的聚簇中心为每个簇所有对象灰度值的平均值;
步骤5.6:计算聚簇质量E:
如果聚簇质量达到了期望值或者达到了预先设定的最大迭代次数,则停止迭代,否则重新迭代聚簇过程;
步骤5.7:根据聚簇结果,将同一个簇中的对象用相同的颜色标记,不同簇中的对象用不同的颜色标记,输出最终的分割图像。
4.根据权利要求1或2所述的一种基于深度聚类分析的珊瑚分布及健康状况评估方法,其特征在于:所述的步骤6中类别为珊瑚的小方块的主颜色为小方块中获得排名第1位非黑色的颜色;所述的步骤6中获得类别为珊瑚的方块的主颜色分数Si的方法具体为:
步骤6.1:将主颜色值由RGB转换成HSV,转换公式为:
V=Cmax
步骤6.2:计算HSV域内类别为珊瑚的小方块的主颜色值到珊瑚健康色卡每一个颜色方块的颜色距离值;HSV域(H,S,V)点的坐标(x,y,z)计算公式为:
x=r*V*S*cosH
y=r*V*S*sinH
z=h*(1-V)
颜色距离计算公式如下所示:
其中,(x0,y0,z0)是HSV域内类别为珊瑚的小方块的主颜色值的坐标;(xi,yi,zi)是HSV域内珊瑚健康色卡每一个颜色方块的颜色值的坐标;
步骤6.3:根据颜色距离最小值对应的色卡颜色方块信息获得该类别为珊瑚的方块的主颜色分数Si。
5.根据权利要求3所述的一种基于深度聚类分析的珊瑚分布及健康状况评估方法,其特征在于:所述的步骤6中类别为珊瑚的小方块的主颜色为小方块中获得排名第1位非黑色的颜色;所述的步骤6中获得类别为珊瑚的方块的主颜色分数Si的方法具体为:
步骤6.1:将主颜色值由RGB转换成HSV,转换公式为:
V=Cmax
步骤6.2:计算HSV域内类别为珊瑚的小方块的主颜色值到珊瑚健康色卡每一个颜色方块的颜色距离值;HSV域(H,S,V)点的坐标(x,y,z)计算公式为:
x=r*V*S*cosH
y=r*V*S*sinH
z=h*(1-V)
颜色距离计算公式如下所示:
其中,(x0,y0,z0)是HSV域内类别为珊瑚的小方块的主颜色值的坐标;(xi,yi,zi)是HSV域内珊瑚健康色卡每一个颜色方块的颜色值的坐标;
步骤6.3:根据颜色距离最小值对应的色卡颜色方块信息获得该类别为珊瑚的方块的主颜色分数Si。
6.根据权利要求1或2所述的一种基于深度聚类分析的珊瑚分布及健康状况评估方法,其特征在于:所述的步骤7中珊瑚礁健康状况的综合得分W的计算方法具体为:
步骤7.1:计算珊瑚覆盖率、活珊瑚覆盖率、死珊瑚覆盖率、与珊瑚共生的藻类覆盖率;
其中:TC为珊瑚覆盖率;LC为活珊瑚覆盖率;DC为死珊瑚覆盖率;AL为与珊瑚共生的藻类覆盖率;a为珊瑚在拼接图像中所占的小方块数量;al为活珊瑚在拼接图像中所占的小方块数量;ad为死珊瑚在拼接图像中所占的小方块数量;b为与珊瑚共生的藻类在拼接图像中所占的小方块数量;
步骤7.2:计算珊瑚健康指数CI;
CI=lg[LC/(DC+AL)];
步骤7.3:计算所有珊瑚主颜色的平均颜色分数MI;
步骤7.4:根据计算出的珊瑚覆盖率TC、珊瑚健康指数CI和所有珊瑚主颜色的平均颜色分数MI获得其对应的评价得分w1、w2和w3;
w1=TC×100
步骤7.5:将珊瑚覆盖率、珊瑚健康指数和该区域所有珊瑚主颜色的平均颜色分数作为珊瑚礁健康状况的评价指标,根据不同评价指数的权重值,得到珊瑚礁健康状况的综合得分W;
其中:α1为珊瑚覆盖率权重值;α2为珊瑚健康指数权重值;α3为所有珊瑚主颜色的平均颜色分数的权重值。
7.根据权利要求3所述的一种基于深度聚类分析的珊瑚分布及健康状况评估方法,其特征在于:所述的步骤7中珊瑚礁健康状况的综合得分W的计算方法具体为:
步骤7.1:计算珊瑚覆盖率、活珊瑚覆盖率、死珊瑚覆盖率、与珊瑚共生的藻类覆盖率;
其中:TC为珊瑚覆盖率;LC为活珊瑚覆盖率;DC为死珊瑚覆盖率;AL为与珊瑚共生的藻类覆盖率;a为珊瑚在拼接图像中所占的小方块数量;al为活珊瑚在拼接图像中所占的小方块数量;ad为死珊瑚在拼接图像中所占的小方块数量;b为与珊瑚共生的藻类在拼接图像中所占的小方块数量;
步骤7.2:计算珊瑚健康指数CI;
CI=lg[LC/(DC+AL)];
步骤7.3:计算所有珊瑚主颜色的平均颜色分数MI;
步骤7.4:根据计算出的珊瑚覆盖率TC、珊瑚健康指数CI和所有珊瑚主颜色的平均颜色分数MI获得其对应的评价得分w1、w2和w3;
w1=TC×100
步骤7.5:将珊瑚覆盖率、珊瑚健康指数和该区域所有珊瑚主颜色的平均颜色分数作为珊瑚礁健康状况的评价指标,根据不同评价指数的权重值,得到珊瑚礁健康状况的综合得分W;
其中:α1为珊瑚覆盖率权重值;α2为珊瑚健康指数权重值;α3为所有珊瑚主颜色的平均颜色分数的权重值。
8.根据权利要求4所述的一种基于深度聚类分析的珊瑚分布及健康状况评估方法,其特征在于:所述的步骤7中珊瑚礁健康状况的综合得分W的计算方法具体为:
步骤7.1:计算珊瑚覆盖率、活珊瑚覆盖率、死珊瑚覆盖率、与珊瑚共生的藻类覆盖率;
其中:TC为珊瑚覆盖率;LC为活珊瑚覆盖率;DC为死珊瑚覆盖率;AL为与珊瑚共生的藻类覆盖率;a为珊瑚在拼接图像中所占的小方块数量;al为活珊瑚在拼接图像中所占的小方块数量;ad为死珊瑚在拼接图像中所占的小方块数量;b为与珊瑚共生的藻类在拼接图像中所占的小方块数量;
步骤7.2:计算珊瑚健康指数CI;
CI=lg[LC/(DC+AL)];
步骤7.3:计算所有珊瑚主颜色的平均颜色分数MI;
步骤7.4:根据计算出的珊瑚覆盖率TC、珊瑚健康指数CI和所有珊瑚主颜色的平均颜色分数MI获得其对应的评价得分w1、w2和w3;
w1=TC×100
步骤7.5:将珊瑚覆盖率、珊瑚健康指数和该区域所有珊瑚主颜色的平均颜色分数作为珊瑚礁健康状况的评价指标,根据不同评价指数的权重值,得到珊瑚礁健康状况的综合得分W;
其中:α1为珊瑚覆盖率权重值;α2为珊瑚健康指数权重值;α3为所有珊瑚主颜色的平均颜色分数的权重值。
9.根据权利要求5所述的一种基于深度聚类分析的珊瑚分布及健康状况评估方法,其特征在于:所述的步骤7中珊瑚礁健康状况的综合得分W的计算方法具体为:
步骤7.1:计算珊瑚覆盖率、活珊瑚覆盖率、死珊瑚覆盖率、与珊瑚共生的藻类覆盖率;
其中:TC为珊瑚覆盖率;LC为活珊瑚覆盖率;DC为死珊瑚覆盖率;AL为与珊瑚共生的藻类覆盖率;a为珊瑚在拼接图像中所占的小方块数量;al为活珊瑚在拼接图像中所占的小方块数量;ad为死珊瑚在拼接图像中所占的小方块数量;b为与珊瑚共生的藻类在拼接图像中所占的小方块数量;
步骤7.2:计算珊瑚健康指数CI;
CI=lg[LC/(DC+AL)];
步骤7.3:计算所有珊瑚主颜色的平均颜色分数MI;
步骤7.4:根据计算出的珊瑚覆盖率TC、珊瑚健康指数CI和所有珊瑚主颜色的平均颜色分数MI获得其对应的评价得分w1、w2和w3;
w1=TC×100
步骤7.5:将珊瑚覆盖率、珊瑚健康指数和该区域所有珊瑚主颜色的平均颜色分数作为珊瑚礁健康状况的评价指标,根据不同评价指数的权重值,得到珊瑚礁健康状况的综合得分W;
其中:α1为珊瑚覆盖率权重值;α2为珊瑚健康指数权重值;α3为所有珊瑚主颜色的平均颜色分数的权重值。

说明书全文

一种基于深度聚类分析的珊瑚分布及健康状况评估方法

技术领域

[0001] 本发明属于海洋珊瑚生物研究技术领域,具体涉及一种基于深度聚类分析的珊瑚分布及健康状况评估方法。

背景技术

[0002] 珊瑚礁是海洋中生物种类最丰富、生物多样性最高的生态系统之一,具有极高的生产平,是与陆地的热带雨林齐名的海洋生物资源宝库,因而也被称为海洋中的热带雨林。栖息在珊瑚礁区的各类海洋生物达到上万种,对海洋环境和海洋生态系统的优化具有重要的意义。
[0003] 尽管全球珊瑚礁面积达到2×108km2,但目前珊湖礁正处于不断衰减的恶化状态中受全球气候和环境变化的影响,近20年来全球绝大部分发育珊琐礁的海域都出现过珊瑚大量死亡和生态系统恶化的现象发生在1997到1998年间的厄尔尼诺事件,导致全球大约16%的珊湖礁发生白化和死亡现象,这次事件波及了世界范围内50多个国家,遍及太平洋、印度洋和大西洋的主要珊糊礁区。珊糊礁生态系统对热带海岸资源及环境保护具有重要意义,保护珊糊礁资源已经成为全世界关注的问题。
[0004] 近年来,随着水下机器人的快速发展,人们对海洋展开了大量的研究。利用水下机器人对暖水珊瑚进行视频采集,研究珊瑚的分布及健康状况。然而在获取珊瑚的视频图像时,由于光线在水中传播过程中,存在强烈的散射特性以及吸收特性导致光线较弱,极大地限制了摄像机对海底成像的可视范围与距离。导致单幅海底图像仅仅能获取和记录有限距离和视内的信息,对珊瑚研究造成困难。

发明内容

[0005] 本发明的目的在于提供解决单幅海底图像难以进行珊瑚研究问题,提高获取珊瑚在海洋中分布情况的精确度以及计算效率,并且可对珊瑚健康状况进行高精度评估的一种基于深度聚类分析的珊瑚分布及健康状况评估方法。
[0006] 本发明的目的通过如下技术方案来实现:
[0007] 包括以下步骤:
[0008] 步骤1:建立海底珊瑚数据集;对海底珊瑚数据集进行深度学习离线训练,生成YOLOV3检测器;所述的海底珊瑚数据集包括珊瑚、与珊瑚共生的海藻和底质;
[0009] 步骤2:通过水下摄像机和进行航位推算的设备记录水下图像及其所对应的经纬度信息;
[0010] 步骤3:将水下摄像机采集的连续多具有重叠区域的海底图像中的每幅图像与其对应的经纬度信息进行匹配,将多幅图像拼接成一幅水下图像;
[0011] 步骤4:将拼接图像等分成m×n个小方,在每个小方块中,利用YOLOV3检测器对小方块中的海底目标进行识别,标出类别标签;
[0012] 步骤5:在每一个小方块中进行图像分割;结合YOLOV3检测器识别出的类别标签获取小方块中各类别的比例,将小方块中占比最大的类别定义为小方块的类别;
[0013] 步骤6:将每一个类别为珊瑚的小方块的主颜色与珊瑚健康色卡进行比对,获得该类别为珊瑚的方块的主颜色分数Si;
[0014] 步骤7:将珊瑚覆盖率、珊瑚健康指数和该区域所有珊瑚主颜色的平均颜色分数作为珊瑚礁健康状况的评价指标,根据不同评价指数的权重值,得到珊瑚礁健康状况的综合得分W,并根据珊瑚礁健康状况的综合得分W获得珊瑚礁健康评估结果;
[0015] 步骤8:记录所有珊瑚对应的种类与颜色分数,与其所对应的经纬度信息进行匹配,获得珊瑚分布状况。
[0016] 本发明还可以包括:
[0017] 所述的步骤3中将多幅图像拼接成一幅水下图像具体为:
[0018] 步骤3.1:对待拼接珊瑚图像进行图像预处理,提高图像质量
[0019] 步骤3.2:利用SIFT算法获取参考图像和待配准图像的特征点;
[0020] 步骤3.3:用欧式距离比对提取出的特征点进行特征匹配,找出所有的潜在匹配点对;
[0021] 步骤3.4:根据检测到的特征匹配点对,分析相邻图像序列的相交区域变化,进而计算出相机的运动情况,建立Kalman滤波器来预测相机下一时刻的运动趋势,估计下一图像对的相交区域;在估计图像对相交区域的基础上,将检测到的特征点进行区域匹配;
[0022] 步骤3.5:利用SFM算法恢复出相机的外部参数和场景的稀疏三维点图;
[0023] 步骤3.6:在恢复出的稀疏三维点云图的基础上,通过最小化所有特征点到拼接参考平面的距离和,获取最佳投影平面;通过旋转平移将最佳投影平面与世界坐标系的平面重合,作为图像的参考平面;
[0024] 步骤3.7:选取骨架图像,由运动结构恢复算法恢复的参数作为最终的骨架图像的变换参数;
[0025] 步骤3.8:通过全局调整优化配准结果,得到配准图像;
[0026] 步骤3.9:计算两幅待拼接图像的重叠区域的均值和方差;计算来自重叠区域像素的概率分布函数;
[0027] 步骤3.10:根据概率分布函数计算重叠区域的每一个像素的权值;
[0028] 步骤3.11:根据权值实现像素的重新取值,进而完成图像融合,实现拼接。
[0029] 所述的步骤5中图像分割的方法具体为:
[0030] 步骤5.1:将YOLOV3检测识别中标出的每一个框作为待分割图像,输入待分割图像,进行预处理;
[0031] 步骤5.2:将YOLOV3检测出的标签的种类数量作为聚类计算的簇的数目K值,各标签图框中心作为聚类中心的初始值即为初始中心点mi,i=1,2...K;
[0032] 步骤5.3:初始化K个聚类中心;
[0033] 步骤5.4:计算图像中的每个像素点到每一个簇的加权距离,并将图像中的每个像素点划分到与其加权距离最小的簇中;
[0034] 步骤5.5:重新计算各个簇的聚簇中心,新的聚簇中心为每个簇所有对象灰度值的平均值;
[0035] 步骤5.6:计算聚簇质量E:
[0036]
[0037] 如果聚簇质量达到了期望值或者达到了预先设定的最大迭代次数,则停止迭代,否则重新迭代聚簇过程;
[0038] 步骤5.7:根据聚簇结果,将同一个簇中的对象用相同的颜色标记,不同簇中的对象用不同的颜色标记,输出最终的分割图像。
[0039] 所述的步骤6中类别为珊瑚的小方块的主颜色为小方块中获得排名第1位非黑色的颜色;所述的步骤6中获得类别为珊瑚的方块的主颜色分数Si的方法具体为:
[0040] 步骤6.1:将主颜色值由RGB转换成HSV,转换公式为:
[0041]
[0042]
[0043]
[0044]
[0045] V=Cmax
[0046] 步骤6.2:计算HSV域内类别为珊瑚的小方块的主颜色值到珊瑚健康色卡每一个颜色方块的颜色距离值;HSV域(H,S,V)点的坐标(x,y,z)计算公式为:
[0047] x=r*V*S*cosH
[0048] y=r*V*S*sinH
[0049] z=h*(1-V)
[0050] 颜色距离计算公式如下所示:
[0051]
[0052] 其中,(x0,y0,z0)是HSV域内类别为珊瑚的小方块的主颜色值的坐标;(xi,yi,zi)是HSV域内珊瑚健康色卡每一个颜色方块的颜色值的坐标;
[0053] 步骤6.3:根据颜色距离最小值对应的色卡颜色方块信息获得该类别为珊瑚的方块的主颜色分数Si。
[0054] 所述的步骤7中珊瑚礁健康状况的综合得分W的计算方法具体为:
[0055] 步骤7.1:计算珊瑚覆盖率、活珊瑚覆盖率、死珊瑚覆盖率、与珊瑚共生的藻类覆盖率;
[0056]
[0057]
[0058]
[0059]
[0060] 其中:TC为珊瑚覆盖率;LC为活珊瑚覆盖率;DC为死珊瑚覆盖率;AL为与珊瑚共生的藻类覆盖率;a为珊瑚在拼接图像中所占的小方块数量;al为活珊瑚在拼接图像中所占的小方块数量;ad为死珊瑚在拼接图像中所占的小方块数量;b为与珊瑚共生的藻类在拼接图像中所占的小方块数量;
[0061] 步骤7.2:计算珊瑚健康指数CI;
[0062] CI=lg[LC/(DC+AL)];
[0063] 步骤7.3:计算所有珊瑚主颜色的平均颜色分数MI;
[0064]
[0065] 步骤7.4:根据计算出的珊瑚覆盖率TC、珊瑚健康指数CI和所有珊瑚主颜色的平均颜色分数MI获得其对应的评价得分w1、w2和w3;
[0066] w1=TC×100
[0067]
[0068]
[0069] 步骤7.5:将珊瑚覆盖率、珊瑚健康指数和该区域所有珊瑚主颜色的平均颜色分数作为珊瑚礁健康状况的评价指标,根据不同评价指数的权重值,得到珊瑚礁健康状况的综合得分W;
[0070]
[0071] 其中:α1为珊瑚覆盖率权重值;α2为珊瑚健康指数权重值;α3为所有珊瑚主颜色的平均颜色分数的权重值。
[0072] 本发明的有益效果在于:
[0073] 1.本发明所采用的图像拼接方法,是根据水下摄像机采集珊瑚视频具有空间和时间的连续性的基础上,利用Kalman滤波器,预测下一帧待拼接图像的坐标变换模型的参数,来提高图像拼接速度。
[0074] 2.传统图像配准方法都是在二维图像平面特征点的基础上进行。当拍摄的图像数量较大,用待配准图像中的某一幅图像作为参考图像并不能解决全局配准问题。针对以上存在问题,本发明在传统图像配准方法基础上以空间点云为基拟合一个最佳投影平面作为参考图像,从而实现水下图像拼接。
[0075] 3.由于水下图像模糊、对比度低、光照不均、噪声严重等导致的图像质量差问题,使得水下图像进行拼接处理时不能像陆上图像那样直接进行。针对于此,本发明通过图像滤波去噪等手段来提高图像质量。
[0076] 4.本发明利用检测速度较快的YOLOV3检测模型对珊瑚进行识别,提高了检测速度,使得整体的珊瑚分布及健康状况计算速度得以提升。
[0077] 5.本发明识别聚类每个小方框各主要成分的比例,那个占比大的种类视为整个方框都为此种类,方便计算面积,提高计算珊瑚、与珊瑚共生的海藻、底质覆盖率的运算速率。
[0078] 6.瑚礁健康状况评估通过计算该区域活珊瑚覆盖率、珊瑚健康指数(CI)以及该区域珊瑚平均颜色分数来实现。对各珊瑚礁评价指标得分进行加权计算求和,进而获得珊瑚礁健康状况评估结果,提高评价准确性。附图说明
[0079] 图1为一种基于深度聚类分析的珊瑚分布及健康状况评估方法的流程图
[0080] 图2位一种基于深度聚类分析的珊瑚分布及健康状况评估方法的结构图。
[0081] 图3为改进的图像配准技术流程图。
[0082] 图4为基于高斯模型的渐入渐出融合法流程图。
[0083] 图5为基于改进的k-means的图像分割流程图。
[0084] 图6为珊瑚礁健康状况综合评价模型图。

具体实施方式

[0085] 下面结合附图对本发明做进一步描述。
[0086] 近年来,随着水下机器人的快速发展,人们对海洋展开了大量的研究。利用水下机器人对暖水珊瑚进行视频采集,研究珊瑚的分布及健康状况。然而在获取珊瑚的视频图像时,由于光线在水中传播过程中,存在强烈的散射特性以及吸收特性导致光线较弱,极大地限制了摄像机对海底成像的可视范围与距离。导致单幅海底图像仅仅能获取和记录有限距离和视角内的信息,对珊瑚研究造成困难。基于此种问题,本发明提出一种基于深度聚类分析的珊瑚分布及健康状况评估方法,通过改进的图像拼接算法将采集的视频图像拼接成较大的图像,利用现在发展较为火热的深度学习算法对暖水珊瑚进行目标识别检测,之后将识别目标通过k-means分割算法进行图像分割,最后再来研究珊瑚的分布及健康状况。本发明提出的方法解决了上述问题,提高了获取珊瑚在海洋中分布情况的精确度,以及计算效率,并且对珊瑚健康状况进行了高精度评估。
[0087] 本发明的一种基于深度聚类分析的珊瑚分布及健康状况评估方法,可适用于离线和在线两种情况下。离线部分是指在探测设备回收上传数据之后,分析水下摄像机图片及图片对应的经纬度信息,通过图像拼接、目标识别、聚类分割和颜色对比,进行珊瑚种类识别和健康状况判断。在线部分是将珊瑚健康色卡信息储存在水下嵌入式处理系统中。通过水下嵌入式识别系统对珊瑚探测区域进行实时在线检测,将识别为珊瑚的目标与水下嵌入式处理系统中珊瑚健康色卡的颜色进行比对,给出珊瑚对应的种类与颜色分数,判断出珊瑚健康状况,标记出健康状况不佳珊瑚和健康珊瑚所处位置;待探测结束后,根据之前标记结果获得珊瑚分布及对应的健康状况。
[0088] 珊瑚礁健康状况评估通过计算该区域珊瑚覆盖率、珊瑚健康指数以及该区域珊瑚平均颜色分数来实现。向珊瑚综合评价模型输入各珊瑚礁评价指标得分,结合相应的权重参数输出珊瑚礁综合得分,进而获得珊瑚礁健康状况评估结果。珊瑚覆盖率、珊瑚健康指数以及平均颜色分数都可作为珊瑚礁健康状况评价指标,它们的评价侧重点不同。单一的评价指标会导致珊瑚礁健康状况评价结果较为片面,因此本发明将珊瑚覆盖率、珊瑚健康指数以及平均颜色分数对珊瑚礁健康状况进行联合评估,提高了珊瑚礁健康评价的准确性。
[0089] 如图1和2所示。本发明为一种基于深度聚类分析的珊瑚分布及健康状况评估方法,该方法包括以下步骤:
[0090] 步骤1:首先建立海底珊瑚数据集,数据集包括珊瑚、与珊瑚共生的海藻和底质三类。对数据集进行深度学习离线训练,生成YOLOV3检测器。
[0091] 步骤2:通过水下摄像机和进行航位推算的水下惯导、罗经、DVL等设备记录水下图像及其所对应的经纬度信息。
[0092] 步骤3:将水下摄像机采集的连续多帧具有重叠区域的海底图像中的每幅图像与其对应的经纬度信息进行匹配,将多幅图像拼接成一幅宽场景、大范围的水下图像。
[0093] 步骤4:将拼接图像等分成m×n个小方块。在每个小方块中,利用YOLOV3检测器对小方块中的海底目标进行识别,标出类别标签。
[0094] 步骤5:接着在每一个小方块中通过改进的k-means方法进行图像分割,以此计算小方块中各个类别在图像中的面积,结合YOLOV3检测识别出的类别标签进而获取小方块中各主要成分的比例,将其中占比最大的类别视为整个小方框都为此类别,以方便计算各类别面积。
[0095] 步骤6:对珊瑚健康状况进行自动评估。将类别为珊瑚的方块的主颜色与珊瑚健康色卡的颜色进行配对,给出珊瑚对应的种类与颜色分数,不同的颜色分数对应相应珊瑚的健康程度。
[0096] 步骤7:最后记录所有珊瑚对应的种类与颜色分数,与其所对应的经纬度信息进行匹配,获得珊瑚分布状况。
[0097] 步骤8:计算珊瑚、活珊瑚、死珊瑚、与珊瑚共生的藻类和其他生物群落的覆盖率。计算该区域的珊瑚健康指数,用它来表述珊瑚礁的健康状况。计算该区域所有珊瑚主颜色的平均颜色分数。
[0098] 步骤9:根据计算出的珊瑚覆盖率,获得其对应的评价得分w1。根据计算出的该区域珊瑚健康指数,获得其对应的评价得分w2。根据计算出的该区域所有珊瑚主颜色的平均颜色分数,获得其对应的评价得分w3。
[0099] 步骤10:将珊瑚覆盖率、珊瑚健康指数和该区域所有珊瑚主颜色的平均颜色分数作为珊瑚礁健康状况的评价指标。根据不同评价指数的权重值,构造珊瑚礁健康的综合评价模型。然后根据模型对珊瑚礁健康状况输出综合得分W。最后根据珊瑚礁综合得分对珊瑚礁健康状况进行综合评价,获得相应的评价结果。
[0100] 本发明中涉及的SIFT算法、SFM算法均为现有算法。
[0101] 步骤3中,包括以下步骤:
[0102] 第一步:如图3所示,利用SIFT算法获取参考图像和待配准图像的特征点,用欧式距离比对提取出的特征点进行特征匹配,分析相邻图像序列的相交区域变化,进而计算出相机的运动情况。然后以已知的相机运动参数为目标建立Kalman滤波器,预测相机下一时刻的运动趋势,估计下一图像对的相交区域。之后,在估计图像对相交区域的基础上,将检测到的特征点进行区域匹配,减少特征点的匹配次数,提高匹配效率。第k帧与k+帧图像之间的相似变换模型为:
[0103]
[0104] 第二步:运动恢复结构算法(SFM)是通过分析摄像机的运动信息来获取目标场景的三维结构即目标的三维点云的过程。其中特征点提取与匹配是该算法的基础。该算法基于二视图点云生成理论,获得有序的图像序列以后,提取图像对的匹配特征,依据外极线约束条件,计算两幅图像之间的本征矩阵,然后通过对本征矩阵进行奇异值分解,得到摄像机的运动参数旋转矩阵及和平移向量r,经最后一步计算可得到空间离散点的三维坐标,从而生成图像所对应的三维点云,并利用光束法平差算法对生成的三维点云和对应的相机参数进行优化调整。通过基于SFM算法以空间点云为基础拟合一个最佳投影平面为参考平面。
[0105] 第三步:如图4所示,图像融合技术环节采用的是像素级图像融合的思想,利用基于高斯模型的渐入渐出融合法实现图像融合。渐入渐出法是一种采用渐入渐出的思想实现平滑过渡的方法,设f代表融合后的图像,f1和f2分别代表待拼接的两幅图像,则有:
[0106]
[0107] 这里β1和β2分别是第一幅图像和第二幅图像中感兴趣区域对应像素的权值,并且满足β1+β2=1,0<β1<1,0<β2<1,选择适当的权值,可以使重叠区域实现平滑过渡,消除拼接痕迹。
[0108] 步骤4中,包括以下步骤:
[0109] 第一步:YOLOV3建立特征金字塔网络模型(FPN),该模型从特征空间金字塔的出发,每一次低语义、高分辨率的特征与高语义、低分辨率的特征相融合得到的特征的尺度都不相同,针对3种不同尺寸的特征映射图都进行回归预测,所以在训练时,无需逐步构建自顶向下网络,而是直接对完整的网络进行端到端的训练。
[0110] 第二步:制作珊瑚数据集,采用k-means算法对训练集数据中标注的真实目标边框进行聚类。采用面积交并比IOU作为评级指标来获得训练集数据中预测的珊瑚类目标的初始候选目标边框。将初始候选目标边框作为YOLOV3网络的初始网络参数;调用YOLOV3网络的初始网络参数,并将训练集数据输入YOLOV3网络进行训练,直至训练集数据输出的损失函数值小于等于阈值或达到设置的最大迭代次数N时停止训练,得到训练好的YOLOV3网络。
[0111] 第三步:将测试集数据输入训练好的YOLOV3网络,若测试集数据对应的检测精度大于等于精度阈值,则将训练好的YOLOV3网络作为最终的YOLOV3网络;若测试集数据对应的检测精度小于精度阈值,则继续训练第二步得到的训练好的YOLOV3网络,直至测试集数据对应的检测精度大于等于精度阈值,将此时的YOLOV3网络作为最终的YOLOV3网络。
[0112] 第四步:将步骤1中拼接好的珊瑚图像输入最终的YOLOV3网络,对珊瑚进行检测,标定出珊瑚的边框。
[0113] 步骤5中,包括以下步骤:
[0114] 如图5所示,先取K个初始距离的中心,计算每个像素到这K个中心的距离,找出最小距离,把像素归入最近的聚类中心,修改中心点的值为本类所有像素的均值,再计算每个像素到K个中心的距离,重新归类,修改新的中心点,直到达到期望值或最大迭代次数为止。
[0115] 步骤6中,包括以下步骤:
[0116] 第一步:在聚类获得的珊瑚图像中统计出珊瑚的主颜色(因珊瑚图像中背景为黑色,获得排名第1位非黑色的颜色作为珊瑚的主颜色)。
[0117] 第二步:将主颜色值由RGB转换成HSV;转换公式如下所示:
[0118]
[0119]
[0120]
[0121]
[0122] V=Cmax
[0123] 第三步:计算HSV域内类别为珊瑚的小方块的主颜色值到珊瑚健康色卡每一个颜色方块的颜色距离值;HSV域(H,S,V)点的坐标(x,y,z)计算公式如下所示:
[0124] x=r*V*S*cosH
[0125] y=r*V*S*sinH
[0126] z=h*(1-V)
[0127] 颜色距离计算公式如下所示:
[0128]
[0129] 公式中,(x0,y0,z0)是HSV域内类别为珊瑚的小方块的主颜色值的坐标;(xi,yi,zi)是HSV域内珊瑚健康色卡每一个颜色方块的颜色值的坐标。
[0130] 第四步:颜色距离最小值对应的色卡颜色方块信息(该颜色方块对应的珊瑚种类和颜色分数)对应着该珊瑚的健康程度。
[0131] 步骤8中,如图5所示,包括以下步骤:
[0132] 第一步:计算珊瑚、活珊瑚、死珊瑚、与珊瑚共生的藻类和其他生物群落的覆盖率。
[0133] 珊瑚覆盖率为:
[0134]
[0135] 活珊瑚覆盖率为:
[0136]
[0137] 死珊瑚覆盖率为:
[0138]
[0139] 藻类覆盖率为:
[0140]
[0141] 公式中:a为珊瑚在拼接图像中所占的小方块数量;al为活珊瑚在拼接图像中所占的小方块数量;ad为死珊瑚在拼接图像中所占的小方块数量;b为与珊瑚共生的藻类在拼接图像中所占的小方块数量。
[0142] 第二步:计算该区域的珊瑚健康指数(CI),用它来表述珊瑚礁的健康状况。
[0143] CI=lg[LC/(DC+AL)]
[0144] 第三步:计算该区域所有珊瑚主颜色的平均颜色分数。
[0145]
[0146] 公式中:Gi为第个珊瑚小方块珊瑚的主颜色分数。
[0147] 步骤9中,包括以下步骤:
[0148] 第一步:根据计算出的珊瑚覆盖率,获得其对应的评价得分w1。计算公式如下[0149] w1=TC×100
[0150] 第二步:根据计算出的该区域珊瑚健康指数,获得其对应的评价得分w2。计算公式如下:
[0151]
[0152] 第三步:根据计算出的该区域所有珊瑚主颜色的平均颜色分数,获得其对应的评价得分w3。计算公式如下:
[0153]
[0154] 步骤10中,如图6所示,包括以下步骤:
[0155] 第一步:将珊瑚覆盖率、珊瑚健康指数和该区域所有珊瑚主颜色的平均颜色分数作为珊瑚礁健康状况的评价指标。
[0156] 第二步:根据不同评价指数的权重值,构造珊瑚礁健康的综合评价模型。然后根据模型对珊瑚礁健康状况输出综合得分W。综合得分计算公式如下所示:
[0157]
[0158] 公式中:α1为珊瑚覆盖率权重值;α2为珊瑚健康指数权重值;α3为所有珊瑚主颜色的平均颜色分数的权重值。
[0159] 第三步:最后根据珊瑚礁综合得分对珊瑚礁健康状况进行综合评价,获得相应的评价结果。
[0160] 评价“良好”表明珊瑚礁生态系统保持其自然属性,生态系统主要服务功能正常发挥,病害或人为活动所产生的生态压力在生态系统的承载范围之内。评价“一般”表明珊瑚礁生态系统基本保持其自然属性,生态系统结构发生一定程度的改变,生态系统主要服务功能不能完全正常发挥,病害或人为活动所产生的生态压力超出生态系统的承载能力,但生态系统在去除人为干预的情况下尚能自然修复。评价“差”表明珊瑚礁生态系统自然属性明显改变,生态系统结构发生较大程度改变,生态系统主要服务功能严重退化或丧失,病害或人为活动所产生的生态压力超出生态系统的承载能力,生态系统在短期内难以恢复。
[0161] 本发明提出的方法提高了图像拼接效率,实现了珊瑚图像的光滑无缝拼接,利用YOLOV3实现了对图像中珊瑚的快速检测,通过图像分割计算珊瑚面积提高了珊瑚覆盖率的精确度,使得珊瑚分布及健康状况的整体计算速率获得很大提高,对研究珊瑚礁的分布情况和健康状况具有良好的效果。
[0162] 本发明具有以下优点:
[0163] 1.本发明所采用的图像拼接方法,是根据水下摄像机采集珊瑚视频具有空间和时间的连续性的基础上,利用Kalman滤波器,预测下一帧待拼接图像的坐标变换模型的参数,来提高图像拼接速度。
[0164] 2.传统图像配准方法都是在二维图像平面特征点的基础上进行。当拍摄的图像数量较大,用待配准图像中的某一幅图像作为参考图像并不能解决全局配准问题。针对以上存在问题,本发明在传统图像配准方法基础上以空间点云为基拟合一个最佳投影平面作为参考图像,从而实现水下图像拼接。
[0165] 3.由于水下图像模糊、对比度低、光照不均、噪声严重等导致的图像质量差问题,使得水下图像进行拼接处理时不能像陆上图像那样直接进行。针对于此,本发明通过图像滤波去噪等手段来提高图像质量。
[0166] 4.本发明利用检测速度较快的YOLOV3检测模型对珊瑚进行识别,提高了检测速度,使得整体的珊瑚分布及健康状况计算速度得以提升。
[0167] 5.本发明识别聚类每个小方框各主要成分的比例,那个占比大的种类视为整个方框都为此种类,方便计算面积,提高计算珊瑚、与珊瑚共生的海藻、底质覆盖率的运算速率。
[0168] 6.瑚礁健康状况评估通过计算该区域活珊瑚覆盖率、珊瑚健康指数(CI)以及该区域珊瑚平均颜色分数来实现。对各珊瑚礁评价指标得分进行加权计算求和,进而获得珊瑚礁健康状况评估结果,提高评价准确性。
[0169] 图像拼接部分采用改进的图像拼接方法。针对水下摄像机采集的珊瑚图像序列在时间和空间上具有连续性的特点以及将二维投影平面作为参考平面在全局配准方面性能较差的问题,本发明将Kalman滤波器和空间点云引入到图像配准算法中。利用SIFT算法获取参考图像和待配准图像的特征点,用欧式距离比对提取出的特征点进行特征匹配,分析相邻图像序列的相交区域变化,进而计算出相机的运动情况。然后以已知的相机运动参数为目标建立Kalman滤波器,预测相机下一时刻的运动趋势,估计下一图像对的相交区域。之后,在估计图像对相交区域的基础上,将检测到的特征点进行区域匹配,减少特征点的匹配次数,提高匹配效率。通过基于SFM算法以空间点云为基础拟合一个最佳投影平面为参考平面。图像融合技术环节采用的是像素级图像融合的思想,利用基于高斯模型的渐入渐出融合法实现图像融合。图像拼接的主要工作步骤如下:
[0170] (1)首先对待拼接珊瑚图像进行图像预处理,提高图像质量。
[0171] (2)利用SIFT算法获取参考图像和待配准图像的特征点。
[0172] (3)用欧式距离比对提取出的特征点进行特征匹配,找出所有的潜在匹配点对。
[0173] (4)根据检测到的特征匹配点对,分析相邻图像序列的相交区域变化,进而计算出相机的运动情况,建立Kalman滤波器来预测相机下一时刻的运动趋势,估计下一图像对的相交区域。之后,在估计图像对相交区域的基础上,将检测到的特征点进行区域匹配。
[0174] (5)利用SFM算法恢复出相机的外部参数和场景的稀疏三维点云图。
[0175] (6)然后在上述恢复出的稀疏三维点云图的基础上,通过最小化所有特征点到拼接参考平面的距离和,获取最佳投影平面,并且通过旋转平移将这个平面与世界坐标系的平面重合,最终作为图像的参考平面。
[0176] (7)为了提高计算效率,选取图像作为骨架图像,骨架图像的变换参数,由运动结构恢复算法恢复的参数作为最终的变换参数。
[0177] (8)通过全局调整优化配准结果,得到配准图像。
[0178] (9)分别计算两幅待拼接图像的重叠区域的均值和方差,之后计算来自重叠区域像素的概率分布函数。
[0179] (10)根据概率分布函数计算重叠区域的每一个像素的权值。
[0180] (11)最后根据权值实现像素的重新取值,进而完成图像融合,实现拼接。
[0181] 目标识别部分将大量的海底珊瑚图像制作成数据集,该数据集中目标分为三类:珊瑚、与珊瑚共生的藻类和底质。通过YOLOV3网络模型离线训练数据集生成YOLOV3检测器,利用生成的YOLOV3检测器对珊瑚拼接图像进行检测识别,绘制出珊瑚、与珊瑚共生的藻类和底质所在位置的目标边界框,标出类别标签。将检测出的各标签图框中心作为下一步k-means聚类中心的初始值,将识别出标签的种类数量作为聚类计算的簇的数目。
[0182] 图像分割部分采用基于改进的k-means方法进行图像分割,主要工作步骤如下:
[0183] (1)将YOLOV3检测识别中标出的每一个框作为待分割图像。
[0184] (2)输入待分割图像,进行平滑滤波等预处理。
[0185] (3)将YOLOV3检测出的标签的种类数量作为聚类计算的簇的数目即为K值,各标签图框中心作为聚类中心的初始值即为初始中心点mi(i=1,2…K)。
[0186] (4)初始化K个聚类中心。
[0187] (5)计算图像中的每个像素点到每一个簇的加权距离而不是欧氏距离,并将图像中的每个像素点划分到与其加权距离最小的簇中。
[0188] (6)重新计算各个簇的聚簇中心,新的聚簇中心为每个簇所有对象灰度值的平均值,计算聚簇质量E,计算公式如下所示:
[0189]
[0190] (7)如果聚簇质量达到了期望值或者达到了预先设定的最大迭代次数,则停止迭代,否则重新迭代聚簇过程。
[0191] (8)根据聚簇结果,将同一个簇中的对象用相同的颜色标记,不同簇中的对象用不同的颜色标记,输出最终的分割图像。
[0192] 由于健康珊瑚中的海藻会提供颜色,在白化过程中,珊瑚会排出组织中的藻类使颜色改变,随着珊瑚排出越多藻类,颜色会逐渐变浅。本方法根据珊瑚这一特点,以珊瑚颜色作为评价珊瑚健康状况的指标,通过比较珊瑚和珊瑚健康色卡中的颜色来进行珊瑚健康评估。珊瑚健康色卡以四种珊瑚来分类:枝状珊瑚、片状珊瑚、软珊瑚、石珊瑚。该色卡是根据白化及健康珊瑚的实际颜色而制,每种珊瑚包括6个颜色方块,每一个颜色方块可以代表居住在珊瑚组织里的共生藻类浓度,这也是直接影响珊瑚健康的因素。每一个颜色方块对应着一种颜色分数,颜色分数为1的珊瑚为死珊瑚,颜色分数为2-6的珊瑚为活珊瑚,健康程度从低到高。本发明使用计算机根据色卡颜色来对珊瑚健康状况进行自动评估。
[0193] 将珊瑚礁健康评价标准划分为三个等级:Ⅰ级为良好、Ⅱ级为一般、Ⅲ级为差。综合得分0-40为差,41-75为一般,71-100为良好。通过权利要求4中珊瑚礁获得的综合得分给出相应的珊瑚礁健康等级,得出相应的评价结果。
[0194] 以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈