技术领域
[0001] 本
发明涉及水质监测，具体涉及一种基于机器视觉的无人机水质色度监测方法。
背景技术
[0002] 改革开放以来，中国现代化的步伐不断加快。在用水量迅速上升的同时，污水
排放量也随之提高，污染物的排放数量已经超过了水环境容量，这给
水体自净带来了很多问题。这使得我国的水资源受到了极大的破坏。为了能够更好得保护水资源不被破坏，同时了解水体的实时情况，需要对水体进行实时的监测工作。
[0003] 现阶段，水环境监测的方法主要包括：实验室监测方法、移动监测方法和自动监测站监测方法。但是这三种水环境监测方法均需要进行样本提取，后进行化学物质监测，虽然监测
精度高但是也存在人工成本与设备成本较高，且监测周期较长的缺点。我国疆域辽阔，水域分布广阔，不同的地表水流域需要有着不同的水资源监测体系，我们现有的监测体系来看，在整体的监测模式，预警监测等方面存在明显不足。
发明内容
[0004] 为了克服传统的水质监测方法监测成本高，监测周期长的缺点，本发明提供了一种监测效率高，成本低，并适用于对大范围水域进行监测的基于机器视觉的无人机监测方法，通过对无人机搜集的图像进行
图像分析，实时监测某一水域的水质情况，主要适用于对大面积江河湖泊的水质监测工作。
[0005] 所述的一种基于机器视觉的无人机水质色度监测方法，其特征在于包括以下步骤：
[0006] 1)水样图像的采集：通过无人机的巡航功能，在
选定的水质监测区域的水面进行拍摄，并将拍摄获得的水样图像实时传输到电脑终端；
[0007] 2)
图像处理：将电脑终端获得的水样图像信息进行图像处理，即首先对获得的所有水样图像进行光照强度的归一化处理，以避免由于光照强度的差异而对色度监测效果产生影响；然后对水样图像的除水面区域以外的部分进行剔除，以避免干扰因素对监测结果的影响，最终获得相应的处理后图像；
[0008] 3)现场水样的采集：在无人机进行水样图像搜集的同时进行现场水样的采集，在水质监测区域选取不同的点作为
采样点，以避免水样参数测试中误差的产生，对搜集获得的水样样本进行保存；
[0009] 4)水样色度的化学监测及水样色度
数据库搭建：利用化学监测方式对搜集获得的水样进行色度检测，色度精度精确到个位数，以每个数字作为一个等级，共划分60个色度等级；按照色度等级对每一个水样进行标记，并按照色度等级将同一色度等级的水样进行归类处理，得到水样色度的数据库；
[0010] 5)搭建
卷积神经网络监测模型，建立水质监测数据库：水样色度等级的监测方法是采用卷积神经网络的方式训练，为了能够获得最优的预测效果，在本阶段设计多种结构的卷积神经网络分别进行预测，将所有采样点的处理后图像及其对应的水体色度等级作为训练样本数据进行输入，分别进行检测模型的搭建，并训练卷积神经网络参数；选择采用softmax方式进行预测输出，通过检测模型的不断
迭代，让水体色度等级预测结果与真实水体色度等级结果的误差减小，达到水样色度的有效监测；
[0011] 6)监测模型结果的评估与
可视化：根据步骤5)构建的多个检测模型，通过输入待测的处理后图像样本，以折线分布图的方式展示不同监测模型水体色度等级预测结果与真实水体色度等级结果的拟合情况，通过色度等级的卷积神经网络模型的误差分析评估检测各模型的有效性，并选择最为合适的模型
框架。
[0012] 所述的一种基于机器视觉的无人机水质色度监测方法，其特征在于步骤1)水样图像的采集过程中，
图像采集时的天气保持基本一致，且无人机的飞行高度相同。
[0013] 所述的一种基于机器视觉的无人机水质色度监测方法，其特征在于步骤2)对所有水样图像进行光照强度的归一化处理的过程为：
[0014] 首先以一张光照强度最为合适的水样图像样本作为模板图像，通过opencv的图像处理模
块，提取模板图像的各通道
像素点的RGB参数，并通过RGB参数计算模板图像的光照强度均值；
[0015] 将除模板图像之外的其他每一种水样图像均标记为目标图像，以同样方法计算目标图像的光照强度，并计算模板图像的光照强度均值与目标图像的光照强度的比例系数β，将目标图像的每个通道的每一个像素值乘上比例系数β，达到光照强度的归一化处理，使所有水样图像的光照强度均值均保持一致，从而避免由于拍摄过程当中光照强度的差异对色度监测效果的影响。
[0016] 所述的一种基于机器视觉的无人机水质色度监测方法，其特征在于进行归一化处理的具体过程为：
[0017] 所述模板图像的光照强度均值的计算公式如式(2)所示，
[0018]
[0019] Yo—模板图像的光照强度均值；
[0020] Rij—模板图像的红色通道i行j列像素块的值；
[0021] Gij—模板图像的绿色通道i行j列像素块的值；
[0022] Bij—模板图像的蓝色通道i行j列像素块的值；
[0023] 目标图像与模板图像的光照强度均值的比例系数β的计算公式如式(3)所示：
[0024]
[0025] β—水样图像的光照强度比例系数；
[0026] YP—目标图像的光照强度；
[0027] Bo—目标图像的蓝色通道光强归一化处理前的像素值；
[0028] Bn—目标图像的蓝色通道光强归一化处理后的像素值；
[0029] Go—目标图像的绿色通道光强归一化处理前的像素值；
[0030] Gn—目标图像的绿色通道光强归一化处理后的像素值；
[0031] Ro—目标图像的红色通道光强归一化处理前的像素值；
[0032] Rn—目标图像的红色通道光强归一化处理后的像素值；
[0033] 同时由于RGB类型的图像像素值取值范围为[0,255]，因此当公式(3)中R、G、B通道内像素值大于255时，均以255代替该像素值。
[0034] 所述的一种基于机器视觉的无人机水质色度监测方法，其特征在于步骤2)对所有水样图像进行光照强度的归一化处理的过程，也可以采用以下方式：使用RGB各通道的像素值偏移化的方法进行光照强度处理，首先以一张光照强度最为合适的水样图像样本作为标准图像，将除标准图像之外的其他每一种水样图像均标记为目标图像，计算目标图像与标准图像之间各通道像素的均值差，并根据计算的均值差结果，将目标图像的各通道像素均值进行偏移，以保证目标图像的像素均值与标准图像的像素均值一致，从而起到光照强度均一化的效果；计算公式如式(4)所示：
[0035]
[0036] Cij(aim)—光照强度归一化后目标图像C通道i行j列像素点的像素值；
[0037] Cij(ori)—标准图像C通道i行j列像素点的像素值；
[0038] Cij—光照强度归一化前目标图像C通道i行j列像素点的像素值；
[0039] C—C为R,G,B通道中的某一通道。
[0040] 所述的一种基于机器视觉的无人机水质色度监测方法，其特征在于步骤2)中，对水样图像的除水面区域以外的部分进行剔除的过程如下：
[0041] S1
边缘检测及像素二值化：首先将已经进行光照强度归一化的水样图像进行灰度化处理，即将水样图像的格式从RGB格式转换为GRAY格式，然后使用soble算子进行边缘检测，即分别利用一个3×3的X轴与Y轴卷积算子核与水样图像对应
位置的像素进行矩阵乘法，X轴卷积算子核为 Y轴卷积算子核为 通过卷积处理后，获得对应像素点的图像灰度值，通过以上方法遍历整个目标图像，获得目标图像的全图的水平与垂直边缘检测结果，最后将X轴与Y轴的卷积结果进行绝对值相减获得对应的边缘检测参数，详细过程如公式(5)所示：
[0042]
[0043] Gx—目标图像的进行水平边缘检测计算后的参数；
[0044] Gy—目标图像的进行垂直边缘检测计算后的参数；
[0045] gi,j—目标图像的i行j列像素点的像素值；
[0046] G—目标图像的边缘检测判定值；
[0047] 通过边缘检测参数计算获得的边缘检测判定值|G|，同时设置边缘检测
阈值为90，进行边缘处理：
[0048] |G|≤90：像素点设置为黑色
[0049] |G|＞90：像素点设置为白色；
[0050] 通过以上边缘检测的步骤处理后，水样图像将仅保留区域特征，即水样图像的水面区域由于
颜色变化导致边缘检测结果|G|不大被设置为黑色，其他干扰物区域由于边缘检测结果|G|过大而被设置为了白色；
[0051] S2目标图像的精确
定位：为了进一步的精确水域位置，并消除以上步骤S1中的误判区域，需要进一步进行图像区域的细节刻画，即对某些误判区域进行消除，细节刻画部分主要包括图像的
腐蚀处理过程，即以3×3的矩阵A作为结构元素，并以矩阵A中的2行2列处的数值作为矩阵原点，将结构元素A以矩阵原点作为中心
锚点遍历整个水样图像的每一个像素点；若在水样图像的全图过程当中，矩阵A中所有9个元素都被包含在目标图像当中，且矩阵A中对应为1的数值在目标图像位置也为1，则将目标图像中与结构元素原点对应的像素点设置为1，否则为0；腐蚀处理的公式如(6)所示:
[0052]
[0053] gi,j—水样图像i行j列像素点的像素值；
[0054] A—腐蚀结构元素矩阵；
[0055] []—进行“与”运算前选择的图像矩阵；
[0056] []new—进行“与”运算后图像同一位置矩阵；
[0057] —“与”运算符号
[0058] S3目标区域选取：通过以上的方法
锁定河道区域之后，通过
算法将除河道以外的图像使用cv2.fillPoly()函数全部用其他杂色
覆盖，避免其他杂色对后期水质监测结果的影响；同时，通过opencv中的findContours模块获取黑色河道的区域，截取不规则河道的矩形区域，并反馈矩形区域的四个端点坐标X1,X2,Y1,Y2，将矩形区域端点左边进行收缩，提高截取的精确度，详细的处理过程如公式(7)所示：
[0059]
[0060] Xmin—矩形区域端点左边经过收缩后的最小的X坐标数值；
[0061] Xmax—矩形区域端点左边经过收缩后的最大的X坐标数值；
[0062] Ymin—矩形区域端点左边经过收缩后的最小的Y坐标数值；
[0063] Ymax—矩形区域端点左边经过收缩后的最大的Y坐标数值；
[0064] 通过以上的步骤，可完成水样图像的目标区域的准确截取。
[0065] 所述的一种基于机器视觉的无人机水质色度监测方法，其特征在于步骤4)中，水体色度的化学监测方式为采用铂钴比色法进行检测。
[0066] 所述的一种基于机器视觉的无人机水质色度监测方法，其特征在于步骤5)中，选择残差卷积神经网络和VGG16分别进行检测模型的搭建。
[0067] 相对于
现有技术，本发明取得的有益效果是：
[0068] 1)本发明的方法是以无人机为数据搜集终端，利用无人机本身
视野开阔的特点进行优质的数据搜集工作，然后将搜集获得的数据进行前期的图像预处理工作，同时在监测水体区域选取不同的点作为采样点并进行色度检测，利用预处理后的图像和水质色度进行数据库搭建工作，最终结合卷积神经网络进行水质的监测工作。
[0069] 2)在传统监测方法的
基础上，将机器视觉与无人机技术相互结合，应用于河流湖泊的污染物监测。通过识别技术对水体的颜色、水生
植物进行分析，初步了解水体的富营养化程度，并对水体中的固态漂浮污染物进行监测，了解水体的污染程度。利用无人机技术与机器视觉技术可以快速地进行大范围水体进行初步监测，具有效率高，成本低的优点，同时可以为之后的化学水质检测进行初步的样本筛选和基本数据分析，加快检测的速度，避免不必要的资源浪费。
附图说明
[0070] 图1为本发明利用无人机在水质监测区域的水面进行拍摄采集水样图像的结构示意图；
[0071] 图2为本发明所述水质监测方法的流程示意图。
具体实施方式
[0072] 下面结合具体
实施例对本发明作进一步说明，但本发明的保护范围并不限于此。
[0073] 实施例1：
[0074] 本发明提供一种技术方案：一种新的水质色度监测方案，包括以下步骤：
[0075] 步骤一：利用无人机技术进行水样图像采集。
[0076] 步骤二：现场水样的搜集。
[0077] 步骤三：水样色度的化学监测及水样色度数据库搭建。
[0078] 步骤四：水样图像的光照强度归一化处理。
[0079] 步骤五：水样图像的边缘检测及目标区域筛选。
[0080] 步骤六：水样图像的强化。
[0081] 步骤七：搭建卷积神经网络监测模型，建立数据水质监测数据库。
[0082] 步骤八：监测模型结果的评估与可视化。本发明所述水质监测方法的流程示意图如图2所示。
[0083] 1.利用无人机技术进行水体图像采集：
[0084] 本监测方法的数据搜集主要包括图像搜集以及水样搜集两个部分，图像搜集在保证天气状况良好的情况下，通过无人机进行高空的水样采集工作。具体的采样高度设置为15米，无人机的摄像头垂直往下拍摄取样，尽可能避免水面杂质、反光对采样效果的影响。
一个水域拍摄三张照片，避免图像数据过少而导致监测效果不佳。具体的水体图像采集过程如图1所示。
[0085] 2.现场水样的搜集：
[0086] 在进行无人机水样图像搜集的同时在相同水域现场进行水样的采集，通过水体取样装置进行水样取样，并将采集获得的水样保存于500ml的取样瓶当中。每个水域在不同搜集点搜集三份，避免水体参数测试中误差的产生。
[0087] 3.水样色度的化学监测及水样色度数据库搭建：
[0088] 水样的色度化学监测主要采用铂钴比色法进行检测。将0.0437g重铬酸
钾、1.000g七水合
硫酸钴以及0.5mLAR级98％的浓硫酸溶于50mL超纯水中，之后用转移到500mL容量瓶中，用水稀释至标线，得到色度标准储备液。
[0089] 在一组50mL的比色管中，用移液管分别加入0，0.5，1.0，1.5，2.0，2.5，3.0，3.5，4.0，4.5，5.0，6.0及7.0mL色度标准储备液，并用水稀释至标线，混匀，得到标准溶液。配制标准溶液的色度分别为：0，5，10，15，20，25，30，35，40，45，50，60，70度。
[0090] 将装有待测水样的比色管管底部放在白色表面上，使得比色管与该白色表面应呈合适的
角度，使光线被反射自具塞比色管底部向上通过液柱。垂直向下观察液柱，找出与待测水样色度最接近的标准溶液，进行大致读数。(如待测水样的色度≥70度，用超纯水将待测水样适当稀释后，使待测水样的色度落入标准溶液的色度范围之中再行测定。并用下式计算色度，色度计算公式如公式(1)所示。将所有样本的测试结果进行保存，以作为模型训练指标。
[0091]
[0092] A0—待测水样的色度；
[0093] V1—待测水样稀释后的总体积；
[0094] V0—待测水样稀释前的体积；
[0095] A1—待测水样稀释后的色度的观察值。
[0096] 4.水样图像的光照强度归一化处理：
[0097] 由于在进行现场的拍摄取样过程当中，光线强度往往存在较大的差别，这对后期的神经网络训练存在很大的影响，为了避免光照强度的影响。首先以一张光照强度最为合适的水样图像样本作为模板图像，通过opencv的图像处理模块，提取模板图像的各通道像素点的RGB参数，并通过RGB参数计算模板图像的光照强度均值。计算公式如公式(2)所示。
[0098] 将除模板图像之外的其他每一种水样图像均标记为目标图像，以同样方法计算目标图像的光照强度，并计算模板图像的光照强度均值与目标图像的光照强度的比例系数β，将目标图像的每个通道的每一个像素值乘上比例系数β，达到光照强度的归一化处理，使所有水样图像的光照强度均值均保持一致，从而避免由于拍摄过程当中光照强度的差异对色度监测效果的影响。目标图像的光照强度公式如公式(3)所示。同时由于RGB类型的图像像素值取值范围为[0,255]，因此，当公式(3)中R、G、B通道内像素值大于255时，均以255代替该像素点。
[0099]
[0100] Yo——模板图像的光照强度均值；
[0101] Rij——模板图像的红色通道i行j列像素块的值；
[0102] Gij——模板图像的绿色通道i行j列像素块的值；
[0103] Bij——模板图像的蓝色通道i行j列像素块的值；
[0104]
[0105] β—水样图像的光照强度比例系数；
[0106] YP—目标图像的光照强度；
[0107] Bo—目标图像的蓝色通道光强归一化处理前的像素值；
[0108] Bn—目标图像的蓝色通道光强归一化处理后的像素值；
[0109] Go—目标图像的绿色通道光强归一化处理前的像素值；
[0110] Gn—目标图像的绿色通道光强归一化处理后的像素值；
[0111] Ro—目标图像的红色通道光强归一化处理前的像素值；
[0112] 除了以上调整YUV模式下的光照强度参数进行水样图像的光照强度归一化处理方式以外，还可以直接使用RGB各通道的像素值偏移化的方法进行光照强度处理，详细过程如公式(4)所示。该公式主要是提取图像当中RGB通道各像素点的均值。首先以一张光照强度最为合适的水样图像样本作为标准图像，将除标准图像之外的其他每一种水样图像均标记为目标图像，计算目标图像与标准图像之间各通道像素的均值差，并根据计算的均值差结果，将目标图像的各通道像素均值进行偏移，以保证目标图像的像素均值与标准图像的像素均值一致，从而起到光照强度均一化的效果。
[0113]
[0114] Cij(aim)——光照强度归一化后目标图像C通道i行j列像素点的像素值；
[0115] Cij(ori)——标准图片C通道i行j列像素点的像素值；
[0116] Cij——光照强度归一化前目标图像C通道i行j列像素点的像素值；
[0117] C——C为R,G,B通道中的某一通道。
[0118] 5.水样图像的边缘检测及目标区域筛选：
[0119] 1)边缘检测及像素二值化：在进行现场的水样图像的采样过程当中，往往会将周围除湖泊河流以外的物体拍摄入水样图像内，本方法通过图像处理工具当中的边缘检测方法将湖泊的轮廓进行勾选。首先将已经进行光照强度归一化的水样图像进行灰度化处理，即将水样图像的格式从RGB格式转换为GRAY格式，然后使用soble算子进行边缘检测，其主要方法是分别利用一个3×3的X轴与Y轴卷积算子核与水样图像对应位置的像素进行矩阵乘法，X轴卷积算子核为 Y轴卷积算子核为 通过卷积处理后，获得对应像素点的图像灰度值，通过以上方法遍历整个目标图像，获得目标图像的全图的水平与垂直边缘检测结果，最后将X轴与Y轴的卷积结果进行绝对值相减获得对应的边缘检测参数，详细过程如公式(5)所示：
[0120]
[0121] Gx—目标图像的进行水平边缘检测计算后的参数；
[0122] Gy—目标图像的进行垂直边缘检测计算后的参数；
[0123] gi,j—目标图像的i行j列像素点的像素值；
[0124] G—目标图像的边缘检测判定值；
[0125] 通过边缘检测参数计算获得的边缘检测判定值|G|，同时设置边缘检测阈值为90，进行边缘处理：
[0126] |G|≤90：像素点设置为黑色
[0127] |G|＞90：像素点设置为白色。
[0128] 通过以上步骤的处理，水样图像仅保留区域特征，即水样图像的水面区域由于颜色变化导致边缘检测结果|G|不大被设置为黑色，其他干扰物区域由于边缘检测结果|G|过大而被设置为了白色。
[0129] 2)目标图像的精确定位：为了进一步的精确水域位置，并消除以上步骤中的误判区域。需要进一步进行照片区域的细节刻画，即对某些误判区域进行消除。细节刻画部分主要包括图像的腐蚀处理。
[0130] 腐蚀处理的公式如(6)所示:腐蚀处理过程主要是以3×3的矩阵A作为结构元素。并以矩阵A中的2行2列处的数值作为矩阵原点，将结构元素A以矩阵原点作为中心锚点遍历整个水样图像的每一个像素点；若在遍历水样图像的全图过程当中，矩阵A中所有9个元素都被包含在目标图像当中，且矩阵A中对应为1的数值在目标图像位置也为1，则将目标图像中与结构元素原点对应的像素点设置为1，否则为0(由于目标图像在之前的边缘检测过程当中已经转变为黑白像素。设黑色对应数值为0，白色对应数值为1。)通过以上的腐蚀处理后，可以避免其他干扰因素对于边缘检测的影响，同时精确河道区域的位置。
[0131]
[0132] A—腐蚀结构元素矩阵；
[0133] gi,j—水样图像i行j列像素点的像素值；
[0134] []—进行“与”运算前选择的图像矩阵；
[0135] []new—进行“与”运算后图像同一位置矩阵；
[0136] —“与”运算符号；
[0137] 3)目标区域选取：通过以上的方法锁定河道区域之后。通过算法将除河道以外的图像使用cv2.fillPoly()函数全部用其他杂色覆盖，避免其他杂色对后期水质监测结果的影响。同时，通过opencv中的findContours模块获取黑色河道的区域，尽可能截取不规则河道的矩形区域，并反馈矩形区域的四个端点坐标X1,X2,Y1,Y2。由于河道区域往往为不规则形状，为了避免矩形区域截取到其他无关信息，将矩形端点左边进行收缩，以提高截取的精确度。详细的处理过程如公式(7)所示。通过以上的步骤，可以完成水样图像的准确截取。
[0138]
[0139] Xmin——矩形区域端点左边经过收缩后的最小的X坐标数值；
[0140] Xmax——矩形区域端点左边经过收缩后的最大的X坐标数值；
[0141] Ymin——矩形区域端点左边经过收缩后的最小的Y坐标数值；
[0142] Ymax——矩形区域端点左边经过收缩后的最大的Y坐标数值；
[0143] 6.水样图像的强化：
[0144] 图像强化部分主要是对获取的所有水样图像进行翻转、旋转以及随机截取等操作，扩充水样图像样本的数量，增加样本数量，为之后模型的训练提供大量数据，从而提高模型的准确程度。
[0145] 7.搭建卷积神经网络监测模型，建立数据水质监测数据库：
[0146] 由于该模型对时效性要求较高，在进行模型训练时本方法采用googlenet神经网络作为基本的网络框架进行模型训练。
[0147] 为了能够获得最优的预测效果，在本阶段设计多种结构的卷积神经网络(即残差卷积神经网络、VGG16等多种网络模型)分别进行预测，将所有采样点的处理后图像及其对应的水体色度等级作为训练样本数据进行输入，分别进行检测模型的搭建，并训练卷积神经网络参数。也就是说，在进行模型的参数训练过程中，将获取的水样图像样本数据作为模型的x轴输入进入卷积神经网络当中进行训练。而化学监测得到的水样色度等级数据则以模型的y轴作为输出的真实结果输入卷积神经网络。由于化学监测得到的水样色度等级数据取值范围为[1,60]的整数。因此，选择采用softmax方式进行预测输出。通过模型的不断迭代，让水体色度等级预测结果与真实水体色度等级结果的误差尽可能减小，达到预期的水质监测结果。
[0148] 8.监测模型结果的评估与可视化：
[0149] 通过以上的模型建立与数据训练获得有关水质色度的监测模型，本训练模型的最终训练结果可能会由于卷积神经网络选择的不同而导致准确率的不同，在进行卷积神经网络的搭建过程中可以选择包括残差卷积神经网络、VGG16等多种网络模型，通过输入待测的处理后图像样本，并以折线图的形式展示损失函数(即以折线图的形式分布展示水体色度等级的实际结果和水体色度等级的预测结果的拟合情况)，通过色度等级的卷积神经网络模型的误差分析评估检测各模型的有效性，通过比较选择最为合适的模型框架。
[0150] 本
说明书所述的内容仅仅是对发明构思实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式。
