技术领域
[0001] 本
发明涉及渔场养殖领域，更具体地，涉及一种渔场围网破损检测方法及系统。
背景技术
[0002] 大型网围养殖渔业是在湖泊养蟹、养鱼的
基础上发展起来的，它利用了湖泊大
水体优越的生态环境，具有成本低、养殖方式灵活的优点。大型网围养殖渔业解决了
捕鱼业与养殖业之间的矛盾，使大规模养殖渔业发展到一个新阶段，还使其经济效益和生态效益紧密结合。如今，大型网围养殖渔业已经进一步向海域扩展，进行更大规模的网围养殖。但是，若发生围网破损，不及时的采取措施会造成大范围的养殖
生物逃逸，为养殖场带来巨大的经济损失。
现有技术中，通常采用人工观察的方式获得渔场围网的破损情况，但这种方式需要耗费大量的人
力物力，且检测结果受限于人的精力而不准确。
发明内容
[0003] 为了解决上述问题，本发明
实施例提供一种克服上述问题或者至少部分地解决上述问题的渔场围网破损检测方法及系统。
[0004] 根据本发明实施例的第一方面，提供一种渔场围网破损检测方法，该方法包括：获取待检测的渔场围网的完整图像，并对完整图像进行背景建模，获得背景图像；将背景图像输入至目标检测模型，获得目标检测模型输出的渔场围网的破损检测结果；其中，目标检测模型是基于样本背景图像及预先确定的破损结果标注进行训练后获得的。
[0005] 根据本发明实施例第二方面，提供了一种渔场围网破损检测系统，该系统包括：上位机；上位机包括：获取模
块和检测模块；获取模块用于获取待检测的渔场围网的完整图像，并对完整图像进行背景建模，获得背景图像；检测模块用于将背景图像输入至目标检测模型，获得目标检测模型输出的渔场围网的破损检测结果；其中，目标检测模型是基于样本背景图像及预先确定的破损结果标注进行训练后获得的。
[0006] 根据本发明实施例的第三方面，提供了一种
电子设备，包括
存储器、处理器及存储在存储器上并可在处理器上运行的
计算机程序，处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的渔场围网破损检测方法。
[0007] 本发明实施例提供的渔场围网破损检测方法及系统，通过获取渔场围网的背景图像，并将背景图像输入至目标检测模型，获得目标检测模型输出的渔场围网的破损检测结果，能够对渔场围网的破损情况进行自动的分析处理；相比于现有技术中的人工观察的方式，减少了人力物力的消耗，提高了检测效率和检测
精度。
附图说明
[0008] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
[0009] 图1为本发明实施例提供的渔场围网破损检测方法的流程示意图；
[0010] 图2为本发明实施例提供的渔场围网破损检测系统的结构示意图；
[0011] 图3为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
[0012] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0013] 本发明实施例提供一种渔场围网破损检测方法，参见图1，该方法包括但不限于如下步骤：
[0014] 步骤100、获取待检测的渔场围网的完整图像，并对完整图像进行背景建模，获得背景图像。
[0015] 其中，渔场围网是由多个区域的渔网合围而成，而渔场围网的完整图像包括了各区域渔网的图像。由于在获取完整图像的过程中，除了拍摄到了渔网，还可能拍摄到了水下的鱼等其他干扰物，因此，可进一步将完整图像分为前景图像和背景图像。其中，前景是图像或视频场景中可见性、显著性更强的部分。在渔场围网的完整图像中，前景图像可包括运动状态的鱼，而背景图像包括处于相对静止状态的围网。因此，通过对完整图像进行背景建模，获取背景图像，能够排除掉完整图像中除渔网外的其他的动态干扰物，提高了检测结果的准确性。
[0016] 步骤200、将背景图像输入至目标检测模型，获得目标检测模型输出的渔场围网的破损检测结果；其中，目标检测模型是基于样本背景图像及预先确定的破损结果标注进行训练后获得的。
[0017] 具体地，在步骤100中获得了背景图像之后，可采用目标检测模型对背景图像进行检测，获得破损检测结果。其中，破损检测结果可以指示渔场围网中是否存在破损，以及在存在破损时破损的
位置信息。
[0018] 其中，在步骤200前可预先训练获得目标检测模型。在训练过程中，首先可获得一定数量的训练样本。具体地，首先获取一定数量的渔场围网的样本背景图像，然后可采用标注工具对样本背景图像进行标注，获得每个样本背景图像对应的破损结果标注。样本背景图像及对应的破损结果标注组成训练样本。由于目标检测模型要识别的目标是围网破损，简单来说就是一个有关围网是否破损的二分类问题加上一个破损位置回归问题，因此，可以采用基于
深度学习的目标检测方法，本发明实施例以RCNN为例进行说明，但本发明实施例的保护范围不限于此。在创建一个深度学习的模型后，可将训练样本输入至该模型中以进行模型训练，训练至模型收敛后，即获得了训练完成的目标检测模型。
[0019] 本发明实施例提供的渔场围网破损检测方法，通过获取渔场围网的背景图像，并将背景图像输入至目标检测模型，获得目标检测模型输出的渔场围网的破损检测结果，能够对渔场围网的破损情况进行自动的分析处理；相比于现有技术中的人工观察的方式，减少了人力物力的消耗，提高了检测效率和检测精度。
[0020] 基于上述实施例的内容，作为一种可选实施例，提供一种获取待检测的渔场围网的完整图像的方法，包括但不限于如下步骤：
[0021] 步骤101、获取渔场围网的各区域分别对应的原始图像。
[0022] 具体地，可利用平移拍摄的模式，通过水下
机器人采集到四面围网各个区域的原始图像。并且，由于渔场有四面围网，因此，可以利用四个水下机器人分别对不同区域的围网面进行检测。
[0023] 步骤102、将多张原始图像进行图像拼接，获得完整图像。换言之，将采集到的渔场四面围网各区域的原始图像进行图像拼接，以获取到渔场四面围网的完整图像。
[0024] 步骤103、对完整图像进行二值化处理、去噪处理和图像增强处理。换言之，对渔场围网的完整图像进行预处理，预处理包括：二值化、去噪、增强等操作。上述处理能够使完整图像具有较好的显示效果，从而使得检测效果更加准确。
[0025] 基于上述实施例的内容，作为一种可选实施例，提供一种将多张原始图像进行图像拼接，获得完整图像的方法，包括但不限于如下步骤：
[0026] 步骤1021、分别对每张原始图像进行噪声抑制处理和边缘提取处理。
[0027] 具体地，本步骤为图像的预处理操作，是对各区域的原始图像进行一些噪声抑制、边缘提取等数字
图像处理的基础操作。从而对由于光学成像系统或电子扫描系统的限制而产生的畸变进行校正。
[0028] 步骤1022、选择多张原始图像中的一张作为参考图像，将多张原始图像中除参考图像外的其他原始图像作为搜索图像；对于每张搜索图像，将参考图像与搜索图像进行配准，获得搜索图像与参考图像之间的坐标变换矩阵；基于坐标变换矩阵，将搜索图像和参考图像的坐标变换至同一
坐标系下。即，本步骤的目的是对原始图像进行配准。
[0029] 步骤1023、在同一坐标系下将参考图像和搜索图像进行拼接，对拼接后获得的图像进行图像融合处理，获得完整图像。
[0030] 具体地，本步骤的目的是进行图像融合。在步骤1022中的参考图像和搜索图像转换到同一坐标系下后，即可对图像进行拼接，形成一张完整的图像。但是，拼接图的交界处可能会由于光照色泽等原因出现拼接不自然的状况，因此可以利用或改进MATLAB提供的工具箱
算法对拼接后获得的图像进行融合，得到渔场四面围网的完整图像。从而可以通过图像融合使拼接后的图像更加自然，提高检测的准确性。
[0031] 基于上述实施例的内容，作为一种可选实施例，提供一种将参考图像与搜索图像进行配准，获得搜索图像与参考图像之间的坐标变换矩阵的方法，包括但不限于如下步骤：
[0032] 在参考图像中选择一个图像子块作为配准模板，将配准模板沿设定路径在搜索图像上移动；在移动过程中，配准模板每移动到一个位置，将配准模板与位置对应的搜索图像中的图像子块进行比较；根据不同位置分别对应的比较结果获得配准位置，并根据配准位置获取搜索图像与参考图像之间的坐标变换矩阵。
[0033] 具体地，首先取多张原始图像中一幅原始图像作为配准的基准，即参考图像，下一幅图像为搜索图像。在参考图像上选取以某一目标点为中心的图像子块，将该图像子块作为
图像配准的配准模板。然后让配准模板在搜索图像上有秩序地移动(即沿设定路径在搜索图像上移动)，每移到一个位置，把配准模板与搜索图像中的对应部分(即该位置对应的搜索图像中的图像子块)进行相关比较，直到查找到配准位置为止。得到了待拼接图的匹配点集后，可求得坐标变换矩阵，然后将待拼接图像(即搜索图像和参考图像)转换为同一坐标系下，完成图像配准。
[0034] 基于上述实施例的内容，作为一种可选实施例，提供一种对完整图像进行背景建模，获得背景图像的方法，包括但不限于如下步骤：
[0035] 步骤104、分别对完整图像中的每个
像素建立混合高斯模型，并对混合高斯模型的参数进行更新。本步骤中，可进一步分为如下两个步骤：
[0036] 步骤1041、首先对完整图像上的各个像素建立混合高斯模型，即用多个高斯模型作为一个像素位置的模型，其中在t时刻x,y处像素模型的定义为：
[0037] P(p)＝{[wi(x,y,t),ui(x,y,t),σi(x,y,t)2]}，i＝1,2,......,K；
[0038] 式中，K表示混合高斯模型中包含单模型的个数，wi(x,y,t)表示每个模型的权重，ui(x,y,t)表示每个模型的均值，σi(x,y,t)表示每个模型的方差，且权重满足：
[0039]
[0040] 权值、均值和方差这三个参数确定一个单模型。在建立了混合高斯模型后，可对混合高斯模型参数进行初始化。
[0041] 步骤1042、本步骤是对混合高斯模型的参数进行更新以及对完整图像进行前景检测。
[0042] 首先新读入另外一张对应于不同时刻的完整图像。如果新读入的完整图像在(x,y)处的像素值对于i＝1,2,......,K满足：
[0043] I(x,y,t)-ui(x,y,t)≤λ·σi(x,y,t)；
[0044] 其中，I(x,y,t)表示视频
图像序列中的第t张图像(x,y)位置处的像素值，λ为一个可调节的常数，上述不等式表示的完整含义是：若新的图片中相应位置的像素值与对应模型中的像素的均值的距离小于标准差的λ倍，即存在与新像素匹配的单模型，则判断该点为背景，并进入步骤S1；否则，不存在与新像素匹配的模型，判断该点为前景，并进入S2。
[0045] S1：修正与新像素匹配的单模型的权值，权值增量为dw＝α·(1-wi(x,y,t-1))，新的权值表示如下：
[0046] wi＝wi(x,y,t-1)+dw＝wi(x,y,t-1)+α·(1-wi(x,y,t-1))
[0047] 修正与新像素匹配的单模型的均值和方差，公式如下：
[0048] u(x,y,t)＝(1-α)×u(x,y,t-1)+α×u(x,y,t)
[0049] σ2(x,y,t)＝(1-α)×σ2(x,y,t-1)+α×[I(x,y,t)-u(x,y,t)]2
[0050]
[0051] S2：若当前像素与其高斯模型不匹配，则不更新高斯分量的均值与方差，此时用初始的均值和协方差初始化该像素作为新的高斯分量，替换最后一个高斯分量，并将所有分量的权值归一化。归一化公式如下：
[0052]
[0053] 步骤105、对更新后的多个混合高斯模型的重要性进行排序，若排序中的前设定数量的混合高斯模型的权重满足设定条件，则将前设定数量的混合高斯模型作为背景图像。
[0054] 具体地，本步骤的目的是对多个高斯混合模型进行排序和删减。具体以wi(x,y,t)/σii(x,y,t)作为各个高斯模型重要性排序依据，若前单N个模型的权重满足：
[0055]
[0056] 则仅用这N个单高斯模型作为背景模型(即背景图像)，删除其他模型。
[0057] 基于上述实施例的内容，作为一种可选实施例，目标检测模型包括
卷积神经网络和SVM分类模型；破损检测结果为带有目标检测框的背景图像副本；
[0058] 相应地，提供一种将背景图像输入至目标检测模型，获得目标检测模型输出的破损检测结果的方法，包括但不限于如下步骤：
[0059] 步骤201、提取背景图像中的多个候选区域。
[0060] 在本步骤中，输入背景图像后，可利用selective search算法从下到上的在背景图像中提取各候选区域。
[0061] 步骤202、对于每个候选区域，将候选区域输入至卷积神经网络，获得卷积神经网络输出的候选区域的特征信息；将特征信息输入至分类模型中，获得分类模型输出的识别结果；识别结果用于指示候选区域内是否存在破损。
[0062] 具体地，在输入卷积神经网络之前，可将每个候选区域缩放至统一的尺寸(例如227×227)。然后分别将每个候选区域输入至CNN卷积神经网络中。卷积神经网络可提取每个候选区域的特征信息，之后对每个候选区域的特征信息输入到分类模型(例如SVM分类模型)中，分类模型可判断该候选区域内是否存在破损，并输出对应的识别结果。
[0063] 步骤203、根据每个候选区域分别对应的识别结果，输出带有目标检测框的背景图像副本；目标检测框位于背景图像副本中的目标候选区域，目标候选区域的识别结果为存在破损。
[0064] 具体地，可在候选区域中筛选出识别结果为存在破损的目标候选区域。然后在背景图像副本中该目标候选区域的位置处设置一个目标检测框，从而通过目标检测框标识出存在破损的位置。
[0065] 另外，由于最终的目标检测框的位置不可能与人工标注的位置完全匹配，因此还可对目标检测框在背景图像副本中的位置进行精确修正。本发明实施例可使用回归器修正目标检测框的位置，具体可通过如下
定位精度的评价公式：
[0066] IOU＝(DetectionResult∩GroundTruth)/(DetectionResult∪GroundTruth)。
[0067] 基于上述实施例的内容，作为一种可选实施例，输出带有目标检测框的背景图像副本之后，还包括：
[0068] 在背景图像副本中建立坐标系，获取目标检测框的坐标；根据目标检测框的坐标和渔场围网的尺寸信息，获取渔场围网的破损区域的位置信息。
[0069] 其中，可通过如下方式建立坐标系：以背景图像的左上
角为坐标原点，右上角为x轴正方向，左下角为y轴正方向构建二维坐标系。然后将检测到的破损目标(xi,yi)(即目标检测框的坐标)映射到二维坐标系中，根据单面围网待检测图像的长宽和单面围网的实际长宽之间的比例关系，可以推断出实际破损的具体位置。
[0070] 综上，本发明实施例提供的渔场围网破损检测方法，通过获取完整的四面围网图像数据，采用图像处理技术对围网破损情况进行自动的分析处理，可以自动提取围网破损处的纹理、形状等，无需人工观察描述便可以获得围网是否破损的信息，还可以计算出围网破损的较精确位置，避免了人为进行破损定位所耗费的大量人力、财力，更防止了养殖生物大规模逃逸所造成的巨额损失。
[0071] 基于上述实施例的内容，本发明实施例提供了一种渔场围网破损检测系统，该渔场围网破损检测系统用于执行上述方法实施例中的渔场围网破损检测方法。参见图2，该系统包括：上位机301；上位机301包括：获取模块和检测模块；获取模块用于获取待检测的渔场围网的完整图像，并对完整图像进行背景建模，获得背景图像；检测模块用于将背景图像输入至目标检测模型，获得目标检测模型输出的渔场围网的破损检测结果；其中，目标检测模型是基于样本背景图像及预先确定的破损结果标注进行训练后获得的。
[0072] 具体地，由于获取模块在获取完整图像的过程中，除了拍摄到了渔网，还可能拍摄到了水下的鱼等其他干扰物，因此，可进一步将完整图像分为前景图像和背景图像。因此，通过获取模块对完整图像进行背景建模，获取背景图像，能够排除掉完整图像中除渔网外的其他的动态干扰物，提高了检测结果的准确性。检测模块可采用目标检测模型对背景图像进行检测，获得破损检测结果。其中，破损检测结果可以指示渔场围网中是否存在破损，以及在存在破损时破损的位置信息。其中，检测模块可预先训练获得目标检测模型。
[0073] 本发明实施例提供的渔场围网破损检测系统，通过获取渔场围网的背景图像，并将背景图像输入至目标检测模型，获得目标检测模型输出的渔场围网的破损检测结果，能够对渔场围网的破损情况进行自动的分析处理；相比于现有技术中的人工观察的方式，减少了人力物力的消耗，提高了检测效率和检测精度。
[0074] 基于上述实施例的内容，作为一种可选实施例，渔场围网破损检测系统还包括：水下机器人和下位机302；上位机301和下位机302组成VDSL网络；水下机器人用于获取渔场围网的各区域分别对应的原始图像；下位机302用于将原始图像发送至上位机301，以及控制水下机器人中的各执行模块的运动；执行模块包括
推进器、水下灯、摄像机和电源阵列模块中的至少一个；上位机301还包括拼接模块，拼接模块用于将多张原始图像进行图像拼接，获得完整图像；以及对完整图像进行二值化处理、去噪处理和图像增强处理。
[0075] 具体地，渔场围网破损检测系统采用上、下位机302的分层控制系统。图2示出了该系统的完整工作。渔场围网破损检测系统主要包括：电源箱、上位机301和水下机器人的核心——下位机302。其中上位机301的作用为：用于显示水下机器人的各种状态参数和采集到的视频、图像数据；用于输入控制指令，实现水下机器人的运动控制；用于对下位机302传输的图像数据(即原始图像)进行处理分析，及时获取到围网的破损信息。下位机302负责推动水下机器人各执行机模块的运动，其中各执行模块可能包括：推进器、水下灯、摄像机、电源阵列模块等。上位机301和下位机302间组成VDSL网络，进行远程数据传输。
[0076] 本发明实施例提供了一种电子设备，如图3所示，该设备包括：处理器(processor)501、通信
接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，
通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503上并可在处理器501上运行的计算机程序，以执行上述各实施例提供的渔场围网破损检测方法，例如包括：获取待检测的渔场围网的完整图像，并对完整图像进行背景建模，获得背景图像；将背景图像输入至目标检测模型，获得目标检测模型输出的渔场围网的破损检测结果；其中，目标检测模型是基于样本背景图像及预先确定的破损结果标注进行训练后获得的。
[0077] 此外，上述的存储器503中的逻辑指令可以通过
软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，
服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动
硬盘、
只读存储器(ROM，Read-Only Memory)、
随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0078] 以上所描述的电子设备等实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0079] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用
硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分方法。
[0080] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行
修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
