一种基于语义轮廓信息的图像分割方法、设备和存储介质
阅读：886发布：2020-05-16
专利汇可以提供一种基于语义轮廓信息的图像分割方法、设备和存储介质专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于语义轮廓信息的 图像分割 方法、设备和存储介质。该方法包括：获取待分割图像的语义轮廓图像；利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象的分割图像。本发明引入待分割图像的语义轮廓图像，将语义轮廓图像作为先验知识，对待分割图像进行目标对象的分割，本发明的分割 精度 高，鲁棒性强，在具有遮挡、背景复杂、干扰物较多等情况下，效果突出，尤其在复杂的安检图像中，取得了很好的效果，实现了高精度强鲁棒性的目标物检测分割。，下面是一种基于语义轮廓信息的图像分割方法、设备和存储介质专利的具体信息内容。
1.一种基于语义轮廓信息的图像分割方法，其特征在于，包括：
获取待分割图像的语义轮廓图像；
利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象的分割图像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象对应的边界框信息和/或目标对象所属类别的信息。
3.根据权利要求1所述的方法，其特征在于，
所述获取待分割图像的语义轮廓图像，包括：
将待分割图像输入轮廓检测器，获取所述待分割图像的语义轮廓图像；
所述利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象的分割图像，包括：
将所述待分割图像和所述语义轮廓图像合并输入到用于分割目标对象的神经网络，使所述神经网络利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象的分割图像。
4.根据权利要求3所述的方法，其特征在于，将所述待分割图像和所述语义轮廓图像合并输入到用于分割目标对象的神经网络，包括：
将所述待分割图像和所述语义轮廓图像以通道并联的方式输入到用于分割目标对象的神经网络。
5.根据权利要求3所述的方法，其特征在于，在所述将待分割图像输入轮廓检测器之前，还包括：
利用所述轮廓检测器对应的第一训练集，对所述轮廓检测器进行训练；
利用所述神经网络对应的第二训练集，对所述神经网络进行训练；
所述第一训练集包括：第一训练图像及其对应的监督图像；
所述第二训练集包括：第二训练图像及其对应的边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像。
6.根据权利要求5所述的方法，其特征在于，
所述第二训练图像是将第一训练图像和所述第一训练图像对应的语义轮廓图像合并后得到的。
7.根据权利要求5所述的方法，其特征在于，利用所述神经网络对应的第二训练集，对所述神经网络进行训练，包括：
在每次训练时，将一张第二训练图像输入所述神经网络，获得目标对象对应的边界框预测信息、类别预测信息、分割预测图像和轮廓预测图像；
利用所述第二训练图像对应的边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像，分别对应确定所述边界框预测信息、所述类别预测信息、所述分割预测图像和所述轮廓预测图像的损失程度；
如果在连续多次的训练中，所述边界框预测信息、所述类别预测信息、所述分割预测图像和所述轮廓预测图像的损失程度都符合预设的收敛条件，则判定所述神经网络已经收敛，结束对所述神经网络的训练。
8.根据权利要求7所述的方法，其特征在于，在结束对所述神经网络的训练之后，还包括：
消除所述神经网络中用于输出轮廓预测图像的分支。
9.根据权利要求5所述的方法，其特征在于，在利用所述神经网络对应的第二训练集，对所述神经网络进行训练之前，还包括：
在第二训练图像中标注出目标对象区域；
在所述目标对象区域中，识别边界像素点；
对所述边界像素点形成的边界线进行高斯滤波，得到目标对象的轮廓分布热度图，将所述轮廓分布热度图作为所述目标对象的轮廓监督图像。
10.根据权利要求3～9中任一项所述的方法，其特征在于，
所述轮廓检测器为HED轮廓检测器；和/或，所述神经网络为Mask RCNN神经网络。
11.一种基于语义轮廓信息的图像分割设备，其特征在于，所述基于语义轮廓信息的图像分割设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1～10中任一项所述的基于语义轮廓信息的图像分割方法的步骤。
12.一种存储介质，其特征在于，所述存储介质上存储有基于语义轮廓信息的图像分割程序，所述基于语义轮廓信息的图像分割程序被处理器执行时实现如权利要求1～10中任一项所述的基于语义轮廓信息的图像分割方法的步骤。
一种基于语义轮廓信息的图像分割方法、设备和存储介质
技术领域
背景技术
[0002] 目前，主流的目标检测和分割方法通常是利用神经网络对二维的RGB(Red、Green、Blue，红绿蓝)图像进行处理，在RGB图像中分割出目标对象。例如：基于Mask RCNN(Mask Regions with CNN)神经网络，对图像进行端到端的目标检测与分割。虽然，这种方法在实际应用中取得了比较好的效果，但是依然存在以下问题：
[0003] RGB图像提供的信息量与人眼获取的信息量相比非常有限，而且神经网络对RGB图像的检测和分割的结果容易受到光照、背景、遮挡物等因素的影响，对目标对象的边缘分割不够精细，尤其在光照较暗或者背景和前景颜色类似的情况下，分割图像上会出现大量的干扰噪声。例如：在安检领域中，由于安检图像的背景复杂，待检测物体与背景颜色相似，上述问题的表现会更加明显，最终将导致图像分割不准确，引发安全问题。
发明内容
[0004] 本发明的主要目的在于提供一种基于语义轮廓信息的图像分割方法、设备和存储介质，以解决现有的图像分割方法容易出现噪声干扰，难以取得准确的分割结果的问题。
[0005] 针对上述技术问题，本发明是通过以下技术方案来解决的：
[0006] 本发明提供了一种基于语义轮廓信息的图像分割方法，包括：获取待分割图像的语义轮廓图像；利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象的分割图像。
[0007] 其中，所述方法还包括：利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象对应的边界框信息和/或目标对象所属类别的信息。
[0008] 其中，所述获取待分割图像的语义轮廓图像，包括：将待分割图像输入轮廓检测器，获取所述待分割图像的语义轮廓图像；所述利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象的分割图像，包括：将所述待分割图像和所述语义轮廓图像合并输入到用于分割目标对象的神经网络，使所述神经网络利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象的分割图像。
[0009] 其中，将所述待分割图像和所述语义轮廓图像合并输入到用于分割目标对象的神经网络，包括：将所述待分割图像和所述语义轮廓图像以通道并联的方式输入到用于分割目标对象的神经网络。
[0010] 其中，在所述将待分割图像输入轮廓检测器之前，还包括：利用所述轮廓检测器对应的第一训练集，对所述轮廓检测器进行训练；利用所述神经网络对应的第二训练集，对所述神经网络进行训练；所述第一训练集包括：第一训练图像及其对应的监督图像；所述第二训练集包括：第二训练图像及其对应的边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像。
[0011] 其中，所述第二训练图像是将第一训练图像和所述第一训练图像对应的语义轮廓图像合并后得到的。
[0012] 其中，利用所述神经网络对应的第二训练集，对所述神经网络进行训练，包括：在每次训练时，将一张第二训练图像输入所述神经网络，获得目标对象对应的边界框预测信息、类别预测信息、分割预测图像和轮廓预测图像；利用所述第二训练图像对应的边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像，分别对应确定所述边界框预测信息、所述类别预测信息、所述分割预测图像和所述轮廓预测图像的损失程度；如果在连续多次的训练中，所述边界框预测信息、所述类别预测信息、所述分割预测图像和所述轮廓预测图像的损失程度都符合预设的收敛条件，则判定所述神经网络已经收敛，结束对所述神经网络的训练。
[0013] 其中，在结束对所述神经网络的训练之后，还包括：消除所述神经网络中用于输出轮廓预测图像的分支。
[0014] 其中，在利用所述神经网络对应的第二训练集，对所述神经网络进行训练之前，还包括：在第二训练图像中标注出目标对象区域；在所述目标对象区域中，识别边界像素点；对所述边界像素点形成的边界线进行高斯滤波，得到目标对象的轮廓分布热度图，将所述轮廓分布热度图作为所述目标对象的轮廓监督图像。
[0015] 其中，所述轮廓检测器为HED轮廓检测器；和/或，所述神经网络为MaskRCNN神经网络。
[0016] 本发明还提供了一种基于语义轮廓信息的图像分割设备，所述基于语义轮廓信息的图像分割设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的基于语义轮廓信息的图像分割方法的步骤。
[0017] 本发明还提供了一种存储介质，所述存储介质上存储有基于语义轮廓信息的图像分割程序，所述基于语义轮廓信息的图像分割程序被处理器执行时实现上述的基于语义轮廓信息的图像分割方法的步骤。
[0018] 本发明有益效果如下：
[0019] 本发明引入待分割图像的语义轮廓图像，将语义轮廓图像作为先验知识，对待分割图像进行目标对象的分割，本发明的分割精度高，鲁棒性强，在具有遮挡、背景复杂、干扰物较多等情况下，效果突出，尤其在复杂图像中，取得了很好的效果，实现了高精度强鲁棒性的目标物检测分割。附图说明
[0021] 图1是根据本发明第一实施例的基于语义轮廓信息的图像分割方法的流程图；
[0022] 图2是根据本发明第一实施例的语义轮廓图像提取示意图；
[0023] 图3是根据本发明第一实施例的语义轮廓图像提取示意图；
[0024] 图4是根据本发明第一实施例的语义轮廓图像提取示意图；
[0025] 图5是根据本发明第一实施例的语义轮廓图像提取示意图；
[0026] 图6是根据本发明第二实施例的神经网络的训练步骤流程图；
[0027] 图7是根据本发明第二实施例的轮廓监督图像的生成示意图；
[0028] 图8是根据本发明第二实施例的轮廓监督图像的生成示意图；
[0029] 图9是根据本发明第二实施例的轮廓监督图像的生成示意图；
[0030] 图10是根据本发明第二实施例的轮廓监督图像的生成示意图；
[0031] 图11是根据本发明第二实施例的基于语义轮廓信息的图像分割网络的结构图；
[0032] 图12是根据本发明第三实施例的基于语义轮廓信息的图像分割设备的结构图。
具体实施方式
[0033] 为使本发明的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本发明作进一步地详细说明。
[0034] 实施例一
[0035] 本实施例提供一种基于语义轮廓信息的图像分割方法。如图1所示，为根据本发明第一实施例的基于语义轮廓信息的图像分割方法的流程图。
[0036] 步骤S110，获取待分割图像的语义轮廓图像。
[0037] 待分割图像的类型，包括但不限于：RGB图像和RGB-D(Red、Green、Blue-Depth，红绿蓝-深度)图像。进一步地，如果待分割图像为RGB-D图像，则仅使用其中的R、G、B这3个通道的数据。
[0038] 可以将待分割图像输入轮廓检测器，获取待分割图像的语义轮廓图像。
[0039] 轮廓检测器，用于提取待分割图像中的轮廓，进而获得语义轮廓图像。该轮廓检测器可以是HED(Holistically-Nested Edge Detection，整体嵌套边缘检测器)轮廓检测器。HED轮廓检测器是一个端到端的映射神经网络，输入是一张图像，输出也是一张图像。如图2～图5，为根据本发明第一实施例的语义轮廓图像提取示意图。在图2～图5的每个附图中，左侧图像为RGB图像，右侧图像为从该RGB图像中提取出的语义轮廓图像。
[0040] 在将待分割图像输入轮廓检测器之前，还包括：利用轮廓检测器对应的第一训练集，对该轮廓检测器进行训练。第一训练集包括：第一训练图像及其对应的监督图像。监督图像为：已经标注出目标对象的第一训练图像。
[0041] 具体的，第一训练集可以采用BSDS500数据集。在每次训练时，获取一组对应的监督图像和第一训练图像，将监督图像设置在轮廓检测器的输出端，将该监督图像对应的第一训练图像输入轮廓检测器，将轮廓检测器输出的语义轮廓图像和监督图像进行比较，确定语义轮廓图像的损失程度，经过多次训练，如果轮廓检测器连续多次输出的语义轮廓图像的损失程度不再发生变化，则说明轮廓检测器已经收敛，可以停止对轮廓检测器的训练。进一步地，可以在轮廓检测器的输出端设置损失函数，利用该损失函数确定语义轮廓图像相对于监督图像的损失程度。
[0042] 步骤S120，利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象的分割图像。
[0043] 目标对象，是希望在待分割图像中分割出的对象。
[0044] 分割图像，是指对待分割图像中的目标对象的分割结果。
[0045] 将语义轮廓图像作为先验知识，对待分割图像进行目标对象的分割。
[0046] 具体的，可以将待分割图像和语义轮廓图像合并输入到用于分割目标对象的神经网络，使所述神经网络利用语义轮廓图像对待分割图像进行图像分割，获得待分割图像中的目标对象的分割图像。该神经网络可以是Mask RCNN神经网络。
[0047] 可以合并所述待分割图像和所述语义轮廓图像，得到合并图像；将所述合并图像输入用于分割目标对象的神经网络，获得所述目标对象的分割图像。在本实施例中，合并待分割图像和语义轮廓图像，即是：将该待分割图像和该语义轮廓图像进行通道并联。进一步地，可以将待分割图像和语义轮廓图像以通道并联的方式输入用于分割目标对象的神经网络，依此来实现将合并图像输入用于分割目标对象的神经网络。
[0048] 在本实施例中，待分割图像为3通道数据；语义轮廓图像为1通道数据；合并图像为并联待分割图像和语义轮廓图像，得到的4通道数据。
[0049] 在本实施例中，在待分割图像和语义轮廓图像以通道并联的方式输入神经网络之后，神经网络将语义轮廓图像作为先验知识，对待分割图像进行目标对象的分割。其中，目标对象的数量可以是一个或者多个，也就是说，神经网络可以根据待分割图像和语义轮廓图像，分割出包含多个目标对象的分割图像，或者分割出多张分割图像且每张分割图像包含一个目标对象。
[0050] 在本实施例中，利用语义轮廓图像对待分割图像进行图像分割，也就是说，在将所述合并图像输入用于分割目标对象的神经网络后，不但可以获得目标对象的分割图像，还可以获得目标对象对应的边界框信息和/或目标对象所属类别的信息。
[0052] 目标对象所属类别的信息，包括：目标对象属于每种类别时的置信度。例如：目标对象为A类别时的置信度，为B类别时的置信度。置信度越高，说明该目标对象为该类别的概率越高。该类别可以是根据需求预先定义的，例如：目标对象得到类别包括电子产品类、办公用品类、家用厨具类等等。又如：目标对象的类别包括液体类、刀具类等等。
[0053] 在本实施例中，在将合并图像输入用于分割目标对象的神经网络之前，还包括：利用神经网络对应的第二训练集，对神经网络进行训练。所述第二训练集包括：第二训练图像及其对应的边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像。后续将对神经网络的训练过程进行具体描述。
[0054] 在实际应用中，在神经网络输出目标对象的分割图像、目标对象对应的边界框信息和目标对象所属类别的信息之后，可以在显示器中显示分割图像，根据目标对象对应的边界框信息标识出目标对象，并且在分割图像中或者在显示器的预设位置显示目标对象所属类别的信息，使用户能够一目了然的看到分割图像中的目标对象，并且了解目标对象所属的类别。
[0055] 例如：在安检过程中，通过X光拍摄安检带上物品的图像，将物品的图像输入轮廓检测器，获得语义轮廓图像，将物品的图像和语义轮廓图像以通道并联的方式输入神经网络，获得目标对象的分割图像、目标对象对应的边界框信息和目标对象所属类别的信息，在显示器上显示目标对象的分割图像，并利用边界框信息标识出目标对象，在显示器的信息栏上显示该目标对象属于电子产品类物品的置信度、办公用品类物品的置信度、家用厨具类物品的置信度。
[0056] 本实施例的图像分割方法引入待分割图像的语义轮廓图像，将语义轮廓图像作为先验知识，对待分割图像进行目标对象的分割，本实施例的分割精度高，鲁棒性强，在具有遮挡、背景复杂、干扰物较多等情况下，效果突出，尤其在复杂图像(如安检图像)中，取得了很好的效果，实现了高精度强鲁棒性的目标物检测分割。
[0057] 在本实施例中，轮廓或者轮廓所包围的区域可以理解为形状，形状信息作为刻画物体属性的一种重要特征，在图像分割中，能够通过排除不符合先验知识的区域来提高检测和分割的准确度。因此，本实施例基于轮廓先验信息进行目标对象的检测和分割，实现了在复杂图像中对指定目标对象进行高精度的检测和分割。
[0058] 需要说明的是：本实施例的高精度目标检测和分割可以应用在安检图像处理中，但并不局限于安检图像处理这一领域中，任何目标对象的检测和分割场景都适用。
[0059] 实施例二
[0060] 下面对神经网络的训练过程进行进一步地描述。在本实施例中，神经网络采用Mask RCNN神经网络。通过训练使得该Mask RCNN神经网络能够分割出图像中的目标对象。
[0061] 如图6所示，为根据本发明第二实施例的神经网络的训练步骤流程图。
[0062] 步骤S610，设置用于训练神经网络的第二训练集。
[0063] 首先设置多张第二训练图像，然后再为每张第二训练图像对应设置边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像。
[0064] 第二训练图像可以是将第一训练图像和该第一训练图像对应的语义轮廓图像合并后得到的。换而言之，可以使用已训练完成的轮廓检测器提取第一训练图像的语义轮廓图像，将该第一训练图像和该语义轮廓图像合并，得到第二训练图像。其中，第二训练图像为4通道数据。
[0065] 在第二训练图像中标注目标对象的轮廓，得到该第二训练图像对应的轮廓监督图像；在第二训练图像中标注目标对象，得到该第二训练图像对应的分割监督图像；在该分割监督图像中使用边界框标注出目标对象的位置，并获得边界框的坐标，得到该第二训练图像对应的边界框监督信息；在该分割监督图像中标注出目标对象所属的类别，得到该第二训练图像对应的类别监督信息。
[0066] 在第二训练图像中标注目标对象的轮廓，得到该第二训练图像对应的轮廓监督图像，具体包括以下步骤：
[0067] 步骤1，在第二训练图像中标注出目标对象区域。
[0068] 步骤2，在所述目标对象区域中，识别边界像素点。
[0069] 边界像素点的集合为目标对象的边缘轮廓(边缘线)。
[0070] 目标对象的边缘轮廓可以是宽度为1像素点的边缘线。
[0071] 步骤3，对边界像素点形成的边界线进行高斯滤波，得到目标对象的轮廓分布热度图，将该轮廓分布热度图作为目标对象的轮廓监督图像。
[0072] 轮廓分布热度图的公式如下：
[0073]
[0074] 其中，E表示边缘像素点的集合，B表示轮廓的分布热度图，(i,j)表示第二训练图像中的像素点坐标， 是(i，j)处的二维高斯分布值，高斯分布的均值点位于边界像素点(m，n)处，协方差矩阵为σ2I2×2。
[0075] 例如：如图7～图10所示，为根据本发明第二实施例的轮廓监督图像的生成示意图。在图7～图10的每个附图中，从左至右依此表示原安检图像、标注的刀具区域、生成的刀具边缘图以及轮廓分布热度图。
[0076] 步骤S620，在每次训练时，将一张第二训练图像输入所述神经网络，获得目标对象对应的边界框预测信息、类别预测信息、分割预测图像和轮廓预测图像。
[0077] 边界框预测信息是对第二训练图像中目标对象所处位置的预测。
[0078] 类别预测信息是对第二训练图像中目标对象所属类别的预测。
[0079] 分割预测图像是对第二训练图像中目标对象的预测分割。
[0080] 轮廓预测图像是对第二训练图像中目标对象轮廓的预测提取。
[0081] 在神经网络训练完成之前，神经网络输出的边界框预测信息、类别预测信息、分割预测图像和轮廓预测图像的准确性，需要分别通过边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像进行验证。
[0082] 如图11所示，为根据本发明第二实施例的基于语义轮廓信息的图像分割网络的结构图。在该图像分割网络中采用Mask RCNN神经网络，并且将语义轮廓图像作为先验知识和约束条件。具体的，将RGB图像输入HED轮廓检测器，HED轮廓检测器输出该RGB图像的语义轮廓图像；将RGB图像和语义轮廓图像合并输入到Mask RCNN神经网络中，即：将合并图像输入到Mask RCNN神经网络中；Mask RCNN神经网络将语义轮廓图像作为先验知识，Mask RCNN神经网络中的卷积网络提取合并图像的特征图像，区域提议网络在特征图像中提取感兴趣区域，兴趣区域对齐层对提取的感兴趣区域进行区域对齐；全连接网络作为检测分支，在感兴趣区域中进行边界框预测和类别预测，得到边界框预测信息和类别预测信息；全卷积网络作为分割分支，在感兴趣区域中进行区域分割预测和语义轮廓预测，得到分割预测图像和轮廓预测图像。
[0083] 步骤S630，利用所述第二训练图像对应的边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像，分别对应确定所述边界框预测信息、所述类别预测信息、所述分割预测图像和所述轮廓预测图像的损失程度。
[0084] 每次训练，获取一组对应的第二训练图像、边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像；将边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像设置在神经网络的输出端；将第二训练图像输入神经网络，获得神经网络输出的边界框预测信息、类别预测信息、分割预测图像和轮廓预测图像；利用边界框监督信息确定边界框预测信息的损失程度；利用类别监督信息确定类别预测信息的损失程度；利用分割监督图像确定分割预测图像的损失程度；利用轮廓监督图像确定轮廓预测图像的损失程度。进一步地，可以利用损失函数计算损失程度。损失函数可以采用欧式距离函数。
[0085] 步骤S640，如果在连续多次的训练中，所述边界框预测信息、所述类别预测信息、所述分割预测图像和所述轮廓预测图像的损失程度都符合预设的收敛条件，则判定所述神经网络已经收敛，结束对所述神经网络的训练。
[0086] 预设的收敛条件包括：在连续预设次数的训练中，边界框预测信息、类别预测信息、分割预测图像和轮廓预测图像的损失程度的变化量都小于各自对应的损失阈值。例如：边界框预测信息、类别预测信息、分割预测图像和轮廓预测图像的损失程度都不再发生变化。该预设次数至少为两次。
[0087] 记录每次训练过程中确定的边界框预测信息、类别预测信息、分割预测图像和轮廓预测图像的损失程度，以便确定在连续多次的训练中，所述边界框预测信息、所述类别预测信息、所述分割预测图像和所述轮廓预测图像的损失程度都符合预设的收敛条件。
[0088] 如果神经网络输出的边界框预测信息、类别预测信息、分割预测图像和轮廓预测图像的损失程度都不符合预设的收敛条件，则判定神经网络尚未收敛，这时需要调整神经网络中的参数，并且获取下一组对应的第二训练图像、边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像，继续对神经网络进行训练，直到神经网络收敛为止。
[0089] 在结束对神经网络的训练之后，还包括：消除神经网络中用于输出轮廓预测图像的分支。由于在实际应用中，得到目标对象的分割图像即可，所以，可以去除神经网络中轮廓预测分支。
[0090] 在结束对神经网络的训练之后，经过训练的轮廓检测器和神经网络可以运用到实际应用中，神经网络输出的边界框预测信息、类别预测信息和分割预测信息，分别对应目标对象对应的边界框信息、目标对象所属类别的信息和目标对象的分割图像。
[0091] 实施例三
[0092] 本实施例提供一种基于语义轮廓信息的图像分割设备。如图12所示，为根据本发明第三实施例的基于语义轮廓信息的图像分割设备的结构图。
[0093] 在本实施例中，所述基于语义轮廓信息的图像分割设备1200，包括但不限于：处理器1210、存储器1220。
[0094] 所述处理器1210用于执行存储器1220中存储的基于语义轮廓信息的图像分割程序，以实现实施例一～实施例二所述的基于语义轮廓信息的图像分割方法。
[0095] 具体而言，所述处理器1210用于执行存储器1220中存储的基于语义轮廓信息的图像分割程序，以实现以下步骤：获取待分割图像的语义轮廓图像；利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象的分割图像。
[0096] 可选的，利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象对应的边界框信息和/或目标对象所属类别的信息。
[0097] 可选的，所述获取待分割图像的语义轮廓图像，包括：将待分割图像输入轮廓检测器，获取所述待分割图像的语义轮廓图像；所述利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象的分割图像，包括：将所述待分割图像和所述语义轮廓图像合并输入到用于分割目标对象的神经网络，使所述神经网络利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象的分割图像。
[0098] 将所述待分割图像和所述语义轮廓图像合并输入到用于分割目标对象的神经网络，包括：将所述待分割图像和所述语义轮廓图像以通道并联的方式输入到用于分割目标对象的神经网络。
[0099] 可选的，在所述将待分割图像输入轮廓检测器之前，还包括：利用所述轮廓检测器对应的第一训练集，对所述轮廓检测器进行训练；利用所述神经网络对应的第二训练集，对所述神经网络进行训练；所述第一训练集包括：第一训练图像及其对应的监督图像；所述第二训练集包括：第二训练图像及其对应的边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像。
[0100] 可选的，所述第二训练图像是将第一训练图像和所述第一训练图像对应的语义轮廓图像合并后得到的。
[0101] 可选的，利用所述神经网络对应的第二训练集，对所述神经网络进行训练，包括：在每次训练时，将一张第二训练图像输入所述神经网络，获得目标对象对应的边界框预测信息、类别预测信息、分割预测图像和轮廓预测图像；利用所述第二训练图像对应的边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像，分别对应确定所述边界框预测信息、所述类别预测信息、所述分割预测图像和所述轮廓预测图像的损失程度；如果在连续多次的训练中，所述边界框预测信息、所述类别预测信息、所述分割预测图像和所述轮廓预测图像的损失程度都符合预设的收敛条件，则判定所述神经网络已经收敛，结束对所述神经网络的训练。
[0102] 可选的，在结束对所述神经网络的训练之后，还包括：消除所述神经网络中用于输出轮廓预测图像的分支。
[0103] 可选的，在利用所述神经网络对应的第二训练集，对所述神经网络进行训练之前，还包括：在第二训练图像中标注出目标对象区域；在所述目标对象区域中，识别边界像素点；对所述边界像素点形成的边界线进行高斯滤波，得到目标对象的轮廓分布热度图，将所述轮廓分布热度图作为所述目标对象的轮廓监督图像。
[0104] 可选的，所述轮廓检测器为HED轮廓检测器；和/或，所述神经网络为Mask RCNN神经网络。
[0105] 实施例四
[0106] 本发明实施例还提供了一种存储介质。这里的存储介质存储有一个或者多个程序。其中，存储介质可以包括易失性存储器，例如随机存取存储器；存储器也可以包括非易失性存储器，例如只读存储器、快闪存储器、硬盘或固态硬盘；存储器还可以包括上述种类的存储器的组合。
[0107] 当存储介质中一个或者多个程序可被一个或者多个处理器执行，以实现上述的基于语义轮廓信息的图像分割方法。
[0108] 具体而言，所述处理器用于执行存储器中存储的基于语义轮廓信息的图像分割程序，以实现以下步骤：获取待分割图像的语义轮廓图像；利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象的分割图像。
[0109] 可选的，利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象对应的边界框信息和/或目标对象所属类别的信息。
[0110] 可选的，所述获取待分割图像的语义轮廓图像，包括：将待分割图像输入轮廓检测器，获取所述待分割图像的语义轮廓图像；所述利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象的分割图像，包括：将所述待分割图像和所述语义轮廓图像合并输入到用于分割目标对象的神经网络，使所述神经网络利用所述语义轮廓图像对所述待分割图像进行图像分割，获得所述待分割图像中的目标对象的分割图像。
[0111] 可选的，将所述待分割图像和所述语义轮廓图像合并输入到用于分割目标对象的神经网络，包括：将所述待分割图像和所述语义轮廓图像以通道并联的方式输入到用于分割目标对象的神经网络。
[0112] 可选的，在所述将待分割图像输入轮廓检测器之前，还包括：利用所述轮廓检测器对应的第一训练集，对所述轮廓检测器进行训练；利用所述神经网络对应的第二训练集，对所述神经网络进行训练；所述第一训练集包括：第一训练图像及其对应的监督图像；所述第二训练集包括：第二训练图像及其对应的边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像。
[0113] 可选的，所述第二训练图像是将第一训练图像和所述第一训练图像对应的语义轮廓图像合并后得到的。
[0114] 可选的，利用所述神经网络对应的第二训练集，对所述神经网络进行训练，包括：在每次训练时，将一张第二训练图像输入所述神经网络，获得目标对象对应的边界框预测信息、类别预测信息、分割预测图像和轮廓预测图像；利用所述第二训练图像对应的边界框监督信息、类别监督信息、分割监督图像和轮廓监督图像，分别对应确定所述边界框预测信息、所述类别预测信息、所述分割预测图像和所述轮廓预测图像的损失程度；如果在连续多次的训练中，所述边界框预测信息、所述类别预测信息、所述分割预测图像和所述轮廓预测图像的损失程度都符合预设的收敛条件，则判定所述神经网络已经收敛，结束对所述神经网络的训练。
[0115] 可选的，在结束对所述神经网络的训练之后，还包括：消除所述神经网络中用于输出轮廓预测图像的分支。
[0116] 可选的，在利用所述神经网络对应的第二训练集，对所述神经网络进行训练之前，还包括：在第二训练图像中标注出目标对象区域；在所述目标对象区域中，识别边界像素点；对所述边界像素点形成的边界线进行高斯滤波，得到目标对象的轮廓分布热度图，将所述轮廓分布热度图作为所述目标对象的轮廓监督图像。
[0117] 可选的，所述轮廓检测器为HED轮廓检测器；和/或，所述神经网络为Mask RCNN神经网络。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种人体关键点识别方法、装置及电子设备 | 2020-05-14 | 120 |
| 一种媒体信息兴趣点推荐方法、装置、服务器及存储介质 | 2020-05-14 | 801 |
| 基于图像检测的地下电缆故障确定方法和装置 | 2020-05-16 | 74 |
| 一种基于动作识别的轨道交通异常人员检测方法 | 2020-05-12 | 827 |
| 一种多维度舆情危机预测方法、终端设备及存储介质 | 2020-05-11 | 424 |
| 基于3D CAM的大脑核磁共振异常图像的可视化方法 | 2020-05-16 | 173 |
| 一种车辆检测与跟踪一体化方法 | 2020-05-12 | 131 |
| 一种以产品促进其知识产权交易的电子商务平台 | 2020-05-12 | 475 |
| 一种人体关键点识别方法、装置及电子设备 | 2020-05-08 | 1016 |
| 一种基于图像的网络舆情预警系统和方法 | 2020-05-13 | 653 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈