首页 / 专利库 / 人工智能 / 机器学习 / 深度学习 / 一种模板匹配网络训练方法、识别方法及装置

一种模板匹配网络训练方法、识别方法及装置

阅读:722发布:2020-05-08

专利汇可以提供一种模板匹配网络训练方法、识别方法及装置专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种模板匹配网络训练方法、识别方法及装置,属于 计算机视觉 、 深度学习 领域,该方法包括:获取样本模板;基于样本模板生成包含若干张样本图片的 训练数据 ,并记录每张样本图片中包含的各目标物体的中心点坐标、旋转 角 度、缩放比及类别信息;对所述训练数据进行归一化处理得到目标训练数据,再利用 卷积神经网络 对所述目标训练数据进行特征提取得到特征数据;根据所述特征数据训练建议框网络,保留满足预设要求的目标建议框,将所述目标建议框映射到特征图对应 位置 ,并对所述目标建议框进行旋转操作得到目标特征图;通过所述目标特征图训练神经网络得到模板匹配网络。通过本发明可以精确 定位 出目标物体及目标物体所在 像素 区域。,下面是一种模板匹配网络训练方法、识别方法及装置专利的具体信息内容。

1.一种模板匹配网络训练方法,其特征在于,包括:
(1)获取样本模板,其中,所述样本模板至少包括目标物体图和背景图,且所述样本模板中包括目标物体的目标外轮廓;
(2)基于所述样本模板生成包含若干张样本图片的训练数据,并记录每张所述样本图片中包含的各目标物体的中心点坐标、各目标物体的旋转度、各目标物体的缩放比及各目标物体的类别信息;
(3)对所述训练数据进行归一化处理得到目标训练数据,再利用卷积神经网络对所述目标训练数据进行特征提取得到特征数据,其中所述特征数据包括所述目标训练数据的灰度及各目标物体的轮廓特征数据;
(4)根据所述特征数据训练建议框网络,保留满足预设要求的目标建议框,将所述目标建议框映射到特征图对应位置,并对所述目标建议框进行旋转操作得到目标特征图;
(5)通过所述目标特征图训练神经网络得到模板匹配网络,其中,所述模板匹配网络的输出至少为目标物体的类别和目标物体的缩放比。
2.根据权利要求1所述的方法,其特征在于,步骤(2)包括:
(2.1)基于所述样本模板,随机挑选目标物体、随机设置各目标物体的缩放比例和旋转角度;
(2.2)采用在粒子群算法中增加冯诺伊曼拓扑结构的方式生成包含若干张样本图片的训练数据,并记录每张所述样本图片中包含的各目标物体的中心点坐标、各目标物体的旋转角度、各目标物体的缩放比及各目标物体的类别信息。
3.根据权利要求1或2所述的方法,其特征在于,步骤(4)包括:
(4.1)根据所述特征数据训练建议框网络,预测出每个目标物体的轴对齐建议框及各目标物体的旋转角度值,其中,所述建议框网络包括rpn网络和角度分类网络;
(4.2)获取所述轴对齐建议框与实际建议框之间的重合度,获取所述轴对齐建议框中目标物体的旋转角度值与实际建议框中目标物体的旋转角度值的差值,若所述重合度小于预设重合度阈值,所述差值小于预设差值阈值,则舍弃重合度低于所述预设重合度阈值的轴对齐建议框,得到保留的目标轴对齐建议框;
(4.3)将所述目标轴对齐建议框映射到特征图对应位置,再基于所述目标轴对齐建议框中目标物体的旋转角度值对该位置的目标轴对齐建议框进行旋转变换,得到目标特征图。
4.根据权利要求3所述的方法,其特征在于,在步骤(4.1)中,预测出目标物体的旋转角度值,包括:
将角度进行分类,标准角度及其左右若干度为正值,其余的角度标签值均设置为0,其中,所述标准角度为目标物体形心沿最小矩形包络框长边方向。
5.一种识别方法,其特征在于,包括:
将待识别图片输入权利要求1至4中任意一项所述的模板匹配网络训练方法训练后的模板匹配网络进行识别处理,得到所述待识别图片中包含的各目标物体的类别信息和位姿信息。
6.一种模板匹配网络训练装置,其特征在于,包括:
模板获取模,用于获取样本模板,其中,所述样本模板至少包括目标物体图和背景图,且所述样本模板中包括目标物体的目标外轮廓;
训练数据获取模块,用于基于所述样本模板生成包含若干张样本图片的训练数据,并记录每张所述样本图片中包含的各目标物体的中心点坐标、各目标物体的旋转角度、各目标物体的缩放比及各目标物体的类别信息;
特征提取模块,用于对所述训练数据进行归一化处理得到目标训练数据,再利用卷积神经网络对所述目标训练数据进行特征提取得到特征数据,其中所述特征数据包括所述目标训练数据的灰度及各目标物体的轮廓特征数据;
特征图获取模块,用于根据所述特征数据训练建议框网络,保留满足预设要求的目标建议框,将所述目标建议框映射到特征图对应位置,并对所述目标建议框进行旋转操作得到目标特征图;
训练模块,用于通过所述目标特征图训练神经网络得到模板匹配网络,其中,所述模板匹配网络的输出至少为目标物体的类别和目标物体的缩放比。
7.根据权利要求6所述的装置,其特征在于,所述训练数据获取模块,包括:
预处理模块,用于基于所述样本模板,随机挑选目标物体、随机设置各目标物体的缩放比例和旋转角度;
训练数据获取子模块,用于采用在粒子群算法中增加冯诺伊曼拓扑结构的方式生成包含若干张样本图片的训练数据,并记录每张所述样本图片中包含的各目标物体的中心点坐标、各目标物体的旋转角度、各目标物体的缩放比及各目标物体的类别信息。
8.根据权利要求6或7所述的装置,其特征在于,所述特征图获取模块,包括:
第一训练模块,用于根据所述特征数据训练建议框网络,预测出每个目标物体的轴对齐建议框及各目标物体的旋转角度值,其中,所述建议框网络包括rpn网络和角度分类网络;
判断处理模块,用于获取所述轴对齐建议框与实际建议框之间的重合度,获取所述轴对齐建议框中目标物体的旋转角度值与实际建议框中目标物体的旋转角度值的差值,若所述重合度小于预设重合度阈值,所述差值小于预设差值阈值,则舍弃重合度低于所述预设重合度阈值的轴对齐建议框,得到保留的目标轴对齐建议框;
特征图获取子模块,用于将所述目标轴对齐建议框映射到特征图对应位置,再基于所述目标轴对齐建议框中目标物体的旋转角度值对该位置的目标轴对齐建议框进行旋转变换,得到目标特征图。
9.根据权利要求8所述的装置,其特征在于,预测出目标物体的旋转角度值,包括:
将角度进行分类,标准角度及其左右若干度为正值,其余的角度标签值均设置为0,其中,所述标准角度为目标物体形心沿最小矩形包络框长边方向。
10.一种识别装置,其特征在于,包括:
识别结果获取模块,用于将待识别图片输入权利要求6至9任意一项所述的模板匹配网络训练装置训练后的模板匹配网络进行识别处理,得到所述待识别图片中包含的各目标物体的类别信息和位姿信息。

说明书全文

一种模板匹配网络训练方法、识别方法及装置

技术领域

[0001] 本发明属于计算机视觉深度学习领域,更具体地,涉及一种模板匹配网络训练方法、识别方法及装置。

背景技术

[0002] 传统模板匹配作为视觉领域的一种常用方法,在光照良好、前景背景清晰的简单场合被广泛应用,但是无法适应复杂场景。基于深度学习的目标检测,可以在复杂环境中检测出各类物体,并对物体进行分类和定位,其具体的定位方式为检测出物体的外接轴对齐矩形包络框(axially aligned bounding box,AABB)。但是,由于AABB框所框出的区域通常远大于实际目标物体所占有的像素区域。在某些应用下(例如机器人无序抓取),AABB框的定位参考价值不大。

发明内容

[0003] 针对现有技术的以上缺陷或改进需求,本发明提出了一种模板匹配网络训练方法、识别方法及装置,由此解决现有AABB定位方式在复杂环境中无法精确定位出目标物体以及目标物体所在像素区域的技术问题。
[0004] 为实现上述目的,按照本发明的一个方面,提供了一种模板匹配网络训练方法,包括:
[0005] (1)获取样本模板,其中,所述样本模板至少包括目标物体图和背景图,且所述样本模板中包括目标物体的目标外轮廓;
[0006] (2)基于所述样本模板生成包含若干张样本图片的训练数据,并记录每张所述样本图片中包含的各目标物体的中心点坐标、各目标物体的旋转度、各目标物体的缩放比及各目标物体的类别信息;
[0007] (3)对所述训练数据进行归一化处理得到目标训练数据,再利用卷积神经网络对所述目标训练数据进行特征提取得到特征数据,其中所述特征数据包括所述目标训练数据的灰度及各目标物体的轮廓特征数据;
[0008] (4)根据所述特征数据训练建议框网络,保留满足预设要求的目标建议框,将所述目标建议框映射到特征图对应位置,并对所述目标建议框进行旋转操作得到目标特征图;
[0009] (5)通过所述目标特征图训练神经网络得到模板匹配网络,其中,所述模板匹配网络的输出至少为目标物体的类别和目标物体的缩放比。
[0010] 优选地,步骤(2)包括:
[0011] (2.1)基于所述样本模板,随机挑选目标物体、随机设置各目标物体的缩放比例和旋转角度;
[0012] (2.2)采用在粒子群算法中增加冯诺伊曼拓扑结构的方式生成包含若干张样本图片的训练数据,并记录每张所述样本图片中包含的各目标物体的中心点坐标、各目标物体的旋转角度、各目标物体的缩放比及各目标物体的类别信息。
[0013] 优选地,步骤(4)包括:
[0014] (4.1)根据所述特征数据训练建议框网络,预测出每个目标物体的轴对齐建议框及各目标物体的旋转角度值,其中,所述建议框网络包括rpn网络和角度分类网络;
[0015] (4.2)获取所述轴对齐建议框与实际建议框之间的重合度,获取所述轴对齐建议框中目标物体的旋转角度值与实际建议框中目标物体的旋转角度值的差值,若所述重合度小于预设重合度阈值,所述差值小于预设差值阈值,则舍弃重合度低于所述预设重合度阈值的的轴对齐建议框,得到保留的目标轴对齐建议框;
[0016] (4.3)将所述目标轴对齐建议框映射到特征图对应位置,再基于所述目标轴对齐建议框中目标物体的旋转角度值对该位置的目标轴对齐建议框进行旋转变换,得到目标特征图。
[0017] 优选地,在步骤(4.1)中,预测出目标物体的旋转角度值,包括:
[0018] 将角度进行分类,标准角度及其左右若干度为正值,其余的角度标签值均设置为0,其中,所述标准角度为目标物体形心沿最小矩形包络框长边方向。
[0019] 按照本发明的另一个方面,提供了一种识别方法,包括:
[0020] 将待识别图片输入上述任意一项所述的模板匹配网络训练方法训练后的模板匹配网络进行识别处理,得到所述待识别图片中包含的各目标物体的类别信息和位姿信息。
[0021] 按照本发明的另一个方面,提供了一种模板匹配网络训练装置,包括:
[0022] 模板获取模,用于获取样本模板,其中,所述样本模板至少包括目标物体图和背景图,且所述样本模板中包括目标物体的目标外轮廓;
[0023] 训练数据获取模块,用于基于所述样本模板生成包含若干张样本图片的训练数据,并记录每张所述样本图片中包含的各目标物体的中心点坐标、各目标物体的旋转角度、各目标物体的缩放比及各目标物体的类别信息;
[0024] 特征提取模块,用于对所述训练数据进行归一化处理得到目标训练数据,再利用卷积神经网络对所述目标训练数据进行特征提取得到特征数据,其中所述特征数据包括所述目标训练数据的灰度及各目标物体的轮廓特征数据;
[0025] 特征图获取模块,用于根据所述特征数据训练建议框网络,保留满足预设要求的目标建议框,将所述目标建议框映射到特征图对应位置,并对所述目标建议框进行旋转操作得到目标特征图;
[0026] 训练模块,用于通过所述目标特征图训练神经网络得到模板匹配网络,其中,所述模板匹配网络的输出至少为目标物体的类别和目标物体的缩放比。
[0027] 优选地,所述训练数据获取模块,包括:
[0028] 预处理模块,用于基于所述样本模板,随机挑选目标物体、随机设置各目标物体的缩放比例和旋转角度;
[0029] 训练数据获取子模块,用于采用在粒子群算法中增加冯诺伊曼拓扑结构的方式生成包含若干张样本图片的训练数据,并记录每张所述样本图片中包含的各目标物体的中心点坐标、各目标物体的旋转角度、各目标物体的缩放比及各目标物体的类别信息。
[0030] 优选地,所述特征图获取模块,包括:
[0031] 第一训练模块,用于根据所述特征数据训练建议框网络,预测出每个目标物体的轴对齐建议框及各目标物体的旋转角度值,其中,所述建议框网络包括rpn网络和角度分类网络;
[0032] 判断处理模块,用于获取所述轴对齐建议框与实际建议框之间的重合度,获取所述轴对齐建议框中目标物体的旋转角度值与实际建议框中目标物体的旋转角度值的差值,若所述重合度小于预设重合度阈值,所述差值小于预设差值阈值,则舍弃重合度低于所述预设重合度阈值的轴对齐建议框,得到保留的目标轴对齐建议框;
[0033] 特征图获取子模块,用于将所述目标轴对齐建议框映射到特征图对应位置,再基于所述目标轴对齐建议框中目标物体的旋转角度值对该位置的目标轴对齐建议框进行旋转变换,得到目标特征图。
[0034] 优选地,预测出目标物体的旋转角度值,包括:
[0035] 将角度进行分类,标准角度及其左右若干度为正值,其余的角度标签值均设置为0,其中,所述标准角度为目标物体形心沿最小矩形包络框长边方向。
[0036] 按照本发明的另一个方面,提供了一种识别装置,包括:
[0037] 识别结果获取模块,用于将待识别图片输入上述任意一项所述的模板匹配网络训练装置训练后的模板匹配网络进行识别处理,得到所述待识别图片中包含的各目标物体的类别信息和位姿信息。
[0038] 总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得下列有益效果:
[0039] 1、本发明通过角度预测、特征映射及特征图旋转等,可以在复杂背景条件下,检出各类目标物体的中心位置、相对于模板的缩放比例及旋转角度等信息。
[0040] 2、RPN网络同时增加了预测角度功能,角度预测采用分类的方法,将角度分为360个类别。其中标准角度及其左右5度为正值,其余的角度标签值均设置为0。正值标签的赋值方法:“标准角度”的标签值为1,每偏差1度标签值减小0.2。另外,对称目标物有多个“标准角度”。例如矩形有2个标准角度、正方形有4个标准角度、圆形全是标准角度。
[0041] 3、提出了ROIAffine方法。传统的ROIPooling方法将建议框映射到featureMap并裁剪出一个新的featureMap区域(后面简称new_featureMap),然后根据new_featureMap预测物体的长宽和类型。由于new_featureMap中的目标物体未进行角度矫正,多样化的角度导致计算长、宽的特征提取不完善,因此目标物体长宽的预测通常不准确。本发明提出的ROIAffine,映射feature时同时进行了裁剪和角度矫正工作,裁剪后的feature_map可以更准确的计算目标物体的长、宽。
[0042] 4、提出了基于改进的粒子群算法生成训练数据的方法。用户只需要提供所有目标物体图、背景图,并且勾勒目标外轮廓,即可自动生成图片。附图说明
[0043] 图1是本发明实施例提供的一种模板匹配网络训练方法的流程示意图;
[0044] 图2是本发明实施例提供的一种建议框网络的结果图;
[0045] 图3是本发明实施例提供的一种图片中的建议框区域旋转后的结果图。

具体实施方式

[0046] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0047] 为了在复杂环境中精确定位出目标物体以及目标物体所在像素区域,本发明提出了一种模板匹配网络训练方法、模板匹配方法及装置,可以在复杂背景条件下,检出各类目标物体的中心位置、相对于模板的缩放比例及旋转角度等信息。
[0048] 如图1所示是本发明实施例提供的一种模板匹配网络训练方法的流程示意图,包括以下步骤:
[0049] S1:获取样本模板,其中,样本模板至少包括目标物体图和背景图,且样本模板中包括目标物体的目标外轮廓;
[0050] 在制作模板的步骤中,用户只需要提供所有目标物体图、背景图,并且勾勒目标外轮廓,标注模板类型,确定角度方位。
[0051] S2:使用改进的粒子群算法处理步骤S1获取的样本模板,生成样本图片训练数据,记录每张样本图片中包含的各目标物体的中心点坐标、目标物体的旋转角度、目标物体的缩放比及目标物体的类别信息;
[0052] 在本发明实施例中,基于改进的粒子群生成训练数据。随机挑选目标物体、随机设置目标物体的缩放比例、旋转角度。为了使每一张图片数据中的物体尽量布置紧凑,在本发明实施例中,使用改进的粒子群算法布置物体位置。生成图片的同时,自动记录每个目标物体的中心点、角度、缩放比及类别信息。为了平衡优化迭代时的速度和全局搜索能,在粒子群算法中增加了冯诺伊曼拓扑结构。为了提高粒子群算法的收敛速度,对前半周期的生成图片进行主成分分析,缩小迭代时的搜索空间。
[0053] S3:对训练数据进行归一化处理得到目标训练数据,再利用卷积神经网络对目标训练数据进行特征提取得到特征数据,该特征数据包括目标训练数据的灰度及各目标物体的轮廓特征数据;
[0054] 在本发明实施例中,卷积神经网络可以为vgg16、inceptionv3、resnet等,具体采用何种卷积神经网络本发明实施例不做唯一性限定。
[0055] S4:根据特征数据训练建议框网络,保留满足预设要求的目标建议框,将目标建议框映射到特征图对应位置,并对目标建议框进行旋转操作得到目标特征图;
[0056] 作为一种可选的实施方式,步骤S4可以采用以下方式实现:
[0057] S4.1:根据特征数据训练建议框网络,预测出每个目标物体的轴对齐建议框、目标物体的旋转角度值和分数值,其中,建议框网络包括rpn网络和角度分类网络,如图2所示是本发明实施例提供的一种建议框网络的结果图;
[0058] 作为一种可选的实施方式,角度预测采用分类的方法,将角度分为若干个类别,其中,标准角度其左右若干度为正值,其余的角度标签值均设置为0,标准角度为目标物体形心沿最小矩形包络框长边方向。
[0059] 在本发明实施例中,标准角度其左右若干度为正值,具体左右多少度为正值,可以根据实际需要确定,本发明实施例不做唯一性限定。在本发明实施例中优选标准角度其左右5度为正值。
[0060] 其中,正值标签的赋值方法:“标准角度”的标签值为1,每偏差1度标签值减小0.2。另外,对称目标物有多个“标准角度”。例如,正方形有4个标准角度、圆形全是标准角度。
[0061] S4.2:获取轴对齐建议框与实际建议框之间的重合度,获取轴对齐建议框中目标物体的旋转角度值与实际建议框中目标物体的旋转角度值的差值,若重合度小于预设重合度阈值,且差值小于预设差值阈值,则舍弃重合度低于所述预设重合度阈值的轴对齐建议框,得到保留的目标轴对齐建议框;
[0062] S4.3:将目标轴对齐建议框映射到特征图对应位置,再基于目标轴对齐建议框中目标物体的旋转角度值对该位置的目标轴对齐建议框进行旋转变换,得到目标特征图,图3是本发明实施例提供的一种图片中的建议框区域旋转后的结果图。
[0063] S5:通过目标特征图训练神经网络得到模板匹配网络,其中,模板匹配网络的输出至少为目标物体的类别和目标物体的缩放比。
[0064] 在本发明实施例中,还可以通过模板匹配网络对步骤S4.2得到的中心点位置和角度值进行微调。
[0065] 在本发明的另一实施例中,还提供了一种识别方法,包括:
[0066] 将待识别图片输入训练后的模板匹配网络进行识别处理,得到待识别图片中包含的各目标物体的类别信息和位姿信息。
[0067] 其中,目标物体的位姿信息包括中心位置、缩放比例及旋转角度等。
[0068] 在本发明的另一实施例中,还提供了一种模板匹配网络训练装置,包括:
[0069] 模板获取模块,用于获取样本模板,其中,样本模板至少包括目标物体图和背景图,且样本模板中包括目标物体的目标外轮廓;
[0070] 训练数据获取模块,用于基于样本模板生成包含若干张样本图片的训练数据,并记录每张样本图片中包含的各目标物体的中心点坐标、各目标物体的旋转角度、各目标物体的缩放比及各目标物体的类别信息;
[0071] 特征提取模块,用于对训练数据进行归一化处理得到目标训练数据,再利用卷积神经网络对目标训练数据进行特征提取得到特征数据,其中,特征数据包括所述目标训练数据的灰度及各目标物体的轮廓特征数据;
[0072] 特征图获取模块,用于根据特征数据训练建议框网络,保留满足预设要求的目标建议框,将目标建议框映射到特征图对应位置,并对目标建议框进行旋转操作得到目标特征图;
[0073] 训练模块,用于通过目标特征图训练神经网络得到模板匹配网络,其中,模板匹配网络的输出至少为目标物体的类别和目标物体的缩放比。
[0074] 在本发明实施例中,各模块的具体实施方式可以参考方法实施例的描述,本发明实施例将不再复述。
[0075] 在本发明的另一实施例中,还提供了一种识别装置,包括:
[0076] 识别结果获取模块,用于将待识别图片输入训练后的模板匹配网络进行识别处理,得到待识别图片中包含的各目标物体的类别信息和位姿信息。
[0077] 其中,目标物体的位姿信息包括中心位置、缩放比例及旋转角度等。
[0078] 需要指出,根据实施的需要,可将本申请中描述的各个步骤/部件拆分为更多步骤/部件,也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件,以实现本发明的目的。
[0079] 本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈