一种基于端到端学习的线特征描述系统专利检索-图像配准人工智能专利检索查询-专利查询网

一种基于端到端学习的线特征描述系统

阅读：1036发布：2020-05-17

专利汇可以提供一种基于端到端学习的线特征描述系统专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于端到端学习的线特征描述系统，包括图像输入模块、神经网络处理模块和直线子获取模块；所述图像输入模块在获取图像信息后建立图像数据集，分别获取图像中的直线、正确匹配直线对、直线的支撑区域和神经网络的输入图像块；所述神经网络处理模块对输入的图像块进行预处理并完成神经网络的构建；所述直线子获取模块获得输入直线的描述子。本发明实现了简单快速地得到具有鲁棒性与可区分性的直线描述子的方法。，下面是一种基于端到端学习的线特征描述系统专利的具体信息内容。

权利要求

1.一种基于端到端学习的线特征描述系统，其特征在于，包括图像输入模块、神经网络处理模块和直线子获取模块，通过对图像信息的预处理，进一步利用神经网络进行再处理，可以迅速获得同时具有鲁棒性和可区分性的直线描述子；
图像输入模块，在获取图像信息后建立图像数据集之后，首先检测图像中的直线，然后获取图像对中的正确匹配直线对，进一步得到直线的支撑区域和神经网络的输入图像块；
神经网络处理模块，对输入的图像块进行预处理，完成神经网络的构建之后，通过三组损失函数获取新的网络参数，进一步更新神经网络的参数并迭代更新至指定的次数；
直线子获取模块，获得输入直线的描述子；
所述图像输入模块，通过检测图像中的直线，获取能够正确匹配的直线对，进一步获取直线的支撑区域，进而获取神经网络的输入图像块，具体步骤为：
步骤1、创建图像数据集，收集不同场景下的图像，将同一场景不同成像条件下的两幅图像构成图像对，输入计算机；
步骤2、对于任一输入图像，利用现有直线检测方法获取图像中的直线；
步骤3、获取图像对中的正确匹配直线对；
步骤31、对于任一图像对，利用现有直线匹配方法获得图像对中的直线匹配结果，剔除错误匹配；
步骤32、获得图像对中的正确匹配直线对{(Lj，Lj')，j＝1，2，…，NL}，其中，Lj表示图像对中第1幅图像中正确匹配的第j条直线，Lj'表示图像对中第2幅图像中与Lj正确匹配的直线，NL为两幅图像直线匹配结果中正确匹配的直线对个数；
步骤4、获取直线的支撑区域；
步骤41、对于任一条由Num(L)个点组成的直线L，首先沿直线L的方向，将直线L的两个端点分别向外延伸32个像素距离，得到直线L'；
步骤42、沿直线L的垂直方向，以直线L'上的各点为中心向两侧分别扩展32个像素距离，从而得到大小为65×(Num(L)+64)的矩形区域，该矩形区域即为直线L的支撑区域；
步骤5、获取神经网络的输入图像块，对于所述步骤4获得的任一直线L的支撑区域，获取支撑区域内各像素点的值，得到直线L对应的原始图像块AL，利用双线性插值方法将AL调整为大小固定的图像块AL'，AL'就是输入图像块，大小为65×128。
2.根据权利要求1所述的一种基于端到端学习的线特征描述系统，其特征在于，所述图像输入模块在初始阶段需要获取相同场景在不同成像条件下的成像图像，由于光照或者环境的变化，两幅图像会出现不同的基底噪声效果、目标移动或者一定程度上的变形，保留基础的特征场景。
3.根据权利要求1所述的一种基于端到端学习的线特征描述系统，其特征在于，所述图像输入模块需要利用现有直线检测方法获取图像中的直线，为了保证检测方法对图像获取直线的干扰度在可控范围内，可以统一使用Hough直线检测算法或者Freeman直线检测算法，这两种算法使用度较广，提取特征较为明显，方便进行干扰剔除。
4.根据权利要求1所述的一种基于端到端学习的线特征描述系统，其特征在于，所述神经网络处理模块训练并构建基于端到端学习的神经网络，具体步骤为：
步骤1、对输入的图像块进行预处理，对于所述输入图像块AL'进行归一化处理，获得其中，Mean表示所述输入图像块AL'的矩阵计算均值，Std表示所述输入图像块AL'的矩阵计算标准差；
步骤2、构建神经网络；
步骤21、搭建HardNet 卷积神经网络，将网络最后一层卷积核的大小由8×8 修改为17×
32；
步骤22、卷积核的个数改为256，网络其他设置不变；
步骤23、获得基于端到端学习的线特征描述方法的神经网络；
步骤3、通过三组损失函数获取新的网络参数；
步骤31、从归一化后的输入图像块中随机选取n对图像块，通过重复步骤2中的卷积过程，得到n对匹配直线对应图像块的归一化矩阵，表示为其中，
和分别为直线Lj和直线Lj'对应图像块的归一化矩阵，直线Lj和Lj'为正确的匹配直线对；
步骤32、计算大小为n×n的距离矩阵D；
其中， i，j＝1，2，…，n，ai、bj分别为直线Lj和Lj'对
应的描述子；
步骤33、计算三组损失函数：
其中，代表最接近ai的非匹配描述子，jmin＝arg minj＝1，…，n，j≠id(ai,bj)，代表最接近bi的非匹配描述子，kmin＝arg mink＝1，…，n，k≠i d(ak,bi)，根据Loss函数利用梯度下降法获取新的网络参数；
步骤4、利用步骤3获得的网络模型参数更新步骤2中构建的神经网络；
步骤5、重复步骤3和步骤4，直到参数更新达到指定的次数。
5.根据权利要求1所述的一种基于端到端学习的线特征描述系统，其特征在于，所述神经网络处理模块在进行卷积神经网络基础构建时，对卷积核的个数和最后一层卷积核的大小进行了明确说明，这是在多次使用训练数据对网络训练学习后得到的设置规定，保证神经网络的收敛速度和局部最优。
6.根据权利要求1所述的一种基于端到端学习的线特征描述系统，其特征在于，所述直线子获取模块可以获取输入图像中的直线的描述子，从而得到端到端的学习特征描述。

说明书全文

一种基于端到端学习的线特征描述系统

技术领域

[0001] 本发明涉及一种图像处理和深度学习技术，尤其是一种基于端到端学习的线特征描述方法。

背景技术

[0002] 随着图像处理技术的不断发展，图像匹配等基于特征学习的方法使用也愈加广泛，逐渐成为图像处理的基础保障技术。在基于特征的图像匹配中，相比于点特征，线特征包含更丰富的特征信息，具有更高的可靠性，以线特征作为描述基元也更符合人类视觉感知的特点。

[0003] 有一些方法利用直线自身的几何属性以及相互之间的约束进行描述与匹配。很多科学家都为之提出了一定程度上的创新和改革。Zeng等人用直线段中点、倾角等信息来辅助完成线特征的描述与匹配，然而线段几何信息维度太低，不能充分描述图像中的线特征。Zuliani使用物理模型中的波动方程对比和曲线建模，但是这只适用于对闭合曲线的描述。

[0004] 还有一些方法，利用已匹配的点特征建立约束关系进行描述与匹配。Fan提出LP(line matching leveraged by Point correspondences)算法，利用直线邻域内已匹配的点特征到直线的距离比建立仿射和射影不变描述子，并利用距离比的最大值和中位数判断直线的匹配。Liu借助直线邻域内两对对应点构造了第二阶光照测度描述子，利用图匹配的方法匹配直线，但其匹配的正确率依赖于对应点的正确率，不适用于纹理缺乏的场景。

[0005] 除了以上两种，还有一些方法把直线的局部邻域作为特征的支撑区域来构造描述子向量。Schmid和Zisserman通过直线局部邻域的灰度相关性来匹配直线，但其容易受到图像颜色和亮度变化的影响，致使匹配效果不佳。Herbert等人使用线特征两侧的颜色分布直方图来描述边缘特性，但这种方法明显不适用于颜色特征无显著差异的图像，而且描述直线的颜色直方图易受光照变化的影响。Wang提出具有平移、旋转、光照不变性的MSLD描述子，着重于处理没有任何先验知识的自动匹配，该描述符采用欧氏距离进行相似性度量，对图像的旋转、光照变化、模糊、视点变化、噪声、JPEG压缩及部分遮挡有较高的鲁棒性，可用于3维重建和对象识别，对纹理场景中适度的图像变换能够获得良好的匹配结果，然而该研究局限于单一尺度拍摄的影像之间，对尺度变化较为敏感。

[0006] 本发明通过提出一种端对端的直接提取，可以较为迅速快捷地获取学习线特征的描述，在收敛效果较好的神经网络配合下，能够简单快速地得到具有鲁棒性与可区分性的直线描述子。

发明内容

[0007] 发明目的：提供一种基于端到端学习的线特征描述系统，以解决上述问题。

[0008] 技术方案：一种基于端到端学习的线特征描述系统，包括图像输入模块、神经网络处理模块和直线子获取模块，通过对图像信息的预处理，进一步利用神经网络进行再处理，可以迅速获得同时具有鲁棒性和可区分性的直线描述子；

[0009] 图像输入模块，在获取图像信息后建立图像数据集之后，首先检测图像中的直线，然后获取图像对中的正确匹配直线对，进一步得到直线的支撑区域和神经网络的输入图像块；

[0010] 神经网络处理模块，对输入的图像块进行预处理，完成神经网络的构建之后，通过三组损失函数获取新的网络参数，进一步更新神经网络的参数并迭代更新至指定的次数；

[0011] 直线子获取模块，获得输入直线的描述子；

[0012] 所述图像输入模块，通过检测图像中的直线，获取能够正确匹配的直线对，进一步获取直线的支撑区域，进而获取神经网络的输入图像块，具体步骤为：

[0013] 步骤1、创建图像数据集，收集不同场景下的图像，将同一场景不同成像条件下的两幅图像构成图像对，输入计算机；

[0014] 步骤2、对于任一输入图像，利用现有直线检测方法获取图像中的直线；

[0015] 步骤3、获取图像对中的正确匹配直线对；

[0016] 步骤31、对于任一图像对，利用现有直线匹配方法获得图像对中的直线匹配结果，剔除错误匹配；

[0017] 步骤32、获得图像对中的正确匹配直线对{(Lj，Lj')，j＝1，2，…，NL}，其中，Lj表示图像对中第1幅图像中正确匹配的第j条直线，Lj'表示图像对中第2幅图像中与Lj正确匹配的直线，NL为两幅图像直线匹配结果中正确匹配的直线对个数；

[0018] 步骤4、获取直线的支撑区域；

[0019] 步骤41、对于任一条由Num(L)个点组成的直线L，首先沿直线L的方向，将直线L的两个端点分别向外延伸32个像素距离，得到直线L'；

[0020] 步骤42、沿直线L的垂直方向，以直线L'上的各点为中心向两侧分别扩展32个像素距离，从而得到大小为65×(Num(L)+64)的矩形区域，该矩形区域即为直线L的支撑区域；

[0021] 步骤5、获取神经网络的输入图像块，对于所述步骤4获得的任一直线L的支撑区域，获取支撑区域内各像素点的值，得到直线L对应的原始图像块AL，利用双线性插值方法将AL调整为大小固定的图像块AL'，AL'就是输入图像块，大小为65×128。

[0022] 根据本发明的一个方面，所述图像输入模块在初始阶段需要获取相同场景在不同成像条件下的成像图像，由于光照或者环境的变化，两幅图像会出现不同的基底噪声效果、目标移动或者一定程度上的变形，保留基础的特征场景。

[0023] 根据本发明的一个方面，所述图像输入模块需要利用现有直线检测方法获取图像中的直线，为了保证检测方法对图像获取直线的干扰度在可控范围内，可以统一使用Hough直线检测算法或者Freeman直线检测算法，这两种算法使用度较广，提取特征较为明显，方便进行干扰剔除。

[0024] 根据本发明的一个方面，所述神经网络处理模块训练并构建基于端到端学习的神经网络，具体步骤为：

[0025] 步骤1、对输入的图像块进行预处理，对于所述输入图像块AL'进行归一化处理，获得

[0026] 其中，Mean表示所述输入图像块AL'的矩阵计算均值，Std表示所述输入图像块AL'的矩阵计算标准差；

[0027] 步骤2、构建神经网络；

[0028] 步骤21、搭建HardNet 卷积神经网络，将网络最后一层卷积核的大小由8×8 修改为17×32；

[0029] 步骤22、卷积核的个数改为256，网络其他设置不变；

[0030] 步骤23、获得基于端到端学习的线特征描述方法的神经网络；

[0031] 步骤3、通过三组损失函数获取新的网络参数；

[0032] 步骤31、从归一化后的输入图像块中随机选取n对图像块，通过重复步骤2中的卷积过程，得到n对匹配直线对应图像块的归一化矩阵，表示为

[0033] 其中，和分别为直线Lj和直线Lj'对应图像块的归一化矩阵，直线Lj和Lj'为正确的匹配直线对；

[0034] 步骤32、计算大小为n×n的距离矩阵D；

[0035] 其中， i，j＝1，2，…，n，ai、bj分别为直线Lj和Lj'对应的描述子；

[0036] 步骤33、计算三组损失函数：

[0037]

[0038] 其中，代表最接近ai的非匹配描述子，jmin＝arg minj＝1，…，n，j≠i d(ai,bj)，代表最接近bi的非匹配描述子，kmin＝arg mink＝1，…，n，k≠i d(ak,bi)，根据Loss函数利用梯度下降法获取新的网络参数；

[0039] 步骤4、利用步骤3获得的网络模型参数更新步骤2中构建的神经网络；

[0040] 步骤5、重复步骤3和步骤4，直到参数更新达到指定的次数。

[0041] 根据本发明的一个方面，所述神经网络处理模块在进行卷积神经网络基础构建时，对卷积核的个数和最后一层卷积核的大小进行了明确说明，这是在多次使用训练数据对网络训练学习后得到的设置规定，保证神经网络的收敛速度和局部最优。

[0042] 根据本发明的一个方面，所述直线子获取模块可以获取输入图像中的直线的描述子，从而得到端到端的学习特征描述。

[0043] 有益效果：本发明提供的基于端到端学习的线特征描述方法通过提取线特征在原图像中的图像块作为训练样本，输入神经网络模型中进行训练，最终获取所需的直线描述子，解决了现有直线描述算法中存在复杂条件下描述子可区分性和鲁棒性不强和直线长度不一等问题。本发明提供的方法不仅可以获得具有强可区分性和鲁棒性的线特征描述子，而且操作简单，计算速度快，可获得多种不同图像变换下的线特征描述子。附图说明

[0044] 图1是本发明的线特征描述方法流程图。

[0045] 图2是本发明神经网络模型的结构图。

具体实施方式

[0046] 如图1所示，在该实施例中，一种基于端到端学习的线特征描述系统，包括图像输入模块、神经网络处理模块和直线子获取模块，通过对图像信息的预处理，进一步利用神经网络进行再处理，可以迅速获得同时具有鲁棒性和可区分性的直线描述子；

[0047] 图像输入模块，在获取图像信息后建立图像数据集之后，首先检测图像中的直线，然后获取图像对中的正确匹配直线对，进一步得到直线的支撑区域和神经网络的输入图像块；

[0048] 神经网络处理模块，如图二所示，对输入的图像块进行预处理，完成神经网络的构建之后，通过三组损失函数获取新的网络参数，进一步更新神经网络的参数并迭代更新至指定的次数；

[0049] 直线子获取模块，获得输入直线的描述子；

[0050] 所述图像输入模块，通过检测图像中的直线，获取能够正确匹配的直线对，进一步获取直线的支撑区域，进而获取神经网络的输入图像块，具体步骤为：

[0051] 步骤1、创建图像数据集，收集不同场景下的图像，将同一场景不同成像条件下的两幅图像构成图像对，输入计算机；

[0052] 步骤2、对于任一输入图像，利用现有直线检测方法获取图像中的直线；

[0053] 步骤3、获取图像对中的正确匹配直线对；

[0054] 步骤31、对于任一图像对，利用现有直线匹配方法获得图像对中的直线匹配结果，剔除错误匹配；

[0055] 步骤32、获得图像对中的正确匹配直线对{(Lj，Lj')，j＝1，2，…，NL}，其中，Lj表示图像对中第1幅图像中正确匹配的第j条直线，Lj'表示图像对中第2幅图像中与Lj正确匹配的直线，NL为两幅图像直线匹配结果中正确匹配的直线对个数；

[0056] 步骤4、获取直线的支撑区域；

[0057] 步骤41、对于任一条由Num(L)个点组成的直线L，首先沿直线L的方向，将直线L的两个端点分别向外延伸32个像素距离，得到直线L'；

[0058] 步骤42、沿直线L的垂直方向，以直线L'上的各点为中心向两侧分别扩展32个像素距离，从而得到大小为65×(Num(L)+64)的矩形区域，该矩形区域即为直线L的支撑区域；

[0059] 步骤5、获取神经网络的输入图像块，对于所述步骤4获得的任一直线L的支撑区域，获取支撑区域内各像素点的值，得到直线L对应的原始图像块AL，利用双线性插值方法将AL调整为大小固定的图像块AL'，AL'就是输入图像块，大小为65×128。

[0060] 在进一步的实施例中，所述图像输入模块在初始阶段需要获取相同场景在不同成像条件下的成像图像，由于光照或者环境的变化，两幅图像会出现不同的基底噪声效果、目标移动或者一定程度上的变形，保留基础的特征场景。

[0061] 在进一步的实施例中，所述图像输入模块需要利用现有直线检测方法获取图像中的直线，为了保证检测方法对图像获取直线的干扰度在可控范围内，可以统一使用Hough直线检测算法或者Freeman直线检测算法，这两种算法使用度较广，提取特征较为明显，方便进行干扰剔除。

[0062] 在进一步的实施例中，所述神经网络处理模块训练并构建基于端到端学习的神经网络，具体步骤为：

[0063] 步骤1、对输入的图像块进行预处理，对于所述输入图像块AL'进行归一化处理，获得

[0064] 其中，Mean表示所述输入图像块AL'的矩阵计算均值，Std表示所述输入图像块AL'的矩阵计算标准差；

[0065] 步骤2、构建神经网络；

[0066] 步骤21、搭建HardNet卷积神经网络，将网络最后一层卷积核的大小由8×8修改为17×32；

[0067] 步骤22、卷积核的个数改为256，网络其他设置不变；

[0068] 步骤23、获得基于端到端学习的线特征描述方法的神经网络；

[0069] 步骤3、通过三组损失函数获取新的网络参数；

[0070] 步骤31、从归一化后的输入图像块中随机选取n对图像块，通过重复步骤2中的卷积过程，得到n对匹配直线对应图像块的归一化矩阵，表示为

[0071] 其中，和分别为直线Lj和直线Lj'对应图像块的归一化矩阵，直线Lj和Lj'为正确的匹配直线对；

[0072] 步骤32、计算大小为n×n的距离矩阵D；

[0073] 其中， i，j＝1，2，…，n，ai、bj分别为直线Lj和Lj'对应的描述子；

[0074] 步骤33、计算三组损失函数：

[0075]

[0076] 其中，代表最接近ai的非匹配描述子，jmin＝arg minj＝1，…，n，j≠i d(ai,bj)，代表最接近bi的非匹配描述子，kmin＝arg mink＝1，…，n，k≠i d(ak,bi)，根据Loss函数利用梯度下降法获取新的网络参数；

[0077] 步骤4、利用步骤3获得的网络模型参数更新步骤2中构建的神经网络；

[0078] 步骤5、重复步骤3和步骤4，直到参数更新达到指定的次数。

[0079] 在进一步的实施例中，所述神经网络处理模块在进行卷积神经网络基础构建时，对卷积核的个数和最后一层卷积核的大小进行了明确说明，这是在多次使用训练数据对网络训练学习后得到的设置规定，保证神经网络的收敛速度和局部最优。

[0080] 在更进一步的实施例中，神经网络的针对化优势不明显的时候可以通过调整最后一层的卷积核大小或者整体卷积核的个数进行系统修正，但是修正范围控制需要保证输入图像内匹配直线对不受影响。

[0081] 在进一步的实施例中，所述直线子获取模块可以获取输入图像中的直线的描述子，从而得到端到端的学习特征描述。

[0082] 总之，本发明具有以下优点：解决了现有直线描述算法中在复杂条件下存在描述子可区分性和鲁棒性不强和直线长度不一等问题；通过提供基于端到端学习的线特征描述方法，提取线特征在图像中的图像块，然后利用插值方法获取大小固定的图像块作为训练样本，输入神经网络模型中进行训练，最终获取所需的直线描述子；输入为图像块，输出为该图像块的描述子，实现了端对端的图像描述学习。整体来说，本发明使用的方法不仅可以获得具有强可区分性和鲁棒性的线特征描述子，而且操作简单，计算速度快，可获得多种不同图像变换下的线特征描述子。

[0083] 另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

标题	发布/更新时间	阅读量
图像处理方法、装置、存储介质以及终端	2020-05-08	959
一种动画运动规律教学的辅助系统及其使用方法	2020-05-11	921
输电线路杆塔的巡检方法及系统	2020-05-11	524
一种晶圆位置确定方法	2020-05-08	519
一种车载以太网的自动泊车系统及自动代客泊车方法	2020-05-11	788
基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法	2020-05-08	140
一种图像融合的方法、装置及双光相机、无人机	2020-05-08	696
基于双目视觉的高低分辨率融合立体匹配方法	2020-05-08	294
一种对基于断层成像技术提供的人体关节数据进行处理的方法	2020-05-08	107
传感器固定结构及包含该结构的传感器姿态调节组件	2020-05-08	957

一种基于端到端学习的线特征描述系统

一种基于端到端学习的线特征描述系统

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：