首页 / 专利库 / 人工智能 / 训练数据 / 一种基于迁移学习的建筑物标定方法

一种基于迁移学习的建筑物标定方法

阅读:1035发布:2020-07-18

专利汇可以提供一种基于迁移学习的建筑物标定方法专利检索,专利查询,专利分析的服务。并且一种基于迁移学习的建筑标定方法,包括如下步骤:1)取自制数据集分别构造训练集和测试集,该数据集包含来自相关设计所的 建筑物 设计图以及网上实拍建筑物图片,应用作为推荐系统测试数据;2)构建建筑物标定技术架构模型,该模型包括图像特征标定,图像特征提取, 数据库 匹配, 马 氏距离设定以及最后的图像认证;3)将数据集切分成小 块 依次输入到建筑物识别神经网络中利用反向传播Adam 算法 更新参数,通过所设置的训练轮数来训练最后更改的分类器进行训练;4)将训练好的模型对实际建筑物图片进行标定。,下面是一种基于迁移学习的建筑物标定方法专利的具体信息内容。

1.一种基于迁移学习的建筑物标定方法,包括以下步骤:
步骤1.自制数据集,建筑物数据集来自于Google图片以及百度图片,基于现有的数据集共分为七类生活中常见的建筑物,分别为教堂,居民楼,医院,酒店,图书馆,别墅住房以及商场,并作均一化处理;
步骤2.构建基于迁移学习的多特征标定神经网络模型,整个网络架构分为图像特征标定,图像特征提取,数据库匹配,以及图形认证;
图像特征标定:针对建筑物格明显的建筑物进行单一特征标定,风格多样的进行多特征标定,继而形成该图片的特征矩阵;
图像特征提取:进行特征标定后的图片作为网络输入,多层神经网络由一系列卷积层和下采样层的相互配合来学习原始图像的特征,结合经典的BP算法来调整参数,完成权值更新,BP网络更新权值公式为:
ω(t+1)=ω(t)+ηδ(t)x(t)  (1)
其中ω(t)为连接权值,x(t)为神经元的输出,δ(t)表示该神经元的误差项,η表示学习率,网络中卷积层的网络结构采用卷积的离散型,表示为:
其中Mβ表示输入特征的一个选择,k表示卷积核,γ表示网络的层数,b表示每个输入特征映射添加的偏置,对于特定的输出映射,输入的映射特征可以应用不同的卷积核卷积得到;f表示卷积神经元所用的激活函数,在此每个使用的都是ReLu激活函数;
数据库匹配:此处的数据库是来自于训练数据集所得到的每张图片的特征向量,网络训练后每张图片的特征信息会以1024维数据点的形式保存在标签文件中,在测试数据集的时候新训练的图片特征信息会通过计算断其氏距离来进行数据库的匹配;
图像认证:图像特征提取模块完成特征提取后,得到两个输出结果,一是图像的特征向量,二是图像分类后的标签;图像认证模块根据待认证图像已有标签先将其归入图像库对应类别中,再与该类别其它图像进行马氏距离计算,结果计为Di(i=1,2,3…,m),取出Dmin;
根据计算结果来判断待认证图像是否出自该数据库或与该数据库的图像出自同一张源图;
判断方法本文使用阈值法,阈值Thm根据大量实验结果设定;如果Dmin>Thm,即该图像和该类中所有图像距离较大,不属于该数据库;反之,则该图像属于该数据库,且与Dmin对应的图像为同一图像或者来源于同一张图像;
马氏距离的定义:已知有M个样本向量X1~Xm,协方差矩阵记为S,均值记为向量μ,则其中样本向量Xi到μ的马氏距离D(X)表示为:
而其中向量Xi与Xj的马氏距离定义为:
若协方差矩阵是单位矩阵,即各样本向量之间独立同分布,则公式就变成:
也就是欧式距离;若协方差矩阵是对矩阵,公式就变成标准化欧氏距离;因此,马氏距离和欧式距离相比,它是一种有效的计算两个未知样本集的相似度的方法;与欧氏距离不同的是它考虑到各种特性之间的联系且不受纲量影响,测试图像认证模块准确率,通过对自制数据集Build-7每张图片进行小范围旋转,仿射,灰度变换的操作,合成新的数据集来模拟篡改的图像,而图像认证准确率主要取决于前期图像分类的结果以及阈值的选取,所以实验目的是找到合适的阈值,阈值的初始值通过计算变换后图像与原图像的距离,统计分析后设定;
步骤3.网络训练,过程如下:
将网络的训练轮数定为10000次,训练的batch—size为100,每10次进行一轮预测,同时将全部数据的80%作为主要的训练样本T,另外10%作为训练过程中的交叉验证样本V,剩下的10%作为预测分类器在真实世界中的表现的测试数据集K,训练使用的算法为随机梯度下降算法SGD,网络的输入为大小为229x229x3,在块中的卷积层全部采用3x3小型卷积核进行参数削减,通过迁移了来自根据imageNet训练的GoogleNet权重,并进行微调,使网络从最优点开始训练,重新训练分类器,计算训练集T的log loss损失函数值,根据反向传播算法更新多层神经网络的权值和偏差;
计算验证集V的log loss损失函数值,判定模型是否收敛,如果收敛模型训练结束否则进入下一批训练集T上的数据进行训练直到验证集V上的log loss损失函数值趋向收敛;最后用测试集K验证模型的精确度;
步骤4.将训练好的模型对实际建筑物图片进行标定。
2.如一种基于迁移学习的建筑物标定方法,其特征在于:步骤2所述的阈值的初始值为
2.0。

说明书全文

一种基于迁移学习的建筑物标定方法

技术领域

[0001] 本发明涉及图像分类领域,具体是一种基于迁移学习的建筑标定方法背景技术
[0002] 建筑物识别同时是计算机视觉模式识别领域的研究热点之一,它能够使人们根据图像快速获取建筑物的位置,名称,描述等相关信息,在建筑物定位建筑设计,建筑物标记等领域有着重要的应用价值,而如何能有效地标定是建筑物识别的关键问题。
[0003] 建筑物识别关键技术在于特征的提取,最公共的图像特征包括颜色特征、纹理特征、形状特征,大部分已经建立的图像标注和图像提取体系都是基于这些特征的,而它们的性能大部分都是取决于所提取特征的表示方法,针对颜色特征、纹理特征、形状特征,主要有以下这些使用较广泛的特征描述子:HOG描述子,LBP描述子,HSV描述子,SIFT描述子。使用这些描述子,并结合降维、建立金字塔、构建词袋模型等方法,生成高效的特征提取器。但是传统特征具有非常大的局限性,人为特征工程耗时耗且对专业领域知识要求高,提取的特征较单一,且随着数据集复杂程度增加,特征效果越差。所以单使用传统特征,已无法满足现计算机视觉领域对特征提取的需求。近年来,随着深度学习技术的发展,基于端对端学习的神经网络结构,依赖大数据及高维参数空间优势,从底层到顶层逐步抽象合成高级特征。数据驱动的自学习方式保证卷积神经网络具有优秀的特征抽取能力。因此将深度学习与建筑物标定结合起来具有实际的应用价值。

发明内容

[0004] 本发明要解决现有的建筑物识别技术精度低、需要大量人为特征工程的缺点,提供一种基于迁移学习的建筑物标定方法。
[0005] 本发明结合迁移学习的卷积神经网络进行特征提取,以及多特征标定技术进行特征划分来让模型能够更好的捕获特征之间的潜在关联信息以提高模型的预测的精度,微调网络模型,通过Inception网络模型获得最后一层的输入,定义为Bottlenecks,然后使用Bottlenecks对最后更改的softmax layer进行训练,同时在spyder可视化平台上进行了仿真实验
[0006] 本发明解决其技术问题所采用的技术方案是:
[0007] 一种基于迁移学习的建筑物标定方法,包括如下步骤:
[0008] 步骤1.自制数据集,该建筑物数据集来自于Google图片以及百度图片,基于现有的数据集共分为七类生活中常见的建筑物,分别为教堂,居民楼,医院,酒店,图书馆,别墅住房以及商场,并作均一化处理。
[0009] 步骤2.构建基于迁移学习的多特征标定神经网络模型,整个网络架构分为图像特征标定,图像特征提取,数据库匹配,以及图形认证。
[0010] 图像特征标定:针对建筑物格明显的建筑物进行单一特征标定,风格多样的进行多特征标定,继而形成该图片的特征矩阵。
[0011] 图像特征提取:进行特征标定后的图片作为网络输入,多层神经网络由一系列卷积层和下采样层的相互配合来学习原始图像的特征,结合经典的BP算法来调整参数,完成权值更新,BP网络更新权值公式为:
[0012] ω(t+1)=ω(t)+ηδ(t)x(t)  (1)
[0013] 其中ω(t)为连接权值,x(t)为神经元的输出,δ(t)表示该神经元的误差项,η表示学习率,网络中卷积层的网络结构采用卷积的离散型,表示为:
[0014]
[0015] 其中Mβ表示输入特征的一个选择,k表示卷积核,γ表示网络的层数,b表示每个输入特征映射添加的偏置,对于特定的输出映射,输入的映射特征可以应用不同的卷积核卷积得到。f表示卷积神经元所用的激活函数,在此每个使用的都是ReLu激活函数。
[0016] 数据库匹配:此处的数据库是来自于训练数据集所得到的每张图片的特征向量,网络训练后每张图片的特征信息会以1024维数据点的形式保存在标签文件中,在测试数据集的时候新训练的图片特征信息会通过计算断其氏距离来进行数据库的匹配。
[0017] 图像认证:图像特征提取模块完成特征提取后,得到两个输出结果,一是图像的特征向量,二是图像分类后的标签。图像认证模块根据待认证图像已有标签先将其归入图像库对应类别中,再与该类别其它图像进行马氏距离计算,结果计为Di(i=1,2,3…,m),取出Dmin。根据计算结果来判断待认证图像是否出自该数据库或与该数据库的图像出自同一张源图。判断方法本文使用阈值法,阈值Thm根据大量实验结果设定。如果Dmin>Thm,即该图像和该类中所有图像距离较大,不属于该数据库。反之,则该图像属于该数据库,且与Dmin对应的图像为同一图像或者来源于同一张图像。
[0018] 关于马氏距离的定义:已知有M个样本向量X1~Xm,协方差矩阵记为S,均值记为向量μ,则其中样本向量Xi到μ的马氏距离D(X)表示为:
[0019]
[0020] 而其中向量Xi与Xj的马氏距离定义为:
[0021]
[0022] 若协方差矩阵是单位矩阵,即各样本向量之间独立同分布,则公式就变成:
[0023]
[0024] 也就是欧式距离。若协方差矩阵是对矩阵,公式就变成标准化欧氏距离。因此,马氏距离和欧式距离相比,它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系且不受纲量影响,本过程主要测试图像认证模块准确率,通过对自制数据集每张图片进行小范围旋转,仿射,灰度变换等操作,合成新的数据集来模拟篡改的图像,而图像认证准确率主要取决于前期图像分类的结果以及阈值的选取,所以本实验目的是找到合适的阈值,阈值的初始值通过计算变换后图像与原图像的距离,统计分析后设定,通过大量实验分析,原图像与经过预处理变换的马氏距离阈值均在 1.2左右,而两幅完全不同图像的马氏距离基本都是3以上,所以阈值的设定可以允许比较粗糙,所以我们可以设定阈值为2.0左右并进行实验。
[0025] 步骤3.网络训练,过程如下:
[0026] 将网络的训练轮数定为10000次,训练的batch—size为100,每10次进行一轮预测,与此同时将全部数据的80%作为主要的训练样本T,另外10%作为训练过程中的交叉验证样本V,剩下的10%作为预测分类器在真实世界中的表现的测试数据集K,训练使用的算法为SGD(随机梯度下降算法),本网络的输入为大小为229x229x3,在块中的卷积层全部采用3x3小型卷积核进行参数削减,通过迁移了来自根据imageNet训练的GoogleNet权重,并进行微调,使网络从最优点开始训练,重新训练分类器,计算训练集T的log loss损失函数值,根据反向传播算法更新多层神经网络的权值和偏差。
[0027] 计算验证集V的log loss损失函数值,判定模型是否收敛,如果收敛模型训练结束否则进入下一批训练集T上的数据进行训练直到验证集V上的log loss 损失函数值趋向收敛。最后用测试集K验证模型的精确度。
[0028] 步骤4.将训练好的模型对实际建筑物图片进行标定。
[0029] 本发明的优点是:采用基于迁移学习的“预训练-微调模式训练新的分类器和网络权重,该方式相比较于传统机器学习方法具有高通用性以及稳定性,同时本发明在此提出的多特征标定技术,通过对多功能建筑物进行人为特征标定使通过网络瓶颈层的特征向量更具表征性,大大的提高了网络分类准确率。附图说明
[0030] 图1是本发明的实验Build-7数据集的示意图。
[0031] 图2是本发明的建筑物特征矩阵表示图。
[0032] 图3是本发明的建筑物识别神经网络图。
[0033] 图4是本发明的建筑物标定技术架构图。

具体实施方式

[0034] 为了更好的说明本发明的技术方案,下面结合附图,通过一个实施例,对本发明做进一步说明。
[0035] 一种基于迁移学习的建筑标定方法,包括如下步骤:
[0036] 步骤1.取自制数据集Build-7中如图1数据分别构造训练集和测试集,该数据集包含来自相关设计所的建筑物设计图以及网上实拍建筑物图片,应用作为推荐系统测试数据。
[0037] 步骤2.模型特征标定部分图2所示,对待训练的图片进行多特征标定并以特征矩阵的方式进行标注,1表示此建筑物存在该特征,-1表示不存在此特征。经过特征标注的图片作为网络(如图3)输入,网络中迁移的Inception模块组是将多个Inception模块串联起里,该结构将CNN中常用的卷积(1x1,3x3, 5x5)、池化操作(3x3)堆叠在一起(卷积、池化后的尺寸相同,将通道相加),一方面增加了网络的宽度,另一方面也增加了网络对尺度的适应性。网络卷积层中的网络能够提取输入的每一个细节信息,同时5x5的滤波器也能够覆盖大部分接受层的的输入,对于卷积层,通常用成百上千的卷积核生成大量的特征图以捕获图像的各种特征,因此,可以聚合这些特征图的局部激活值作为特征向量,以构建比手工提取的描述符和直接从CNN全连接层提取的特征更具区分性的表达。
[0038] 步骤3.本发明的标记技术框架如图4,将数据集切分成小块依次输入到建筑物识别神经网络中利用反向传播算法更新参数,本网络的输入为大小为 229x229x3,在块中的卷积层全部采用3x3小型卷积核进行参数削减,经过特征标定和特征提取后,马氏距离设定为2.0,此外制定训练轮次为10000次,每一个块的大小(batch size)包含100条数据,其中80%的数据集作为训练样本集,10%作为训练中的交叉验证集,剩下的10%作为预测分类器在真实世界中的表现的测试数据集,每10轮进行一次预测,训练过程中使用Adam算法对模型进行训练,学习率取0.01,每个训练回合结束时,计算验证集上的验证误差。
[0039] 步骤4.将训练好的模型在测试集上预测并比较结果
[0040] 本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈