专利汇可以提供一种基于深度哈希和量化的图像检索方法及存储介质专利检索,专利查询,专利分析的服务。并且本 发明 请求 保护一种基于深度哈希和量化的图像检索方法及存储介质,首先建立训练集和测试集,对需要识别的图像进行预处理,然后构建 卷积神经网络 ,采用Alexnet模型结构作为基本架构,再利用训练样本随时生成数据对,根据卷积神经网络进行训练,得到相应的输出值Zn。通过将图像类别通过Glove模型处理得到嵌入标签V,再结合嵌入标签V,计算卷积神经网络输出值的误差函数,并更新网络参数,最后,将查询图像和 数据库 图像分别通过训练好的模型处理得到相应的二值编码后,通过非对称距离量化方法计算内积相似性,输出检索结果。本发明引入分 块 编码模块,利用精心设计的混合网络和 指定 的损失函数,联合学习深度视语义标签,大大提高了图像检索的准确性。,下面是一种基于深度哈希和量化的图像检索方法及存储介质专利的具体信息内容。
1.一种基于深度哈希和量化的图像检索方法,其特征在于,包括以下步骤:
步骤S1:建立训练集和测试集,对需要识别的图像进行预处理,预处理的方法包括图像的旋转、白化、均值与方差的均衡在内的操作;
步骤S2:构建卷积神经网络,采用Alexnet模型结构作为基本架构,卷积神经网络中包含5个卷积层、3个池化层和2个全连接层,1个哈希层;哈希层为一个组合层,用于将图像特征通过分层和合并输出二值编码;
步骤S3:训练集中随机生成训练图像并且设置网络参数,通过卷积神经网络进行前向传导得到相应的二值编码Zn。
步骤S4:将图像类别通过Glove模型处理得到嵌入标签V;
步骤S5:通过结合嵌入标签V,设置损失函数,计算卷积神经网络实际输出值和预测输出值的误差,将损失函数通过反向传播算法和随机梯度下降方法更新网络参数;
步骤S6:将查询图像和数据库图像分别通过训练好的模型处理得到相应的二值编码,通过非对称距离量化方法计算内积相似性,从小到大进行相似性排序,得到检索结果。
2.根据权利要求1所述的一种基于深度哈希和量化的图像检索方法,其特征在于,所述步骤S2构建卷积神经网络采用Alexnet模型结构作为基本架构。卷积神经网络中包含5个大卷积层、3个池化层和2个全连接层,1个哈希层,具体包括:
第一层卷积层:核尺度为11*11*3(3为RGB通道数),步长为4;
第一层池化层:池化尺度为3*3步长为2;
第二层卷积层:核尺度为5*5*3,步长为1;
第二层池化层:池化尺度为3*3,步长为2;
第三层卷积层:核尺度为3*3*3,步长为1;
第四层卷积层:核尺度为3*3*3,步长为1;
第五层卷积层:核尺度为3*3*3,步长为1;
第五层池化层:池化尺度为3*3,步长为2;
第六层和第七层为全连接层,每一层的神经元的个数为4096;
第八层为哈希层,其中哈希层的分片层,对图像特征X进行分片,假设图像特征为X的维数为m,需要生成哈希码的长度为q,则需要将图像特征分为q片,记为x(i),每一片包含的维度为m/q,分片层得到的q个子特征分别进入全连接层,且每个全连接层的输出为1维,表示为fi(x(i))=Wix(i)其中Wi为第i层全连接层的权重矩阵,每一个子块分片进入激活层,激活层使用双正切激活函数将每个子块输出的1维数值映射为值域在[-1,1]之间的数值,采用双正切激活函数近似代替符号函数,使用分片且分别为每个子块分配随机权重矩阵Wi,使得每个哈希码仅与特征的部分是相关的,从而达到哈希码构造的独立性;然后进入合并层,T
合并层主要将q个子块的1维输出合并一个q维向量,表示为s=(V1,V2,V3…Vq) ,Vq表示将一个全连接层分成q部分,每个部分为向量表示,其中Vq表示第q部分表示的向量,合并层的输出即为哈希函数输出值的近似值,为连续的哈希值。
3.根据权利要求2所述的一种基于深度哈希和量化的图像检索方法,其特征在于,所述步骤S4将图像类别通过Glove模型处理得到嵌入标签,具体包括:
首先基于语料库构建词的共现矩阵,然后基于共现矩阵和Glove模型学习词向量,其中共线矩阵H,Hij表示整个语料库中单词i和单词j出现在同一个窗口中的次数,其中窗口为中心词和左右词总个数构成窗口大小,然后再通过Glove模型处理,其计算公式如下:
J表示通过Glove模型处理完得到的结果即步骤S4得到的嵌入标签V,其中Vi,Vj为单词i和单词j的词向量,bi和bj为两个标量f(Hij)的权重函数,N表示词汇表大小,Hij表示为整个语料库中单词i和单词j出现在同一个窗口中的次数。
4.根据权利要求3所述的一种基于深度哈希和量化的图像检索方法,其特征在于,所述步骤S5通过结合嵌入标签V,设置损失函数,计算卷积神经网络实际输出值和预测输出值的误差,将损失函数通过反向传播算法和随机梯度下降方法更新网络参数。具体包括:结合嵌入标签V,设置损失函数,其中损失函数包括焦点损失函数和自适应边缘损失函数以及优化乘积量化损失函数;
Part1:焦点损失函数,计算公式为:
FL(pt)=-αt(1-pt)rlog(pt)
其中pt为模型预测类标签为1的概率(sigmoid函数),r被称为聚焦参数,r≥0,-(1-pt)r为调节参数,控制分类样本和难分类样本,αt为控制正负样本权重参数,αt∈[0,1];
Part 2:自适应边缘损失函数,计算公式为:
其中 Vi,Vj为正负标签,δij表示自适应边缘,通过公式δij使得
调节目标和正负标签之间的距离Zn为卷积神经网络的输出值,通过上述公式使得目标与正确标签相近,与负标签距离拉大;
Part3:优化乘积量化损失函数,使用优化乘积量化OPQ方法,为乘积量化PQ方法的改进,在做PQ编码时候,对于切分的各个子空间,需要将各个子控件的方法都相等,在聚类的时候对聚类中心寻找最优旋转矩阵,使得所有子控件中各个数据点到对应子控件的类中心的L2损失的求和最小,然后再通过PQ方法得到结果,其中乘积量化(PQ)方法为将D维空间划分为M个码本,每个码本包含k个码字表示为Cm=[Cm1,...,Cmk],k个码字为Kmeans聚类得到的聚类中心,将二进制bn表示为bn=[b1n;...;bMn],每个指示向量bmn表示第m个码本中k个码字中的仅有一个近似表示第n个数据点,将Zn近似为 引入标签嵌入Vi,通过最大内积方法处理,计算公式为:
其中Vi表示由Glove模型处理得到的标签嵌入,y表示图像标签,v表示处理后的表示值,|y|表示图像标签数量,Zn表示卷积神经网络的输出值;
通过联合算法联合三种损失方法,计算公式为:
其中λ、α为参数,C表示码本,B表示二值编码,W为网络参数,其中网络参数包含迭代次数、学习率、每次训练图像数量,通过损失函数优化最终结果,利用反向传播算法和随机梯度下降方法更新网络参数。
5.根据权利要求4所述的一种基于深度哈希和量化的图像检索方法,其特征在于,所述利用反向传播算法和随机梯度下降方法更新网络参数,具体包括:
将误差进行反向传播,且逐步更新卷积神经网络的所有权值参数,参数的更新计算,表达式如下所示:
其中θ表示参数,L(θ)是损失函数,参数θ的梯度为 η为学习率,定义每次更新的幅度;
随机梯度下降方法(SGD):从样本中随机抽取一组,训练后按梯度更新一次,然后再抽取一组,再更新一次;传统梯度下降算法中L(θ)为整个训练集进行评估的,而在SGD方法中为简单地使用单个或者少量训练样本来估计期望值。新的更新公式定义如下:
其中(x(i),y(i))为训练集中一个样本。
6.根据权利要求5所述的一种基于深度哈希和量化的图像检索方法,其特征在于,所述步骤S6将查询图像和数据库图像分别通过训练好的模型处理得到相应的二值编码,通过非对称距离量化方法计算内积相似性,从小到大进行相似性排序,得到检索结果,具体实现步骤如下:
给定数据库二进制代码 使用非对称量化器距离(AQD)作为度量,计算给
定查询q与数据库图像Xn在语义空间内的内积相似性,从小到大进行相似性排序,得到检索结果,计算公式为:
其中q为查询图像,Xn为数据库图像,Zq为查询图像通过卷积神经网络处理的结果,Cm表示码本,bmn为指示向量。
7.一种存储介质,该存储介质内部存储计算机程序,其特征在于,所述计算机程序被处理器读取时,执行上述权利要求1~6任一项的方法。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
一种降雨预测方法、系统及电子设备 | 2020-05-13 | 779 |
基于深度神经网络的超像素级SAR图像变化检测方法 | 2020-05-13 | 326 |
一种Web攻击检测方法、系统、介质和设备 | 2020-05-17 | 440 |
一种基于BP神经网络的过渡电阻预测方法 | 2020-05-11 | 880 |
一种基于数据融合和BP神经网络的跌倒检测系统及方法 | 2020-05-16 | 611 |
基于自样例增强的超分辨率图像重建方法 | 2020-05-08 | 548 |
基于脑机接口的智能家居控制方法及系统 | 2020-05-16 | 281 |
一种基于批次图像化的卷积自编码故障监测方法 | 2020-05-17 | 34 |
基于多卷积核残差网络的行为识别系统、方法、介质及设备 | 2020-05-11 | 705 |
胶凝砂砾石配合比关键指标预测抗压强度的BP神经网络分析方法 | 2020-05-11 | 764 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。