一种基于相似度网络的多模态图像能见度检测方法
专利汇可以提供一种基于相似度网络的多模态图像能见度检测方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于相似度网络的多模态图像能见度检测方法，包括如下步骤：步骤1)利用 图像配准 获取 视野 与 分辨率 均相同的可见光-红外图像对，建立双模态图像数据集；步骤2)构建相似度网络模型“4CH-LSTM-CNN网络模型”，利用双模态图像数据集训练网络的权值，获取神经网络参数；步骤3)利用训练完毕的“4CH-LSTM-CNN网络模型”对待测的可见光-红外双模态图像能见度的等级进行分类。本发明能够将可见光、红外图像各自的静态外观特征和模态之间的动态相似度变化特征进行融合。有效克服传统基于单模态可见光图像能见度检测方法局限于“静态外观特征”问题，显著提高小样本条件下能见度检测的准确性与 稳定性 。，下面是一种基于相似度网络的多模态图像能见度检测方法专利的具体信息内容。
1.一种基于相似度网络的多模态图像能见度检测方法，其特征在于：包括如下步骤：
步骤1)利用图像配准获取视野与分辨率均相同的可见光-红外图像对，建立双模态图像数据集；
步骤2)构建相似度网络模型“4CH-LSTM-CNN网络模型”，利用双模态图像数据集训练网络的权值，获取神经网络参数；
步骤3)利用训练完毕的“4CH-LSTM-CNN网络模型”对待测的可见光-红外双模态图像能见度的等级进行分类。
2.根据权利要求1所述的一种基于双模态图像相似度的能见度检测方法，其特征在于：
步骤1)的具体内容为：
首先，将可见光彩色图像转换为灰度图像Igray，并且在灰度图像Igray和红外图像IIR中分别提取SIFT特征点；然后，以红外图像IIR中每个SIFT特征点FIRi为中心，在给定的搜索范围
1 2 n
内在可见光灰度图像Igray中寻找SIFT候补特征点集合{Fgray ,Fgray ,…Fgray}；接着，计算红外图像IIR特征点FIRi与灰度图像Igray候补特征点集合中每一个特征点FCCDj之间的相似度，最后，根据最大相似度完成FIRi和{Fgray1,Fgray2,…Fgrayn}之间的可见光-红外SIFT特征点匹配；
在红外图像IIR中所有的SIFT特征点匹配之后，利用RANSAC算法从可见光-红外SIFT特征点对儿集合中，估计可见光图像Igray与红外图像IIR之间的转换矩阵M；最后，根据M矩阵将灰度图像Igray转换为与红外图像IIR在视野和分辨率均相同的图像ICCD；
双模态图像数据集的建立过程如下：首先，根据步骤1)所述预处理内容，将双目摄像机获取的可见光-红外图像配准成分辨率和视野相同的多模态图像(可见光-红外图像)集合；
然后，根据能见度的强弱将多模态集合分成N类：0为能见度最强，N为能见度最弱；对每一类的多模态图像标定种类标签Y,Y∈[0,N]。
3.根据权利要求2所述的一种基于双模态图像相似度的能见度检测方法，其特征在于：
所述的FIRi与Fgrayj之间相似度的具体计算方法如下：
1.分别以SIFT特征点FIRi和Fgrayj为中心，从IIR和Igray中提取80x80的图像块QIR和Qgray，然后，分别从QIR和Qgray中提取384维的LGHD特征向量HIRi和Hgrayj；
2.利用直方图交叉核度量两个LGHD特征向量HIRi和Hgrayj之间的相似度，计算公式如下：
式中，HIRi,Hgrayj分别是红外图像IIR第i个SIFT特征点对应LGHD特征向量；Hgrayj是可见光灰度图像Igray第j个SIFT特征点对应LGHD特征向量。
4.根据权利要求1所述的一种基于双模态图像相似度的能见度检测方法，其特征在于：
步骤2)的具体内容为：
本发明提出的“4CH-LSTM-CNN网络模型”由三个模块构成：“局部图像块提取模块”、“4通道卷积神经网络(4CH-Net)层”、“LSTM-CNN网络”；
所述的“局部图像块提取模块”的输入为红外图像IIR、可见光图像ICCD；输出为红外-可见光图像的局部图像块对IIRi、ICCDi,(i＝1,…,N)；提取过程如下：以图像中心(x0,y0)为起点，将图像的高H和宽W平均分成N份，依次以(x0,y0)为中心以i/N为步长，分别在IIR、ICCD中截取高为i*H/N,宽为i*W/N的图像块对PIRi、PCCDi(i＝1,…,N)；
所述的“4通道卷积神经网络(4CH-Net)层”由N个“4通道卷积神经网络(4CH-Net)”并行组成，每个4CH-Net网络之间没有数据交换；其中，每一个“4通道卷积神经网络(4CH-Net)”的输入是具有一个四通道数据结构的图像：第一个通道是可见光图像块PCCDi的红色分量通道(R通道)；第二个通道是可见光图像块PCCDi的蓝色分量通道(B通道)；第三个通道是可见光图像块PCCDi的绿色分量通道(G通道)；第四个通道是红外图像块PIRi对应的灰度图像(红外通道)；单个4CH-Net的网络结构如下：网络共有10层，分别是输入层(224x224x4)、卷积层
1(96个11x11卷积核)、最大池化层1(3x3)、卷积层2(256个5x5卷积核)、最大池化层2(3x3)、卷积层3(384个3x3卷积核)、卷积层4(384个3x3卷积核)、卷积层5(256个3x3卷积核)、最大池化层3(3x3)、全连接层(2048维)；每个4CH-Net网络的输出为2048维图像特征向量，整个“4通道卷积神经网络(4CH-Net)层”的输出是N个2048维的图像特征向量；
所述的“LSTM-CNN网络”的输入是N个2048维度的特征向量，输出是能见度等级的概率；
网络共有6层，分别是长短期记忆网络(LSTM，Long Short-Term Memory)层，该层共有N个LSTM子网络，卷积层(96个11x11卷积核)、最大池化层1(3x3)、全连接层(2048维)、Dropout层、Softmax层；
4CH-LSTM-CNN网络的训练过程如下：依次将每一类的双模态训练图像中的红外图像IIRi
和可见光图像ICCD，通过“局部图像块提取模块”提取N个红外-可见光局部图像块序列PIR 、PCCDi(i＝1,…,N)，并且将其作为4CH-Net层的输入；将PIRi、PCCDi(i＝1,…,N)对应的能见度等级标签Y作为训练的输出值；然后，利用“梯度下降法”求取4CH-LSTM-CNN网络模型中的每个权值；训练结束后，保存权值矩阵作为4CH-LSTM-CNN网络的数学模型。
5.根据权利要求1所述的一种基于双模态图像相似度的能见度检测方法，其特征在于：
步骤3)的具体内容为：
根据步骤1)所述预处理内容，将待测多模态图像(可见光-红外图像)配准成视野和分辨率均相同的图像对，并且归一化为224x224x3；然后，将图像对作为4CH-LSTM-CNN网络的输入；经过局部图像提取模块提取N个可见光-红外图像对PIRi、PCCDi(i＝1,…,N)；接着，利用4通道卷积网络层提取各图像对的相似度特征向量；之后，利用LSTM层将双模态图像相似度特征向量序列建模，提取相似度向量序列之间的变化规律；再利用卷积层将LSTM的输出进行融合，经过dropout层处理后，通过全连接层进行描述；最后，融合后的6144维多模态联合特征送入softmax层获取能见度的等级的概率。
一种基于相似度网络的多模态图像能见度检测方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种用于视频压缩的预测方法 | 2020-05-08 | 126 |
| 以时序和加密为基础的分布链式数据共享授权方法 | 2020-05-11 | 909 |
| 用于确定数字资产交易所的偿付能力的方法、系统和计算机程序产品 | 2020-05-08 | 778 |
| 带宽压缩中的后选择预测方法 | 2020-05-08 | 722 |
| 一种视频会议加密方法 | 2020-05-08 | 912 |
| 一种通讯模组网络运营商自动切换的方法 | 2020-05-08 | 956 |
| 用于智能客服的外呼预测方法及装置 | 2020-05-08 | 228 |
| 直播间弹幕显示方法、存储介质、设备及系统 | 2020-05-08 | 690 |
| 一种联网设备边缘计算节点改造方法和系统 | 2020-05-11 | 600 |
| 一种VNF实例化方法、装置、设备及存储介质 | 2020-05-11 | 461 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
