基于深度卷积特征和语义近邻的多标签图像补全方法
专利汇可以提供基于深度卷积特征和语义近邻的多标签图像补全方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于深度卷积特征和语义近邻的多标签图像补全方法，首先，通过改进 卷积神经网络 的损失函数，构建一个融合深度卷积特征和语义近邻的卷积神经网络(CNN-KNN)模型，然后，将CNN的预分类结果输入到语义近邻 算法 中利用图像标注词间的依赖或共生关系对网络模型输出结果进行改善，最后，优化多标签重要性排序算法，将改善的结果按此算法排序并分配与图像内容表述一致的标注词预测图像的最终标注结果。采用基准数据集iaprtc12进行实验，验证了该方法能有效地补全图像标签语义。，下面是基于深度卷积特征和语义近邻的多标签图像补全方法专利的具体信息内容。
1.一种基于深度卷积特征和语义近邻的多标签图像补全方法，其特征是包括下述内容：
(1)在AlexNex通用模型基础上，改进AlexNex模型参数并设计多标签损失函数；
(2)基于K最近邻构建语义近邻模型；
(3)融合上述两个模型构建的模型构建融合深度卷积特征和语义近邻的CNN-KNN模型，将等补全社会化图像输入到CNN-KNN，模型输出候选标签集经带权无向图邻接矩阵滤噪算法过滤噪声标签，输出粗选标签集；
(4)利用CNN-KNN的多标签重要性排序算法对第3步输出的粗选标签集再次过滤噪声标签，并确定最终补全结果。
2.根据权利要求1所述一种基于深度卷积特征和语义近邻的多标签图像补全方法，其特征是改进AlexNex模型参数并设计多标签损失函数步骤是：
步骤1：所有卷积层中卷积核的间隔与池化间隔都设置为2，同时加入一个动量项为0.9的异步随机梯度，并将网络初始的学习速率设为0.001；
步骤2：设计多标签损失函数，假设每个标签之间都是相互独立的，那么这些标签可以组成一个标签向量y∈R1×c，其中c为图像集中标签的总数,R∈{0,1}，yj＝1表示图像包含第j个标签，yj＝0表示图像不包含第j个标签，通过正则化y得到图像xi与标签j的概率设计损失函数 其中n为图像数量。
3.根据权利要求1所述一种基于深度卷积特征和语义近邻的多标签图像补全方法，其特征是构建基于KNN的语义近邻模型方法是：
针对社会化图像中存在视觉相似但语义不相同的问题，本文从语义上对图像特征加以区分，以提高图像的补全效果。首先，划分语义组构建语义近邻；然后，通过视觉相似度构建视觉近邻；最后，根据距离值确定各标签的贡献值，通过对贡献值排序完成标签预测。
d
符号定义为，图像集I＝{I1,I2,...,In}，Ii∈R表示图像，其中n为图像数量，d为标签数量，R为d维向量，R∈{0,1}d；标签集W＝{w1,w2,...,wm}，其中m为标签数量，wi为标签；训练集Ω＝{(I1,W1),(I2,W2),...,(In,Wn)}，其中Wi为m维向量，Wi∈{0,1}M，当Wij＝1时，表示图像i包含标签wj，当Wij＝0时，表示图像i不含标签wj，步骤包括：
步骤1：划分语义组构建语义近邻，将每个标签包含的所有图像看成一个语义组，所有标签对应的语义组集表示为 其中wi表示标签， 表示与标
签wi关联的所有图像，
步骤2：将图像补全预测问题转化为求后验概率问题，定义条件概率p(I|wi)表示标签wi和图 像 I 的 概 率关 系 ，由 概率 转 换 公 式 可 知 ，图 像 标签 的 预 测 值 为其中p(wi)和p(I)为先验概率；
步骤3：构建待补全图像的邻域图像集，令 表示标签wi对应的语义组，对于待标注图像I，从Gi中选出与图像I视觉相似度最高的k幅图像得到局部子集 其中k为正整数，当所有语义组的局部子集都获取后，合并子集，最终得到待标注图像I的邻域图像集
步骤4：对贡献值排序完成标签预测，对于给定标签 它与图像I构成的概率关系表示为 其中 表示图像Ii对于图像I的贡献值，p(wi|Ii)∈
{0,1}用于控制在图像Ii中标签需要增加的贡献值。
4.根据权利要求1所述一种基于深度卷积特征和语义近邻的多标签图像补全方法，其特征是带权无向图的邻接矩阵滤噪方法为：
步骤1：定义候选标签间关系，标签与标签之间的关系表示为Rn×n:label×label，其中label为候选标签列表，Rn×n(ci)＝{w1,w2,w3}，其中ci∈label，n为候选标签数量，wi为标签来源权重的平均值，其中cnn输出权重为4，knn输出权重为3，原标注权重为3；
步骤2：确定多标签候选比，在邻接矩阵Rn×n中，对于第i个标签，在多标签中的候选比为其中Hi表示第i标签在所有标签中的候选比，wij表示邻接矩阵中第i个标签
的权重；
步骤3：根据固定阈值过滤掉候选比小的标签，选取 的标签作为候选标签，其中为固定阈值，取值为0.4。
5.根据权利要求1所述一种基于深度卷积特征和语义近邻的多标签图像补全方法，其特征是优化多标签重要性排序算法为：
步骤1：使用数据集中图像与标签的关系，构建标签关系矩阵，对其进行非负矩阵分解，得到标签的社团关系矩阵，令Wn×k表示标签节点所属社团关系矩阵，对于第i个标签节点，多标签社团的结点贡献比表示为 其中n表示标签总数，Ci表示标签对构成各个社团的支持力度，wij表示标签所属社团的关系矩阵中第i个标签的贡献，k表示社团个数；
步骤2：根据标签间的社团关系及各个标签的重要性程度对候选标签排序，从排序结果选择排序前5的标签作为最终标签结果。
基于深度卷积特征和语义近邻的多标签图像补全方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于学习的稀疏表示的超分辨率图像重建方法 | 2020-05-11 | 322 |
| 基于深度学习的蛋白质赖氨酸丙二酰化位点预测方法 | 2020-05-08 | 285 |
| 一种面向面曝光3D打印的视觉监视反馈方法 | 2020-05-11 | 405 |
| 一种基于步长匹配的行人室内定位方法 | 2020-05-12 | 175 |
| 一种三维点云的处理方法、装置及设备 | 2020-05-11 | 859 |
| 一种机器学习分类模型在青少年孤独症辅助诊断中的应用方法 | 2020-05-12 | 742 |
| 一种基于V2I技术的自动驾驶车辆路径规划系统及方法 | 2020-05-12 | 195 |
| 一种基于粒子群算法优化解决武器-目标分配的方法 | 2020-05-12 | 784 |
| 判断目标行人在非重叠相机视角中出现的匹配方法 | 2020-05-13 | 530 |
| 基于异构多核的卫星气象数据喷泉解码算法硬件化系统 | 2020-05-12 | 232 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
