一种基于异构图具有自反馈特性的半监督图像重排序方法
专利汇可以提供一种基于异构图具有自反馈特性的半监督图像重排序方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于异构图具有自反馈特性的半监督图像重排序方法，该方法的步骤如下：步骤（1）：对需要重排序的图像，提取文本特征和视觉特征；步骤（2）：使用图像的文本特征和视觉特征来构建异构图，计算模态内相似性和模态间相似性作为异构图对应 节点 之间的权值；步骤（3）：在异构图上使用自反馈的半 监督学习 算法 ，计算得到图像文本特征排序得分和视觉特征排序得分；步骤（4）：根据步骤（3）中计算的图像文本特征得分和视觉特征得分，计算图像排序得分，从而实现对图像进行重排序。该方法不仅对搜索结果有提高，不需要用户的额外输入，而且运行时间较少，适合用在现实的图像检索系统中，提高图像重排序技术的性能。，下面是一种基于异构图具有自反馈特性的半监督图像重排序方法专利的具体信息内容。
1.一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，该方法的步骤如下：
步骤（1）：对需要重排序的图像，提取文本特征和视觉特征；
步骤（2）：使用图像的文本特征和视觉特征来构建异构图，计算模态内相似性和模态间相似性作为异构图对应节点之间的权值；
步骤（3）：在异构图上使用自反馈的半监督学习算法，计算得到图像文本特征排序得分和视觉特征排序得分；
步骤（4）：根据步骤（3）中计算的图像文本特征得分和视觉特征得分，计算图像排序得分，按照得分由高到低，对图像进行重排序。
2.如权利要求1所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，所述步骤（1）中，
提取视觉特征的方法为：对每幅图像提取SIFT特征，然后将图像表示为一个词袋；
提取图像的文本特征的方法为：对每幅图像收集图像关联文本，利用话题模型LDA将所述图像关联文本聚成多个潜在主题，然后将图像的文本信息也表示为一个词袋。
3.如权利要求1所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，所述步骤（2）中，构建异构图的过程如下：
首先构建一个多边图，所述多边图中每一个节点为一副图像，包含图像的文本特征和视觉特征，多边图中任意两个节点之间包含4条边，所述两个节点包含第一节点和第二节点，所述4条边分别为两个节点的视觉特征之间的边、两个节点的文本特征之间的边、第一节点的视觉特征与第二节点的文本特征之间的边和第一节点的文本特征与第二节点的视觉特征之间的边；
其中，两个节点的文本特征之间的边和两个节点的视觉特征之间的边用于刻画模态内相似性，第一节点的视觉特征与第二节点的文本特征之间的边和第一节点的文本特征与第二节点的视觉特征之间的边用于刻画模态间相似性；
然后，将多边图中的每个节点分为文本特征节点和视觉特征节点两种类型，节点之间相连，权重为对应的模态内相似性或是模态间相似性，从而得到异构图。
4.如权利要求1所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，所述步骤（3）的具体步骤如下：
*
步骤（31）：使用每个节点的图像的文本特征和视觉特征的排序得分f 来更新初始的排序得分向量y；
*
步骤（32）：使用每个节点的图像的文本特征和视觉特征的排序得分f 来更新相似度矩阵S中模态间的相似度；
步骤（33）：使用步骤（32）中得到的相似度矩阵S来更新拉普拉斯矩阵L；
步骤（34）：如果平均精度大于当前最优精度，则把该平均精度赋值给当前最优精度，反馈继续，跳到重排序算法的步骤（1）继续进行；否则，反馈停止，重排序算法终止。
5.如权利要求4所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，
*
所述图像的文本特征和视觉特征的排序得分f 的计算方法如下：
其中，f＝[ft,fv]是需要求的异构图中排序得分，f(i),f(j)分别是第i，j幅图像的排序得分，y＝[yt,yv]是初始的异构图中的排序得分，S是相似度矩阵，D是一个三角矩阵，其中对角线上第i个元素是S矩阵第i行的元素的和，μ是平衡参数，用来调整式子右半部份的两个项，0＜μ＜1，i，j的取值范围是1＜i＜N，1＜j＜N，N为要重排序的图像总数目；
所述公式（1）运行首先需要对图像的文本特征和视觉特征的排序得分分别进行初始化；
其中，文本特征排序得分和视觉特征排序得分的初始化均使用归一化的图像搜索引擎返回的得分，即：
其中，N是待排序的图像数量，ri是图像在搜索引擎返回的结果中的排序。
6.如权利要求5所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，所述公式（1）的迭代公式如下：
其中，f(t)是第t次迭代的排序得分，μ与公式（1）中的含义相同，μ是平衡参数，0＜μ＜1，t是迭代次数，f(0)＝y，L为由相似度矩阵S和三角矩阵D计算得到的拉普拉斯矩阵。
7.如权利要求1所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，所述步骤（4）中，图像最后的排序得分由图像的文本特征排序得分和图像的视觉特征的排序得分混合得到，计算公式如下：
RankScore(i)＝αf(ti)+(1-α)f(vi) （4）
其中，RankScore(i)是图像最后的排序得分，f(ti)是图像文本特征排序得分，f(vi)是图像视觉特征排序得分，α是混合的参数，介于0到1之间。
8.如权利要求3所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，
所述模态内相似性包括文本特征和文本特征之间的相似性、视觉特征和视觉特征之间的相似性；所述模态间相似性是指文本特征和视觉特征之间的相似性。
9.如权利要求3或7所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，
所述模态内相似性的计算方法为余弦相似度；
所述模态间相似性的影响因素包括：模态间的一致性、图像文本特征的相似度、图像视觉特征之间的相似度。
10.如权利要求8所述的一种基于异构图具有自反馈特性的半监督图像重排序方法，其特征是，
所述模态间的一致性计算公式为：
其中，ti表示第i幅图像的文本特征，vi表示第i幅图像视觉特征，f(ti)，f(vi)分别为使用文本特征的排序得分和使用视觉特征的排序得分，σ为缩放因子（σ＞0），i的取值范围是1＜i＜N，N为要重排序的图像总数目；
所述模态间相似性的计算公式如下：
s(ti,vj)＝c(ti,vj)[αs(ti,tj)+(1-α)s(vi,vj)] （7）
其中，ti表示第i幅图像的文本特征，vi表示第i幅图像的视觉特征，tj表示第j幅图像的文本特征，vj分别表示第j幅图像的视觉特征，c(ti,vj)为模态间的一致性，s(ti,tj)为文本特征之间的相似性，s(vi,vj)为视觉特征之间的相似性，α为混合的参数（0＜α＜1），i的取值范围是1＜i＜N，N为要重排序的图像总数目。
一种基于异构图具有自反馈特性的半监督图像重排序方法
技术领域
背景技术
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于商用WiFi的位置自适应动作识别方法 | 2020-05-08 | 1596 |
| 基于半监督学习算法的移动设备实体识别方法及装置 | 2020-05-12 | 843 |
| 一种基于半监督学习模型的虚假评论检测方法及系统 | 2020-05-16 | 132 |
| 基于半监督学习的图片分类方法、装置和计算机设备 | 2020-05-08 | 521 |
| 一种资产配置方法、装置、电子设备及存储介质 | 2020-05-11 | 647 |
| 一种基于特征字的半监督中医命名实体获取方法 | 2020-05-13 | 346 |
| 风险识别方法、装置、设备及介质 | 2020-05-17 | 559 |
| 一种基于语音和表情的自适应权重双模态融合情感识别方法 | 2020-05-19 | 142 |
| 基于对抗训练的跨领域虚假评论识别方法 | 2020-05-13 | 239 |
| 一种融合半监督学习和主动学习的搜索引擎用户满意度评估方法 | 2020-05-13 | 482 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
