一种基于半监督主题建模的图像标注方法专利检索-期望最大化算法算法电脑编程专利检索查询-专利查询网

一种基于半监督主题建模的图像标注方法

阅读：809发布：2020-09-20

专利汇可以提供一种基于半监督主题建模的图像标注方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于半监督主题建模的图像标注方法。本发明的方法首先从互联网上得到图像，包括已有文本标注的图像，以及未标注图像。接着利用一种类似于概率潜在语义分析的模型，对所有图像的视觉特征和文本标注之间的联系通过潜在主题进行建模。然后构建所有图像的最近邻图，并根据由最近邻图进行建模得到的流形结构对模型进行调整。通过期望最大化算法学习该模型，并分别计算各个潜在主题与图像匹配的概率。最后根据潜在主题匹配图像的概率计算每个文本标注匹配未标注图像的概率，并选择概率最高的文本标注对未标注图像进行标注。，下面是一种基于半监督主题建模的图像标注方法专利的具体信息内容。

权利要求

1.一种基于半监督主题建模的图像标注方法，其特征在于：
1)从互联网上得到图像，包括已有文本标注的图像，以及未标注图像；
2)利用一种类似于概率潜在语义分析的模型，对所有图像的视觉特征和文本标注之间的联系通过潜在主题进行建模；
3)构建所有图像的最近邻图，并根据由最近邻图进行建模得到的流形结构对步骤2)的模型进行调整；
4)通过期望最大化算法学习步骤2)的模型，并分别计算各个潜在主题与图像匹配的概率；
5)根据潜在主题匹配图像的概率计算每个文本标注匹配未标注图像的概率，并选择概率最高的文本标注对未标注图像进行标注。
2.根据权利要求1所述的一种半监督下的基于主题建模的图像标注的方法，其特征在于：步骤2)中的建模过程是按照如下方式进行的：对于每个图像i，首先用向量Fi表示图像视觉特征，向量Wi来表示图像文本标注，其中Fi＝{f1，…，fn}，其中fu表示第u个视觉特征单词在第i个图片中出现的次数；Wi＝{w1，…，wn}，其中wv表示第v个文本标注单词在第i个图片中出现的次数。
并假设fi(其中i＝1，…，n)服从多项式分布 wi(其中i＝1，…，n)服从多项式分布未标注图像Wi＝0；然后用多项分布α建模图像与潜在主题Zi的关系，最后得到所有图像与潜在主题的匹配概率的对数似然为L，L的计算公式如下：
其中，I为图像总数，K为潜在主题总数，P(zk|α)表示在α分布下潜在主题zk与第i个图像匹配的概率，U为视觉特征单词总数，P(fu|zk，β)表示在β分布下视觉特征fu与潜在主题zk匹配的概率，V为图像文本特征单词总数，表示在分布下文本标注wv与潜在主题zk匹配的概率。
3.根据权利要求1所述的一种半监督下的基于主题建模的图像标注的方法，其特征在于：步骤3)中的最近邻图的构造方法为，所有图像构成最近邻图的点，若图像i与图像j的文本标注和视觉特征的重合度达到某个阀值，则在最近邻图中创建一条连接图像i与图像j的边。
4.根据权利要求1所述的一种半监督下的基于主题建模的图像标注的方法，其特征在于：步骤4)中使用期望最大化算法计算学习步骤2)的模型，并分别计算各个潜在主题与图像匹配的概率，以及三个多项式分布α，β，Φ。
5.根据权利要求1所述的一种半监督下的基于主题建模的图像标注的方法，其特征在于：步骤5)中利用步骤4)所得到的结果，从而获得文本标注匹配未标注图像的概率，并选取概率最大的文本标注对未标注图像进行标注，文本标注匹配未标注图像的概率P(wv)的计算公式如下：
其中，K为潜在主题总数，pki为步骤4)所得到的潜在主题与图像匹配的概率，表示在分布下文本标注wv与潜在主题zk匹配的概率。

说明书全文

一种基于半监督主题建模的图像标注方法

技术领域

[0001] 本发明涉及机器学习中的半监督学习技术领域，特别是涉及一种基于主题建模的图像标注方法。

背景技术

[0002] 近年来，由于数码相机越来越普及，个人的数码照片数目急剧上升，同时在因特网上分享照片也越来越普及，为了挖掘大型照片集合的潜在价值，用户需要能够有效的检索到所需要的图像。图像标注，是将文本和图像的语义内容联系起来的技术，是一个很好的减少语义差距的方式并可以用于图像检索的中间步骤。使得用户可以通过文本查询对图像进行检索，并且在语义方面，相对于基于内容的检索能提供更好的结果。近年来，图像标注已经吸引了越来越多的研究兴趣。

[0003] 图像标注最基础的问题在于怎样对不同模式之间的关系进行建模，这些模式包括视觉特征，文本标注以及可能出现的图像的潜在主题，不同图像之间的关系。潜在主题建模在该问题上是一种很有效的解决方式。总体来讲，基于模型的方法具有较好的效率和稳定性，而它的主要不足在于可能存在不充分的建模。如果模型不能完全描述问题领域，它的推断值也会不准确。例如：如果数据不是按照高斯分布进行分布，对它进行高斯建模就会出现问题。对于图像标注，由于图像内容的多样化，总是很难对其进行充分的可能性建模。 [0004] 相反的，传统的基于相似性的方法，如：谱聚类和流正规化，并不需要采用具体的数据可能性结构，只需要对每组数据实例对定义相似性函数即可。这种方法在半监督的内容学习上已表现得非常成功。在应用于正规化时，这种方法同样可以运用于可能性模型。发明内容

[0005] 本发明的目的在于提供一种基于半监督主题建模的图像标注的方法。 [0006] 本发明解决其技术问题所采用的技术方案如下：

[0007] 1)从互联网上得到图像，包括已有文本标注的图像，以及未标注图像； [0008] 2)利用一种类似于概率潜在语义分析的模型，对所有图像的视觉特征和文本标注之间的联系通过潜在主题进行建模；

[0009] 3)构建所有图像的最近邻图，并根据由最近邻图进行建模得到的流形结构对步骤2)的模型进行调整；

[0010] 4)通过期望最大化算法学习步骤2)的模型，并分别计算各个潜在主题与图像匹配的概率；

[0011] 5)根据潜在主题匹配图像的概率计算每个文本标注匹配未标注图像的概率，并选择概率最高的文本标注对未标记图像进行标注。

[0012] 1.步骤2)中的建模过程是按照如下方式进行的：对于每个图像i，首先用向量Fi表示图像视觉特征，向量Wi来表示图像文本标注，其中Fi＝{f1，…，fn}，其中fu表示第u个视觉特征单词在第i个图片中出现的次数；Wi＝{w1，…，wn}，其中wv表示第v个文本标注单词在第i个图片中出现的次数。

[0013] 并假设fi(其中i＝1，…，n)服从多项式分布 wi(其中i＝1，…，n)服从多项式分布未标注图像Wi＝0；然后用多项分布α建模图像与潜在主题Zi的关系， [0014] 最后得到所有图像与潜在主题的匹配概率的和为L，L的计算公式如下： [0015]

[0016] 其中，I为图像总数，K为潜在主题总数，P(zk|α)表示在α分布下潜在主题zk与第i个图像匹配的概率，U为视觉特征单词总数，P(fu|zk，β)表示在β分布下视觉特征fu与潜在主题zk匹配的概率，V为图像文本特征单词总数，表示在分布下文本标注wv与潜在主题zk匹配的概率；

[0017] 2.步骤3)中的最近邻图的构造方法为，所有图像构成最近邻图的点，若图像i与图像j的文本标注和视觉特征的重合度达到某个阀值，则在最近邻图中创建一条连接图像i与图像j的边；

[0018] 3.步骤4)中使用期望最大化算法计算学习步骤2)的模型，并分别计算各个潜在主题与图像匹配的概率，以及三个多项式分布α，β， Φ；

[0019] 4.步骤5)中利用步骤4)所得到的结果，从而获得文本标注匹配未标注图像的概率，并选取概率最大的文本标注对未标注图像进行标注，文本标注匹配未标注图像的概率P(wv)的计算公式如下：

[0020]

[0021] 其中，K为潜在主题总数，pki为步骤4)所得到的潜在主题与图像匹配的概率，表示在分布下文本标注wv与潜在主题zk匹配的概率。附图说明

[0022] 图1是本发明的方法流程图。

具体实施方式

[0023] 参照附图：

[0024] 一种半监督下的基于主题建模的图像标注的方法，该方法包括以下步骤： [0025] 1.从互联网上得到图像，包括已有文本标注的图像，以及未标注图像； [0026] 2.利用一种类似于概率潜在语义分析的模型，对所有图像的视觉特征和文本标注之间的联系通过潜在主题进行建模，建模过程是按照如下方式进行的：对于每个图像i，首先用向量Fi表示图像视觉特征，向量Wi来表示图像文本标注，其中Fi＝{f1，…，fn}，其中fu表示第u个视觉特征单词在第i个图片中出现的次数；Wi＝{w1，…，wn}，其中wv表示第v个文本标注单词在第i个图片中出现的次数。

[0027] 并假设fi(其中i＝1，…，n)服从多项式分布 wi(其中i＝1，…，n)服从多项式分布未标注图像Wi＝0；然后用多项分布α建模图像与潜在主题Zi的关系， [0028] 最后得到所有图像与潜在主题的匹配概率的和为L，L的计算公式如下： [0029]

[0030] 其中，I为图像总数，K为潜在主题总数，P(zk|α)表示在α分布下潜在主题zk与第i个图像匹配的概率，U为视觉特征单词总数，P(fu|zk，β)表示在β分布下视觉特征fu与潜在主题zk匹配的概率，V为图像文本特征单词总数，表示在分布下文本标注wv与潜在主题zk匹配的概率；

[0031] 3.构建所有图像的最近邻图，并根据由最近邻图进行建模得到的流形结构对步骤2)的模型进行调整，其中的最近邻图的构造方法为，所有图像构成最近邻图的点，若图像i与图像j的文本标注和视觉特征的重合度达到某个阀值，则在最近邻图中创建一条连接图像i与图像j的边；

[0032] 4.使用期望最大化算法计算学习步骤2)的模型，并分别计算各个潜在主题与图像匹配的概率，以及三个多项式分布α，β，Φ，其中α，β，Φ的计算公式如下 k∈{1，...，K}

[0033]

[0034]

[0035] 其中，I为图像总数，K为潜在主题总数，U为视觉特征单词总数，V为图像文本特征单词总数，pki为各个潜在主题与图像匹配的概率；

[0036] 5.根据潜在主题匹配图像的概率计算每个文本标注匹配未标注图像的概率，并选择概率最高的文本标注对未标记图像进行标注，本标注匹配未标注图像的概率P(wv)的计算公式如下：

[0037]

[0038] 其中，K为潜在主题总数，pki为步骤4)所得到的潜在主题与图像匹配的概率，表示在分布下文本标注wv与潜在主题zk匹配的概率。

[0039] 本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

标题	发布/更新时间	阅读量
一种低信噪比环境下的极化码辅助载波同步系统及方法	2020-05-16	583
一种时空数据智能聚合方法	2020-05-19	474
一种通用主题嵌入模型联合训练方法	2020-05-20	824
非临床环境下对高血压进行非干预式的监测和评估方法	2020-05-08	179
基于多能量系统响应矩阵的放射源定位重建方法	2020-05-15	509
基于时间序列分析的阀门故障实时诊断系统及诊断方法	2020-05-19	309
一种语音检测方法及装置	2020-05-19	599
用于确定PET成像动力学参数的系统、方法	2020-05-11	134
一种基于高维Copula技术的光伏发电爬坡事件概率预测方法	2020-05-18	131
图片分割方法、装置和系统	2020-05-13	108

一种基于半监督主题建模的图像标注方法

一种基于半监督主题建模的图像标注方法

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：