技术领域
[0001] 本
发明涉及
自然语言处理技术领域，尤其涉及社交媒体中的信息
抽取技术领域，具体涉及一种面向社交媒体的实体集合扩展的方法及系统。
背景技术
[0002] 实体集合扩展是实体抽取中的一种经典方法，其以几个在语义上有某种关联的实体作为
种子形成初始的集合，在一个文本语料集上对此集合进行扩展，从而得到一个包含有更多相关实体的集合。
[0003] 针对实体集合扩展的任务，如今国内外团队的研究重点根据文本数据的来源与类型、集合扩展的方法以及系统评价标准而有所不同。大多数解决此问题的一般思路可以分为产生实体候选集合、对候选集合进行筛选排序两个阶段。在第一阶段常用的方法有基于语料的方法、基于上下文模式的自展法等。在第二阶段，在已获取到候选实体集合的
基础上，可以将问题转化为在候选集合上的二类分类问题，并进一步转化为排序问题，常用的方法有基于概率模型的方法、分布式相似度法、PU-学习法等。实体集合扩展研究已经非常广泛，目前也取得了较好的效果，但这些研究大都面向传统新闻文档和网络文本。
[0004] 随着近几年网络社交媒体的兴起，来自于社交媒体的文本数据资源日益丰富，这些数据中毋庸置疑潜藏着大量有价值的信息。社交媒体文本具有面向开放领域、数据规模巨大、更新速度快、语言词汇非正式化、冗杂和嘈杂的信息较多等特性，在社交媒体文本上进行实体集合扩展，进而发掘更多的潜在实体知识，具有十分重要的意义。但目前研究在社交媒体文本上进行实体集合扩展的国内外团队尚且较少，将传统方法应用于社交媒体文本上存在着许多障碍和困难。
发明内容
[0005] 本发明的目的在于，克服当前传统面向传统新闻文档和网络文本实体集合扩展方法无法有效适用于面向社交媒体的实体集合扩展任务这一需求难题，针对具有语言词汇非正式化、冗杂和嘈杂的信息较多等特征社交媒体文本，提出了一种不同于传统方法的、具有较高准确率的实体集合扩展方法。
[0006] 为实现上述目的，本发明提供了一种面向社交媒体的实体集合扩展的方法，所述方法包括：
[0007] 在推特文本语料数据集上建立推特文本的词向量空间模型，基于该词向量空间模型得到推文中词的向量表示；
[0008] 基于推文中词的向量表示，计算词之间的相似度，根据相似度为初始种子实体集合中的每个种子生成对应的扩展集合，将所有种子的扩展集合合并得到候选实体集合；
[0009] 分别按照语义相似度特征值、上下文模式特征值和前缀组合特征值对候选实体集合进行排序，得到三个排序结果；
[0010] 根据综合排序模型对三个排序结果进行综合排序，最终得到扩展的候选实体集合。
[0011] 作为上述方法的一种改进，所述在推特文本语料数据集上建立推特文本的词向量空间模型；基于该词向量空间模型得到推文中词的向量表示；具体包括：
[0012] 爬取推特文本数据，构造推特文本语料数据集；
[0013] 对通过组
块分析识别出的全部名词短语进行处理，将短语中多个单词之间的空格去掉，从而将多个单词的短语转化为一个整体的单词；
[0014] 在经过预处理后得到的推特文本语料数据集上，采用Word2Vec文本深度表示词向量空间模型并进行训练。
[0015] 作为上述方法的一种改进，所述基于推文中词的向量表示，计算词之间的相似度，根据相似度为初始种子实体集合中的每个种子生成对应的扩展集合，将所有种子的扩展集合合并得到候选实体集合；具体包括：
[0016] 对于初始种子实体集合S＝{s1,…,sn}中的每个种子实体si，基于词向量空间模型，选择与之相似度最大的ri个单词项构成该种子实体对应的扩展集合di：
[0017]
[0018] 其中，1≤i≤n；
[0019] 将所有种子实体所对应的扩展集合合并得到候选实体集合D：
[0020]
[0021] 其中，w为候选单词项的总数。
[0022] 作为上述方法的一种改进，所述方法还包括：对候选实体集合进行过滤的步骤，具体为：去除候选实体集合中，全部以“http”开头的超链接、以“#”开头的HashTag、以“@”开头的AT和以纯数字构成的候选单词项，剩余候选单词项构成过滤后的候选实体集合。
[0023] 作为上述方法的一种改进，所述方法还包括：基于同类实体的同现性假设，利用初始种子实体集合中的种子实体，在推特文本语料集合上识别并归纳得到连接符号集合和前缀组合集合；具体包括：
[0024] 基于推特文本语料集合，建立Twitter文本中常见的连接符号集合ConSet：
[0025] ConSet＝
[0026] {and、or、,、&、+、-、x、X、/、*、＞、＜、|、vs、VS、.、；、//、-、\、\\、＝、＞＞和＜＜}；
[0027] 对于连接符号集合ConSet中的每个连接符号cp,从初始种子实体集合S中取实体对Pairk＝(sk1,sk2)，分别构造反向对称的两个“检索模式”pattern(k,p)1和pattern(k,p)2：
[0028] pattern(k,p)1＝"sk1cpsk2"
[0029] pattern(k,p)2＝"sk2cpsk1"
[0030] 统计pattern(k,p)1和pattern(k,p)2在推特文本语料数据集中出现的频数f(k,p)1和f(k,p)2，其总和作为此对“检索模式”中cp对应的频数f(k,p)；
[0031] 计算每个连接符号cp的权值Wpatternp：
[0032]
[0033] 其中，1≤p≤24；
[0034] 建立4种推特中“@”与“#”前缀的两两组合构成的前缀组合集合PreSet：
[0035] (@,@)：种子实体@si，候选单词项@item；
[0036] (@,#)：种子实体@si，候选单词项#item；
[0037] (#,@)：种子实体#si，候选单词项@item；
[0038] (#,#)：种子实体#si，候选单词项#item；
[0039] 对于前缀组合集合PreSet中的每对前缀(prem1,prem2)，从初始种子实体集合S中取实体对Pairk＝(sk1,sk2)，sk1,sk2∈S；分别构造得到一对“检索模式”pattern(k,m)1和pattern(k,m)2：
[0040] pattern(k,m)1＝prem1sk1
[0041] pattern(k,m)2＝"prem2sk2"
[0042] 统计pattern(k，m)1和pattern(k,m)2在推特文本语料数据集中出现在同一条推特文本中的频数，为前缀组合(prem1,prem2)对应这一组“检索模式”的频数f(k,m)；
[0043] 计算每组前缀组合(prem1,prem2)∈PreSet的权值Wprefixm：
[0044]
[0045] 其中，1≤m≤4。
[0046] 作为上述方法的一种改进，所述语义相似度特征得分的计算步骤包括：
[0047] 计算候选实体集合D中的第j个候选单词项itemj与集合S的语义相似度特征得分shiilarity(itemj,S)：
[0048]
[0049] 其中，similarity(itemj,si)为itemj与S中第i个种子实体si相似度；首先通过词向量空间模型得到itemj和si的词向量，然后根据词向量计算相似度；1≤j≤w。
[0050] 作为上述方法的一种改进，所述上下文模式特征得分的计算步骤，具体为：
[0051] 对于候选实体集合D中的第j个候选单词项itemj,1≤j≤w，从连接符号集合ConSet中取连接符号cp,从初始种子实体集合S中取种子实体si，分别构造得到反向对称的两个“匹配模式”pattern(i,p,j)1和pattern(i,p,j)2：
[0052] pattern(i,p,j)1＝"sicpitemj"
[0053] pattern(i,p,j)2＝"itemjcpsk"
[0054] 统计pattern(i,p,j)1和pallern(i,p,j)2在推特文本语料数据集中出现的频数f(i,p,j)1和f(i,p,j)2，其总和作为此对“匹配模式”的频数f(i,p,j)；
[0055] 计算第j个候选单词项itemj在上下文模式特征上的得分值SCpatternj：
[0056]
[0057] 作为上述方法的一种改进，所述前缀组合特征得分的计算步骤，
[0058] 对于候选实体集合D中的第j个候选单词项itemj,1≤j≤w，从前缀组合集合PreSet中前缀组合(prem1,prem2)∈PreSet，从初始种子实体集合S中取实体si，分别构造得到两个“匹配模式”pattern(i,m,j)1和pattern(i,m,j)2：
[0059] pattern(i,m,j)1＝"prem1si"
[0060] pattern(i,m,j)2＝"prem2itemj"
[0061] 统计pattern(i,m,j)1和pattern(i,m,j)2在推特文本语料数据集中同一条文本中同时出现的频数，既为此对“匹配模式”的频数f(i,m,j)；
[0062] 计算第j个候选单词项itemj在前缀规则特征上的得分值SCprefixj：
[0063]
[0064] 作为上述方法的一种改进，所述根据综合排序模型对三个排序结果进行综合排序，最终得到扩展的候选实体集合，具体为：
[0065] 对于候选实体集合D中的第j个候选单词项itemj，根据其语义相似度特征得分排序结果，得到其语义相似度特征排名值为Rsimilarityj；根据其上下文模式特征得分排序结果，得到其上下文模式特征排名值为Rpatternj；根据其前缀规则特征得分排序结果，得到其前缀规则特征排名值为Rprefixj；
[0066] 根据综合排序模型R，计算第j个候选单词项itemj的综合排序值R(itemj)：
[0067] R(itemj)＝α1Rsimilarityj+α2Rpatternj+α3Rprefixj
[0068] 其中，权值向量 通过学习训练得到；
[0069] 根据综合排序值对候选实体集合进行综合排序，最终得到扩展的候选实体集合。
[0070] 本发明还提供了一种面向社交媒体的实体集合扩展的系统，所述系统包括：
[0071] 词向量生成模块，用于在推特文本语料数据集上建立推特文本的词向量空间模型，基于该词向量空间模型得到推文中词的向量表示；
[0072] 候选实体集合生成模块，用于基于推文中词的向量表示，计算词之间的相似度，根据相似度为初始种子实体集合中的每个种子生成对应的扩展集合，将所有种子的扩展集合合并得到候选实体集合；
[0073] 初步排序模块，用于分别按照语义相似度特征得分、上下文模式特征得分和前缀组合特征得分对候选实体集合进行排序，得到三个排序结果；
[0074] 综合排序模块，用于根据综合排序模型对三个排序结果进行综合排序，最终得到扩展的候选实体集合。
[0075] 本发明的优势在于：
[0076] 1、本发明的方法克服了当前传统面向传统新闻文档和网络文本实体集合扩展方法无法有效适用于面向社交媒体的实体集合扩展任务这一需求难题，首次提出了采用基于神经网络的词向量空间模型的方法产生候选实体集合，再利用具有社交媒体特征的上下文模式规则对候选实体进行筛选和排序的方法；实验结果表明可以非常有效地挖掘出社交媒体文本中潜在的实体知识，且具有较高的正确率；
[0077] 2、通过本发明的方法可以有效地识别出海量推文中的新实体，将为该实体所属领域的研究人员提供许多研究线索。
附图说明
[0078] 图1为本发明的面向社交媒体的实体集合扩展的方法的
流程图。
具体实施方式
[0079] 下面结合附图对本发明的技术方案进行详细的说明。
[0080] 本发明公开了一种面向社交媒体的实体集合扩展的方法，所述的方法包括：在推特文本语料集上建立词向量空间模型，并通过计算语义相似度的方法产生候选实体集合；基于同类实体的同现性假设，利用初始集合中的种子实体，在语料集上识别并归纳得到一些模式规则；基于前述模式规则，可以进一步对候选实体集合进行筛选和排序，并最终得到实体扩展集合。本方法面向社交媒体文本，首次提出了采用基于神经网络的词向量空间模型的方法产生候选实体集合，再利用具有社交媒体特征的上下文模式规则对候选实体进行筛选和排序，实验结果表明可以非常有效地挖掘出社交媒体文本中潜在的实体知识，且具有较高的正确率。
[0081] 如图1所示，本发明的
实施例1提出了一种面向社交媒体的实体集合扩展方法，所述方法包括：
[0082] 步骤1：推文文本数据预处理
[0083] 1.1构造数据集：
[0084] 爬取推文数据，构造得到本发明所需的英文推特文本语料数据集。
[0085] 1.2文本预处理：
[0086] 预处理最后一步，对通过组块分析识别出的全部名词短语进行处理，将短语中多个单词之间的空格去掉，从而将多个单词的短语转化为一个整体的单词。
[0087] 步骤2：基于词向量模型产生候选实体集合
[0088] 2.1构建词向量空间模型：
[0089] 在经过预处理后得到的文本语料数据集上，本发明采用Word2Vec文本深度表示模型来训练得到词向量空间模型。
[0090] 2.2构建初始种子实体集合：
[0091] 初始种子实体集合为S＝{s1,…,sn}，其中si为第i个种子实体，1≤i≤n；n为种子实体的总数。
[0092] 2.3扩展产生候选实体集合：
[0093] 利用基于词向量空间模型计算单词之间向量距离(语义相似度)的方法来产生候选实体集合。对于初始种子实体集合的每个种子实体si，在向量空间上选择与之向量距离最近(相似度最大)的ri个单词项构成该种子实体对应的扩展集合di：
[0094]
[0095] 将所有种子实体所对应的扩展集合合并得到候选实体集合D：
[0096]
[0097] 步骤3：计算候选实体集合D中的每个单词项的语义相似度特征值
[0098] 候选实体集合D中的每个单词项itemk与该初始种子实体集合S的相似度定义为itemk与S中全部种子实体语义相似度特征值：
[0099]
[0100] 其中，similarity(itemj,si)为itemj与S中第i个种子实体si相似度；首先通过词向量空间模型得到itemj和si的词向量，然后根据词向量计算相似度；1≤j≤w。
[0101] 步骤4：计算候选实体集合D中的每个单词项的上下文模式特征值和前缀组合特征值；
[0102] 4.1上下文模式与前缀规则的发现与归纳：
[0103] 基于Sarmento在2007年研究中提到的“同现性假设”：利用“and”、“or”以及“，”等连词来发现具有同位关系的实体。
[0104] 4.1.1基于连接符号的上下文模式归纳：
[0105] 通过对文本语料数据的观察，本发明给出一个Twitter文本中常见的连接符号集合ConSet，其中包括了24个连接符号，如表1所示。
[0106] 表1
[0107]
[0108] 对于连接符号集合ConSet中的每个连接符号ci∈ConSet,从初始的种子实体集合S中取实体对Pairk＝(sk1,sk2)，分别构造得到反向对称的两个“检索模式”：pattern(k,i)1＝"sk1cisk2"、pattern(k,i)2＝"sk2cisk1"。统计pattern(k,i)1和pattern(k,i)2在文本语料中出现的频数f(k,i)1和f(k,i)2，其总和作为此对“检索模式”pattern(k,i)中ci对应的频数f(k,i)。则每个连接符号ci∈ConSet的权值有以下定义：
[0109]
[0110] 4.1.2基于前缀规则的归纳：
[0111] 除此之外，根据观察所发现的前缀规则，本发明给出由4种Twitter中“@”(at)与“#”(hashtag)前缀的两两组合构成的集合PreSet，如表2所示：
[0112] 表2
[0113] 前缀组合 种子实体 候选单词项(@,@) @si @item
(@,#) @si #item
(#,@) #si @item
(#,#) #si #item
[0114] 对于前缀组合集合PreSet中的每对前缀(prei1,prei2)，从初始的种子实体集合S中取实体对Pairk＝(sk1,sk2)，分别构造得到一组“检索模式”：pattern(k,i)1＝"prei1sk1"、pattern(k,i)2＝"prei2sk2"。统计pattern(k,i)1和pattern(k,i)2在文本语料中出现在同一条推文中的频数，既为前缀组合(prei1,prei2)对应这一组“检索模式”的频数f(k,i)。则每组前缀组合(prei1,prei2)∈PreSet的权值有以下定义：
[0115]
[0116] 4.2利用模式计算候选实体的特征值：
[0117] 4.2.1计算候选单词项的上下文模式特征值
[0118] 对于候选实体集合中的每个候选单词项itemj∈D，从连接符号集合ConSet中取连接符号ci∈ConSet,从初始的种子实体集合S中取实体sk，分别构造得到反向对称的两个“匹配模式”：pattern(k,i,j)1＝"skciitemj"、pattern(k,i,j)2＝"itemjcisk"。统计pattern(k,i,j)1和pattern(k,i,j)2在文本语料中出现的频数f(k,i,j)1和f(k,i,j)2，其总和作为此对“匹配模式”pattern(k,i,j)的频数f(k,i,j)。则每个候选单词项itemj∈D在上下文模式特征值有以下定义：
[0119]
[0120] 4.2.2计算候选单词项在前缀规则特征值
[0121] 对于候选实体集合中的每个候选单词项itemj∈D，从前缀组合集合PreSet中前缀组合(prei1,prei2)∈PreSet，从初始的种子实体集合S中取实体sk，分别构造得到两个“匹配模式”：pattern(k,i,j)1＝"prei1sk"、pattern(k,i,j)2＝"prei2itemj"。统计pattern(k,i,j)1和pattern(k,i,j)2在文本语料中同一条推文中同时出现的频数，既为此对“匹配模式”pattern(k,i,j)的频数f(k,i,j)。则每个候选单词项itemj∈D在前缀规则特征值有以下定义：
[0122]
[0124] 根据步骤3获得了候选实体集合中每个候选单词项的语义相似度特征值；根据4.2.1获得了候选实体集合中每个候选单词项的上下文模式特征值；根据4.2.2获得了候选实体集合中每个候选单词项的前缀组合特征上值。在本步骤将综合这三个维度的特征值对候选实体集合进行筛选和排序。
[0125] 5.1候选实体集合筛选
[0126] 在对候选实体集合进行筛选时，去除全部以“http”开头的超链接、以“#”开头的HashTag、以“@”开头的AT和以纯数字构成的候选单词项，剩余候选单词项构成精简后的候选实体集合。
[0128] 在排序阶段，首先分别根据语义相似度特征值SCsimilarity、上下文模式特征值SCpattern和前缀组合特征特征值SCprefix对候选实体集合D＝{item1,item2,…,itemw|w≤m*n}分别按照从大到小的顺序进行排序，得到语义相似度特征上的排序Rsimilarity、上下文模式特征上的排序Rpattern和前缀组合特征上的排序Rprefix。因此对于候选单词项itemi∈D，其对应的三个特征上的排名值分别为Rsimilarityi、Rpatterni和Rprefixi。对于排名第一的单词项，其排名值为1，最后一名的排名值为w。
[0129] 本步骤的目标为生成一个综合排序模型R，其根据三个特征上排名的加权总和来对候选实体集合进行综合排序。既任务转换为对三个特征排序模型所对应的权值向量
的学习。综合排序模型R可描述如下：
[0130]
[0131] 最后，利用综合排序模型 对候选实体集合进行综合排序，最终得到扩展的实体集合。
[0132] 推特文本集合：通过Twitter官方的开发者streaming sample API爬取(Tweepy python包)，获取的推文为全量推文的1％
采样数据。爬取得到的数据为JSON格式文件，文件的每一行记录了一条推文信息。该JSON格式的推文信息包含了许多不同的字段，如值为该推文唯一标识的“id”字段、值为推文文本内容的“text”字段、值为发布时间的“created_at”字段、值为该推文发布者信息的“user”字段以及该推文所用语言的“lang”字段等。通过选取JSON中“lang”字段值为“en”过滤出语言为英语的推文。在此基础上，进一步提取出“text”字段所对应的值，从而构造得到本发明所用的推特文本语料数据集。
[0133] 本方法中运用主流的Word2Vec词嵌入技术，基于待训练的文本数据集，通过预先训练，获得这一数据集的词嵌入向量词典。
[0134] 文本预处理(名词短语识别及处理)：采用Alan Ritter团队在2011年开发的Twitter NLP工具对前述数据集进行组块分析，识别出推文中的名词短语。
[0135] 构建词向量空间模型：本方法中运用主流的Word2Vec词嵌入技术，基于构建的推特文本数据集，通过预先训练，获得这一数据集的词嵌入向量词典。在训练模型的参数设置上，将向量空间的维度设置为200维，窗口大小设置为5，最小的词频统计限制设置为5。最终经过在1,398,511条英文推文文本上的训练，得到了一个200维的词向量空间模型。该模型对83986个词进行了向量表示，且其中包括我们在预处理过程中整合的名词短语。
[0136] 扩展产生候选实体集合：扩展产生候选实体集合的算法伪代码如下：
[0137]
[0138] 基于连接符号的上下文模式归纳：完整的归纳并统计上下文模式的算法伪代码如下：
[0139]
[0140]
[0141] 基于前缀规则的归纳：完整的归纳并统计前缀规则的算法伪代码如下：
[0142]
[0143]
[0144] 计算候选单词项在上下文模式特征上得分：完整的计算候选单词项在前缀规则特征上得分的算法伪代码如下：
[0145]
[0146] 计算候选单词项在前缀规则特征上得分：伪代码如下：
[0147]
[0148]
[0149] 综合排序算法参数学习：
[0150] 对于排序模型R的参数α1、α2、α3学习，本发明选择MAP(Mean Average Precision)度量法来定义排序的性能指标函数。对于给定的一个实体分类ci，其对应的候选实体排序Yi以及在候选实体集合Di上的置换πi，ci的平均准确率定义如下：
[0151]
[0152] 此处yij取值为0或1，0代表该itemij为负例，1代表该itemij为正例。且Pi(j)为itemij所在
位置处的正确率：
[0153]
[0154] 此处πi(j)表示itemij所在的位置。
[0155] 本发明的学习综合排序模型的算法最多共循环T次，每轮
迭代首先判断性能指标函数是否已经达到收敛。判断收敛的条件为，用当前学习得到的排序模型ft进行排序，对排名计算得出的平均准确率值AvgPtt低于上一轮的排序模型ft-1对应的平均准确率值
AvgPt-1。若已经达到收敛，则结束循环，上一轮的排序模型ft-1即为所求得的综合排序模型算法开始时，首先初始化三个特征排序模型所对应的权值为相同大小。每轮根据每
个特征排序模型与当前综合排序模型的相对排序质量，来对其相应的权值进行更新。其中符号解释如表3所示：
[0156] 表3
[0157]
[0158] 完整的学习综合模型排序算法的伪代码如下：
[0159]
[0160]
[0161] 本发明的实验选取了36个实体分类集合作为
训练数据集对此综合排序模型进行
监督学习，最终得到的特征权值向量为：
[0162]
[0163] 本方法采用基于Wikipedia的集合评价方法可对本发明的集合扩展的效果进行评价。
[0164] 评价方法描述：本方法选取在Twitter平台上用户大众讨论较多的实体分类，找到英文Wikipedia中描述该分类的表单(如List of teams of NBA、List of vegetables等)，将表单中的实体作为该分类下实体集合的“黄金标准”，且保留全部
别名或缩写等信息。得到了实体分类的“黄金标准”集合，我们既可以将扩展得到的实体集合中的元素与标准集合进行对比，从而评价扩展实体集合的质量。一种常用的评价实体集合扩展算法的度量是排名-准确率值，既R-precision。R-precision的定义为：实体集合中排名在前R的分类正确实体所占的百分比。
[0165] 评价方法具体实施：本方法选择了45个在Twitter平台上用户大众讨论较多的实体分类，借助Wikipedia中的“List of...”页面中的实体知识信息，构造得到了面向开放领域分类的47个实体集合，作为本文实验的“黄金标准”集合。在构造的过程中，针对于存在别名、缩写、俗称等的实体，我们同时也将该实体的全部其他表达方式加入标准实体集合，以在一定程度上规避评价过程中的误判情况。此“黄金标准”实体集合共包含4981个元素，其中最多的集合包含357个元素，最少的包含23个元素，平均每个集合包含105.9个元素。我们在“黄金标准”集合的基础上，从每个实体分类集合中选取了最具分类代表性的部分实体构成该分类下的初始种子实体集合。
[0166] 针对具体如何在每个分类下选择构建初始种子实体集合：选择方法包括随机法、最大相似度或最高词频法。随机法即以随机的方式从候选中产生n个种子实体构造产生初始集合。最大相似度法利用构建的词向量空间，在候选中选择向量距离最近，既相似度最大的n个种子实体构造产生初始集合。最高词频法则在候选中选择在文本语料数据中出现
频率最高的n个种子实体构造产生初始集合。
[0167] 基于上述评价方法，通过多组对比实验，关于本发明的方法有如下结论：
[0168] 1、采用最大词频法构造初始种子实体集合的实验结果最好。且在扩展集合较小范围内，初始种子集合中种子实体数量为3时，本文方法进行实体集合扩展的质量最好。
[0169] 2、当扩大文本语料数据集的规模时，能够有效地提高实体集合扩展算法的准确率。且在一定范围内，实体集合扩展的效果随候选实体集合中候选项数量的增大而有所提升，但当候选项个数增加到一定数目时，效果的提升将趋于停滞。
[0170] 3、基于上述评价方法的具体评价度量指标结果如下：实体集合扩展正确率R-precision在排名前5位内可达到0.93，排名前10位可达到0.87，排名前20位可达到0.74，排名前50位可达到0.60，排名前100位可达到0.46；实验表明，本发明可以有效面向社交媒体文本进行实体集合扩展。
[0171] 本发明的实施例2提出了一种面向社交媒体的实体集合扩展的系统，所述系统包括：
[0172] 词向量生成模块，用于在推特文本语料数据集上建立推特文本的词向量空间模型，基于该词向量空间模型得到推文中词的向量表示；
[0173] 候选实体集合生成模块，用于基于推文中词的向量表示，计算词之间的相似度，根据相似度为初始种子实体集合中的每个种子生成对应的扩展集合，将所有种子的扩展集合合并得到候选实体集合；
[0174] 初步排序模块，用于分别按照语义相似度特征得分、上下文模式特征得分和前缀组合特征得分对候选实体集合进行排序，得到三个排序结果；
[0175] 综合排序模块，用于根据综合排序模型对三个排序结果进行综合排序，最终得到扩展的候选实体集合。
[0176] 最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行
修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的
权利要求范围当中。
