随着互联网的广泛普及以及社会的日益信息化，文本信息越来越 多，对应的文本信息处理的社会需求越来越大，人们越来越强烈地希 望用自然语言同计算机交流，并希望用自动化的手段处理海量的文本 信息。为了更好地处理文本信息，人们需要积累大量的语言数据资源， 其中包括词典。作为处理文本的重要工具-词典，往往是由人工编纂的， 词典的主要组成包括词及其属性，目前开发的未登录词(文本中很多 词不在现有词典中，这些词相对于现有词典称为未登录词)识别算法 能够有效地从语境中提取未登录词，当对未登录词的属性标注还是一 个相对新的研究课题。如果能够依据现存的文本信息，对未登录词属 性进行准确标注，那么该技术将有助于实现词典的自动编纂，也毕竟 促进文本信息处理的发展。
在分词技术中，对于未登录词的切分错误极大地影响到整体分词 的召回率，进一步会影响到后续语法以及语义理解的准确度，给信息 处理造成一定的困难。因此对未登录词的识别和对其的属性自动标注 成为两个待解决的问题。本发明关注后者即对未登录词的属性自动标 注，并主要针对未登录词的词性自动标注为研究对象。
未登录词词性自动标注的必要性：
1)字典构造时需要对未登录词标注词性。这项工作可以人为，但是采 用机器自动标注、人校正的方式可以减轻人的负担；
2)对某些在线应用是必要的。例如关键词提取(名词可以是关键词， 形容词不行)。
对于上述问题，业界存在一些相关解决方案，例如：
专利CN1369877中给出一个新词词类(词性)猜测的方法。该专利首 先为新词中每一个字符确定一个分离概率，该概率描述在一个长度和 该多字符词一样长的并且具有一定特定此类的词中可在该字符的当前 位置上发现该字符的似然性。例如对于一个双字符词“AB”，该专利 会为字符“A”确定出现在双字符名词中的第一字符出的第一概率， 出现在双字符动词的第一字符的第二概率以及出现在双字符形容词的 第一字符的第三概率。然后在词类基上组合各字符的概率以便为每种 词类形成一个分离中概率，基于该总概率对一个阈值比较，把概率超 过该阈值的每种词类增加为该多字符词的可能词类。
文献[Lu，X.F.Hybrid Methods for POS Guessing of Chinese Unknown Words.Proceedings of the ACL Student Research Workshop， pages 1-6]基于人工创建的规则(这些规则是分别为不同长度的多字符 词，依据中文词的词法构成而创建，比如多字符词“AB”，如果A＝B， 且A是名词，AB是名词)来进行未登录词的词性判断。
目前的技术没有能有效地解决对未登录词的词性自动标注问题， 其中专利CN1369877无法对存在字符分离概率为零的未登录词给出 合理词性判断，另外该词性标注的准确度取决于选用的词典，而文献 [Lu，X.F.Hybrid Methods for POS Guessing of Chinese Unknown Words. Proceedings of the ACL Student Research Workshop，pages 1-6]对应的 方法Recall(20％)比较低。

本发明主要利用现有词典以及外部媒介对未登录词进行词性标 注。本发明可以自动从现有词典中抽取构词规则(构词直接成分，直 接成分属性和直接成分关系)，并基于构词规则构造词性标注模型，基 于词性标注模型对未登录词词性进行标注，并计算对应的可信度。然 后对于低可信度的词性标注，利用外部媒介抽取上下文并进行分析， 对这些词性标注进行修正，最终给出准确度较高的词性标注。基于构 词规则可以从本质上分析词的外在展现属性，因此本方法能够有效地 提高召回率，对于长登录词也同样能够给出合理的词性标注，同时对 词典的依赖性较弱，有很好的稳定性。另外由于本发明采用自动方法 抽取构词规则，并采用多种特征来训练学习，因此能够实现高准确度 的词性标注。
根据本发明第一方面，提出了一种词性标注模型训练装置，包括： 直接成分分析单元，用于对词进行直接成分分析，以获得直接成分、 其属性以及位置关系；转换单元，用于将直接成分分析的结果转换为 训练数据；机器学习单元，用于对转换的训练数据进行机器学习，从 而生成词性标注模型。
根据本发明第二方面，提出了一种词性标注模型训练方法，包括： 直接成分分析步骤，对词进行直接成分分析，以获得直接成分、其属 性以及位置关系；转换步骤，将直接成分分析的结果转换为训练数据； 以及机器学习步骤，对转换的训练数据进行机器学习，从而生成词性 标注模型。
根据本发明第三方面，提出一种词性标注系统，包括：词性标注 模型训练装置，用于对词执行直接成分分析以训练生成词性标注模型； 以及基于模型的词性标注装置，用于利用词性标注模型对未登录词进 行词性标注。
根据本发明第四方面，提出一种词性标注方法，包括：词性标注 模型训练步骤，对词执行直接成分分析以训练生成词性标注模型；以 及基于模型的词性标注步骤，利用词性标注模型对未登录词进行词性 标注。
根据本发明第五方面，提出一种词性标注系统，包括：基于模型 的词性标注装置，用于利用词性标注模型对未登录词进行第一词性标 注；以及基于可信度的词性标注装置，用于利用可信度模型获取未登 录词的词性标注的可信度，并对可信度小于预定阈值的未登录词进行 第二词性标注。
根据本发明第六方面，提出一种词性标注方法，包括：基于模型 的词性标注步骤，利用词性标注模型对未登录词进行第一词性标注； 以及基于可信度的词性标注步骤，利用可信度模型获取未登录词的词 性标注的可信度，并对可信度小于预定阈值的未登录词进行第二词性 标注。
本发明获得如下有益效果：
提高了未登录词词性标注的召回率，特别对长的未登录词能够给 出合理的词性标注；
解决了自动从现有词典中抽取构词规则，分析较多构词特征，实 现高准确度词性标注的难题；
从词典中抽取构词规律，从本质上分析词的外在语法属性，降低对 特定词典的依赖，方法稳定性较好。
附图说明
图1a是示出了本发明的词性标注系统的第一实施例的示意图；
图1b是示出了本发明的词性标注方法的第一实施例的流程图；
图2a是示出了本发明的词性标注系统第二实施例的示意图；
图2b是示出了本发明的词性标注方法的第二实施例的流程图；
图3a和3b示出了词典的示意图；
图4a示出了本发明的词性标注模型训练装置的示意图；
图4b示出了本发明的词性标准模型训练方法的流程图；
图5a是示出了词典语义扩展装置的示意图；
图5b是示出了词典语义扩展方法的流程图；
图6a是示出了本发明的可信度模型生成装置的第一实施例的示意图；
图6b是示出了本发明的生成可信度模型的方法的第一实施例的流程 图；
图6c是示出了本发明的可信度模型生成装置的第二实施例的示意图；
图6d是示出了本发明的生成可信度模型的方法的第二实施例的流程 图；
图7a是示出了本发明的基于可信度的词性标注装置的示意图；
图7b是示出了本发明的基于可信度的词性标注方法的流程图。

下面，将参考附图描述本发明的优选实施例。在附图中，相同的 元件将由相同的参考符号或数字表示。此外，在本发明的下列描述中， 将省略对已知功能和配置的具体描述，以避免使本发明的主题不清楚。
图1a是示出了本发明的词性标注系统的第一实施例的示意图。其 中左边虚框示出了词性标注模型训练设备10，而右边虚框示出了词性 标注设备20。词性标注模型训练设备10包括词典1，词典语义扩展装置 2，词性标注模型训练装置3，词性标注模型4；词性标注设备20包括输 入装置6，基于模型的词性标注装置7以及输出装置11。其中词典1用于 存储待处理语言的基本词条，即，包括词以及词的其它相关属性；词 典语义扩展装置2用于对词典的语义扩展提供支持，生成扩充词，以弥 补词典收词不足的情况，扩充词可以看作是词典的一部分；词性标注 模型训练装置3用于读取词典中的词条(可以包括扩充词)，以进行特 征提取与特征分析转化，最终通过机器学习训练生成词性标注模型4， 词性标注设备20利用该词性标注模型4可以对未登录词的词性进行标 注。输入装置6用于接收输入的未登录词，可以人工输入也可以通过接 口从别的系统导入；基于模型的词性标注装置7用于利用标注模型训练 设备生成的词性标注模型4来对输入的未登录词进行标注；输出装置11 用于输出标注词性的未登录词。
图1b是示出了根据本发明第一实施例的词性标注方法的流程图。 首先，在S101，输入装置6输入未登录词。在S102，利用词性标注模 型训练装置3生成的词性标注模型4，基于模型的词性标注装置7对未登 录词进行词性标注。之后，在S103，输出装置11输出已经标注词性的 未登录词。
下面将结合图4a和4b来描述词性标注模型训练装置如何根据训 练词性标注模型来标注词性。词性标注模型训练装置需要对词典中的 词执行特征提取和特征分析转化。一般地，词典收录了待处理语言核 心词汇，一般规模在5万以上。词典可以包括一个词语的目录，并对目 录中的每一个词语都标注了相应的词性，有些还给出其他相关信息， 例如词法或者语义信息，图3a示出了字典的数据结构，图3b示出了字 典的词的示例。
词性标注模型训练装置可以采用任意一种机器学习模型进行词 性标注模型训练。机器学习大体可以分为两类：第一为基于分类器的， 比如决策树、Bayes方法、支持向量机(SVM)，第二类是基于马尔可夫 模型的，比如HMM(Hiden Markov model，隐马尔可夫)、MEMM (Maximum Entropy Markov Model，最大熵马尔可夫)、CRF (conditional random fields，条件随机域)。
本发明以CRF(条件随机域)模型为例，说明该词性标注模型训 练装置。参考图4a以及图1a，词性标注模型训练装置包括直接成分分 析单元301，用于将词典中的词以及词典语义扩展装置2的扩充词进行 直接成分切分、直接成分属性以及位置关系分析；特征模板选择单元 304，用于选择特征模板；CRF转换单元302，用于借助于特征模板选 择单元304选择的特征模板对直接成分分析单元301的分析结果进行特 征转换，CRF机器学习单元303，用于利用CRF机器学习算法对特征转 换的结果进行学习，生成词性标注模型。需要注意的是，如果采用其 它的机器学习方法，则该词性标注模型训练装置可以不需要使用特征 模板，从而不包括特征模板选择单元304。
图4b示出了根据本发明的词性标注模型训练方法的流程图。
首先，在S306，直接成分分析单元301对词典的词(可以包括扩 充词)进行直接成分分析，即进行直接成分切分、直接成分属性以及 位置关系分析。
下面将解释直接成分的含义。构成一个大单位的小单位称之为大 单位的成分，相应地直接构成一个大单位的小单位称为直接成分。对 词典词进行直接成分分析及直接成分属性分析就是对每一个词典词都 找到它的直接成分，并标注直接成分的属性。词典词本身属于词，而 不是比词更小的组成成分，所以此处的直接成分切分及直接成分属性 分析不同于一般意义上的词语切分和词性标注，而是对每一个由两字 及两个以上的字构成的词典词都切成比它低一级的单位(直接成分切 分)，比如两字词，低一级的单位就是构成该两字词的单个字符(语素)， 而对于三字及三字以上的，则将它切分为字典中存在的词以及剩余的 单个语素，比如“科学技术部”，假定字典中存在“科学”，“技术”两 个词，而不存在“科学技术”，“技术部”等，那么它切分后的直接成 分就是“科学/技术/部”，假定词典中存在“科学”，“技术部”，“技术” 等词，那么切分后的直接成分就是“科学/技术部”(低一级的单位)， 而不是切分为“科学/技术/部”。因此，这里的直接成分可能是词，也 可能是语素。直接成分的属性主要指的是语法属性，以词性标记的形 式显示，包括所有可能的词性标记。对扩充词执行的直接成分分析、 直接成分属性以及位置分析与对词典的相同。
下表给出直接成分分析单元301执行直接成分切分、属性分析、位 置分析的一个示例。其中“灌渠、灌水、科学技术部”三个词的直接 成分切分、属性和位置分析结果如下所示：
  直接成分   直接成分长度   (字节)   直接成分属性   灌   2   V   渠   2   N   灌   2   V   水   2   N   科学   4   N   技术   4   N   部   2   N
在S307，特征模板选择单元304选择执行CRF转化所需的特征模 板，该特征模板是根据直接成分及其属性选择特征，然后利用现有的 CRF特征模板定制得到的，特征模板选择单元304将该特征模板提供给 CRF转换单元302。特征模板可以涉及待标注直接成分自身及前后若干 个直接成分的若干个属性。以下是4个特征模板的示例，这4个模板涉 及待标注直接成分自身及前后各一个直接成分的三种属性：
//Part-of-speech of the constituent word(直接成分的词性)
U01：％x[-1，2]//the former one constituent′s second feature(/)(″/″ denotes a null feature)(前一个直接成分的第二特征(/)(″/″表示空 特征)
U02：％x[0，2]//the current constituent′s second feature(a)(当前直 接成分的第二特征(a))
//Length of the constituent word(直接成分词的长度)
U03：％x[1，1]//the next one constituent′s first feature(2，2)(下一个 直接成分的第一特征(2，2))
//The constituent word itself(直接成分词本身)
U04：％x[0，0]//the current one constituent′s zero feature(冷)(当前 一个直接成分的零特征(例如，冷)
在S308，CRF转换单元302利用选择的特征模板，将词典词的直 接成分、直接成分属性、直接成分之间关系转换为特征作为CRF机器 学习的输入数据。从而，CRF转换单元302获得了词典词的直接成分 的相应的特征信息。
转换的输入数据示例如下(tag的格式为“词性标记位置(这里的 词性指的是整个词的词性)”，例如，“B”表示起始位置，“M”表示 中间位置，“E”表示结尾位置，对于中间位置，还可以设置中间的第 一个位置以及中间的第n个位置)：
if(T(-1，2)＝′/′)tag＝′N_B′
if(T(0，2)＝′v′)tag＝′N_B′
if(T(1，1)＝′2′)tag＝′N_B′
if(T(0，0)＝′灌′)tag＝′N_B′
if(T(-1，2)＝′v′)tag＝′N_E′
if(T(0，2)＝′n′)tag＝′N_E′
if(T(1，1)＝′2′)tag＝′N_E′
if(T(0，0)＝′渠′)tag＝′N_E′
if(T(-1，2)＝′/′)tag＝′V_B′
if(T(0，2)＝′v′)tag＝′V_B′
if(T(1，1)＝′2′)tag＝′V_B′
if(T(0，0)＝′灌′)tag＝′V_B′
if(T(-1，2)＝′v′)tag＝′V_E′
if(T(0，2)＝′n′)tag＝′V_E′
if(T(1，1)＝′2′)tag＝′V_E′
if(T(0，0)＝′水′)tag＝′V_E′
if(T(-1，2)＝′/′)tag＝′N_B′
if(T(0，2)＝′n′)tag＝′N_B′
if(T(1，1)＝′4′)tag＝′N_B′
if(T(0，0)＝′科学′)tag＝′N_B′
if(T(-1，2)＝′n′)tag＝′N_M′
if(T(0，2)＝′n′)tag＝′N_M′
if(T(1，1)＝′4)tag＝′N_M′
if(T(0，0)＝′技术′)tag＝′N_M′
if(T(-1，2)＝′n′)tag＝′N_E′
if(T(0，2)＝′n′)tag＝′N_E′
if(T(1，1)＝′2′)tag＝′N_E′
if(T(0，0)＝′部′)tag＝′N_E′
在S309，CRF机器学习单元303接收特征信息，并通过CRF机器学 习算法生成词性标注模型。
图5a是示出了词典语义扩展装置的示意图。词典语义扩展装置用 于借助语义扩展来丰富现有词典的信息，构筑更加丰富的词语特征， 并优化未登录词的词性标注模型的构建，以提高未登录词的词性标注 准确度。该词典语义扩展装置2包括同义词扩展单元21；反义词扩展单 元22以及同类词扩展单元23。
图5b是示出了词典语义扩展方法的流程图。词典语义扩展装置2 对词典进行进一步的语义扩展。
在S501，同义词扩展单元21根据同义词对词典中的词进行扩展， 以生成扩充词，并将这些词存放到扩充词表24中。该同义词扩展单元 2首先对词典中的词进行切分，然后利用切分后的直接成分的同义词， 对原词中的直接成分进行替换，以构成扩充词。例如：
词典存在词“观/看”，其中“看”的同义词有“察”，那么“观/ 察”可以作为同义词扩展得到的扩充词。
在S502，反义词扩展单元22根据反义词对词典中的词进行扩展， 和步骤S501类似，只是使用切分成分的反义词进行替换，以生成扩 充词，并存放在扩充词表24中。例如：
词典中存在“热菜”，其中“热”的反义词有“冷”，那么“冷菜” 就是反义词扩展得到的扩充词。
在S503，同类词扩展单元23根据词的同类词对词典中的词进行 扩展，和S501类似，只是用于替换的词是要被替换的词的同类词， 并存放在扩充词表24中。其中同类可以从构词方法上去分析，也包括 自定义分类的同类，例如：
1)“红苹果”到“绿苹果”是依据修饰的颜色同类上扩展
2)“千人”到“万人”是从数量修饰同类上扩展
3)“宅女”到“宅男”是从主体的性别同类上扩展
4)“房托”到“婚托”是从主体对应职业同类上扩展
5)“飘过”到“闪过”是从语义的类似上扩展
6)“美发”到“亮发”是基于形容词“美”和“亮”都能够用于使动 而扩展。
最终获得的扩充词表24可以作为词典的一部分一起用于词性标 注模型训练。
图2a是示出了本发明的词性标注系统的第二实施例的示意图。该 词性标注系统与图1a所示的第一实施例的词性标注系统的不同在于还 包括：可信度模型5；基于可信度的词性标注装置8以及词性标注融合 装置9。可信度模型5存储了已计算的可信度数据模型，该模型可以由 一个可信度模型生成装置生成，其中可信度指的是对“一个模型判断 一个词的词性”的准确程度的估计；基于可信度的词性标注装置8用于 利用可信度模型，对输入的未登录词计算可信度，并对可信度低的词 进行词性标注；词性融合装置9用于对基于模型的词性标注装置7和基 于可信度的词性标注装置8标注的未登录词的词性进行融合，可以采用 已知的方法来融合标注的未登录词的词性。
通过采用本发明的第一实施例的词性标注系统和本发明的第二实 施例的词性标注系统可以实现对未登录词的词性的准确标注，可以应 用于各种文本信息处理系统，从而获得准确的词性标注。此外，虽然 示出了词性标注系统包括词典语义扩展装置2，但是，很明显地，词 性标注系统也可以不包括该词典语义扩展装置2。
图2b示出了根据本发明第二实施例的词性标注方法。在S201，输 入装置6输入未登录词。在S202，基于模型的词性标注装置7利用词性 标注模型对未登录词的词性进行标注。在S203，基于可信度的词性标 注装置8利用可信度模型5获取未登录词的可信度，其中，对可信度低 于预定阈值的未登录词，则可以根据未登录词的上下文对该未登录词 的词性进行标注。最后，在S204，对基于模型的词性标注装置7所标 注的未登录词的词性以及基于可信度的词性标注装置8所标注的未登 录词的词性进行融合，从而获得标注的准确率较高的词性。
词性标注模型4是基于词语内部结构特征的词性标注模型，该模 型的有效性是建立在“一个词语的语法属性由它的构成决定”的假设 之上。上述假设在大部分情况是正确的，词的构成本质上决定了词语 可能展示出那些语法属性，不过也存在一些特殊情况，使得仅仅使用 词的结构判断词性的准确度下降，比如，一种情况，对于有些词语来 说，其内部构成决定了它具有多种可能的语法属性，但在实际使用中 并不一定完全展示出来，能看到的只是这多种可能的语法属性中的一 部分；另一种情况下，有些词语在刚产生的时候没有表现出某些语法 属性，随着使用的增多，其用法也不断发展变化，可能会表现出一些 新的语法属性；还有一种情况，某种词性的词语可以通过某种手段转 化成另一种词性。除此之外，任何一种机器学习方法都受到训练语料 的局限，对于训练语料所无法覆盖的特征，其预测结果自然也不会很 可靠。基于这些原因，仅仅使用内部结构不能达到最好的预测效果。 有必要通过观察词语的实际用法来对通过内部结构判断的结果进行补 充和修正。本发明采用可信度模型的目的就是为了判断通过内部结构 判断的结果是否可信，对于可信度较低的结果再结合词语的实际用法 (通过上下文来表示)来予以补充和修正。
下面将参考图6a-6d对如何获得可信度模型进行描述。
图6a示出了本发明的可信度模型生成装置的第一实施例。该可信 度模型生成装置包括词典直接成分分析及转换单元401以及得分值计 算单元402。词典直接成分分析及转换单元401用于基于词典来执行直 接成分分析，即，直接成分分词，直接成分属性以及位置关系的分析， 之后将获得的分析结果转化为直接成分词性-词长序列；得分值计算单 元402用于根据对与序列匹配的所有词的词性进行分析计算每一个直 接成分词性-词长序列的得分，并将每一个直接成分词性-词长序列和 其对应得分值作为可信度模型。
图6b示出了本发明第一实施例的可信度模型生成装置生成可信 度模型的方法的流程图。该种方法是先验的，直接基于词典词进行分 析和统计来获得可信度模型，具体地，分析词典中所有直接成分词性- 词长序列来构造可信度模型。首先，在S403，词典直接成分分析及转 换单元401采集对词典进行直接成分切分和直接成分属性、位置分析 后输出的内容；将输出的内容转化为直接成分词性-词长序列，比如31 的一条输出为“灌渠→灌2V渠2N”，那么对应的词性序列就 为“V2N2”，相应地，“灌渠”与序列“V2N2”匹配。之后，得分值 计算单元402在S404，提取所有唯一的直接成分词性-词长序列，并构 造一个集合，提取任意一个直接成分词性-词长序列，通过以下的步骤 (1)和(2)计算对应的可信度得分值(以第K个直接成分词性-词长 为例)；
(1)统计词典中匹配第K个词性序列的所有词典词，并依据词的词性 来分别计数
(2)提取词语数目最多的前两个词性(词的词性)按照下面的计算公 式计算该词性序列的可信度得分值Ik：
$I_k=\frac{\mathrm{Count}\left(S_k\right|P=P_j)-\mathrm{Count}\left(S_k\right|P=P_{j+1})}{\mathrm{Count}\left(S_k\right)}---\left(1.1\right)$
其中，SK是P1L1P2L2……PnLn的序列，这一序列是以直接成分分析输 出内容为基础上转变而来，其中n是与第K个词语构成词性序列对应 的任意词语Wordx的直接成分的数量，P2表示Wordx的第n个直接成 分的词性，L2表示Wordx的第n个直接成分的长度；Count(SK)指的是 与第K个词性序列SK匹配的词典词数量，Count(SK|P＝Pj)指的是与第 K个词性序列SK匹配并且标记为词性Pj的词典词的数量， Count(SK|P＝Pj+1)指的是与第K个词性序列SK匹配并且标记为词性 Pj+1的词典词的数量，其中Pj和Pj+1分别是符合序列SK的词典词所涉 及的词性中词语数量最多的两个词性。
最后，在S405，得分值计算单元402将直接成分词性-词长以及计 算出来的对应的直接成分词性-词长序列的可信度得分值作为词性标 注的可信度模型并存放到可信度模型5中。
图6c示出了本发明的可信度模型生成装置的第二实施例示意 图。参考图6c，该可信度模型生成装置包括测试词语集合直接成分分 析及转换单元408和得分值计算单元409。
图6d是示出了本发明的生成可信度模型的方法的第二实施例流程图。 该实施例中所采用的生成可信度模型的方法是后验的，在获得初步的 词性标注模型之后，通过计算测试词语集合的正确率来获得词性标注 的可信度模型。即，应用词性标注模型去标注给定的测试集，通过测 试结果分析来生成可信度模型。
首先，采用一个给定的标注好词性的测试词语集合，其结构类似 于词典1。在S410，测试词语集合直接成分分析及转换单元408对该 测试词语集合的任何一个词语，进行直接成分切分和直接成分属性、 位置分析，并输出，之后，将上一步骤的分析和直接成分标注结果， 转化为直接成分词性-词长序列。在S411，得分值计算单元409提取 所有唯一的直接成分词性-词长序列，并构造一个集合，提取任意一个 直接成分词性-词长序列，通过以下步骤(1)计算其对应的可信度得 分值(以第K个直接成分词性-词长为例)；
(1)提取测试词语集合中与第K个词性序列匹配的所有词，逐一使 用词性标注模型4进行标注，统计标注正确的词语个数和标注错误的 词语个数，然后使用下面的计算公式来计算该词语构成词性序列的可 信度得分值Ik：
$I_k=\frac{\mathrm{Count}\left(S_k\right|P_r=\mathrm{true})-\mathrm{Count}\left(S_k\right|P_r=\mathrm{false})}{\mathrm{Count}\left(S_k\right)}---\left(1.2\right)$
其中，SK是P1L1P2L2……PnLn的序列，这一序列是以直接成分分析输 出内容为基础上转变而来，其中n是对应该词语构成词性序列的任意 词语Wordx的直接成分的数量，P2表示Wordx的第n个直接成分的词 性，L2表示Wordx的第n个直接成分的长度；Count(SK)指的是测试词 语集合中与第K个词性序列SK匹配的词语数量，Count(SK|P＝true)指 的是测试词语集合中与第K个词语构成词性序列SK并且自动词性标 注结果正确的词的数量，Count(SK|P＝false)指的是测试词语集合中与 第K个词语构成词性序列SK并且自动词性标注结果错误的词的数量。
最后，在S412，得分值计算单元409将直接成分词性-词长以及计 算出来的对应的直接成分词性-词长序列的可信度得分值作为词性标 注的可信度模型并存放到可信度模型5中。
图7a是示出了本发明的基于可信度的词性标注装置的示意图。基 于可信度的词性标注装置包括可信度获取单元61，用于利用可信度模 型获取未登录词的词性标注的可信度；可信度判断单元62，用于判断 未登录词的词性标注的可信度是否低于预定阈值；语料搜索单元63， 用于从语料中搜索包含可信度低于预定阈值的未登录词的句子；词性 标注单元64，用于基于全局或局部上下文判断不确定词性的未登录词 的词性，并标注。该词性标注装置还可以包括一个融合单元(未示出)， 在词性确定单元64采用多种方法确定未登录词的词性时对词性标注的 结果进行融合。此外，基于可信度的词性标注装置可以不包括该语料 搜索单元63，可以在确定低可信度的未登录词之后，由手工对未登录 词的词性进行标注。
图7b是示出了根据本发明的基于可信度的词性标注方法的流程 图。在S601，可信度获取单元61利用可信度模型获得未登录词的词 性标注的可信度，例如，对于未登录词“灌田”由于其词性序列是 V2N2，所以，可信度获取单元61从可信度模型中获得有关词性序列 为V2N2的可信度得分值。在S602，可信度判断单元62判断未登录 词的词性标注的可信度得分值是否低于预定阈值，如果否定，则结束， 否则执行步骤S603。在S603，语料搜索单元63从语料中搜索出包含 低可信度的未登录词的句子，可以使用各种方法和途径获取含有指定 未登录词的语料，例如通过指定关键词获取搜索引擎返回结果，或者 从一个大的文本数据库中检索含有指定未登录词的句子。在S604，词 性标注单元64基于全局或局部上下文判断未登录词的词性并标注，基 于全局上下文判断未登录词的词性的各种方法的实例，可以是一个， 也可以是很多个。例如：不需要准备训练语料的基于规则的投票方法， 需要准备训练语料的KNN分类方法。之后，如果在S604采用了多种 方法来标注未登录词的词性，则在S605，将所有方法标注的结果整合 为一个统一的结果。整合的方法很多，例如投票方法，用各种方法所 得结果进行投票，得票最多的结果为好的结果。最后，在S606，获得 词性标注的结果。
虽然基于可信度的词性标注方法采用搜索语料并基于全局或局 部上下文判断未登录词的词性，但是，很明显地，也可以在确定低可 信度的未登录词之后，由手工对未登录词的词性进行标注。
尽管已经参照具体实施例，对本发明进行了描述，但本发明不应 当由这些实施例来限定，而应当仅由所附权利要求来限定。应当清楚， 在不偏离本发明的范围和精神的前提下，本领域普通技术人员可以对 实施例进行改变或修改。