命名实体识别方法及装置
专利汇可以提供命名实体识别方法及装置专利检索，专利查询，专利分析的服务。并且本公开涉及一种 命名实体 识别方法及装置，包括根据预设标注集对于文本进行标注得到训练语料，所述预设标注集包含命名实体的类型和标注方式、以及非命名实体的标注方式；根据所述训练语料，训练预设的多个识别模型；采用所述多个识别模型分别识别待识别文本，得到每个识别模型的识别结果；基于各识别模型的权重以及各识别模型的识别结果，得到所述待识别文本的识别结果。通过采用多个识别模型分别识别待识别文本，得到每个识别模型的识别结果，根据本公开 实施例 的命名实体识别方法及装置能够有效能够提升命名实体识别的 精度 。，下面是命名实体识别方法及装置专利的具体信息内容。
1.一种命名实体识别方法，其特征在于，所述方法包括：
根据预设标注集对于文本进行标注得到训练语料，所述预设标注集包含命名实体的类型和标注方式、以及非命名实体的标注方式；
根据所述训练语料，训练预设的多个识别模型；
采用所述多个识别模型分别识别待识别文本，得到每个识别模型的识别结果；
基于各识别模型的权重以及各识别模型的识别结果，得到所述待识别文本的识别结果。
2.根据权利要求1所述的方法，其特征在于，所述识别模型为CRF模型时，所述根据预设标注集对文本进行标注得到训练语料，包括：
对所述文本进行分词处理，得到多个分词；
按照所述预设标注集包含的标注方式将属于命名实体的分词标注为相应的类型，以及对属于非命名实体的分词进行标注，得到训练语料。
3.根据权利要求2所述的方法，其特征在于，根据所述训练语料，训练预设的多个识别模型包括：
根据所述训练语料，训练所述CRF模型，包括：
获取所述训练语料中每个分词的词性特征；
将所述训练语料组织为矩阵形式，其中，矩阵中第一列为分词、中间列为各个分词的词性特征，最后一列为各个分词的标注结果，且第一列中各分词按照各分词在所述训练语料中的位置进行排序；
确定训练过程使用的CRF模板文件，所述CRF模板文件由多个模板组成，每个模板用于指定在针对当前分词提取上下文信息时，所提取的上下文信息相对于当前分词的行偏移，以及所提取的上下文信息所在列的绝对位置，所述上下文信息包括分词的上下文特征和词性的上下文特征；
根据所述矩阵和所述CRF模板文件，生成CRF模型。
4.根据权利要求1所述的方法，其特征在于，所述识别模型为BILSTM_CRF模型或者IDCNN_CRF模型时，所述根据预设标注集对文本进行标注得到训练语料，包括：
将所述文本划分为多个字符；
按照所述预设标注集包含的标注方式将属于命名实体的字符标注为相应的类型，以及对属于非命名实体的字符进行标注，得到训练语料。
5.根据权利要求4所述的方法，其特征在于，根据所述训练语料，训练预设的多个识别模型包括：
根据所述训练语料，训练所述BILSTM_CRF模型或者所述IDCNN_CRF模型，包括：
获取所述训练语料中每个字符的字符特征向量，所述字符特征向量包括字向量和字符分割向量；
根据所述训练语料中各字符的字符特征向量和各字符对应的标注结果，训练所述BILSTM_CRF模型或者所述IDCNN_CRF模型。
6.根据权利要求3或5所述的方法，其特征在于，所述多个识别模型包括CRF模型和/或BILSTM_CRF模型和/或IDCNN_CRF模型；
采用所述CRF模型识别待识别文本，得到识别结果包括：
对所述待识别文本进行分词处理，得到多个分词；
确定每个分词的词性特征；
将携带有所述词性特征的多个分词组成的分词序列输入所述CRF模型中，得到所述CRF模型的识别结果；
采用所述BILSTM_CRF模型或所述IDCNN_CRF模型识别待识别文本，得到识别结果包括：
将所述待识别文本拆分成字符，得到多个字符；
确定每个字符的字符特征向量；
将多个字符的字符特征向量组成的序列分别输入BILSTM_CRF模型或IDCNN_CRF模型中，得到BILSTM_CRF模型的识别结果或IDCNN_CRF模型的识别结果。
7.一种命名实体识别装置，其特征在于，所述装置包括：
标注模块，用于根据预设标注集对于文本进行标注得到训练语料，所述预设标注集包含命名实体的类型和标注方式、以及非命名实体的标注方式；
训练模块，用于根据所述训练语料，训练预设的多个识别模型；
识别模块，用于采用所述多个识别模型分别识别待识别文本，得到每个识别模型的识别结果；
加权模块，用于基于各识别模型的权重以及各识别模型的识别结果，得到所述待识别文本的识别结果。
8.根据权利要求7所述的装置，其特征在于，所述标注模块具体用于：
所述识别模型为CRF模型时，对所述文本进行分词处理，得到多个分词；
按照所述预设标注集包含的标注方式将属于命名实体的分词标注为相应的类型，以及对属于非命名实体的分词进行标注，得到训练语料。
9.根据权利要求8所述的装置，其特征在于，所述训练模块包括：
第一训练子模块，用于根据所述训练语料，训练所述CRF模型；
所述第一训练子模块具体用于：
获取所述训练语料中每个分词的词性特征；
将所述训练语料组织为矩阵形式，其中，矩阵中第一列为分词、中间列为各个分词的词性特征，最后一列为各个分词的标注结果，且第一列中各分词按照各分词在所述训练语料中的位置进行排序；
确定训练过程使用的CRF模板文件，所述CRF模板文件由多个模板组成，每个模板用于指定在针对当前分词提取上下文信息时，所提取的上下文信息相对于当前分词的行偏移，以及所提取的上下文信息所在列的绝对位置，所述上下文信息包括分词的上下文特征和词性的上下文特征；
根据所述矩阵和所述CRF模板文件，生成CRF模型。
10.根据权利要求7所述的装置，其特征在于，所述标注模块具体用于：
所述识别模型为BILSTM_CRF模型或者IDCNN_CRF模型时，将所述文本划分为多个字符；
按照所述预设标注集包含的标注方式将属于命名实体的字符标注为相应的类型，以及对属于非命名实体的字符进行标注，得到训练语料。
11.根据权利要求10所述的装置，其特征在于，所述训练模块包括：
第二训练子模块，用于根据所述训练语料，训练所述BILSTM_CRF模型或者所述IDCNN_CRF模型；
所述第二训练子模块具体用于：
获取所述训练语料中每个字符的字符特征向量，所述字符特征向量包括字向量和字符分割向量；
根据所述训练语料中各字符的字符特征向量和各字符对应的标注结果，训练所述BILSTM_CRF模型或者所述IDCNN_CRF模型。
12.根据权利要求9或11所述的装置，其特征在于，所述多个识别模型包括CRF模型和/或BILSTM_CRF模型和/或IDCNN_CRF模型；所述识别模块包括：
第一识别子模块，用于采用所述CRF模型识别待识别文本，得到识别结果；
第二识别子模块，用于采用所述BILSTM_CRF模型或所述IDCNN_CRF模型识别待识别文本，得到识别结果；
其中，所述第一识别子模块具体用于：
对所述待识别文本进行分词处理，得到多个分词；
确定每个分词的词性特征；
将携带有所述词性特征的多个分词组成的分词序列输入所述CRF模型中，得到所述CRF模型的识别结果；
所述第二识别子模块具体用于：
将所述待识别文本拆分成字符，得到多个字符；
确定每个字符的字符特征向量；
将多个字符的字符特征向量组成的序列分别输入BILSTM_CRF模型或IDCNN_CRF模型中，得到BILSTM_CRF模型的识别结果或IDCNN_CRF模型的识别结果。
命名实体识别方法及装置
技术领域
背景技术
范畴，是信息抽取、信息检索、机器翻译和问答系统等多种自然语言处理技术必不可少的组
成部分。
产生错误，可移植性较差。基于统计的方法对特征选取的要求较高，对语料库的依赖也比较
大。基于深度学习的方法在训练时存在梯度消失问题。这些方法难以满足对目前大量无规
则、多领域的命名实体的识别。
发明内容
以及非命名实体的标注方式；根据所述训练语料，训练预设的多个识别模型；采用所述多个
识别模型分别识别待识别文本，得到每个识别模型的识别结果；基于各识别模型的权重以
及各识别模型的识别结果，得到所述待识别文本的识别结果。
的类型和标注方式、以及非命名实体的标注方式；训练模块，用于根据所述训练语料，训练
预设的多个识别模型；识别模块，用于采用所述多个识别模型分别识别待识别文本，得到每
个识别模型的识别结果；加权模块，用于基于各识别模型的权重以及各识别模型的识别结
果，得到所述待识别文本的识别结果。
型的识别结果，通过加权融合多个识别模型的识别结果，结合了不同识别模型的优势，提升
了命名实体识别的精度。
附图说明
具体实施方式
非特别指出，不必按比例绘制附图。
本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
注方式、以及非命名实体的标注方式。其中，命名实体的类型可以用于识别不同的命名实
体。命名实体的标注方式可以用于指示如何标注文本中各类型的命名实体。非命名实体实
体的标注方式可以用于指示如何标注文本中的非命名实体。
状)，给出诊断结论(什么疾病)，并基于诊断结论，给出治疗措施(如何治疗)。从这个过程中
可以看出，医疗活动主要涉及4类重要信息：检查、症状、疾病和治疗。在此基础上，预设标注集中可以包含5个命名实体的类型，包括：疾病类型、疾病诊断分类类型、症状类型、检查类
型和治疗类型。
symptom；检查类型的命名实体可以标注为test；治疗类型的命名实体可以标注为
treatment。
词)。如表1所示，在一个示例中，命名实体的第一个字符、中间的字符和最后一个字符可以
分别标注为B、I和E。例如，disease类型的命名实体的第一个字符可以标注为disease-B，
disease类型的命名实体的中间的字符可以标注为disease-I，disease类型的命名实体的
最后一个字符可以标注为disease-E。
征包括分析的词性，以及由分词的上下文和词性的上下文组成的上下文信息；BILSTM_CRF
模型和IDCNN_CRF模型为深度学习模型，在本公开实施例中，BILSTM_CRF模型和IDCNN_CRF
模型的特征向量为字符的字向量和字符分割向量组成的字符特征向量。需要说明的是，本
公开实施例的多个识别模型还可以为其他的分类模型，对此本公开不做限制。
识别模型的识别结果进行加权求和，根据求和结果确定最终的识别结果。
文本中每个字符的识别结果(即每个字符被识别为命名实体的概率)、模型2输出的待识别
文本中每个字符的识别结果，以及模型3输出的待识别文本中每个字符的识别结果。以待识
别文本的第一个字符为例，假设模型1输出的第一个字符被识别为命名实体的概率为0.7，
模型2输出的第一个字符被识别为命名实体的概率为0.8，模型3输出的第一个字符被识别
为命名实体的概率为0.2，对这三个概率进行加权求和，可以得到求和结果为0.45，该求和
结果小于指定阈值0.5，因此，确定待识别文本的第一个字符不属于命名实体。对于待识别
文本的其他字符可以参照第一个字符，这里不再赘述。
练语料可包括步骤S111和步骤S112。
定该分词属于非命名实体。
语料。对训练语料进行分词处理，得到以下分词：“4”、“年”、“前”、“进行”、“胆囊”和“切除术”。将分词与被标注为treatment的命名实体“胆囊切除术”进行匹配，得到：分词“胆囊”和“切除术”属于疾病类型的命名实体，分词“胆囊”为该命名实体的第一个分词，分词“切除
术”为该命名实体的最后一个分词。因此，可以将“胆囊”标注为treatment-B，将“切除术”标注为treatment-E。对于文本中的其他分词，可以为这些分词添加O标注，对文本中的所有分
词标注完成后，可以得到训练语料。
的流程图。如图4所示，步骤S12可包括：
在所述训练语料中的位置进行排序。
词的行偏移，以及所提取的上下文信息所在列的绝对位置，所述上下文信息包括分词的上
下文特征和词性的上下文特征。
组成。参照《中文电子病历分词规范》，词性主要包括名词(n)、动词(v)、介词(p)、数量词
(m)、符号(x)和副词(d)等。
因 p O
发现 v O
腹部 n disease-B
包块 n disease-E
1 m O
年 m O
余 m O
入院 n O
。 x O
查体 nr O
： x O
心肺 n test-B
听诊 v test-E
无 v O
异常 d O
语料中的位置进行排序。如表2所示，第一列是文本“因发现腹部包块1年余入院。查体：心肺
听诊无异常”包含的各个分词，第二列是各个分词的词性特征，第三列是各个分词的标注结
果。因此，表2可以表示训练语料组织成的矩阵，其中，表2所示的第一列可以作为矩阵的第
一列，表2所示的第二列可以作为矩阵的第二列，表2所示的第三列可以作为矩阵的第三列。
所示，检查类型的命名实体“心肺听诊”出现在词性为动词的分词“查体”之后。
包含指定分词之前和/或之后的分词为指定分词。例如，“查体：”可以作为“心肺听诊”的上下文特征，“查体：”后面很大概率会出现检查类型的命名实体。在CRF模型时用到的特征模
板中可以包含相连的分词“查体”和分词“：”之后的分词为检查类型的命名实体。
分词的行偏移，以及所提取的上下文信息所在列的绝对位置。
指定提取的上下文信息。其中，row表示行的相对偏移量，col表示列的绝对位置。其中，row
为负数时，表示向前偏移，为正数时表示向后偏移，为0时表示当前分词。例如，参照表2和表
3，以当前分词是“腹部”为例进行说明。表3中％x[-2,0]为表2中行相对与“腹部”偏移量为-
2的行，列为第0列的内容，即分词“因”。表3中％x[0,1]为表2中行相对于“腹部”的偏移量为
0的行，列为第1列的内容，即分词“腹部”的词性特征“n”。表4示出，当前分词为“腹部”时，表
3所示的各模板对应的上下文信息。
U01:％x[-2,0]
U02:％x[-1,0]
U03:％x[0,0]
U04:％x[1,0]
U05:％x[2,0]
U06:％x[-1,0]/％x[0,0]
U07:％x[0,0]/％x[1,0]
U08:％x[-1,0]/％x[0,0]/％x[1,0]
U09:％x[-2,0]/％x[-1,0]/％x[0,0]
U10:％x[0,0]/％x[1,0]/％x[2,0]
U11:％x[0,1]
U12:％x[0,0]/％x[0,1]
#Bigram
B
为包含在当前位置前后的特征函数，状态函数为包含在当前位置上的特征函数。通常，特征
函数取值为1或者1。
数越多，对应的特征函数的权重越高，反之越少。
文件，该model文件即为CRF模型。
进行标注得到训练语料可包括步骤S113和步骤S114。
以确定该字符属于非命名实体。
语料。将训练语料拆分为字符，得到字符“4”、“年”、“前”、“进”、“行”、“胆”、“襄”、“切”、“除”和“术”。将字符与被标注为treatment的命名实体“胆囊切除术”进行匹配，其中，字符“胆”、“襄”、“切”、“除”和“术”属于疾病类型的命名实体，字符“胆”为该命名实体的第一个字符，字符“襄”、“切”和“除”为该命名实体的中间的字符，字符“术”为该命名实体的最后一个字符。因此，可以为字符“胆”标注为treatment-B，字符“襄”、“切”和“除”分别标注为
treatment-I，字符“术”标注为treatment-E。对于训练语料中的其他分词，服务器可以为这
些分词标注为O，对文本中所有字符标注完成后，可以得到训练语料。
根据本公开一实施例的步骤S12的流程图。如图6所示，步骤S12可包括：
笔画、含义等)进行表征的各种信息。可以根据外部字向量表(例如通过word2vec训练完成
的字向量表)对各字符进行id编码，得到各字符的字id。训练模型时，可以采用字id匹配外
部字向量表，得到字向量。
始向量。在训练模型时，通过反向传播算法不断优化，最终为该字符训练出一个最优的字符
分割向量。
字id [230，16，511，14，1052，363，……]
数值编码 [0，0，0，1，2，2，3，……]
因 [0.5，0.6……0.25,0.5]1*100 [0.5，0.6……0.25]1*20
发 [0.7，0.8……0.32,0.3]1*100 [0.5，0.6……0.25]1*20
现 [0.9，0.5……0.72,0.8]1*100 [0.5，0.6……0.25]1*20
腹 [0.9，0.8……0.75,0.9]1*100 [0.9，0.8……0.75]1*20
部 [0.2，0.6……0.22,0.6]1*100 [0.2，0.6……0.22]1*20
包 [0.5，0.3……0.52,0.7]1*100 [0.2，0.6……0.22]1*20
块 [0.4，0.7……0.23,0.9]1*100 [0.4，0.7……0.23]1*20
…… …… …
BILSTM_CRF模型或者IDCNN_CRF模型的输入，各字符的标注结果可以用于监督BILSTM_CRF
模型和IDCNN_CRF模型的输出结果。
分词组成的分词序列输入所述CRF模型中，得到所述CRF模型的识别结果。
多个字符的字符特征向量组成的序列分别输入BILSTM_CRF模型或IDCNN_CRF模型中，得到
BILSTM_CRF模型的识别结果或IDCNN_CRF模型的识别结果。
到BILSTM_CRF模型的识别结果和IDCNN_CRF模型的识别结果。
预测类别分别为1、1、0。其中，1表示，该字符属于命名实体，0表示该字符不属于命名实体。
经过加权后，确定该字符属于命名实体的概率为0.45，可以确定最终识别结果为0，即该字
符不属于命名实体。
语料中的位置进行排序；
移，以及所提取的上下文信息所在列的绝对位置，所述上下文信息包括分词的上下文特征
和词性的上下文特征；
901与机器可读存储介质902可经由系统总线903通信。并且，处理器901通过读取机器可读
存储介质902中与命名实体识别逻辑对应的机器可执行指令以执行上文所述的命名实体识
别方法。
RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱
动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介
质，或者它们的组合。
术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨
在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领
域的其它普通技术人员能理解本文披露的各实施例。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于深度问答的答案检索方法及装置 | 2020-05-13 | 567 |
| 一种智能文本处理方法、装置、电子设备及存储介质 | 2020-05-11 | 5 |
| 一种针对电力巡检文本的错误识别方法 | 2020-05-11 | 765 |
| 一种处理文本的方法和装置 | 2020-05-12 | 181 |
| 一种电商产品竞争分析方法及系统 | 2020-05-14 | 221 |
| 一种基于大数据的国防科技热词发现方法及系统 | 2020-05-08 | 800 |
| 基于物理距离和语义距离的双向LSTM模型的构建方法 | 2020-05-08 | 713 |
| 一种面向金融事件的混合型因果关系发现方法 | 2020-05-11 | 513 |
| 基于XML的领域要素提取配置语言系统 | 2020-05-08 | 55 |
| 一种公司形象提升系统的社交网络数据提取方法及系统 | 2020-05-11 | 985 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
