首页 / 专利库 / 数学与统计 / 模糊逻辑 / 一种基于模糊逻辑的高效提取文本信息的方法

一种基于模糊逻辑的高效提取文本信息的方法

阅读:365发布:2020-05-11

专利汇可以提供一种基于模糊逻辑的高效提取文本信息的方法专利检索,专利查询,专利分析的服务。并且随着信息技术的高速发展,人类已经进入了 大数据 时代。这些数据不仅仅只是可进行数学运算的整形和浮点型数据,还包含着大量无法进行数学运算的非结构化文本数据。充分挖掘这些文本数据对于各行各业都有着重大意义。随着 人工智能 技术的火热, 自然语言处理 领域也借助 深度学习 取得的巨大的突破。但是,使用深度学习进行 文本分析 的成本过高,不适用于中小型的文本分析项目。使用深度学习技术进行 文本挖掘 要想取得好的效果投如大量人 力 对数据进行人工标注。为了提高训练速度,还必须购买昂贵的 加速 设备,例如谷歌的tpu。本 发明 采用一中基于 模糊逻辑 的文本分析方法,能够以更轻量且更低成本的方式实现对非结构化文本数据中的关键信息的提取。,下面是一种基于模糊逻辑的高效提取文本信息的方法专利的具体信息内容。

1.A.构建分类目专业词典:由行业专家按照业务需求对构建专业词典。
B.构建“结尾字-术语”词典:提取专业字典中所有术语的最后一个字并进行去重操作获得结尾字列表。以结尾字列表中的每一个结尾字作为关键字,以所有以此关键字结尾的术语作为值,构建“结尾字-术语”字典。
C.预设模糊匹配算法各个长度匹配阈值:模糊匹配算法为给出两个句子并返回这两个句子的相似度分数,为了获得最优的效果,就需要人工的为不同长度的每个待预测语句预设一个阈值。本发明中预设的阈值为经过大量实验获得,具有近似最优性。
D.分词工具加载全量专业词典:使用分词工具加载各个类目的专业词典用于后续分词操作。
E.对待预测数据进行分词:使用加载了全量专业词典的分词工具对输入文本进行分词并提取分词后的结尾词。
F.查找“结尾字-术语”词典:将结尾字输入“结尾字-术语”词典就能够得到以该字结尾的所有术语,将分词后的结果与返回的专业术语一一进行模糊匹配,返回得分最高且超过预设阈值的组合。

说明书全文

一种基于模糊逻辑的高效提取文本信息的方法

背景技术

[0001] 随着信息技术的高速发展,人类已经进入了大数据时代。这些数据不仅仅只是可进行数学运算的整形和浮点型数据,还包含着大量无法进行数学运算的非结构化文本数据。充分挖掘这些文本数据对于各行各业都有着重大意义。随着人工智能技术的火热,自然语言处理领域也借助深度学习取得的巨大的突破。但是,使用深度学习进行文本分析的成本过高,不适用于中小型的文本分析项目。使用深度学习技术进行文本挖掘要想取得好的效果投如大量人对数据进行人工标注。为了提高训练速度,还必须购买昂贵的加速设备,例如谷歌的tpu。本发明采用一中基于模糊逻辑的文本分析方法,能够以更轻量且更低成本的方式实现对非结构化文本数据中的关键信息的提取。

发明内容

[0002] 本发明结以一种独特且十分高效的方式来提取非结构化事故事件文本数据中的关键信息。首先由行业专家以人工标注的方式得到多个专业术语类目词典-例如在“消防器材”类目下的专业术语有灭火器,消火栓,消防枪等等。接下来将所有类目下的术语合并为一个总词典以供分词工具加载。
[0003] 传统的基于模糊逻辑的文本匹配方法需要将分词后的文本逐一与词典中的术语进行匹配,在实际工程应用中待预测数据与专业词典的规模往往十分庞大,这会消耗大量的时间。本发明团队在大量的实际工程项目中发现,某一领域或某一类别的专业术语往往具有相同的“结尾词”,列如“石油专用设备”类目下的井钻机,取样钻机,地锚钻机都以“机”结尾。为此我们又建立了一个“结尾词-术语”字典,只需提取分词后的待预测文本的结尾词然后与字典中以该字符结尾的术语进行模糊匹配即可,节省了大量时间。
[0004] 初次之外,本发明还针对不同长度的分词结果设置了不同的模糊匹配阈值,这些阈值是经过反复实验得到的近似最优值。附图说明
[0005] 图1是本发明的工作流程图
[0006] 图2是本发明的程序运行图。

具体实施方式

[0007] A.构建分类目专业词典:由行业专家按照业务需求对构建专业词典。
[0008] B.构建“结尾字-术语”词典:提取专业字典中所有术语的最后一个字并进行去重操作获得结尾字列表。以结尾字列表中的每一个结尾字作为关键字,以所有以此关键字结尾的术语作为值,构建“结尾字-术语”字典。
[0009] C.预设模糊匹配算法各个长度匹配阈值:模糊匹配算法为给出两个句子并返回这两个句子的相似度分数,为了获得最优的效果,就需要人工的为不同长度的每个待预测语句预设一个阈值。本发明中预设的阈值为经过大量实验获得,具有近似最优性。
[0010] D.分词工具加载全量专业词典:使用分词工具加载各个类目的专业词典用于后续分词操作。
[0011] E.对待预测数据进行分词:使用加载了全量专业词典的分词工具对输入文本进行分词并提取分词后的结尾词。
[0012] F.查找“结尾字-术语”词典:将结尾字输入“结尾字-术语”词典就能够得到以该字结尾的所有术语,将分词后的结果与返回的专业术语一一进行模糊匹配,返回得分最高且超过预设阈值的组合。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈