基于核心词相似度判断企业中文名称重复的方法
专利汇可以提供基于核心词相似度判断企业中文名称重复的方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于核心词相似度判断企业中文名称重复的方法，通过ETL,把B2B 电子 商务平台 数据库 中的企业中文名称，加载到企业名称 数据集市 中；对数据集市中保存的企业中文名称进行预处理；通过企业中文名称核心词提取方法来提取这些新增企业中文名称的核心词；根据核心词所对应的企业中文名称集，从而找到对应的未去除名称地域关键词的企业中文名称，通过考虑权重的文本相似度计算处理方法，计算新增企业中文名称与对应的去除名称地域关键词的企业中文名称的相似度。本发明减少了匹配工作的处理量，提高了整个方法的处理效率。，下面是基于核心词相似度判断企业中文名称重复的方法专利的具体信息内容。
1.一种基于核心词相似度判断企业中文名称重复的方法，包括以下步骤：
步骤一：通过ETL,把B2B电子商务平台数据库中的企业中文名称，加载到企业名称数据集市中；
步骤二：对数据集市中保存的企业中文名称进行预处理；
步骤三：在企业名称数据集市中，对于每个企业中文名称，与中国地域名称库进行比对，去掉名称中包含的地域特征的关键词；然后在该数据集市中增加1列，用于保存去掉地域特征关键词的企业中文名称；其中，中国地域名称库保存了国内所有地域的名称；
步骤四：对于B2B电子商务平台中不断新增的企业中文名称，通过ETL加载到数据集市中，通过企业中文名称核心词提取方法来提取这些新增企业中文名称的核心词；
步骤五：取出每一个新增的企业中文名称的核心词，与企业名称数据集市中保存的去掉地域特征关键词的企业中文名称，两者进行匹配，在数据集市中，得到所有包含核心词的企业中文名称集；
步骤六：对于每一个新增的中文公司名称，根据其包含的核心词所对应的企业中文名称集，从而找到对应的未去除名称地域关键词的企业中文名称，通过增加词语重要程度因素的文本相似度计算处理方法，计算新增企业中文名称与对应的去除名称地域关键词的企业中文名称的相似度；
所述增加词语重要程度因素的文本相似度计算处理方法，具体为：
步骤(1)：定义字符串文本A＝‘a1a2a3......an-1an’，B＝'b1b2b3...bm-1bm'，(n＜＝m)，如果B长度大于A将其互换位置；
步骤(2)：对于企业中文名称，具有一定的规律，其组成为：地域+核心词+行业+公司，首先考虑A和B最前端是地域匹配，如果匹配成功，加上权值0.7，否则加0，然后去掉A和B的地域成为新的文本A和B；
定义|A∩B|代表字符串文本A和B相同的字符个数，score(A,B)是字符文本A和B相似度累计值，int(A,B)是字符文本A和B间隔个数，然后从A的第一个字符从左到右分别与B的字符进行匹配，并分别迭代计算|A∩B|，score(A,B)，int(A,B)的值；
步骤(3)：定义sim(A,B)是字符文本A和B的相似度计算值，当该值大于一定阈值T时认为两个字符串文本相似，否则不相似，公式如下：
其中：
阈值定义如下:
T＝1-0.1×(|A∩B|)/n×(F(I(A,B))+1)
其中，I(A,B)为int(A,B)的总和；
间隔函数定义如下：
相似度计算公式中的f函数定义如下：
从 相 似 度 累 计 值 score(A,B) 来 看， 文 本 自 左 向 右， 其
的值逐步减小，符合企业中文名称的规律；
根据定义的相似度和阈值分别计算，然后进行比较，最终确定字符A和B的重复性；
步骤七：根据业务需求提取相似度高的名称，帮助审核人员快速、准确判断企业中文名称的重复情况，对于相似度低的企业中文名称，加入到企业名称数据集市。
2.根据权利要求1所述的方法，其特征在于，步骤二中，所述对数据集市中保存的企业中文名称进行预处理，具体为：
(1)对每个企业中文名称，指针从首字开始，以2个字一组取1个词，然后指针每次向右移动一个字，继续以2个字一组取1个词，该企业中文名称取词结束后，对下一个企业中文名称进行取词；如此循环处理，直到所有企业中文名称取词结束，从而得到一系列2个字组成的词；
(2)对每个企业中文名称，指针从首字开始，以3个字一组取词，然后指针每次向右移动一个字，继续以3个字一组取词，该企业中文名称取词结束后，对下一个企业中文名称进行取词；如此循环处理，直到所有企业中文名称取词结束，从而得到一系列3个字组成的词；
(3)通过统计方法，计算所有的分词出现频率的大小，把频率高的分词挑选出来，保存在常见词库中。
3.根据权利要求1所述的方法，其特征在于，步骤四中，所述企业中文名称核心词提取方法，具体为：
步骤1：对于B2B电子商务平台新增的每个企业中文名称，从常见词库中依次取出常见词，从企业中文名称的左边开始，与常见词进相匹配，如果匹配成功，从企业中文名称中去掉包含的常见词，然后重新进行步骤1；如果匹配不成功，进行步骤2；
步骤2：从这个企业中文名称中，从右边减少一个字，然后继续与常见词库中的常见词进行匹配，匹配不成功，继续重复步骤2，直到企业中文名称中最后一个字为止；
步骤3：将步骤2的最后一个字保存起来，然后从企业中文名称去掉这个字，重新开始匹配，如果匹配不成功，进行步骤2，直到剩下最后一个字为止，把这个字与先前保存的字按先后顺序连接起来，保存，然后从企业中文名称去掉这个字，如果匹配成功，进行步骤4；
步骤4：通过以上步骤处理后，保存下来的词作为企业中文名称的核心词；
步骤5：通过上述步骤，对某个企业中文名称处理结束后，将得到步骤4保存的所有核心词；
对核心词分四种情况构成最终核心词：
●核心词是由两个字组成，就加上企业中文名称右边最近的一个匹配词，共同组成这个企业中文名称的最终核心词；
●核心词是三个或者四个字组成，就保持不变，直接作为最终核心词；
●核心词大于四个字，就截取前四个字作为最终核心词；
●所获取的核心词为空值，就取整个企业中文名称作为最终核心词。
基于核心词相似度判断企业中文名称重复的方法
技术领域
背景技术
有扩大宣传的意图等，都会出现反复注册的情况，从而在B2B电子商务平台上出现大量重
复企业的现象，这导致大量的冗余信息保存在B2B电子商务平台中，使平台的信息质量降
低。另外，如果有些企业出于扩大宣传的意图，不仅会由于反复注册产生大量的重复身份信
息，而且会出现大量相同的产品信息，降低了实际浏览者的体验效果，从而直接影响了B2B
电子商务平台的访问品质，因此防止这种行为对保证B2B电子商务平台的质量是非常重要
的。
的若干词语作为关键词集框架；对于得到关键词集框架的任意两篇文本，依次判断一篇文
本关键词集框架中的每一个词语是否在另一篇文本的关键词集框架中，当该词语属于两篇
文本的关键词集框架、且在两篇文本中的权值匹配时，将表征匹配程度的匹配值加1，直至
一篇文本关键词集框架中最后一个词语，根据得到的匹配值得到两篇文本的相似度；根据
相似度及一相似度阈值判断出两篇文本是否为重复的文本。
是不一样的，例如“焦点科技股份有限公司”，其中“焦点科技”就比“有限”、“公司”这两个词的重要性要高得多，如果不考虑不同词的重要程度，就无法准确判断他们的重复程度。
别与现有文本中的每个特征词进行匹配；在特征词匹配成功时，获取匹配一致的特征词在
待测文本特征词序列中的绝对位置与在现有文本特征词序列中的绝对位置；判断是否存在
一组匹配一致的特征词，所述一组的所有特征词在待测文本与现有文本的特征词序列中的
绝对位置有线性关系；若存在一组匹配一致的特征词，根据所述一组匹配一致的特征词在
待测文本和现有文本的特征词序列中的绝对位置，确定待测文本与现有文本的重复区域。
该方法也没有考虑单个词语的重要程度，而且计算相似度时效率低。
发明内容
中文名称进行取词。如此循环处理，直到所有企业中文名称取词结束，从而得到一系列2个
字组成的词。
称进行取词。如此循环处理，直到所有企业中文名称取词结束，从而得到一系列3个字组成
的词。
地域特征关键词的企业中文名称。其中，中国地域名称库保存了国内所有地域的名称。
词。
词的企业中文名称集。
要程度因素的文本相似度计算处理方法，计算新增企业中文名称与对应的去除名称地域关
键词的企业中文名称的相似度。
称中去掉包含的常见词，然后重新进行步骤一。如果匹配不成功，进行步骤二。
的字按先后顺序连接起来，保存，然后从企业中文名称去掉这个字，如果匹配成功，进行步
骤四。
右分别与B的字符进行匹配，并分别迭代计算|A∩B|，score(A,B)，int(A,B)的值；
法的处理效率。
理效率。
具体实施方式
所有企业中文名称分词结束，从而得到一系列2个字组成的词。
到所有企业中文名称分词结束，从而得到一系列3个字组成的词。
掉地域特征关键词的企业中文名称。其中，中国地域名称库保存了国内所有地域的名称。
核心词。如“焦点科技股份有限公司”，提取核心词为“焦点科技”。
心词的企业中文名称集。
算法，计算新增企业中文名称与对应的去除名称地域关键词的企业中文名称的相似度。
功，再从右边减字，直到只剩下最后一个“焦”，把“焦”字保存下来。
就为“焦点科技”。
右分别与B的字符进行匹配，并分别迭代计算|A∩B|，score(A,B)，int(A,B)的值；
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于名称服务的数据处理方法、系统以及相关设备 | 2020-05-12 | 99 |
| 基于核心词相似度判断企业中文名称重复的方法 | 2020-05-11 | 694 |
| 应用程序名称修改方法、装置、电子设备及存储介质 | 2020-05-13 | 403 |
| 一种视频专辑名称的生成方法及装置 | 2020-05-12 | 99 |
| 用于在文档中识别中文物种名称的方法与系统 | 2020-05-11 | 518 |
| 一种翻译方法及系统 | 2020-05-11 | 456 |
| 一种地址纠错方法及终端 | 2020-05-11 | 173 |
| 一种电力线路智能命名系统 | 2020-05-11 | 681 |
| 一种兴趣点名称的挖掘方法、装置、电子设备及存储介质 | 2020-05-12 | 421 |
| 操作装置、图像形成装置和操作方法 | 2020-05-12 | 863 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
