一种信息点数据冗余的判别方法和设备
专利汇可以提供一种信息点数据冗余的判别方法和设备专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种信息点数据冗余的判别方法和设备，内容包括：将 电子 地图 数据库 中的POI进行两两 配对 ；针对每个配对，执行以下步骤：根据所述配对中两个POI的经纬度坐标，计算两个POI的距离；判断所述距离是否大于等于预置的距离 阈值 ；若是，则确定该两个POI不为冗余数据；若否，则根据该两个POI的 属性信息 计算POI相似度，并判断POI相似度是否大于等于预置的相似度阈值，若是则确定两个POI为冗余数据，若否则确定两个POI不为冗余数据。本方案能够在数据融合阶段确定出配对的两个POI数据是否是冗余数据，不仅减少了POI存储的数据量，而且还能够节省POI占用的存储资源，改善系统的性能。，下面是一种信息点数据冗余的判别方法和设备专利的具体信息内容。
1.一种信息点数据冗余的判别方法，其特征在于，包括：
将电子地图数据库中的POI进行两两配对；
针对每个配对，执行以下步骤：
根据所述配对中两个POI的经纬度坐标，计算两个POI的距离；
判断所述两个POI的距离是否大于等于预置的距离阈值；
若是，则确定所述配对中的两个POI不为冗余数据；
若否，则根据所述配对中的两个POI的属性信息计算POI相似度，并判断所述POI相似度是否大于等于预置的相似度阈值，若是则确定所述两个POI为冗余数据，若否则确定所述两个POI不为冗余数据；
POI的属性信息至少包括以下一种：POI名称、POI地址、电话号码、POI类型；
将电子地图数据库中的POI进行两两配对之前，还包括：
对所述电子地图数据库中的POI的属性信息进行预处理；
对POI的属性信息中的POI地址进行预处理，具体包括：
根据预置的行政区划前缀表，确定POI地址是否包含地址前缀，若包含则记录POI地址的地址前缀以及地址前缀标识；
判断所述POI地址中是否包含括号，若包含则将括号及括号内的内容从POI地址中删除；
根据预置的同义词简称表，判断POI地址中是否包含同义词或简称词，若包含，则用同义词简称表中与该同义词或简称词对应的默认词替换POI地址中的相应同义词或简称词；
根据预置的地址别名表，判断POI地址中是否包含别名词，若包含则将地址别名表中与该别名词对应的默认词替换所述POI地址中相应的别名词；
所述计算所述两个POI的地址相似度，具体包括：
判断所述两个POI的地址前缀标识是否一致；
若不一致，则确定两个POI的地址相似度为0；
若一致，则确定两个POI的地址前缀相似度为1，并计算两个POI的主体相似度、地址子序列相似度，并根据主体相似度、地址子序列相似度计算所述两个POI的地址相似度，其中所述主体是指POI地址中除地址前缀、地址后缀和括号内容之外的部分内容；
其中，所述地址子序列相似度，用于判断所述两个POI中，是否存在其中一个POI的地址完全包含在另一个POI的地址。
2.如权利要求1所述的方法，其特征在于，根据所述配对中的两个POI的属性信息计算相似度，具体包括：
当属性信息包括POI名称时，计算所述两个POI的名称相似度；
当属性信息包括POI地址时，计算所述两个POI的地址相似度；
当所述属性信息包括电话号码时，计算所述两个POI的电话号码相似度；
当所述属性信息包括POI类型时，计算所述两个POI的类型相似度；
根据计算得到名称相似度、地址相似度、电话号码相似度、类型相似度，计算得到所述两个POI的POI相似度。
3.如权利要求2所述的方法，其特征在于，对POI的属性信息中的POI名称进行预处理，具体包括：
根据预置的行政区划前缀表，确定POI名称是否包含名称前缀，若包含则记录POI名称的名称前缀以及名称前缀标识；
根据预置的后缀表，确定POI名称是否包含名称后缀，若包含则记录POI名称的名称后缀以及名称后缀标识；
判断所述POI名称中是否包含括号，若包含则将括号及括号内的内容从POI名称中删除，并记录括号内容；
根据预置的连锁店名称表，判断POI名称中是否包含连锁店名称，若包含则使用该连锁店名称替换所述POI名称；
根据预置的同义词简称表，判断POI名称中是否包含同义词或简称词，若包含，则用同义词简称表中与该同义词或简称词对应的默认词替换POI名称中的相应同义词或简称词；
根据预置的名称别名表，判断POI名称中是否包含别名词，若包含则将名称别名表中与该别名词对应的默认词替换所述POI名称中的相应别名词；
所述计算所述两个POI的名称相似度，具体包括：
判断所述两个POI的名称前缀标识是否一致；
若不一致，则确定两个POI的名称相似度为0；
若一致，则确定两个POI的名称前缀相似度为1，并计算两个POI的主体相似度、名称后缀相似度、括号内容相似度，并根据所述主体相似度、名称后缀相似度、括号内容相似度计算所述两个POI的名称相似度，其中所述主体是指POI名称中除名称前缀、名称后缀和括号内容之外的部分内容。
4.如权利要求1所述的方法，其特征在于，所述计算两个POI的主体相似度，具体包括：
根据下式计算两个POI的主体相似度：
其中SMiddA(A,B)为两个POI对应的主体相似度，A为其中一个POI的主体，B为另一个POI的主体，m为对主体A进行分词得到的地址元素的数目，n为对主体B进行分词得到的地址元素的数目，ai为主体A中第i个地址元素与主体B中各地址元素的相似度中的最大相似度，bj为主体B中第j个地址元素与主体A中各地址元素的相似度中的最大相似度；
其中，主体A与主体B中的地址元素的相似度根据下式得到：
其中，S(Ai,Bj)表示主体A中第i个地址元素与主体B中第j个地址元素的相似度，|Ai|和|Bj|分别为地址元素Ai与Bj的长度， 为地址元素Ai与Bj的编辑距离；
和/或，
所述计算两个POI的地址子序列相似度，具体包括：
判断所述两个POI中，是否存在其中一个POI的地址完全包含在另一个POI的地址中，若是则确定所述两个POI的地址子序列相似度为1，若否则确定所述两个POI的地址子序列相似度为0。
5.如权利要求1所述的方法，其特征在于，对POI属性信息中的电话号码进行预处理，具体包括：
将POI的电话号码按照预置的电话号码格式进行转换；
计算所述两个POI的电话号码相似度，具体包括：
判断所述两个POI的电话号码是否一致；
若一致，则确定两个POI的电话号码相似度为1；
若不一致，则确定两个POI的电话号码相似度为0。
6.如权利要求1所述的方法，其特征在于，计算所述两个POI的类型相似度，具体包括：
判断所述两个POI的POI类型是否一致；
若一致，则确定两个POI的类型相似度为1；
若不一致，则确定两个POI的类型相似度为0。
7.一种信息点数据冗余的判别设备，其特征在于，包括：
匹配单元，用于将电子地图数据库中的POI进行两两配对；
距离计算单元，用于针对每个配对，根据所述配对中两个POI的经纬度坐标，计算两个POI的距离，并触发判断单元；
所述判断单元，用于判断所述两个POI的距离是否大于等于预置的距离阈值；若是，则确定所述配对中的两个POI不为冗余数据；若否，则触发相似判决单元；
所述相似判决单元，用于根据所述配对中的两个POI的属性信息计算POI相似度，并判断所述POI相似度是否大于等于预置的相似度阈值，若是则确定所述两个POI为冗余数据，若否则确定所述两个POI不为冗余数据；
POI的属性信息至少包括以下一种：POI名称、POI地址、电话号码、POI类型；
所述判别设备还包括：预处理单元，其中：
所述预处理单元，用于在所述匹配单元将电子地图数据库中的POI进行两两配对之前，对所述电子地图数据库中的POI的属性信息进行预处理；
所述预处理单元对POI的属性信息中的POI地址进行预处理，具体包括：
根据预置的行政区划前缀表，确定POI地址是否包含地址前缀，若包含则记录POI地址的地址前缀以及地址前缀标识；
判断所述POI地址中是否包含括号，若包含则将括号及括号内的内容从POI地址中删除；
根据预置的同义词简称表，判断POI地址中是否包含同义词或简称词，若包含，则用同义词简称表中与该同义词或简称词对应的默认词替换POI地址中的相应同义词或简称词；
根据预置的地址别名表，判断POI地址中是否包含别名词，若包含则将地址别名表中与该别名词对应的默认词替换所述POI地址中相应的别名词；
所述相似判决单元计算所述两个POI的地址相似度，具体包括：
判断所述两个POI的地址前缀标识是否一致；
若不一致，则确定两个POI的地址相似度为0；
若一致，则确定两个POI的地址前缀相似度为1，并计算两个POI的主体相似度、地址子序列相似度，并根据主体相似度、地址子序列相似度计算所述两个POI的地址相似度，其中所述主体是指POI地址中除地址前缀、地址后缀和括号内容之外的部分内容；
其中，所述地址子序列相似度，用于判断所述两个POI中，是否存在其中一个POI的地址完全包含在另一个POI的地址。
8.如权利要求7所述的判别设备，其特征在于，所述相似判决单元根据所述配对中的两个POI的属性信息计算相似度，具体包括：
当属性信息包括POI名称时，计算所述两个POI的名称相似度；
当属性信息包括POI地址时，计算所述两个POI的地址相似度；
当所述属性信息包括电话号码时，计算所述两个POI的电话号码相似度；
当所述属性信息包括POI类型时，计算所述两个POI的类型相似度；
根据计算得到名称相似度、地址相似度、电话号码相似度、类型相似度，计算得到所述两个POI的POI相似度。
9.如权利要求8所述的判别设备，其特征在于，所述预处理单元对POI的属性信息中的POI地址进行预处理，具体包括：
根据预置的行政区划前缀表，确定POI地址是否包含地址前缀，若包含则记录POI地址的地址前缀以及地址前缀标识；
判断所述POI地址中是否包含括号，若包含则将括号及括号内的内容从POI地址中删除；
根据预置的同义词简称表，判断POI地址中是否包含同义词或简称词，若包含，则用同义词简称表中与该同义词或简称词对应的默认词替换POI地址中的相应同义词或简称词；
根据预置的地址别名表，判断POI地址中是否包含别名词，若包含则将地址别名表中与该别名词对应的默认词替换所述POI地址中相应的别名词；
所述相似判决单元计算所述两个POI的地址相似度，具体包括：
判断所述两个POI的地址前缀标识是否一致；
若不一致，则确定两个POI的地址相似度为0；
若一致，则确定两个POI的地址前缀相似度为1，并计算两个POI的主体相似度、地址子序列相似度，并根据主体相似度、地址子序列相似度计算所述两个POI的地址相似度，其中所述主体是指POI地址中除地址前缀、地址后缀和括号内容之外的部分内容；
其中，所述地址子序列相似度，用于判断所述两个POI中，是否存在其中一个POI的地址完全包含在另一个POI的地址。
10.如权利要求7所述的判别设备，其特征在于，所述相似判决单元计算两个POI的主体相似度，具体包括：
根据下式计算两个POI的主体相似度：
其中SMiddA(A,B)为两个POI对应的主体相似度，A为其中一个POI的主体，B为另一个POI的主体，m为对主体A进行分词得到的地址元素的数目，n为对主体B进行分词得到的地址元素的数目，ai为主体A中第i个地址元素与主体B中各地址元素的相似度中的最大相似度，bj为主体B中第j个地址元素与主体A中各地址元素的相似度中的最大相似度；
其中，主体A与主体B中的地址元素的相似度根据下式得到：
其中S(Ai,Bj)表示主体A中第i个地址元素与主体B中第j个地址元素的相似度，|Ai|和|Bj|分别为地址元素Ai与Bj的长度， 为地址元素Ai与Bj的编辑距离；
和/或，
所述计算两个POI的地址子序列相似度，具体包括：
判断所述两个POI中，是否存在其中一个POI的地址完全包含在另一个POI的地址中，若是则确定所述两个POI的地址子序列相似度为1，若否则确定所述两个POI的地址子序列相似度为0。
11.如权利要求7所述的判别设备，其特征在于，所述预处理单元对POI属性信息中的电话号码进行预处理，具体包括：
将POI的电话号码按照预置的电话号码格式进行转换；
所述相似判决单元所述两个POI的电话号码相似度，具体包括：
判断所述两个POI的电话号码是否一致；
若一致，则确定两个POI的电话号码相似度为1；
若不一致，则确定两个POI的电话号码相似度为0。
12.如权利要求7所述的判别设备，其特征在于，所述相似判决单元计算所述两个POI的类型相似度，具体包括：
判断所述两个POI的POI类型是否一致；
若一致，则确定两个POI的类型相似度为1；
若不一致，则确定两个POI的类型相似度为0。
一种信息点数据冗余的判别方法和设备
技术领域
背景技术
附近的酒店、饭店、商铺等)等。
同来源的POI数据存在差异，从而导致在电子地图数据库中针对同一个POI存储有多条POI
数据，如某一个位于望京街的肯德基店，用于描述该POI的多条POI可能分别为“肯德基(望
京店)”、“望京街**号肯德基”、“望京国际商业中心B座肯德基店”，从而导致POI数据大量冗余，如何能够将电子地图数据库中的冗余POI数据识别出来，则成为目前亟待解决的问题。
发明内容
述两个POI不为冗余数据。
据，若否则确定所述两个POI不为冗余数据。
的距离是否大于等于预置的距离阈值；若是，则确定所述配对中的两个POI不为冗余数据；
若否，则根据所述配对中的两个POI的属性信息计算POI相似度，并判断所述POI相似度是否
大于等于预置的相似度阈值，若是则确定所述两个POI为冗余数据，若否则确定所述两个
POI不为冗余数据。本方案能够确定出电子地图数据库中的POI冗余数据，通过对电子地图
数据库中的POI进行冗余判别，在确定出属于冗余数据的多个POI时，及时将冗余的POI进行
合并，不仅减少了POI存储的数据量，而且还能够节省POI占用的存储资源，改善系统的性
能。
附图说明
领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其
他的附图。
具体实施方式
置的距离阈值；若是，则确定所述配对中的两个POI不为冗余数据；若否，则根据所述配对中的两个POI的属性信息计算POI相似度，并判断所述POI相似度是否大于等于预置的相似度
阈值，若是则确定所述两个POI为冗余数据，若否则确定所述两个POI不为冗余数据，本方案
能够确定出电子地图数据库中的POI冗余数据，通过对电子地图数据库中的POI进行冗余判
别，在确定出属于冗余数据的多个POI时，及时将冗余的POI进行合并，不仅减少了POI存储
的数据量，而且还能够节省POI占用的存储资源，改善系统的性能。
上传时排重；检索时的结果排重；人为错误(如错字等)造成的数据冗余排重；可以减少大量
人工排重的工作，同时由于程序运算效率高，可以适用于大数据处理过程中的海量信息点
数据冗余的判决运算中。
普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护
的范围。
名称中包含行政区划前缀，则记录该POI中包含的POI名称中包含的行政区划前缀，并确定
该行政区划前缀的标识。
安阳市 100009 巴中市 100013
林州市 100009 平昌县 100013
安阳县 100009 南江县 100013
内黄县 100009 通江县 100013
… … … …
POI中包含的POI名称中包含名称后缀，则记录POI名称的名称后缀以及名称后缀标识。
麦当劳 100002 必胜客 100006
海底捞 100003 俏江南 100007
东来顺 100004
… … … …
替换该POI名称。
词或简称词。
中的同义词部分，保持其他部分不变。
中科院 100001
中国科学院 100001
咨询 100002 Y
资讯 100002
体转换、繁简字体转换等预处理。
前缀，例如“上海市南京路25号”中出现的“上海市”和“南京”，此时，以首先出现的行政区划前缀作为该POI地址的地址前缀，并将该行政区划前缀的标识作为该POI的地址前缀标识，
即将“上海市”的标识作为“上海市南京路25号”的地址前缀标识。
词或简称词。
处理方式，与前述对POI名称进行预处理的方式相同，这里不做具体描述。
换等处理。
POI4。
计算所述两个POI的电话号码相似度；当所述属性信息包括POI类型时，计算所述两个POI的
类型相似度。
容相似度，并根据所述主体相似度、名称后缀相似度、括号内容相似度计算所述两个POI的
名称相似度。其中，所述主体是指POI名称中除名称前缀、名称后缀和括号内容之外的部分
内容。
一致；
度计算所述两个POI的名称相似度。
一致；
编辑距离方式得到的A与B之间的编辑距离值。
POI中的其中一个POI的名称中的主体内容，|A|表示A的字符串长度，B表示另外一个POI的
名称中的主体内容，|B|表示B的字符串长度，Edit(A,B)表示利用编辑距离方式得到的A与
所述B之间的编辑距离值，S2为基于Jaccard系数计算的所述两个POI的POI名称的主体相似
度，具体为 A∩B表示A与B中相同的字符集，|A∩B|表示A∩B的字符集中字符的
个数，A∪B表示A与B的所有字符集，|A∪B|表示A∪B的字符集中字符的个数。
POI的地址前缀相似度为1，并计算两个POI的主体相似度、地址子序列相似度，并根据主体
相似度、地址子序列相似度计算所述两个POI的地址相似度。其中，所述主体是指POI地址中
除地址前缀、地址后缀和括号内容之外的部分内容。
一致；
对主体B进行分词得到的地址元素的数目，ai为主体A中第i个地址元素与主体B中各地址元
素的相似度中的最大相似度，bj为主体B中第j个地址元素与主体A中各地址元素的相似度
中的最大相似度；其中，主体A与主体B中的地址元素的相似度根据下式得到：
的地址子序列相似度为0。
类型相似度为0。
两个POI的POI相似度，其中属性信息对应的权重值的和值为1。以属性信息包括名称、地址、电话号码和类型为例，根据计算得到名称相似度、地址相似度、电话号码相似度、类型相似
度，计算得到所述两个POI的POI相似度，具体可通过以下公式计算得到：
则确定该两个POI的距离相似度为0，当两个POI的距离小于预置的距离阈值时则确定该两
个POI的距离相似度为1，具体可如下：
冗余数据。例如：确定出POI1与POI2是冗余数据；确定出POI1与POI3是冗余数据；确定出
POI2与POI8是冗余数据；……。通过传递性可知POI1、POI2、POI3和POI8……为冗余数据，此时需要对POI1、POI2、POI3和POI8……进行处理，可以是将POI1、POI2、POI3和POI8……合并为一个POI；也可以从POI1、POI2、POI3和POI8……中选择最优的一条POI作为POI1、POI2、
POI3和POI8……最终的一条POI，删除其他POI。
述两个POI的距离是否大于等于预置的距离阈值；若是，则确定所述配对中的两个POI不为
冗余数据；若否，则根据所述配对中的两个POI的属性信息计算POI相似度，并判断所述POI
相似度是否大于等于预置的相似度阈值，若是则确定所述两个POI为冗余数据，若否则确定
所述两个POI不为冗余数据。本方案，能够确定出电子地图数据库中的POI冗余数据，通过对
电子地图数据库中的POI进行冗余判别，在确定出属于冗余数据的多个POI时，及时将冗余
的POI进行合并，不仅减少了POI存储的数据量，而且还能够节省POI占用的存储资源，改善
系统的性能。
备包括：匹配单元21、距离计算单元22、判断单元23和相似判决单元24，其中：
据，若否则确定所述两个POI不为冗余数据。
时，计算所述两个POI的地址相似度；当所述属性信息包括电话号码时，计算所述两个POI的
电话号码相似度；当所述属性信息包括POI类型时，计算所述两个POI的类型相似度；根据计
算得到名称相似度、地址相似度、电话号码相似度、类型相似度，计算得到所述两个POI的
POI相似度。
称前缀以及名称前缀标识；根据预置的后缀表，确定POI名称是否包含名称后缀，若包含则
记录POI名称的名称后缀以及名称后缀标识；判断所述POI名称中是否包含括号，若包含则
将括号及括号内的内容从POI名称中删除，并记录括号内容；根据预置的连锁店名称表，判
断POI名称中是否包含连锁店名称，若包含则将该连锁点名称替换为所述POI名称；根据预
置的同义词简称表，判断POI名称中是否包含同义词或简称词，若包含，则用同义词简称表
中与该同义词或简称词对应的默认词替换POI名称中的相应同义词或简称词；根据预置的
名称别名表，判断POI名称中是否包含别名词，若包含则将名称别名表中与该别名词对应的
默认词替换所述POI名称中的相应别名词；
相似度，并根据所述主体相似度、名称后缀相似度、括号内容相似度计算所述两个POI的名
称相似度，其中所述主体是指POI名称中除名称前缀、名称后缀和括号内容之外的部分内
容。
地址前缀以及地址前缀标识；判断所述POI地址中是否包含括号，若包含则将括号及括号内
的内容从POI地址中删除；根据预置的同义词简称表，判断POI地址中是否包含同义词或简
称词，若包含，则用同义词简称表中与该同义词或简称词对应的默认词替换POI地址中的相
应同义词或简称词；根据预置的地址别名表，判断POI地址中是否包含别名词，若包含则将
地址别名表中与该别名词对应的默认词替换所述POI地址中相应的别名词；
主体相似度、地址子序列相似度计算所述两个POI的地址相似度，其中所述主体是指POI地
址中除地址前缀、地址后缀和括号内容之外的部分内容。
元素的数目，ai为主体A中第i个地址元素与主体B中各地址元素的相似度中的最大相似度，
bj为主体B中第j个地址元素与主体A中各地址元素的相似度中的最大相似度；
列相似度为0。
定两个POI的类型相似度为0。
数据量，而且还能够节省POI数据占用的系统资源，改善系统的性能。
的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计
算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程
序产品的形式。
和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指
令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生
一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现
在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
选实施例以及落入本发明范围的所有变更和修改。
之内，则本发明也意图包含这些改动和变型在内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种信息点数据冗余的判别方法和设备 | 2020-05-08 | 1038 |
| 一种业务功能链操作、管理和维护方法及节点设备 | 2020-05-13 | 544 |
| 基于机器学习的编译器测试加速方法 | 2020-05-11 | 478 |
| 一种融合电网运行环境及设备信息的跨系统数据转换方法 | 2020-05-14 | 335 |
| 提供多个设备上的加密的方法、系统和计算机可读介质 | 2020-05-12 | 701 |
| 一种域名配置方法及设备 | 2020-05-13 | 465 |
| 一种构建DNS应答报文的方法及装置 | 2020-05-08 | 338 |
| 一种基于OpenCL的FPGA图处理加速方法和系统 | 2020-05-13 | 413 |
| 一种SQL语句分类管理及统一查询方法和装置 | 2020-05-08 | 266 |
| 基于带对抗训练深度网络的恶意域名检测方法及系统 | 2020-05-14 | 479 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
