一种大数据智能采集处理方法和系统
专利汇可以提供一种大数据智能采集处理方法和系统专利检索，专利查询，专利分析的服务。并且大数据 智能采集处理方法，包括以下步骤：S1.设置第一 数据库 和第二数据库；S2.设置网络智能 机器人 ，获得采集数据；S3.将采集数据逐条同第一数据库中数据进行对比，将数据A存入第一数据库；否则将数据A存入第二数据库；S4.将数据A存入所述第二数据库时，进行相似度γ计算；S41.当相似度γ大于 阈值 β时，则将数据A，替换相似度γ最高的一条数据；S42.否则将数据A直接存入第二数据库；S5.超过时间阈值δ时，将第二数据库中的数据存入第一数据库，同时清除第二数据库中数据；S6.将第二数据库中的数据分别同第一数据库中相似度γ最高的一条或多条数据标注为同一类数据。，下面是一种大数据智能采集处理方法和系统专利的具体信息内容。
1.一种大数据智能采集处理方法，其特征在于包括以下步骤：
S1.设置第一数据库和第二数据库；
S2.设置一个或多个网络智能机器人，实时智能抓取公开信息，获得采集数据；
S3.将所述采集数据逐条同所述第一数据库中数据进行对比，当所述采集数据中数据A，同所述第一数据库中数据相似度γ均小于阈值α时，则将所述采集数据中数据A存入所述第一数据库；否则将所述采集数据中数据A存入所述第二数据库；
S4. 将所述采集数据中数据A存入所述第二数据库时，将所述采集数据中数据A同所述第二数据库中数据进行相似度γ计算；
S41.当所述采集数据中数据A同所述第二数据库中某一条或多条数据相似度γ大于阈值β时，则将所述采集数据中数据A，替换所述第二数据库中同所述采集数据中数据A相似度γ最高的一条数据；
S42.否则将所述采集数据中数据A直接存入所述第二数据库；
S5.超过时间阈值δ时，将所述第二数据库中的数据存入所述第一数据库，同时清除所述第二数据库中数据；
S6.将所述第二数据库中的数据存入所述第一数据库时，将所述第二数据库中的数据分别同所述第一数据库中相似度γ最高的一条或多条数据标注为同一类数据。
2.根据权利要求1所述的大数据智能采集处理方法，其特征在于所述采集数据，至少包括发布人、发布内容、发布类型三个数据标签。
3.根据权利要求1所述的大数据智能采集处理方法，其特征在于，进行数据检索时，只检索所述第一数据库中数据，而对于所述第一数据库中所述同一类数据只显示所述同一类数据中最后添加的一条数据。
4.根据权利要求2所述的大数据智能采集处理方法，其特征在于所述相似度γ的计算方法为：γ=∑ρi*σi ,(i=1..n)
n为数据标签的个数；
ρi为第i个数据标签的权重值；
σi为两条数据第i个数据标签的标签相似度。
5.根据权利要求1所述的大数据智能采集处理方法，其特征在于:
如果所述第一数据库中有被标注为同一类数据的数据Φ={ψ1…ψn},n≥2；
ψn+1同Φ中任何一条数据或多条数据，被标注为同一类数据，则同一类数据的数据Φ={ψ1…ψn+1}。
6.根据权利要求1所述的大数据智能采集处理方法，其特征在于: 所述实时智能抓取公开信息的抓取数据源包括网站、即时聊天工具的公开信息。
7.根据权利要求1所述的大数据智能采集处理方法，其特征在于: 所述实时智能抓取公开信息时，通过关键词或算法，对原始数据进行智能提取分类，获得具有多个数据标签的所述采集数据。
8.一种大数据智能采集处理系统，其特征在于包括：
数据采集模块，用于实时智能抓取公开信息，获得采集数据；
第一数据库，用于最终储存数据，并对外提供检索查询数据；
第二数据库，用于临时储存数据；
数据处理模块，用于判断和操作所述采集数据存入所述第一数据库或所述第二数据库；
数据同步模块，用于定期将所述第二数据库中的数据存入所述第一数据库，同时清除所述第二数据库中数据。
一种大数据智能采集处理方法和系统
技术领域
背景技术
发明内容
S2.设置一个或多个网络智能机器人，实时智能抓取公开信息，获得采集数据；
S3.将所述采集数据逐条同所述第一数据库中数据进行对比，当所述采集数据中数据A，同所述第一数据库中数据相似度γ均小于阈值α时，则将所述采集数据中数据A存入所述第一数据库；否则将所述采集数据中数据A存入所述第二数据库；
S4. 将所述采集数据中数据A存入所述第二数据库时，将所述采集数据中数据A同所述第二数据库中数据进行相似度γ计算；
S41.当所述采集数据中数据A同所述第二数据库中某一条或多条数据相似度γ大于阈值β时，则将所述采集数据中数据A，替换所述第二数据库中同所述采集数据中数据A相似度γ最高的一条数据；
S42.否则将所述采集数据中数据A直接存入所述第二数据库；
S5.超过时间阈值δ时，将所述第二数据库中的数据存入所述第一数据库，同时清除所述第二数据库中数据；
S6.将所述第二数据库中的数据存入所述第一数据库时，将所述第二数据库中的数据分别同所述第一数据库中相似度γ最高的一条或多条数据标注为同一类数据。
n为数据标签的个数；
ρi为第i个数据标签的权重值；
σi为两条数据第i个数据标签的标签相似度。
第一数据库，用于最终储存数据，并对外提供检索查询数据；
第二数据库，用于临时储存数据；
数据处理模块，用于判断和操作所述采集数据存入所述第一数据库或所述第二数据库；
数据同步模块，用于定期将所述第二数据库中的数据存入所述第一数据库，同时清除所述第二数据库中数据。
具体实施方式
S2.设置一个或多个网络智能机器人，实时智能抓取网站、即时聊天工具的公开信息，获得采集数据，采集到的数据至少含有发布人、发布内容、发布类型三个数据标签；
S3.将采集数据逐条同第一数据库中数据进行对比，当采集数据中的某一条数据A,同第一数据库中数据相似度γ均小于阈值α时，则将采集数据中某一条数据A存入第一数据库；否则将采集数据中某一条数据A存入第二数据库；
S4. 将采集数据中某一条数据A存入所述第二数据库时，将采集数据中某一条数据A同第二数据库中数据进行相似度γ计算；
S41.当采集数据中某一条数据A同第二数据库中某一条或多条数据相似度γ大于阈值β时，则将采集数据中某一条数据A，替换第二数据库中同采集数据中某一条数据A相似度γ最高的一条数据；
S42.否则将采集数据中某一条数据A直接存入第二数据库；
S5.设定一个时间阈值δ，超过时间阈值δ时，将第二数据库中的数据存入第一数据库，同时清除第二数据库中数据；
S6.将第二数据库中的数据存入第一数据库时，将第二数据库中的数据分别同第一数据库中相似度γ最高的一条或多条数据标注为同一类数据。
ρi为第i个数据标签的权重值；
σi为两条数据第i个数据标签的标签相似度。
第一数据库，用于最终储存数据，并对外提供检索查询数据；
第二数据库，用于临时储存数据；
数据处理模块，用于判断和操作所述采集数据存入第一数据库或第二数据库；
数据同步模块，用于定期将所述第二数据库中的数据存入所述第一数据库，同时清除所述第二数据库中数据。
S2.设置多个网络智能机器人，例如QQ网络智能机器人；实时智能采集即时聊天工具的公开信息，例如QQ群，获得采集数据，采集到的数据含有发布人、发布内容、发布类型三个数据标签；
S3.将采集数据逐条同第一数据库中数据进行对比，当采集数据中的某一条数据A,同第一数据库中数据相似度γ均小于阈值α=0.85时，则将采集数据中某一条数据A存入第一数据库；否则将采集数据中某一条数据A存入第二数据库；
S4. 将采集数据中某一条数据A存入所述第二数据库时，将采集数据中某一条数据A同第二数据库中数据进行相似度γ计算；
S41.当采集数据中某一条数据A同第二数据库中某一条或多条数据相似度γ大于阈值β=0.85时，则将采集数据中某一条数据A，替换第二数据库中同采集数据中某一条数据A相似度γ最高的一条数据；
S42.否则将采集数据中某一条数据A直接存入第二数据库；
S5.设定每日凌晨时，将第二数据库中的数据存入第一数据库，同时清除第二数据库中数据；
S6.将第二数据库中的数据存入第一数据库时，将第二数据库中的数据分别同第一数据库中相似度γ最高的一条或多条数据标注为同一类数据。
ρ1=0.10、ρ2=0.65、ρ3=0.25、
ρi为第i个数据标签的权重值；
σi为两条数据第i个数据标签的标签相似度，采用编辑距离算法计算。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 信息处理装置和存储程序的非暂时性计算机可读介质 | 2020-05-18 | 299 |
| 一种大数据智能采集处理方法和系统 | 2020-05-14 | 240 |
| 一种智能养老陪伴机器人 | 2020-05-17 | 892 |
| 一种基于自动追踪的机器人系统 | 2020-05-08 | 536 |
| 在线客服系统中人工智能路由策略 | 2020-05-12 | 832 |
| 一种智慧居家养老系统方案 | 2020-05-14 | 792 |
| 一种智能活跃直播间氛围的交互方法和设备 | 2020-05-15 | 125 |
| AI家庭律师平台及机器人 | 2020-05-12 | 440 |
| 一种用于室内导引机器人的智能交互系统及方法 | 2020-05-16 | 906 |
| 一种会跳舞的聊天机器人 | 2020-05-18 | 331 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
