技术领域
[0001] 本
发明涉及分布式数据处理数据采集系统技术领域，具体为一种基于分布式数据处理的数据采集智能分析系统。
背景技术
[0002] 随着数据量的急剧膨胀，互联网公司所面对的数据量已经达到了PB级别，传统集中式数据处理已经渐渐无法适应市场的需求，同时个人计算机的性能得到了极大的提高，普及率也在飞速上升，这使得将处理能
力分布到网络上的所有个人计算机上的设想成为可能，于是提出了分布式计算的概念。
[0003] 根据中国授权发明CN 201610260783.6提出的分布式数据处理方法及装置，其有益效果为将待存储数据存储在与随机数匹配度最高的存储识别码所对应的存储设备中，实现了分布式系统中的存储资源的充分利用，但是传统的分布式数据收集装置在进行数据收集的时候往往收集的数据面很广，而这些数据不一定能够与所需的数据进行匹配，多余的数据将会占用大量的数据存储空间，造成数据冗余，影响了数据传输分析速度，而且在进行数据分类的时候数据类别固定，后期使用者难以根据需求自行改变数据类别，使用起来较为不便，故而提出一种基于分布式数据处理的数据采集智能分析系统。
发明内容
[0004] (一)解决的技术问题
[0005] 针对
现有技术的不足，本发明提供了一种基于分布式数据处理的数据采集智能分析系统，具备数据快速分析传输和自定义数据类别等优点，解决了传统的分布式数据收集装置在进行数据收集的时候往往收集的数据面很广，而这些数据不一定能够与所需的数据进行匹配，多余的数据将会占用大量的数据存储空间，造成数据冗余，影响了数据传输分析速度，而且在进行数据分类的时候数据类别固定，后期使用者难以根据需求自行改变数据类别，使用起来较为不便的问题。
[0006] (二)技术方案
[0007] 为实现上述数据快速分析传输和自定义数据类别目的，本发明提供如下技术方案：一种基于分布式数据处理的数据采集智能分析系统，包括数据输入单元，所述数据输入单元的输出端与数据传输单元的输入端
信号连接，所述数据传输单元的输出端与数据接收
服务器的输入端信号连接，所述数据接收服务器的输出端与数据分析单元的输入端信号连接，所述数据分析单元的输出端与数据分类单元的输入端信号连接，所述数据分类单元的输出端分别与第一发送服务器、第二发送服务器和第N发送服务器的输入端信号连接，所述第一发送服务器、第二发送服务器和第N发送服务器的输出端分别与分布式数据接收单元的输入端信号连接，所述分布式数据接收单元的输出端与分布式
数据处理系统的输入端信号连接。
[0008] 优选的，所述输出分析单元包括数据分类单元和错误信息存储单元，所述数据分析单元的输入端与错误信息存储单元的输入端信号连接。
[0009] 优选的，所述数据分类单元包括数据自定义单元、第一发送服务器、第二发送服务器和第N发送服务器，所述数据自动以单元的输出端与数据分类单元的输入端信号连接。
[0010] 优选的，所述数据分类单元包括N个数据流，且每个数据流用
云存储不同的数据信息，且数据流的输出端分别与第一发送服务器、第二发送服务器和第N发送服务器的输入端信号连接。
[0011] 优选的，所述分布式数据接收单元包括第一数据接收单元、数据分析匹配模
块和第一存储
数据库，所述第一发送服务器的输出端与第一数据接收单元的输入端信号连接，所述第一数据接收单元的输出端与数据分析匹配模块的输入端信号连接，所述数据分析匹配模块的输出端与第一存储数据库的输入端信号连接。
[0012] 优选的，所述第一发送服务器、第二发送服务器和第N发送服务器的数据传输方式相通，所述数据输入单元分为多个数据类型存储层，每个数据存储层包括若干存储设备。
[0013] (三)有益效果
[0014] 与现有技术相比，本发明提供了一种基于分布式数据处理的数据采集智能分析系统，具备以下有益效果：
[0015] 1、该基于分布式数据处理的数据采集智能分析系统，通过错误信息存储单元，数据输入单元将多种数据汇聚于数据传输单元的内部，数据传输单元内部储存的数据将会依次输送至数据接收服务器的内部，数据接收服务器在接收到数据之后将会把数据第一时间传输给数据分析单元，数据分析单元将会对接收到的数据进行需求分析，数据分析单元将会判断每个数据的类型，对有损数据和错误数据去除，并且将这些数据存储在错误信息存储单元的内部，将数据分析单元输出的数据
风为两个数据流，一个数据流将分析所需的数据直接传输给数据分类单元，另一个数据流将错误的信息直接存储在错误信息存储单元的内部，工作人员在使用的时候可以对这部分数据进行抽检，而且将错误的多余数据去除，避免了数据传输的时候出现冗余数据，提高了数据收集的传输速度。
[0016] 2、该基于分布式数据处理的数据采集智能分析系统，通过数据自定义单元，数据在传输至数据分类单元的内部之后系统会根据不同数据的类型进行分类，再将这些分类完成之后的数据进行输送给不同的输出发送服务器，在服务器接收到数据之后将会把数据传输给远程的数据接收服务器上，这些数据经过数据分析匹配模块的匹配之后将数据存入数据库的内部，最后这些数据将会给分布式数据接收单元所接收，经过分布式数据处理系统处理之后存储于系统数据库，在进行数据分类的时候，使用者可以根据需要并通过数据自定义单元对所需的数据进行自定义，可以根据实际需求来对数据进行自定义分类，让分布式数据处理的数据采集智能分析系统使用的时候更加符合需求，增加了分布式数据处理的数据采集智能分析系统的实用性。
附图说明
[0017] 图1为本发明结构示意图；
[0019] 图中：1数据输入单元、2数据传输单元、3数据接收服务器、4数据分析单元、5数据分类单元、6错误信息存储单元、7数据自定义单元、8第一发送服务器、9第二发送服务器、10第N发送服务器、11分布式数据接收单元、12分布式数据处理系统、13第一数据接收单元、14数据分析匹配模块、15第一存储数据库。
具体实施方式
[0020] 下面将结合本发明的
实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0021] 请参阅图1-2，一种基于分布式数据处理的数据采集智能分析系统，包括数据输入单元1，数据输入单元1的输出端与数据传输单元2的输入端信号连接，数据传输单元2的输出端与数据接收服务器3的输入端信号连接，数据接收服务器3的输出端与数据分析单元4的输入端信号连接，数据分析单元4的输出端与数据分类单元5的输入端信号连接，输出分析单元4包括数据分类单元5和错误信息存储单元6，数据分析单元4的输入端与错误信息存储单元6的输入端信号连接，数据输入单元1将多种数据汇聚于数据传输单元2的内部，数据传输单元2内部储存的数据将会依次输送至数据接收服务器3的内部，数据接收服务器3在接收到数据之后将会把数据第一时间传输给数据分析单元4，数据分析单元4将会对接收到的数据进行需求分析，数据分析单元4将会判断每个数据的类型，对有损数据和错误数据去除，并且将这些数据存储在错误信息存储单元6的内部，将数据分析单元4输出的数据风为两个数据流，一个数据流将分析所需的数据直接传输给数据分类单元5，另一个数据流将错误的信息直接存储在错误信息存储单元6的内部，工作人员在使用的时候可以对这部分数据进行抽检，而且将错误的多余数据去除，避免了数据传输的时候出现冗余数据，提高了数据收集的传输速度，数据分类单元5的输出端分别与第一发送服务器8、第二发送服务器9和第N发送服务器10的输入端信号连接，数据分类单元5包括数据自定义单元7、第一发送服务器8、第二发送服务器9和第N发送服务器10，数据自动以单元7的输出端与数据分类单元5的输入端信号连接，数据分类单元5包括N个数据流，且每个数据流用云存储不同的数据信息，且数据流的输出端分别与第一发送服务器8、第二发送服务器9和第N发送服务器10的输入端信号连接，第一发送服务器8、第二发送服务器9和第N发送服务器10的输出端分别与分布式数据接收单元11的输入端信号连接，第一发送服务器8、第二发送服务器9和第N发送服务器10的数据传输方式相通，数据输入单元1分为多个数据类型存储层，每个数据存储层包括若干存储设备，分布式数据接收单元11的输出端与分布式数据处理系统12的输入端信号连接，分布式数据接收单元11包括第一数据接收单元13、数据分析匹配模块14和第一存储数据库15，第一发送服务器8的输出端与第一数据接收单元13的输入端信号连接，第一数据接收单元13的输出端与数据分析匹配模块14的输入端信号连接，数据分析匹配模块14的输出端与第一存储数据库15的输入端信号连接，数据在传输至数据分类单元5的内部之后系统会根据不同数据的类型进行分类，再将这些分类完成之后的数据进行输送给不同的输出发送服务器，在服务器接收到数据之后将会把数据传输给远程的数据接收服务器3上，这些数据经过数据分析匹配模块14的匹配之后将数据存入数据库的内部，最后这些数据将会给分布式数据接收单元11所接收，经过分布式数据处理系统12处理之后存储于系统数据库，在进行数据分类的时候，使用者可以根据需要并通过数据自定义单元7对所需的数据进行自定义，可以根据实际需求来对数据进行自定义分类，让分布式数据处理的数据采集智能分析系统使用的时候更加符合需求，增加了分布式数据处理的数据采集智能分析系统的实用性。
[0022] 在使用时，数据输入单元1将多种数据汇聚于数据传输单元2的内部，数据传输单元2内部储存的数据将会依次输送至数据接收服务器3的内部，数据接收服务器3在接收到数据之后将会把数据第一时间传输给数据分析单元4，数据分析单元4将会对接收到的数据进行需求分析，数据分析单元4将会判断每个数据的类型，对有损数据和错误数据去除，并且将这些数据存储在错误信息存储单元6的内部，将数据分析单元4输出的数据风为两个数据流，一个数据流将分析所需的数据直接传输给数据分类单元5，另一个数据流将错误的信息直接存储在错误信息存储单元6的内部，数据在传输至数据分类单元5的内部之后系统会根据不同数据的类型进行分类，再将这些分类完成之后的数据进行输送给不同的输出发送服务器，在服务器接收到数据之后将会把数据传输给远程的数据接收服务器3上，这些数据经过数据分析匹配模块14的匹配之后将数据存入数据库的内部，最后这些数据将会给分布式数据接收单元11所接收，经过分布式数据处理系统12处理之后存储于系统数据库。
[0023] 本发明的有益效果是：该基于分布式数据处理的数据采集智能分析系统，通过错误信息存储单元6，数据输入单元1将多种数据汇聚于数据传输单元2的内部，数据传输单元2内部储存的数据将会依次输送至数据接收服务器3的内部，数据接收服务器3在接收到数据之后将会把数据第一时间传输给数据分析单元4，数据分析单元4将会对接收到的数据进行需求分析，数据分析单元4将会判断每个数据的类型，对有损数据和错误数据去除，并且将这些数据存储在错误信息存储单元6的内部，将数据分析单元4输出的数据风为两个数据流，一个数据流将分析所需的数据直接传输给数据分类单元5，另一个数据流将错误的信息直接存储在错误信息存储单元6的内部，工作人员在使用的时候可以对这部分数据进行抽检，而且将错误的多余数据去除，避免了数据传输的时候出现冗余数据，提高了数据收集的传输速度，并且通过数据自定义单元7，数据在传输至数据分类单元5的内部之后系统会根据不同数据的类型进行分类，再将这些分类完成之后的数据进行输送给不同的输出发送服务器，在服务器接收到数据之后将会把数据传输给远程的数据接收服务器3上，这些数据经过数据分析匹配模块14的匹配之后将数据存入数据库的内部，最后这些数据将会给分布式数据接收单元11所接收，经过分布式数据处理系统12处理之后存储于系统数据库，在进行数据分类的时候，使用者可以根据需要并通过数据自定义单元7对所需的数据进行自定义，可以根据实际需求来对数据进行自定义分类，让分布式数据处理的数据采集智能分析系统使用的时候更加符合需求，增加了分布式数据处理的数据采集智能分析系统的实用性，解决了传统的分布式数据收集装置在进行数据收集的时候往往收集的数据面很广，而这些数据不一定能够与所需的数据进行匹配，多余的数据将会占用大量的数据存储空间，造成数据冗余，影响了数据传输分析速度，而且在进行数据分类的时候数据类别固定，后期使用者难以根据需求自行改变数据类别，使用起来较为不便的问题。
[0024] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、
修改、替换和变型，本发明的范围由所附
权利要求及其等同物限定。
