技术领域
[0001] 本
发明涉及网络
大数据技术领域，特别涉及一种网络机房服务器与网络设备大数据采集装置及方法。
背景技术
[0002] 随着企业信息化的不断发展，运行的信息系统不断增加，一些大型企业和机关单位内部部署的各种软
硬件资源不断增加。在企业系统维护的过程中，
数据处理的压
力会越来越大，系统维护的工作量和难度不断增加。路由器，交换机，PC服务器，各种大型应用系统，
数据库,机房监控设备(包括:各种环境监控设备)等
计算机网络设备产生的各种硬件数据、
软件进程数据、耗电量数据、网络日志,系统日志，各种应用程序日志不断增加。
[0003] 机房服务器及网络设备产生的各种数据(包括：硬件数据、软件进程数据、各种日志文件)，作为对系统应用，网络设备，用户操作的记录工具，在保障系统安全性，排除系统故障，
监控系统和网络运营情况等很多方面都起到举足轻重的作用。
[0004] 机房服务器及网络设备产生的各种数据(包括：硬件数据、软件进程数据、各种日志文件)分析可以总结查看出系统故障出处，用户操作行为，设备运行状态等很多信息。如通过查看用户注册登录记录，用户事件记录即可发现用户是否为正常状态。对网络配置，设备参数，
接口变动等行为的记录分析，就能获取网络运行状态的信息。如果能对实时产生的机房服务器及网络设备产生的各种数据(包括：硬件数据、软件进程数据、各种日志文件)做到实时全量采集，就可以进行数据实时分析或大数据存储。通过采集的各种数据形成网络机房大数据训练神经网络使网络机房各种服务器及网络设备故障诊断由人工诊断向计算机
人工智能诊断过渡。通过本发明将机房产生的各种大数据转
化成企业极易接受的一种数据展现形式，更能清晰的体现出数据的价值。
[0005] 随着网络需求的迅速增长，网络应用规模日益庞大，网络的高度复杂性和异构化程度也日益提高，而不同厂商设备以及设备管理手段的差异性使得网络管理更加复杂，对网络的有效维护，保证网络的运行
质量，已经成为一个巨大的挑战。如何更有效地进行数据采集，并有效地支持网络管理，提高网络的服务质量，是摆在网络管理研究人员面前的关键性问题。
[0006] 对网络及其各个部分的状态的有效监控是保证网络正常工作的一个重要手段。有效监控网络，并对网络的各项数据进行准确的采集、处理和分析也就显得尤为重要。现有数据采集系统面临着更大的挑战：
[0007] 一方面，由于网络资源数量的激增，数据采集的信息量也随之增大，这样就需要行之有效的数据采集策略及方法，及时将采集到的信息形成数据提交到后台存储，从而保证采集的高效性和可靠性。另一方面，网络设备的日益多样化，造成网络类型、厂商、设备型号等因素各不相同，信息形式千变万化，如何在新设备类型层出不穷的情况下，将有效的信息采集出来，提高数据采集的通用性，是数据采集领域的主要问题之一。
[0009] 1.任何一台服务器故障或网络设备将可能影响采集的数据上传，属于系统
瓶颈问题。
[0010] 2.技术人员维护过程中也面临的问题，是信息化管理要求
基础数据更加准确稳定，而现有采集设备随着采集数据点逐级增加出现的故障点也在增加；
[0011] 3.不同的厂商都开发了适宜于自己设备的网络管理系统，没有统一数据采集
通信接口，缺乏相应的协调机制。
[0012] 4.采集过程中对各种设备数据流量无法动态监控及控制。
[0013] 5.由于机房服务器及网络设备产生的各种数据(包括：硬件数据、软件进程数据、各种日志文件)总类繁杂没有对数据进行统一归类。
[0014] 6.在采集数据过程中现有技术无法监控机房服务器及网络设备情况，采集数据过程中占用大量机房服务器及网络设备硬件资源及网络资源及容易宕机。
发明内容
[0015] 本发明针对现有技术的
缺陷，提供了一种网络机房服务器与网络设备大数据采集装置及方法，能有效的解决上述现有技术存在的问题。
[0016] 为了实现以上发明目的，本发明采取的技术方案如下：
[0017] 一种网络机房服务器与网络设备大数据采集装置，包括
外壳；
[0018] 所述外壳前段安装六个网络接口1和一个设备调试接口2；
[0019] 外壳后段安装两个网络接口1、一个电源接口3和一个UPS电源接口4；
[0020] 所谓外壳内部设有电源模
块、CPU处理器、RAM
存储器、ROM存储器、Flash存储器、网络接口模块、
操作系统、设备管理软件、数据采集软件、数据流量控制软件；
[0021] 电源模块：用于电源及UPS电源的管理；
[0022] CPU处理器：
中央处理器用于管理采集装置；
[0023] RAM存储器：用于管理采集装置的计算机内存；
[0024] ROM存储器：用于系统的启动和维护，相当于计算机BIOS；
[0025] Flash存储器：存储一些临时文件相当于计算机
硬盘；
[0026] 网络接口模块：提供千兆万兆网络接口或者是光纤接口；
[0027] 操作系统：管理设备的硬件；
[0028] 设备管理软件：对本装置进行初始化和管理，对Flash存储器进行格式化；
[0029] 数据采集软件：采用Apache Kafka，负责数据的采集工作；
[0030] 数据流量控制软件：负责控制数据采集时的流量。
[0031] 本发明还公开了一种网络机房服务器与网络设备大数据采集方法
[0032] 包括如下步骤：
[0033] S1：启动装置初始化；
[0034] S2：检查装置状态，装置异常跳转到S1，装置正常进入S3；
[0035] S3：分别从服务器和网络设备采集数据及服务器网络设备的日志文件；
[0036] 日志采集：使用Apache Flume对服务器及网络设备日志进行采集；
[0037] 数据格式如下：
[0038] 服务器采集数据格式{CPU
频率、内存占用率、磁盘占用率、网络数据流量、进程活跃度}；
[0039] 网络设备采集数据格式{CPU频率、内存占用率、网络数据流量}；
[0040] 电源采集设备采集数据格式{服务器耗电量、网络设备耗电量}；
[0041] 数据采集完毕到S4；
[0042] S4：通过逻辑回归神经网络对数据流量大小进行判断，如果流量过大到S5，如果流量正常到S6；
[0043] S5：通过流量均衡关闭设备网络接口减少流量，完成到S3；
[0044] S6：将采集到的数据进行整合；
[0045] 整合数据格式：
[0046] 服务器采集数据格式{CPU频率、内存占用率、磁盘占用率、网络数据流量、进程活跃度、服务器耗电量}
[0047] 网络设备采集数据格式{CPU频率、内存占用率、网络数据流量、网络设备耗电量}[0048] 完成到S7；
[0049] S7：将整合好的数据与日志数据存入Hadoop大数据平台。结束后回到S3。
[0050] 与现有技术相比本发明的优点在于：使网络机房各种服务器及网络设备采集数据过程由人工管理向计算机人工智能采集管理过渡，采集过程中实时监测机房服务器及网络设备硬件资源及网络资源状态通过神经网络优化采集频率，降低机房数据采集人员对能力和经验的依赖，使网络机房大数据采集由有人看管向无人看管过渡。减少网络机房服务器及网络设备在数据采集过程中带来的错误及
风险。促进智慧城市信息化建设。提高智慧城市服务
水平、加快智慧城市及数字化建设具有积极的意义。
附图说明
[0052] 图2本发明实施例采集装置的后视图；
[0053] 图3本发明实施例采集装置内部硬件及模块示意图；
[0054] 图4本发明实施例采集装置连接逻辑结构图；
[0055] 图5本发明实施例采集装置的采集方法
流程图。
具体实施方式
[0056] 为使本发明的目的、技术方案及优点更加清楚明白，以下举实施例，对本发明做进一步详细说明。
[0057] 如图1、2所示，一种网络机房服务器与网络设备大数据采集装置，包括外壳；
[0058] 所述外壳前段安装六个网络接口1和一个设备调试接口2；
[0059] 外壳后段安装两个网络接口1、一个电源接口3和一个UPS电源接口4；
[0060] 如图3所示，所谓外壳内部设有电源模块、CPU处理器、RAM存储器、ROM存储器、Flash存储器、网络接口模块、操作系统、设备管理软件、数据采集软件、数据流量控制软件；
[0061] 电源模块：用于电源及UPS电源的管理；
[0062] CPU处理器：中央处理器；
[0063] RAM存储器：主要运行装置的临时,相当于计算机内存；
[0064] ROM存储器：用于系统的启动和维护，相当于计算机BIOS；
[0065] Flash存储器：存储一些临时文件相当于计算机硬盘；
[0066] 网络接口模块：提供千兆万兆网络接口(RJ45)或者是光纤接口；
[0067] 操作系统：管理设备的硬件；
[0068] 设备管理软件：对本装置进行初始化和管理，对Flash存储器进行格式化；
[0069] 数据采集软件：采用Apache Kafka，负责数据的采集工作；
[0070] 数据流量控制软件：负责控制数据采集时的流量。
[0071] 如图4所示，所述该采集装置用于连接网络机房各服务器及网络设备，大数据阵列也与该装置相连。
[0072] 大数据阵列：负责存储网络机房服务器及网络设备硬件运行信息。如：CPU占用率及信息、内存使用情况，硬盘活动进程信息、网络活动进程信息、各种应用程序服务程序进程信息。
[0073] 如图5所示，本发明还公开了一种网络机房服务器与网络设备大数据采集方法，包括如下步骤：
[0074] S1：启动装置初始化；
[0075] S2：检查装置状态，装置异常跳转到S1，装置正常进入S3；
[0076] S3：分别从服务器、网络设备、电源电量采集设备采集数据及服务器网络设备的日志文件；
[0077] 日志采集：使用Apache Flume对服务器及网络设备日志进行采集；
[0078] 数据格式如下：
[0079] 服务器采集数据格式{CPU频率、内存占用率、磁盘占用率、网络数据流量、进程活跃度}
[0080] 网络设备采集数据格式{CPU频率、内存占用率、网络数据流量}
[0081] 电源采集设备采集数据格式{服务器耗电量、网络设备耗电量}
[0082] 数据采集完毕到S4
[0083] S4：通过逻辑回归神经网络对数据流量大小进行判断，如果流量过大到S5，如果流量正常到S6；
[0084] S5：通过流量均衡关闭设备网络接口减少流量，完成到S3；
[0085] S6：将采集到的数据进行整合；
[0086] 整合数据格式：
[0087] 服务器采集数据格式{CPU频率、内存占用率、磁盘占用率、网络数据流量、进程活跃度、服务器耗电量}
[0088] 网络设备采集数据格式{CPU频率、内存占用率、网络数据流量、网络设备耗电量}[0089] 完成到S7
[0090] S7：将整合好的数据与日志数据存入Hadoop大数据平台。结束后回到S3。
[0091] 本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体
变形和组合，这些变形和组合仍然在本发明的保护范围内。
