大数据集群管理控制方法、装置、计算机设备及存储介质
阅读：517发布：2020-05-08
专利汇可以提供大数据集群管理控制方法、装置、计算机设备及存储介质专利检索，专利查询，专利分析的服务。并且本 发明 实施例 公开了一种 大数据 集群管理控制方法、装置、计算机设备及存储介质，包括下述步骤：获取分布式 服务器 集群中各目标 站点 的环境信息；根据各目标站点的环境信息对应的配置每个目标站点的配置文件；根据各配置文件和预设的大数据集群镜像文件对应地对每个目标站点进行大数据集群系统管理控制。本发明实施例通过获取分布式服务器集群中各目标站点的环境信息，再根据该各目标站点的环境信息对应的配置每个目标站点的配置文件，然后根据各配置文件和预设的大数据集群镜像文件对应地对每个目标站点进行大数据集群系统安装，批量进行大数据集群系统的安装和参数配置，能有效加快大数据集群的安装速度，提高大数据集群的运维效率。，下面是大数据集群管理控制方法、装置、计算机设备及存储介质专利的具体信息内容。
1.一种大数据集群管理控制方法，其特征在于，包括下述步骤：
获取分布式服务器集群中各目标站点的环境信息；
根据所述各目标站点的环境信息对应的配置每个目标站点的配置文件；
根据各配置文件和预设的大数据集群镜像文件对应地对每个目标站点进行大数据集群系统管理控制。
2.根据权利要求1所述的大数据集群管理控制方法，其特征在于，所述获取分布式服务器集群中各目标站点的环境信息的步骤之前，还包括如下述步骤：
获取本地系统的内核配置参数；
根据所述内核配置参数设置预设原始镜像的基本参数生成所述大数据集群镜像文件。
3.根据权利要求2所述的大数据集群管理控制方法，其特征在于，所述获取本地系统的内核配置参数的步骤，包括如下述步骤：
获取所述本地系统的原始软件包管理信息；
根据所述原始软件包管理信息获取与所述本地系统相对应的安装软件包，其中，所述安装软件包包括所述内核配置参数。
4.根据权利要求1所述的大数据集群管理控制方法，其特征在于，所述根据所述各目标站点的环境信息对应的配置每个目标站点的配置文件的步骤，包括如下述步骤：
获取包括相应目标站点的文件共享终端信息的各个文件共享目录，其中，任一文件共享终端信息包括相应目标站点的配置文件的地址信息；
根据各个地址信息获取相应目标站点的配置文件，并根据相应目标站点的环境信息配置所述配置文件。
5.根据权利要求4所述的大数据集群管理控制方法，其特征在于，所述获取包括所述各目标站点的文件共享终端信息的文件共享目录的步骤之前，还包括如下述步骤：
在所述各目标站点上安装并启动预设的文件共享服务；
根据各目标站点相应的文件共享服务分别创建包括相应目标站点的文件共享终端信息的文件共享目录。
6.根据权利要求1所述的大数据集群管理控制方法，其特征在于，所述根据各配置文件和预设的大数据集群镜像文件对应地对每个目标站点进行大数据集群系统管理控制步骤，包括如下述步骤：
获取各目标站点的局域网地址信息；
根据各目标站点的局域网地址信息建立大数据集群镜像文件与相应目标站点的对应关系；
根据所述对应关系将大数据集群镜像文件发送至相应目标站点，以使各目标站点安装大数据集群镜像文件生成大数据集群系统，并根据相应配置文件设置大数据集群系统的参数。
7.一种大数据集群管理控制装置，其特征在于，包括：
第一获取模块，用于获取分布式服务器集群中各目标站点的环境信息；
第一处理模块，用于根据所述各目标站点的环境信息对应的配置每个目标站点的配置文件；
第一执行模块，用于根据各配置文件和预设的大数据集群镜像文件对应地对每个目标站点进行大数据集群系统管理控制。
8.根据权利要求7所述的大数据集群管理控制装置，其特征在于，还包括：
第二获取模块，用于获取本地系统的内核配置参数；
第二执行模块，用于根据所述内核配置参数设置预设原始镜像的基本参数生成所述大数据集群镜像文件。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项权利要求所述大数据集群管理控制方法的步骤。
10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至6中任一项权利要求所述大数据集群管理控制方法的步骤。
大数据集群管理控制方法、装置、计算机设备及存储介质
技术领域
背景技术
[0003] 但是，大数据集群一般需要多台服务器，使得搭建大数据集群需要耗费很多时间进行重复性工作，且对于大数据集群中的大数据组件，可能需要对多个节点进行参数设置，例如需要设定时区、语言甚至是root用户密码，需要运维人员花费大量时间参与安装过程，降低了大数据集群的安装速度和运维效率。
发明内容
[0004] 本发明实施例提供一种能提高大数据集群的安装效率的大数据集群管理控制方法、装置、计算机设备及存储介质。
[0005] 为解决上述技术问题，本发明创造的实施例采用的一个技术方案是：提供一种大数据集群管理控制方法，包括下述步骤：
[0006] 获取分布式服务器集群中各目标站点的环境信息；
[0007] 根据所述各目标站点的环境信息对应的配置每个目标站点的配置文件；
[0008] 根据各配置文件和预设的大数据集群镜像文件对应地对每个目标站点进行大数据集群系统管理控制。
[0009] 可选地，所述获取分布式服务器集群中各目标站点的环境信息的步骤之前，还包括如下述步骤：
[0011] 根据所述内核配置参数设置预设原始镜像的基本参数生成所述大数据集群镜像文件。
[0012] 可选地，所述获取本地系统的内核配置参数的步骤，包括如下述步骤：
[0015] 可选地，所述根据所述各目标站点的环境信息对应的配置每个目标站点的配置文件的步骤，包括如下述步骤：
[0016] 获取包括相应目标站点的文件共享终端信息的各个文件共享目录，其中，任一文件共享终端信息包括相应目标站点的配置文件的地址信息；
[0017] 根据各个地址信息获取相应目标站点的配置文件，并根据相应目标站点的环境信息配置所述配置文件。
[0018] 可选地，所述获取包括所述各目标站点的文件共享终端信息的文件共享目录的步骤之前，还包括如下述步骤：
[0019] 在所述各目标站点上安装并启动预设的文件共享服务；
[0020] 根据各目标站点相应的文件共享服务分别创建包括相应目标站点的文件共享终端信息的文件共享目录。
[0021] 可选地，所述根据各配置文件和预设的大数据集群镜像文件对应地对每个目标站点进行大数据集群系统管理控制的步骤，包括如下述步骤：
[0022] 获取各目标站点的局域网地址信息；
[0023] 根据各目标站点的局域网地址信息建立大数据集群镜像文件与相应目标站点的对应关系；
[0024] 根据所述对应关系将大数据集群镜像文件发送至相应目标站点，以使各目标站点安装大数据集群镜像文件生成大数据集群系统，并根据相应配置文件设置大数据集群系统的参数。
[0025] 为解决上述技术问题，本发明实施例还提供一种大数据集群管理控制装置，包括：
[0026] 第一获取模块，用于获取分布式服务器集群中各目标站点的环境信息；
[0027] 第一处理模块，用于根据所述各目标站点的环境信息对应的配置每个目标站点的配置文件；
[0028] 第一执行模块，用于根据各配置文件和预设的大数据集群镜像文件对应地对每个目标站点进行大数据集群系统管理控制。
[0029] 可选地，还包括：
[0030] 第二获取模块，用于获取本地系统的内核配置参数；
[0031] 第二执行模块，用于根据所述内核配置参数设置预设原始镜像的基本参数生成所述大数据集群镜像文件。
[0032] 可选地，还包括：
[0033] 第一获取子模块，用于获取所述本地系统的原始软件包管理信息；
[0034] 第一执行子模块，用于根据所述原始软件包管理信息获取与所述本地系统相对应的安装软件包，其中，所述安装软件包包括所述内核配置参数。
[0035] 可选地，还包括：
[0036] 第二获取子模块，用于获取包括相应目标站点的文件共享终端信息的各个文件共享目录，其中，任一文件共享终端信息包括相应目标站点的配置文件的地址信息；
[0037] 第二执行子模块，用于根据各个地址信息获取相应目标站点的配置文件，并根据相应目标站点的环境信息配置所述配置文件。
[0038] 可选地，还包括：
[0039] 第一处理子模块，用于在所述各目标站点上安装并启动预设的文件共享服务；
[0040] 第三执行子模块，用于根据各目标站点相应的文件共享服务分别创建包括相应目标站点的文件共享终端信息的文件共享目录。
[0041] 可选地，还包括：
[0042] 第三获取子模块，用于获取各目标站点的局域网地址信息；
[0043] 第二处理子模块，用于根据各目标站点的局域网地址信息建立大数据集群镜像文件与相应目标站点的对应关系；
[0044] 第三执行子模块，用于根据所述对应关系将大数据集群镜像文件发送至相应目标站点，以使各目标站点安装大数据集群镜像文件生成大数据集群系统，并根据相应配置文件设置大数据集群系统的参数。
[0045] 为解决上述技术问题，本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述大数据集群管理控制方法的步骤。
[0046] 为解决上述技术问题，本发明实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述大数据集群管理控制方法的步骤。
[0047] 本发明实施例的有益效果为：通过获取分布式服务器集群中各目标站点的环境信息，再根据该各目标站点的环境信息对应的配置每个目标站点的配置文件，然后根据各配置文件和预设的大数据集群镜像文件对应地对每个目标站点进行大数据集群系统管理控制，批量进行大数据集群系统的安装和参数配置，能有效加快大数据集群的安装速度，提高大数据集群的运维效率。附图说明
[0048] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0049] 图1为本发明实施例大数据集群管理控制方法的基本流程示意图；
[0050] 图2为本发明实施例自定义大数据集群镜像文件的流程示意图；
[0051] 图3为本发明实施例获取本地系统的内核配置参数的流程示意图；
[0052] 图4为本发明实施例设置配置文件的流程示意图；
[0053] 图5为本发明实施例创建文件共享目录的基本流程示意图；
[0054] 图6为本发明实施例安装大数据集群系统的基本流程示意图；
[0055] 图7为本发明实施例大数据集群管理控制装置的基本结构示意图；
[0056] 图8为本发明实施例计算机设备基本结构框图。
具体实施方式
[0057] 为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0058] 在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
[0059] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0060] 实施例1
[0061] 具体请参阅图1，图1为本实施例大数据集群管理控制方法的基本流程示意图。
[0062] 如图1所示，一种大数据集群管理控制方法，包括下述步骤：
[0063] S1100、获取分布式服务器集群中各目标站点的环境信息；
[0064] 分布式服务器集群是指将一套系统拆分为多个子系统，然后部署在不同的服务器上，其中，目标站点指的是服务器，目标站点的环境信息表征服务器的运行环境，在实施时，以在CentOS系统上搭建Apache Ambari集群为例，CentOS(Community Enterprise Operating System)是Linux发行版之一，它是来自于Red Hat Enterprise Linux依照开放源代码规定释出的源代码所编译而成；Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的创建、管理和监控，Ambari支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等，除此之外，Ambari还支持Spark、Storm等计算框架及资源调度平台YARN。Ambari集群包括多个服务器，在每个服务器安装相应的大数据集群镜像，则需要根据每个服务器的环境设置对应的配置文件，各个目标站点的环境信息可以通过文件共享的方法进行统一管理，各个目标站点设置有共享文件，该共享文件中包括其环境信息，系统通过获取各个目标站点的共享文件即可获取各个目标站点的环境信息。
[0065] S1200、根据所述各目标站点的环境信息对应的配置每个目标站点的配置文件；
[0066] 不同目标站点的运行环境不同，所以可以根据各目标站点的环境信息对应设置各目标站点的配置文件，在实施时，目标站点的环境信息包括但不限于：时区、语言、用户密码无密钥ssh访问以及数据库等，配置文件中携带有相应目标站点的安装配置参数，系统可以通过该目标站点的环境信息修改相应配置文件中的安装配置参数。在一个实施例中，系统还可以根据各目标站点的环境信息生成各目标站点的配置文件。
[0067] S1300、根据各配置文件和预设的大数据集群镜像文件对应地对每个目标站点进行大数据集群系统管理控制。
[0068] 系统针对每个目标站点，根据目标站点相应的配置文件和预设的大数据集群镜像文件，在目标站点中管理控制大数据集群系统的安装和参数设置，在实施时，以在CentOS操作系统中搭建Ambari集群为例，系统获取各目标站点的环境信息，例如包括目标站点1和目标站点2，其中，目标站点1映射的服务器在东八时区，而目标站点2映射的服务器在东五时区，则在目标站点1和目标站点2上安装大数据集群系统服务时需要设置其相应的时区，系统根据各目标站点的环境信息对应设置每个目标站点的配置文件，该配置文件中包括但不限于时区、语言、root用户密码、无密钥ssh访问、数据库服务、网络连接以及其它运行环境信息，然后通过大数据集群镜像文件在目标站点中安装大数据集群系统，并根据相应的配置文件设置大数据集群系统的参数，例如在目标站点1和目标站点2的服务器上均安装该大数据集群系统，但是目标站点1中的大数据集群系统对应配置为东八时区，目标站点2的大数据集群系统对应配置为东五时区，当然，对于语言、root用户密码、设置无密钥ssh访问以及数据库等均根据配置文件中携带的信息进行设置，从而批量搭建大数据集群系统，不需要运维人员花费时间参与安装过程进行参数设置。
[0069] 本发明实施例通过获取分布式服务器集群中各目标站点的环境信息，再根据该各目标站点的环境信息对应的配置每个目标站点的配置文件，然后根据各配置文件和预设的大数据集群镜像文件对应地对每个目标站点进行大数据集群系统管理控制，批量进行大数据集群系统的安装和参数配置，能有效加快大数据集群的安装速度，提高大数据集群的运维效率。
[0070] 在一个可选实施例中，请参阅图2，图2是本发明一个实施例中自定义大数据集群镜像文件的基本流程图。
[0071] 如图2所示，步骤S1100之前，还包括如下述步骤：
[0072] S1010、获取本地系统的内核配置参数；
[0073] 本地系统是指需要安装大数据集群服务的服务器的操作系统，以CentOS系统上搭建Ambari集群为例，本地系统即CentOS系统，内核配置参数是本地系统中的安装配置参数，内核配置参数包括但不限于系统时区、语言、root用户密码、ssh密钥和认证密钥，在实施时，目标站点均安装有共享服务器，该共享服务器可以共享包括目标站点的内核配置参数的共享文件，系统可以通过获取该共享文件进而获取本地系统的内核配置参数。
[0074] S1020、根据所述内核配置参数设置预设原始镜像的基本参数生成所述大数据集群镜像文件。
[0075] 系统根据获取到的内核配置参数设置原始镜像的基本参数生成系统镜像文件，其中，原始镜像是Ambari rpm(Red-Hat Package Manager，软件包管理器)文件。在实施时，生成自定义的大数据集群镜像文件需要先确定本地系统和大数据集群系统的版本，以在CentOS系统上搭建Ambari集群为例，确定CentOS和Ambari的版本，获取Ambari rpm文件和CentOS原始镜像文件，将CentOS原始镜像文件解压到临时路径；通过模拟安装的方法，从网络yum源中获取后续步骤中在该CentOS系统中所需要的所有rpm包，将这些rpm包加入临时路径，其中，yum源就是一个软件集合地；利用上述rpm包生成本地文件形式的yum源；编写kickstart文件，kickstart是一个定义了Linux安装过程的配置文件，Centos提供了一个图形化的kickstart配置工具，在该kickstart文件中，进行必要的系统设置，包括但不限于：关闭selinux、关闭防火墙、设置系统时区和语言、设置root用户密码、ssh密钥和认证密钥、设置内核相关参数、为上述步骤产生的yum源产生repo文件，并将repo文件加入系统repo文件夹、安装必要的rpm包；将该kickstart文件加入临时路径；修改临时路径中的isolinux.cfg文件，指定该镜像安装过程需要使用上述步骤中的kickstart文件，ISOLINUX启动后,默认会去读出cd光盘根目录的一个isolinux.cfg文件，isolinux.cfg类似grub的menu.lst,指定的内核镜像位置等；调用mkisofs命令，mkisofs命令可将指定的目录与文件做成ISO 9660格式的映像文件，将临时路径中的内容制作为自定义的大数据集群镜像文件；对于多个目标站点，可以重复上述步骤，制作个性化kickstart文件，进而制作与各目标站点相对应的大数据集群镜像文件。
[0076] 在一个可选实施例中，请参阅图3，图3是本发明一个实施例获取本地系统的内核配置参数的基本流程示意图。
[0077] 如图3所示，步骤S1010包括如下述步骤：
[0078] S1001、获取所述本地系统的原始软件包管理信息；
[0079] 原始软件包管理信息与本地系统的安装软件包相对应，在实施时，可以通过本地系统中的软件包管理器来获取该原始软件包管理信息，在一个实施例中，原始软件包管理信息携带有本地系统的安装软件包的地址信息。
[0080] S1002、根据所述原始软件包管理信息获取与所述本地系统相对应的安装软件包，其中，所述安装软件包包括所述内核配置参数。
[0081] 系统根据该原始软件包管理信息即可获取本地系统的安装软件包，在实施时，系统可以通过上述中的安装软件包的地址信息获取该安装软件包，该安装软件包中包括本地系统的内核配置参数，本地系统在安装时会将安装系统是服务器的运行环境参数保持至安装软件包中。
[0082] 在一个可选实施例中，请参阅图4，图4是本发明一个实施例设置配置文件的基本流程示意图。
[0083] 如图4所示，步骤S1200包括如下述步骤：
[0084] S1210、获取包括相应目标站点的文件共享终端信息的各个文件共享目录，其中，任一文件共享终端信息包括相应目标站点的配置文件的地址信息；
[0085] 目标站点对应的服务器上安装有文件共享服务器，该文件共享服务器创建文件共享用户并设置密码，并设置文件共享目录，该文件共享目录携带有包括相应目标站点的文件共享终端信息，该文件共享终端信息包括相应目标站点的配置文件的地址信息，在实施时，各目标站点对应的服务器会将其配置文件的地址信息保存至文件共享终端信息中，且文件共享服务器创建包括该文件共享终端信息的文件共享目录，系统通过相应目标站点的文件共享目录即可获取各目标站点的配置文件的地址信息。
[0086] S1220、根据各个地址信息获取相应目标站点的配置文件，并根据相应目标站点的环境信息配置所述配置文件。
[0087] 系统根据各目标站点对应的地址信息获取相应的配置文件，然后根据相应目标站点的环境信息设置其配置文件。在一个可选实施例中，请参阅图5，图5时本发明一个实施例创建文件共享目录的基本流程示意图。
[0088] 如图5所示，步骤S1210包括如下述步骤：
[0089] S1201、在所述各目标站点上安装并启动预设的文件共享服务；
[0090] 文件共享服务是系统中预设的用于在服务器上共享文件的服务，在实施时，可以在各目标站点对应的服务器上安装预设的文件共享服务。
[0091] S1202、根据各目标站点相应的文件共享服务分别创建包括相应目标站点的文件共享终端信息的文件共享目录。
[0092] 各目标站点的服务器启动该文件共享服务从而创建文件共享目录，该文件共享目录包括各目标站点的文件共享终端信息。在一个实施例中，大数据集群系统的配置管理可以通过文件共享服务完成，该文件共享服务包括：在Ambari服务器(目标站点)上安装并启动文件共享服务器，该文件共享服务器提供文件共享服务；在Ambari服务器上创建文件共享用户并设置密码，设置文件共享目录；所有服务器安装文件共享客户端；所有服务器使用上述步骤中创建的用户和密码挂载Ambari服务器上的共享目录，将挂载目录加入开机启动项，确保共享目录的挂载发生在服务启动之前；在新的服务添加时，在Ambari服务器从服务元数据配置文件中读取该服务的默认参数，将参数写入数据库，并将参数写入文件共享目录对应的服务配置文件。所有服务器通过软链接的方式将挂载的共享目录中相应文件或者文件夹链接到服务配置文件或者服务配置文件夹，然后启动该服务；Ambari服务器在检测到用户修改某个服务的参数后，将修改后的参数保存到数据库，同时将参数写入文件共享目录对应的服务配置文件，并通过向agent发送服务重启命令的形式，让服务重启以便使最新的参数生效。
[0093] 在一个可选实施例中，请参阅图6，图6是本发明一个实施例安装大数据集群系统的基本流程示意图。
[0094] 如图6所示，步骤S1300包括如下述步骤：
[0095] S1310、获取各目标站点的局域网地址信息；
[0096] 局域网地址信息是指目标站点的MAC(Media Access Control Address)地址，MAC地址是一个用来确认网络设备位置的位址。在实施时，可以通过Windows 9x/NT/Win2000中内置的NetApi32.DLL的功能来实现的，首先通过发送NCBENUM命令获取网卡的数目和每个网卡的内部编号，然后对每个网卡标号发送NCBASTAT命令获取其MAC地址。
[0097] S1320、根据各目标站点的局域网地址信息建立大数据集群镜像文件与相应目标站点的对应关系；
[0098] 在目标站点中安装相应的大数据集群镜像，可以通过将大数据集群镜像文件发送至相应的目标站点服务器中，在实施时，可以先确定各目标站点和其对应的大数据集群镜像文件和配置文件的对应关系，例如根据要安装服务器的角色，即目标站点的服务器角色，确定与之对应的大数据集群镜像文件，服务器角色(Server Roles)，它是用来描述一台服务器的基本功能，获取要安装服务器的角色的MAC地址，建立MAC地址和相应目标站点的大数据集群镜像文件的对应关系，从而实现建立大数据集群镜像文件与相应目标站点的对应关系的功能。
[0099] S1330、根据所述对应关系将大数据集群镜像文件发送至相应目标站点，以使各目标站点安装大数据集群镜像文件生成大数据集群系统，并根据相应配置文件设置大数据集群系统的参数。
[0100] 确定了各目标站点与其大数据集群镜像文件和配置文件的对应关系后，针对各目标站点，系统根据对应关系将大数据集群镜像文件发送至相应目标站点的服务器上，从而使得各目标站点安装相应的大数据集群系统生成大数据集群系统，再根据与目标站点相对应的配置文件设置相应大数据集群系统的参数，在实施时，可以通过利用PXE批量大数据集群的系统安装，包括将利用上述多个自定义的大数据集群镜像文件放置在BOOT服务器上；根据要安装服务器的角色，目标站点的服务器即该安装服务器，确定与之对应的自定义的大数据集群镜像文件；获取要安装服务器的角色和MAC地址的对应关系；建立MAC地址和自定义的大数据集群镜像文件的对应关系；将MAC地址和自定义的大数据集群镜像文件的对应关系放置在BOOT服务器上；服务器进行安装时，根据MAC地址从BOOT服务器获取相应的自定义的大数据集群镜像文件；服务器使用自定义的大数据集群镜像文件以及镜像中的个性化kickstart文件进行安装Ambari相关软件的安装。在实施时，首先根据需要生成多个自定义的大数据集群镜像，然后利用PXE快速批量安装，在批量安装时，服务器根据其MAC地址选择相应的大数据集群镜像进行安装和设置，利用Ambari统一管理大数据组件时，大数据组件的参数通过文件共享的方法进行统一管理，不需要对多个节点同时进行手动的参数设置，能有效加快大数据集群的安装速度。
[0101] 为解决上述技术问题，本发明实施例还提供一种大数据集群管理控制装置。
[0102] 具体请参阅图7，图7为本实施例大数据集群管理控制装置基本结构示意图。
[0103] 如图7所示，一种大数据集群管理控制装置，包括：第一获取模块2100、第一处理模块2200和第一执行模块2300，其中，第一获取模块2100用于获取分布式服务器集群中各目标站点的环境信息；第一处理模块2200用于根据所述各目标站点的环境信息对应的配置每个目标站点的配置文件；第一执行模块2300用于根据各配置文件和预设的大数据集群镜像文件对应地对每个目标站点进行大数据集群系统安装。
[0104] 本实施例通过获取分布式服务器集群中各目标站点的环境信息，再根据该各目标站点的环境信息对应的配置每个目标站点的配置文件，然后根据各配置文件和预设的大数据集群镜像文件对应地对每个目标站点进行大数据集群系统管理控制，批量进行大数据集群系统的安装和参数配置，能有效加快大数据集群的安装速度，提高大数据集群的运维效率。
[0105] 在一些实施方式中，大数据集群管理控制装置还包括：第二获取模块和第二执行模块，其中，第二获取模块用于获取本地系统的内核配置参数；第二执行模块用于根据所述内核配置参数设置预设原始镜像的基本参数生成所述大数据集群镜像文件。
[0106] 在一些实施方式中，大数据集群管理控制装置还包括：第一获取子模块和第一执行子模块，其中，第一获取子模块用于获取所述本地系统的原始软件包管理信息；第一执行子模块用于根据所述原始软件包管理信息获取与所述本地系统相对应的安装软件包，其中，所述安装软件包包括所述内核配置参数。
[0107] 在一些实施方式中，大数据集群管理控制装置还包括：第二获取子模块和第二执行子模块，其中，所述第二获取子模块用于获取包括所述各目标站点的文件共享终端信息的文件共享目录，其中，所述文件共享终端信息包括所述配置文件的地址信息；第二执行子模块用于根据所述地址信息获取所述配置文件，并根据相应目标站点的环境信息配置所述配置文件。
[0108] 在一些实施方式中，大数据集群管理控制装置还包括：第一处理子模块和第三执行子模块，其中，第一处理子模块用于在所述各目标站点上安装并启动预设的文件共享服务；第三执行子模块用于根据所述文件共享服务创建包括所述文件共享终端信息的所述文件共享目录。
[0109] 在一些实施方式中，大数据集群管理控制装置还包括：第二处理子模块和第三执行子模块，其中，第二处理子模块用于确定各目标站点与所述大数据集群镜像文件和配置文件的对应关系；第三执行子模块用于根据所述对应关系将所述大数据集群镜像文件发送至相应的目标站点进行安装，并根据相应的配置文件设置所述大数据集群系统的参数。
[0110] 关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0111] 为解决上述技术问题，本发明实施例还提供计算机设备。具体请参阅图8，图8为本实施例计算机设备基本结构框图。
[0112] 如图8所示，计算机设备的内部结构示意图。如图8所示，该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种大数据集群管理控制方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种大数据集群管理控制方法。该计算机设备的网络接口用于与终端连接通信。
本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域技术人员可以理解，图中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0113] 本实施方式中处理器用于执行图7中第一获取模块2100、第一处理模块2200和第一执行模块2300，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有大数据集群管理控制装置中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
[0114] 计算机通过获取分布式服务器集群中各目标站点的环境信息，再根据该各目标站点的环境信息对应的配置每个目标站点的配置文件，然后根据各配置文件和预设的大数据集群镜像文件对应地对每个目标站点进行大数据集群系统安装，批量进行大数据集群系统的安装和参数配置，能有效加快大数据集群的安装速度，提高大数据集群的运维效率。
[0115] 本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述大数据集群管理控制方法的步骤。
[0116] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
[0117] 应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0118] 以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于终端应用的应用发布与自动更新方法 | 2020-05-08 | 180 |
| 一种智慧教育服务管理方法 | 2020-05-11 | 491 |
| 一种移动式数字通讯设备特征发现和识别的实现方法 | 2020-05-12 | 194 |
| 一种基于PLMS、SVN和Jenkins进行软件项目全生命周期管理的方法 | 2020-05-08 | 831 |
| 一种针对OpenStack模块代码单元测试覆盖率运行方法与系统 | 2020-05-14 | 125 |
| 一种自动监控方法、装置、终端设备及计算机存储介质 | 2020-05-11 | 439 |
| 一种物流平台自动化运维管理方法 | 2020-05-11 | 77 |
| 一种基于非平稳动态贝叶斯网的人脑效应连接网络构建方法 | 2020-05-13 | 518 |
| 一种基于动态反演排放源数据的空气质量预报系统 | 2020-05-14 | 601 |
| 一种软件编译方法、装置及电子设备和存储介质 | 2020-05-11 | 91 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
软件包热门专利
QQ群二维码
意见反馈
意见反馈