首页 / 专利库 / 资料储存系统 / 大数据 / 大数据平台快速部署方法、存储介质、电子设备及系统

大数据平台快速部署方法、存储介质、电子设备及系统

阅读:919发布:2021-04-13

专利汇可以提供大数据平台快速部署方法、存储介质、电子设备及系统专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种 大数据 平台快速部署方法、存储介质、 电子 设备及系统,涉及大数据技术领域,该方法包括:制作多个镜像文件;向Heat组件添加平台配置信息,平台配置信息为主机集群中各主机的设备信息;编写平台编排模板,并上传至Openstack 云 空间;根据平台配置信息,获得平台部署信息;解析平台编排模板,并根据平台部署信息进行Openstack平台部署。本发明利用OpenStack平台,能够快速部署大数据分析平台,提高部署效率,为工作人员的部署工作提供便利。,下面是大数据平台快速部署方法、存储介质、电子设备及系统专利的具体信息内容。

1.一种大数据平台快速部署方法,其特征在于,其包括以下步骤:
制作多个镜像文件;
向Heat组件添加平台配置信息,所述平台配置信息为主机集群中各主机的设备信息;
编写平台编排模板,并上传至Openstack空间;
根据所述平台配置信息,获得平台部署信息;
解析所述平台编排模板,并根据所述平台部署信息进行Openstack平台部署。
2.如权利要求1所述的方法,其特征在于,所述镜像文件至少包括:
Hadoop集群主节点镜像文件、Hadoop集群备节点镜像文件、Hadoop集群数据节点镜像文件、Hadoop集群数据节点镜像文件、Kafka集群主节点镜像文件、Kafka集群从节点镜像文件、Storm集群主节点镜像文件以及Storm集群备节点镜像文件。
3.如权利要求1所述的方法,其特征在于,还包括监控步骤,所述监控步骤包括:
预设一监控组件,所述监控组件用于监控所述Openstack平台。
4.如权利要求3所述的方法,其特征在于:所述监控组件包括多个监控项,所述监控项至少包括:系统CPU利用率、内存使用率、内存使用量、磁盘读写操作速率、磁盘读写速率,网络流入流出速率以及网络流入流出包速率。
5.如权利要求3所述的方法,其特征在于:所述监控组件为gnocchi组件。
6.一种存储介质,该存储介质上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。
7.一种电子设备,包括存储器和处理器,存储器上储存有在处理器上运行的计算机程序,其特征在于:所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的方法。
8.一种大数据平台快速部署系统,其特征在于,其包括:
镜像文件制作单元,其用于制作多个镜像文件;
平台配置信息添加单元,其用于向Heat组件添加平台配置信息,所述平台配置信息为主机集群中各主机的设备信息;
平台编排模板编写单元,其用于编写平台编排模板,并上传至Openstack云空间;
平台部署信息获取单元,其用于根据所述平台配置信息,获得平台部署信息;
平台部署单元,其用于解析所述平台编排模板,并根据所述平台部署信息进行Openstack平台部署。
9.如权利要求8所述的系统,其特征在于:还包括监控组件,所述监控组件用于监控所述Openstack平台。
10.如权利要求8所述的系统,其特征在于:所述监控组件包括多个监控项,所述监控项至少包括:系统CPU利用率、内存使用率、内存使用量、磁盘读写操作速率、磁盘读写速率,网络流入流出速率以及网络流入流出包速率。

说明书全文

大数据平台快速部署方法、存储介质、电子设备及系统

技术领域

[0001] 本发明涉及大数据技术领域,具体涉及一种大数据平台快速部署方法、存储介质、电子设备及系统。

背景技术

[0002] 在传统的大数据分析计算场景下,大数据平台的部署需要大量的开源软件安装及配置,如分布式系统基础架构Hadoop、Zookeeper、Hive、HBase等;
[0003] 通常情况下,传统的大数据分析平台的搭建需要大量的软件安装及配置,具体为用户需要手动安装OS(操作系统)及配置大量的开源软件来部署大数据分析平台,还需要额外安装管理和监控软件来管理整套环境的工作状态,传统的部署工序操作繁琐,效率低下[0004] 因此,急需一种新的大数据平台快速部署方法,为工作人员的部署工作提供便利。

发明内容

[0005] 针对现有技术中存在的缺陷,本发明的目的在于提供一种大数据平台快速部署方法,利用OpenStack平台,能够快速部署大数据分析平台,提高部署效率,为工作人员的部署工作提供便利。
[0006] 为达到以上目的,本发明采取的技术方案是:
[0007] 第一方面,本发明提供一种大数据平台快速部署方法,其包括以下步骤:
[0008] 制作多个镜像文件;
[0009] 向Heat组件添加平台配置信息,所述平台配置信息为主机集群中各主机的设备信息;
[0010] 编写平台编排模板,并上传至Openstack空间;
[0011] 根据所述平台配置信息,获得平台部署信息;
[0012] 解析所述平台编排模板,并根据所述平台部署信息进行Openstack平台部署。
[0013] 在上述技术方案的基础上,该方法的所述镜像文件至少包括:
[0014] Hadoop集群主节点镜像文件、Hadoop集群备节点镜像文件、Hadoop集群数据节点镜像文件、Hadoop集群数据节点镜像文件、Kafka集群主节点镜像文件、Kafka集群从节点镜像文件、Storm集群主节点镜像文件以及Storm集群备节点镜像文件。
[0015] 在上述技术方案的基础上,该方法还包括监控步骤,所述监控步骤包括:
[0016] 预设一监控组件,所述监控组件用于监控所述Openstack平台。
[0017] 在上述技术方案的基础上,该方法的所述监控组件包括多个监控项,所述监控项至少包括:系统CPU利用率、内存使用率、内存使用量、磁盘读写操作速率、磁盘读写速率,网络流入流出速率以及网络流入流出包速率。
[0018] 在上述技术方案的基础上,该方法的所述监控组件为gnocchi组件。
[0019] 第二方面,本发明还提供一种存储介质,该存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面的大数据平台快速部署方法。
[0020] 第三方面,本发明还提供一种电子设备,包括存储器和处理器,存储器上储存有在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面的大数据平台快速部署方法。
[0021] 第四方面,本发明还提供一种大数据平台快速部署系统,其包括:
[0022] 镜像文件制作单元,其用于制作多个镜像文件;
[0023] 平台配置信息添加单元,其用于向Heat组件添加平台配置信息,所述平台配置信息为主机集群中各主机的设备信息;
[0024] 平台编排模板编写单元,其用于编写平台编排模板,并上传至Openstack云空间;
[0025] 平台部署信息获取单元,其用于根据所述平台配置信息,获得平台部署信息;
[0026] 平台部署单元,其用于解析所述平台编排模板,并根据所述平台部署信息进行Openstack平台部署。
[0027] 在上述技术方案的基础上,该系统还包括监控组件,所述监控组件用于监控所述Openstack平台。
[0028] 在上述技术方案的基础上,所述监控组件包括多个监控项,所述监控项至少包括:系统CPU利用率、内存使用率、内存使用量、磁盘读写操作速率、磁盘读写速率,网络流入流出速率以及网络流入流出包速率。
[0029] 与现有技术相比,本发明的优点在于:
[0030] 本发明利用OpenStack平台,能够快速部署大数据分析平台,提高部署效率,为工作人员的部署工作提供便利。附图说明
[0031] 图1为本发明实施例一提供的一种大数据平台快速部署方法的步骤流程图
[0032] 图2为本发明实施例二提供的一种大数据平台快速部署系统的结构框图
[0033] 图3为本发明实施例四提供的一种大数据平台快速部署电子设备的结构框图;
[0034] 图中:1、镜像文件制作单元;2、平台配置信息添加单元;3、平台编排模板编写单元;4、平台部署信息获取单元;5、平台部署单元;6、监控组件。

具体实施方式

[0035] 以下结合附图对本发明的实施例作进一步详细说明。
[0036] 本发明实施例提供一种大数据平台快速部署方法、存储介质、电子设备及系统,利用OpenStack平台,能够快速部署大数据分析平台,提高部署效率,为工作人员的部署工作提供便利。
[0037] 为达到上述技术效果,本申请的总体思路如下:
[0038] 一种大数据平台快速部署方法,其包括以下步骤:
[0039] S1、制作多个镜像文件;
[0040] S2、向Heat组件添加平台配置信息,平台配置信息为主机集群中各主机的设备信息;
[0041] S3、编写平台编排模板,并上传至Openstack云空间;
[0042] S4、根据平台配置信息,获得平台部署信息;
[0043] S5、解析平台编排模板,并根据平台部署信息进行Openstack平台部署。
[0044] 本发明实施例中,利用OpenStack平台,能够快速部署大数据分析平台,提高部署效率,为工作人员的部署工作提供便利。
[0045] 实施例一
[0046] 参见图1所示,本发明实施例提供一种大数据平台快速部署方法,包括以下步骤:
[0047] S1、制作多个镜像文件;
[0048] S2、向Heat组件添加平台配置信息,平台配置信息为主机集群中各主机的设备信息;
[0049] S3、编写平台编排模板,并上传至Openstack云空间;
[0050] S4、根据平台配置信息,获得平台部署信息;
[0051] S5、解析平台编排模板,并根据平台部署信息进行Openstack平台部署。
[0052] 本发明实施例中,利用OpenStack平台,能够快速部署大数据分析平台,提高部署效率,为工作人员的部署工作提供便利。
[0053] 本发明实施例中,在步骤S1中,预先制作多个镜像文件,上述镜像文件为后续大数据分析平台所需的镜像文件,而在具体操作时,可以由Openstack平台的Glance组件,将上述镜像文件上传至Openstack平台,Glance组件主要用于在Openstack平台中注册、发现及获取镜像文件。
[0054] 接着,在步骤S2中,向Heat组件添加平台配置信息,具体操作,可以是修改OpenStack编排组件Heat代码,添加平台配置信息;
[0055] 其中,平台配置信息为主机集群中各主机的设备信息,其用于组成平台部署信息;
[0056] 而平台部署信息则通过平台配置信息得到,经由ansible工具对集群中主机进行配置,最终完成大数据平台整体的配置。
[0057] 而后,在步骤S3中,编写平台编排模板,并上传至Openstack云空间;
[0058] 需要说的是,该平台编排模板为大数据平台的整体配置部署流程,通过平台编排模板,结合平台配置信息以及平台部署信息,能够实现大数据平台资源配置和部署;
[0059] 另外,在平台编排模板中,创建编排虚拟机资源的时候,镜像文件是一个必选参数,由不同镜像文件创建出来的虚拟机对应于大数据平台中的不同色;
[0060] 需要说明的是,平台编排模板具体可以是,描述资源集合的一个字符串,模板按照JSON或者YAML格式描述一组有序资源的集合,创建应用实际是平台编排模板中描述资源的实例化过程。
[0061] 待平台编排模板编写完成后,进行步骤S4,获取主机集群参数,制作平台主机集群配置信息;
[0062] 其中,主机集群参数具体为用户传入的建立大数据分析平台所需的基本参数,如网络,主机名,密码等信息,从而定制大数据平台主机集群基本信息;
[0063] 需要说明的是,平台编排模板支持用户传入主机集群参数,而主机集群参数是平台编排模板中需要使用的参数,传递给具体资源类型中,下一步Heat组件则会结合平台编排模板跟用户传入的参数进行资源的创建;
[0064] 例如网络,不同的云环境中网络是不同的,必须定义为用户可以传入的参数进行下一步的资源创建。
[0065] 在步骤S4中,根据平台配置信息,获得平台部署信息;
[0066] 最后,进行步骤S5,利用Heat组件解析平台编排模板,并根据平台部署信息以及平台主机集群配置信息进行Openstack平台部署。
[0067] 需要说明的是,向Heat组件添加平台配置信息时,会改变Heat组件的代码,而openstack heat组件负责对openstack中资源的编排,本发明实施例中中Heat组件编排的资源为:计算资源OS::Nova::Ser ver,存储资源OS::Cinder::Volume,网络相关资源OS::Neutron::Secu rityGroup,OS::Neutron::Port,资源组资源OS::Heat::ResourceGroup,平台配置信息OSE::BigData::ClusterConfig,平台配置信息OSE::Big Data::
ClusterDeployment。
[0068] 本发明实施例中,该方法的镜像文件至少包括:
[0069] Hadoop集群主节点镜像文件、Hadoop集群备节点镜像文件、Hadoop集群数据节点镜像文件、Hadoop集群数据节点镜像文件、Kafka集群主节点镜像文件、Kafka集群从节点镜像文件、Storm集群主节点镜像文件以及Storm集群备节点镜像文件。
[0070] 本发明实施例中,该方法还包括监控步骤,监控步骤包括:
[0071] 预设一监控组件,监控组件用于监控Openstack平台。
[0072] 在上述技术方案的基础上,该方法的监控组件包括多个监控项,监控项至少包括:系统CPU利用率、内存使用率、内存使用量、磁盘读写操作速率、磁盘读写速率,网络流入流出速率以及网络流入流出包速率。
[0073] 本发明实施例中,该方法的监控组件为gnocchi组件。
[0074] 需要说明的是,Ansible是一种集成IT系统的配置管理、应用部署、执行特定任务的开源平台,在大数据平台的部署中在后端代码中使用,也就是在heat中自定义的大数据部署资源。
[0075] 基于同一发明构思,本申请提供了实施例一对应的大数据平台快速部署系统的实施例,详见实施例二
[0076] 实施例二
[0077] 如图2所示,本发明第二实施例提供了一种大数据平台快速部署系统,其包括:
[0078] 镜像文件制作单元1,其用于制作多个镜像文件;
[0079] 平台配置信息添加单元2,其用于向Heat组件添加平台配置信息,平台配置信息为主机集群中各主机的设备信息;
[0080] 平台编排模板编写单元3,其用于编写平台编排模板,并上传至Openstack云空间;
[0081] 平台部署信息获取单元4,其用于根据平台配置信息,获得平台部署信息;
[0082] 平台部署单元5,其用于解析平台编排模板,并根据平台部署信息进行Openstack平台部署。
[0083] 本发明实施例中,利用OpenStack平台,能够快速部署大数据分析平台,提高部署效率,为工作人员的部署工作提供便利。
[0084] 本发明实施例中,预先利用镜像文件制作单元1,制作多个镜像文件,上述镜像文件为后续大数据分析平台所需的镜像文件,而在具体操作时,可以由Openstack平台的Glance组件,将上述镜像文件上传至Openstack平台,Glance组件主要用于在Openstack平台中注册、发现及获取镜像文件。
[0085] 接着,平台配置信息添加单元2向Heat组件添加平台配置信息,具体操作,可以是修改OpenStack编排组件Heat代码,添加平台配置信息;
[0086] 其中,平台配置信息为主机集群中各主机的设备信息,其用于组成平台部署信息;
[0087] 而平台部署信息则通过平台配置信息得到,经由ansible工具对集群中主机进行配置,最终完成大数据平台整体的配置。
[0088] 而后,平台编排模板编写单元3则编写平台编排模板,并上传至Openstack云空间;
[0089] 需要说的是,该平台编排模板为大数据平台的整体配置部署流程,通过平台编排模板,结合平台配置信息以及平台部署信息,能够实现大数据平台资源配置和部署;
[0090] 另外,在平台编排模板中,创建编排虚拟机资源的时候,镜像文件是一个必选参数,由不同镜像文件创建出来的虚拟机对应于大数据平台中的不同角色;
[0091] 需要说明的是,平台编排模板具体可以是,描述资源集合的一个字符串,模板按照JSON或者YAML格式描述一组有序资源的集合,创建应用实际是平台编排模板中描述资源的实例化过程。
[0092] 待平台编排模板编写完成后,进行步骤S4,获取主机集群参数,制作平台主机集群配置信息;
[0093] 其中,主机集群参数具体为用户传入的建立大数据分析平台所需的基本参数,如网络,主机名,密码等信息,从而定制大数据平台主机集群基本信息;
[0094] 需要说明的是,平台编排模板支持用户传入主机集群参数,而主机集群参数是平台编排模板中需要使用的参数,传递给具体资源类型中,下一步Heat组件则会结合平台编排模板跟用户传入的参数进行资源的创建;
[0095] 例如网络,不同的云环境中网络是不同的,必须定义为用户可以传入的参数进行下一步的资源创建。
[0096] 平台部署信息获取单元4根据平台配置信息,获得平台部署信息;
[0097] 最后,平台部署单元5利用Heat组件解析平台编排模板,并根据平台部署信息以及平台主机集群配置信息进行Openstack平台部署。
[0098] 需要说明的是,向Heat组件添加平台配置信息时,会改变Heat组件的代码,而openstack heat组件负责对openstack中资源的编排,本发明实施例中中Heat组件编排的资源为:计算资源OS::Nova::Ser ver,存储资源OS::Cinder::Volume,网络相关资源OS::Neutron::Secu rityGroup,OS::Neutron::Port,资源组资源OS::Heat::ResourceGroup,平台配置信息OSE::BigData::ClusterConfig,平台配置信息OSE::Big Data::
ClusterDeployment。
[0099] 本发明实施例中,该方法的镜像文件至少包括:
[0100] Hadoop集群主节点镜像文件、Hadoop集群备节点镜像文件、Hadoop集群数据节点镜像文件、Hadoop集群数据节点镜像文件、Kafka集群主节点镜像文件、Kafka集群从节点镜像文件、Storm集群主节点镜像文件以及Storm集群备节点镜像文件。
[0101] 需要说明的是,Ansible是一种集成IT系统的配置管理、应用部署、执行特定任务的开源平台,在大数据平台的部署中在后端代码中使用,也就是在heat中自定义的大数据部署资源。
[0102] 本发明实施例中,该系统还包括监控组件6,监控组件6用于监控Openstack平台。
[0103] 具体的,监控组件6可以选用Openstack平台中的gnocchi组件。
[0104] 本发明实施例中,监控组件6包括多个监控项,监控项至少包括:系统CPU利用率、内存使用率、内存使用量、磁盘读写操作速率、磁盘读写速率,网络流入流出速率以及网络流入流出包速率。
[0105] 基于同一发明构思,本申请提供了实施例一对应的存储介质的实施例,详见实施例三
[0106] 实施例三
[0107] 本发明第三实施例提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现第一实施例中的所有方法步骤或部分方法步骤。
[0108] 本发明实现上述第一实施例中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Ran dom Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
[0109] 基于同一发明构思,本申请提供了实施例一对应的电子设备的实施例,详见实施例四
[0110] 实施例四
[0111] 如图3所示,本发明第四实施例还提供一种电子设备,包括存储器和处理器,存储器上储存有在处理器上运行的计算机程序,处理器执行计算机程序时实现第一实施例中的所有方法步骤或部分方法步骤。
[0112] 所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是计算机装置的控制中心,利用各种接口和线路连接整个计算机装置的各个部分。
[0113] 存储器可用于存储计算机程序和/或模,处理器通过运行或执行存储在存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0114] 本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0115] 本发明是参照根据本发明实施例的方法、设备(系统)、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0116] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0117] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0118] 显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈