一种基于容器技术的勘探开发大数据处理平台的系统和方法
专利汇可以提供一种基于容器技术的勘探开发大数据处理平台的系统和方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于容器技术的勘探开发大 数据处理 平台的系统和方法，包括：（1）展示层提供了用户项目模 块 、消息中心模块、虚拟桌面模块、虚拟 服务器 模块、 云 存储模块、资源管理模块、资源监控模块、 大数据 集群模块、大数据模型模块、大数据提交模块、大数据展示模块等；（2）服务层包括服务管理模块、服务 申请 模块、服务审批模块、服务部署模块提、服务使用模块、服务 接口 模块等；（3） 基础 设施层包括身份认证模块、计算模块、镜像模块、块设备模块、网络模块、对象存储模块、 虚拟机 模块、容器模块、资源管理模块、资源监控等。该发明根据勘探开发 软件 大数据处理模型模板，编辑设置大数据处理模型，来分析处理勘探开发软件的海量数据。，下面是一种基于容器技术的勘探开发大数据处理平台的系统和方法专利的具体信息内容。
1.一种基于容器技术的勘探开发大数据处理平台的系统，其特征在于，所述系统架构包括：
（1）展示层，包括用户项目、消息中心、虚拟桌面、虚拟服务器、云存储、资源管理、资源监控、大数据集群、大数据建模、大数据提交和大数据展示模块；
（2）服务层，包括服务管理、服务申请、服务审批、服务部署、服务使用和服务接口模块；
（3）基础设施层，包括身份认证、计算、镜像、块设备、网络块、对象存储、虚拟机、资源管理、容器和监控系统模块。
2.如权利要求1所述的基于容器技术的勘探开发大数据处理平台的系统，其特征在于，（1）展示层各功能模块：
用户项目模块提供用户管理、项目管理；消息中心模块提供用户发送消息，系统发送广播消息；虚拟桌面模块提供虚拟桌面创建、使用、访问；虚拟服务器模块提供虚拟服务器创建、使用、访问；云存储模块提供云存储网盘；资源管理模块提供网络、云主机类型、镜像、主机聚合；资源监控模块提供虚拟机和服务器的CPU利用率、内存利用率、存储和网络的监控；
大数据集群模块提供创建Hadoop、spark集群，用户输入大数据集群数量、机器名、IP地址，系统会自动部署大数据集群并自动配置；大数据建模模块提供了大数据处理模型的模板，设置编辑大数据处理模型；大数据提交模块提供用户提交大数据作业请求；大数据展示模块提供以表格和图形展示大数据分析处理结果；
（2）服务层各功能模块：服务层由一个或多个不同勘探开发软件类型的虚拟机或容器集群实例组成，服务集群实例包括全部虚拟机或全部是容器，或者同时包括虚拟机和容器；
其中：服务管理模块提供给系统管理员发布服务；服务申请模块提供给租户管理员申请服务；服务审批模块提供给审批管理员审批服务；服务部署模块提供给系统管理员部署服务集群实例；服务使用模块提供给用户使用服务集群实例；服务接口模块包括认证、计算、网络、镜像、对象、虚拟机和容器模块交互的接口；
（3）基础设施层各功能模块：
认证模块提供统一身份认证功能；计算模块提供创建服务集群实例虚拟机或容器；镜像模块提供服务集群的虚拟机镜像或容器镜像；块设备模块提供服务实例虚拟机云硬盘；
网络模块提供服务集群实例的网络；对象存储模块提供镜像、图片存储；虚拟机模块提供虚拟机创建、启动、关闭和删除；容器模块提供容器的创建、启动、关闭、删除；资源管理模块提供租户CPU、内存、存储资源的配额调整；监控系统模块提供服务集群实例的实时监控。
3.一种基于权利要求1或2所述的基于容器技术的勘探开发大数据处理平台的系统进行大数据处理的方法，其特征在于，所述勘探开发大数据处理平台的大数据Hadoop、Spark容器镜像制作方法包括以下步骤：
步骤一、安装容器系统软件、桌面软件；
步骤二、安装配置安全外壳协议（SSH）、远程控制软件（VNC）、网页远程控制软件（NOVNC）服务；
步骤三、安装配置Java软件；
步骤四、安装配置大数据Hadoop软件；
步骤五、安装配置大数据Spark软件；
步骤六、安装配置大数据Hive软件；
步骤七、安装配置大数据HBase软件；
步骤八、添加自动配置大数据Hadoop服务程序；
步骤九、添加自动配置大数据Spark服务程序；
步骤十、安装配置容器服务启动脚本。
4.根据权利要求3所述的基于容器技术的勘探开发大数据处理平台系统进行大数据处理的方法，其特征在于，所述勘探开发大数据处理平台的创建大数据Hadoop、Spark集群的方法包括以下步骤：
步骤一、选择大数据Hadoop、Spark容器镜像；
步骤二、输入大数据集群模块数量；
步骤三、输入大数据集群的机器名或起始机器名；
步骤四、输入大数据集群的IP地址或起始IP地址；
步骤五、输入大数据集群的名称；
步骤六、输入大数据集群部署的服务器或自动选择；
步骤七、提交创建大数据集群请求。
5.根据权利要求3所述的基于容器技术的勘探开发大数据处理平台系统进行大数据处理的方法，其特征在于，所述勘探开发大数据处理平台的大数据作业提交的方法包括以下步骤：
步骤一、在处理程序模板文件中修改数据源中的数据库配置信息；
步骤二、在处理程序模板文件中修改数据源中的日志文件路径、配置信息；
步骤三、在处理程序模板文件中修改数据源中的其他文件夹、配置信息；
步骤四、在处理程序产生每年历史数据模板文件中修改配置信息；
步骤五、在处理程序产生每月历史数据模板文件中修改配置信息；
步骤六、在处理程序产生每天历史数据模板文件中修改配置信息；
步骤七、提交大数据处理的请求；
步骤八、系统自动完成大数据作业的处理；
步骤九、系统自动完成大数据作业处理后将所有结果数据生成字典格式的.json文件。
6.根据权利要求3所述的基于容器技术的勘探开发大数据处理平台系统进行大数据处理的方法，其特征在于，所述勘探开发大数据处理平台的大数据展示处理的方法包括以下步骤：
步骤一、在大数据展示页面中加载大数据作业处理完成时生成的json文件；
步骤二、大数据展示页面中根据用户选择的时间、勘探开发软件、模块，加载数据；
步骤三、在大数据展示页面中动态显示数据的表格；
步骤四、在大数据展示页面中加载地图，并根据信息展示分析数据；
步骤五、在大数据展示页面中根据动态加载的数据以柱状图展示分析数据；
步骤六、在大数据展示页面中根据动态加载的数据以饼状图展示分析数据；
步骤七、在大数据展示页面中根据动态加载的数据以曲线图展示分析数据；
步骤八、在大数据展示页面中动态配置最终要显示的表、地图、柱状图、饼状图、曲线图。
一种基于容器技术的勘探开发大数据处理平台的系统和方法
技术领域
背景技术
发明内容
（1）展示层，包括用户项目、消息中心、虚拟桌面、虚拟服务器、云存储、资源管理、资源监控、大数据集群、大数据建模、大数据提交和大数据展示模块；
（2）服务层，包括服务管理、服务申请、服务审批、服务部署、服务使用和服务接口模块；
（3）基础设施层，包括身份认证、计算、镜像、块设备、网络块、对象存储、虚拟机、资源管理、容器和监控系统模块。
用户项目模块提供用户管理、项目管理；消息中心模块提供用户发送消息，系统发送广播消息；虚拟桌面模块提供虚拟桌面创建、使用、访问；虚拟服务器模块提供虚拟服务器创建、使用、访问；云存储模块提供云存储网盘；资源管理模块提供网络、云主机类型、镜像、主机聚合；资源监控模块提供虚拟机和服务器的CPU利用率、内存利用率、存储和网络的监控；
大数据集群模块提供创建Hadoop、spark集群，用户输入大数据集群数量、机器名、IP地址，系统会自动部署大数据集群并自动配置；大数据建模模块提供了大数据处理模型的模板，设置编辑大数据处理模型；大数据提交模块提供用户提交大数据作业请求；大数据展示模块提供以表格和图形展示大数据分析处理结果。
（3）基础设施层各功能模块：
认证模块提供统一身份认证功能；计算模块提供创建服务集群实例虚拟机或容器；镜像模块提供服务集群的虚拟机镜像或容器镜像；块设备模块提供服务实例虚拟机云硬盘；
网络模块提供服务集群实例的网络；对象存储模块提供镜像、图片存储；虚拟机模块提供虚拟机创建、启动、关闭和删除；容器模块提供容器的创建、启动、关闭、删除；资源管理模块提供租户CPU、内存、存储资源的配额调整；监控系统模块提供服务集群实例的实时监控。
步骤二、安装配置安全外壳协议（SSH）、远程控制软件（VNC）、网页远程控制软件（NOVNC）服务；
步骤三、安装配置Java软件；
步骤四、安装配置大数据Hadoop软件；
步骤五、安装配置大数据Spark软件；
步骤六、安装配置大数据Hive软件；
步骤七、安装配置大数据HBase软件；
步骤八、添加自动配置大数据Hadoop服务程序；
步骤九、添加自动配置大数据Spark服务程序；
步骤十、安装配置容器服务启动脚本。
步骤二、输入大数据集群模块数量；
步骤三、输入大数据集群的机器名或起始机器名；
步骤四、输入大数据集群的IP地址或起始IP地址；
步骤五、输入大数据集群的名称；
步骤六、输入大数据集群部署的服务器或自动选择；
步骤七、提交创建大数据集群请求。
步骤二、在处理程序模板文件中修改数据源中的日志文件路径、配置信息；
步骤三、在处理程序模板文件中修改数据源中的其他文件夹、配置信息；
步骤四、在处理程序产生每年历史数据模板文件中修改配置信息；
步骤五、在处理程序产生每月历史数据模板文件中修改配置信息；
步骤六、在处理程序产生每天历史数据模板文件中修改配置信息；
步骤七、提交大数据处理的请求；
步骤八、系统自动完成大数据作业的处理；
步骤九、系统自动完成大数据作业处理后将所有结果数据生成字典格式的.json文件。
步骤二、大数据展示页面中根据用户选择的时间、勘探开发软件、模块，加载数据；
步骤三、在大数据展示页面中动态显示数据的表格；
步骤四、在大数据展示页面中加载地图，并根据信息展示分析数据；
步骤五、在大数据展示页面中根据动态加载的数据以柱状图展示分析数据；
步骤六、在大数据展示页面中根据动态加载的数据以饼状图展示分析数据；
步骤七、在大数据展示页面中根据动态加载的数据以曲线图展示分析数据；
步骤八、在大数据展示页面中动态配置最终要显示的表、地图、柱状图、饼状图、曲线图。
具体实施方式
（2）勘探开发大数据处理平台服务层包括服务管理模块、服务申请模块、服务审批模块、服务部署模块提、服务使用模块、服务接口模块等；
（3）勘探开发大数据处理平台服务层包括身份认证模块、计算模块、镜像模块、块设备模块、网络模块、对象存储模块、虚拟机模块、容器模块、资源管理模块、资源监控等。
（2）消息中心模块提供了用户发送消息，系统发送广播消息等功能；
（3）虚拟桌面模块提供了虚拟桌面创建、使用、访问的功能；
（4）虚拟服务器模块提供了虚拟服务器创建、使用、访问的功能；
（5）云存储模块提供了云存储网盘的功能；
（6）资源管理模块提供了网络、云主机类型、镜像、主机聚合等功能；
（7）资源监控模块提供了虚拟机和服务器的CPU利用率、内存利用率、存储、网络的监控功能；
（8）大数据集群模块提供了创建Hadoop、spark集群的功能，用户输入大数据集群数量、机器名、IP地址等，系统会自动部署大数据集群并自动配置；
（9）大数据模型模块提供了大数据处理模型的模板，用户可以设置编辑大数据处理模型；
（10）大数据提交模块提供了用户提交大数据作业请求的功能；
（11）大数据展示模块提供了以表格和图形展示大数据分析处理结果的功能。
（2）服务管理模块提供给系统管理员发布服务；
（3）服务申请模块提供给租户管理员申请服务；
（4）服务审批模块提供给审批管理员审批服务；
（5）服务部署模块提供给系统管理员部署服务集群实例；
（6）服务使用模块提供给用户使用服务集群实例；
（7）服务接口模块封装了和认证、计算、网络、镜像、对象、虚拟机、容器等模块交互的接口；
基于容器技术的勘探开发大数据处理平台的系统，其基础设施层各功能模块：
（1）认证模块提供了中石化统一身份认证功能；
（2）计算模块提供了创建服务集群实例虚拟机或容器的功能；
（3）镜像模块提供了服务集群的虚拟机镜像或容器镜像功能；
（4）块设备模块提供了服务实例虚拟机云硬盘功能；
（5）网络模块提供了服务集群实例的网络功能；
（6）对象存储模块提供了镜像、图片等存储功能；
（7）虚拟机模块提供了虚拟机创建、启动、关闭、删除等功能；
（8）容器模块提供了容器的创建、启动、关闭、删除等功能。
勘探开发大数据处理平台由一台控制节点服务器、一台网络节点服务器、一台或多台计算节点服务器组成，勘探开发大数据平台门户网站、数据库系统、调度系统、各服务模块等部署在控制节点服务器；勘探开发大数据处理平台网络部署在网络节点服务器；勘探开发大数据处理平台虚拟机管理器和容器管理器部署在计算节点服务器。
步骤二、安装配置安全外壳协议（SSH）、远程控制软件（VNC）、网页远程控制软件（NOVNC）服务；
步骤三、安装配置Java软件；
步骤四、安装配置大数据Hadoop软件；
步骤五、安装配置大数据Spark软件；
步骤六、安装配置大数据Hive软件；
步骤七、安装配置大数据HBase软件；
步骤八、添加自动配置大数据Hadoop服务程序；
步骤九、添加自动配置大数据Spark服务程序；
步骤十、安装配置容器服务启动脚本。
步骤二、输入大数据集群模块数量；
步骤三、输入大数据集群的机器名或起始机器名；
步骤四、输入大数据集群的IP地址或起始IP地址；
步骤五、输入大数据集群的名称；
步骤六、输入大数据集群部署的服务器或自动选择；
步骤七、提交创建大数据集群请求。
步骤二、在处理程序模板文件中修改数据源中的日志文件路径、配置信息；
步骤三、在处理程序模板文件中修改数据源中的其他文件夹、配置信息；
步骤四、在处理程序产生每年历史数据模板文件中修改配置信息；
步骤五、在处理程序产生每月历史数据模板文件中修改配置信息；
步骤六、在处理程序产生每天历史数据模板文件中修改配置信息；
步骤七、提交大数据处理的请求；
步骤八、系统自动完成大数据作业的处理；
步骤九、系统自动完成大数据作业处理后将所有结果数据生成字典格式的json文件。
步骤二、大数据展示页面中根据用户选择的时间、勘探开发软件、模块等，加载数据；
步骤三、在大数据展示页面中动态显示数据的表格；
步骤四、在大数据展示页面中加载地图，并根据信息展示分析数据；
步骤五、在大数据展示页面中根据动态加载的数据以柱状图展示分析数据；
步骤六、在大数据展示页面中根据动态加载的数据以饼状图展示分析数据；
步骤七、在大数据展示页面中根据动态加载的数据以曲线图展示分析数据；
步骤八、在大数据展示页面中动态配置最终要显示的表、地图、柱状图、饼状图、曲线图。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于边缘计算的综合传感网测试平台 | 2020-05-08 | 212 |
| 一种电池管理方法、装置、电池及云服务器 | 2020-05-08 | 381 |
| 芯片测试方法、装置、电子设备及计算机可读介质 | 2020-05-08 | 155 |
| UWB与GPS一体化定位方法及系统 | 2020-05-11 | 395 |
| 业务访问方法和装置 | 2020-05-08 | 697 |
| 大数据量Excel文件导出方法、装置、计算机设备及存储介质 | 2020-05-08 | 182 |
| 视频处理方法、装置和电子设备 | 2020-05-08 | 568 |
| 一种并行消息处理方法、系统及相关装置 | 2020-05-08 | 976 |
| 可视化数据大屏实现方法和实现系统 | 2020-05-08 | 253 |
| 一种植物适宜生长区域评价方法和设备 | 2020-05-08 | 10 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
