一种低成本数据存储方法专利检索-数据集市资料储存系统专利检索查询-专利查询网

一种低成本数据存储方法

阅读：407发布：2020-05-11

专利汇可以提供一种低成本数据存储方法专利检索，专利查询，专利分析的服务。并且本发明公开了数据存储技术领域的一种低成本数据存储方法，S1：存储硬件的选择，S2：数据的存储，S3：数据的备份，S4：数据的查询，本发明使用基于Hdfs的Hive来保存所有数据，使用Hive能够允许通过api和交互式客户端进行查询历史数据，数据按照日期进行分组，提升查询某一个时间段内的数据的性能，使用价格低，使用价格低与存储比高的HDD盘作为硬件。，下面是一种低成本数据存储方法专利的具体信息内容。

权利要求

1.一种低成本数据存储方法，其特征在于：
S1：存储硬件的选择
选择性能稳定的HDD 硬盘采用分布式排列的方式来保存所有的用户和产品数据；
S2：数据的存储
使用分布式文件系统Hdfs和建于其上的数据仓库Hive进行用户和产品数据存储输入；
S3：数据的备份
利用步骤S2中Hdfs对存储的用户和产品数据进行备份，能够提供很好的数据备份；
S4：数据的查询
通过利用步骤S2中的Hive系统提供查询历史数据的能力提取查询步骤S2中Hdfs存储的用户和产品数据以及步骤S3中Hdfs对存储的用户和产品备份的数据。
2.根据权利要求1所述的一种低成本数据存储方法，其特征在于：所述步骤S1中为ST6000NM0034 NWCCG Dell 6TB 3.5寸12Gb HDD V4 SAS硬盘。
3.根据权利要求1所述的一种低成本数据存储方法，其特征在于：所述步骤S2中Hdfs为设计成适合运行在步骤S1中HHD硬盘运行的分布式文件系统，能提供高吞吐量的数据访问，放宽了POSIX的要求这样可以实现流的形式访问文件系统中的数据。
4.根据权利要求3所述的一种低成本数据存储方法，其特征在于：所述POSIX为可移植操作系统接口。
5.根据权利要求1所述的一种低成本数据存储方法，其特征在于：所述步骤S2和S4中Hive包括数据源、数据存储和管理、数据服务和数据应用，所述数据源为数据仓库的数据来源，含外部数据、现有业务系统和文档资料，所述数据存储和管理为对数据的存储和管理，含数据仓库、数据集市、数据仓库检测、运行与维护工具和元数据管理，所述数据服务为前端和应用提供数据服务，可直接从数据仓库中获取数据供前端应用使用，也可通过OLAP服务器为前端应用提供负责的数据服务，所述数据应用为直接面向用户，含数据查询工具、自由报表工具、数据分析工具、数据挖掘工具和各类应用系统。
6.根据权利要求5所述的一种低成本数据存储方法，其特征在于：所述OLAP为联机分析处理，能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。
7.根据权利要求1所述的一种低成本数据存储方法，其特征在于：所述步骤Hdfs中存储数据的方式按照日期进行分组。
8.根据权利要求1所述的一种低成本数据存储方法，其特征在于：所述步骤S4中Hive能够允许通过api和交互式客户端进行查询历史数据。

说明书全文

一种低成本数据存储方法

技术领域

[0001] 本发明涉及数据存储技术领域，具体为一种低成本数据存储方法。

背景技术

[0002] 随着业务和时间的不断发展，用户以及产品相关的数据量的持续扩大，TB级甚至PB级的数据已经十分常见了。原先的传统关系型数据库在面对如此巨大的数据量时，会极大的降低性能甚至无法使用。但如果使用现代的分布式列式存储，如Hbase，虽然确实能够将如此巨大的数据存储下来，但是由于Hbase是用于提供线上服务的高性能随机读写，所以如果将全部数据存在价格昂贵的SSD 硬盘中，会导致硬件成本的巨大上涨。基于此，本发明设计了一种低成本数据存储方法，以解决上述问题。

发明内容

[0003] 本发明的目的在于提供一种低成本数据存储方法，以解决上述背景技术中提出的问题。

[0004] 为实现上述目的，本发明提供如下技术方案：一种低成本数据存储方法，[0005] S1：存储硬件的选择

[0006] 选择性能稳定的HDD硬盘采用分布式排列的方式来保存所有的用户和产品数据；

[0007] S2：数据的存储

[0008] 使用分布式文件系统Hdfs和建于其上的数据仓库Hive进行用户和产品数据存储输入，Hdfs为设计成适合运行在步骤S1中HHD硬盘运行的分布式文件系统，能提供高吞吐量的数据访问，放宽了POSIX的要求这样可以实现流的形式访问文件系统中的数据，Hdfs中存储数据的方式按照日期进行分组，所述Hive包括数据源、数据存储和管理、数据服务和数据应用；

[0009] S3：数据的备份

[0010] 利用步骤S2中Hdfs对存储的用户和产品数据进行备份，能够提供很好的数据备份；

[0011] S4：数据的查询

[0012] 通过利用步骤S2中的Hive系统提供查询历史数据的能力提取查询步骤S2中Hdfs存储的用户和产品数据以及步骤S3中Hdfs对存储的用户和产品备份的数据，Hive能够允许通过api和交互式客户端进行查询历史数据。

[0013] 优选的，所述步骤S1中为ST6000NM0034NWCCG Dell 6TB 3.5寸12Gb HDDV4 SAS硬盘。

[0014] 优选的，所述POSIX为可移植操作系统接口。

[0015] 优选的，所述数据源为数据仓库的数据来源，含外部数据、现有业务系统和文档资料，所述数据存储和管理为对数据的存储和管理，含数据仓库、数据集市、数据仓库检测、运行与维护工具和元数据管理，所述数据服务为前端和应用提供数据服务，可直接从数据仓库中获取数据供前端应用使用，也可通过OLAP服务器为前端应用提供负责的数据服务，所述数据应用为直接面向用户，含数据查询工具、自由报表工具、数据分析工具、数据挖掘工具和各类应用系统。

[0016] 优选的，所述OLAP为联机分析处理，能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。

[0017] 与现有技术相比，本发明的有益效果是：

[0018] 1)本发明使用基于Hdfs的Hive来保存所有数据；

[0019] 2)本发明使用Hive能够允许通过api和交互式客户端进行查询历史数据；

[0020] 3)本发明数据按照日期进行分组，提升查询某一个时间段内的数据的性能；

[0021] 4)本发明使用价格低，使用价格低与存储比高的HDD盘作为硬件。

[0022] 当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。附图说明

[0023] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0024] 图1为本发明方法流程图。

具体实施方式

[0025] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围

[0026] 请参阅图1，本发明提供一种技术方案：一种低成本数据存储方法，

[0027] S1：存储硬件的选择

[0028] 选择性能稳定的HDD硬盘采用分布式排列的方式来保存所有的用户和产品数据；

[0029] S2：数据的存储

[0030] 使用分布式文件系统Hdfs和建于其上的数据仓库Hive进行用户和产品数据存储输入，Hdfs为设计成适合运行在步骤S1中HHD硬盘运行的分布式文件系统，能提供高吞吐量的数据访问，放宽了POSIX的要求这样可以实现流的形式访问文件系统中的数据，Hdfs中存储数据的方式按照日期进行分组，Hive包括数据源、数据存储和管理、数据服务和数据应用；

[0031] S3：数据的备份

[0032] 利用步骤S2中Hdfs对存储的用户和产品数据进行备份，能够提供很好的数据备份；

[0033] S4：数据的查询

[0034] 通过利用步骤S2中的Hive系统提供查询历史数据的能力提取查询步骤S2中Hdfs存储的用户和产品数据以及步骤S3中Hdfs对存储的用户和产品备份的数据，Hive能够允许通过api和交互式客户端进行查询历史数据。

[0035] 其中，步骤S1中为ST6000NM0034 NWCCG Dell 6TB 3.5寸12Gb HDD V4 SAS硬盘。

[0036] 其中，POSIX为可移植操作系统接口。

[0037] 其中，数据源为数据仓库的数据来源，含外部数据、现有业务系统和文档资料，数据存储和管理为对数据的存储和管理，含数据仓库、数据集市、数据仓库检测、运行与维护工具和元数据管理，数据服务为前端和应用提供数据服务，可直接从数据仓库中获取数据供前端应用使用，也可通过OLAP服务器为前端应用提供负责的数据服务，数据应用为直接面向用户，含数据查询工具、自由报表工具、数据分析工具、数据挖掘工具和各类应用系统。

[0038] 其中，OLAP为联机分析处理，能够迅速、一致、交互地从各个方面观察信息，以达到深入理解数据的目的。

[0039] 在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

[0040] 以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

标题	发布/更新时间	阅读量
一种智慧文旅系统	2020-05-13	670
数据路由方法、数据路由网络及其数据访问方法、系统	2020-05-12	334
一种基于大数据平台数据分析域构架方法	2020-05-21	199
大规模数据管理与数据分发系统及方法	2020-05-14	762
一种基于云教学平台的数据库系统	2020-05-19	690
一种基于多智能体运维的数据中心增值化服务系统	2020-05-20	533
关联数据网络构建方法及装置	2020-05-13	260
基于优先级的资源分配方法、装置、设备及存储介质	2020-05-16	752
基于区块链的数字数据交换	2020-05-12	412
反窃电稽查监控方法及平台	2020-05-18	608

一种低成本数据存储方法

一种低成本数据存储方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：