一种温数据存储方法
专利汇可以提供一种温数据存储方法专利检索，专利查询，专利分析的服务。并且本 发明 属于温数据存储领域，尤其时涉及一种温数据存储方法，包括：每日通过 服务器 以及相关平台录入数据；根据录入数据时的日期对数据赋值n；对当日日期进行赋值，设置成m，通过 算法 算出(m-n)的值，即为数据关联的关键词，将关键词关联数据；设置 阈值 a；将数据关联的关键词(m-n)与阈值a进行大小比较，当出现(m-n)较大时，对数据进行清除处理，当出现a较大时，不对数据进行处理；通过Spark从HDFS通过不同的查询条件读取大规模的数据进行分析计算。本发明使用Parquet格式和Snappy压缩算法在提升大范围数据的读取速度的同时，能够减少住数据存储的用量。，下面是一种温数据存储方法专利的具体信息内容。
1.一种温数据存储方法，其特征在于，具体包括以下步骤：
S1、每日通过服务器以及相关平台录入数据；
S2、根据录入数据时的日期对数据赋值n；
S3、将数据以Parquet格式存入HDFS；
S4、对当日日期进行赋值，设置成m，通过算法算出(m-n)的值，即为数据关联的关键词，将关键词关联数据；
S5、设置阈值a；
S6、将数据关联的关键词(m-n)与阈值a进行大小比较，当出现(m-n)较大时，对数据进行清除处理，当出现a较大时，不对数据进行处理；
S7、通过Spark从HDFS通过不同的查询条件读取大规模的数据进行分析计算。
2.根据权利要求1所述的一种温数据存储方法，其特征在于，在进行所述S1步骤前先对数据进行检测，检测数据中是否有与现有数据相重复的，检测到重复的数据不予录入。
3.根据权利要求2所述的一种温数据存储方法，其特征在于，在检测到重复数据后，根据当日的日期重新对存储中的现有数据进行m的赋值。
4.根据权利要求1所述的一种温数据存储方法，其特征在于，在进行所述S8步骤时，根据数据的索引次数得出数据的得分值，将数据的得分值进行加权处理，得到每个物品排序权重值，根据权重值对数据进行分组。
一种温数据存储方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 固化修复树脂 | 2020-05-08 | 520 |
| 经修饰的膜型丝氨酸蛋白酶1（MTSP-1）多肽及其使用方法 | 2020-05-08 | 573 |
| 一种钓鱼网站检测方法、装置和存储介质 | 2020-05-08 | 814 |
| 麦克风组件及电子设备 | 2020-05-08 | 656 |
| 船舶用柴油发动机 | 2020-05-08 | 722 |
| 一种电子设备用散热装置 | 2020-05-08 | 231 |
| 修改音频对象的风格的方法、以及对应电子装置、计算机可读程序产品和计算机可读存储介质 | 2020-05-08 | 578 |
| 使用横向推进和垂直移动控制飞行器的系统和方法 | 2020-05-08 | 575 |
| 暖通空调系统及其控制方法 | 2020-05-08 | 223 |
| 激光电视的滤网固定结构及激光电视机 | 2020-05-08 | 246 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
