技术领域
[0001] 本
发明涉及数据存储管理领域，特别涉及一种时间序列相关数据的多维分级哈希编码、解码方法与设备、存储介质。技术背景
[0002]
云存储和
大数据背景下，数据呈现爆炸式增长趋势。根据研究显示，2020年数字
宇宙将达到35.2ZB，比2009年的0.8ZB猛增44倍，这其中80％以上为非结构化数据。金融领域、国民经济宏观控制、区域综合发展规划、企业经营管理、市场潜量预测、气象预报、
水文预报、
地震前兆预报、
农作物病虫灾害预报、环境污染控制、生态平衡、天文学和
海洋学等等大量数据密集型应用导致数据的井喷。因数据存储量巨大，导致读写速度很慢，其主要问题是存储与I/O没有做到很好的优化，故不断对存储方法提出新的严峻挑战。
发明内容
[0003] 本发明提供一种多维分级哈希编码、解码方法与设备、存储介质，通过优化存储方法与I/O，很好地解决上述数据读写速度慢的问题，同时降低数据存储使用空间。
[0004] 本发明提供了一种多维分级哈希编码方法，包括如下步骤：
[0005] 数据输入；
[0006] 将数据按照时间周期进行分类；
[0007] 对各时间周期相关数据进行稀疏滤波，生成多维数据；
[0008] 对各维数据按照数据量大小进行排序并存储，根据数据存储
位置计算生成哈希值；
[0009] 将各个周期对应的每组哈希值按照数据量大小进行排序，获得哈希表并存储。
[0010] 所述的稀疏滤波是将数据相同值进行删除的压缩方法，在一组时间相关序列值中，检测相邻的值是否相同，如果相同则删除相邻的相同值。
[0011] 所述的哈希表包含二级或二级以上数据结构。
[0012] 所述的时间周期包括但不限于年、月、周、日、时、30分钟、5分钟、5秒、1秒、1跳。
[0013] 所述的哈希值用于标识所述数据的位置，每个哈希值标识了对应周期的数据位置。
[0014] 所述的数据与时间序列相关，包括但不限于金融数据、国民经济宏观控制数据、区域综合发展规划数据、企业经营管理数据、市场潜量预测数据、气象预报数据、水文预报数据、地震前兆预报数据、农作物病虫灾害预报数据、环境污染控制数据、生态平衡数据、天文学数据和海洋学数据。
[0015] 所述的哈希表可用于并行
定位数据的存储位置和/或并行读取数据。
[0016] 本发明还提出了一种多维分级哈希解码方法，包括以下步骤：
[0017] 读取哈希表；
[0018] 获得数据位置；
[0020] 串行或者并行读取，直到所需的数据读取完成。
[0021] 本发明还提供一种计算设备，包括：
[0022] 一个或多个处理器；
存储器；以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述多维分级哈希编码方法和/或所述多维分级哈希解码方法中的任一方法的指令。
[0023] 本发明还提供一种存储介质，所述存储介质存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当由基于分级目标评价的策略生成设备执行时，使得所述计算设备执行所述多维分级哈希编码方法和/或所述多维分级哈希解码方法中的任一方法。
[0024] 本发明通过对数据进行时间周期分类，并对分级后的数据进行稀疏滤波生成多维数据，并对数据进行排序存储生成哈希值，再对哈希值进行排序生成哈希表的方式优化存储方法与I/O，可大大节省存储空间。通过按时间周期进行多维分级并存储的哈希表，可用于并行定位数据的存储位置以及并行读取数据，提高数据读取速度。
附图说明
[0025] 图1是本发明多维分级哈希编码
流程图。
[0027] 图3是本发明多维分级哈希数据布局模式。
[0028] 图4是本发明多维分级哈希编码的装置。
[0029] 图5是本发明多维分级哈希解码流程图。
[0030] 图6是本发明多维分级哈希解码装置。
具体实施方式
[0031] 下面结合附图并通过具体实施方式来进一步说明本发明的技术方案和优点。
[0033] 本发明实施例一公开了一种多维分级哈希编码方法，参照图1所示流程：
[0034] 步骤111，输入与时间序列相关的原始数据。
[0035] 步骤112，将原始数据按照时间周期进行分类，形成至少两级数据结构。相应地，哈希表的数据结构视数据的时间周期分类而定，该哈希表用于存放相应的哈希值。时间周期可根据需要设置，如数据可以按年、月、周、日、时、30分钟、5分钟，5秒，1秒，1跳等分类存储，但不限于此。步骤113，对分级后的各时间周期相关数据进行稀疏滤波，即是将数据相同值进行删除的压缩方法。如图2所示，在一组时间相关序列值中，对相邻的值进行检测，若相邻值相同，则删除相邻的相同值；如果相邻的值不同，则予保留；以获得各周期相应的多维数据。该多维数据，可以是多维金融数据，如多支股票按时间周期进行分类的成交价格。使用稀疏滤波对数据进行处理，由于删除了相邻数据的相同值，压缩了大量存储空间，提高了
解码器的读取速度。
[0036] 步骤114，对各个周期相应的各维数据按照数据量大小进行排序并存储，根据数据存储位置计算生成哈希值。哈希值用于标识所述数据的位置，每个哈希值标识了对应周期的数据位置。
[0037] 步骤115，将各个周期对应的每个哈希值按照数据量大小进行排序，可按照由大到小或由小到大的顺序排列，获得哈希表。哈希表可用于并行定位数据的存储位置以及并行读取数据，大大提高了数据读取速度。
[0038] 图3是本发明实施例一所述的哈希数据布局模式，对各维数据按时间周期进行分类，增加哈希表，形成至少两级数据结构。以股票交易数据为例，将一支或多支股票的历史交易价格作为原始数据，该原始数据按年、月、日、时、30分钟、5分钟，5秒，1秒，1跳等时间周期进行分类存储。增加哈希表，形成两级以上数据结构。以两级数据结构为例，第二级
节点是实际存储数据的节点，是一个或多个股票在某一时间段内的交易价格经过周期分类，如按年、月、日、时、30分钟、5分钟，5秒，1秒，1跳等时间周期分类并稀疏滤波后实际存储的金融数据，形成一维或多维金融数据。各周期每一维金融数据按照数据量大小排序并存储，根据数据存储位置计算生成哈希值，该哈希值标识了某支股票在该周期的数据位置。各周期多个哈希值按照数据量大小排序后生成哈希表，即分级数据布局结构的第一节点，其标识了相应股票数据位置——比如，哈希表中的第一个哈希值标识了月周期数据中第一支股票数据的位置。该数据布局模式优化了存储方法与I/O，可大大节省存储空间。同时，将原始数据以时间周期进行分类，增加哈希表，形成至少两级数据结构，可并行读取数据排序和哈希表排序，提高数据读取速度。
[0039] 该方法适用于所有与时间序列相关领域的数据进行哈希编码存储，该时间序列相关领域数据包括金融数据、国民经济宏观控制数据、区域综合发展规划数据、企业经营管理数据、市场潜量预测数据、气象预报数据、水文预报数据、地震前兆预报数据、农作物病虫灾害预报数据、环境污染控制数据、生态平衡数据、天文学数据和海洋学数据等等，并不限于此。
[0040] 实施例二
[0041] 本实施例提出了一种多维分级哈希编码装置，如图4所示，包括：
[0042] 数据写模块411，实施时间序列相关数据的输入，该时间序列相关数据包括金融数据、国民经济宏观控制数据、区域综合发展规划数据、企业经营管理数据、市场潜量预测数据、气象预报数据、水文预报数据、地震前兆预报数据、农作物病虫灾害预报数据、环境污染控制数据、生态平衡数据、天文学数据和海洋学数据等等。
[0043] 分类模块412，将数据按照时间周期进行分类，增加哈希表，形成至少两级数据结构。相应地，哈希表的数据结构视数据的时间周期分类而定，该哈希表用于存放相应的哈希值。时间周期可根据需要设置，可以包括年、月、周、日、时、30分钟、5分钟，5秒，1秒，1跳等，并不限于此。
[0044] 稀疏滤波模块413，稀疏滤波是将数据相同值进行删除并标识的压缩方法，在一组时间相关序列值中，对相邻的值进行检测，若相邻值相同，则删除相邻的相同值；如果相邻的值不同，则予保留；以获得各周期相应的多维数据。该多维数据，可以是多维金融数据，如多个股票按时间周期进行分类的成交价格。使用稀疏滤波对数据进行处理，由于删除了相邻数据的相同值，压缩了大量存储空间，提高了解码器的读取速度。
[0045] 数据排序存储模块414，对各时间周期相应的各维数据按照数据量大小进行排序并存储，根据数据存储位置计算生成哈希值，该哈希值用于标识所述数据的位置，每个哈希值标识了对应周期的数据位置。
[0046] 哈希值排序存储模块415，对每个哈希值按照数据量大小，可由小到大或从大到小进行排序，获得哈希表，并存储。哈希表可用于并行定位数据的存储位置以及并行读取数据，大大提高了数据读取速度。
[0047] 实施例三
[0048] 本发明还提出了一种多维分级哈希解码方法，如图5所示，包括以下步骤：
[0049] 读取哈希表511；
[0050] 获得数据位置512；
[0051] 根据数据位置，分周期整块读出数据513；
[0052] 串行或者并行读取，直到所需的数据读取完成514。
[0053] 实施例四
[0054] 本发明还提出了一种多维分级哈希解码装置，如图6所示，包括：
[0055] 读模块611，读取哈希表；
[0056] 哈希表识别模块612，获得数据位置；
[0057] 输出模块613，根据数据位置，分周期整块读取数据。
[0058] 实施例五
[0059] 本发明还提供了一种计算设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，该一个或多个程序包括用于执行多维分级哈希编码方法实施例和多维分级哈希解码方法实施例中的任一方法的指令。
[0060] 本实施例中，计算设备可以实现为众多通用或专用的
计算机系统环境或配置中如个人计算机、
服务器计算机、
手持设备或便携式设备、平板型设备、多处理器系统、包括以上任何系统或设备的分布式计算机环境等。
[0061] 实施例六
[0062] 本发明还提供一种计算机存储介质，该存储介质存储有一个或多个程序，该一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行多维分级哈希编码方法实施例和多维分级哈希解码方法实施例中的任一方法。
[0063] 本发明的上述实施例优化了存储方法与I/O，可大大节省存储空间。同时，将原始数据以时间周期进行分类生成的哈希表，可用于并行定位数据的存储位置以及并行读取数据，大大提高了数据读取速度。
[0064] 上述仅为本发明的较佳实施例及所运用技术原理，任何熟悉
本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。
