分布式存储系统

阅读:721发布:2023-05-26

专利汇可以提供分布式存储系统专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种分布式存储系统,包括:多个存储层用于对不同安全级别的数据进行分级存储;主 控制器 用于接收客户端向其发送的数据存储 请求 ,并建立存储日志;以及存储监控器用于根据 主控制器 请求存储入的数据的安全级别查找具有等同安全级别的存储层进行数据存储,并将存储路径以链接的形式存储在 区 块 链 内,且链接与主控制器上建立的存储日志相关联。本发明能够实现对数据的分级别安全存储,且由于多个存储层内的存储设备之间的数据交互和备份机制,能够实现对数据的自动更新和备份存储,即便其中一个存储设备出现故障,仍然能够保证该存储设备内的数据始终保留有两份备份,实现对存储数据的永久存储,但又不会占用过多存储资源。,下面是分布式存储系统专利的具体信息内容。

1.一种分布式存储系统,其特征在于,包括:
多个存储层,其用于对不同安全级别的数据进行分级存储,多个存储层根据所述安全级别由高到低进行顺序编号,其中,任一个存储层设置有若干存储设备并顺序编号,且所述若干存储设备根据其顺序编号进行相邻存储设备间的两两信息交互和两两数据备份,并进行实时数据检测和数据同步;
控制器,其用于接收客户端向其发送的数据存储请求,并建立存储日志,所述存储日志中包含有存储数据的元数据;以及,
存储监控器,其用于根据主控制器请求存储入的数据的所述安全级别查找具有等同所述安全级别的存储层进行数据存储,并将存储路径以链接的形式返回并存储在存储监控器内的链内,所述链接内包含有存储层的编码和该存储层内存储设备编码,且所述链接以时间为轴与主控制器上建立的存储日志相关联;
当用户通过客户端向主控制器发出数据访问指令时,主控制器根据数据访问指令查找对应的所述存储日志,之后通过所述存储日志关联所述存储监控器内的所述链接,以调取存储在与所述链接对应的某一存储设备n内的存储数据,若该对应的存储设备n正常运转,则返回调取结果,若该对应的存储设备n出现故障,系统默认跳转至编号为n+1的存储设备上调取存储设备n的备份数据,以此类推。
2.如权利要求1所述的分布式存储系统,其特征在于,任一个存储层的若干存储设备中,编号最小的存储设备默认为序列编码器,其用于根据剩余若干存储设备的当前存储剩余空间生成当前存储序列,该存储层按照所述当前存储序列依次进行当前数据存储;
若存储设备n故障持续超过指定时间,则默认存储设备n退出所述当前存储序列,同时将存储设备n+1上的存储设备n的备份数据默认为存储设备n+1的更新数据,并将所述更新数据备份至与其存储设备编号相邻的存储设备n+2中,当前存储序列由总数m个变为m-1个,但若干存储设备编号保持不变。
3.如权利要求1所述的分布式存储系统,其特征在于,若任一存储层的当前剩余总存储空间小于其原始最大存储空间的指定阈值时,自动启动备用存储设备,将下一时刻存储空间扩充至所述当前剩余总存储空间的冗余备份,并对被启动的备用存储设备在原有编号基础上顺序编号。
4.如权利要求2所述的分布式存储系统,其特征在于,退出当前存储序列的所述存储设备n恢复工作时,默认为备用存储设备,但其存储设备编号仍为n。
5.如权利要求1所述的分布式存储系统,其特征在于,主控制器还包括:验证模块,其用于验证当前接收到的待存储数据的合法性。
6.如权利要求1所述的分布式存储系统,其特征在于,主控制器还包括:
指纹数据库,其用于预存储用户指纹;
监控模块,其用于对所述数据访问指令中包含的用户指纹与所述指纹数据库中预存储的所述用户指纹进行匹配验证,若匹配结果为“1”,则返回调取数据结果;若匹配结果为“0”,则返回结果为“0”。
7.如权利要求2所述的分布式存储系统,其特征在于,所述若干存储设备各设置有一与其编号相同的备用子存储设备,当若干存储设备的存储空间剩余10%时,自动启动其子存储设备进行存储空间扩充,且启动的所述子存储设备的存储空间大小自动更新至所述序列编码器,用于更新所述当前存储序列。
8.如权利要求7所述的分布式存储系统,其特征在于,还包括:
数据检测模块,用于定时检测对所述若干存储设备中的存储数据进行数据检测,将更新的数据进行记录;
数据同步模块,根据所述数据检测模块的更新的数据记录,定时将数据更新同步至与其按顺序编号的相邻的两个存储设备上。
9.如权利要求8所述的分布式存储系统,其特征在于,数据同步模块每隔6小时将数据更新同步至与其按顺序编号的相邻的两个存储设备上。
10.如权利要求1所述的分布式存储系统,其特征在于,所述存储监控器还包括:
层分配模块,用于对多个存储层进行顺序编号,并按由低到高的顺序设置所述安全级别;
解析模块,其用于在存储待存储数据前,解析所述待存储数据,获取所述待存储数据的所述安全级别;以及
层获取模块,用于获取所述安全级别并与相同所述安全级别的一个存储层的编号进行匹配。

说明书全文

分布式存储系统

技术领域

[0001] 本发明涉及分布式存储技术领域,特别涉及一种分布式存储系统。

背景技术

[0002] 随着信息化的深入开展,各行各业的业务系统所产生的数据越来越多,由于传统的集中式存储方案(集中式存储是指为待存储的数据制定一个特定的存储区域,如数据中心主机,将所有都存储在该区域中)将所有的数据均存储在数据中心主机上,若数据中心主机出故障,则整个系统无法存储和提取数据,即集中式存储方案相较于分布式数据存储,数据稳定性较低,故而分布式数据存储应运而生。
[0003] 现行的分布式数据存储方式一般是将待存储数据写入未充分使用的存储设备中;但是,由于数据写入存储设备之后很少被移动,且随着存储设备的扩展和更新,大部分的数据都写入到新增、数据较少的新存储设备中,从而导致新增存储设备存储资源占用过多、旧存储设备存储资源利用不足,不能充分利用分布式系统中的存储资源,也不能在分布式系统的存储资源有限时进行合理扩展和存储资源的合理分配。

发明内容

[0004] 本发明的一个目的是解决至少上述问题,并提供至少后面将说明的优点。
[0005] 本发明还有一个目的是提供一种分布式存储系统,其能够实现对数据的分级别安全存储,且由于多个存储层内的存储设备之间的数据交互和备份机制,能够实现对数据的自动更新和备份存储,即便其中一个存储设备出现故障,仍然能够保证该存储设备内的数据始终保留有两份备份,实现对存储数据的永久存储,但又不会占用过多存储资源。
[0006] 为了实现根据本发明的这些目的和其它优点,提供了一种分布式存储系统,包括:
[0007] 多个存储层,其用于对不同安全级别的数据进行分级存储,多个存储层根据所述安全级别由高到低进行顺序编号,其中,任一个存储层设置有若干存储设备并顺序编号,且所述若干存储设备根据其顺序编号进行相邻存储设备间的两两信息交互和两两数据备份,并进行实时数据检测和数据同步;
[0008] 主控制器,其用于接收客户端向其发送的数据存储请求,并建立存储日志,所述存储日志中包含有存储数据的元数据;以及,
[0009] 存储监控器,其用于根据主控制器请求存储入的数据的所述安全级别查找具有等同所述安全级别的存储层进行数据存储,并将存储路径以链接的形式返回并存储在存储监控器内的链内,所述链接内包含有存储层的编码和该存储层内存储设备编码,且所述链接以时间为轴与主控制器上建立的存储日志相关联;
[0010] 当用户通过客户端向主控制器发出数据访问指令时,主控制器根据数据访问指令查找对应的所述存储日志,之后通过所述存储日志关联所述存储监控器内的所述链接,以调取存储在与所述链接对应的某一存储设备n内的存储数据,若该对应的存储设备n正常运转,则返回调取结果,若该对应的存储设备n出现故障,系统默认跳转至编号为n+1的存储设备上调取存储设备n的备份数据,以此类推。
[0011] 优选的是,任一个存储层的若干存储设备中,编号最小的存储设备默认为序列编码器,其用于根据剩余若干存储设备的当前存储剩余空间生成当前存储序列,该存储层按照所述当前存储序列依次进行当前数据存储;
[0012] 若存储设备n故障持续超过指定时间,则默认存储设备n退出所述当前存储序列,同时将存储设备n+1上的存储设备n的备份数据默认为存储设备n+1的更新数据,并将所述更新数据备份至与其存储设备编号相邻的存储设备n+2中,当前存储序列由总数m个变为m-1个,但若干存储设备编号保持不变。
[0013] 优选的是,若任一存储层的当前剩余总存储空间小于其原始最大存储空间的指定阈值时,自动启动备用存储设备,将下一时刻存储空间扩充至所述当前剩余总存储空间的冗余备份,并对被启动的备用存储设备在原有编号基础上顺序编号。
[0014] 优选的是,退出当前存储序列的所述存储设备n恢复工作时,默认为备用存储设备,但其存储设备编号仍为n。
[0015] 优选的是,主控制器还包括:验证模块,其用于验证当前接收到的待存储数据的合法性。
[0016] 优选的是,主控制器还包括:指纹数据库,其用于预存储用户指纹;监控模块,其用于对所述数据访问指令中包含的用户指纹与所述指纹数据库中预存储的所述用户指纹进行匹配验证,若匹配结果为“1”,则返回调取数据结果;若匹配结果为“0”,则返回结果为“0”。
[0017] 优选的是,所述若干存储设备各设置有一与其编号相同的备用子存储设备,当若干存储设备的存储空间剩余10%时,自动启动其子存储设备进行存储空间扩充,且启动的所述子存储设备的存储空间大小自动更新至所述序列编码器,用于更新所述当前存储序列。
[0018] 优选的是,还包括:数据检测模块,用于定时检测对所述若干存储设备中的存储数据进行数据检测,将更新的数据进行记录;数据同步模块,根据所述数据检测模块的更新的数据记录,定时将数据更新同步至与其按顺序编号的相邻的两个存储设备上。
[0019] 优选的是,数据同步模块每隔6小时将数据更新同步至与其按顺序编号的相邻的两个存储设备上。
[0020] 优选的是,所述存储监控器还包括:层分配模块,用于对多个存储层进行顺序编号,并按由低到高的顺序设置所述安全级别;解析模块,其用于在存储待存储数据前,解析所述待存储数据,获取所述待存储数据的所述安全级别;以及层获取模块,用于获取所述安全级别并与相同所述安全级别的一个存储层的编号进行匹配。
[0021] 本发明至少包括以下有益效果:
[0022] 应用多个存储层对不同的安全级别要求的数据进行分层存储,便于数据的存储管理和存储资源的合理利用,比如:图2中,第一存储层包括若干存储设备为存储设备101、存储设备102和存储设备103;存储设备101内的数据在存储设备102和存储设备103中各有一个备份,即便存储设备101出现故障,系统可以自动默认去存储设备102中读取存储数据;同理,存储设备102内的数据在存储设备101和存储设备103中各有一个备份,即便存储设备102出现故障,系统可以自动默认去存储设备103中读取存储数据,不会造成数据丢失,同时,由于形成的是自动数据备份循环,这样的数据备份功能又不会对存储资源造成过多的占用;第二存储层包括若干存储设备为存储设备201、存储设备202和存储设备203;另外,由于多个存储层内的存储设备之间的数据交互和备份机制,能够实现对数据的自动更新和备份存储,即便其中一个存储设备出现故障,仍然能够保证该存储设备内的数据始终保留有两份备份,实现对存储数据的永久存储,但又不会占用过多存储资源,适用于NAES架构下的不同的用户存储的安全级别要求;主控制器对用户需要存储的请求进行分析和筛选,并且给能够进行存储的数据建立存储日志,记录其存储的时间以及存储的数据的元数据,便于后期用户访问调取相应数据;存储监控器用于生成多个存储层的编码以及多个存储层内部若干存储设备的编码,并且将这些编码与数据的安全级别进行关联,当有需要存储的数据时,存储控制器就可以根据数据的安全级别要求对应将其存储入其中一个存储层的存储设备内,并且通过链接的形式保存存储路径,用于保存链接的区块链,具有加密保护作用,保证链接的存储安全。
[0023] 综上所述,本发明提供的分布式存储系统提高了系统的可靠性、可用性和存取效率,还易于扩展存储资源。
[0024] 本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。附图说明
[0025] 图1为本发明的一个实施例中所述分布式存储系统的结构示意图;
[0026] 图2为本发明的一个实施例中所述分布式存储系统的网络拓扑结构示意图;
[0027] 图3为本发明的另一个实施例中所述分布式存储系统的结构示意图。

具体实施方式

[0028] 下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
[0029] 应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不配出一个或多个其它元件或其组合的存在或添加。
[0030] 如图1和图2所示,本发明提供一种分布式存储系统,包括:
[0031] 多个存储层100,其用于对不同安全级别的数据进行分级存储,多个存储层根据所述安全级别由高到低进行顺序编号,其中,任一个存储层设置有若干存储设备并顺序编号,且所述若干存储设备根据其顺序编号进行相邻存储设备间的两两信息交互和两两数据备份,并进行实时数据检测和数据同步;
[0032] 主控制器200,其用于接收客户端向其发送的数据存储请求,并建立存储日志,所述存储日志中包含有存储数据的元数据;以及,
[0033] 存储监控器300,其用于根据主控制器请求存储入的数据的所述安全级别查找具有等同所述安全级别的存储层进行数据存储,并将存储路径以链接的形式返回并存储在存储监控器内的区块链内,所述链接内包含有存储层的编码和该存储层内存储设备编码,且所述链接以时间为轴与主控制器上建立的存储日志相关联;
[0034] 当用户通过客户端400向主控制器发出数据访问指令时,主控制器根据数据访问指令查找对应的所述存储日志,之后通过所述存储日志关联所述存储监控器内的所述链接,以调取存储在与所述链接对应的某一存储设备n内的存储数据,若该对应的存储设备n正常运转,则返回调取结果,若该对应的存储设备n出现故障,系统默认跳转至编号为n+1的存储设备上调取存储设备n的备份数据,以此类推。在本方案中,应用多个存储层对不同的安全级别要求的数据进行分层存储,便于数据的存储管理和存储资源的合理利用,比如:图2中,第一存储层包括若干存储设备为存储设备101、存储设备102和存储设备103;存储设备
101内的数据在存储设备102和存储设备103中各有一个备份,即便存储设备101出现故障,系统可以自动默认去存储设备102中读取存储数据;同理,存储设备102内的数据在存储设备101和存储设备103中各有一个备份,即便存储设备102出现故障,系统可以自动默认去存储设备103中读取存储数据,不会造成数据丢失,同时,由于形成的是自动数据备份循环,这样的数据备份功能又不会对存储资源造成过多的占用;第二存储层包括若干存储设备为存储设备201、存储设备202和存储设备203;另外,由于多个存储层内的存储设备之间的数据交互和备份机制,能够实现对数据的自动更新和备份存储,即便其中一个存储设备出现故障,仍然能够保证该存储设备内的数据始终保留有两份备份,实现对存储数据的永久存储,但又不会占用过多存储资源,适用于NAES架构下的不同的用户存储的安全级别要求;主控制器对用户需要存储的请求进行分析和筛选,并且给能够进行存储的数据建立存储日志,记录其存储的时间以及存储的数据的元数据,便于后期用户访问调取相应数据;存储监控器用于生成多个存储层的编码以及多个存储层内部若干存储设备的编码,并且将这些编码与数据的安全级别进行关联,当有需要存储的数据时,存储控制器就可以根据数据的安全级别要求对应将其存储入其中一个存储层的存储设备内,并且通过链接的形式保存存储路径,用于保存链接的区块链,具有加密保护作用,保证链接的存储安全。
[0035] 一个优选方案中,任一个存储层的若干存储设备中,编号最小的存储设备默认为序列编码器,比如存储设备101为第一存储层的序列编码器,其用于根据剩余若干存储设备的当前存储剩余空间生成当前存储序列,该存储层按照所述当前存储序列依次进行当前数据存储;若存储设备n故障持续超过指定时间时,比如:10min、20min或30min,则默认存储设备n退出所述当前存储序列,同时将存储设备n+1上的存储设备n的备份数据默认为存储设备n+1的更新数据,并将所述更新数据备份至与其存储设备编号相邻的存储设备n+2中,当前存储序列由总数m个变为m-1个,但若干存储设备编号保持不变。在本方案中,在每一存储层内还设置有一个序列编码器,其能够根据若干存储设备的当前存储序列,当需要进行数据存储时,存储路径首先经过序列编码器获得排在第一位的存储设备的编码,之后再将数据存储入该存储设备中,这样设置能够实现对当前存储资源进行合理利用,避免闲置;另外,当存储设备故障时,可以自动进行重新排序,保证数据存储工作顺利进行。一个优选方案中,若任一存储层的当前剩余总存储空间小于其原始最大存储空间的指定阈值时,比如:剩余15%、20%或30%;自动启动备用存储设备,比如:第一存储层的存储设备104或第二存储层的存储设备204,将下一时刻存储空间扩充至所述当前剩余总存储空间的冗余备份,比如:冗余备份为2~4倍原存储空间;并对被启动的备用存储设备在原有编号基础上顺序编号。在本方案中,只有当前剩余总存储空间小于一定值时才会启动备用存储设备,避免存储资源的闲置。
[0036] 一个优选方案中,退出当前存储序列的所述存储设备n恢复工作时,默认为备用存储设备,但其存储设备编号仍为n。在本方案中,当存储设备n退出当前存储序列时,其上面存储的数据会被更新至其原有相邻存储设备,因此,其内存储空间可以被清空后作为新的备用存储设备排列在原有备用存储设备名单中等待再次被启用,但是由于其原有网络拓扑关系,因此,当期再次被启动为存储设备时,其编号仍然不变,避免影响主控制器和存储监控器内的相应的存储日志和链接。
[0037] 一个优选方案中,主控制器还包括:验证模块,其用于验证当前接收到的待存储数据的合法性。
[0038] 一个优选方案中,主控制器还包括:指纹数据库,其用于预存储用户指纹;监控模块,其用于对所述数据访问指令中包含的用户指纹与所述指纹数据库中预存储的所述用户指纹进行匹配验证,若匹配结果为“1”,则返回调取数据结果;若匹配结果为“0”,则返回结果为“0”。在本方案中,通过指纹数据库对调取数据的用户进行身份验证,保证数据调取的安全性。
[0039] 一个优选方案中,所述若干存储设备各设置有一与其编号相同的备用子存储设备,当若干存储设备的存储空间剩余10%时,自动启动其子存储设备进行存储空间扩充,且启动的所述子存储设备的存储空间大小自动更新至所述序列编码器,用于更新所述当前存储序列。比如图2中,存储设备105为存储设备101的备用存储设备,其顺序编号可以设置为1,当存储设备101的存储空间剩余10%时,自动启动其子存储设备105进行存储空间扩充,但是,其设备编号仍然被标记为1。
[0040] 一个优选方案中,还包括:数据检测模块,用于定时检测对所述若干存储设备中的存储数据进行数据检测,比如:每隔5min、10min或15min对所述若干存储设备中的存储数据进行数据检测;将更新的数据进行记录;数据同步模块,根据所述数据检测模块的更新的数据记录,定时将数据更新同步至与其按顺序编号的相邻的两个存储设备上,比如:每隔6h、8h、10h或12h将数据更新同步至与其按顺序编号的相邻的两个存储设备上。
[0041] 一个优选方案中,数据同步模块每隔6小时将数据更新同步至与其按顺序编号的相邻的两个存储设备上。
[0042] 一个优选方案中,所述存储监控器还包括:层分配模块,用于对多个存储层进行顺序编号,并按由低到高的顺序设置所述安全级别;解析模块,其用于在存储待存储数据前,解析所述待存储数据,获取所述待存储数据的所述安全级别;以及层获取模块,用于获取所述安全级别并与相同所述安全级别的一个存储层的编号进行匹配。在本方案中,层分配模块、解析模块和层获取模块为数据存储提供技术支持,实现快速有序的数据依安全级别进行存储。
[0043] 尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈