首页 / 专利库 / 电脑零配件 / 固件 / 软件 / 高可靠高可用高性能融合型软件定义存储系统及方法

高可靠高可用高性能融合型软件定义存储系统及方法

阅读:300发布:2023-06-10

专利汇可以提供高可靠高可用高性能融合型软件定义存储系统及方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及 软件 定义存储技术领域,具体地说,涉及高可靠高可用高性能融合型软件定义存储系统及方法。其包括 访问 接口 层、软件定义储存层、存储适配层和存储资源池,访问接口层用于创建 数据处理 操作方法接口,软件定义储存层通过软件对底层存储资源进行虚拟后的 池化 和统一管理,存储适配层用于对数据进行类别归类,存储资源池用于统一存储管理数据资源。该高可靠高可用高性能融合型软件定义存储系统及方法中,采用存储虚拟化技术,将不同厂商不同型号的异构存储资源聚合形成一个共享的存储池,采用软件定义存储技术,实现快速的接入和统一管理,融合型高,且方便应用系统管理员对存储设备的配置和应用的集成,效率高。,下面是高可靠高可用高性能融合型软件定义存储系统及方法专利的具体信息内容。

1.高可靠高可用高性能融合型软件定义存储系统,包括访问接口层、软件定义储存层、存储适配层和存储资源池,其特征在于:所述访问接口层用于创建数据处理操作方法接口,所述软件定义储存层通过软件对底层存储资源进行虚拟后的池化和统一管理,所述存储适配层用于对数据进行类别归类,所述存储资源池用于统一存储管理数据资源。
2.根据权利要求1所述的高可靠高可用高性能融合型软件定义存储系统,其特征在于:
所述访问接口层包括管理接口模和数据接口模块,所述管理接口模块用于提供管理接口服务,所述数据接口模块用于提供外部数据接口。
3.根据权利要求2所述的高可靠高可用高性能融合型软件定义存储系统,其特征在于:
所述管理接口模块包括自服务户接口模块和管理门户接口模块,所述自服务门户接口模块用于接入自服务门户,所述管理门户接口用于接入管理门户。
4.根据权利要求2所述的高可靠高可用高性能融合型软件定义存储系统,其特征在于:
所述数据接口模块包括文件接口模块、块接口模块和对象接口模块,所述文件接口模块用于接入文件数据,所述块接口模块用于接入数据块,所述对象接口模块用于结束数据对象。
5.根据权利要求1所述的高可靠高可用高性能融合型软件定义存储系统,其特征在于:
所述软件定义储存层包括虚拟池化模块、策略配置模块和提升存储模块,所述虚拟池化模块采用虚拟化技术将数据池化,所述策略配置模块基于存储设备的性能、可扩展性、可靠性指标制定配置,所述提升存储模块通过软件定义的方式提升传统存储设备功能。
6.根据权利要求5所述的高可靠高可用高性能融合型软件定义存储系统,其特征在于:
所述提升存储模块包括数据带化模块、数据去重模块、数据镜像模块和压缩加密模块,所述数据带化模块用于对数据进行带化处理,所述数据去重模块用于去除重复数据,所述数据镜像模块用于对数据进行镜像处理,所述压缩加密模块用于对数据进行压缩加密处理。
7.根据权利要求1所述的高可靠高可用高性能融合型软件定义存储系统,其特征在于:
所述存储适配层包括数据分析模块、数据分类模块和数据导入模块,所述数据分析模块用于对数据的类型进行分析,所述数据分类模块用于根据数据类型对数据进行分类,所述数据导入模块用于将分类后的数据导入存储资源池内。
8.根据权利要求1所述的高可靠高可用高性能融合型软件定义存储系统,其特征在于:
所述存储资源池包括数据卷模块、日志卷模块和缓存模块,所述数据卷模块用于建立各类数据备份子目录,所述日志卷模块用于建立数据操作日志,所述缓存模块用于弥补系统中不同部件的不同速度产生的鸿沟。
9.根据权利要求8所述的高可靠高可用高性能融合型软件定义存储系统,其特征在于:
所述缓存模块包括扩展块地址映射模块、缓存页查找模块、缓存页置换模块,所述扩展块地址映射模块用于映射给给客户机服务器主机的虚拟卷扩展块编制,所述缓存页查找模块用于将主机请求相对应的卷相应块地址翻译成Ha逻辑地址,所述缓存页置换模块用于空闲链表的描述耗尽时,选择一个牺牲页。
10.高可靠高可用高性能融合型软件定义存储方法,包括权利要求1-9中任意一项所述的高可靠高可用高性能融合型软件定义存储系统,其操作步骤如下:
S1、数据接入:自服务门户、管理门户以及外部系统的通过管理接口模块接入,外部接口通过数据接口模块依协议转换的方式接入;
S2、软件定义储存:通过虚拟池化模块采用虚拟化技术将数据池化,通过策略配置模块基于存储设备的性能、可扩展性、可靠性指标制定配置,通过提升存储模块通过软件定义的方式提升传统存储设备功能;
S3、存储适配:通过数据分析模块对数据的类型进行分析,通过数据分类模块根据数据类型对数据进行分类,通过数据导入模块将分类后的数据导入存储资源池内;
S4、数据储存:通过数据卷模块建立各类数据备份子目录,通过日志卷模块建立数据操作日志,通过缓存模块弥补系统中不同部件的不同速度产生的鸿沟。

说明书全文

高可靠高可用高性能融合型软件定义存储系统及方法

技术领域

[0001] 本发明涉及软件定义存储技术领域,具体地说,涉及高可靠高可用高性能融合型软件定义存储系统及方法。

背景技术

[0002] 伴随着计算技术的广泛应用,互联网及物联网技术的不断快速发展,大数据时代信息数据量出现了爆发性增长的态势,传统架构下的存储系统已经难以满足不同行业的信息系统在兼容性、统一管理、扩展性、安全性、差异化服务等方面的需求。

发明内容

[0003] 本发明的目的在于提供高可靠高可用高性能融合型软件定义存储系统及方法,以解决上述背景技术中提出的某种或某些缺陷
[0004] 为实现上述目的,一方面,本发明提一种供高可靠高可用高性能融合型软件定义存储系统,包括访问接口层、软件定义储存层、存储适配层和存储资源池,所述访问接口层用于创建数据处理操作方法接口,所述软件定义储存层通过软件对底层存储资源进行虚拟后的池化和统一管理,所述存储适配层用于对数据进行类别归类,所述存储资源池用于统一存储管理数据资源。
[0005] 作为优选,所述访问接口层包括管理接口模和数据接口模块,所述管理接口模块用于提供管理接口服务,所述数据接口模块用于提供外部数据接口。
[0006] 作为优选,所述管理接口模块包括自服务户接口模块和管理门户接口模块,所述自服务门户接口模块用于接入自服务门户,所述管理门户接口用于接入管理门户。
[0007] 作为优选,所述数据接口模块包括文件接口模块、块接口模块和对象接口模块,所述文件接口模块用于接入文件数据,所述块接口模块用于接入数据块,所述对象接口模块用于结束数据对象。
[0008] 作为优选,所述软件定义储存层包括虚拟池化模块、策略配置模块和提升存储模块,所述虚拟池化模块采用虚拟化技术将数据池化,所述策略配置模块基于存储设备的性能、可扩展性、可靠性指标制定配置,所述提升存储模块通过软件定义的方式提升传统存储设备功能。
[0009] 作为优选,所述提升存储模块包括数据带化模块、数据去重模块、数据镜像模块和压缩加密模块,所述数据带化模块用于对数据进行带化处理,所述数据去重模块用于去除重复数据,所述数据镜像模块用于对数据进行镜像处理,所述压缩加密模块用于对数据进行压缩加密处理。
[0010] 作为优选,所述存储适配层包括数据分析模块、数据分类模块和数据导入模块,所述数据分析模块用于对数据的类型进行分析,所述数据分类模块用于根据数据类型对数据进行分类,所述数据导入模块用于将分类后的数据导入存储资源池内。
[0011] 作为优选,所述存储资源池包括数据卷模块、日志卷模块和缓存模块,所述数据卷模块用于建立各类数据备份子目录,所述日志卷模块用于建立数据操作日志,所述缓存模块用于弥补系统中不同部件的不同速度产生的鸿沟。
[0012] 作为优选,所述缓存模块包括扩展块地址映射模块、缓存页查找模块、缓存页置换模块,所述扩展块地址映射模块用于映射给给客户机服务器主机的虚拟卷扩展块编制,所述缓存页查找模块用于将主机请求相对应的卷相应块地址翻译成Ha逻辑地址,所述缓存页置换模块用于空闲链表的描述耗尽时,选择一个牺牲页。
[0013] 另一方面,本发明还提供一种高可靠高可用高性能融合型软件定义存储方法,包括上述中任意一项所述的高可靠高可用高性能融合型软件定义存储系统,其操作步骤如下:
[0014] S1、数据接入:自服务门户、管理门户以及外部系统的通过管理接口模块接入,外部接口通过数据接口模块依协议转换的方式接入;
[0015] S2、软件定义储存:通过虚拟池化模块采用虚拟化技术将数据池化,通过策略配置模块基于存储设备的性能、可扩展性、可靠性指标制定配置,通过提升存储模块通过软件定义的方式提升传统存储设备功能;
[0016] S3、存储适配:通过数据分析模块对数据的类型进行分析,通过数据分类模块根据数据类型对数据进行分类,通过数据导入模块将分类后的数据导入存储资源池内;
[0017] S4、数据储存:通过数据卷模块建立各类数据备份子目录,通过日志卷模块建立数据操作日志,通过缓存模块弥补系统中不同部件的不同速度产生的鸿沟。
[0018] 与现有技术相比,本发明的有益效果:
[0019] 1、该高可靠高可用高性能融合型软件定义存储系统及方法中,采用存储虚拟化技术,通过软件剥离和功能整合的方式将不同厂商不同型号的异构存储资源聚合形成一个共享的存储池,存储池包含的所有存储设备的存储容量可以充分的被外部应用灵活配置使用,可靠性高。
[0020] 2、该高可靠高可用高性能融合型软件定义存储系统及方法中,采用软件定义存储技术,对异构存储设备的整合,不同类型的存储系统以及不同厂商的存储设备可以实现快速的接入和统一管理,融合型高。
[0021] 3、该高可靠高可用高性能融合型软件定义存储系统及方法中,采用软件定义存储技术,满足应用程序和客户所需要的存储资源,方便应用系统管理员对存储设备的配置和应用的集成,效率高。附图说明
[0022] 图1为本发明的整体结构框图
[0023] 图2为本发明的访问接口层模块示意图;
[0024] 图3为本发明的管理接口模块示意图;
[0025] 图4为本发明的门户接口模块示意图;
[0026] 图5为本发明的数据接口模块示意图;
[0027] 图6为本发明的软件定义储存层模块示意图;
[0028] 图7为本发明的提升存储模块示意图;
[0029] 图8为本发明的存储适配层模块示意图;
[0030] 图9为本发明的存储资源池模块示意图;
[0031] 图10为本发明的缓存模块示意图。

具体实施方式

[0032] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0033] 实施例1
[0034] 本发明提供高可靠高可用高性能融合型软件定义存储系统,如图1-图5所示,包括访问接口层、软件定义储存层、存储适配层和存储资源池,访问接口层用于创建数据处理操作方法接口,软件定义储存层通过软件对底层存储资源进行虚拟后的池化和统一管理,存储适配层用于对数据进行类别归类,存储资源池用于统一存储管理数据资源。
[0035] 本实施例中,访问接口层包括管理接口模块和数据接口模块,管理接口模块用于提供管理接口服务,数据接口模块用于提供外部数据接口,管理接口主要提供与自服务门户、管理门户以及外部系统的管理接口服务;数据接口则通过协议转换的方式,为外部应用提供丰富的数据接口,管理接口模块包括自服务门户接口模块和管理门户接口模块,自服务门户接口模块用于接入自服务门户,管理门户接口用于接入管理门户,数据接口模块包括文件接口模块、块接口模块和对象接口模块,文件接口模块用于接入文件数据,块接口模块用于接入数据块,对象接口模块用于结束数据对象。
[0036] 进一步的,文件接口模块用于文件存储,采用NAS架构,扩展性好,易与管理,价格低。
[0037] 具体的,块接口模块采用SAN架构,提供高性能的IO和数据吞吐率。
[0038] 此外,一个动态的元数据服务器集群管理和创建文件系统,可以通过Ceph的Client端的1inux驱动或者FUSE提供POSI X的文件访问。
[0039] 除此之外,Object Store:可以通过librados库直接访问对象存储。
[0040] 实施例2
[0041] 请参阅图6和图7所示,软件定义储存层包括虚拟池化模块、策略配置模块和提升存储模块,虚拟池化模块采用虚拟化技术将数据池化,策略配置模块基于存储设备的性能、可扩展性、可靠性指标制定配置,提升存储模块通过软件定义的方式提升传统存储设备功能。
[0042] 本实施例中,提升存储模块包括数据带化模块、数据去重模块、数据镜像模块和压缩加密模块,数据带化模块用于对数据进行带化处理,数据去重模块用于去除重复数据,数据镜像模块用于对数据进行镜像处理,压缩加密模块用于对数据进行压缩加密处理。
[0043] 进一步的,数据带化模块基于RAID技术实现,RAID是无数据冗余的存储空间条带化,具有低成本、极高读写性能、高存储空间利用率等特性,适应于Video/Audio信号存储、临时文件的转储等对速度要求极其严格的特殊应用,但由于没有数据冗余、其安全性大大降低。
[0044] 具体的,数据去重模采用32位的滚动校验进行弱校验的相关计算,至于强校验则需采用128位的MD5算法,Rsync算法作为弱校验算法使用Adler-32校验算法,公式如下:
[0045] a(k,l)=(∑Xi)mod M
[0046] b(k,l)=(∑(1-i+1)Xi)mod M
[0047] s(k,l)=a(k,l)+216b(k,l)
[0048] 以上公式中s(k,l)指的是字节的滚动校验和,通常为了能够较为方便地得出计算结果,将M取值216。此校验和算法较好地体现了数据的传递性和连续性,因此计算连续值相当快速简洁,是最重要的优点所在。
[0049] a(k+1,l+1)=(a(k,l)-Xk+Xl+1))mod M
[0050] b(k+1,l+1)=(b(kl)-(l-k+1)Xk+a(k+1,l+1))mod M
[0051] s(k+1,l+1)=a(k+1,l+1)+216b(k+1,l+1)
[0052] 按照以上算法,就能够从文件的最初始位置对计算量进行精简,有效的减少计算的冗长,用最简洁的方式对校验长度为D的数据块的滚动校验和进行计算。
[0053] 此外,镜像分发时的文件传输总量直接影响镜像分发的耗时,为了使得镜像的传输总量尽可能小,需要找到一个最佳映射,使得镜像的本地存储总量达到最大,所以优化目标如式:
[0054]
[0055] 值得说明的是,压缩加密模块采用LZSS算法,采用块移动技术查找差异和匹配,其中字符串解析所使用到字符串匹配算法采用KMP算法,然后使用滑动窗口压缩算法压缩差异数据块移动技术能够解决字符串匹配问题,即找到最小的操作集合,将字符串S转换为字符串T,具体为如下:
[0056] 设定字符串S=S[0,......n],T=T[0,......m],(n≥0,m≥),一个块移动就是一个三元组(p,q,1),满足关系:
[0057] S[p...p+1-1]=T[q...q+1-1](0≤p≤n-1+1,0≤q≤m-1+1,1>0)[0058] 实施例3
[0059] 请参阅图8所示,存储适配层包括数据分析模块、数据分类模块和数据导入模块,数据分析模块用于对数据的类型进行分析,数据分类模块用于根据数据类型对数据进行分类,数据导入模块用于将分类后的数据导入存储资源池内。
[0060] 本实施例中,数据分析模块基于人工神经元的数学模型算法设计,其公式如下:
[0061]
[0062] 其中,wi是表示神经元对信息xi,称为关联权,f(z)称为输出函数或激活函数,其中,sgn(.)为符号函数。
[0063] 进一步的,数据分类模块基于决策树方法实现,决策树学习是一种典型的以实例为基础的归纳学习算法,它着眼于从一组无次序、无规则的事例中推理出决策树表示形式的分类规则。它采用自顶向下的递归方式,在决策树的内部节点进行属性的比较,并根据不同属性判断从该节点向下的分支,在决策树的叶节点得到结论。所以从根到叶节点就对应着一条合取规则,整棵树就对应着一组析取表达式规则。把决策树当成一个布尔函数。函数的输入为物体或情况的一切属性,输出为”是”或“否”的决策值。在决策树中,每个树枝节点对应着一个有关某项属性的测试,每个树叶节点对应着一个布尔函数值,树中的每个分支,代表测试属性其中一个可能的值。
[0064] 实施例4
[0065] 请参阅图9和图10所示,存储资源池包括数据卷模块、日志卷模块和缓存模块,数据卷模块用于建立各类数据备份子目录,日志卷模块用于建立数据操作日志,缓存模块用于弥补系统中不同部件的不同速度产生的鸿沟。
[0066] 缓存模块包括扩展块地址映射模块、缓存页查找模块、缓存页置换模块,扩展块地址映射模块用于映射给给客户机服务器主机的虚拟卷扩展块编制,缓存页查找模块用于将主机请求相对应的卷相应块地址翻译成Ha逻辑地址,缓存页置换模块用于空闲链表的描述耗尽时,选择一个牺牲页。
[0067] 本实施例中,缓存模块基于RAID50的存储系统虚拟化引擎除了实现虚拟卷地址到实际物理磁盘地址两级映射外,还实现了高效的高速缓存(Cache)管理策略。在RAID50系统中的高速缓存是系统的部分内存(RAM),它免除了磁盘频繁的寻道和旋转延迟,并且在写回策略时提高了系统的并行处理能,进一步提高主机I/O性能。
[0068] 进一步的,扩展块地址映射模块映射给客户服务器主机的虚拟卷按扩展块编址,即按高速缓存页大小编址,来自客户服务器主机的I/O命令以的形式访问虚拟卷,其中Iba是请求数据的起始地址,op是操作类型(如读操作或写操作等),blknumber是读/写请求的数据块数。Lba地址按Cache页被转换成扩展块地址,blk_number被转换成Cache页数(扩展块数)。即转化为的形式。虚拟化引擎由此可以计算出主机传输事务在RAID50虚拟卷的起始和结束扩展块号以及请求的LBA在起始扩展块内的字节偏移。对于一个不够完整的Cache页数据传输,或者Lba起始地址或最后一块Lba地址可能位于Cache页中间,都得预取一个完整的Cache页,并加上Cache页内偏移。
[0069] 具体的,缓存页查找模块基于Cache算法,其算法如下:
[0070]
[0071] 其中Ti代表i次I/O的时间,NIO代表I/3的次数,平均响应时间Tavg。
[0072] 另一方面,本发明还提供一种高可靠高可用高性能融合型软件定义存储方法,包括上述中任意一项的高可靠高可用高性能融合型软件定义存储系统,其操作步骤如下:
[0073] S1、数据接入:自服务门户、管理门户以及外部系统的通过管理接口模块接入,外部接口通过数据接口模块依协议转换的方式接入;
[0074] S2、软件定义储存:通过虚拟池化模块采用虚拟化技术将数据池化,通过策略配置模块基于存储设备的性能、可扩展性、可靠性指标制定配置,通过提升存储模块通过软件定义的方式提升传统存储设备功能;
[0075] S3、存储适配:通过数据分析模块对数据的类型进行分析,通过数据分类模块根据数据类型对数据进行分类,通过数据导入模块将分类后的数据导入存储资源池内;
[0076] S4、数据储存:通过数据卷模块建立各类数据备份子目录,通过日志卷模块建立数据操作日志,通过缓存模块弥补系统中不同部件的不同速度产生的鸿沟。
[0077] 以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的仅为本发明的优选例,并不用来限制本发明,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈