首页 / 专利库 / 电脑编程 / 算法 / 数据存储方法、电子设备、系统及介质

数据存储方法、电子设备、系统及介质

阅读:797发布:2023-12-20

专利汇可以提供数据存储方法、电子设备、系统及介质专利检索,专利查询,专利分析的服务。并且本 发明 提供了一种数据存储方法、 电子 设备、系统及介质。该方法能够确定机房中的 服务器 及 硬件 设备,并从所述服务器中确定目标服务器,将所述待存储数据保存至所述目标服务器挂载的存储设备,由于服务器的性能较佳,不易出现问题,保证了数据存储的可靠性,再从所述硬件设备中确定预设数量的目标硬件设备,其中,至少有一个目标硬件设备与所述目标服务器分别部署于不同的机房,进一步控制所述目标服务器备份所述待存储数据至所述目标硬件设备挂载的存储设备,从而能够结合服务器及硬件设备对数据在不同机房进行多点部署,进一步提升了数据的可靠性,且由于减少了服务器的使用,还有效降低了数据存储的成本。,下面是数据存储方法、电子设备、系统及介质专利的具体信息内容。

1.一种数据存储方法,其特征在于,所述方法包括:
当检测到待存储数据时,确定机房中的服务器硬件设备;
从所述服务器中确定目标服务器;
将所述待存储数据保存至所述目标服务器挂载的存储设备;
从所述硬件设备中确定预设数量的目标硬件设备,其中,至少有一个目标硬件设备与所述目标服务器分别部署于不同的机房;
控制所述目标服务器备份所述待存储数据至所述目标硬件设备挂载的存储设备。
2.如权利要求1所述的数据存储方法,其特征在于,所述机房中的硬件设备的数量大于服务器的数量;
其中,每个服务器挂载多个存储设备,每个硬件设备挂载多个存储设备。
3.如权利要求1所述的数据存储方法,其特征在于,所述从所述服务器中确定目标服务器包括:
从所述服务器中获取空闲服务器;
确定所述空闲服务器中每个空闲服务器的剩余硬盘空间;
将所述剩余硬盘空间最大的空闲服务器确定为所述目标服务器。
4.如权利要求1所述的数据存储方法,其特征在于,所述将所述待存储数据保存至所述目标服务器挂载的存储设备包括:
采用对称加密算法加密所述待存储数据;
将加密后的待存储数据保存至所述目标服务器挂载的存储设备。
5.如权利要求1所述的数据存储方法,其特征在于,所述方法还包括:
当检测到有第一文件丢失时,确定发生文件丢失的第一硬件设备;
确定与所述第一硬件设备连接的第一服务器;
根据所述第一服务器挂载的存储设备上所存储的文件修复所述第一文件。
6.如权利要求1所述的数据存储方法,其特征在于,所述方法还包括:
当检测到有第二硬件设备损坏时,确定与所述第二硬件设备连接的第二服务器;
获取所述第二硬件设备上存储的所有文件的文件标识;
根据所述文件标识,从所述第二服务器挂载的存储设备上匹配相应的文件;
从所述硬件设备中确定第三硬件设备;
控制所述第二服务器备份匹配的文件至所述第三硬件设备挂载的存储设备。
7.一种电子设备,其特征在于,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现如权利要求1至6中任意一项所述的数据存储方法。
8.根据权利要求7所述的电子设备,其特征在于,所述电子设备为组成内容分发网络或者链网络的节点
9.一种数据存储系统,其特征在于,所述系统包括:
确定单元,用于当检测到待存储数据时,确定机房中的服务器及硬件设备;
所述确定单元,还用于从所述服务器中确定目标服务器;
保存单元,用于将所述待存储数据保存至所述目标服务器挂载的存储设备;
所述确定单元,还用于从所述硬件设备中确定预设数量的目标硬件设备,其中,至少有一个目标硬件设备与所述目标服务器分别部署于不同的机房;
控制单元,用于控制所述目标服务器备份所述待存储数据至所述目标硬件设备挂载的存储设备。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据存储程序,所述数据存储程序可被一个或者多个处理器执行,以实现如权利要求1至6中任一项所述的数据存储方法。

说明书全文

数据存储方法、电子设备、系统及介质

技术领域

[0001] 本发明涉及数据处理技术领域,尤其涉及数据存储方法、电子设备、系统及介质。

背景技术

[0002] 随着移动互联网的发展,直播视频及短视频的内容呈现出指数级的增长,需要存储的数据量也越来越大。
[0003] 对于集中式的存储方案来说,服务器的价格是非常高昂的,且每台服务器能挂载的硬盘有限,因此,单独以服务器挂载硬盘进行数据存储,不仅成本过高,且能够存储的数据量也有限。

发明内容

[0004] 本发明的主要目的在于提供数据存储方法、电子设备、系统及介质,能够结合服务器及硬件设备对数据在不同机房进行多点部署,提升了数据的可靠性,且降低了存储成本。
[0005] 为实现上述目的,本发明提供一种数据存储方法,所述方法包括:
[0006] 当检测到待存储数据时,确定机房中的服务器及硬件设备;
[0007] 从所述服务器中确定目标服务器;
[0008] 将所述待存储数据保存至所述目标服务器挂载的存储设备;
[0009] 从所述硬件设备中确定预设数量的目标硬件设备,其中,至少有一个目标硬件设备与所述目标服务器分别部署于不同的机房;
[0010] 控制所述目标服务器备份所述待存储数据至所述目标硬件设备挂载的存储设备。
[0011] 优选地,所述机房中的硬件设备的数量大于服务器的数量;
[0012] 其中,每个服务器挂载多个存储设备,每个硬件设备挂载多个存储设备。
[0013] 优选地,所述从所述服务器中确定目标服务器包括:
[0014] 从所述服务器中获取空闲服务器;
[0015] 确定所述空闲服务器中每个空闲服务器的剩余硬盘空间;
[0016] 将所述剩余硬盘空间最大的空闲服务器确定为所述目标服务器。
[0017] 优选地,所述将所述待存储数据保存至所述目标服务器挂载的存储设备包括:
[0018] 采用对称加密算法加密所述待存储数据;
[0019] 将加密后的待存储数据保存至所述目标服务器挂载的存储设备。
[0020] 优选地,所述方法还包括:
[0021] 当检测到有第一文件丢失时,确定发生文件丢失的第一硬件设备;
[0022] 确定与所述第一硬件设备连接的第一服务器;
[0023] 根据所述第一服务器挂载的存储设备上所存储的文件修复所述第一文件。
[0024] 优选地,所述方法还包括:
[0025] 当检测到有第二硬件设备损坏时,确定与所述第二硬件设备连接的第二服务器;
[0026] 获取所述第二硬件设备上存储的所有文件的文件标识;
[0027] 根据所述文件标识,从所述第二服务器挂载的存储设备上匹配相应的文件;
[0028] 从所述硬件设备中确定第三硬件设备;
[0029] 控制所述第二服务器备份匹配的文件至所述第三硬件设备挂载的存储设备。
[0030] 为实现上述目的,本发明进一步提供一种电子设备,所述电子设备包括:
[0031] 存储器,存储至少一个指令;及
[0032] 处理器,执行所述存储器中存储的指令以实现所述数据存储方法。
[0033] 优选地,所述电子设备为组成内容分发网络或者链网络的节点
[0034] 为实现上述目的,本发明进一步提供一种数据存储系统,所述系统包括:
[0035] 确定单元,用于当检测到待存储数据时,确定机房中的服务器及硬件设备;
[0036] 所述确定单元,还用于从所述服务器中确定目标服务器;
[0037] 保存单元,用于将所述待存储数据保存至所述目标服务器挂载的存储设备;
[0038] 所述确定单元,还用于从所述硬件设备中确定预设数量的目标硬件设备,其中,至少有一个目标硬件设备与所述目标服务器分别部署于不同的机房;
[0039] 控制单元,用于控制所述目标服务器备份所述待存储数据至所述目标硬件设备挂载的存储设备。
[0040] 优选地,所述机房中的硬件设备的数量大于服务器的数量;
[0041] 其中,每个服务器挂载多个存储设备,每个硬件设备挂载多个存储设备。
[0042] 优选地,所述确定单元从所述服务器中确定目标服务器包括:
[0043] 从所述服务器中获取空闲服务器;
[0044] 确定所述空闲服务器中每个空闲服务器的剩余硬盘空间;
[0045] 将所述剩余硬盘空间最大的空闲服务器确定为所述目标服务器。
[0046] 优选地,所述保存单元具体用于:
[0047] 采用对称加密算法加密所述待存储数据;
[0048] 将加密后的待存储数据保存至所述目标服务器挂载的存储设备。
[0049] 优选地,所述确定单元,还用于当检测到有第一文件丢失时,确定发生文件丢失的第一硬件设备;
[0050] 所述确定单元,还用于确定与所述第一硬件设备连接的第一服务器;
[0051] 所述系统还包括:
[0052] 修复单元,用于根据所述第一服务器挂载的存储设备上所存储的文件修复所述第一文件。
[0053] 优选地,所述确定单元,还用于当检测到有第二硬件设备损坏时,确定与所述第二硬件设备连接的第二服务器;
[0054] 所述系统还包括:
[0055] 获取单元,用于获取所述第二硬件设备上存储的所有文件的文件标识;
[0056] 匹配单元,用于根据所述文件标识,从所述第二服务器挂载的存储设备上匹配相应的文件;
[0057] 所述确定单元,还用于从所述硬件设备中确定第三硬件设备;
[0058] 所述控制单元,还用于控制所述第二服务器备份匹配的文件至所述第三硬件设备挂载的存储设备。
[0059] 综上所述,本发明能够当检测到待存储数据时,确定机房中的服务器及硬件设备,并从所述服务器中确定目标服务器,进一步将所述待存储数据保存至所述目标服务器挂载的存储设备,由于服务器的性能较佳,不易出现问题,因此保证了数据存储的可靠性,再从所述硬件设备中确定预设数量的目标硬件设备,其中,至少有一个目标硬件设备与所述目标服务器分别部署于不同的机房,进一步控制所述目标服务器备份所述待存储数据至所述目标硬件设备挂载的存储设备,以便在一个机房出现问题时,其他机房还能够正常工作,数据的读取不会受到影响,也就不会影响相应任务的执行,从而能够结合服务器及硬件设备对数据在不同机房进行多点部署,进一步提升了数据的可靠性,且由于减少了服务器的使用,还有效降低了数据存储的成本。附图说明
[0060] 图1为本发明一实施例的流程示意图;
[0061] 图2为本发明一实施例揭露的电子设备的内部结构示意图;
[0062] 图3为本发明数据存储系统的功能模块示意图;
[0063] 主要元件符号说明
[0064]电子设备 1
存储器 12
处理器 13
数据存储系统 11
获取单元 110
确定单元 111
保存单元 112
控制单元 113
修复单元 114
匹配单元 115

具体实施方式

[0065] 为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0066] 本申请说明书权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0067] 需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。
[0068] 本发明提供一种数据存储方法。
[0069] 参照图1,为本发明一实施例的流程示意图。根据不同的需求,该流程示意图中步骤的顺序可以改变,某些步骤可以省略。
[0070] 所述数据存储方法应用于一个或者多个电子设备中,所述电子设备是一种能够按照事先设定或存储的指令,自动进行数值计算和/或信息处理的设备,所述电子设备的硬件设备包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程阵列(Field-Programmable Gate Array,FPGA)、数字处理器(Digital Signal Processor,DSP)、嵌入式设备等。
[0071] 所述电子设备可以是任何一种可与用户进行人机交互的电子产品,例如,个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)、游戏机、交互式网络电视(Internet Protocol Television,IPTV)、智能式穿戴式设备等。
[0072] 所述电子设备还可以包括网络设备和/或用户设备。其中,所述网络设备包括,但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络服务器构成的云。
[0073] 所述电子设备所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network,VPN)等。
[0074] 在一实施例中,该方法包括:
[0075] S11,当检测到待存储数据时,确定机房中的服务器及硬件设备。
[0076] 在本发明的至少一个实施例中,所述待存储数据可以是任意类型的数据,如:视频数据、音频数据等。
[0077] 在本发明的至少一个实施例中,所述电子设备搭建机房,包括:
[0078] 所述电子设备获取第一数量的地域,并获取每个地域对应的至少一个IP(Internet Protocol Address,互联网协议地址)地址段,所述电子设备以每个地域的IP地址段为基础搭建第一数量的机房。
[0079] 在本发明的至少一个实施例中,在搭建的每个机房中,不同的服务器对应不同的IP地址,不同的硬件设备也对应不同的IP地址。并且,在一个机房中,该机房所包括的服务器及硬件设备的IP地址均属于该机房对应的IP地址段。
[0080] 具体地,所述电子设备可以根据实际需求确定所搭建的机房的数量,以便节约成本。
[0081] 通常情况下,可以搭建两个机房,在保证数据正常存储的同时,也避免了资源的浪费。
[0082] 在本发明的至少一个实施例中,所述机房中的硬件设备的数量大于服务器的数量。
[0083] 其中,所述硬件设备是指智能硬件,能够具备连接的能,实现互联网服务的加载。
[0084] 可以理解的是,每台服务器的价格是非常昂贵的,而每台硬件设备的价格相对来说则较低,要连接存储设备进行数据的存储,不需要特别高的硬件配置,采用硬件设备代替服务器执行数据存储可以达到相同的效果,因此,为每个机房配置少量的服务器及大量的硬件设备,能够在达到相同存储效果的同时,降低存储成本。
[0085] 在本发明的至少一个实施例中,每个服务器可以挂载多个存储设备,每个硬件设备可以挂载多个存储设备。
[0086] 例如:每个服务器可以连接12个存储设备,而每个硬件设备可以连接2-8个存储设备。
[0087] 其中,所述存储设备可以包括,但不限于:移动硬盘、U盘(USB flash disk,USB闪存盘)等。
[0088] 在本发明的至少一个实施例中,所述服务器可以通过USB(Universal Serial Bus,通用串行总线)接口连接所述存储设备,所述硬件设备同样可以通过USB(Universal Serial Bus,通用串行总线)接口连接所述存储设备,本发明不限制。
[0089] S12,从所述服务器中确定目标服务器。
[0090] 在本发明的至少一个实施例中,所述电子设备从所述服务器中确定目标服务器包括:
[0091] 所述电子设备从所述服务器中获取空闲服务器,并确定所述空闲服务器中每个空闲服务器的剩余硬盘空间,所述电子设备将所述剩余硬盘空间最大的空闲服务器确定为所述目标服务器。
[0092] 具体地,所述空闲服务器是指没有同时执行多个数据存储任务的服务器,所述空闲服务器的存储性能较佳。
[0093] 通过上述实施方式,所述电子设备将所述剩余硬盘空间最大的空闲服务器确定为所述目标服务器,进一步保证了数据存储的性能,另外,优先选择了剩余硬盘空间最大的服务器执行数据存储,也有效均衡了每台服务器的存储空间。
[0094] S13,将所述待存储数据保存至所述目标服务器挂载的存储设备。
[0095] 在本发明的至少一个实施例中,所述电子设备将所述待存储数据保存至所述目标服务器挂载的存储设备包括:
[0096] 所述电子设备采用对称加密算法加密所述待存储数据,并将加密后的待存储数据保存至所述目标服务器挂载的存储设备。
[0097] 具体地,所述对称加密算法可以包括,但不限于:DES(Data  Encryption Standard,数据加密标准)加密算法、AES(Advanced Encryption Standard,高级加密标准)加密算法等。
[0098] 通过上述实施方式,在将所述待存储数据保存至所述目标服务器挂载的存储设备时,不止进行单纯的数据存储,还对数据进行了加密,提升了数据的安全性。
[0099] S14,从所述硬件设备中确定预设数量的目标硬件设备。
[0100] 在本发明的至少一个实施例中,至少有一个目标硬件设备与所述目标服务器分别部署于不同的机房。
[0101] 通过将硬件设备与服务器部署于不同的机房,能够保证在一个机房出现故障而不能使用时,另一个机房仍然可以正常提供服务,不影响数据的正常读取。
[0102] 在本发明的至少一个实施例中,所述电子设备从所述硬件设备中确定预设数量的目标硬件设备包括:
[0103] 所述电子设备确定所述硬件设备中每个硬件设备所属的机房,进一步确定所述目标服务器所属的第一机房,所述电子设备确定所述第一机房中的空闲硬件设备,并对确定的空闲硬件设备的剩余硬盘空间按照由大到小进行排序,所述电子设备将排在第一预设位之前的所有空闲硬件设备确定为第一空闲硬件设备。
[0104] 同时,所述电子设备确定与所述第一机房不同的第二机房,进一步确定所述第二机房中的空闲硬件设备,并对确定的空闲硬件设备的剩余硬盘空间按照由大到小进行排序,所述电子设备将排在第二预设位之前的所有空闲硬件设备确定为第二空闲硬件设备。
[0105] 进一步地,所述电子设备将所述第一硬件空闲设备及所述第二空闲硬件设备确定为所述目标硬件设备。
[0106] 其中,所述第一空闲硬件设备及所述第二空闲硬件设备的数量之和为所述预设数量。
[0107] 需要说明的是,根据实际存储时的需求,以及每个存储任务的成本要求,可以自定义配置所述预设数量,以便在保证数据存储可靠性的同时,还能降低存储成本。
[0108] 例如:所述电子设备可以配置所述预设数量为2、3等,本发明在此不作限制。
[0109] S15,控制所述目标服务器备份所述待存储数据至所述目标硬件设备挂载的存储设备。
[0110] 例如:所述电子设备确定了2台硬件设备,分别为硬件设备A及硬件设备B,所述电子设备控制目标服务器X备份所述待存储数据至所述硬件设备A挂载的存储设备及所述硬件设备B挂载的存储设备。
[0111] 另外,由于至少要有一个目标硬件设备与所述目标服务器部署于不同的机房,因此,所述硬件设备A及所述硬件设备B都可以与所述目标服务器X处于不同的机房,所述硬件设备A及所述硬件设备B之中也可以只有一个与所述目标服务器X处于不同的机房,另一个则与所述目标服务器X处于相同的机房。
[0112] 通过上述实施方式,能够将所述待存储数据分别存储至所述目标服务器及所述预设数量的目标硬件设备,由于硬件设备的成本较低,因此在保证了数据正常存储的同时,也有效降低了存储成本,另外,由于服务器的性能较稳定,结合服务器进行存储,能够保证数据存储的可靠性,同时,通过将数据存储于不同的机房下,那么在一个机房出现问题时,其他机房还能够正常工作,数据的读取不会受到影响,也就不会影响相应任务的执行,提升了所存储数据的可用性。
[0113] 在本发明的至少一个实施例中,所述方法还包括:
[0114] 当检测到有第一文件丢失时,所述电子设备确定发生文件丢失的第一硬件设备,进一步地,所述电子设备确定与所述第一硬件设备连接的第一服务器,所述电子设备根据所述第一服务器挂载的存储设备上所存储的文件修复所述第一文件。
[0115] 通过上述实施方式,由于所述第一文件在所述第一服务器上进行了同样的存储,因此,即便是发生数据丢失,所述电子设备也可以根据其他备份文件进行修复。
[0116] 在本发明的至少一个实施例中,所述方法还包括:
[0117] 当检测到有第二硬件设备损坏时,所述电子设备确定与所述第二硬件设备连接的第二服务器,进一步地,所述电子设备获取所述第二硬件设备上存储的所有文件的文件标识,并根据所述文件标识,从所述第二服务器挂载的存储设备上匹配相应的文件,所述电子设备从所述硬件设备中确定第三硬件设备,进一步控制所述第二服务器备份匹配的文件至所述第三硬件设备挂载的存储设备。
[0118] 其中,所述电子设备从所述硬件设备中确定所述第三硬件设备的方式与所述电子设备从所述服务器中确定所述目标服务器的方法类似,本案在此不赘述。
[0119] 通过上述实施方式,能够在确定有硬件设备损坏时,重新备份损坏的硬件设备上的数据至其他性能较佳且可用的硬件设备上,进一步保证了数据的可靠性。
[0120] 综上所述,本发明能够当检测到待存储数据时,确定机房中的服务器及硬件设备,并从所述服务器中确定目标服务器,进一步将所述待存储数据保存至所述目标服务器挂载的存储设备,由于服务器的性能较佳,不易出现问题,因此保证了数据存储的可靠性,再从所述硬件设备中确定预设数量的目标硬件设备,其中,至少有一个目标硬件设备与所述目标服务器分别部署于不同的机房,进一步控制所述目标服务器备份所述待存储数据至所述目标硬件设备挂载的存储设备,以便在一个机房出现问题时,其他机房还能够正常工作,数据的读取不会受到影响,也就不会影响相应任务的执行,从而能够结合服务器及硬件设备对数据在不同机房进行多点部署,进一步提升了数据的可靠性,且由于减少了服务器的使用,还有效降低了数据存储的成本。
[0121] 参见图2,在本实施例中,所述电子设备1可以是组成内容分发网络或者区块链网络的节点。
[0122] 所述电子设备1可以包括存储器12、处理器13和总线,还可以包括存储在所述存储器12中并可在所述处理器13上运行的计算机程序,例如数据存储程序。
[0123] 本领域技术人员可以理解,所述示意图仅仅是电子设备1的示例,并不构成对电子设备1的限定,所述电子设备1既可以是总线型结构,也可以是星形结构,所述电子设备1还可以包括比图示更多或更少的其他硬件或者软件,或者不同的部件布置,例如所述电子设备1还可以包括输入输出设备、网络接入设备等。
[0124] 需要说明的是,所述电子设备1仅为举例,其他现有的或今后可能出现的电子产品如可适应于本发明,也应包含在本发明的保护范围以内,并以引用方式包含于此。
[0125] 其中,存储器12至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器12在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。存储器12在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器12还可以既包括电子设备1的内部存储单元也包括外部存储设备。存储器12不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如数据存储程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
[0126] 处理器13在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器13是所述电子设备1的控制核心(Control Unit),利用各种接口和线路连接整个电子设备1的各个部件,通过运行或执行存储在所述存储器12内的程序或者模块(例如执行数据存储程序等),以及调用存储在所述存储器12内的数据,以执行电子设备1的各种功能和处理数据。
[0127] 所述处理器13执行所述电子设备1的操作系统以及安装的各类应用程序。所述处理器13执行所述应用程序以实现上述各个数据存储方法实施例中的步骤,例如图1所示的步骤S11、S12、S13、S14、S15。
[0128] 或者,所述处理器13执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如:当检测到待存储数据时,确定机房中的服务器及硬件设备;从所述服务器中确定目标服务器;将所述待存储数据保存至所述目标服务器挂载的存储设备;从所述硬件设备中确定预设数量的目标硬件设备,其中,至少有一个目标硬件设备与所述目标服务器分别部署于不同的机房;控制所述目标服务器备份所述待存储数据至所述目标硬件设备挂载的存储设备。
[0129] 示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器12中,并由所述处理器13执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述电子设备1中的执行过程。例如,所述计算机程序可以被分割成获取单元110、确定单元111、保存单元112、控制单元113、修复单元114以及匹配单元115。
[0130] 总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线数据总线、控制总线等。为便于表示,图2中仅用一根箭头表示,但并不表示仅有一根总线或一种类型的总线。所述总线被设置为实现所述存储器12以及所述至少一个处理器13等之间的连接通信。
[0131] 尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选的,电源可以通过电源管理装置与至少一个处理器13逻辑相连,从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
[0132] 进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。
[0133] 可选地,该电子设备1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化用户界面
[0134] 应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
[0135] 上述以软件功能模块的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,计算机设备,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分。
[0136] 所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指示相关的硬件设备来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。
[0137] 其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
[0138] 图2仅示出了具有组件12-13,以及数据存储程序的电子设备1,本领域技术人员可以理解的是,图2示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
[0139] 结合图1,所述电子设备1中的所述存储器12存储多个指令以实现一种数据存储方法,所述处理器13可执行所述多个指令从而实现:当检测到待存储数据时,确定机房中的服务器及硬件设备;从所述服务器中确定目标服务器;将所述待存储数据保存至所述目标服务器挂载的存储设备;从所述硬件设备中确定预设数量的目标硬件设备,其中,至少有一个目标硬件设备与所述目标服务器分别部署于不同的机房;控制所述目标服务器备份所述待存储数据至所述目标硬件设备挂载的存储设备。
[0140] 具体地,所述处理器13对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。
[0141] 参照图3,为本发明数据存储系统的功能模块示意图。所述数据存储系统11包括获取单元110、确定单元111、保存单元112、控制单元113、修复单元114以及匹配单元115。本发明所称的模块/单元是指一种能够被处理器13所执行,并且能够完成固定功能的一系列计算机程序段,其存储在存储器12中。在本实施例中,关于各模块/单元的功能将在后续的实施例中详述。
[0142] 当检测到待存储数据时,确定单元111确定机房中的服务器及硬件设备。
[0143] 在本发明的至少一个实施例中,所述待存储数据可以是任意类型的数据,如:视频数据、音频数据等。
[0144] 在本发明的至少一个实施例中,所述确定单元111搭建机房,包括:
[0145] 所述确定单元111获取第一数量的地域,并获取每个地域对应的至少一个IP(Internet Protocol Address,互联网协议地址)地址段,所述确定单元111以每个地域的IP地址段为基础搭建第一数量的机房。
[0146] 在本发明的至少一个实施例中,在搭建的每个机房中,不同的服务器对应不同的IP地址,不同的硬件设备也对应不同的IP地址。并且,在一个机房中,该机房所包括的服务器及硬件设备的IP地址均属于该机房对应的IP地址段。
[0147] 具体地,所述确定单元111可以根据实际需求确定所搭建的机房的数量,以便节约成本。
[0148] 通常情况下,可以搭建两个机房,在保证数据正常存储的同时,也避免了资源的浪费。
[0149] 在本发明的至少一个实施例中,所述机房中的硬件设备的数量大于服务器的数量。
[0150] 其中,所述硬件设备是指智能硬件,能够具备连接的能力,实现互联网服务的加载。
[0151] 可以理解的是,每台服务器的价格是非常昂贵的,而每台硬件设备的价格相对来说则较低,要连接存储设备进行数据的存储,不需要特别高的硬件配置,采用硬件设备代替服务器执行数据存储可以达到相同的效果,因此,为每个机房配置少量的服务器及大量的硬件设备,能够在达到相同存储效果的同时,降低存储成本。
[0152] 在本发明的至少一个实施例中,每个服务器可以挂载多个存储设备,每个硬件设备可以挂载多个存储设备。
[0153] 例如:每个服务器可以连接12个存储设备,而每个硬件设备可以连接2-8个存储设备。
[0154] 其中,所述存储设备可以包括,但不限于:移动硬盘、U盘(USB flash disk,USB闪存盘)等。
[0155] 在本发明的至少一个实施例中,所述服务器可以通过USB(Universal Serial Bus,通用串行总线)接口连接所述存储设备,所述硬件设备同样可以通过USB(Universal Serial Bus,通用串行总线)接口连接所述存储设备,本发明不限制。
[0156] 所述确定单元111从所述服务器中确定目标服务器。
[0157] 在本发明的至少一个实施例中,所述确定单元111从所述服务器中确定目标服务器包括:
[0158] 所述确定单元111从所述服务器中获取空闲服务器,并确定所述空闲服务器中每个空闲服务器的剩余硬盘空间,所述确定单元111将所述剩余硬盘空间最大的空闲服务器确定为所述目标服务器。
[0159] 具体地,所述空闲服务器是指没有同时执行多个数据存储任务的服务器,所述空闲服务器的存储性能较佳。
[0160] 通过上述实施方式,所述确定单元111将所述剩余硬盘空间最大的空闲服务器确定为所述目标服务器,进一步保证了数据存储的性能,另外,优先选择了剩余硬盘空间最大的服务器执行数据存储,也有效均衡了每台服务器的存储空间。
[0161] 保存单元112将所述待存储数据保存至所述目标服务器挂载的存储设备。
[0162] 在本发明的至少一个实施例中,所述保存单元112将所述待存储数据保存至所述目标服务器挂载的存储设备包括:
[0163] 所述保存单元112采用对称加密算法加密所述待存储数据,并将加密后的待存储数据保存至所述目标服务器挂载的存储设备。
[0164] 具体地,所述对称加密算法可以包括,但不限于:DES(Data  Encryption Standard,数据加密标准)加密算法、AES(Advanced Encryption Standard,高级加密标准)加密算法等。
[0165] 通过上述实施方式,在将所述待存储数据保存至所述目标服务器挂载的存储设备时,不止进行单纯的数据存储,还对数据进行了加密,提升了数据的安全性。
[0166] 所述确定单元111从所述硬件设备中确定预设数量的目标硬件设备。
[0167] 在本发明的至少一个实施例中,至少有一个目标硬件设备与所述目标服务器分别部署于不同的机房。
[0168] 通过将硬件设备与服务器部署于不同的机房,能够保证在一个机房出现故障而不能使用时,另一个机房仍然可以正常提供服务,不影响数据的正常读取。
[0169] 在本发明的至少一个实施例中,所述确定单元111从所述硬件设备中确定预设数量的目标硬件设备包括:
[0170] 所述确定单元111确定所述硬件设备中每个硬件设备所属的机房,进一步确定所述目标服务器所属的第一机房,所述确定单元111确定所述第一机房中的空闲硬件设备,并对确定的空闲硬件设备的剩余硬盘空间按照由大到小进行排序,所述确定单元111将排在第一预设位之前的所有空闲硬件设备确定为第一空闲硬件设备。
[0171] 同时,所述确定单元111确定与所述第一机房不同的第二机房,进一步确定所述第二机房中的空闲硬件设备,并对确定的空闲硬件设备的剩余硬盘空间按照由大到小进行排序,所述确定单元111将排在第二预设位之前的所有空闲硬件设备确定为第二空闲硬件设备。
[0172] 进一步地,所述确定单元111将所述第一硬件空闲设备及所述第二空闲硬件设备确定为所述目标硬件设备。
[0173] 其中,所述第一空闲硬件设备及所述第二空闲硬件设备的数量之和为所述预设数量。
[0174] 需要说明的是,根据实际存储时的需求,以及每个存储任务的成本要求,可以自定义配置所述预设数量,以便在保证数据存储可靠性的同时,还能降低存储成本。
[0175] 例如:所述确定单元111可以配置所述预设数量为2、3等,本发明在此不作限制。
[0176] 控制单元113控制所述目标服务器备份所述待存储数据至所述目标硬件设备挂载的存储设备。
[0177] 例如:所述确定单元111确定了2台硬件设备,分别为硬件设备A及硬件设备B,所述控制单元113控制目标服务器X备份所述待存储数据至所述硬件设备A挂载的存储设备及所述硬件设备B挂载的存储设备。
[0178] 另外,由于至少要有一个目标硬件设备与所述目标服务器部署于不同的机房,因此,所述硬件设备A及所述硬件设备B都可以与所述目标服务器X处于不同的机房,所述硬件设备A及所述硬件设备B之中也可以只有一个与所述目标服务器X处于不同的机房,另一个则与所述目标服务器X处于相同的机房。
[0179] 通过上述实施方式,能够将所述待存储数据分别存储至所述目标服务器及所述预设数量的目标硬件设备,由于硬件设备的成本较低,因此在保证了数据正常存储的同时,也有效降低了存储成本,另外,由于服务器的性能较稳定,结合服务器进行存储,能够保证数据存储的可靠性,同时,通过将数据存储于不同的机房下,那么在一个机房出现问题时,其他机房还能够正常工作,数据的读取不会受到影响,也就不会影响相应任务的执行,提升了所存储数据的可用性。
[0180] 在本发明的至少一个实施例中,所述方法还包括:
[0181] 当检测到有第一文件丢失时,所述确定单元111确定发生文件丢失的第一硬件设备,进一步地,所述确定单元111确定与所述第一硬件设备连接的第一服务器,修复单元114根据所述第一服务器挂载的存储设备上所存储的文件修复所述第一文件。
[0182] 通过上述实施方式,由于所述第一文件在所述第一服务器上进行了同样的存储,因此,即便是发生数据丢失,所述修复单元114也可以根据其他备份文件进行修复。
[0183] 在本发明的至少一个实施例中,所述方法还包括:
[0184] 当检测到有第二硬件设备损坏时,所述确定单元111确定与所述第二硬件设备连接的第二服务器,进一步地,获取单元110获取所述第二硬件设备上存储的所有文件的文件标识,匹配单元115根据所述文件标识,从所述第二服务器挂载的存储设备上匹配相应的文件,所述确定单元111从所述硬件设备中确定第三硬件设备,所述控制单元113控制所述第二服务器备份匹配的文件至所述第三硬件设备挂载的存储设备。
[0185] 其中,所述确定单元111从所述硬件设备中确定所述第三硬件设备的方式与所述确定单元111从所述服务器中确定所述目标服务器的方法类似,本案在此不赘述。
[0186] 通过上述实施方式,能够在确定有硬件设备损坏时,重新备份损坏的硬件设备上的数据至其他性能较佳且可用的硬件设备上,进一步保证了数据的可靠性。
[0187] 综上所述,本发明能够当检测到待存储数据时,确定机房中的服务器及硬件设备,并从所述服务器中确定目标服务器,进一步将所述待存储数据保存至所述目标服务器挂载的存储设备,由于服务器的性能较佳,不易出现问题,因此保证了数据存储的可靠性,再从所述硬件设备中确定预设数量的目标硬件设备,其中,至少有一个目标硬件设备与所述目标服务器分别部署于不同的机房,进一步控制所述目标服务器备份所述待存储数据至所述目标硬件设备挂载的存储设备,以便在一个机房出现问题时,其他机房还能够正常工作,数据的读取不会受到影响,也就不会影响相应任务的执行,从而能够结合服务器及硬件设备对数据在不同机房进行多点部署,进一步提升了数据的可靠性,且由于减少了服务器的使用,还有效降低了数据存储的成本。
[0188] 在上述实施例中,可以全部或部分地通过软件、硬件设备、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
[0189] 所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、移动硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态移动硬盘Solid State Disk(SSD))等。
[0190] 所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0191] 在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0192] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0193] 另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件设备的形式实现,也可以采用软件功能单元的形式实现。
[0194] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动移动硬盘、只读存储器(ROM,Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0195] 需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
[0196] 以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈