数据云备份方法和系统 |
|||||||
| 申请号 | CN201610868317.6 | 申请日 | 2016-09-29 | 公开(公告)号 | CN106502823A | 公开(公告)日 | 2017-03-15 |
| 申请人 | 北京许继电气有限公司; 国家电网公司; | 发明人 | 杨立伟; 杨利兵; 缪燕; 刘红超; 刘浩; 张学深; | ||||
| 摘要 | 本 发明 提供一种数据 云 备份方法和系统。方法包括：通过正向持续复制，将生产 服务器 上 数据库 的数据变化存储到存储介质服务器，存储介质服务器将数据变化进行保存后，再分发给对应的容灾服务器；当生产服务器上的数据库无法继续工作时，使所述容灾服务器接管原有数据库系统，并当容灾服务器接管原有系统后产生的数据变化发送到存储介质服务器，存储介质服务器将数据变化进行保存；在恢复期间内的数据恢复到生产服务器后，所述备份控制服务器将容灾服务器在接管原有数据库系统后的数据变化发送到生产服务器。 | ||||||
| 权利要求 | 1.一种数据云备份方法，其特征在于，包括： |
||||||
| 说明书全文 | 数据云备份方法和系统技术领域[0001] 本发明属于涉及信息安全技术领域，尤其涉及一种数据云备份方法和系统。 背景技术[0002] 随着信息技术的在广泛的运用，越来越多的重要数据以电子化的形式存储和处理，而这种数据的存储和处理方式虽然能够提高便利性，但是却很容易导致数据灭失。特别是随着信息系统的持续性运行，系统产生的数据量越来越大，因此对业务数据安全、数据访问性能等要求越来越高。为满足这些需求，存储服务器的硬件配置要求也越来越高。数量越来越多，系统建设成本大幅增加，系统中由服务器造成单点故障和性能瓶颈，数据传输环节的增加，都影响系统性能和效率，影响整个系统的高效稳定运行。其中数据库系统作为信息技术的基础，数据库的安全可靠更是整个信息系统中非常重要的一个环节；一旦数据库故障则意味着整个信息系统都会面临挑战，从而带来严重的损失和后果。 [0003] 为了提高整个系统的稳定性，现在研究的重点都集中在如何在现有网络环境对各种服务器进行集中备份存储，以减少存储服务器的数量，从而降低系统建设成本，减少系统中由服务器造成单点故障和性能瓶颈，减少数据传输环节，提供系统性能和效率。 发明内容[0004] 针对现有技术中存在缺少高效备份解决方案的问题，本发明要解决的技术问题是提供一种有效且高效的数据云备份方法和系统，以提高数据库的可靠性。 [0005] 为了解决上述问题，本发明实施例提出了一种数据云备份方法，包括： [0006] 通过正向持续复制，将生产服务器上数据库的数据变化存储到存储介质服务器，存储介质服务器将数据变化进行保存后，再分发给对应的容灾服务器； [0008] 当容灾服务器接管原有系统后产生的数据变化发送到存储介质服务器，存储介质服务器将数据变化进行保存； [0009] 在恢复期间内的数据恢复到生产服务器后，所述备份控制服务器将容灾服务器在接管原有系统后的数据变化发送到生产服务器。 [0010] 进一步的，所述存储介质服务器将数据变化存储到日志卷。 [0011] 进一步的，所述备份控制服务器缓存每一分钟的快照数据以在数据被破坏时利用所述快照数据恢复被损坏的数据。 [0012] 进一步的，所述方法在将从存储介质服务器存储的指定的时间点之间的恢复期间内的数据发送到生产服务器时，还包括以下方法： [0013] 通过磁盘拦截程序和内存刷新代理程序，与生产服务器与存储介质服务器之间进行通讯以对数据传输的硬件I/O操作进行监控，以使所述生产服务器与存储介质服务器之间的数据一致性进行同步。 [0014] 进一步的，当容灾服务器接管原有系统后，通过以下的方法进行数据一致性同步： [0015] 当容灾服务器为单一服务器时，容灾服务器将接管原有系统后产生的数据变化存储到存储介质服务器，存储介质服务器将数据变化进行保存，并在生产服务器完成恢复期间内的数据变化发送到生产服务器； [0016] 当容灾服务器为多冗余容灾服务器集群时，如果接管原有系统的为本地容灾服务器，则该本地容灾服务器将产生数据变化存储到本地存储介质服务器，并将数据变化复制到远程存储介质服务器；如果接管原有系统的为远程容灾服务器，则该远程容灾服务器将产生数据变化存储到远程存储介质服务器，并将数据变化复制到生产服务器本地的本地存储介质服务器上。 [0017] 进一步的，所述方法还包括：通过以下方法将存储介质服务器上的重复数据进行删除： [0019] 进一步的，所述从存储介质服务器存储的指定的时间点之间的恢复期间内的数据发送到生产服务器，具体包括；采用基于I/O的Seldata恢复技术将有缺失的数据采用增量备份的方式恢复到生产服务器。 [0020] 同时，本发明实施例提出了一种用于执行如前任一项所述的数据云备份方法的数据云备份系统，包括生产服务器、存储介质服务器、容灾服务器、备份控制服务器；其中所述备份控制服务器同时连接所述生产服务器、容灾服务器、存储介质服务器； [0021] 其中所述备份控制服务器用于通过正向持续复制，将生产服务器上数据库的数据变化存储到存储介质服务器，存储介质服务器将数据变化进行保存后，再分发给对应的容灾服务器； [0022] 所述备份控制服务器还用于当生产服务器数据库无法继续工作时使所述容灾服务器接管原有系统，并从存储介质服务器存储的指定的时间点之间的恢复期间内的数据发送到生产服务器； [0023] 所述备份控制服务器还用于当容灾服务器接管原有系统后产生的数据变化发送到存储介质服务器，存储介质服务器将数据变化进行保存；且在恢复期间内的数据恢复到生产服务器后，所述备份控制服务器将容灾服务器在接管原有系统后的数据变化发送到生产服务器。 [0024] 本发明的上述技术方案的有益效果如下：上述的技术方案相比较现有技术具有以下优势： [0025] 避免数据的丢失：通过持续数据保护，确保数据库的每一个变化都实时地复制到存储介质服务器端，一旦出现灾难，数据丢失量将在一个未完成的事务级别。 [0026] 消除系统的宕机时间：通过容灾服务器的灾难恢复，可在极短的时间内还原数据库系统，消除了系统的宕机时间。 [0028] 节约成本：简化的容灾方案，减少数据库可用性的维护时间，并且通过避免数据丢失和消除宕机时间，减少数据库系统故障所产生的经济损失。 [0029] 持续数据保护：不受点数影响的快照技术，基于I/O的数据传输模式，实现了真正的持续数据保护。 [0030] 可对数据进行离线归档存储：云备份数据柜可以直接连接物理磁带库，对数据进行离线归档保存。 [0032] 可与虚拟化功能结合，将容灾服务器直接部署在云备份服务器上。 [0033] 在容灾服务器接管期间，容灾服务器上的数据变化可反向复制到生产服务器中。 [0035] 图1为本发明实施例的数据容灾总体结构图； [0036] 图2为本发明实施例的业务数据恢复流程图； [0037] 图3为本发明实施例的业务数据备份流程图。 具体实施方式[0038] 为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。 [0039] 随着技术的发展，现有技术中已经能够提供用于实施本发明的以下技术： [0040] 1、宽带网络的发展； [0041] 真正的云存储系统将会是一个多区域分布、遍布全国、甚至于遍布全球的庞大公用系统，使用者需要通过ADSL、DDN等宽带接入设备来连接云存储，而不是通过FC、SCSI或以太网线缆直接连接一台独立的、私有的存储设备上。只有宽带网络得到充足的发展，使用者才有可能获得足够大的数据传输带宽，实现大量容量数据的传输，真正享受到云存储服务。 [0042] 2、WEB2.0技术： [0043] Web2.0技术的核心是分享。只有通过web2.0技术，云存储的使用者才有可能通过PC、手机、移动多媒体等多种设备，实现数据、文档、图片和视音频等内容的集中存储和资料共享。Web2.0技术的发展使得使用者的应用方式和可得服务更加灵活和多样。 [0044] 3、应用存储的发展： [0045] 云存储不仅仅是存储，更多的是应用。应用存储是一种在存储设备中集成了应用软件功能的存储设备，它不仅具有数据存储功能，还具有应用软件功能，可以看作是服务器和存储设备的集合体。应用存储技术的发展可以大量减少云存储中服务器的数量，从而降低系统建设成本，减少系统中由服务器造成单点故障和性能瓶颈，减少数据传输环节，提供系统性能和效率，保证整个系统的高效稳定运行。 [0046] 4、集群技术、网格技术和分布式文件系统： [0047] 云存储系统是一个多存储设备、多应用、多服务协同工作的集合体，任何一个单点的存储系统都不是云存储。既然是由多个存储设备构成的，不同存储设备之间就需要通过集群技术、分布式文件系统和网格计算等技术，实现多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。如果没有这些技术的存在，云存储就不可能真正实现，所谓的云存储只能是一个一个的独立系统，不能形成云状结构。 [0048] 5、CDN内容分发、P2P技术、数据压缩技术、重复数据删除技术、数据加密技术： [0049] CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。 [0050] 6、存储虚拟化技术、存储网络化管理技术 [0051] 云存储中的存储设备数量庞大且分布在多不同地域，如何实现不同厂商、不同型号甚至于不同类型(如FC存储和IP存储)的多台设备之间的逻辑卷管理、存储虚拟化管理和多链路冗余管理将会是一个巨大的难题，这个问题得不到解决，存储设备就会是整个云存储系统的性能瓶颈，结构上也无法形成一个整体，而且还会带来后期容量和性能扩展难等问题。 [0052] 本发明实施例的数据容灾结构图如图1所示，云备份数据柜(即备份控制服务器)通过网络与需要备份服务的服务器联通。备份数据柜提供网络存储时，实时复制模块首先是通过正向持续复制，持续地备份生产服务器上的数据库的变化，并将变化同步或异步地传输到存储介质服务器的日志卷和容灾服务器的数据卷，数据备份流程图如图3所示。当灾难发生时，灾难恢复模块首先通知容灾服务器接管原有系统，然后从存储介质服务器上恢复指定的时间点到生产服务器，时间点恢复期间，数据是直接从存储介质服务器流向生产服务器，不需要容灾服务器参与，业务数据恢复流程图如图2所示。在容灾服务器接管生产服务器期间，会产生新的数据变化，容灾服务器首先将这些变化复制到存储介质服务器，存储介质服务器将其保存到日志卷。当存储介质服务器完成时间点恢复后，将系统从容灾服务器切换到生产服务器时，期间会将容灾服务器变化的数据从日志卷上恢复到生产服务器，从而达到容灾服务器和生产服务器在接管期间数据的一致性。 [0053] 本发明实施例可以利用这些基础技术来实现对数据库的云备份。具体的，本发明实施例提出了一种数据云备份方法和系统。本发明实施例的数据云备份方法和系统，基于持续数据保护(CDP)技术，内置数据备份模块、灾难恢复模块、数据归档模块、云存储模块，可持续地备份生产服务器上的数据库系统的变化，并将变化同步或异步地传输到存储介质服务器的日志卷和容灾服务器的数据卷上。 [0054] 当灾难发生时，可通过容灾服务器接管原有系统，并从存储介质服务器上恢复任意时间点到生产服务器，达到系统数据容灾RPO和RTO最低的目标。云备份数据柜提供网络存储时，实时复制模块首先是通过正向持续复制，将生产服务器上数据库的数据变化复制到存储介质服务器，存储介质服务器保存数据到日志卷；然后存储介质服务器再将数据分发到对应的容灾服务器。当灾难发生时，生产服务器无法继续运行，灾难恢复模块首先通知容灾服务器接管原有系统，然后从存储介质服务器上恢复指定的时间点到生产服务器，时间点恢复期间，数据是直接从存储介质服务器流向生产服务器，不需要容灾服务器参与。在容灾服务器接管生产服务器期间，会产生新的数据变化，容灾服务器首先将这些变化复制到存储介质服务器，存储介质服务器将其保存到日志卷。当存储介质服务器完成时间点恢复后，将数据库系统从容灾服务器切换到生产服务器时，期间会将容灾服务器变化的数据从日志卷上恢复到生产服务器，从而达到容灾服务器和生产服务器在接管期间的一致性。上述方法保证了业务数据的全生命周期安全，可以提供数据容灾功能，通过“云”对各级服务器提供数据安全服务。 [0055] 本发明实施例用到了以下关键技术： [0056] 1、数据库实时复制技术： [0057] 数据库实时复制技术基于数据分离器(Data Separator)来实现的。数据分离器是一个系统驱动程序，运行在生产服务器上，其主要功能是将数据库变化的数据分离，以便变化数据能够同时写入生产存储和传输到存储介质服务器端。 [0058] 2、数据库一致性技术： [0059] 对于数据库，恢复到任意时间点时需要处理数据库的一致性。对于数据一致性的算法，通常分为启发式一致性(heuristic consistency)和前摄式一致性(proactiveconsistency)两种。启发式一致性是指数据分离器通过文件系统能提高相关信息，判断应用程序的一致性状态，然后在日志卷中标记相关信息，从而保证时间点恢复的数据一致性。而前摄式一致性(proactive consistency)，则是通过数据库程序的API让数据库处于一致性状态，然后在恢复日志中插入标记。前摄式一致性与启发式一致性最大的区别在于时间点粒度，启发式一致性保证不会修改数据库状态，所以可以达到更小的时间点粒度。针对数据库系统的特殊性，云备份数据柜集成数据库智能联动技术，通过磁盘拦截程序和内存刷新Agent与系统和数据库沟通，对硬件I/O操作进行监控传输，对数据库进行全方位监控、同步，保证所有数据的一致性保证了数据库备份的完整性。 [0060] 3、接管数据一致性技术： [0061] 当灾难发生后启用容灾服务器接管业务，需要重点考虑的是在接管期间，容灾服务器上变化数据如何确保与生产服务器之间的一致性。灾难恢复模块对于接管数据一致性处理，包括三种情况，分别是单一容灾站点一致性、多冗余容灾站点(级联复制)一致性、模拟演习一致性。在单一容灾站点接管模型下，若容灾服务器已接管了生产服务器，并开始提供业务服务，则会在容灾服务器上产生数据，容灾服务器将产生的数据实时复制到存储柜的存储介质服务器上，存储介质服务器将数据缓存到日志卷，并在生产服务器完成时间点恢复后将从日志卷中恢复变化数据到对应的生产服务器。在多冗余容灾站点接管模型下，若容灾服务器已接管了生产服务器，并开始提供业务服务，则会在容灾服务器上产生数据。如果是本地容灾站点接管，本地容灾服务器将产生的数据实时复制到本地存储介质服务器上，本地存储介质服务器再缓存数据到日志卷，并且将变化的数据复制到远程存储介质服务器上，在生产服务器完成时间点恢复后将从日志卷中恢复变化数据到对应的生产服务器。如果是远程容灾站点接管，远程容灾服务器将产生的数据实时复制到远程存储介质服务器上，远程存储介质服务器缓存数据到日志卷，远程存储介质服务器再将数据复制到本地存储介质服务器上，在本地存储介质服务器上，首先是将数据复制到其它未一致的存储介质服务器上，然后在生产服务器完成时间点恢复后将从日志卷中恢复变化数据到对应的生产服务器。在模拟演习验证容灾服务器时，期间将会导致数据库发生变化，因此演习完成后需要将容灾服务器数据保持一致，其过程是通过存储介质服务器将差异的数据恢复到容灾服务器中。 [0062] 4、重复数据删除技术： [0063] 重复数据删除是一种数据压缩技术，可在存储介质服务器端将各时间点的重复数据以及不同源系统中的重复数据进行识别，并将重复的数据只在存储介质服务器上保存一份的压缩技术。重复数据删除技术方案包括在线重复数据删除和事后重复数据删除，在线重复数据删除是指在数据保存过程中就进行压缩删除，后事重复数据删除则是将数据保存到介质上后，在介质端比较空闲时，再将数据读取进行压缩删除。采用在线重复数据删除方案，它在存储介质服务器端执行，当实时复制的数据块传输到存储介质服务器端，存储介质服务器执行哈希算法，为数据块生成一指纹(Fingerprint)，并在全局数据指纹区寻找相同的指纹，如果存在相同指纹，则表示已保存了相同的数据块，存储介质服务器则不再保存此数据块，而是引用已存在的数据块。 [0064] 5、Seldata恢复技术： [0065] 在进行时间点恢复时，由于实时复制采用数据分离器实时的把数据块复制到存储介质服务器上，而应用数据库数据块的变化存在无序性，为了保证数据恢复后的数据库一致性，因此业内通常仅支持完全恢复，即每次时间点恢复时，将此时间点状态下所有的数据块都逐一恢复到生产服务器上。完全恢复导致时间点恢复花费的时间较长，因此云数据柜提供基于I/O的Seldata恢复技术，它是在重复数据删除技术之上所提供的一种增量恢复算法。对于生产服务器原数据库文件未丢失时，通过时间点的I/O对比，仅恢复差异的数据块，从而大大提高了恢复速度。备注：Seldata恢复仅在重复数据删除模块启用后有效。 [0066] 利用上述关键技术，本发明实施提出了一种数据云备份方法和系统。当灾难发生时，灾难恢复模块首先通知容灾服务器接管原有系统，然后从存储介质服务器上恢复指定的时间点到生产服务器，时间点恢复期间，数据是直接从存储介质服务器流向生产服务器，不需要容灾服务器参与，业务数据恢复流程图如图2所示。在容灾服务器接管生产服务器期间，会产生新的数据变化，容灾服务器首先将这些变化复制到存储介质服务器，存储介质服务器将其保存到日志卷。当存储介质服务器完成时间点恢复后，将系统从容灾服务器切换到生产服务器时，期间会将容灾服务器变化的数据从日志卷上恢复到生产服务器，从而达到容灾服务器和生产服务器在接管期间的一致性。 [0067] 基于云计算技术的云备份数据柜，相对于传统的数据备份，其技术优势包括： [0068] 避免数据的丢失：通过持续数据保护，确保数据库的每一个变化都实时地复制到存储介质服务器端，一旦出现灾难，数据丢失量将在一个未完成的事务级别。 [0069] 消除系统的宕机时间：通过容灾服务器的灾难恢复，可在极短的时间内还原业务系统，消除了系统的宕机时间。 [0070] 降低业务风险：通过容灾方案，确保业务系统的可持续性运行，极大的降低业务的运营风险。 [0071] 节约成本：简化的容灾方案，减少系统可用性的维护时间，并且通过避免数据丢失和消除宕机时间，减少系统故障所产生的经济损失。 [0072] 持续数据保护：不受点数影响的快照技术，基于I/O的数据传输模式，实现了真正的持续数据保护。 [0073] 可对数据进行离线归档存储：云备份数据柜可以直接连接物理磁带库，对数据进行离线归档保存。 [0074] 支持备份过程审计、统计出每台服务器流量及软件使用所占比率分析图，审查备份网络使用情况。 [0075] 可与虚拟化功能结合，将容灾服务器直接部署在云备份服务器上。 [0076] 在容灾服务器接管期间，容灾服务器上的数据变化可反向复制到生产服务器中。 [0077] 支持存储介质服务器日志卷复制到一个或多个存储介质服务器，提供级联复制。 [0078] 以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。 |
||||||
QQ群二维码
意见反馈
意见反馈