数据同步方法、装置和计算机可读存储介质
阅读：638发布：2020-05-11
专利汇可以提供数据同步方法、装置和计算机可读存储介质专利检索，专利查询，专利分析的服务。并且本 发明 实施例 提供的数据同步方法、装置和计算机可读存储介质，涉及 数据库 领域，用于将数据同步至两种类型不同的数据库，所述方法包括：获取第一数据库中的待同步数据，将待同步数据写入缓冲池中，每隔预定时间判断缓冲池中的待同步数据的数量是否达到预定 阈值 ，若是，则将缓冲池中的待同步数据批量加载至第二数据库；通过缓冲池暂时存放数据，当缓冲池中的待同步数据的数量达到预定阈值时，利用数据库 协处理器 将待同步数据批量加载至第二数据库，保证了不同数据库的数据的一致性和同步数据的实时性，同时也避免了数据丢失或数据冲突。，下面是数据同步方法、装置和计算机可读存储介质专利的具体信息内容。
1.一种数据同步方法，用于将数据同步至两种类型不同的数据库，其特征在于，包括：
获取第一数据库中的待同步数据，将所述待同步数据写入缓冲池中；
每隔预定时间判断所述缓冲池中的所述待同步数据的数量是否达到预定阈值；若是，则将所述缓冲池中的所述待同步数据批量加载至第二数据库。
2.根据权利要求1所述的方法，其特征在于，所述将所述缓冲池中的所述待同步数据批量加载至第二数据库的步骤之后，包括：
清空所述缓冲池中的所述待同步数据。
3.根据权利要求1所述的方法，其特征在于，所述获取第一数据库中的待同步数据，将所述待同步数据写入缓冲池中的步骤，包括：
创建数据写入线程；所述写入线程包括写入事件；
通过触发所述写入事件将待同步数据写入缓冲池中。
4.根据权利要求1所述的方法，其特征在于，所述判断所述缓冲池中的所述待同步数据的数量是否达到预定阈值的步骤，包括：
创建数据同步线程；
每隔预定时间执行一次所述数据同步线程；所述数据同步线程用于判断所述缓冲池中的所述待同步数据是否达到预定阈值。
5.一种数据同步装置，用于将数据同步至两种类型不同的数据库，其特征在于，包括：
获取模块，用于获取第一数据库中的待同步数据，将所述待同步数据写入缓冲池中；
处理模块，用于每隔预定时间判断所述缓冲池中的所述待同步数据的数量是否达到预定阈值；若是，则将所述缓冲池中的所述待同步数据批量加载至第二数据库。
6.根据权利要求5所述的装置，其特征在于，
所述处理模块，还用于在将所述缓冲池中的所述待同步数据批量加载至第二数据库之后，清空所述缓冲池中的所述待同步数据。
7.根据权利要求5所述的装置，其特征在于，
所述处理模块，还用于创建数据写入线程；所述写入线程包括写入事件；
以及还用于通过触发所述写入事件将待同步数据写入缓冲池中。
8.根据权利要求5所述的装置，其特征在于，
所述处理模块，还用于创建数据同步线程；
以及还用于每隔预定时间执行一次所述数据同步线程；所述数据同步线程用于判断所述缓冲池中的所述待同步数据是否达到预定阈值。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的数据同步方法。
数据同步方法、装置和计算机可读存储介质
技术领域
背景技术
[0002] 互联网时代各种存储框架层出不穷，比如传统的关系型数据库：Oracle、MySQL，新兴的NoSQL:HBase、Cassandra、Redis，全文检索框架:ES(ElasticSearch)、Solr等。
[0003] 在实际生产过程中，通常将数据存放两份，分别写入HBase和ES；这样容易导致数据丢失或数据冲突，无法保证数据一致性问题，也无法满足数据实时性要求。
[0004] 基于上述问题，亟需一种能保证不同数据库的数据一致的数据同步方法。
发明内容
[0005] 有鉴于此，本发明的目的在于提供一种数据同步方法、装置和计算机可读存储介质。
[0006] 为了实现上述目的，本发明实施例采用的技术方案如下：
[0007] 第一方面，本发明实施例提供一种数据同步方法，用于将数据同步至两种类型不同的数据库，包括：
[0008] 获取第一数据库中的待同步数据，将所述待同步数据写入缓冲池中；
[0009] 每隔预定时间判断所述缓冲池中的所述待同步数据的数量是否达到预定阈值；若是，则将所述缓冲池中的所述待同步数据批量加载至第二数据库。
[0010] 在可选的实施方式中，所述将所述缓冲池中的所述待同步数据批量加载至第二数据库的步骤之后，包括：
[0011] 清空所述缓冲池中的所述待同步数据。
[0012] 在可选的实施方式中，所述获取第一数据库中的待同步数据，将所述待同步数据写入缓冲池中的步骤，包括：
[0013] 创建数据写入线程；所述写入线程包括写入事件；
[0014] 通过触发所述写入事件将待同步数据写入缓冲池中。
[0015] 在可选的实施方式中，所述判断所述缓冲池中的所述待同步数据的数量是否达到预定阈值的步骤，包括：
[0016] 创建数据同步线程；
[0017] 每隔预定时间执行一次所述数据同步线程；所述数据同步线程用于判断所述缓冲池中的所述待同步数据是否达到预定阈值。
[0018] 第二方面，本发明实施例提供一种数据同步装置，用于将数据同步至两种类型不同的数据库，包括：
[0019] 获取模块，用于获取第一数据库中的待同步数据，将所述待同步数据写入缓冲池中；
[0020] 处理模块，用于每隔预定时间判断所述缓冲池中的所述待同步数据的数量是否达到预定阈值；若是，则将所述缓冲池中的所述待同步数据批量加载至第二数据库。
[0021] 在可选的实施方式中，所述处理模块，还用于在将所述缓冲池中的所述待同步数据批量加载至第二数据库之后，清空所述缓冲池中的所述待同步数据。
[0022] 在可选的实施方式中，所述处理模块，还用于创建数据写入线程；所述写入线程包括写入事件；
[0023] 以及还用于通过触发所述写入事件将待同步数据写入缓冲池中。
[0024] 在可选的实施方式中，所述处理模块，还用于创建数据同步线程；
[0025] 以及还用于每隔预定时间执行一次所述数据同步线程；所述数据同步线程用于判断所述缓冲池中的所述待同步数据是否达到预定阈值。
[0026] 第三方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的数据同步方法。
[0027] 本发明实施例提供的数据同步方法、装置和计算机可读存储介质，用于将数据同步至两种类型不同的数据库，所述方法包括：获取第一数据库中的待同步数据，将待同步数据写入缓冲池中，每隔预定时间判断缓冲池中的待同步数据的数量是否达到预定阈值，若是，则将缓冲池中的待同步数据批量加载至第二数据库；通过缓冲池暂时存放数据，当缓冲池中的待同步数据的数量达到预定阈值时，利用数据库协处理器将待同步数据批量加载至第二数据库，保证了不同数据库的数据的一致性和同步数据的实时性，同时也避免了数据丢失或数据冲突。
附图说明
[0029] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0030] 图1示出了本发明实施例提供的数据同步方法。
[0031] 图2示出了本发明实施例提供的另一种数据同步方法。
[0032] 图3示出了本发明实施例提供的数据同步装置的功能模块示意图。
[0033] 图标：100-数据同步装置；110-获取模块；120-处理模块。
具体实施方式
[0034] 下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0035] 因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036] 需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0037] 本实施例中所提出的第一数据库与第二数据库分别为Hbase和ES，HBase 0.92版本后推出了协处理器(Coprocessor)，Coprocessor为一个工作在Master/RegionServer中的框架，能运行用户编写的代码，从而灵活地完成分布式数据处理的任务。HBase支持两种类型的协处理器Endpoint和Observer。Endpoint协处理器类似传统数据库中的存储过程，客户端可以调用这些Endpoint协处理器执行一段Server端代码，并将Server端代码的结果返回给客户端进一步处理；最常见的用法就是进行聚集操作。另外一种协处理器叫做Observer，这种协处理器类似于传统数据库中的触发器，当发生某些事件的时候这类协处理器会被Server端调用。Observer就是一些散布在HBase Server端代码中的hook钩子函数，钩子函数为固定的事件发生时会触发钩子函数被调用。比如：put操作之前有钩子函数prePut，prePut函数在put操作执行前会被Region Server调用；在put操作之后则有postPut钩子函数。
[0038] 请参照图1，为本发明实施例提供的数据同步方法。
[0039] 步骤101，获取第一数据库中的待同步数据，将待同步数据写入缓冲池。
[0040] 步骤102，每隔预定时间判断缓冲池中的待同步数据的数量是否达到预定阈值。
[0041] 步骤103，将缓冲池中的待同步数据批量加载至第二数据库。
[0042] 本实施例所提供的数据同步方法，用于将数据同步至两种类型不同的数据库，首先获取第一数据库中的待同步数据，将待同步数据写入缓冲池中，然后每隔预定时间判断缓冲池中的待同步数据的数量是否达到预定阈值，若缓冲池中的待同步数据的数量达到预定阈值，则将缓冲池中的待同步数据批量加载至第二数据库。在实际应用过程中，数据先写入Hbase中，通过HBase的协处理器(Coprocessor)将数据自动批量加载到ES中，以保证数据的一致性和同步数据的实时性，避免数据丢失或数据冲突。
[0043] 请参照图2，为本发明实施例提供的另一种数据同步方法。
[0044] 需要说明的是，本实施例所提供的数据同步方法，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。
[0045] 步骤101，获取第一数据库中的待同步数据，将待同步数据写入缓冲池。
[0046] 执行用户编写的ES Client客户端用于连接访问第一数据库的代码；本步骤旨在将待同步数据写入缓冲池中。
[0047] 需要说明的是，步骤101包括两个子步骤，本步骤中未提及之处将在其子步骤中进行详细的阐述。
[0048] 子步骤101-1，创建数据写入线程。
[0049] 编写继承BaseRegionObserver的自定义类，并复写其中的start()、stop()、postPut()、postDelete()四个方法，这四个方法分别表示协作器开始运行、协作器结束运行、postPut事件触发将数据存入hbase和postDelete事件触发并数据从hbase删除。将初始化ES客户端的代码写在start()中，在stop()中关闭ES客户端定义好的Scheduled对象。
[0050] 子步骤101-2，通过触发写入事件将待同步数据写入缓冲池中。
[0051] postPut事件触发将数据存入缓冲池中。
[0052] 步骤102，每隔预定时间判断缓冲池中的待同步数据的数量是否达到预定阈值。
[0053] 需要说明的是，步骤102包括两个子步骤，本步骤中未提及之处将在其子步骤中进行详细的阐述。
[0054] 子步骤102-1，创建数据同步线程。
[0055] 在比较关键的批量加载bulk ES代码中，创建ScheduledExecutorServic线程，使用ScheduledExecutorServic周期性的执行一个任务，所述任务用于数据同步。
[0056] 子步骤102-2，每隔预定时间执行一次数据同步线程以判断缓冲池中的待同步数据的数量是否达到预定阈值。
[0057] 若是，则执行步骤103。
[0058] 每隔预定时间执行一次数据同步线程，去判断缓冲池中是否有待同步数据，该待同步数据为需要批量加载(bulk)的数据，若缓冲池中的待同步数据的数量达到预定阈值，则将缓冲池中的待同步数据bulk到ES中。
[0059] 在一种实施例中，预定时间为30s，预定阈值为10000条；还可以为其他值，视具体情况而定，此处不做限制。
[0060] 步骤103，将缓冲池中的待同步数据批量加载至第二数据库。
[0061] 需要说明的是，为了执行bulk过程的线程安全，需要对bulk的过程进行加锁操作，以避免不同的线程同时对同一份缓冲池数据进行操作。
[0063] 综上所述，本发明实施例提供的数据同步方法、装置和计算机可读存储介质，用于将数据同步至两种类型不同的数据库，所述方法包括：获取第一数据库中的待同步数据，将待同步数据写入缓冲池中，每隔预定时间判断缓冲池中的待同步数据的数量是否达到预定阈值，若是，则将缓冲池中的待同步数据批量加载至第二数据库；通过缓冲池暂时存放数据，当缓冲池中的待同步数据的数量达到预定阈值时，利用数据库协处理器将待同步数据批量加载至第二数据库，保证了不同数据库的数据的一致性和同步数据的实时性，同时也避免了数据丢失或数据冲突。
[0064] 请参照图3，为本发明实施例所提供的数据同步装置的功能模块示意图。需要说明的是，其基本原理及产生的技术效果与前述方法实施例相同，为简要描述，本实施例中未提及部分，可参考前述方法实施例中的相应内容。数据同步装置100用于执行图1及图2所述的数据同步方法，其包括获取模块110及处理模块120。
[0065] 可以理解的，在一种实施例中，通过获取模块110执行步骤101。
[0066] 可以理解的，在一种实施例中，通过处理模块120执行步骤102及步骤103。
[0067] 在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0068] 另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0069] 所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0070] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种通用型汽车动力总成控制器 | 2020-05-08 | 79 |
| 功率参数的调整方法、装置及强化学习模型训练方法 | 2020-05-08 | 627 |
| 用于执行故障安全计算的方法 | 2020-05-11 | 873 |
| 移动终端及其IQ数据回放方法 | 2020-05-12 | 836 |
| 一种用于图像目标检测的协处理器调用方法和系统 | 2020-05-11 | 941 |
| 一种电源切换方法及系统 | 2020-05-13 | 486 |
| 一种基于FPGA的密码协处理器全自动仿真验证方法 | 2020-05-11 | 346 |
| 生物识别的指令集加速方法及处理器 | 2020-05-13 | 754 |
| 执行确定性推理的组合处理装置、芯片和方法 | 2020-05-08 | 681 |
| 一种人车轨迹智能识别装置 | 2020-05-12 | 818 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈