一种备份日志数据的防超时方法、装置、设备及介质
阅读：388发布：2020-05-08
专利汇可以提供一种备份日志数据的防超时方法、装置、设备及介质专利检索，专利查询，专利分析的服务。并且本 申请 公开了一种备份日志数据的防超时方法、装置、 电子 设备及计算机可读存储介质，该备份日志数据的防超时方法应用于备份设备，包括：接收源设备发送的待备份的日志数据；将当前无法处理的日志数据对应的IO任务存放至延迟处理队列；通过预设 进程 轮询判断延迟处理队列中各个IO任务距离超时的剩余时间是否低于预设时长，并执行剩余时间低于预设时长的IO任务。本申请利用预设进程，可自动监视延迟处理队列中各个IO任务的超时情况，进而将快要超时的IO任务及时地在超时之前进行处理，有效地降低了备份超时概率，避免了源设备与备份设备之间重复进行数据传输，进而提高了备份效率，有效缓解了源设备的业务处理负担和网络通信负担。，下面是一种备份日志数据的防超时方法、装置、设备及介质专利的具体信息内容。
1.一种备份日志数据的防超时方法，其特征在于，应用于备份设备，包括：
接收源设备发送的待备份的日志数据；
将当前无法处理的日志数据对应的IO任务存放至延迟处理队列；
通过预设进程轮询判断所述延迟处理队列中各个IO任务距离超时的剩余时间是否低于预设时长，并执行剩余时间低于所述预设时长的IO任务。
2.根据权利要求1所述的备份日志数据的防超时方法，其特征在于，所述预设进程为预设守护进程。
3.根据权利要求1所述的备份日志数据的防超时方法，其特征在于，所述预设时长为2秒。
4.根据权利要求1所述的备份日志数据的防超时方法，其特征在于，所述执行剩余时间低于所述预设时长的IO任务，包括：
调用剩余时间低于所述预设时长的IO任务的唤醒函数。
5.根据权利要求1至4任一项所述的备份日志数据的防超时方法，其特征在于，还包括：
记录所述延迟处理队列中IO任务的超时率；
判断所述超时率是否高于预设阈值；
若是，则增大所述预设时长。
6.根据权利要求5所述的备份日志数据的防超时方法，其特征在于，在所述判断所述超时率是否高于预设阈值之后，还包括：
若否，则判断所述备份设备的CPU占用率是否高于预设比值；
若所述CPU占用率高于所述预设比值，则减小所述预设时长。
7.一种备份日志数据的防超时装置，其特征在于，应用于备份设备，包括：
接收模块，用于接收源设备发送的待备份的日志数据；
缓存模块，用于将当前无法处理的日志数据对应的IO任务存放至延迟处理队列；
监察模块，用于通过预设进程轮询判断所述延迟处理队列中各个IO任务距离超时的剩余时间是否低于预设时长，并执行剩余时间低于所述预设时长的IO任务。
8.根据权利要求7所述的备份日志数据的防超时装置，其特征在于，还包括：
修正模块，用于记录所述延迟处理队列中IO任务的超时率；判断所述超时率是否高于预设阈值；若是，则增大所述预设时长。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至6任一项所述的备份日志数据的防超时方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求1至6任一项所述的备份日志数据的防超时方法的步骤。
一种备份日志数据的防超时方法、装置、设备及介质
技术领域
背景技术
[0002] 随着大数据时代的到来，数据的重要性越来越凸显，数据备份存储的重要性也越来越被人们所重视。其中，远程备份存储是一种提供数据冗余安全的有效手段。通过远程备份，源设备可将本地的重要数据如日志数据等发送至远端的备份设备进行备份存储。
[0003] 在远程备份中，当备份设备繁忙而无法及时处理时便会将备份任务暂时放入队列中以便延迟处理。但在现有技术中，经常会出现放入队列中的数据备份任务在还未得到处理前便已经超过有效时间的情况。如此备份设备需要重新向源设备发送请求以便源设备重新发送日志数据。这样不仅效率低下，而且还会增加源设备的业务处理负担和网络通信负担。鉴于此，提供一种解决上述技术问题的方案，已经是本领域技术人员所亟需关注的。发明内容
[0004] 本申请的目的在于提供一种备份日志数据的防超时方法、装置、电子设备及计算机可读存储介质，以便有效降低备份超时概率，进而提高备份效率，降低源设备的业务处理负担和网络通信负担。
[0005] 为解决上述技术问题，第一方面，本申请公开了一种备份日志数据的防超时方法，应用于备份设备，包括：
[0006] 接收源设备发送的待备份的日志数据；
[0007] 将当前无法处理的日志数据对应的IO任务存放至延迟处理队列；
[0009] 可选地，所述预设进程为预设守护进程。
[0010] 可选地，所述预设时长为2秒。
[0011] 可选地，所述执行剩余时间低于所述预设时长的IO任务，包括：
[0012] 调用剩余时间低于所述预设时长的IO任务的唤醒函数。
[0013] 可选地，还包括：
[0014] 记录所述延迟处理队列中IO任务的超时率；
[0015] 判断所述超时率是否高于预设阈值；
[0016] 若是，则增大所述预设时长。
[0017] 可选地，在所述判断所述超时率是否高于预设阈值之后，还包括：
[0018] 若否，则判断所述备份设备的CPU占用率是否高于预设比值；
[0019] 若所述CPU占用率高于所述预设比值，则减小所述预设时长。
[0020] 第二方面，本申请还公开了一种备份日志数据的防超时装置，应用于备份设备，包括：
[0021] 接收模块，用于接收源设备发送的待备份的日志数据；
[0022] 缓存模块，用于将当前无法处理的日志数据对应的IO任务存放至延迟处理队列；
[0023] 监察模块，用于通过预设进程轮询判断所述延迟处理队列中各个IO任务距离超时的剩余时间是否低于预设时长，并执行剩余时间低于所述预设时长的IO任务。
[0024] 可选地，还包括修正模块，用于记录所述延迟处理队列中IO任务的超时率；判断所述超时率是否高于预设阈值；若是，则增大所述预设时长。
[0025] 第三方面，本申请还公开了一种电子设备，包括：
[0027] 处理器，用于执行所述计算机程序以实现如上所述的任一种备份日志数据的防超时方法的步骤。
[0028] 第四方面，本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种备份日志数据的防超时方法的步骤。
[0029] 本申请所提供的备份日志数据的防超时方法应用于备份设备，包括：接收源设备发送的待备份的日志数据；将当前无法处理的日志数据对应的IO任务存放至延迟处理队列；通过预设进程轮询判断所述延迟处理队列中各个IO任务距离超时的剩余时间是否低于预设时长，并执行剩余时间低于所述预设时长的IO任务。
[0030] 可见，本申请利用预设进程，可自动监视延迟处理队列中各个IO任务的超时情况，进而将快要超时的IO任务及时地在超时之前进行处理，有效地降低了备份超时概率，避免了源设备与备份设备之间重复进行数据传输，进而提高了备份效率，有效缓解了源设备的业务处理负担和网络通信负担。本申请所提供的备份日志数据的防超时装置、电子设备及计算机可读存储介质同样具有上述有益效果。附图说明
[0031] 为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。
[0032] 图1为本申请实施例公开的一种备份日志数据的防超时方法的流程图；
[0033] 图2为本申请实施例公开的一种轮询延迟处理队列的方法流程图；
[0034] 图3为本申请实施例公开的一种备份日志数据的防超时装置的结构框图；
[0035] 图4为本申请实施例公开的一种电子设备的结构框图。
具体实施方式
[0036] 本申请的核心在于提供一种备份日志数据的防超时方法、装置、电子设备及计算机可读存储介质，以便有效降低备份超时概率，进而提高备份效率，降低源设备的业务处理负担和网络通信负担。
[0037] 为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0038] 当前，数据备份存储的重要性也越来越被人们所重视。其中，远程备份存储是一种提供数据冗余安全的有效手段。通过远程备份，源设备可将本地的重要数据如日志数据等发送至远端的备份设备进行备份存储。当备份设备繁忙而无法及时处理时便会将备份任务暂时放入队列中以便延迟处理。但在现有技术中，经常会出现放入队列中的数据备份任务在还未得到处理前便已经超过有效时间的情况。如此备份设备需要重新向源设备发送请求以便源设备重新发送日志数据。这样不仅效率低下，而且还会增加源设备的业务处理负担和网络通信负担。鉴于此，本申请提供了一种备份日志数据的防超时方案，可有效解决上述问题。
[0039] 参见图1所示，本申请实施例公开了一种备份日志数据的防超时方法，应用于备份设备，主要包括：
[0040] S101：接收源设备发送的待备份的日志数据。
[0041] 首先需要说明的是，在远程备份中，源设备是指产生源数据的设备，备份设备是指用于存储备份数据的设备。源设备生成的源数据备份后，其备份数据通过远程通信服务被传输至并存储在备份设备。
[0042] 日志数据备份(Journal Replication)是一种重要的数据备份操作。在源设备端可执行日志登录(JREC)操作、日志发送(JSND)操作；在备份设备端可执行日志接收(JRCV)操作和日志落盘(JETR)操作。
[0043] 当源设备发送了日志数据以请求进行日志数据备份时，备份设备可执行JRCV操作，即，接收源设备发送的待备份的日志数据。
[0044] S102：将当前无法处理的日志数据对应的IO任务存放至延迟处理队列。
[0045] 将接收到的日志数据进行存储即执行JETR操作时，需要一定的IO吞吐能力。若该备份设备当前其他的IO操作较多而无法及时处理日志数据的落盘操作时，可对无法及时处理的日志备份任务进行延迟处理。
[0046] 具体地，存储设备进行一次IO操作最大能搬运的字节数是固定的，单次的IO操作可称为一个IO任务。对于接收到的日志数据，其落盘操作可分成多个IO任务，而延迟处理队列可用于存放无法及时处理的IO任务，以便备份设备在空暇时再进行处理。
[0047] S103：通过预设进程轮询判断延迟处理队列中各个IO任务距离超时的剩余时间是否低于预设时长，并执行剩余时间低于预设时长的IO任务。
[0048] 具体地，本申请实施例设置有用于防超时的预设进程。该进程在执行过程期间，将不断周期性地轮询延迟处理队列中的各个IO任务，获取IO任务距离超时的剩余时间。若一旦发现距离超时的剩余时间低于预设时长的IO任务，则预设进程便可以立刻执行该IO任务，以防止超时。
[0049] 并且，作为一个具体实施例，预设进程可具体为预设守护进程，在后台自动运行，以便及时地进行超时预防。
[0050] 还需进一步说明的是，作为一个具体实施例，预设进程执行可具体通过调动对应IO任务的唤醒函数的方式来执行快要超时的IO任务。
[0051] 在上述内容的基础上，作为一个具体实施例，预设时长可具体设置为2秒。由于一个IO任务的执行时间非常短，通常在毫秒级别。因此，在距离超时还剩下的这2秒的时间内足够完成一个IO任务。当然，本领域技术人员也可以根据实际应用需要而将预设时长设置为其他合适的数值。
[0052] 结合上述内容，预设进程轮询判断的过程可参见图2。图2为本申请实施例公开的一种轮询延迟处理队列的方法流程图，主要包括：
[0053] S201：确定当前轮询的IO任务。
[0054] S202：获取该IO任务距离超时的剩余时间。
[0055] S203：判断该剩余时间是否小于2秒；若是，则进入S204；若否，则进入S205。
[0056] S204：调用该IO任务的唤醒函数；进入S205。
[0057] S205：指针指向下一个IO任务；进入S202。
[0058] 本申请实施例所提供的备份日志数据的防超时方法包括：接收源设备发送的待备份的日志数据；将当前无法处理的日志数据对应的IO任务存放至延迟处理队列；通过预设进程轮询判断延迟处理队列中各个IO任务距离超时的剩余时间是否低于预设时长，并执行剩余时间低于预设时长的IO任务。
[0059] 可见，本申请利用预设进程，可自动监视延迟处理队列中各个IO任务的超时情况，进而将快要超时的IO任务及时地在超时之前进行处理，有效地降低了备份超时概率，避免了源设备与备份设备之间重复进行数据传输，进而提高了备份效率，有效缓解了源设备的业务处理负担和网络通信负担。
[0060] 作为一种具体实施例，在上述内容的基础上，本申请实施例所提供的备份日志数据的防超时方法还包括：
[0061] 记录延迟处理队列中IO任务的超时率；
[0062] 判断超时率是否高于预设阈值；
[0063] 若是，则增大预设时长；
[0064] 若否，则判断备份设备的CPU占用率是否高于预设比值；
[0065] 若CPU占用率高于预设比值，则减小预设时长。
[0066] 具体地，本申请实施例所公开的备份日志数据的防超时方法，还提供了对预设时长这一参数的自动修改机制。由于预设时长是预留出用于提前处理IO任务的时长，因此预设时长过短，则可能会导致该IO任务无法在超时之前及时处理完成；而若预设时长过长，则又会加重备份设备的资源占用率，例如CPU占用率等。
[0067] 由此，本申请分别基于延迟队列中IO任务的超时率、备份设备的CPU占用率来对预设时长进行合理调整：当延迟处理队列中IO任务的超时率高于预设阈值时，便将预设时长调大；而当延迟处理队列中IO任务的超时率不高于预设阈值、但备份设备的CPU占用率高于预设比值时，则可将预设时长调小。
[0068] 参见图3所示，本申请实施例公开了一种备份日志数据的防超时装置，主要包括：
[0069] 接收模块301，用于接收源设备发送的待备份的日志数据；
[0070] 缓存模块302，用于将当前无法处理的日志数据对应的IO任务存放至延迟处理队列；
[0071] 监察模块303，用于通过预设进程轮询判断延迟处理队列中各个IO任务距离超时的剩余时间是否低于预设时长，并执行剩余时间低于预设时长的IO任务。
[0072] 可见，本申请实施例所公开的备份日志数据的防超时装置利用预设进程，可自动监视延迟处理队列中各个IO任务的超时情况，进而将快要超时的IO任务及时地在超时之前进行处理，有效地降低了备份超时概率，避免了源设备与备份设备之间重复进行数据传输，进而提高了备份效率，有效缓解了源设备的业务处理负担和网络通信负担。
[0073] 关于上述备份日志数据的防超时装置的具体内容，可参考前述关于备份日志数据的防超时方法的详细介绍，这里就不再赘述。
[0074] 进一步地，在上述内容的基础上，本申请实施例所公开的备份日志数据的防超时装置，在一种具体实施方式中还包括修正模块，用于记录延迟处理队列中IO任务的超时率；判断超时率是否高于预设阈值；若是，则增大预设时长。
[0075] 进一步地，在上述内容的基础上，本申请实施例所公开的备份日志数据的防超时装置，在一种具体实施方式中，修正模块还用于：在判断超时率是否高于预设阈值之后，若否，则判断备份设备的CPU占用率是否高于预设比值；若CPU占用率高于预设比值，则减小预设时长。
[0076] 进一步地，在上述内容的基础上，本申请实施例所公开的备份日志数据的防超时装置，在一种具体实施方式中，预设进程为预设守护进程。
[0077] 进一步地，在上述内容的基础上，本申请实施例所公开的备份日志数据的防超时装置，在一种具体实施方式中，预设时长为2秒。
[0078] 进一步地，在上述内容的基础上，本申请实施例所公开的备份日志数据的防超时装置，在一种具体实施方式中，监察模块303具体用于：调用剩余时间低于预设时长的IO任务的唤醒函数。
[0079] 参见图4所示，本申请实施例公开了一种电子设备，包括：
[0080] 存储器401，用于存储计算机程序；
[0081] 处理器402，用于执行所述计算机程序以实现如上所述的任一种备份日志数据的防超时方法的步骤。
[0082] 进一步地，本申请实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种备份日志数据的防超时方法的步骤。
[0083] 关于上述电子设备和计算机可读存储介质的具体内容，可参考前述关于备份日志数据的防超时方法的详细介绍，这里就不再赘述。
[0084] 本申请中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0085] 还需说明的是，在本申请文件中，诸如“第一”和“第二”之类的关系术语，仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。此外，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0086] 以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 数据审计方法、装置、设备及存储介质 | 2020-05-08 | 874 |
| 内容推荐方法、装置、电子设备及存储介质 | 2020-05-08 | 618 |
| 一种备份日志数据的防超时方法、装置、设备及介质 | 2020-05-08 | 388 |
| 一种路由器的纯PHY接口板主备管理方法 | 2020-05-08 | 48 |
| 一种雷达实时信号处理应用软件架构 | 2020-05-08 | 902 |
| 列车自动监控系统的共享式通信平台 | 2020-05-08 | 268 |
| 一种提高扫描系统插件运行效率的方法、设备及介质 | 2020-05-08 | 491 |
| IGBT功率模块老化测试系统及方法 | 2020-05-08 | 28 |
| 一种便于维护更换的钻井固控系统 | 2020-05-11 | 778 |
| 一种高分子生物降解材料的动态降解装置 | 2020-05-11 | 382 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈