首页 / 专利库 / 专利权 / 申请 / 国际申请 / 修改 / 分布式集群系统配置文件同步方法、装置、系统及介质

分布式集群系统配置文件同步方法、装置、系统及介质

阅读:615发布:2021-06-08

专利汇可以提供分布式集群系统配置文件同步方法、装置、系统及介质专利检索,专利查询,专利分析的服务。并且本 发明 实施例 公开了一种分布式集群系统配置文件同步方法、装置、设备、系统及计算机可读存储介质。其中,方法包括主 节点 在用户 修改 配置文件后,将包含修改配置文件的消息队列消息发送至广播交换机,以使各从节点接收到消息队列消息;各从节点根据消息队列消息的格式解析得到待同步配置文件信息;根据待同步配置文件信息修改源配置文件的相应内容,以实现从节点和主节点配置文件的同步。本 申请 通过创建消息队列集群,各从节点解析主节点广播的修改后配置文件,并对相应的配置文件进行精细修改,实现了配置文件的灵活修改,过程简单,易于实现;基于消息队列集群实现消息传递,实现了主节点和各从节点间 进程 的解耦,提升了可靠性,易于扩展。,下面是分布式集群系统配置文件同步方法、装置、系统及介质专利的具体信息内容。

1.一种分布式集群系统配置文件同步方法,其特征在于,基于分布式集群系统的各从节点,各从节点和主节点通过消息队列通信,包括:
接收主节点通过所述消息队列集群广播的消息队列消息,所述消息队列消息包含所述主节点被用户修改后的配置文件信息;
根据消息队列消息的格式解析得到待同步配置文件信息;
根据所述待同步配置文件信息修改源配置文件的相应内容,以实现从节点和主节点配置文件的同步。
2.根据权利要求1所述的分布式集群系统配置文件同步方法,其特征在于,所述待同步配置文件信息包括配置文件名称、配置文件变化内容、变化类型、修改时间及重启服务。
3.根据权利要求2所述的分布式集群系统配置文件同步方法,其特征在于,在所述接收主节点通过消息队列集群广播的消息队列消息之后,还包括:
将所述消息队列消息存储至缓存中。
4.根据权利要求1至3任意一项所述的分布式集群系统配置文件同步方法,其特征在于,所述根据所述待同步配置文件信息修改源配置文件的相应内容包括:
根据所述待同步配置文件信息的标识信息调用相应的信息处理脚本;各信息处理脚本相互独立;
利用所述信息处理脚本对相应源配置文件进行修改。
5.一种分布式集群系统配置文件同步装置,其特征在于,基于分布式集群系统的各从节点,各从节点和主节点通过消息队列通信,包括:
消息接收模,用于接收主节点通过消息队列集群广播的消息队列消息,所述消息队列消息包含所述主节点被用户修改后的配置文件信息;
消息解析模块,用于根据消息队列消息的格式解析得到待同步配置文件信息;
消息配置模块,用于根据所述待同步配置文件信息修改源配置文件的相应内容,以实现从节点和主节点配置文件的同步。
6.一种分布式集群系统配置文件同步设备,其特征在于,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至4任一项所述分布式集群系统配置文件同步方法的步骤。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有分布式集群系统配置文件同步程序,所述分布式集群系统配置文件同步程序被处理器执行时实现如权利要求1至4任一项所述分布式集群系统配置文件同步方法的步骤。
8.一种分布式集群系统配置文件同步方法,其特征在于,基于分布式集群系统的主节点,所述主节点和各从节点通过消息队列通信,包括:
当接收用户修改配置文件的请求,将用户修改配置文件的操作转化为消息队列消息;
通过所述消息队列向各从节点发送所述消息队列消息。
9.一种分布式集群系统配置文件同步装置,其特征在于,基于分布式集群系统的主节点,所述主节点和各从节点通过消息队列通信,包括:
消息转化模块,用于当接收用户修改配置文件的请求,将用户修改配置文件的操作转化为消息队列消息;
消息广播模块,用于通过所述消息队列向各从节点发送所述消息队列消息。
10.一种分布式集群系统配置文件同步系统,其特征在于,包括主节点、多个从节点、设置在所述主节点的消息队列及设置在每个从节点的监听队列,所述消息队列包括广播交换机;各监听队列与所述广播交换机绑定,所述主节点与各从节点通过所述消息队列进行通信;
所述主节点在用户修改配置文件后,将包含修改配置文件的消息队列消息发送至所述广播交换机,以使各从节点接收到所述消息队列消息;
各从节点根据所述消息队列消息的格式解析得到待同步配置文件信息;根据所述待同步配置文件信息修改源配置文件的相应内容,以实现从节点和主节点配置文件的同步。

说明书全文

分布式集群系统配置文件同步方法、装置、系统及介质

技术领域

[0001] 本发明实施例涉及分布式集群系统设计技术领域,特别是涉及一种分布式集群系统配置文件同步方法、装置、设备及计算机可读存储介质。

背景技术

[0002] 随着技术、大数据的快速发展,数据呈现爆炸性增长,分布式集群系统应用越来越广。分布式集群系统由若干台服务器组成,每个服务器称为一个节点,节点色分为主节点和普通节点。各节点之间经常需要使用同样的配置文件,当用户修改其中一个节点的配置文件,需要将修改后的文件同步到其他节点,以保证分布式集群中每个节点配置文件一致。
[0003] 分布式集群系统一般是在主节点修改配置文件,传统的实现方式是主节点把配置文件通过scp命令或是socket同步到其他节点,其原理示意图请参阅图1所示。通过scp命令拷贝配置文件到远程节点,命令简单,但是整个配置文件强制覆盖原先的配置文件,当需要精细控制到只修改配置文件的部分内容时,就无法实现了,灵活性较差。而通过socket同步配置文件,可以做到只把配置文件中发生变化的内容发送到其他节点,实现精细控制,但是socket实现相对复杂,涉及到断线重连等问题。

发明内容

[0004] 本公开实施例提供了一种分布式集群系统配置文件同步方法、装置、设备及计算机可读存储介质,实现了对配置文件的灵活修改,实现过程简单,可靠性高,易于扩展。
[0005] 为解决上述技术问题,本发明实施例提供以下技术方案:
[0006] 本发明实施例一方面提供了一种分布式集群系统配置文件同步方法,基于分布式集群系统的各从节点,各从节点和主节点通过消息队列通信,包括:
[0007] 接收主节点通过所述消息队列集群广播的消息队列消息,所述消息队列消息包含所述主节点被用户修改后的配置文件信息;
[0008] 根据消息队列消息的格式解析得到待同步配置文件信息;
[0009] 根据所述待同步配置文件信息修改源配置文件的相应内容,以实现从节点和主节点配置文件的同步。
[0010] 可选的,所述待同步配置文件信息包括配置文件名称、配置文件变化内容、变化类型、修改时间及重启服务。
[0011] 可选的,在所述接收主节点通过消息队列集群广播的消息队列消息之后,还包括:
[0012] 将所述消息队列消息存储至缓存中。
[0013] 可选的,所述根据所述待同步配置文件信息修改源配置文件的相应内容包括:
[0014] 根据所述待同步配置文件的标识信息调用相应的信息处理脚本;各信息处理脚本相互独立;
[0015] 利用所述信息处理脚本对相应源配置文件进行修改。
[0016] 本发明实施例还提供了一种分布式集群系统配置文件同步装置,基于分布式集群系统的各从节点,各从节点和主节点通过消息队列通信,包括:
[0017] 消息接收模,用于接收主节点通过消息队列集群广播的消息队列消息,所述消息队列消息包含所述主节点被用户修改后的配置文件信息;
[0018] 消息解析模块,用于根据消息队列消息的格式解析得到待同步配置文件信息;
[0019] 消息配置模块,用于根据所述待同步配置文件信息修改源配置文件的相应内容,以实现从节点和主节点配置文件的同步。
[0020] 本发明实施例还提供了一种分布式集群系统配置文件同步设备,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述分布式集群系统配置文件同步方法的步骤。
[0021] 本发明实施例最后还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有分布式集群系统配置文件同步程序,所述分布式集群系统配置文件同步程序被处理器执行时实现如前任一项所述分布式集群系统配置文件同步方法的步骤。
[0022] 本发明实施例另一方面提供了一种分布式集群系统配置文件同步方法,基于分布式集群系统的主节点,所述主节点和各从节点通过消息队列通信,包括:
[0023] 当接收用户修改配置文件的请求,将用户修改配置文件的操作转化为消息队列消息;
[0024] 通过所述消息队列向各从节点发送所述消息队列消息。
[0025] 本发明实施例还提供了一种分布式集群系统配置文件同步装置,基于分布式集群系统的主节点,所述主节点和各从节点通过消息队列通信,包括:
[0026] 消息转化模块,用于当接收用户修改配置文件的请求,将用户修改配置文件的操作转化为消息队列消息;
[0027] 消息广播模块,用于通过所述消息队列向各从节点发送所述消息队列消息。
[0028] 本发明实施例最后提供了一种分布式集群系统配置文件同步系统,包括主节点、多个从节点、设置在所述主节点的消息队列及设置在每个从节点的监听队列,所述消息队列包括广播交换机;各监听队列与所述广播交换机绑定,所述主节点与各从节点通过所述消息队列进行通信;
[0029] 所述主节点在用户修改配置文件后,将包含修改配置文件的消息队列消息发送至所述广播交换机,以使各从节点接收到所述消息队列消息;
[0030] 各从节点根据所述消息队列消息的格式解析得到待同步配置文件信息;根据所述待同步配置文件信息修改源配置文件的相应内容,以实现从节点和主节点配置文件的同步。
[0031] 本申请提供的技术方案的优点在于,在分布式集群系统中创建消息队列集群,用户修改配置文件时,主节点通过消息队列集群将修改配置文件信息发送至各从节点,各从节点解析需要修改的配置文件内容,并对相应的配置文件进行精细修改,实现了分布式集群系统中配置文件的灵活修改,实现过程简单,易于实现;此外,基于消息队列集群实现消息传递,实现了主节点和各从节点间进程的解耦,提升了可靠性,易于扩展。
[0032] 此外,本发明实施例还针对分布式集群系统配置文件同步方法提供了相应的实现装置、设备及计算机可读存储介质,进一步使得所述方法更具有实用性,所述装置、设备及计算机可读存储介质具有相应的优点。
[0033] 应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。附图说明
[0034] 为了更清楚的说明本发明实施例或相关技术的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0035] 图1为本发明实施例提供的一个相关技术的集群管理系统配置文件同步原理示意图;
[0036] 图2为本发明实施例提供的一种分布式集群系统配置文件同步方法的流程示意图;
[0037] 图3为本发明实施例提供的分布式集群系统配置文件同步装置的一种具体实施方式结构图;
[0038] 图4为本发明实施例提供的分布式集群系统配置文件同步装置的另一种具体实施方式结构图;
[0039] 图5为本发明实施例提供的分布式集群系统配置文件同步装置的再一种具体实施方式结构图;
[0040] 图6为本发明实施例提供的分布式集群系统配置文件同步系统的实现过程原理示意图。

具体实施方式

[0041] 为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0042] 本申请的说明书权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
[0043] 在介绍了本发明实施例的技术方案后,下面详细的说明本申请的各种非限制性实施方式。
[0044] 首先参见图2,图2为本发明实施例提供的以一个从节点为例的一种分布式集群系统配置文件同步方法的交互流程示意图,本发明实施例可包括以下内容:
[0045] S201:主节点接收用户修改配置文件的请求,将用户修改配置文件的操作转化为消息队列消息。
[0046] S202:主节点通过消息队列向各从节点发送消息队列消息。
[0047] 在主节点创建消息队列,消息队列包括广播交换机,每个从节点创建一个监听队列,且各监听队列与广播交换机绑定,以接收广播交换机发送的消息,构成消息队列集群。
[0048] 主节点的执行进程(执行主语)可命名为public-masterd,各从节点的执行进程(执行主语)可命名为public-agentd。之所以进程名为public-*,是因为在目前实现中配置文件同步是public模块的一部分,除此之外还有例如远程执行命令等功能。
[0049] 主节点的public-masterd和各从节点public-agentd通过消息队列进行通信,就可将public-agentd和public-masterd进行解耦,提升系统的可靠性。
[0050] 主节点接收到用户修改配置文件的请求后,根据用户输入的配置文件的修改内容,对相应的源配置文件进行修改。当用户修改配置文件完成后,主节点发送消息队列消息到广播交换机,这样各从节点就能收到配置文件变化的消息。
[0051] 主节点可按照预设设定的消息格式将修改配置文件的相关信息生成消息队列信息,以使从节点根据已知消息格式进行解析,得到相对应的内容。
[0052] S203:各从节点接收主节点通过消息队列集群广播的消息队列消息。
[0053] S204:各从节点根据消息队列消息的格式解析得到待同步配置文件信息。
[0054] 待同步配置文件信息为从节点需要对从节点的配置文件同步的内容,也即需要精细修改从节点源配置文件的一些事项,例如可包括配置文件名称、配置文件变化内容、变化类型、修改时间及重启服务。配置文件名称(例如A配置文件)用于定位需要同步的配置文件,即为发生变化的配置文件的名称,分布式系统集群中有多个配置文件,每个配置文件均具有唯一标识名称;变化类型为配置文件的修改类型,例如增加内容、修改参数、删除内容等;配置文件变化内容为对配置文件(例如A配置文件)中需要增加、删减或修改的一些内容,重启服务即修改之后的服务是否需要重启。
[0055] 举例来说,消息队列消息的格式可为配置文件名称+配置文件变化类型+配置文件增加内容/配置文件删除内容/配置文件修改内容+修改时间。从节点在接收到消息队列消息时,便可跟该消息的格式依次提取各部分内容,得到配置文件名,变化前后的内容,变化的类型(增加、修改、删除),变化时间,是否需要重启服务等
[0056] S205:各从节点根据待同步配置文件信息修改源配置文件的相应内容,以实现从节点和主节点配置文件的同步。
[0057] 当然,在解析消息队列消息后存在重启服务,从节点在修改配置文件完成后,根据需要重启相应服务。
[0058] 由于从节点处理消息的线程有数量限制,为了防止消息较多,处理不过来,从节点从消息队列中收到一个消息后,可将消息先缓存起来。从节点消息处理线程然后从缓存中取得消息,对消息进行解析。
[0059] 从节点中包含多个信息处理脚本,各信息处理脚本相互独立,每个脚本负责处理一个配置文件,每个配置文件对应具有唯一的标识信息(例如可为配置文件的名称),该标识信息与相应信息处理脚本相绑定,在解析得到待同步配置文件后,可根据待同步配置文件的标识信息调用相应的信息处理脚本,利用信息处理脚本对相应源配置文件进行修改。
[0060] 在分布式系统集群中新增加配置文件,对该新增加配置文件进行修改时,只需要在从节点出增加该配置文件对应的信息处理脚本即可,对已有业务代码影响较小,易于扩展。
[0061] 在本发明实施例提供的技术方案中,在分布式集群系统中创建消息队列集群,用户修改配置文件时,主节点通过消息队列集群将修改配置文件信息发送至各从节点,各从节点解析需要修改的配置文件内容并对相应的配置文件进行精细修改,实现了分布式集群系统中配置文件的灵活修改,实现过程简单;此外,基于消息队列集群实现消息传递,实现了主节点和各从节点间进程的解耦,提升了可靠性,易于扩展。
[0062] 本发明实施例还针对分布式集群系统配置文件同步方法提供了相应的实现装置,进一步使得所述方法更具有实用性。下面对本发明实施例提供的分布式集群系统配置文件同步装置进行介绍,下文描述的分布式集群系统配置文件同步装置与上文描述的分布式集群系统配置文件同步方法可相互对应参照。
[0063] 参见图3,图3为本发明实施例提供的分布式集群系统配置文件同步装置在一种具体实施方式下的结构图,基于分布式集群系统的各从节点,该装置可包括:
[0064] 消息接收模块301,用于接收主节点通过消息队列集群广播的消息队列消息,消息队列消息包含主节点被用户修改后的配置文件信息。
[0065] 消息解析模块302,用于根据消息队列消息的格式解析得到待同步配置文件信息。
[0066] 消息配置模块303,用于根据待同步配置文件信息修改源配置文件的相应内容,以实现从节点和主节点配置文件的同步。
[0067] 可选的,在本实施例的一些实施方式中,请参阅图4,所述装置例如还可以包括存储模块304,用于将所述消息队列消息存储至缓存中。
[0068] 在另外一种实施方式中,所述消息配置模块303还可为根据待同步配置文件的标识信息调用相应的信息处理脚本;各信息处理脚本相互独立;利用信息处理脚本对相应源配置文件进行修改的模块。
[0069] 参见图5,图5为本发明实施例提供的分布式集群系统配置文件同步装置在一种具体实施方式下的结构图,基于分布式集群系统的主节点,包括:
[0070] 消息转化模块501,用于当接收用户修改配置文件的请求,将用户修改配置文件的操作转化为消息队列消息;
[0071] 消息广播模块502,用于通过消息队列向各从节点发送消息队列消息。
[0072] 本发明实施例所述分布式集群系统配置文件同步装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
[0073] 由上可知,本发明实施例实现了对配置文件的灵活修改,实现过程简单,可靠性高,易于扩展。
[0074] 本发明实施例还提供了一种分布式集群系统配置文件同步系统,参见图6,在图6中,主节点的执行进程可为public-masterd,消息队列可为rabbitmq,从节点的执行进程可为public-agentd,每个消息队列信息可为rabbitmq消息。
[0075] 分布式集群系统配置文件同步系统可包括主节点、多个从节点(1、2、……、n)、设置在主节点的消息队列及设置在每个从节点的监听队列,消息队列包括广播交换机;主节点与各从节点通过消息队列进行通信。
[0076] 主节点在用户修改配置文件后,将包含修改配置文件的消息队列消息发送至广播交换机,以使各从节点接收到消息队列消息;
[0077] 各从节点根据消息队列消息的格式解析得到待同步配置文件信息;根据待同步配置文件信息修改源配置文件的相应内容,以实现从节点和主节点配置文件的同步。
[0078] 本发明实施例所述分布式集群系统配置文件同步系统的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
[0079] 由上可知,本发明实施例实现了对配置文件的灵活修改,实现过程简单,可靠性高,易于扩展。
[0080] 本发明实施例还提供了一种分布式集群系统配置文件同步设备,具体可包括:
[0081] 存储器,用于存储计算机程序;
[0082] 处理器,用于执行计算机程序以实现如上任意一实施例所述分布式集群系统配置文件同步方法的步骤。
[0083] 本发明实施例所述分布式集群系统配置文件同步设备的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
[0084] 由上可知,本发明实施例实现了对配置文件的灵活修改,实现过程简单,可靠性高,易于扩展。
[0085] 本发明实施例还提供了一种计算机可读存储介质,存储有分布式集群系统配置文件同步程序,所述分布式集群系统配置文件同步程序被处理器执行时如上任意一实施例所述分布式集群系统配置文件同步方法的步骤。
[0086] 本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
[0087] 由上可知,本发明实施例实现了对配置文件的灵活修改,实现过程简单,可靠性高,易于扩展。
[0088] 本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
[0089] 专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
[0090] 结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
[0091] 以上对本发明所提供的一种分布式集群系统配置文件同步方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
相关专利内容
标题 发布/更新时间 阅读量
一种修改中性笔 2020-05-12 964
修改图表 2020-05-11 421
修改素材 2020-05-11 268
定向声音修改 2020-05-13 700
修改带 2020-05-11 58
修改对话窗口 2020-05-12 756
声学信号修改 2020-05-12 729
引导过程修改 2020-05-13 821
错字修改笔 2020-05-12 603
修改带 2020-05-11 935
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈