数据处理、发布、获取方法及系统
阅读：1027发布：2020-08-21
专利汇可以提供数据处理、发布、获取方法及系统专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种 数据处理 、发布、获取方法及系统，所述数据处理方法包括：发布端将从一数据产生端实时 抽取 的数据推送至接入层；接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中；分发层根据第二匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中；所述订阅端根据第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据，以Pub/Sub模式的分布式技术架构整个服务，发布端和订阅端可通过灵活的主题订阅发布机制进行关联，发布端、订阅端、分发层和接入层的 节点 之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，实现数据按不同主题进行一对多批量分发。，下面是数据处理、发布、获取方法及系统专利的具体信息内容。
1.一种数据处理方法，其特征在于，包括：
发布端将从一数据产生端实时抽取的数据推送至接入层；
订阅端设置第二匹配方式；
分发层获取所述第二匹配方式，并根据所述第二匹配方式生成第一匹配方式；
接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中；
分发层根据所述第二匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中；
所述订阅端根据所述第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据；
其中第一邮箱和第二邮箱是指数据的存储空间。
2.一种数据发布方法，其特征在于，包括：
发布端将从一数据产生端实时抽取的数据推送至接入层；
分发层从一订阅端获取第二匹配方式，并根据所述第二匹配方式生成第一匹配方式；
接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中；
分发层根据所述第二匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中；
其中第一邮箱和第二邮箱是指数据的存储空间。
3.一种数据处理系统，其特征在于，包括：
发布端，用于将从一数据产生端实时抽取的数据推送至接入层；
订阅端，用于设置第二匹配方式，并根据所述第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据；
分发层，用于获取所述第二匹配方式，并根据所述第二匹配方式生成第一匹配方式，根据所述第二匹配方式和预设的通道方式从对应的第一邮箱中获取第二筛选数据并存储入所述第二邮箱中；
接入层，用于根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入所述第一邮箱中；
其中第一邮箱和第二邮箱是指数据的存储空间。
4.如权利要求3所述的数据处理系统，其特征在于，所述接入层前置有一负载均衡设备。
5.如权利要求3所述的数据处理系统，其特征在于，所述发布端、订阅端、分发层和接入层中的一种或多种分别支持多进程横向扩展。
6.如权利要求3所述的数据处理系统，其特征在于，所述发布端、订阅端、分发层和接入层中的一种或多种分别支持多节点横向扩展。
7.如权利要求6所述的数据处理系统，其特征在于，所述发布端分布式部署。
8.如权利要求6所述的数据处理系统，其特征在于，所述接入层集中式部署。
9.如权利要求6所述的数据处理系统，其特征在于，所述分发层和/或订阅端分布式或集中式部署。
10.如权利要求3所述的数据处理系统，其特征在于，所述实时抽取的数据包括动态数据和静态数据。
11.如权利要求10所述的数据处理系统，其特征在于，所述静态数据为新增的和更新的静态数据。
12.如权利要求10所述的数据处理系统，其特征在于，所述动态数据为上一次更新动态数据的时间点后产生的动态数据。
13.如权利要求3所述的数据处理系统，其特征在于，所述实时抽取的数据包括具体内容、数据发布者、服务类别和主题类型的信息。
14.如权利要求3所述的数据处理系统，其特征在于，所述第一匹配方式或第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。
15.如权利要求3所述的数据处理系统，其特征在于，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合。
16.一种数据发布系统，其特征在于，包括：
发布端，用于将从一数据产生端实时抽取的数据推送至接入层；
分发层，用于获取第二匹配方式，并根据所述第二匹配方式生成第一匹配方式，根据所述第二匹配方式和预设的通道方式从对应的第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中；
接入层，用于根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入所述第一邮箱中；
其中第一邮箱和第二邮箱是指数据的存储空间。
17.如权利要求16所述的数据发布系统，其特征在于，所述接入层前置有一负载均衡设备。
18.如权利要求16所述的数据发布系统，其特征在于，所述发布端、分发层和接入层中的一种或多种分别支持多进程横向扩展。
19.如权利要求16所述的数据发布系统，其特征在于，所述发布端、分发层和接入层中的一种或多种分别支持多节点横向扩展。
数据处理、发布、获取方法及系统
技术领域
背景技术
[0002] 目前，盛大游戏拥有像AION、龙之谷、星辰变、传奇、传世、魔界2等诸多款游戏，这些游戏每天都会产生大量的动态数据和静态数据。根据目前的不完全统计，星辰变每天能够产生17种以上达到2000万的游戏动态数据，龙之谷每天能够产生11种以上的多达6000万游戏动态数据；每款游戏每天产生的静态数据少则几十兆，甚至达到几百兆之多。
[0003] 盛大游戏的游戏服务器一般也部署在全国的很多个IDC机房，而开放平台的服务器是采用集中式部署，由于复杂的网络环境以及庞大的数据量，如何能够将这些数据能够实时的提供给开放平台的APP应用，一直是一个难题。针对这些数据，现有技术有些采用了T+1的方式提供数据，也有些采用T+2的方式提供的数据，然后对于一些要求实时或者准实时的应用来说，这种T+1的方式或T+2的方式已经失去了意义。
[0004] 盛大游戏的动态数据的发布目前采用的是由动态抽取程序抽取数据以后通过一个网站api接口推送到Redis系统中。由于Redis系统采用内存的方式对数据进行缓存，在海量数据的情况下，仅仅采用内存无法满足需求，在启用VM(virtual memory)的情况下，大量的请求导致数据在内存和磁盘之间大量的换入换出，从而导致性能急剧下降和服务不可用。对于不断增长的数据量，如果一味的扩展内存以满足业务的需求，只能导致成本的不断增长。
[0006] 1、所有的静态数据采用T+1甚至T+2的方式提供，无法保证实时性要求；
[0007] 2、提供的是全量数据，大量重复的数据导致网络带宽的浪费和大量的人工成本；
[0008] 3、对于海量的数据这种情况，整个项目中将无法沿用原有的处理方法进行实施。
发明内容
[0009] 本发明的目的在于提供一种数据处理、数据发布、数据获取方法及数据处理、数据发布、数据获取系统，能够以Pub（发布）/Sub（订阅）模式的分布式技术架构整个服务，发布端和订阅端可通过灵活的主题订阅发布机制进行关联，发布端、订阅端、分发层和接入层的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，可按照多级匹配规则如多级正则匹配规则来支持复杂多样的业务需求，将数据投递到所述第二邮箱中供订阅端获取，订阅端以预设的通道方式从所述第二邮箱中拉取数据，实现主题一对多批量分发。
[0010] 为解决上述问题，本发明提供一种数据处理方法，包括：
[0011] 发布端将从一数据产生端实时抽取的数据推送至接入层；
[0012] 订阅端设置第二匹配方式；
[0013] 分发层获取所述第二匹配方式，并根据所述第二匹配方式生成第一匹配方式；
[0014] 接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中；
[0015] 分发层根据所述第二匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中；
[0016] 所述订阅端根据所述第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据。
[0017] 进一步的，在上述方法中，所述接入层前置有一负载均衡设备。
[0019] 进一步的，在上述方法中，所述发布端、订阅端、分发层和接入层中的一种或多种分别支持多节点横向扩展。
[0020] 进一步的，在上述方法中，所述发布端分布式部署。
[0021] 进一步的，在上述方法中，所述接入层集中式部署。
[0022] 进一步的，在上述方法中，所述分发层和/或订阅端分布式或集中式部署。
[0023] 进一步的，在上述方法中，所述数据产生端包括游戏服务器。
[0024] 进一步的，在上述方法中，所述实时抽取的数据包括动态数据和静态数据。
[0025] 进一步的，在上述方法中，发布端将从一数据产生端实时抽取的数据推送至接入层的步骤中，所述静态数据为新增的和更新的静态数据。
[0026] 进一步的，在上述方法中，发布端将从一数据产生端实时抽取的数据推送至接入层的步骤中，所述动态数据为上一次更新动态数据的时间点后产生的动态数据。
[0027] 进一步的，在上述方法中，所述实时抽取的数据包括具体内容、数据发布者、服务类别和主题类型的信息。
[0028] 进一步的，在上述方法中，所述第一匹配方式或第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。
[0029] 进一步的，在上述方法中，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合。
[0030] 本发明还提供一种数据发布方法，包括：
[0031] 发布端将从一数据产生端实时抽取的数据推送至接入层；
[0032] 分发层从一订阅端获取第二匹配方式，并根据所述第二匹配方式生成第一匹配方式；
[0033] 接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中；
[0034] 分发层根据所述第二匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中。
[0035] 进一步的，在上述方法中，所述接入层前置有一负载均衡设备。
[0036] 进一步的，在上述方法中，所述发布端、分发层和接入层中的一种或多种分别支持多进程横向扩展。
[0037] 进一步的，在上述方法中，所述发布端、分发层和接入层中的一种或多种分别支持多节点横向扩展。
[0038] 进一步的，在上述方法中，所述发布端分布式部署。
[0039] 进一步的，在上述方法中，所述接入层集中式部署。
[0040] 进一步的，在上述方法中，所述分发层分布式或集中式部署。
[0041] 进一步的，在上述方法中，所述实时抽取的数据包括动态数据和静态数据。
[0042] 进一步的，在上述方法中，发布端将从一数据产生端实时抽取的数据推送至接入层的步骤中，所述静态数据为新增的和更新的静态数据。
[0043] 进一步的，在上述方法中，发布端将从一数据产生端实时抽取的数据推送至接入层的步骤中，所述动态数据为上一次更新动态数据的时间点后产生的动态数据。
[0044] 进一步的，在上述方法中，所述实时抽取的数据包括具体内容、数据发布者、服务类别和主题类型的信息。
[0045] 进一步的，在上述方法中，所述第一匹配方式或第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。
[0046] 进一步的，在上述方法中，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合。
[0047] 本发明阿还提供一种数据获取方法，包括：
[0048] 订阅端设置第二匹配方式；
[0049] 所述订阅端根据所述第二匹配方式和预设的通道方式从一第二邮箱中获取第二筛选数据。
[0050] 进一步的，在上述方法中，所述订阅端支持多进程横向扩展。
[0051] 进一步的，在上述方法中，所述订阅端支持多节点横向扩展。
[0052] 进一步的，在上述方法中，所述订阅端分布式或集中式部署。
[0053] 进一步的，在上述方法中，所述第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。
[0054] 进一步的，在上述方法中，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合。
[0055] 根据本发明的另一面，提供一种数据处理系统，包括：
[0056] 发布端，用于将从一数据产生端实时抽取的数据推送至接入层；
[0057] 订阅端，用于设置第二匹配方式，并根据所述第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据；
[0058] 分发层，用于获取所述第二匹配方式，并根据所述第二匹配方式生成第一匹配方式，根据所述第二匹配方式和预设的通道方式从对应的第一邮箱中获取第二筛选数据并存储入所述第二邮箱中；
[0059] 接入层，用于根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入所述第一邮箱中。
[0060] 进一步的，在上述系统中，所述接入层前置有一负载均衡设备。
[0061] 进一步的，在上述系统中，所述发布端、订阅端、分发层和接入层中的一种或多种分别支持多进程横向扩展。
[0062] 进一步的，在上述系统中，所述发布端、订阅端、分发层和接入层中的一种或多种分别支持多节点横向扩展。
[0063] 进一步的，在上述系统中，所述发布端分布式部署。
[0064] 进一步的，在上述系统中，所述接入层集中式部署。
[0065] 进一步的，在上述系统中，所述分发层和/或订阅端分布式或集中式部署。
[0066] 进一步的，在上述系统中，所述实时抽取的数据包括动态数据和静态数据。
[0067] 进一步的，在上述系统中，所述静态数据为新增的和更新的静态数据。
[0068] 进一步的，在上述系统中，所述动态数据为上一次更新动态数据的时间点后产生的动态数据。
[0069] 进一步的，在上述系统中，所述实时抽取的数据包括具体内容、数据发布者、服务类别和主题类型的信息。
[0070] 进一步的，在上述系统中，所述第一匹配方式或第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。
[0071] 进一步的，在上述系统中，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合。
[0072] 本发明还提供一种数据发布系统，包括：
[0073] 发布端，用于将从一数据产生端实时抽取的数据推送至接入层；
[0074] 分发层，用于获取第二匹配方式，并根据所述第二匹配方式生成第一匹配方式，根据所述第二匹配方式和预设的通道方式从对应的第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中；
[0075] 接入层，用于根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入所述第一邮箱中。
[0076] 进一步的，在上述系统中，所述接入层前置有一负载均衡设备。
[0077] 进一步的，在上述系统中，所述发布端、分发层和接入层中的一种或多种分别支持多进程横向扩展。
[0078] 进一步的，在上述系统中，所述发布端、分发层和接入层中的一种或多种分别支持多节点横向扩展。
[0079] 进一步的，在上述系统中，所述发布端分布式部署。
[0080] 进一步的，在上述系统中，所述接入层集中式部署。
[0081] 进一步的，在上述系统中，所述分发层分布式或集中式部署。
[0082] 进一步的，在上述系统中，所述实时抽取的数据包括动态数据和静态数据。
[0083] 进一步的，在上述系统中，所述静态数据为新增的和更新的静态数据。
[0084] 进一步的，在上述系统中，所述动态数据为上一次更新动态数据的时间点后产生的动态数据。
[0085] 进一步的，在上述系统中，所述实时抽取的数据包括具体内容、数据发布者、服务类别和主题类型的信息。
[0086] 进一步的，在上述系统中，所述第一匹配方式或第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。
[0087] 进一步的，在上述系统中，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合。
[0088] 本发明还提供一种数据获取系统，包括：
[0089] 订阅端，用于设置第二匹配方式，并将所述第二匹配方式发送至一分发层，并根据所述第二匹配方式和预设的通道方式从分发层的一第二邮箱中获取第二筛选数据。
[0090] 进一步的，在上述系统中，所述订阅端支持多进程横向扩展或多节点横向扩展。
[0091] 进一步的，在上述系统中，所述订阅端分布式或集中式部署。
[0092] 进一步的，在上述系统中，所述第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。
[0093] 进一步的，在上述系统中，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合。
[0094] 与现有技术相比，本发明具有如下优点：
[0095] 1）通过发布端将从一数据产生端实时抽取的数据推送至接入层，订阅端设置第二匹配方式，分发层获取所述第二匹配方式，并根据所述第二匹配方式生成第一匹配方式，接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中，分发层根据所述第二匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中，所述订阅端根据所述第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据，可以Pub（发布）/Sub（订阅）模式的分布式技术架构整个服务，发布端和订阅端可通过灵活的主题订阅发布机制进行关联，发布端、订阅端、分发层和接入层的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，可按照多级匹配规则如多级正则匹配规则来支持复杂多样的业务需求，将数据投递到所述第二邮箱中供订阅端获取，订阅端以预设的通道方式从所述第二邮箱中拉取数据，实现主题一对多批量分发；
[0096] 2）通过所述发布端、订阅端、分发层和接入层中的一种或多种分别支持多进程或多节点横向扩展，所述发布端、订阅端、分发层和接入层可根据实际需要分别设置多个服务器，每个服务器的数据相对独立，突破海量数据在实时性处理上对内存的过多依赖，利用低成本高容量的硬盘去持久化数据，实现多个服务器服务于一个或者多个主题来实现负载均衡和业务的扩展，接入层服务器和分发层服务器存贮引擎得到优化，提高数据存储容量、数据安全性、数据处理的性能和实时性；
[0097] 3）通过设置通道方式包括推方式、拉方式和订阅方式中的一种或任意组合，接入层与分发层之间、分发层与订阅端之间可以采用推、拉和订阅机制模式相结合的方式实现网络节点之间互联，可以根据网络环境的特点选择更为方便和可行的通道方式；
[0098] 4）通过所述接入层前置有一负载均衡设备，所述接入层集中式部署，所述负载均衡设备可提供统一接入服务，所述接入层以中间件的模式集中部署，并通过前置负载均衡设备，提供灵活的横向扩展能力。附图说明
[0100] 图2是本发明实施例二的数据发布方法的流程图；
[0101] 图3是本发明实施例三的数据获取方法的流程图；
[0102] 图4是本发明实施例四的数据处理系统的模块示意图；
[0103] 图5是本发明实施例四的数据处理系统的网络结构示意图；
[0104] 图6是实施例五的数据发布系统的模块示意图。
具体实施方式
[0105] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0106] 实施例一
[0107] 如图1所示，本发明提供一种数据处理方法，包括：
[0108] 步骤S11，发布端将从一数据产生端实时抽取的数据推送至接入层，其中，所述数据产生端包括游戏服务器。
[0109] 具体的，为了能够将分布在不同地方的数据实时、准时的提供给需要特定数据的开放平台，可根据数据产生端的特点如每款游戏的特点定制一个数据的抽取程序，在数据抽取程序和数据产生端之间采用数据库进行数据交互，即数据库用于存储所述实时抽取的数据。
[0110] 优选的，所述实时抽取的数据包括动态数据和静态数据，所有的动态数据和静态数据写入到数据库中，动态抽取程序会对所有指定的数据产生端如游戏指定区服的游戏动态和静态数据按照规则进行实时抽取，可以仅抽取新增的和更新的静态数据，也可仅抽取上一次更新动态数据的时间点后产生的动态数据，即对于动态数据而言，抽取程序在每次更新完毕以后，记录更新最近更新的时间，下一次更新都将从上次更新的时间点开始更新，这样发布端可只对增量静态数据和动态数据进行实时全量发布，大大的降低了静态数据和动态数据的数量。较佳的，所述实时抽取的数据包括具体内容、数据发布者、服务类别和主题类型的信息。
[0111] 步骤S12，订阅端设置第二匹配方式，具体的，所述第二匹配方式可为一种订阅规则。
[0113] 步骤S13，分发层获取所述第二匹配方式，并根据所述第二匹配方式生成第一匹配方式。
[0114] 较佳的，所述第一匹配方式或第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。
[0115] 步骤S14，接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中，具体的，随着业务量的增加，当接入层整体负荷过高的时候，通过在接入层加入新的服务器来保证服务的质量，为了保证数据发布的实时性要求，接入层通常提供大容量硬盘、高性能和高带宽，所有发布的主题都能够首先被高效的保存到系统的硬盘上，并随后通过分发层提供给订阅端。
[0116] 优选的，所述接入层前置有一负载均衡设备，以提供统一接入服务，提供灵活的横向扩展能力，以满足整个系统大容量、高稳定性和负载均衡的需求。
[0117] 步骤S15，分发层根据所述第二匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中。
[0118] 具体的，所述分发层会向所述接入层订阅自己感兴趣的主题，第一匹配方式可为如下的订阅规则：
[0119]
[0120] 上述订阅规则中，每个主题通过四个条件进行过滤，其中每个条件都支持正则表达式进行复杂匹配，以满足应用需求。其中，publisher用于限定数据由谁发布的；serviceid用于限制哪一类的服务，譬如可以采用以游戏名来指定；messagetype则用于限定主题的类型是什么，譬如登录、升级、加入公会等动态；content则对具体的数据进行限制。同时满足四个条件的主题将会保存到router配置项所定义的邮箱中。
[0121] 同理，所述第二匹配方式也可按上述订阅规则设置。分发层会从第一邮箱中会被动接收或者主动拉取该第一邮箱中的第一筛选数据，并再次调用本地的主题订阅规则获取第二筛选数据并存储入对应的第二邮箱中，以进行主题的分发，这里支持一个或者多个服务器采用同一套订阅规则即可构成一个服务器组，以实现主题的集群服务。
[0122] 步骤S16，所述订阅端根据所述第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据，这样接入层和分发层对发布端的数据进行规则匹配，并将筛选数据投递到相应的邮箱中，订阅端通过预定义的第二匹配方式如订阅规则获取自身关心的数据，并进行处理。
[0123] 优选的，所述发布端、订阅端、分发层和接入层中的一种或多种分别支持多进程横向扩展，另外，所述发布端、订阅端、分发层和接入层中的一种或多种也可分别支持多节点横向扩展，单服务器可以突破海量数据在实时性处理上对内存的过多依赖，利用低成本高容量的硬盘去持久化数据，提供处理系统的高性能和数据安全性，发布端、分发层、接入层和订阅端可支持根据数据量的大小加入更多的服务器的横向自由扩展方式来处理业务请求，保持在海量数据处理上的实时性要求，这里采用分布式技术，通过服务机器的横向扩展和灵活组网，通过多个服务器服务于一个或者多个主题来实现负载均衡和业务的扩展，接入层服务器和分发层服务器存贮引擎得到优化，提高数据存储容量、数据安全性、数据处理的性能和实时性，增加整个处理系统的处理能力。
[0124] 较佳的，发布端、分发层、接入层和订阅端可具有跨语言、跨平台、分布式、灵活组网的特性，通过对所述发布端分布式部署，对所述接入层集中式部署，对所述分发层和/或订阅端分布式或集中式部署，分发层可根据不同的主题来对海量主题进行筛选和分发。
[0125] 发布端、接入层、分发层和订阅端的特点如下表所示：
[0126]
[0127]
[0128] 较佳的，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合，这样分发层和接入层之间、分发层和订阅端之间可以采用推、拉和订阅机制模式相结合的方式实现网络节点之间互联，可以根据网络环境的特点选择更为方便和可行的通道方式。
[0129] 本实施例中，可以Pub（发布）/Sub（订阅）模式的分布式技术架构整个服务，发布端和订阅端可通过灵活的主题订阅发布机制进行关联，发布端、订阅端、分发层和接入层的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，可按照多级匹配规则如多级正则匹配规则来支持复杂多样的业务需求，将数据投递到所述第二邮箱中供订阅端获取，订阅端以预设的通道方式从所述第二邮箱中拉取数据，实现主题一对多批量分发，发布端采用增量数据的全量发布，分发层和接入层根据匹配方式如订阅规进行主题的筛选，不符合任何匹配方式如订阅规则的数据将会被丢弃，从而保证接入层对所有的主题进行集中的控制和一级级分发。
[0130] 另外，发布端、订阅端、分发层和接入层的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，在高并发、高负荷且并不过多损伤性能的情况下提供了数据的持久化，提高节点之间互联的灵活性。
[0131] 实施例二
[0132] 如图2所示，本发明还提供一种数据发布方法，包括：
[0133] 步骤S21，发布端将从一数据产生端实时抽取的数据推送至接入层，其中，所述数据产生端包括游戏服务器。
[0134] 具体的，为了能够将分布在不同地方的数据实时、准时的提供给需要特定数据的开放平台，可根据数据产生端的特点如每款游戏的特点定制一个数据的抽取程序，在数据抽取程序和数据产生端之间采用数据库进行数据交互，即数据库用于存储所述实时抽取的数据。
[0135] 优选的，所述实时抽取的数据包括动态数据和静态数据，所有的动态数据和静态数据写入到数据库中，动态抽取程序会对所有指定的数据产生端如游戏指定区服的游戏动态和静态数据按照规则进行实时抽取，其中，可仅抽取新增的和更新的静态数据，也可仅抽取上一次更新动态数据的时间点后产生的动态数据，即对于动态数据而言，抽取程序在每次更新完毕以后，记录更新最近更新的时间，下一次更新都将从上次更新的时间点开始更新，这样发布端可只对增量静态数据和动态数据进行实时全量发布，大大的降低了静态数据和动态数据的数量。较佳的，所述实时抽取的数据包括具体内容、数据发布者、服务类别和主题类型的信息。
[0136] 步骤S22，分发层从一订阅端获取第二匹配方式，并根据所述第二匹配方式生成第一匹配方式。
[0137] 较佳的，可另外设置一管理端或接口以支持在线修改第二匹配方式如订阅规则并实时生效。
[0138] 优选的，所述第一匹配方式或第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。
[0139] 步骤S23，接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中。具体的，随着业务量的增加，当接入层整体负荷过高的时候，通过在接入层加入新的服务器来保证服务的质量，为了保证数据发布的实时性要求，接入层通常提供大容量硬盘、高性能和高带宽，所有发布的主题都能够首先被高效的保存到系统的硬盘上，并随后通过分发层提供给订阅端。
[0140] 优选的，所述接入层前置有一负载均衡设备，以提供统一接入服务，提供灵活的横向扩展能力，以满足整个系统大容量、高稳定性和负载均衡的需求。
[0141] 步骤S24，分发层根据所述第二匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中。
[0142] 具体的，所述分发层会向所述接入层订阅自己感兴趣的主题，第一匹配方式可为如下的订阅规则：
[0143]
[0144]
[0145] 上述订阅规则中，每个主题通过四个条件进行过滤，其中每个条件都支持正则表达式进行复杂匹配，以满足应用需求。其中，publisher用于限定数据由谁发布的；serviceid用于限制哪一类的服务，譬如可以采用以游戏名来指定；messagetype则用于限定主题的类型是什么，譬如登录、升级、加入公会等动态；content则对具体的数据进行限制。同时满足四个条件的主题将会保存到router配置项所定义的邮箱中。
[0146] 同理，所述第二匹配方式也可按上述订阅规则设置。分发层会从第一邮箱中会被动接收或者主动拉取该第一邮箱中的第一筛选数据，并再次调用本地的主题订阅规则获取第二筛选数据并存储入对应的第二邮箱中，以进行主题的分发，这里支持一个或者多个服务器采用同一套订阅规则即可构成一个服务器组，以实现主题的集群服务。
[0147] 较佳的，所述发布端、分发层和接入层中的一种或多种分别支持多进程横向扩展，另外，所述发布端、分发层和接入层中的一种或多种也可分别支持多节点横向扩展，单服务器可以突破海量数据在实时性处理上对内存的过多依赖，利用低成本高容量的硬盘去持久化数据，提供处理系统的高性能和数据安全性，发布端、分发层、接入层和订阅端可支持根据数据量的大小加入更多的服务器的横向自由扩展方式来处理业务请求，保持在海量数据处理上的实时性要求，这里采用分布式技术，通过服务机器的横向扩展和灵活组网，通过多个服务器服务于一个或者多个主题来实现负载均衡和业务的扩展，接入层服务器和分发层服务器存贮引擎得到优化，提高数据存储容量、数据安全性、数据处理的性能和实时性，增加整个处理系统的处理能力。
[0148] 优选的，发布端、分发层、接入层可具有跨语言、跨平台、分布式、灵活组网的特性，可对所述发布端分布式部署，对所述接入层集中式部署，对所述分发层分布式或集中式部署，分发层可根据不同的主题来对海量主题进行筛选和分发。
[0149] 发布端、接入层、分发层和订阅端的特点如下表所示：
[0150]
[0151] 较佳的，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合，这样分发层和接入层之间、分发层和订阅端之间可以采用推、拉和订阅机制模式相结合的方式实现网络节点之间互联，可以根据网络环境的特点选择更为方便和可行的通道方式。
[0152] 本实施例中，可以Pub（发布）/Sub（订阅）模式的分布式技术架构整个服务，发布端、分发层和接入层的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，可按照多级匹配规则如多级正则匹配规则来支持复杂多样的业务需求，将数据投递到所述第二邮箱中供订阅端获取，实现主题一对多批量分发，发布端采用增量数据的全量发布，分发层和接入层根据匹配方式如订阅规进行主题的筛选，不符合任何匹配方式如订阅规则的数据将会被丢弃，从而保证接入层对所有的主题进行集中的控制和一级级分发。
[0153] 另外，发布端、分发层和接入层的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，在高并发、高负荷且并不过多损伤性能的情况下提供了数据的持久化，提高节点之间互联的灵活性。
[0154] 实施例三
[0155] 如图3所示，本发明还提供一种数据获取方法，包括：
[0156] 步骤S31，订阅端设置第二匹配方式。
[0157] 较佳的，可另外设置一管理端或接口以支持在线修改第二匹配方式如订阅规则并实时生效。
[0158] 较佳的，所述订阅端支持多进程横向扩展或多节点横向扩展，单服务器可以突破海量数据在实时性处理上对内存的过多依赖，利用低成本高容量的硬盘去持久化数据，提供处理系统的高性能和数据安全性，订阅端可支持根据数据量的大小加入更多的服务器的横向自由扩展方式来处理业务请求，保持在海量数据处理上的实时性要求，这里采用分布式技术，通过服务机器的横向扩展和灵活组网，通过多个服务器服务于一个或者多个主题来实现负载均衡和业务的扩展。
[0159] 优选的，所述订阅端可分布式或集中式部署。
[0160] 订阅端的特点如下表所示：
[0161]
[0162] 较佳的，所述第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。
[0163] 所述第二匹配方式可为如下的订阅规则：
[0164]
[0165] 上述订阅规则中，每个主题通过四个条件进行过滤，其中每个条件都支持正则表达式进行复杂匹配，以满足应用需求。其中，publisher用于限定数据由谁发布的；serviceid用于限制哪一类的服务，譬如可以采用以游戏名来指定；messagetype则用于限定主题的类型是什么，譬如登录、升级、加入公会等动态；content则对具体的数据进行限制。同时满足四个条件的主题将会保存到router配置项所定义的邮箱中。
[0166] 步骤S32，所述订阅端根据所述第二匹配方式和预设的通道方式从一第二邮箱中获取第二筛选数据。
[0167] 优选的，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合，这样分发层和接入层之间、分发层和订阅端之间可以采用推、拉和订阅机制模式相结合的方式实现网络节点之间互联，可以根据网络环境的特点选择更为方便和可行的通道方式。
[0168] 本实施例中，可以Pub（发布）/Sub（订阅）模式的分布式技术架构整个服务，发布端和订阅端可通过灵活的主题订阅发布机制进行关联，发布端、订阅端的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，可按照多级匹配规则如多级正则匹配规则来支持复杂多样的业务需求，将数据投递到所述第二邮箱中供订阅端获取，订阅端以预设的通道方式从所述第二邮箱中拉取数据，实现主题一对多批量分发。
[0169] 实施例四
[0170] 如图4和5所示，本发明还提供一种数据处理系统，包括发布端1、接入层2、分发层3和订阅端4。
[0171] 发布端1用于将从一数据产生端实时抽取的数据推送至接入层。其中，所述数据产生端包括游戏服务器。
[0172] 具体的，为了能够将分布在不同地方的数据实时、准时的提供给需要特定数据的开放平台，可根据数据产生端的特点如每款游戏的特点定制一个数据的抽取程序，在数据抽取程序和数据产生端之间采用数据库进行数据交互，即数据库用于存储所述实时抽取的数据。
[0173] 优选的，所述实时抽取的数据包括动态数据和静态数据。所有的动态数据和静态数据写入到数据库中，动态抽取程序会对所有指定的数据产生端如游戏指定区服的游戏动态和静态数据按照规则进行实时抽取，其中，可以仅抽取新增的和更新的静态数据，另外，还可仅抽取上一次更新动态数据的时间点后产生的动态数据，即对于动态数据而言，抽取程序在每次更新完毕以后，记录更新最近更新的时间，下一次更新都将从上次更新的时间点开始更新，这样发布端可只对增量静态数据和动态数据进行实时全量发布，大大的降低了静态数据和动态数据的数量。较佳的，所述实时抽取的数据包括具体内容、数据发布者、服务类别和主题类型的信息。
[0174] 较佳的，所述实时抽取的数据包括具体内容、数据发布者、服务类别和主题类型的信息。
[0175] 订阅端4用于设置第二匹配方式，并根据所述第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据，这样接入层和分发层对发布端的数据进行规则匹配，并将筛选数据投递到相应的邮箱中，订阅端通过预定义的第二匹配方式如订阅规则获取自身关心的数据，并进行处理。
[0176] 较佳的，可另外设置一管理端或接口以支持在线修改第二匹配方式如订阅规则并实时生效。
[0177] 分发层3用于获取所述第二匹配方式，并根据所述第二匹配方式生成第一匹配方式，根据所述第二匹配方式和预设的通道方式从对应的第一邮箱中获取第二筛选数据并存储入所述第二邮箱中。
[0178] 具体的，所述分发层会向所述接入层订阅自己感兴趣的主题，第一匹配方式可为如下的订阅规则：
[0179]
[0180] 上述订阅规则中，每个主题通过四个条件进行过滤，其中每个条件都支持正则表达式进行复杂匹配，以满足应用需求。其中，publisher用于限定数据由谁发布的；serviceid用于限制哪一类的服务，譬如可以采用以游戏名来指定；messagetype则用于限定主题的类型是什么，譬如登录、升级、加入公会等动态；content则对具体的数据进行限制。同时满足四个条件的主题将会保存到router配置项所定义的邮箱中。
[0181] 同理，所述第二匹配方式也可按上述订阅规则设置。分发层会从第一邮箱中会被动接收或者主动拉取该第一邮箱中的第一筛选数据，并再次调用本地的主题订阅规则获取第二筛选数据并存储入对应的第二邮箱中，以进行主题的分发，这里支持一个或者多个服务器采用同一套订阅规则即可构成一个服务器组，以实现主题的集群服务。
[0182] 优选的，所述第一匹配方式或第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。
[0183] 接入层2用于根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入所述第一邮箱中。具体的，随着业务量的增加，当接入层整体负荷过高的时候，通过在接入层加入新的服务器来保证服务的质量，为了保证数据发布的实时性要求，接入层通常提供大容量硬盘、高性能和高带宽，所有发布的主题都能够首先被高效的保存到系统的硬盘上，并随后通过分发层提供给订阅端。
[0184] 优选的，所述接入层前置有一负载均衡设备，以提供统一接入服务，提供灵活的横向扩展能力，以满足整个系统大容量、高稳定性和负载均衡的需求。
[0185] 较佳的，所述发布端1、订阅端4、分发层3和接入层2中的一种或多种分别支持多进程横向扩展，另外，所述发布端1、订阅端4、分发层3和接入层2中的一种或多种也可分别支持多节点横向扩展，如图5所示，发布端1可根据需要包括P1 Pm个服务器，接入层2可包括S1~Sn个服务器，分发层3包括Sn1 Snm个服务器，订阅端4包括C1 Cm个服务器，单服务器可以~ ~ ~
突破海量数据在实时性处理上对内存的过多依赖，利用低成本高容量的硬盘去持久化数据，提供处理系统的高性能和数据安全性，发布端、分发层、接入层和订阅端可支持根据数据量的大小加入更多的服务器的横向自由扩展方式来处理业务请求，保持在海量数据处理上的实时性要求，这里采用分布式技术，通过服务机器的横向扩展和灵活组网，通过多个服务器服务于一个或者多个主题来实现负载均衡和业务的扩展，接入层服务器和分发层服务器存贮引擎得到优化，提高数据存储容量、数据安全性、数据处理的性能和实时性，增加整个处理系统的处理能力。
突破海量数据在实时性处理上对内存的过多依赖，利用低成本高容量的硬盘去持久化数据，提供处理系统的高性能和数据安全性，发布端、分发层、接入层和订阅端可支持根据数据量的大小加入更多的服务器的横向自由扩展方式来处理业务请求，保持在海量数据处理上的实时性要求，这里采用分布式技术，通过服务机器的横向扩展和灵活组网，通过多个服务器服务于一个或者多个主题来实现负载均衡和业务的扩展，接入层服务器和分发层服务器存贮引擎得到优化，提高数据存储容量、数据安全性、数据处理的性能和实时性，增加整个处理系统的处理能力。
[0186] 优选的，发布端、分发层、接入层和订阅端可具有跨语言、跨平台、分布式、灵活组网的特性，通过对所述发布端分布式部署，对所述接入层集中式部署，对所述分发层和/或订阅端分布式或集中式部署，分发层可根据不同的主题来对海量主题进行筛选和分发。
[0187] 发布端、接入层、分发层和订阅端的特点如下表所示：
[0188]
[0189] 较佳的，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合，这样分发层和接入层之间、分发层和订阅端之间可以采用推、拉和订阅机制模式相结合的方式实现网络节点之间互联，可以根据网络环境的特点选择更为方便和可行的通道方式。
[0190] 本实施例中，可以Pub（发布）/Sub（订阅）模式的分布式技术架构整个服务，发布端和订阅端可通过灵活的主题订阅发布机制进行关联，发布端、订阅端、分发层和接入层的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，可按照多级匹配规则如多级正则匹配规则来支持复杂多样的业务需求，将数据投递到所述第二邮箱中供订阅端获取，订阅端以预设的通道方式从所述第二邮箱中拉取数据，实现主题一对多批量分发，发布端采用增量数据的全量发布，分发层和接入层根据匹配方式如订阅规进行主题的筛选，不符合任何匹配方式如订阅规则的数据将会被丢弃，从而保证接入层对所有的主题进行集中的控制和一级级分发。
[0191] 另外，发布端、订阅端、分发层和接入层的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，在高并发、高负荷且并不过多损伤性能的情况下提供了数据的持久化，提高节点之间互联的灵活性。
[0192] 实施例五
[0193] 如图6所示，本发明还提供一种数据发布系统，包括发布端1、接入层2和分发层3。
[0194] 发布端1用于将从一数据产生端实时抽取的数据推送至接入层，其中，所述数据产生端包括游戏服务器。
[0195] 具体的，为了能够将分布在不同地方的数据实时、准时的提供给需要特定数据的开放平台，可根据数据产生端的特点如每款游戏的特点定制一个数据的抽取程序，在数据抽取程序和数据产生端之间采用数据库进行数据交互，即数据库用于存储所述实时抽取的数据。
[0196] 优选的，所述实时抽取的数据包括动态数据和静态数据，其中，所可以仅抽取新增的和更新的静态数据，另外，也可仅抽取上一次更新动态数据的时间点后产生的动态数据，即对于动态数据而言，抽取程序在每次更新完毕以后，记录更新最近更新的时间，下一次更新都将从上次更新的时间点开始更新，这样发布端可只对增量静态数据和动态数据进行实时全量发布，大大的降低了静态数据和动态数据的数量。较佳的，所述实时抽取的数据包括具体内容、数据发布者、服务类别和主题类型的信息。。
[0197] 较佳的，所述实时抽取的数据包括具体内容、数据发布者、服务类别和主题类型的信息。
[0198] 分发层3用于获取第二匹配方式，并根据所述第二匹配方式生成第一匹配方式，根据所述第二匹配方式和预设的通道方式从对应的第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中。
[0199] 具体的，所述分发层会向所述接入层订阅自己感兴趣的主题，第一匹配方式可为如下的订阅规则：
[0200]
[0201]
[0202] 上述订阅规则中，每个主题通过四个条件进行过滤，其中每个条件都支持正则表达式进行复杂匹配，以满足应用需求。其中，publisher用于限定数据由谁发布的；serviceid用于限制哪一类的服务，譬如可以采用以游戏名来指定；messagetype则用于限定主题的类型是什么，譬如登录、升级、加入公会等动态；content则对具体的数据进行限制。同时满足四个条件的主题将会保存到router配置项所定义的邮箱中。
[0203] 同理，所述第二匹配方式也可按上述订阅规则设置。分发层会从第一邮箱中会被动接收或者主动拉取该第一邮箱中的第一筛选数据，并再次调用本地的主题订阅规则获取第二筛选数据并存储入对应的第二邮箱中，以进行主题的分发，这里支持一个或者多个服务器采用同一套订阅规则即可构成一个服务器组，以实现主题的集群服务。
[0204] 较佳的，可另外设置一管理端或接口以支持在线修改第二匹配方式如订阅规则并实时生效。
[0205] 优选的，所述第一匹配方式或第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。
[0206] 接入层2用于根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入所述第一邮箱中。具体的，随着业务量的增加，当接入层整体负荷过高的时候，通过在接入层加入新的服务器来保证服务的质量，为了保证数据发布的实时性要求，接入层通常提供大容量硬盘、高性能和高带宽，所有发布的主题都能够首先被高效的保存到系统的硬盘上，并随后通过分发层提供给订阅端。
[0207] 优选的，所述接入层前置有一负载均衡设备，以提供统一接入服务，提供灵活的横向扩展能力，以满足整个系统大容量、高稳定性和负载均衡的需求。
[0208] 较佳的，所述发布端1、分发层3和接入层2中的一种或多种分别支持多进程横向扩展，另外，所述发布端、分发层和接入层中的一种或多种也可分别支持多节点横向扩展，单服务器可以突破海量数据在实时性处理上对内存的过多依赖，利用低成本高容量的硬盘去持久化数据，提供处理系统的高性能和数据安全性，发布端、分发层、接入层和订阅端可支持根据数据量的大小加入更多的服务器的横向自由扩展方式来处理业务请求，保持在海量数据处理上的实时性要求，这里采用分布式技术，通过服务机器的横向扩展和灵活组网，通过多个服务器服务于一个或者多个主题来实现负载均衡和业务的扩展，接入层服务器和分发层服务器存贮引擎得到优化，提高数据存储容量、数据安全性、数据处理的性能和实时性，增加整个处理系统的处理能力。
[0209] 较佳的，发布端、分发层、接入层可具有跨语言、跨平台、分布式、灵活组网的特性，可对所述发布端分布式部署，对所述接入层集中式部署，对所述分发层分布式或集中式部署，分发层可根据不同的主题来对海量主题进行筛选和分发。
[0210] 发布端、接入层、分发层和订阅端的特点如下表所示：
[0211]
[0212]
[0213] 优选的，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合，这样分发层和接入层之间、分发层和订阅端之间可以采用推、拉和订阅机制模式相结合的方式实现网络节点之间互联，可以根据网络环境的特点选择更为方便和可行的通道方式。
[0214] 本实施例中，可以Pub（发布）/Sub（订阅）模式的分布式技术架构整个服务，发布端、分发层和接入层的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，可按照多级匹配规则如多级正则匹配规则来支持复杂多样的业务需求，将数据投递到所述第二邮箱中供订阅端获取，实现主题一对多批量分发，发布端采用增量数据的全量发布，分发层和接入层根据匹配方式如订阅规进行主题的筛选，不符合任何匹配方式如订阅规则的数据将会被丢弃，从而保证接入层对所有的主题进行集中的控制和一级级分发。
[0215] 另外，发布端、分发层和接入层的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，在高并发、高负荷且并不过多损伤性能的情况下提供了数据的持久化，提高节点之间互联的灵活性。
[0216] 实施例六
[0217] 本发明还提供另一种数据获取系统，包括订阅端用于设置第二匹配方式，并将所述第二匹配方式发送至一分发层，并根据所述第二匹配方式和预设的通道方式从分发层的一第二邮箱中获取第二筛选数据。
[0218] 较佳的，可另外设置一管理端或接口以支持在线修改第二匹配方式如订阅规则并实时生效。
[0219] 优选的，所述订阅端、支持多进程横向扩展或多节点横向扩展，单服务器可以突破海量数据在实时性处理上对内存的过多依赖，利用低成本高容量的硬盘去持久化数据，提供处理系统的高性能和数据安全性，订阅端可支持根据数据量的大小加入更多的服务器的横向自由扩展方式来处理业务请求，保持在海量数据处理上的实时性要求，这里采用分布式技术，通过服务机器的横向扩展和灵活组网，通过多个服务器服务于一个或者多个主题来实现负载均衡和业务的扩展。
[0220] 较佳的，所述订阅端分布式或集中式部署。
[0221] 订阅端的特点如下表所示：
[0222]
[0223] 优选的，所述第二匹配方式包括限定数据的具体内容、限定数据发布者、限定服务类别和限定主题类型中的一种或任意组合。
[0224] 所述第二匹配方式可为如下的订阅规则：
[0225]
[0226] 上述订阅规则中，每个主题通过四个条件进行过滤，其中每个条件都支持正则表达式进行复杂匹配，以满足应用需求。其中，publisher用于限定数据由谁发布的；serviceid用于限制哪一类的服务，譬如可以采用以游戏名来指定；messagetype则用于限定主题的类型是什么，譬如登录、升级、加入公会等动态；content则对具体的数据进行限制。同时满足四个条件的主题将会保存到router配置项所定义的邮箱中。
[0227] 优选的，所述通道方式包括推方式、拉方式和订阅方式中的一种或任意组合，这样分发层和接入层之间、分发层和订阅端之间可以采用推、拉和订阅机制模式相结合的方式实现网络节点之间互联，可以根据网络环境的特点选择更为方便和可行的通道方式。
[0228] 本实施例中，可以Pub（发布）/Sub（订阅）模式的分布式技术架构整个服务，发布端和订阅端可通过灵活的主题订阅发布机制进行关联，发布端、订阅端的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，可按照多级匹配规则如多级正则匹配规则来支持复杂多样的业务需求，将数据投递到所述第二邮箱中供订阅端获取，订阅端以预设的通道方式从所述第二邮箱中拉取数据，实现主题一对多批量分发。
[0229] 综上所述，本发明具有如下优点：
[0230] 1）通过发布端将从一数据产生端实时抽取的数据推送至接入层，订阅端设置第二匹配方式，分发层获取所述第二匹配方式，并根据所述第二匹配方式生成第一匹配方式，接入层根据所述第一匹配方式从所述实时抽取的数据中获取第一筛选数据并存储入对应的第一邮箱中，分发层根据所述第二匹配方式和预设的通道方式从所述第一邮箱中获取第二筛选数据并存储入对应的第二邮箱中，所述订阅端根据所述第二匹配方式和预设的通道方式从对应的第二邮箱中获取第二筛选数据，可以Pub（发布）/Sub（订阅）模式的分布式技术架构整个服务，发布端和订阅端可通过灵活的主题订阅发布机制进行关联，发布端、订阅端、分发层和接入层的节点之间高度解耦，仅通过邮箱进行耦合，所有的交互都在“邮箱”中进行，可按照多级匹配规则如多级正则匹配规则来支持复杂多样的业务需求，将数据投递到所述第二邮箱中供订阅端获取，订阅端以预设的通道方式从所述第二邮箱中拉取数据，实现主题一对多批量分发；
[0231] 2）通过所述发布端、订阅端、分发层和接入层中的一种或多种分别支持多进程或多节点横向扩展，所述发布端、订阅端、分发层和接入层可根据实际需要分别设置多个服务器，每个服务器的数据相对独立，突破海量数据在实时性处理上对内存的过多依赖，利用低成本高容量的硬盘去持久化数据，实现多个服务器服务于一个或者多个主题来实现负载均衡和业务的扩展，接入层服务器和分发层服务器存贮引擎得到优化，提高数据存储容量、数据安全性、数据处理的性能和实时性；
[0232] 3）通过设置通道方式包括推方式、拉方式和订阅方式中的一种或任意组合，接入层与分发层之间、分发层与订阅端之间可以采用推、拉和订阅机制模式相结合的方式实现网络节点之间互联，可以根据网络环境的特点选择更为方便和可行的通道方式；
[0233] 4）通过所述接入层前置有一负载均衡设备，所述接入层集中式部署，所述负载均衡设备可提供统一接入服务，所述接入层以中间件的模式集中部署，并通过前置负载均衡设备，提供灵活的横向扩展能力。
[0234] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0235] 专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0236] 显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种同步监测裂缝扩展与应力变化的压裂装置 | 2020-05-08 | 658 |
| 一种数据处理方法及相关设备、系统 | 2020-05-08 | 140 |
| 一种基于声光偏转器的非机械式激光三维扫描系统 | 2020-05-08 | 31 |
| 经由应用编程接口从一步认证自动升级到两步认证 | 2020-05-11 | 882 |
| 一种基于大数据的建筑服务规划系统及其工作方法 | 2020-05-08 | 219 |
| 一种非机械式激光三维扫描系统 | 2020-05-08 | 730 |
| 脑功能图谱的绘制方法和系统 | 2020-05-08 | 436 |
| 一种数据处理系统、方法及存储介质 | 2020-05-08 | 939 |
| 一种飞机驾驶参数仿真回放的数据处理系统及其方法 | 2020-05-11 | 186 |
| 数据处理方法及系统 | 2020-05-11 | 833 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
数据处理系统热门专利
QQ群二维码
意见反馈
意见反馈