技术领域
[0001] 本
发明涉及
数据处理技术领域，特别涉及一种基于队列的业务请求异步处理方法及装置。
背景技术
[0002] 在分布式，大并发，高可用的服务商品销售的业务场景下，系统经常会遇到业务请求响应时间超时的问题。例如，有些业务请求的响应时间会超过500ms，这严重影响到了用户体验和系统的
稳定性。尤其，在大促期间，在流量洪峰的时候，甚至会有部分请求因为超时而导致数据丢失，导致后续排查这类问题时
定位困难，错误数据很难自愈。因此，亟需提出一种新的业务请求处理方法，来提高响应速度，使原始请求可回溯以及异常服务可自愈。
发明内容
[0003] 为了解决
现有技术的问题，本发明
实施例提供了一种基于队列的业务请求异步处理方法及装置，以克服现有技术中响应速度慢、业务之间相互影响以及业务出错原因难追溯等问题。
[0004] 为解决上述一个或多个技术问题，本发明采用的技术方案是：
[0005] 一方面，提供了一种基于队列的业务请求异步处理方法，该方法包括如下步骤：
[0006] 获取前台
服务器接收到的业务请求，将所述业务请求以及与所述业务请求对应的处理信息按照预设的封装格式封装成消息；
[0007] 按照预设的延时机制对所述消息进行延时处理后，将延时后的消息存储至缓存
中间件中；
[0008] 定时读取所述缓存中间件中到期的消息；
[0009] 根据所述业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理，并向所述前台服务器返回响应信息。
[0010] 进一步的，所述将延时后的消息存储至缓存中间件中包括：
[0011] 将同一时刻发出的所有业务请求对应的消息存储至缓存中间件中的同一集合中，并生成对应的消息列表，其中所述消息列表的key为所述消息对应的业务请求的发出时间，value为所述消息转换成的字符串；
[0012] 获取所有的消息列表的key生成有序集合。
[0013] 进一步的，所述定时读取所述缓存中间件中到期的消息包括：
[0014] 定时遍历所述有序集合，获取所述有序集合中所有到期的key；
[0015] 从所述缓存中间件中读取与所述到期的key对应的消息列表中的消息。
[0016] 进一步的，所述消息队列至少包括专用队列和普通队列，所述根据所述业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理包括：
[0017] 获取所述读取到消息对应的业务请求的业务对应的重要程度；
[0018] 将所述重要程度与预设
阈值进行比较，若所述重要程度大于所述预设阈值，则选取专用队列将读取到消息发送至对应的后台服务器，否则，选取普通队列将读取到消息发送至对应的后台服务器。
[0019] 进一步的，所述方法还包括：
[0020] 在将延时后的消息存储至缓存中间件中前，判断所述消息是否需要持久化，若需要，则将所述消息持久化到
数据库中；
[0021] 在根据所述业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理后，更新所述数据库中所述消息的状态。
[0022] 另一方面，提供了一种基于队列的业务请求异步处理装置，所述装置包括：
[0023] 数据封装模
块，用于获取前台服务器接收到的业务请求，将所述业务请求以及与所述业务请求对应的处理信息按照预设的封装格式封装成消息；
[0024] 延时处理模块，用于按照预设的延时机制对所述消息进行延时处理；
[0025] 消息缓存模块，用于将延时后的消息存储至缓存中间件中；
[0026] 消息读取模块，用于定时读取所述缓存中间件中到期的消息；
[0027] 消息发送模块，用于根据所述业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理；
[0028] 信息反馈模块，用于向所述前台服务器返回响应信息。
[0029] 进一步的，所述消息缓存模块包括：
[0030] 消息存储单元，用于将同一时刻发出的所有业务请求对应的消息存储至缓存中间件中的同一集合中；
[0031] 列表生成单元，用于生成对应的消息列表，其中所述消息列表的key为所述消息对应的业务请求的发出时间，value为所述消息转换成的字符串；
[0032] 集合生成单元，用于获取所有的消息列表的key生成有序集合。
[0033] 进一步的，所述消息读取模块包括：
[0034] 定时遍历单元，用于定时遍历所述有序集合，获取所述有序集合中所有到期的key；
[0035] 消息读取单元，用于从所述缓存中间件中读取与所述到期的key对应的消息列表中的消息。
[0036] 进一步的，所述消息发送模块包括：
[0037] 数据获取单元，用于获取所述读取到消息对应的业务请求的业务类型对应的重要程度；
[0038] 数据比较单元，用将所述重要程度与预设阈值进行比较；
[0039] 消息发送单元，用于若所述重要程度大于所述预设阈值，则选取专用队列将读取到消息发送至对应的后台服务器，否则，选取普通队列将读取到消息发送至对应的后台服务器。
[0040] 进一步的，所述装置还包括：
[0041] 持久化判断模块，用于在将延时后的消息存储至缓存中间件中前，判断所述消息是否需要持久化；
[0042] 消息持久化模块，用于则将所述消息持久化到数据库中；
[0043] 数据更新模块，用于在根据所述业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理后，更新所述数据库中所述消息的状态。
[0044] 本发明实施例提供的技术方案带来的有益效果是：
[0045] 1、本发明实施例提供的基于队列的业务请求异步处理方法及装置，通过将接收到的业务请求以及与业务请求对应的处理信息封装成消息，将消息按照预设的延时机制处理后存储至缓存中间件中，定时读取缓存中间件中到期的消息，根据业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理，并向前台服务器返回响应信息，实现对业务的异步处理，先返回响应后处理，降低业务的响应时间，同时避免系统超时异常；
[0046] 2、本发明实施例提供的基于队列的业务请求异步处理方法及装置，通过将消息对应的业务请求的业务对应的重要程度与预设阈值进行比较，若重要程度大于预设阈值，则选取专用队列将读取到消息发送至对应的后台服务器，否则，选取普通队列将读取到消息发送至对应的后台服务器，实现对消息进行分级，不同级别的消息走不同的队列，减小业务之间的相互影响，避免不重要的业务影响重要的业务，提升系统的性能和可靠性，同时降低系统的复杂度；
[0047] 3、本发明实施例提供的基于队列的业务请求异步处理方法及装置，通过可配置的持久化策略以及重发机制，能够快速定位重要业务出错原因，保存业务原始数据，并且可以根据需要自动重发。
[0048] 当然，实施本
申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
[0049] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0050] 图1是根据一示例性实施例示出的应用环境示意图；
[0051] 图2是根据一示例性实施例示出的基于队列的业务请求异步处理方法的
流程图；
[0052] 图3是根据一示例性实施例示出的将延时后的消息存储至缓存中间件中的流程图；
[0053] 图4是根据一示例性实施例示出的定时读取所述缓存中间件中到期的消息的流程图；
[0054] 图5是根据一示例性实施例示出的根据业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理的流程图；
[0055] 图6是根据一示例性实施例示出的基于队列的业务请求异步处理装置的结构示意图。
具体实施方式
[0056] 为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0057] 图1是根据一示例性实施例示出的应用环境示意图，参照图1所示，本发明实施例中，从应用程序服务端的
角度，提供了一种基于队列的业务请求异步处理方法，其中，用户通过客户端向前台服务器发出业务请求(如登录请求、创建订单请求等)，消息服务器获取前台服务器接收到的业务请求后，将业务请求以及与业务请求对应的处理信息按照预设的封装格式封装成消息，采用统一延时处理机制，使用分布式中间件存储消息体，使用多个定时任务去定时读取缓存中间件中到期的消息，根据业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理，并向前台服务器返回响应信息。
[0058] 下面对本申请实施例提供的具体实现方案进行详细介绍。
[0059] 图2是根据一示例性实施例示出的基于队列的业务请求异步处理方法的流程图，参照图2所示，该方法包括如下步骤：
[0060] S1：获取前台服务器接收到的业务请求，将所述业务请求以及与所述业务请求对应的处理信息按照预设的封装格式封装成消息。
[0061] 具体的，前台服务器接收用户通过客户端等设备向前台服务器发出的业务请求(如登录请求、创建订单请求等)，消息服务器获取前台服务器接收到的业务请求，然后将业务请求以及与该业务请求对应的处理信息按照预设的封装格式封装成消息。其中，处理信息包括处理该业务所使用的执行类、执行方法等信息。这里需要说明的是，本发明实施例中，不对预设的封装格式做具体限制，用户可以根据实际需求进行自行设置。
[0062] 本发明实施例中，消息体封装主要包括以下五个字段：消息类型标志、是否持久化、消息处理类的类名称、调用方法名称、入参(如Json格式字符串)。这里需要说明的是，将业务逻辑只在封装消息体和消息处理逻辑中出现，做到真正解耦，可以拓展满足各种业务的异步处理场景，实现横向扩容，有效解决高并发问题。
[0063] S2：按照预设的延时机制对所述消息进行延时处理后，将延时后的消息存储至缓存中间件中。
[0064] 具体的，本发明实施例中，针对到期处理的业务，例如，创建订单时如果超过30分钟未支付需要取消订单等，采用统一延时处理机制。并且，使用分布式缓存中间件存储消息体，即将消息按照预设的延时机制进行延时处理后存储至缓存中间件中。这里需要说明的是，本发明实施例中，不对延时机制做具体的限制，用户可以根据实际需求进行设置。
[0065] S3：定时读取所述缓存中间件中到期的消息。
[0066] 具体的，作为一种较优的示例，本发明实施例中，使用多个定时任务按照一定的时间间隔定时去缓存中读取到期的消息并发送，其中，这里的时间间隔可以根据用户的具体需求进行设置，如1秒钟等。
[0067] S4：根据所述业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理，并向所述前台服务器返回响应信息。
[0068] 具体的，本发明实施例中，针对不同的异步处理的场景创建出不同的消息队列，在向后台服务器发送待处理的消息时，根据消息对应的业务请求的业务类型选取相应的消息队列，将相应的消息发送至对应的后台服务器进行异步处理，避免不重要的业务影响重要的业务，同时向前台服务器返回响应信息。这里需要说明的是，本发明实施例中，对业务进行异步处理，并采用先返回响应后处理的方式，避免系统超时异常。
[0069] 图3是根据一示例性实施例示出的将延时后的消息存储至缓存中间件中的流程图，参照图3所示，作为一种较优的实施方式，本发明实施例中，所述将延时后的消息存储至缓存中间件中包括：
[0070] S201：将同一时刻发出的所有业务请求对应的消息存储至缓存中间件中的同一集合中，并生成对应的消息列表，其中所述消息列表的key为所述消息对应的业务请求的发出时间，value为所述消息转换成的字符串。
[0071] 具体的，同一时刻发出的所有业务请求可以是同一秒内发出的所有业务请求，也可以是同一分钟内发出的所有业务请求，这里不做具体限制，用户可以根据实际需求进行设置。作为一种较优的示例，本发明实施例中，将同一秒内发出的所有业务请求放在同一集合内。消息列表中的数据采用(key，value)格式，具体在生成消息列表时，采用当前时间的毫秒数乘以100作为消息列表的key，将封装好的消息体按照设定的规则转换为字符串作为消息列表的value，这样一秒内的消息都会被放到同一列表里。
[0072] S202：获取所有的消息列表的key生成有序集合。
[0073] 具体的，本发明实施例中，设置消息的缓存由一个列表(这里指消息列表)和一个有序集合共同组成。这里需要说明的是，该有序集合与上述存储消息的集合并不是统一集合。消息列表生成后，将所有消息列表的key全部存储至该有序集合中。将消息列表的key放入到有序集合中时，需先判断有序集合中是否存在当前消息列表的key，如果存在，则说明当前列表的key已经被放入到该有序集合中，不需要再进行处理，如果不存在，则将当前列表的key放入到有序集合中，分值就是当前毫秒数。其中，设置当有序集合中的数据去除后，会自动从消息列表中删除，所以可以并发发送消息。本发明实施例中，设置有序集合可以根据分值顺序遍历，可以保证消息被顺序执行。
[0074] 图4是根据一示例性实施例示出的定时读取所述缓存中间件中到期的消息的流程图，参照图4所示，作为一种较优的实施方式，本发明实施例中，所述定时读取所述缓存中间件中到期的消息包括：
[0075] S301：定时遍历所述有序集合，获取所述有序集合中所有到期的key。
[0076] 具体的，定时从缓存中间件中读取到期的消息时，可以定时遍历有序集合，获取有序集合中所有到期的key，如果有序集合中不存在到期的key，则不做处理。具体实施时，可以定时根据分值顺序遍历有序集合中的对象，把有序集合中的值拿出来，转换成时间，然后根据当前时间判断是否到期。这里需要说明的是，本发明实施例中，可以采用
定时器对有序集合进行遍历，其中，定时器遍历有序集合是可以并行处理的，多个线程拿到到期的key，直接可以并行获取key对应的消息，可以大大提高系统吞吐量。
[0077] S302：从所述缓存中间件中读取与所述到期的key对应的消息列表中的消息。
[0078] 具体的，当遍历到有序集合中有到期的key时，遍历key对应的消息列表中的消息，从缓存中间件中读取出来。这里需要说明的是，消息列表遍历完成后(即将列表中的消息全部读取出来后)，还需要在有序集合中删除掉当前遍历过的那条记录(即到期的key)，直到有序集合中没有到期的数据就结束本次任务执行。
[0079] 图5是根据一示例性实施例示出的根据业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理的流程图，参照图5所示，作为一种较优的实施方式，本发明实施例中，所述消息队列至少包括专用队列和普通队列，所述根据所述业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理包括：
[0080] S401：获取所述读取到消息对应的业务请求的业务对应的重要程度。
[0081] 具体的，本发明实施例中，按照业务请求对应的业务类型对消息进行分级处理，不同级别的消息采用不同的消息队列进行发送，主要有专用队列和普通队列两种。具体在进行消息级别划分时，可以根据业务对应的重要程度对消息进行划分。重要程度的计算方式(或判定方式)用户可以根据具体需求进行设置，这里不做限制。接收到业务请求后，可以根据业务请求对应的业务类型查询或计算该业务请求对应的复杂度。例如，可以设置客户的下单支付类的请求比较重要，使用专用队列，记录用户的登录记录不太重要，使用普通队列。
[0082] S402：将所述重要程度与预设阈值进行比较，若所述重要程度大于所述预设阈值，则选取专用队列将读取到消息发送至对应的后台服务器，否则，选取普通队列将读取到消息发送至对应的后台服务器。
[0083] 具体的，本发明实施例中，会预先设置一个阈值，在获取到读取到消息对应的重要程度后，将该重要程度与预设阈值进行比较，若该重要程度大于该预设阈值，则选取专用队列将读取到消息发送至对应的后台服务器，否则，选取普通队列将读取到消息发送至对应的后台服务器。例如，可以将创建订单、支付这类的业务请求对应的消息使用专用队列进行发送，对于一些登陆异步处理、流量统计类的业务请求对应的消息使用普通队列进行发送。将不同类型的消息用不同的队列进行发送，可以减少业务之间的相互影响，尤其可以避免不重要的的业务影响重要的业务。
[0084] 作为一种较优的实施方式，本发明实施例中，所述方法还包括：
[0085] 在将延时后的消息存储至缓存中间件中前，判断所述消息是否需要持久化，若需要，则将所述消息持久化到数据库中。
[0086] 具体的，本发明实施例中，消息在发送时可以配置持久化策略，具体实施时，可以在将延时后的消息存储至缓存中间件中前，先判断该消息是否需要持久化，若需要，则先将该消息持久化到数据库中，然后再将消息存储至缓存中间件中，若不需要，则直接将消息存储至缓存中间件中。
[0087] 在根据所述业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理后，更新所述数据库中所述消息的状态。
[0088] 具体的，对应的，若是该消息进行的持久化到数据库的操作，则在将该消息采用相应的消息队列发送至对应的后台服务器进行异步处理后，还需要更新数据库中该条消息的状态。
[0089] 作为一种较优的实施方式，本发明实施例中，消息的发送还可以采用重发机制，如果消息配置为持久化和重发机制，则消息在发送时记录发送状态和次数并持久化到数据库中。重发的定时任务会检索错误消息，只要重发次数不超过上限，会使用重发队列自动重发消息。另外，在重新处理时，设置分布式系统多线程扫描表存在并发问题。具体实施时，采用在处理消息时添加一个分布式
锁，只要数据加锁就直接结束，只有成功获取到锁的线程才
回执行业务处理逻辑。
[0090] 图6是根据一示例性实施例示出的基于队列的业务请求异步处理装置的结构示意图，参照图6所示，该装置包括：
[0091] 数据封装模块，用于获取前台服务器接收到的业务请求，将所述业务请求以及与所述业务请求对应的处理信息按照预设的封装格式封装成消息；
[0092] 延时处理模块，用于按照预设的延时机制对所述消息进行延时处理；
[0093] 消息缓存模块，用于将延时后的消息存储至缓存中间件中；
[0094] 消息读取模块，用于定时读取所述缓存中间件中到期的消息；
[0095] 消息发送模块，用于根据所述业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理；
[0096] 信息反馈模块，用于向所述前台服务器返回响应信息。
[0097] 作为一种较优的实施方式，本发明实施例中，所述消息缓存模块包括：
[0098] 消息存储单元，用于将同一时刻发出的所有业务请求对应的消息存储至缓存中间件中的同一集合中；
[0099] 列表生成单元，用于生成对应的消息列表，其中所述消息列表的key为所述消息对应的业务请求的发出时间，value为所述消息转换成的字符串；
[0100] 集合生成单元，用于获取所有的消息列表的key生成有序集合。
[0101] 作为一种较优的实施方式，本发明实施例中，所述消息读取模块包括：
[0102] 定时遍历单元，用于定时遍历所述有序集合，获取所述有序集合中所有到期的key；
[0103] 消息读取单元，用于从所述缓存中间件中读取与所述到期的key对应的消息列表中的消息。
[0104] 作为一种较优的实施方式，本发明实施例中，所述消息发送模块包括：
[0105] 数据获取单元，用于获取所述读取到消息对应的业务请求的业务类型对应的重要程度；
[0106] 数据比较单元，用将所述重要程度与预设阈值进行比较；
[0107] 消息发送单元，用于若所述重要程度大于所述预设阈值，则选取专用队列将读取到消息发送至对应的后台服务器，否则，选取普通队列将读取到消息发送至对应的后台服务器。
[0108] 作为一种较优的实施方式，本发明实施例中，所述装置还包括：
[0109] 持久化判断模块，用于在将延时后的消息存储至缓存中间件中前，判断所述消息是否需要持久化；
[0110] 消息持久化模块，用于则将所述消息持久化到数据库中；
[0111] 数据更新模块，用于在根据所述业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理后，更新所述数据库中所述消息的状态。
[0112] 综上所述，本发明实施例提供的技术方案带来的有益效果是：
[0113] 1、本发明实施例提供的基于队列的业务请求异步处理方法及装置，通过将接收到的业务请求以及与业务请求对应的处理信息封装成消息，将消息按照预设的延时机制处理后存储至缓存中间件中，定时读取缓存中间件中到期的消息，根据业务请求的业务类型选取相应的消息队列将读取到消息发送至对应的后台服务器进行异步处理，并向前台服务器返回响应信息，实现对业务的异步处理，先返回响应后处理，降低业务的响应时间，同时避免系统超时异常；
[0114] 2、本发明实施例提供的基于队列的业务请求异步处理方法及装置，通过将消息对应的业务请求的业务对应的重要程度与预设阈值进行比较，若重要程度大于预设阈值，则选取专用队列将读取到消息发送至对应的后台服务器，否则，选取普通队列将读取到消息发送至对应的后台服务器，实现对消息进行分级，不同级别的消息走不同的队列，减小业务之间的相互影响，避免不重要的业务影响重要的业务，提升系统的性能和可靠性，同时降低系统的复杂度；
[0115] 3、本发明实施例提供的基于队列的业务请求异步处理方法及装置，通过可配置的持久化策略以及重发机制，能够快速定位重要业务出错原因，保存业务原始数据，并且可以根据需要自动重发。
[0116] 需要说明的是：上述实施例提供的基于队列的业务请求异步处理装置在触发业务请求异步处理业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于队列的业务请求异步处理装置与基于队列的业务请求异步处理方法实施例属于同一构思，即该装置是基于该基于队列的业务请求异步处理方法的，其具体实现过程详见方法实施例，这里不再赘述。
[0117] 本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过
硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读
存储器，磁盘或光盘等。
[0118] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何
修改、等同替换、改进等，均应包含在本发明的保护范围之内。
