消费数据的数据处理方法、装置、计算机设备和存储介质
阅读：413发布：2020-05-11
专利汇可以提供消费数据的数据处理方法、装置、计算机设备和存储介质专利检索，专利查询，专利分析的服务。并且本 申请 涉及一种消费数据的 数据处理 方法、装置、计算机设备和存储介质。所述方法包括：接收用于查询消息 中间件 中的消费数据的消费轨迹的查询 请求 ，查询请求携带消费数据的标识；根据消费数据的标识查询日志文件，得到消费数据的消费轨迹。其中日志文件包括消息生成设备上打印的消息生成日志和消息消费设备上打印的消息消费日志。通过消费数据的标识查询 消息中间件 中的各个消费数据对应的日志文件，从而得到各个消费数据的消费轨迹，通过查询得到的消费轨迹确定各个消费数据的消费状态和消费结果等等。，下面是消费数据的数据处理方法、装置、计算机设备和存储介质专利的具体信息内容。
1.一种消费数据的数据处理方法，其特征在于，所述方法包括：
接收用于查询消息中间件中的消费数据的消费轨迹的查询请求，所述查询请求携带所述消费数据的标识；
根据所述消费数据的标识查询日志文件，得到所述消费数据的消费轨迹。
2.根据权利要求1所述的方法，其特征在于，所述日志文件包括消息生成日志和消息消费日志，所述根据所述消费数据的标识查询日志文件，得到所述消费数据的消费轨迹，包括：
根据所述消费数据的标识查询消息生成日志，得到生成信息；
根据所述消费数据的标识查询消息消费日志；
当未在所述消息消费日志中查询到与所述消费数据的标识匹配的数据时，将所述生成信息作为所述消费轨迹；
当在所述消息消费日志中查询到与所述消费数据的标识匹配的数据时，将查询到的数据作为消费信息，将所述生成信息和所述消费信息组成的信息作为所述消费轨迹。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取原始消息生成日志，从所述原始消息生成日志中筛选出所述消费数据和对应的生成信息，得到所述消息生成日志；
获取原始消息消费日志，从所述原始消息消费日志中筛选出所述消费数据和对应的消费信息，得到所述消息消费日志。
4.一种消费数据的数据处理方法，其特征在于，所述方法包括：
获取原始消费数据；
为所述原始消费数据分配对应的标识；
将所述标识与所述原始消费数据进行封装，得到消费数据；
发送所述消费数据至消息中间件，并打印所述消费数据，得到所述消息生成日志。
5.一种消费数据的数据处理方法，其特征在于，所述方法包括：
接收消息中间件下发的消费数据，所述消费数据携带标识；
解析所述消费数据，得到解析数据，所述解析数据包括原始消费数据和对应的标识；
打印所述解析数据，得到所述消息消费日志。
6.一种消费数据的数据处理装置，其特征在于，所述装置包括：
查询请求接收模块，用于接收用于查询消息中间件中的消费数据的消费轨迹的查询请求，所述查询请求携带所述消费数据的标识；
数据查询模块，用于根据所述消费数据的标识查询日志文件，得到所述消费数据的消费轨迹。
7.一种消费数据的数据处理装置，其特征在于，所述装置包括：
原始数据获取模块，用于获取原始消费数据；
标识分配模块，用于为所述原始消费数据分配对应的标识；
数据封装模块，用于将所述标识与所述原始消费数据进行封装，得到消费数据；
日志生成模块，用于发送所述消费数据至消息中间件，并打印所述消费数据，得到所述消息生成日志。
8.一种消费数据的数据处理装置，其特征在于，所述装置包括：
消息接收模块，用于接收消息中间件下发的消费数据，所述消费数据携带标识；
数据解析模块，用于解析所述消费数据，得到解析数据，所述解析数据包括原始消费数据和对应的标识；
日志打印模块，用于打印所述解析数据，得到所述消息消费日志。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
消费数据的数据处理方法、装置、计算机设备和存储介质
技术领域
[0001] 本申请涉及计算机技术领域，尤其涉及一种消费数据的数据处理方法、装置、计算机设备和存储介质。
背景技术
[0002] 消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能，成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件，如ActiveMQ、RabbitMQ，Kafka和RocketMQ等。只支持查看主题下的消息队列有多少消息被消费，还剩余多少消息没有被消费等，无法查询各个消费数据的消费轨迹。发明内容
[0003] 为了解决上述技术问题，本申请提供了一种消费数据的数据处理方法、装置、计算机设备和存储介质。
[0004] 第一方面，本申请提供了一种消费数据的数据处理方法，包括：
[0006] 根据消费数据的标识查询日志文件，得到消费数据的消费轨迹。
[0007] 第二方面，本申请提供了一种消费数据的数据处理装置，包括：
[0008] 查询请求接收模块，用于接收用于查询消息中间件中的消费数据的消费轨迹的查询请求，查询请求携带所述消费数据的标识；
[0009] 数据查询模块，用于根据消费数据的标识查询日志文件，得到消费数据的消费轨迹。
[0011] 接收用于查询消息中间件中的消费数据的消费轨迹的查询请求，查询请求携带所述消费数据的标识；
[0012] 根据消费数据的标识查询日志文件，得到消费数据的消费轨迹。
[0013] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0014] 接收用于查询消息中间件中的消费数据的消费轨迹的查询请求，查询请求携带消费数据的标识；
[0015] 根据消费数据的标识查询日志文件，得到消费数据的消费轨迹。
[0016] 上述消费数据的数据处理方法、装置、计算机设备和存储介质，通过消费数据的标识查询消息中间件中的各个消费数据对应的日志文件，从而得到各个消费数据的消费轨迹，通过查询得到的消费轨迹确定各个消费数据的消费状态和消费结果等等。
[0017] 在其中一个实施例中，提供了一种消费数据的数据处理方法，包括：
[0018] 获取原始消费数据；
[0019] 为原始消费数据分配对应的标识；
[0020] 将标识与原始消费数据进行封装，得到消费数据；
[0021] 发送消费数据至消息中间件，并打印消费数据，得到消息生成日志。
[0022] 在其中一个实施例中，提供了一种消费数据的数据处理装置，包括：
[0023] 原始数据获取模块，用于获取原始消费数据；
[0024] 标识分配模块，用于为原始消费数据分配对应的标识；
[0025] 数据封装模块，用于将标识与原始消费数据进行封装，得到消费数据；
[0026] 日志生成模块，用于发送消费数据至消息中间件，并打印消费数据，得到消息生成日志。
[0027] 一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0028] 获取原始消费数据；
[0029] 为原始消费数据分配对应的标识；
[0030] 将标识与原始消费数据进行封装，得到消费数据；
[0031] 发送消费数据至消息中间件，并打印消费数据，得到消息生成日志。
[0032] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0033] 获取原始消费数据；
[0034] 为原始消费数据分配对应的标识；
[0035] 将标识与原始消费数据进行封装，得到消费数据；
[0036] 发送消费数据至消息中间件，并打印消费数据，得到消息生成日志。
[0037] 上述消费数据的数据处理方法、装置、计算机设备和存储介质，通过在消息生成设备生成消费数据时，为各个消费数据分配唯一的标识，打印包含标识的消费数据，得到对应的消息生成日志，生成的体制可以用于查询消费数据的生成记录。
[0038] 在其中一个实施例中，提供了一种消费数据的数据处理方法，包括：
[0039] 接收消息中间件下发的消费数据，消费数据携带标识；
[0040] 解析消费数据，得到解析数据，解析数据包括原始消费数据和对应的标识；
[0041] 打印解析数据，得到消息消费日志。
[0042] 在其中一个实施例中，提供了一种消费数据的数据处理装置，包括：
[0043] 消息接收模块，用于接收消息中间件下发的消费数据，所述消费数据携带标识；
[0044] 数据解析模块，用于解析所述消费数据，得到解析数据，所述解析数据包括原始消费数据和对应的标识；
[0045] 日志打印模块，用于打印所述解析数据，得到所述消息消费日志。
[0046] 一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0047] 接收消息中间件下发的消费数据，消费数据携带标识；
[0048] 解析消费数据，得到解析数据，解析数据包括原始消费数据和对应的标识；
[0049] 打印解析数据，得到消息消费日志。
[0050] 一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0051] 接收消息中间件下发的消费数据，消费数据携带标识；
[0052] 解析消费数据，得到解析数据，解析数据包括原始消费数据和对应的标识；
[0053] 打印解析数据，得到消息消费日志。
[0054] 上述消费数据的数据处理方法、装置、计算机设备和存储介质，在数据消费端接收到消费数据时，解析消费数据，打印消费数据，生成对应的消息消费日志，消息消费日志用于查询消费数据的消费轨迹。附图说明
[0056] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0057] 图1为一个实施例中消费数据的处理方法的应用环境图；
[0058] 图2为一个实施例中消费数据的数据处理方法的流程示意图；
[0059] 图3为一个实施例中消费数据的数据处理方法的流程示意图；
[0060] 图4为一个实施例中消费数据的数据处理方法的流程示意图；
[0061] 图5为一个实施例中消费数据的数据处理装置的结构框图；
[0062] 图6为一个实施例中消费数据的数据处理装置的结构框图；
[0063] 图7为一个实施例中消费数据的数据处理装置的结构框图；
[0064] 图8为一个实施例中计算机设备的内部结构图。
具体实施方式
[0065] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0066] 图1为一个实施例中处理消费数据的方法的应用环境图。参照图1，该处理消费数据的方法应用于处理消费数据的系统。该处理消费数据的系统包括消息生成设备110、消息中间件120和消息消费设备130。其中，消息中间件120分别与消息生成设备110和消息消费设备130通过网络连接。消息生成设备110和消息消费设备130均为常见的计算机设备，其中计算机设备包括终端或服务器等等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。消息中间件120包括ActiveMQ、Kafka、Apache kafka等等。
[0067] 如图2所示，在一个实施例中，提供了一种消费数据的数据处理方法。本实施例主要以该方法应用于上述图1中的消息中间件120来举例说明。参照图2，该消费数据的数据处理方法具体包括如下步骤：
[0068] 步骤S201，接收用于查询消息中间件中的消费数据的消费轨迹的查询请求。
[0069] 在本具体实施例中，查询请求携带消费数据的标识。
[0070] 步骤S202，根据消费数据的标识查询日志文件，得到消费数据的消费轨迹。
[0071] 具体地，消费数据是指在消息中间件中存储过的数据，消息中间件中可以用于存储各种业务数据，其中业务数据可以根据需求自定义。如各个视频数据的合法性标签、文本数据的有效性等等。消费轨迹是指消费数据的生成记录和消费记录，其中生成记录包括生成设备的设备标识、消息主题和生成时间等等，同理消费记录包括消费设备的设备标识、消息主题和消费时间等等。日志文件包括消息生成日志和消息消费日志。消息生成日志是指生成消息时打印的日志，消息消费日志是指消费时打印的日志。查询请求是用于查询数据的数据库查询请求，其中消费轨迹存储在对于的数据库中，数据库可以为常见的SQL、MYSQL和Druid等等。消费数据的标识是指生成消费数据时分配的标识，该标识能唯一标识消费数据。其中消费数据的标识还可以是根据预设标识生成算法生成的标识，如根据snowflake算法生成对应的标识。通过消费数据的标识在数据库中查找对于的消费记录，查找到消费数据的消费轨迹，其中同一个消费数据可以能被多个消费设备消费，同一个消费数据若被消费了，则消费轨迹中包含至少一个对应的消费设备。若消费数据未被消费，则可以查询到消费数据的生成记录。通过消费数据的标识查询到的消费轨迹可以用于判断各个消费数据的消费状态，确定各个消费数据是否被有效的消费掉。通过消费轨迹可以确定各个消费数据是被哪些消费设备消费、消费设备何时消费该消息等信息。通过消费轨迹，快速追溯消息中间件的消息链路，定位是否因某条消息被消费失败导致的服务问题等。
[0072] 在一个实施例中，日志文件包括消息生成日志和消息消费日志，步骤S202，包括：根据消费数据的标识查询消息生成日志，得到生成信息；根据消费数据的标识查询消息消费日志，当未在消息消费日志中查询到与消费数据的标识匹配的数据时，将生成信息作为消费轨迹；当在消息消费日志中查询到与消费数据的标识匹配的数据时，将查询到的数据作为消费信息，将生成信息和消费信息组成的信息作为消费轨迹。
[0073] 具体地，日志文件包括消息生成日志和消息消费日志，消息生成日志是指生成消费数据打印的日志。消息生成日志包括消费数据本身(原始消费数据)、消费数据的标识、生成设备、生成时间和消息的主题和报错信息等。原始消费数据为消息内容，消息内容是指业务信息，业务信息包括但不限于视频内容是否违规、操作是否合理、数据是否正常上传和代码是否正常执行等信息。消息消费日志是指消费设备在消费对应的消费数据之前打印的日志。生成信息包括生成消息的生成设备和时间等等。消息消费日志包括消费数据本身(原始消费数据)、消费数据的标识、消费设备、消费时间和消息的主题等。消费信息包括消费设备和消费时间(消费数据下发至消息消费设备的时间)等。当根据消费数据的标识查询到对应的消费信息时，将消费信息和生成信息组成的信息作为消费轨迹。若未在消息消费中查找到匹配的消费消息时，将生成消息作为消费轨迹。
[0074] 在一个实施例中，上述消费数据的数据处理方法，还包括：当监控到消息生成设备打印的消息生成日志时，获取消息生成日志文件，将获取的消息生成日志添加至日志文件；当监控到消息消费设备打印的消息消费日志时，获取消息消费日志，将获取的消息消费日志添加至日志文件。
[0075] 具体地，日志文件随着消费数据的生成和消费进行更新。当检测到消息生成设备打印的消息生成日志时，将打印的消息生成日志添加至日志文件中，同理，当检测到消息消费设备打印的消息消费日志，将打印的消息消费日志添加到日志文件中。随着消费数据的更新实时更新日志文件，保证日志文件的准确性和实时性，从而保证查询请求查询到的数据的准确性和实时性。
[0076] 在一个实施例中，上述消费数据的数据处理方法，还包括：获取原始消息生成日志，从原始消息生成日志中筛选出消费数据和对应的生成信息，得到消息生成日志；获取原始消息消费日志，从原始消息消费日志中筛选出消费数据和对应的消费信息，得到消息消费日志。
[0077] 具体地，原始消息生成日志是指通过日志打印工具打印消息生成设备中关于消费数据的信息。原始消息消费日志是指通过日志打印工具打印消息消费设备中关于消费数据的信息。在日志打印过程中会打印出需要与消费数据无关的数据，故在将原始消息生成日志和原始消息消费日志添加至日志文件之前需要对原始消息生成日志和原始消息消费日志进行数据清洗，即对数据进行数据筛选，筛选出原始消息生成日志和原始消息消费日志中的有效信息。无关的数据包括打印工具的属性数据等等，其中打印工具属性数据包括但不限于打印工具的标识、地址等等。其中原始消息生成日志的有效信息包括消费数据和对应的生成信息，原始消息消费日志的有效信息包括消费数据和对应的消费信息。减少需要存储的数据，可以节约存储空间。减少无效数据的存储还可以节约无效数据的匹配时间，从而节约数据的查询时间，提高数据处理效率。
[0078] 在一个实施例中，消费数据中包含用于填充报错信息的字段，当消费数据产生异常时，将将报错信息写入用于填充报错信息的字段中，检测消费轨迹中的报错字段中是否包含对应的报错信息，当存在报错信息时消费数据出现异常，通过报错信息确定消费数据产生异常的原因。
[0079] 如图3所示，在一个实施例中，提供了一种消费数据的数据处理方法。本实施例主要以该方法应用于上述图1中的消息生成设备110来举例说明。参照图3，该消费数据的数据处理方法具体包括如下步骤：
[0080] 步骤S301，获取原始消费数据。
[0081] 步骤S302，为原始消费数据分配对应的标识。
[0082] 步骤S303，将标识与原始消费数据进行封装，得到消费数据。
[0083] 步骤S304，发送消费数据至消息中间件，并打印消费数据，得到消息生成日志。
[0084] 具体地，原始消费数据是指消息生成设备接收或生成的原始数据，为原始消费数据分配对应的标识，该标识能够唯一标识原始消费数据。将原始消费数据的标识写入原始消费数据中，得到对应封装后的数据，即消费数据。将消费数据发送至消息中间件，在消息生成设备上打印消费数据，得到消息生成日志，打印日志时包括打印时间。打印包含原始消费数据的标识的消费数据，便于查询消费数据的生成信息。
[0085] 如图4所示，在一个实施例中，提供了一种消费数据的数据处理方法。本实施例主要以该方法应用于上述图1中的消息消费设备130来举例说明。参照图4，该消费数据的数据处理方法具体包括如下步骤：
[0086] 步骤S401，接收消息中间件下发的消费数据。
[0087] 在本具体实施例中，消费数据携带标识。
[0088] 步骤S402，解析消费数据，得到解析数据，解析数据包括原始消费数据和对应的标识。
[0089] 步骤S403，打印解析数据，得到消息消费日志。
[0090] 具体地，接收消息中间件下发的消费数据，其中消息中间下发消费数据可以是主动下发，也可以是根据消息消费设备的下发请求下发。下发的消费数据携带唯一的标识。消息消费设备解析接收到消费数据，将消费数据解封，得到原始消费数据和对应的标识。打印解析数据，得到消息消费日志，消息消费日志用于查询消息的消费消息，打印日志携带了对应的打印时间。
[0091] 在一个具体的实施例中，参照图1，处理消费数据的系统包括消息生成设备、消息中间件和消息消费设备。
[0092] 为了说明处理消费数据的方法的具体流程，已一次请求为例进行说明，其中消息中间件以ActiveMQ为例。
[0093] ActiveMQ生产者(消息生成设备)通过JmsTemplate类发送消息，而众多发送接口最终都会调用doSend(MessageProducer producer,Message message)方法。因此，继承JmsTemplate类，重写该方法，在消息Message被发送之前，将触发这次消息发送的请求id作为一个属性添加到消息Message中，并将Message的内容和id、主题等属性打印在本地日志中。当存在报错信息时，Message的内容还包括报错信息。最后调用父类JmsTemplate的doSend()将消息发送。为消息添加一个分布式唯一id属性值来标识消息，唯一id根据特定的业务场景生成，可以是请求id，也可以用snowflake算法生成。
[0094] 对ActiveMQ消息消费者(消息消费设备)进行改造。消息消费设备通过ActiveMQ提供的MessageListener接口方法进行消息消费。为了防止与业务逻辑耦合一起，这里对MessageListener的接口方法进行切面处理。消费者每接收到一个消息Message，在切面中对消息Message进行解析，将请求id从消息属性中提取处理，然后将消息内容和id、消费队列等属性打印在本地日志中。最后再将消息转交给消费者执行业务逻辑。
[0095] 日志采集。采集消息生产者和消费者的日志，将消息转发给kafka。采集日志时可以venus或fluented工具进行采集。
[0096] 消息清洗。创建一个flink流式任务，读取kafka中的消息，将ActiveMQ中消息生成设备和消息消费设备的日志进行解析，读取ActiveMQ的消息内容，请求id，主题和队列，发消息生成设备和消息消费设备信息，最后保存在Druid数据库中。
[0097] 消息轨迹查询。通过编写包含消费数据标识的数据库查询语句即可查询某次请求的ActiveMQ的消息轨迹信息。通过检测消息轨迹中是否包含报错信息确定消费数据是否异常，根据报错信息确定消费数据的异常原因。
[0098] 原生消息中间件不支持消息轨迹查询，无法查询某个具体消息是否被某个消费者消费。通过辅助方案生成了消息中间件的消息轨迹，在应用消息中间件的服务中，便于定位消息中间件某个消息处理失败导致消息未被消费引起的问题，保证服务的可靠性。
[0099] 且消息中间件可以能够实现业务与代码完全解耦，对消息生成设备和消息消费设备的业务代码零侵入。
[0100] 图2为一个实施例中消费数据的数据处理方法的流程示意图。图3为一个实施例中消费数据的数据处理方法的流程示意图。图4为一个实施例中消费数据的数据处理方法的流程示意图。应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0101] 在一个实施例中，如图5所示，提供了一种消费数据的数据处理装置200，包括：
[0102] 查询请求接收模块201，用于接收用于查询消息中间件中的消费数据的消费轨迹的查询请求，查询请求携带消费数据的标识。
[0103] 数据查询模块202，用于根据消费数据的标识查询日志文件，得到消费数据的消费轨迹。
[0104] 在一个实施例中，数据查询模块202具体用于根据消费数据的标识查询消息生成日志，得到生成信息，根据消费数据的标识查询消息消费日志；当未在消息消费日志中查询到与消费数据的标识匹配的数据时，将生成信息作为消费轨迹；当在消息消费日志中查询到与消费数据的标识匹配的数据时，将查询到的数据作为消费信息，将生成信息和消费信息组成的信息作为消费轨迹。
[0105] 在一个实施例中，上述消费数据的数据处理装置200，还包括：
[0106] 日志更新模块，用于当监控到消息生成设备打印的消息生成日志时，获取消息生成日志文件，将获取的消息生成日志添加至日志文件；当监控到消息消费设备打印的消息消费日志时，获取消息消费日志，将获取的消息消费日志添加至日志文件，日志文件包括消息生成日志和消息消费日志。
[0107] 在一个实施例中，上述消费数据的数据处理装置200，还包括：
[0108] 日志筛选模块，用于获取原始消息生成日志，从原始消息生成日志中筛选出消费数据和对应的生成信息，得到消息生成日志；获取原始消息消费日志，从原始消息消费日志中筛选出消费数据和对应的消费信息，得到消息消费日志。
[0109] 在一个实施例中，如图6所示，消费数据的数据处理装置300，包括：
[0110] 原始数据获取模块301，用于获取原始消费数据。
[0111] 标识分配模块302，用于为原始消费数据分配对应的标识。
[0112] 数据封装模块303，用于将标识与原始消费数据进行封装，得到消费数据。
[0113] 日志生成模块304，用于发送消费数据至消息中间件，并打印消费数据，得到消息生成日志。
[0114] 在一个实施例中，如图7所示，消费数据的数据处理装置400，包括：
[0115] 消息接收模块401，用于接收消息中间件下发的消费数据，消费数据携带标识。
[0116] 数据解析模块402，用于解析消费数据，得到解析数据，解析数据包括原始消费数据和对应的标识。
[0117] 日志打印模块403，用于打印解析数据，得到消息消费日志。
[0118] 图8示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110(或服务器120)。如图8所示，该计算机设备通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现消费数据的数据处理方法、消费数据的数据处理方法或消费数据的数据处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行消费数据的数据处理方法、消费数据的数据处理方法或消费数据的数据处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0119] 本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0120] 在一个实施例中，本申请提供的消费数据的数据处理装置、消费数据的数据处理装置和消费数据的数据处理装置可以实现为一种计算机程序的形式，计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成该消费轨迹查询装置、消费数据的数据处理装置和消费数据的数据处理装置的各个程序模块，比如，图5所示的查询请求接收模块201和数据查询模块202。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的消费数据的数据处理方法中的步骤。图6所示的原始数据获取模块301、标识分配模块302、数据封装模块303和日志生成模块304。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的消费数据的数据处理方法中的步骤。图7所示的消息接收模块401、数据解析模块402和日志打印模块403。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的消费数据的数据处理方法中的步骤。
[0121] 例如，图8所示的计算机设备可以通过如图5所示的消费数据的数据处理装置中的查询请求接收模块201执行接收用于查询消息中间件中的消费数据的消费轨迹的查询请求，查询请求携带消费数据的标识。数据查询模块202执行根据消费数据的标识查询日志文件，得到消费数据的消费轨迹。图8所示的计算机设备可以通过如图6所示的消费数据的数据处理装置的原始数据获取模块301执行获取原始消费数据。计算机设备可以通过标识分配模块302执行为原始消费数据分配对应的标识。计算机设备可以通过数据封装模块303执行将标识与原始消费数据进行封装，得到消费数据。计算机设备可以通过日志生成模块304执行发送消费数据至消息中间件，并打印消费数据，得到消息生成日志。图8所示的计算机设备可以通过如图7所示的消费数据的数据处理装置的消息接收模块401执行接收消息中间件下发的消费数据，消费数据携带标识。计算机设备可以通过数据解析模块402执行解析消费数据，得到解析数据，解析数据包括原始消费数据和对应的标识。设备可以通过日志打印模块403执行打印解析数据，得到消息消费日志。
[0122] 在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：接收用于查询消息中间件中的消费数据的消费轨迹的查询请求，查询请求携带消费数据的标识；根据消费数据的标识查询日志文件，得到消费数据的消费轨迹。
[0123] 在一个实施例中，日志文件包括消息生成日志和消息消费日志，根据所述消费数据的标识查询日志文件，得到消费数据的消费轨迹，包括：根据消费数据的标识查询消息生成日志，得到生成信息；根据消费数据的标识查询消息消费日志；当未在消息消费日志中查询到与消费数据的标识匹配的数据时，将生成信息作为所述消费轨迹；当在消息消费日志中查询到与消费数据的标识匹配的数据时，将查询到的数据作为消费信息，将生成信息和消费信息组成的信息作为消费轨迹。
[0124] 在一个实施例中，日志文件包括消息生成日志和消息消费日志，处理器执行计算机程序时还实现以下步骤：当监控到消息生成设备打印的消息生成日志时，获取消息生成日志文件，将获取的消息生成日志添加至日志文件；当监控到消息消费设备打印的消息消费日志时，获取消息消费日志，将获取的消息消费日志添加至日志文件。
[0125] 在一个实施例中，处理器执行计算机程序时还实现以下步骤：对消息生成日志进行数据清洗，得到清洗后的消息生成日志；将获取的消息生成日志添加至日志文件，包括：将清洗后的消息生成日志添加至日志文件；对消息消费日志进行数据清洗，得到清洗后的消息消费日志；将获取的消息消费日志添加至日志文件，包括：将清洗后的消息消费日志添加至日志文件。
[0126] 在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取原始消费数据；为原始消费数据分配对应的标识；将标识与原始消费数据进行封装，得到消费数据；发送消费数据至消息中间件，并打印消费数据，得到消息生成日志。
[0127] 在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：接收消息中间件下发的消费数据，消费数据携带标识；解析消费数据，得到解析数据，解析数据包括原始消费数据和对应的标识；打印解析数据，得到消息消费日志。
[0128] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：接收用于查询消息中间件中的消费数据的消费轨迹的查询请求，查询请求携带消费数据的标识；根据消费数据的标识查询日志文件，得到消费数据的消费轨迹。
[0129] 在一个实施例中，日志文件包括消息生成日志和消息消费日志，根据所述消费数据的标识查询日志文件，得到消费数据的消费轨迹，包括：根据消费数据的标识查询消息生成日志，得到生成信息；根据消费数据的标识查询消息消费日志；当未在消息消费日志中查询到与消费数据的标识匹配的数据时，将生成信息作为所述消费轨迹；当在消息消费日志中查询到与消费数据的标识匹配的数据时，将查询到的数据作为消费信息，将生成信息和消费信息组成的信息作为消费轨迹。
[0130] 在一个实施例中，日志文件包括消息生成日志和消息消费日志，计算机程序被处理器执行时还实现以下步骤：当监控到消息生成设备打印的消息生成日志时，获取消息生成日志文件，将获取的消息生成日志添加至日志文件；当监控到消息消费设备打印的消息消费日志时，获取消息消费日志，将获取的消息消费日志添加至日志文件。
[0131] 在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对消息生成日志进行数据清洗，得到清洗后的消息生成日志；将获取的消息生成日志添加至日志文件，包括：将清洗后的消息生成日志添加至日志文件；对消息消费日志进行数据清洗，得到清洗后的消息消费日志；将获取的消息消费日志添加至日志文件，包括：将清洗后的消息消费日志添加至日志文件。
[0132] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取原始消费数据；为原始消费数据分配对应的标识；将标识与原始消费数据进行封装，得到消费数据；发送消费数据至消息中间件，并打印消费数据，得到消息生成日志。
[0133] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：接收消息中间件下发的消费数据，消费数据携带标识；解析消费数据，得到解析数据，解析数据包括原始消费数据和对应的标识；打印解析数据，得到消息消费日志。
[0134] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
[0135] 需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0136] 以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于队列的业务请求异步处理方法及装置 | 2020-05-08 | 316 |
| 数据库与缓存的一致性同步方法、装置、计算机设备及存储介质 | 2020-05-08 | 897 |
| 电子文件加密中间件管控系统及方法 | 2020-05-08 | 981 |
| 一种中间件服务器自动组网的方法 | 2020-05-13 | 1039 |
| 通信数据同步及处理方法和系统 | 2020-05-08 | 43 |
| 基于CDN和MEC的车联网移动性管理方法 | 2020-05-08 | 530 |
| 业务告警方法及装置 | 2020-05-11 | 172 |
| 数据库日志同步方法、装置、计算机设备及可读存储介质 | 2020-05-12 | 256 |
| 一种消息数据推送方法、系统及装置 | 2020-05-12 | 574 |
| 一种零编码的应用软件快速构建系统 | 2020-05-12 | 25 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
消息中间件热门专利
QQ群二维码
意见反馈
意见反馈