一种日志收集系统
阅读：768发布：2023-01-24
专利汇可以提供一种日志收集系统专利检索，专利查询，专利分析的服务。并且本 申请 提供了一种日志收集系统，包括：第一收集模 块 ，用于记录用户操作 请求 的响应信息，用户操作请求的响应信息包括：用户操作请求的内容以及客户端对API请求的响应时间。第二收集模块，用于记录服务端对API请求的响应信息。服务端对所述API请求的响应信息包括：服务端接收API请求的时刻与服务端反馈API请求的响应数据的时刻间的时长。关联模块，用于将第一收集模块与第二收集模块针对同一个用户操作请求记录的信息，进行关联。本申请可以使得基于关联得到的数据检测 软件 问题的准确性得到提高。，下面是一种日志收集系统专利的具体信息内容。
1.一种日志收集系统，其特征在于，包括：
第一收集模块，用于记录用户操作请求的响应信息；所述用户操作请求的响应信息包括：所述用户操作请求的内容以及客户端对API请求的响应时间；所述API请求为所述客户端针对所述用户操作请求需向服务端发送的API请求；所述API请求的响应时间为：所述客户端发送所述API请求的时刻与所述客户端接收到所述API请求的响应数据的时刻间的时长；
第二收集模块，用于记录所述服务端对所述API请求的响应信息；所述服务端对所述API请求的响应信息包括：所述服务端接收所述API请求的时刻与所述服务端反馈所述API请求的响应数据的时刻间的时长；
关联模块，用于将所述第一收集模块与所述第二收集模块针对同一个用户操作请求记录的信息，进行关联。
2.根据权利要求1所述的系统，其特征在于，所述用户操作请求的响应信息还包括：所述API请求的标识；所述服务端对所述API请求的响应信息还包括：所述API请求的标识；其中，同一个所述用户操作请求的API请求的标识相同；
所述关联模块，用于将所述第一收集模块与所述第二收集模块针对同一个用户操作请求记录的信息，进行关联，包括：
将所述第一收集模块与所述第二收集模块分别记录的信息之间，具有相同所述API请求的标识的信息进行关联。
3.根据权利要求1所述的系统，其特征在于，所述服务端对所述API请求的响应信息还包括：MySQL服务的响应信息、分词服务的响应信息、搜索服务的响应信息，以及地区查询服务的响应信息。
4.根据权利要求1所述的系统，其特征在于，所述第一收集模块配置在所述客户端，所述第二收集模块和所述关联模块配置在所述服务端；
所述日志系统还包括：配置在所述客户端的发送模块，用于向所述服务端发送所述用户操作请求的响应信息。
5.根据权利要求4所述的系统，其特征在于，所述发送模块，用于向所述服务端发送所述用户操作请求的响应信息，包括：
通过WebSocket协议，向所述服务端发送所述用户操作请求的响应信息。
6.根据权利要求1所述的系统，其特征在于，所述第一收集模块，用于记录用户操作请求的响应信息，包括：
采用javascript语言，记录所述用户操作请求的响应信息。
7.根据权利要求1所述的系统，其特征在于，所述系统还包括：第一错误信息记录模块和第二错误信息记录模块；
所述第一错误信息记录模块，用于记录所述客户端响应所述用户操作请求过程中的错误数据；
所述第二错误信息记录模块，用于记录所述服务端在响应所述API请求的过程中的错误数据。
8.根据权利要求7所述的系统，其特征在于，所述用户操作请求的响应信息还包括：所述第一错误信息记录模块记录的错误信息。
9.根据权利要求1所述的系统，其特征在于，所述系统还包括：
保存模块，用于对所述关联模块关联得到的数据进行保存。
10.根据权利要求9所述的系统，其特征在于，所述系统还包括：
分析模块，用于对已保存的数据进行分析，确定是否存在问题。
一种日志收集系统
技术领域
[0001] 本申请涉及互联网领域，尤其涉及一种日志收集系统。
背景技术
[0002] 对于B/S架构(Browser/Server，浏览器/服务器模式)的软件，例如，浏览器，用户通过浏览器客户端直接访问服务端，并在浏览器客户端上进行完整的操作。为了描述方便，将B/S架构软件的客户端简称为客户端，将B/S架构软件的服务器端简称为服务端。
[0003] 具体的，客户端在接收到用户操作请求后，向服务端发送用户操作请求的API请求，服务端响应API请求得到响应数据，并将响应数据发送给客户端。目前，在服务端配置日志收集系统，日志收集系统用于记录服务端的关键数据，例如，服务端对API请求的响应时间(服务端接收到API请求的时刻与服务端反馈API请求的响应数据的时刻间的时长)，以及出错信息。
[0005] 本申请提供了一种日志收集系统，目的在于解决检测软件问题的准确性较低的问题。
[0006] 为了实现上述目的，本申请提供了以下技术方案：
[0007] 本申请提供了一种日志收集系统，包括：
[0008] 第一收集模块，用于记录用户操作请求的响应信息；所述用户操作请求的响应信息包括：所述用户操作请求的内容以及客户端对API请求的响应时间；所述API请求为所述客户端针对所述用户操作请求需向服务端发送的API请求；所述API请求的响应时间为：所述客户端发送所述API请求的时刻与所述客户端接收到所述API请求的响应数据的时刻间的时长；
[0009] 第二收集模块，用于记录所述服务端对所述API请求的响应信息；所述服务端对所述API请求的响应信息包括：所述服务端接收所述API请求的时刻与所述服务端反馈所述API请求的响应数据的时刻间的时长；
[0010] 关联模块，用于将所述第一收集模块与所述第二收集模块针对同一个用户操作请求记录的信息，进行关联。
[0011] 可选的，所述用户操作请求的响应信息还包括：所述API请求的标识；所述服务端对所述API请求的响应信息还包括：所述API请求的标识；其中，同一个所述用户操作请求的API请求的标识相同；
[0012] 所述关联模块，用于将所述第一收集模块与所述第二收集模块针对同一个用户操作请求记录的信息，进行关联，包括：
[0013] 将所述第一收集模块与所述第二收集模块分别记录的信息之间，具有相同所述API请求的标识的信息进行关联。
[0014] 可选的，所述服务端对所述API请求的响应信息还包括：MySQL服务的响应信息、分词服务的响应信息、搜索服务的响应信息，以及地区查询服务的响应信息[0015] 可选的，所述第一收集模块配置在所述客户端，所述第二收集模块和所述关联模块配置在所述服务端；
[0016] 所述日志系统还包括：配置在所述客户端的发送模块，用于向所述服务端发送所述用户操作请求的响应信息。
[0017] 可选的，所述发送模块，用于向所述服务端发送所述用户操作请求的响应信息，包括：
[0018] 通过WebSocket协议，向所述服务端发送所述用户操作请求的响应信息。
[0019] 可选的，所述第一收集模块，用于记录用户操作请求的响应信息，包括：
[0020] 采用javascript语言，记录所述用户操作请求的响应信息。
[0021] 可选的，所述系统还包括：第一错误信息记录模块和第二错误信息记录模块；
[0022] 所述第一错误信息记录模块，用于记录所述客户端响应所述用户操作请求过程中的错误数据；
[0023] 所述第二错误信息记录模块，用于记录所述服务端在响应所述API请求的过程中的错误数据。
[0024] 可选的，所述用户操作请求的响应信息还包括：所述第一错误信息记录模块记录的错误信息。
[0025] 可选的，所述系统还包括：
[0026] 保存模块，用于对所述关联模块关联得到的数据进行保存。
[0027] 可选的，所述系统还包括：
[0028] 分析模块，用于对已保存的数据进行分析，确定是否存在问题。
[0029] 本申请所提供的日志收集系统包括第一收集模块、第二收集模块和关联模块。其中，第一收集模块，用于记录用户操作请求的响应信息，其中，用户操作请求的响应信息包括：用户操作请求的内容以及客户端对API请求的响应时间，其中，API请求为客户端针对用户操作请求需向服务端发送的API请求，API请求的响应时间为客户端发送API请求的时刻与客户端接收到API请求的响应数据的时刻间的时长。第二收集模块，用于记录服务端对API请求的响应信息，服务端对API请求的响应信息包括：服务端接收API请求的时刻与服务端反馈API请求的响应数据的时刻间的时长。关联模块，用于对第一收集模块与第二收集模块对同一个用户操作请求记录的信息进行关联。
[0030] 由于关联得到的数据中，针对任意一个用户操作请求，既包括该用户操作请求的内容、客户端对该用户操作请求的API请求的响应时间，也包括服务端对该用户操作请求的API请求的响应时间。一方面，对该用户操作请求记录的信息既有客户端侧的信息也有服务端侧的信息，使得对该用户操作请求记录的信息更全面。另一方面，对该用户操作请求记录的信息对检测软件是否存在问题以及对问题的定位具有针对性。进而，本申请可以使得基于关联得到的数据检测软件问题的准确性得到提高。附图说明
[0031] 为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032] 图1为本申请实施例公开的一种日志收集系统的结构示意图；
[0033] 图2为本申请实施例公开的客户端与服务端针对用户操作请求收集日志的过程示意图。
具体实施方式
[0034] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0035] 发明人在研究中发现，导致检测软件问题的准确性低的原因包括：在客户端侧没有记录对用户操作请求的响应信息，并且，没有将用户操作请求的响应信息与服务端侧对API请求的响应信息结合起来，检测软件是否存在问题以及定位问题。其中，用户操作请求的响应信息可以包括：用户操作请求的内容、接收用户操作请求的时刻、客户端对用户操作请求的API请求的响应时间(向服务端发送用户操作请求的API请求的时刻，与接收API请求的响应数据的时刻间的时长)等。
[0036] 图1为本申请实施例提供的一种日志收集系统，包括第一收集模块101、第二收集模块102和关联模块103。
[0037] 其中，第一收集模块101，用于记录用户操作请求的响应信息。其中，任意一个用户操作请求的响应信息可以包括：用户操作请求的内容、接收到用户操作请求的时刻、API请求的标识，以及API请求的响应时间。
[0038] 其中，API请求为客户端针对用户操作请求需向服务端发送的API请求。在本实施例中，针对一个用户操作请求，客户端需向服务端发送的API操作请求可能有多个，其中，每个API请求都设置有一个标识，并且，对于同一个用户操作请求的不同API请求的标识相同。
[0039] API请求的响应时间为：客户端发送API请求的时刻与客户端接收到API请求的响应数据的时刻间的时长。
[0040] 在本实施例中，第一收集模块可以通过javascript语言，记录用户操作请求的响应信息。其中，JavaScript是一种编程语言，配合HTML+CSS完成网页中的交互效果。例如，JavaScript程序可以获取用户通过双击/单击客户端(具体可以为浏览器)发起的网络请求等各类操作及操作时刻。
[0041] 第二收集模块102，用于记录服务端对API请求的响应信息。
[0042] 其中，服务端对API请求的响应信息可以包括：服务端接收到的API请求的标识，以及服务端接收API请求的时刻与服务端反馈API请求的响应数据的时刻间的时长。
[0043] 针对任意一个API请求，服务端响应该API请求包括：向三方服务发送服务请求，接收三方服务对服务请求的响应数据。在本实施例中，服务端对该API请求的响应信息还可以包括：三方服务对接收到的服务请求的响应信息。其中，三方服务可以包括：MySQL服务、分词服务、搜索服务和地区查询服务。
[0044] 具体的，MySQL服务的响应信息可以包括：MySQL服务接收到的每条SQL的SQL语句、请求时刻(接收到SQL语句的时刻)、结束时刻(对SQL请求响应完成的时刻)、返回结果数量和响应耗时。分词服务的响应信息可以包括：分词服务接收到的请求时刻(接收到服务端发送分词服务请求的时刻)、结束时刻(对服务端发送的分词服务响应完成的时刻)、需要分词的关键词(即参数)和响应耗时。搜索服务的响应信息可以包括：搜索服务接收到的查询语句、请求时刻(接收到服务端发送的搜索服务请求的时刻)、结束时刻(对服务端发送的搜索服务请求响应完成的时刻)和响应耗时。地区查询服务的响应信息可以包括：地区查询服务接收到的参数、请求时刻(接收到服务端发送的地区查询服务请求的时刻)、结束时刻(对服务端发送的地区查询服务请求响应完成的时刻)和响应耗时。
[0045] 关联模块103，用于将第一收集模块101与第二收集模块102对同一个用户操作请求记录的信息进行关联。
[0046] 具体的，由于第一收集模块101记录的用户操作请求的响应信息中包括API请求的标识，第二收集模块102记录的API请求的响应信息中也包括API请求的标识，并且，针对同一个用户操作请求，第一收集模块101与第二收集模块102分别记录的API请求的标识相同。因此，可以以API请求的标识为键，对第一收集模块101与第二收集模块102分别记录的信息之间，具有相同API请求的标识的信息进行关联。
[0047] 在本实施例中，第一收集模块101可以配置在客户端，第二收集模块102和关联模块103都配置在服务端，并且，日志收集系统还包括：发送模块104。该发送模块104配置在客户端，发送模块104，用于向服务端发送第一收集模块101记录的用户操作请求的响应信息，以便服务端的关联模块103，对第一收集模块101记录的信息与第二收集模块102记录的信息之间，具有相同API请求的标识的信息进行关联。
[0048] 当然，第一收集模块101配置在客户端，第二收集模块102和关联模块103配置在服务端，并且，在客户端还配置发送模块104，只是本申请实施例的一种具体实现方式。在实际中，也可以将第一收集模块101和关联模块103配置在客户端，将第二收集模块102配置在服务端，并且，在服务端配置发送模块105，此时，配置在服务端的发送模块105，用于将第二收集模块102记录的API请求的响应信息向客户端发送。客户端配置的关联模块103，用于将第一收集模块101记录的信息与第二收集模块102记录的信息中，具有相同API请求的标识的信息进行关联。
[0049] 在本实施例中，日志收集系统还可以包括：第一错误信息记录模块106和第二错误信息记录模块107，其中，第一错误信息记录模块106，用于记录客户端在响应用户操作请求过程中的出错信息。第二错误信息记录模块107，用于记录服务端在响应用户操作请求的API请求的过程中的出错信息。具体的，可以将第一错误信息记录模块106配置在客户端，将第二错误信息记录模块107配置在服务端。其中，第一错误信息记录模块106可以为console。其中，console可看作是JavaScript代码执行结果的输出容器。在console窗口可以输出JavaScript代码执行过程中的调试信息和错误信息。
[0050] 在本实施例中，日志收集系统还可以包括保存模块108和分析模块109。其中，保存模块108，用于对关联模块103得到的数据进行保存。分析模块109，用于对保存的数据进行分析，例如，利用现有的分布式计算和现有的搜索引擎等技术进行分析，得到软件是否存在问题，以及在软件存在问题的情况下，软件存在的问题具体是什么的分析结果。
[0051] 本实施例具有以下有益效果：
[0052] 有益效果一、
[0053] 在本实施例中，关联得到的数据中，针对任意一个用户操作请求，既包括该用户操作请求的内容、客户端对该用户操作请求的API请求的响应时间，也包括服务端对该用户操作请求的API请求的响应时间。一方面，对该用户操作请求记录的信息既有客户端侧的信息也有服务端侧的信息，使得对该用户操作请求记录的信息更全面。另一方面，对该用户操作请求记录的信息对检测软件是否存在问题以及对问题的定位具有针对性。进而，本申请可以使得基于关联得到的数据检测软件问题的准确性得到提高。
[0054] 有益效果二、
[0055] 在本实施例中，配置在服务端的第二收集模块除了记录API请求的响应时间外，还记录各三方服务的响应信息与响应耗时，使得关联模块得到的数据更全面，使得基于关联模块得到的数据，检测出的软件问题的准确性相对于上述有益效果来说，得到进一步提高。例如，对于MySQL服务、分词服务、搜索服务和地区查询服务中的任意一种三方服务，本实施例记录该三方服务的参数、请求时刻、结束时刻和响应耗时，并且，关联模块将同一个API请求标识的响应信息进行关联，使得从用户操作请求到响应完成用户操作的整个过程中的上下游打通。在软件出现问题时，可以根据关联得到的数据快速确定是否是该三方服务出现了问题，并且还可以确定出用户的哪个操作触发了该三方服务，进而可以快速定位问题。
[0056] 有益效果三、
[0057] 在本实施例中，基于有益效果二，由于关联模块得到的数据中，既包括客户端对用户操作请求的响应信息，也包括服务端的用户操作请求的API请求的响应信息。因此，除了可以帮助软件服务商检测软件问题外，还可以使软件服务商了解到客户端对用户操作请求的真实响应时间，即了解到客户端从接收到用户操作请求的时刻与接收到该用户操作请求的API请求的响应数据的时刻之间，各个节点的信息，进而，使得服务商了解到用户对客户端真正的使用体验。
[0058] 在本申请实施例中，以第一收集模块101设置在客户端，第二收集模块102和关联模块103都设置在服务端，并且在客户端配置有发送模块104为例，介绍客户端与服务端间进行日志收集的过程，具体流程如图2所示，图2为本申请实施例提供的一种日志收集过程示意图，本实施例以一个用户操作请求为例，介绍本实施例中的客户端与服务端针对该用户操作请求收集日志的过程。包括以下步骤：
[0059] S201、客户端记录接收到的用户操作请求的信息。
[0060] 在本步骤中，用户操作请求的信息可以包括：接收到用户操作请求的时刻，以及用户操作请求的内容。当然，用户操作请求的信息还可以包括其他内容，本实施例不对用户操作请求的信息所包括的内容作限定。
[0061] 例如，用户操作请求为“请求打开浏览器客户端的首页”，在本步骤中，浏览器客户端所记录的用户操作请求的信息包括：接收到用户打开浏览器客户端的操作请求的时刻，以及用户操作请求的内容为“请求打开浏览器客户端首页”。
[0062] S202、客户端记录API请求的响应信息。
[0063] 在实际中，客户端在接收到用户操作请求的情况下，向服务端发送用户操作请求的API请求，其中，针对一个用户操作请求，该用户操作请求可以存在多个API请求。
[0064] 在本实施例中，每个API请求都设置有一个标识，并且，对于同一个用户操作请求的API请求的标识相同。
[0065] 在本步骤中，客户端记录的API请求的响应信息可以包括：API请求的标识，API请求的响应时间。其中，API请求的响应时间为客户端发送API请求的时刻与客户端接收到该API请求的响应数据的时刻间的时长。
[0066] S203、服务端记录接收到的API请求的标识。
[0067] S204、服务端记录每个API请求的响应信息。
[0068] 在本步骤中，任意一个API请求的响应信息可以包括：服务端在响应API请求过程中，访问的三方服务的响应信息以及服务端对该API请求的响应时长。
[0069] 其中，服务端对该API请求的响应时长为：从服务端接收到该API请求的时刻到向客户端发送该API请求的响应数据的时刻间的时长。其中，该API请求的响应数据为针对API请求服务端需反馈给客户端的数据。例如，用户操作请求为“请求打开浏览器客户端首页”，该用户操作请求的API请求的响应数据为用于显示浏览器客户端首页的数据。
[0070] 其中，三方服务可以包括：MySQL服务、分词服务、搜索服务和地区查询服务等。三方服务的响应信息具体包括：MySQL服务的响应信息、分词服务的响应信息、搜索服务的响应信息，以及地区查询服务的响应信息。
[0071] 具体的，MySQL服务的响应信息可以包括：MySQL服务接收到的任意一条SQL请求的SQL语句、请求时刻(接收到的SQL请求的时刻)、结束时刻(对SQL请求响应完成的时刻)、返回结果数量，以及响应耗时。分词服务的响应信息可以包括：分词服务接收到的请求时刻(接收到的分词请求的时刻)、结束时刻(对分词请求响应完成的时刻)、需要分词的关键词和响应耗时。搜索服务的响应信息可以包括：搜索服务的响应的信息可以包括：搜索服务接收到的查询语句、请求时刻(接收到搜索服务请求的时刻)、结束时刻(响应完成搜索请求的时刻)和响应耗时。地区查询服务的响应信息可以包括：地区查询服务接收到的参数、请求时刻(接收到的地区查询服务请求的时刻)、结束时刻(对接收到的地区查询服务请求响应完成的时刻)和响应耗时。
[0072] 其中，任意一种三方服务的响应耗时为：该三方服务接收到服务端发送的服务请求的时刻与该三方服务向服务端反馈该服务请求的响应数据的时刻间的时长。
[0073] 在本实施例中，服务端还将API请求的标识与三方服务的响应信息进行关联。具体的，服务端在响应API请求的过程中，服务端向任意一种三方服务发送的服务请求中存在该API请求的标识，服务端可以将该API请求的标识与该三方服务的响应信息进行关联。以便后续在定位问题时，可以确定是哪个API请求触发了该三方服务，进而可以快速确定出问题。
[0074] 在本实施例中，服务端还可以记录在响应API请求过程中的错误信息。
[0075] S205、客户端记录接收服务端反馈API请求的响应数据的时刻。
[0076] S206、客户端向服务端发送用户操作请求的响应信息。
[0077] 在本步骤中，用户操作请求的响应信息可以包括：用户操作请求的内容、接收到用户操作请求的时刻、用户操作请求的API请求的标识、用户操作请求的各个API请求的响应时间，以及报错信息等。其中，用户操作请求的任意一个API请求的响应时间为：向服务端发送该API请求的时刻与接收到该API请求的响应数据的时刻间的时长。其中，报错信息可以为客户端console中的报错信息。
[0078] 具体的，在本步骤中，客户端可以通过websocket向服务端发送用户操作请求的响应信息。其中，websocket是HTML5提供的一种在单个TCP连接上进行全双工通讯的协议，是一种网络传输协议。
[0079] S207、服务端将用户操作请求的响应信息与服务端记录的API请求的响应信息进行关联。
[0080] 在本实施例中，用户操作请求的响应信息包括API请求的标识，API请求的响应信息中同样包括API请求的标识，并且，对于同一个用户操作请求，客户端与服务端分别记录的API请求的标识相同。因此，在本步骤中，可以对用户操作请求的响应信息与API请求的响应信息之间，具有相同API请求的标识的信息进行关联，得到用户操作请求在客户端与服务端间的日志数据。
[0081] 本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0083] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
请求热门专利
QQ群二维码
意见反馈
意见反馈