网络数据采集方法、装置、系统、设备及存储介质
阅读：853发布：2023-02-26
专利汇可以提供网络数据采集方法、装置、系统、设备及存储介质专利检索，专利查询，专利分析的服务。并且本 发明 实施例 公开了一种网络 数据采集 方法、装置、系统、设备及存储介质。其中，方法包括：代理服务组件监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与代理服务组件匹配的系统根证书；调用网络引擎组件中的数据解析方法，对网络数据进行解析；调用业务对接组件中的网络 过滤器 ，对解析后的网络数据进行处理，并将解析后的网络数据传输至内部业务 服务器 。本发明实施例解决了安全限制较高的应用程序通过代理服务采集网络数据的过程中，出现的证书验证失败的问题，可以对通过一个代理服务组件对来自不同协议的网络数据进行采集。，下面是网络数据采集方法、装置、系统、设备及存储介质专利的具体信息内容。
1.一种网络数据采集方法，其特征在于，包括：
代理服务组件监听网络引擎组件中的网络通信事件，获取与所述网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与所述代理服务组件匹配的系统根证书；
所述代理服务组件调用网络引擎组件中的数据解析方法，对所述网络数据进行解析；
所述代理服务组件调用业务对接组件中的网络过滤器，对所述解析后的网络数据进行处理，并使用预设上报接口将所述解析后的网络数据传输至内部业务服务器。
2.根据权利要求1所述的方法，其特征在于，代理服务组件监听网络引擎组件中的网络通信事件，获取与所述网络通信事件对应的网络数据，包括：
代理服务组件通过预设端口，监听网络引擎组件中的网络通信事件，获取与所述网络通信事件对应的网络数据。
3.根据权利要求1所述的方法，其特征在于，所述代理服务组件调用网络引擎组件中的数据解析方法，对所述网络数据进行解析，包括：
所述代理服务组件确定与所述网络数据对应的通信协议；
所述代理服务组件根据所述通信协议，调用网络引擎组件中的与所述通信协议匹配的数据解析方法，对所述网络数据进行解析。
4.一种网络数据采集装置，其特征在于，包括：
数据采集模块，用于监听网络引擎组件中的网络通信事件，获取与所述网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与所述代理服务组件匹配的系统根证书；
数据解析模块，用于调用网络引擎组件中的数据解析方法，对所述网络数据进行解析；
数据传输模块，用于调用业务对接组件中的网络过滤器，对所述解析后的网络数据进行处理，并使用预设上报接口将所述解析后的网络数据传输至内部业务服务器。
5.一种网络数据采集系统，其特征在于，包括：
网络引擎组件、代理服务组件以及业务对接组件；
其中，所述网络引擎组件，用于根据网络通信请求，进行网络数据的接收或者发送；
所述代理服务组件，用于执行如权利要求1-3中任一所述的网络数据采集方法；
所述业务对接组件，用于对所述代理服务组件传输的解析后的网络数据进行处理，并使用预设上报接口将所述解析后的网络数据传输至内部业务服务器，以使所述内部业务服务器对所述解析后的网络数据进行汇总处理，得到汇总网络数据，并将所述汇总网络数据发送至业务平台。
6.根据权利要求5所述的系统，其特征在于，所述网络引擎组件为netty网络引擎。
7.根据权利要求5所述的系统，其特征在于，所述代理服务组件为little proxy代理。
8.根据权利要求5所述的系统，其特征在于，所述业务对接组件，还用于：
调用预设注册接口，将所述业务对接组件中的网络过滤器注册到所述代理服务组件。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-3中任一所述的网络数据采集方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-3中任一所述的网络数据采集方法。
网络数据采集方法、装置、系统、设备及存储介质
技术领域
背景技术
[0002] 在应用程序的性能监测领域，对网络性能的监控和分析是一项重要的任务。目前Android网络数据采集一般通过捕获底层套接字socket通信所携带的网络数据，并对网络数据进行解析以识别上层的应用层协议，并按照协议的格式进行加工处理，然后上报到业务平台。在应用程序的网络性能监测方面，对于网络数据的采集是重要环节。
[0003] 现有技术中，针对网络数据的采集，有以下三种方式：往底层socket通信函数里插入钩子函数，当通过底层socket相关函数收发网络数据时，就可以通过钩子函数采集网络数据；通过为应用程序设置网络代理(例如，webview代理)，借助于代理服务对网络数据的中转过程来捕获网络数据；通过第三方抓包软件tcpdump、Charles等进行抓包。
[0004] 第一种方式的缺点是：无法解析经过安全加密的网络数据，另外由于应用程序可能对底层c函数替换做了防御或干扰，也会影响到往底层socket通信函数里埋入钩子函数的成功率，进而影响到网络数据的采集。第二种方式的缺点是：有的第三方抓包软件只能采集无线网络下的网络数据，无法采集使用手机流量的网络数据；有的第三方抓包软件无法正常采集经过安全加密的网络数据；第三方抓包软件一般独立于自动化测试的业务，缺乏与业务的集成，同时数据的格式也有别于自动化测试需要的数据格式。第三种方式的缺点是：通用的代理服务证书处理方式在Android平台下不一定能行得通，并且用户自己安装的证书(非系统证书)不一定能够得到安全级别稍高的应用程序的认可，这种情况下容易出现因证书问题而导致的网络连接被真实的客户端或服务端强制关闭，从而无法通过代理服务来捕获网络数据；其次，传统的网络代理只针对单一协议做代理，扩展性比较差。
发明内容
[0005] 本发明实施例提供一种网络数据采集方法、装置、系统、设备及存储介质，以优化现有的网络数据采集方法，满足不同场景下的网络数据采集需求，提升网络数据采集效果和网络数据采集效率。
[0006] 第一方面，本发明实施例提供了一种网络数据采集方法，包括：
[0007] 代理服务组件监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与代理服务组件匹配的系统根证书；
[0008] 代理服务组件调用网络引擎组件中的数据解析方法，对网络数据进行解析；
[0010] 第二方面，本发明实施例还提供了一种网络数据采集装置，包括：
[0011] 数据采集模块，用于监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与代理服务组件匹配的系统根证书；
[0012] 数据解析模块，用于调用网络引擎组件中的数据解析方法，对网络数据进行解析；
[0013] 数据传输模块，用于调用业务对接组件中的网络过滤器，对解析后的网络数据进行处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器。
[0014] 第三方面，本发明实施例还提供了一种网络数据采集系统，包括：
[0015] 网络引擎组件、代理服务组件以及业务对接组件；
[0017] 代理服务组件，用于执行如本发明实施例所述的网络数据采集方法；
[0018] 业务对接组件，用于对代理服务组件传输的解析后的网络数据进行处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器，以使内部业务服务器对解析后的网络数据进行汇总处理，得到汇总网络数据，并将汇总网络数据发送至业务平台。
[0020] 第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明实施例所述的网络数据采集方法。
[0021] 本发明实施例的技术方案，通过代理服务组件监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与代理服务组件匹配的系统根证书，然后网络引擎组件中的数据解析方法，对网络数据进行解析，调用业务对接组件中的网络过滤器，对解析后的网络数据进行处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器，解决了安全限制较高的应用程序通过代理服务采集网络数据的过程中，出现的证书验证失败的问题，可以对通过一个代理服务组件对来自不同协议的网络数据进行采集。附图说明
[0022] 图1为本发明实施例一提供的一种网络数据采集方法的流程图；
[0023] 图2为本发明实施例二提供的一种网络数据采集方法的流程图；
[0024] 图3为本发明实施例三提供的一种网络数据采集装置的结构示意图；
[0025] 图4a为本发明实施例四提供的一种网络数据采集系统的结构示意图；
[0026] 图4b为本发明实施例四提供的一种网络数据采集系统的工作流程的示意图；
[0027] 图4c为本发明实施例四提供的一种网络数据采集效果的示意图；
[0028] 图4d为本发明实施例四提供的一种网络数据采集效果的示意图；
[0029] 图5为本发明实施例五提供的一种计算机设备的结构示意图。
具体实施方式
[0030] 下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0031] 另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0032] 实施例一
[0033] 图1为本发明实施例一提供的一种网络数据采集方法的流程图。本实施例可适用于对应用程序的网络数据进行采集的情况，该方法可以由本发明实施例提供的网络数据采集装置来执行，该装置可采用软件和/或硬件的方式实现，并一般可集成在计算机设备中的代理服务组件中。
[0034] 如图1所示，本发明实施例的方法具体包括：
[0035] 步骤101、监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与代理服务组件匹配的系统根证书。
[0036] 其中，网络引擎组件，用于根据网络通信请求，进行网络数据的接收或者发送。网络引擎组件负责目标应用程序与对应的远程服务器之间的网络数据的接收或者发送。目标应用程序可以发送网络通信请求至网络引擎组件，请求与对应的远程服务器进行通信。网络引擎组件根据网络通信请求，将目标应用程序发送的网络数据传输至对应的远程服务器，并接收远程服务器发送给目标应用程序的网络数据，将其传输至目标应用程序。
[0037] 在系统根证书目录下，预置与代理服务组件匹配的系统根证书。预置的系统根证书是认可度高的系统根证书。可选的，预先获取开发人员制作好的与代理服务组件匹配的系统根证书，在已经获取计算机设备操作系统的超级用户权限的情况下，直接将根证书推送到系统根证书目录下(相当于内置了受计算机设备操作系统所许可的根证书)。由此，可以达到安装认可度更高的系统根证书的目的。
[0038] 安全性偏高的应用程序对系统根证书有所限制。在系统根证书目录下，预置与代理服务组件匹配的认可度高的系统根证书，通过对接计算机设备操作系统安全框架的方式来进行证书验证，而不使用通用的(pc或服务器端)证书验证逻辑，不通过用户的手动操作来安装认可度低的用户证书，能够绕开安全限制较高的应用程序通过代理服务采集网络数据的过程中，出现的证书验证失败的问题。
[0039] 可选的，代理服务组件监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，可以包括：代理服务组件通过预设端口，监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据。
[0040] 网络通信事件可以包括网络引擎组件中的网络数据发送事件和网络数据接收事件。代理服务组件通过预设端口，监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据。
[0041] 可选的，网络引擎组件为netty网络引擎。采用支持多种应用层协议的netty作为网络引擎。netty网络引擎可以根据网络通信请求，进行网络数据的接收或者发送。网络数据可以为来自不同协议的网络数据。
[0042] 可选的，代理服务组件为little proxy代理。little proxy代理通过预设端口，监听netty网络引擎中的网络通信事件，获取与网络通信事件对应的网络数据。即little proxy代理在一个预设的端口同时监听来自不同协议的网络数据，跟踪网络通信状态，采集网络数据。
[0043] 步骤102、调用网络引擎组件中的数据解析方法，对网络数据进行解析。
[0044] 其中，代理服务组件调用网络引擎组件中的数据解析方法对网络数据进行解析。
[0045] 可选的，代理服务组件调用网络引擎组件中的数据解析方法，对网络数据进行解析，可以包括：代理服务组件确定与网络数据对应的通信协议；代理服务组件根据通信协议，调用网络引擎组件中的与通信协议匹配的数据解析方法，对网络数据进行解析。
[0046] 可选的，little proxy代理调用netty网络引擎中的数据解析方法对网络数据进行解析。
[0047] 步骤103、调用业务对接组件中的网络过滤器，对解析后的网络数据进行处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器。
[0048] 可选的，在代理服务组件监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据之前，业务对接组件调用预设注册接口，将业务对接组件中的网络过滤器注册到代理服务组件。
[0049] 业务对接组件包括各种网络过滤器。代理服务组件解析好网络数据后，调用业务对接组件中的网络过滤器，即调用业务对接组件注册进来的网络过滤器，对解析后的网络数据进行处理。具体的，在网络过滤器中调用网络数据预处理逻辑处理解析好的网络数据。
[0050] 可选的，调用业务对接组件注册进来的网络过滤器，对解析后的网络数据进行处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器。内部业务服务器是计算机设备内部的业务服务器(business server)。内部业务服务器对解析后的网络数据进行汇总处理，得到汇总网络数据，并将汇总网络数据发送至业务平台。业务平台根据汇总网络数据，对目标应用程序的网络性能进行监控和分析。
[0051] 具体的，调用业务对接组件注册进来的网络过滤器，对解析后的网络数据进行处理，包括：根据预设的元素提取规则，通过网络过滤器对解析后的网络数据进行处理，提取需要的元素。
[0052] 可选的，需要的元素可以包括域名服务协议(Domain Name System，DNS)时间、传输控制协议(Transmission Control Protocol，TCP)建连时间、安全套接层(Secure Sockets Layer，SSL)时间、请求时间、响应时间、接收时间等。
[0053] 可选的，在网络过滤器层面，可以根据用户的配置，在采集的网络数据的头部插入自定义的字段。
[0054] 可选的，业务对接组件使用预设上报接口，将解析后的网络数据，以及与解析后的网络数据关联的元素传输至内部业务服务器。内部业务服务器对解析后的网络数据，以及与解析后的网络数据关联的元素进行汇总处理，得到汇总网络数据，并将汇总网络数据发送至业务平台。
[0055] 本发明实施例提供了一种网络数据采集方法，通过代理服务组件监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与代理服务组件匹配的系统根证书，然后网络引擎组件中的数据解析方法，对网络数据进行解析，调用业务对接组件中的网络过滤器，对解析后的网络数据进行处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器，解决了安全限制较高的应用程序通过代理服务采集网络数据的过程中，出现的证书验证失败的问题，可以对通过一个代理服务组件对来自不同协议的网络数据进行采集。
[0056] 实施例二
[0057] 图2为本发明实施例二提供的一种网络数据采集方法的流程图。本发明实施例可以与上述一个或者多个实施例中各个可选方案结合，在本发明实施例中，代理服务组件监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，可以包括：代理服务组件通过预设端口，监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据。
[0058] 以及，代理服务组件调用网络引擎组件中的数据解析方法，对网络数据进行解析，可以包括：代理服务组件确定与网络数据对应的通信协议；代理服务组件根据通信协议，调用网络引擎组件中的与通信协议匹配的数据解析方法，对网络数据进行解析。
[0059] 如图2所示，本发明实施例的方法具体包括：
[0060] 步骤201、通过预设端口，监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与代理服务组件匹配的系统根证书。
[0061] 其中，代理服务组件通过预设端口，监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据。
[0062] 可选的，网络引擎组件为netty网络引擎。采用支持多种应用层协议的netty作为网络引擎。netty网络引擎可以根据网络通信请求，进行网络数据的接收或者发送。网络数据可以为来自不同协议的网络数据。
[0063] 可选的，代理服务组件为little proxy代理。little proxy代理通过预设端口，监听netty网络引擎中的网络通信事件，获取与网络通信事件对应的网络数据。即little proxy代理在一个预设的端口同时监听来自不同协议的网络数据，跟踪网络通信状态，采集网络数据。
[0064] 步骤202、确定与网络数据对应的通信协议。
[0065] 可选的，根据与网络数据关联的协议信息，确定与网络数据对应的通信协议。
[0066] 步骤203、根据通信协议，调用网络引擎组件中的与通信协议匹配的数据解析方法，对网络数据进行解析。
[0067] 其中，代理服务组件根据与网络数据对应的通信协议，调用网络引擎组件中的与通信协议匹配的数据解析方法，对网络数据进行解析。
[0068] 由此，代理服务组件可以调用网络引擎组件中的与通信协议匹配的数据解析方法，对来自不同协议的网络数据进行解析。
[0069] 步骤204、调用业务对接组件中的网络过滤器，对解析后的网络数据进行处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器。
[0070] 代理服务组件解析好网络数据后，调用业务对接组件中的网络过滤器，将解析后的网络数据传输至业务对接组件，即调用业务对接组件注册进来的网络过滤器，对解析后的网络数据进行处理。具体的，在网络过滤器中调用网络数据预处理逻辑处理解析好的网络数据。
[0071] 本发明实施例提供了一种网络数据采集方法，通过预设端口，监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，以及，确定与网络数据对应的通信协议，然后根据通信协议，调用网络引擎组件中的与通信协议匹配的数据解析方法，对网络数据进行解析，可以调用业务对接组件注册进来的网络过滤器，对解析后的网络数据进行处理，可以在一个预设的端口同时监听来自不同协议的网络数据，跟踪网络通信状态，采集网络数据，可以调用网络引擎组件中的与通信协议匹配的数据解析方法，对来自不同协议的网络数据进行解析。
[0072] 实施例三
[0073] 图3为本发明实施例三提供的一种网络数据采集装置的结构示意图。如图3所示，所述装置可以配置于计算机设备中的代理服务组件中，包括：数据采集模块301、数据解析模块302以及数据传输模块303。
[0074] 其中，数据采集模块301，用于监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与代理服务组件匹配的系统根证书；数据解析模块302，用于调用网络引擎组件中的数据解析方法，对网络数据进行解析；数据传输模块303，用于调用业务对接组件中的网络过滤器，对解析后的网络数据进行处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器。
[0075] 本发明实施例提供了一种网络数据采集装置，通过代理服务组件监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与代理服务组件匹配的系统根证书，然后网络引擎组件中的数据解析方法，对网络数据进行解析，调用业务对接组件中的网络过滤器，对解析后的网络数据进行处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器，解决了安全限制较高的应用程序通过代理服务采集网络数据的过程中，出现的证书验证失败的问题，可以对通过一个代理服务组件对来自不同协议的网络数据进行采集。
[0076] 在上述各实施例的基础上，数据采集模块301可以包括：数据采集单元，用于通过预设端口，监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据。
[0077] 在上述各实施例的基础上，数据解析模块302可以包括：协议确定单元，用于确定与所述网络数据对应的通信协议；数据解析单元，用于根据通信协议，调用网络引擎组件中的与通信协议匹配的数据解析方法，对网络数据进行解析。
[0078] 上述网络数据采集装置可执行本发明任意实施例所提供的网络数据采集方法，具备执行网络数据采集方法相应的功能模块和有益效果。
[0079] 实施例四
[0080] 图4a为本发明实施例四提供的一种网络数据采集系统的结构示意图。如图4a所示，该系统具体包括：网络引擎组件401、代理服务组件402以及业务对接组件403。
[0081] 其中，网络引擎组件401，用于根据网络通信请求，进行网络数据的接收或者发送。
[0082] 代理服务组件402，用于监听网络引擎组件401中的网络通信事件，获取与网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与代理服务组件402匹配的系统根证书；调用网络引擎组件中的数据解析方法，对网络数据进行解析；调用业务对接组件403中的网络过滤器对解析后的网络数据进行处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器。
[0083] 业务对接组件403，用于对代理服务组件402传输的解析后的网络数据进行处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器，以使内部业务服务器对解析后的网络数据进行汇总处理，得到汇总网络数据，并将汇总网络数据发送至业务平台。
[0084] 可选的，网络引擎组件401为netty网络引擎。
[0085] 可选的，代理服务组件402为little proxy代理。
[0086] 可选的，业务对接组件403，可以还用于：调用预设注册接口，将业务对接组件403中的网络过滤器注册到代理服务组件402。
[0087] 示例性的，图4b为本发明实施例四提供的一种网络数据采集系统的工作流程的示意图。netty网络引擎可以根据网络通信请求，进行网络数据的接收或者发送。网络数据可以为来自不同协议的网络数据。little proxy代理通过预设端口，监听netty网络引擎中的网络通信事件，获取与网络通信事件对应的网络数据。即little proxy代理在一个预设的端口同时监听来自不同协议的网络数据，跟踪网络通信状态，采集网络数据。little proxy代理调用netty网络引擎中的数据解析方法对网络数据进行解析。little proxy代理解析好网络数据后，调用业务对接组件中的网络过滤器，将解析后的网络数据传输至业务对接组件，即调用业务对接组件注册进来的网络过滤器，对解析后的网络数据做初步的处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器。内部业务服务器是计算机设备内部的业务服务器。内部业务服务器对解析后的网络数据进行汇总处理，得到汇总网络数据，并将汇总网络数据发送至业务平台。业务平台根据汇总网络数据，对目标应用程序的网络性能进行监控和分析。
[0088] 由此，网络数据采集系统利用了netty对协议支持的多样性和可扩展性，能够支持一个代理服务同时代理多种协议，并且方便后续支持新协议的扩展，能够同时支持无线网络和手机流量下的网络数据采集。
[0089] 具体的，调用业务对接组件402注册进来的网络过滤器，对解析后的网络数据做初步的处理，包括：根据预设的元素提取规则，通过网络过滤器对解析后的网络数据进行处理，提取需要的元素。
[0090] 可选的，需要的元素可以包括DNS时间、TCP建连时间、SSL时间、请求时间、响应时间、接收时间等。
[0091] 可选的，在网络过滤器层面，可以根据用户的配置，在采集的网络数据的头部插入自定义的字段。
[0092] 由此，网络数据采集系统支持网络数据自定义，允许在采集网络数据的同时，往采集的网络数据的头部插入自定义的字段。
[0093] 可选的，调用业务对接组件402注册进来的网络过滤器，对解析后的网络数据进行处理，并使用预设上报接口，将解析后的网络数据，以及与解析后的网络数据关联的元素传输至内部业务服务器。内部业务服务器对解析后的网络数据，以及与解析后的网络数据关联的元素进行汇总处理，得到汇总网络数据，并将汇总网络数据发送至业务平台。
[0094] 示例性的，图4c为本发明实施例四提供的一种网络数据采集效果的示意图。根据预设的元素提取规则，通过网络过滤器对解析后的网络数据进行处理，提取需要的元素：DNS时间、TCP建连时间、SSL时间、请求时间、响应时间、接收时间等。根据上述元素，可以对目标应用程序的网络性能进行监控和分析。
[0095] 示例性的，图4d为本发明实施例四提供的一种网络数据采集效果的示意图。根据预设的元素提取规则，通过网络过滤器对解析后的网络数据进行处理，提取需要的元素：总体耗时、DNS用时、TCP用时、响应用时、下载用时等。
[0096] 本发明实施例提供了一种网络数据采集系统，通过网络引擎组件根据网络通信请求，进行网络数据的接收或者发送；代理服务组件监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与代理服务组件匹配的系统根证书，然后网络引擎组件中的数据解析方法，对网络数据进行解析，调用业务对接组件中的网络过滤器，对解析后的网络数据进行处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器，以使内部业务服务器对解析后的网络数据进行汇总处理，得到汇总网络数据，并将汇总网络数据发送至业务平台，解决了安全限制较高的应用程序通过代理服务采集网络数据的过程中，出现的证书验证失败的问题，利用了netty对协议支持的多样性和可扩展性，能够支持一个代理服务同时代理多种协议，并且方便后续支持新协议的扩展，能够同时支持无线网络和手机流量下的网络数据采集。
[0097] 实施例五
[0098] 图5为本发明实施例五提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图5显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0099] 如图5所示，计算机设备12以通用计算机设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。处理器16包括但不限于AI处理器。
[0100] 总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
[0102] 存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0103] 具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
[0104] 计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图5中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
[0105] 计算机设备12的处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的网络数据采集方法。该方法具体可以包括：代理服务组件监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与代理服务组件匹配的系统根证书；代理服务组件调用网络引擎组件中的数据解析方法，对网络数据进行解析；代理服务组件调用业务对接组件中的网络过滤器，对解析后的网络数据进行处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器。
[0106] 实施例六
[0107] 本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所提供的网络数据采集方法。该方法具体可以包括：代理服务组件监听网络引擎组件中的网络通信事件，获取与网络通信事件对应的网络数据，其中，在系统根证书目录下，预置与代理服务组件匹配的系统根证书；代理服务组件调用网络引擎组件中的数据解析方法，对网络数据进行解析；代理服务组件调用业务对接组件中的网络过滤器，对解析后的网络数据进行处理，并使用预设上报接口将解析后的网络数据传输至内部业务服务器。
[0108] 本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0109] 计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0110] 计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
[0111] 可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++、Ruby、Go，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言，以及AI算法的计算机语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0112] 注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 书架页面的展示方法、电子设备及计算机存储介质 | 2020-05-11 | 113 |
| 书籍借还管理系统及方法 | 2020-05-13 | 498 |
| 一种基站设备的证书分发系统及方法 | 2020-05-13 | 84 |
| 一种证书请求消息发送方法、接收方法和装置 | 2020-05-11 | 869 |
| 一种基于区块链技术的图书漂流方法及系统 | 2020-05-12 | 913 |
| 智能校园图书馆管理方法、装置及计算机可读存储介质 | 2020-05-12 | 735 |
| 一种管理证书的方法和系统 | 2020-05-13 | 195 |
| 电子书的显示方法以及移动终端 | 2020-05-12 | 563 |
| 证书生成/分发系统、证书生成/分发方法和证书生成/分发程序 | 2020-05-13 | 722 |
| 管理证书的方法、装置、和系统以及服务器 | 2020-05-12 | 181 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈