一种网络广告数据高并发访问服务方法专利检索-别名映射银行与财务事项专利检索查询-专利查询网

一种网络广告数据高并发访问服务方法

阅读：557发布：2020-05-17

专利汇可以提供一种网络广告数据高并发访问服务方法专利检索，专利查询，专利分析的服务。并且本发明涉及一种网络广告数据高并发访问服务方法，服务器包括反向代理服务器、内容服务器，反向代理服务器包括DNS服务器、反向代理服务器组，内容服务器包括广告接口应用服务模块、内容数据库，广告接口应用服务模块包括输入输出回调线程模块、广告请求队列、后台工作线程模块，包括过程：反向代理服务、广告应用服务。本发明采用分布式处理以及双长连接方式确保网络资源被最大限度的利用，具有处理性能显著增强的特点。，下面是一种网络广告数据高并发访问服务方法专利的具体信息内容。

权利要求

1.一种网络广告数据高并发访问服务方法，所述网络广告数据高并发访问服务方法基于服务器实现，所述服务器包括反向代理服务器、内容服务器，所述反向代理服务器包括DNS服务器、反向代理服务器组，所述内容服务器包括广告接口应用服务模块、内容数据库，所述广告接口应用服务模块包括输入输出回调线程模块、广告请求队列、后台工作线程模块，其特征是包括过程：
⑴反向代理服务：反向代理服务器负责接受用户的接入请求，分别维护客户端和应用服务器的连接池，管理并关闭已超时的长连接，在后端应用和远程用户间建立起安全隔离和攻击检测机制，使用轮转或最少连接数优先策略完成基于客户请求的负载均衡或将一个客户请求拆分成若干并行计算部分分别提交到多个应用服务器，对请求的用户ID取前几位作为转发标签，相同标签的请求转发到同一台应用服务器；
⑵广告应用服务：位于内容数据库与反向代理服务器之间的广告接口应用服务模块向上接收由反向代理服务器转发来的客户端访问请求，向下访问由内容数据库提供的结构化存储与数据查询服务；当一个广告请求到达后，底层操作系统通过输入输出回调线程模块对这个已到达的广告请求进行处理，输入输出回调线程模块对该请求进行预处理，使用位于本地的高速缓存来避免成本较高的数据库查询，如果本地缓存命中，则直接将缓存中的结果返回客户端，结束本次请求，如果未命中或这个广告请求需要日志写入操作，则该请求将被输入输出回调线程模块追加到指定的队列中，等待后台工作线程模块中的空闲线程对这个广告请求进行处理；后台工作线程模块中的每个线程都分别维护两条长连接，一条长连接将底层与数据库服务相连，另一条长连接连接到分布式缓存网络，通过让每个线程维护长连接，后台工作线程模块实现了数据库和分布式缓存的连接机制，后台工作线程模块在广告请求队列上等待新的请求到达，从队列中取出一个新的请求后，使用分布式缓存服务命中该请求中的查询操作，如果缓存未命中或该请求需要日志写入处理，通过数据库操作来完成这个广告请求；当一个广告请求被处理完成后，后台工作线程模块会将处理结果作为广告响应以异步输入输出的方式返回到指定客户端。
2.根据权利要求1所述的网络广告数据高并发访问服务方法，其特征在于，过程⑴还包括分布式的缓冲加速，将反向代理服务器分组部署在距离热点地区地理位置较近的网络边界上，通过在位于客户较近的位置提供缓冲服务来加速网络应用。
3.根据权利要求1所述的网络广告数据高并发访问服务方法，其特征在于，过程⑴还包括动态响应缓存，反向代理服务器对一段时间内不会发生改变的动态响应进行缓存，避免后端内容服务器频繁执行重复查询和计算。
4.根据权利要求1所述的网络广告数据高并发访问服务方法，其特征在于，过程⑴还包括数据压缩传输，反向代理服务器启用压缩算法传输返回的数据以节约带宽。
5.根据权利要求1所述的网络广告数据高并发访问服务方法，其特征在于，过程⑴还包括数据加密保护，反向代理服务器与客户端的通信启用加密保护。
6.根据权利要求1所述的网络广告数据高并发访问服务方法，其特征在于，过程⑴还包括容错，反向代理服务器跟踪后端内容服务器的健康状况，避免将请求调度到发生故障的服务器。
7.根据权利要求1所述的网络广告数据高并发访问服务方法，其特征在于，过程⑴还包括用户鉴权，反向代理服务器完成用户登陆和会话建立工作。
8.根据权利要求1所述的网络广告数据高并发访问服务方法，其特征在于，过程⑴还包括网址别名，反向代理服务器对外建立统一的网址别名信息，屏蔽后端内容服务器的真实位置。
9.根据权利要求1所述的网络广告数据高并发访问服务方法，其特征在于，过程⑴还包括应用混搭，反向代理服务器通过映射算法将不同的广告应用混搭在一起。
10.根据权利要求1所述的网络广告数据高并发访问服务方法，其特征在于，过程⑴还包括协议转换，反向代理服务器为后端应用提供协议转换服务。

说明书全文

一种网络广告数据高并发访问服务方法

[0001]

技术领域

[0002] 本发明涉及一种网络广告数据高并发访问服务方法，特别涉及一种增强处理性能的网络广告数据高并发访问服务方法，属于网络广告数据高并发访问服务领域。

[0003]

背景技术

[0004] 目前全球47%的人口每月至少上一次网，包括通过PC和移动设备。未来的全球互联网普及率将超过50%，网民数量达到38.4亿人。随着互联网用户量增长，对网络广告服务能力的要求越来越高。通过增加服务器数据，配置服务器集群虽然可以解决密集用户访问的问题，但是会带来较高的投入成本。目前市场上存在的网络广告服务器软件大部分是直接使用一些开源的免费项目，例如tomcat、nginx、apache。虽然这些项目成本低，使用方便简单，但是处于高并发的网络广告服务中，服务能力仍然有提升空间。

[0005]

发明内容

[0006] 本发明网络广告数据高并发访问服务方法公开了新的方案，采用分布式处理以及双长连接方式确保网络资源被最大限度的利用，解决了现有方案在高并发网络广告服务中效率下降的问题。

[0007] 本发明网络广告数据高并发访问服务方法，网络广告数据高并发访问服务方法基于服务器实现，服务器包括反向代理服务器、内容服务器，反向代理服务器包括DNS服务器、反向代理服务器组，内容服务器包括广告接口应用服务模块、内容数据库，广告接口应用服务模块包括输入输出回调线程模块、广告请求队列、后台工作线程模块，包括过程：⑴反向代理服务：反向代理服务器负责接受用户的接入请求，分别维护客户端和应用服务器的连接池，管理并关闭已超时的长连接，在后端应用和远程用户间建立起安全隔离和攻击检测机制，使用轮转或最少连接数优先策略完成基于客户请求的负载均衡或将一个客户请求拆分成若干并行计算部分分别提交到多个应用服务器，对请求的用户ID取前几位作为转发标签，相同标签的请求转发到同一台应用服务器；
⑵广告应用服务：位于内容数据库与反向代理服务器之间的广告接口应用服务模块向上接收由反向代理服务器转发来的客户端访问请求，向下访问由内容数据库提供的结构化存储与数据查询服务；当一个广告请求到达后，底层操作系统通过输入输出回调线程模块对这个已到达的广告请求进行处理，输入输出回调线程模块对该请求进行预处理，使用位于本地的高速缓存来避免成本较高的数据库查询，如果本地缓存命中，则直接将缓存中的结果返回客户端，结束本次请求，如果未命中或这个广告请求需要日志写入操作，则该请求将被输入输出回调线程模块追加到指定的队列中，等待后台工作线程模块中的空闲线程对这个广告请求进行处理；后台工作线程模块中的每个线程都分别维护两条长连接，一条长连接将底层与数据库服务相连，另一条长连接连接到分布式缓存网络，通过让每个线程维护长连接，后台工作线程模块实现了数据库和分布式缓存的连接机制，后台工作线程模块在广告请求队列上等待新的请求到达，从队列中取出一个新的请求后，使用分布式缓存服务命中该请求中的查询操作，如果缓存未命中或该请求需要日志写入处理，通过数据库操作来完成这个广告请求；当一个广告请求被处理完成后，后台工作线程模块会将处理结果作为广告响应以异步输入输出的方式返回到指定客户端。

[0008] 进一步，本方案的方法的过程⑴还包括分布式的缓冲加速，将反向代理服务器分组部署在距离热点地区地理位置较近的网络边界上，通过在位于客户较近的位置提供缓冲服务来加速网络应用。

[0009] 进一步，本方案的方法的过程⑴还包括动态响应缓存，反向代理服务器对一段时间内不会发生改变的动态响应进行缓存，避免后端内容服务器频繁执行重复查询和计算。

[0010] 进一步，本方案的方法的过程⑴还包括数据压缩传输，反向代理服务器启用压缩算法传输返回的数据以节约带宽。

[0011] 进一步，本方案的方法的过程⑴还包括数据加密保护，反向代理服务器与客户端的通信启用加密保护。

[0012] 进一步，本方案的方法的过程⑴还包括容错，反向代理服务器跟踪后端内容服务器的健康状况，避免将请求调度到发生故障的服务器。

[0013] 进一步，本方案的方法的过程⑴还包括用户鉴权，反向代理服务器完成用户登陆和会话建立工作。

[0014] 进一步，本方案的方法的过程⑴还包括网址别名，反向代理服务器对外建立统一的网址别名信息，屏蔽后端内容服务器的真实位置。

[0015] 进一步，本方案的方法的过程⑴还包括应用混搭，反向代理服务器通过映射算法将不同的广告应用混搭在一起。

[0016] 进一步，本方案的方法的过程⑴还包括协议转换，反向代理服务器为后端应用提供协议转换服务。

[0017] 本发明网络广告数据高并发访问服务方法采用分布式处理以及双长连接方式确保网络资源被最大限度的利用，具有处理性能显著增强的特点。

[0018]附图说明

[0019] 图1是本发明网络广告数据高并发访问服务方法的原理图。

[0020]

具体实施方式

[0021] 本发明网络广告数据高并发访问服务方法，网络广告数据高并发访问服务方法基于服务器实现，服务器包括反向代理服务器、内容服务器，反向代理服务器包括DNS服务器、反向代理服务器组，内容服务器包括广告接口应用服务模块、内容数据库，广告接口应用服务模块包括输入输出回调线程模块、广告请求队列、后台工作线程模块，包括过程：⑴反向代理服务：反向代理服务器负责接受用户的接入请求，分别维护客户端和应用服务器的连接池，管理并关闭已超时的长连接，在后端应用和远程用户间建立起安全隔离和攻击检测机制，使用轮转或最少连接数优先策略完成基于客户请求的负载均衡或将一个客户请求拆分成若干并行计算部分分别提交到多个应用服务器，对请求的用户ID取前几位作为转发标签(TAG)，相同标签的请求转发到同一台应用服务器；
⑵广告应用服务：位于内容数据库与反向代理服务器之间的广告接口应用服务模块向上接收由反向代理服务器转发来的客户端访问请求，向下访问由内容数据库提供的结构化存储与数据查询服务；当一个广告请求到达后，底层操作系统通过输入输出回调线程模块对这个已到达的广告请求进行处理，输入输出回调线程模块对该请求进行预处理，使用位于本地的高速缓存来避免成本较高的数据库查询，如果本地缓存命中，则直接将缓存中的结果返回客户端，结束本次请求，如果未命中或这个广告请求需要日志写入操作，则该请求将被输入输出回调线程模块追加到指定的队列中，等待后台工作线程模块中的空闲线程对这个广告请求进行处理；后台工作线程模块中的每个线程都分别维护两条长连接，一条长连接将底层与数据库服务相连，另一条长连接连接到分布式缓存网络，通过让每个线程维护长连接，后台工作线程模块实现了数据库和分布式缓存的连接机制，后台工作线程模块在广告请求队列上等待新的请求到达，从队列中取出一个新的请求后，使用分布式缓存服务命中该请求中的查询操作，如果缓存未命中或该请求需要日志写入处理，通过数据库操作来完成这个广告请求；当一个广告请求被处理完成后，后台工作线程模块会将处理结果作为广告响应以异步输入输出的方式返回到指定客户端。

[0022] 为了增强反向代理服务功能，本方案的方法的过程⑴还包括分布式的缓冲加速，将反向代理服务器分组部署在距离热点地区地理位置较近的网络边界上，通过在位于客户较近的位置提供缓冲服务来加速网络应用。过程⑴还包括动态响应缓存，反向代理服务器对一段时间内不会发生改变的动态响应进行缓存，避免后端内容服务器频繁执行重复查询和计算。过程⑴还包括数据压缩传输，反向代理服务器启用压缩算法传输返回的数据以节约带宽。过程⑴还包括数据加密保护，反向代理服务器与客户端的通信启用加密保护。过程⑴还包括容错，反向代理服务器跟踪后端内容服务器的健康状况，避免将请求调度到发生故障的服务器。过程⑴还包括用户鉴权，反向代理服务器完成用户登陆和会话建立工作。过程⑴还包括网址别名，反向代理服务器对外建立统一的网址别名信息，屏蔽后端内容服务器的真实位置。过程⑴还包括应用混搭，反向代理服务器通过映射算法将不同的广告应用混搭在一起。过程⑴还包括协议转换，反向代理服务器为后端应用提供协议转换服务。

[0023] 反向代理方式是指以代理服务器来接受客户端的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给请求连接的客户端。反向代理就是web服务器加速，是一种通过在web服务器和外部网络间增加高速web缓冲服务器来降低实际web服务器负载的一种技术。反向代理服务器会强制将外部网络对要代理的服务器的访问经过它，这样反向代理服务器负责接收客户端的请求，然后到源服务器上获取内容，把内容返回给用户，并把内容保存到本地，以便日后再收到同样的信息请求时，它会把本地缓存里的内容直接发给用户，以减少后端web服务器的压力，提高响应速度。反向代理服务器通常有两种模型，它可以作为内容服务器的替身，也可以作为内容服务器集群的负载均衡器。当客户端向站点提出请求时，请求将转到代理服务器，然后代理服务器通过防火墙中的特定通路将客户的请求发送到内容服务器，内容服务器再通过该通道将结果回传给代理服务器。代理服务器将检索到的信息发送给客户机，好像代理服务器就是实际的内容服务器。如果内容服务器返回错误消息，代理服务器会先行截取该消息并更改标头中列出的任何网址，然后再将消息发送给客户机，防止外部客户获取内部内容服务器的重定向网址。代理服务器就在安全数据库和可能的恶意攻击之间提供了一道屏障。其二，可以在一个组织内使用多个代理服务器来平衡各 Web 服务器间的网络负载。可以利用代理服务器的高速缓存特性，创建一个用于负载平衡的服务器池。如果 Web 服务器每天都会接收大量的请求，则可以使用代理服务器分担 Web 服务器的负载并提高网络访问效率。

[0024] 对于客户发往真正服务器的请求，代理服务器起着中间调停者的作用。代理服务器会将所请求的文档存入高速缓存。如果有不止一个代理服务器，DNS 可以采用“循环复用法”选择其 IP 地址，随机为请求选择路由。客户机每次都使用同一个网址，但请求所采取的路由每次都可能经过不同的代理服务器。可以使用多个代理服务器来处理对一个高用量内容服务器的请求，以便内容服务器可以处理更高的负载，并且比其独自工作时更有效率。因此，反向代理具有以下特点：⑴实现了网站服务器对外隐蔽；⑵节约了有限的IP地址资源，企业内所有的网站共享一个在互联网中注册的IP地址，这些服务器分配私有地址，采用虚拟主机的方式对外提供服务；⑶保护了真实的web服务器，web服务器对外不可见，外网只能看到反向代理服务器，而反向代理服务器上并没有真实数据，因此，保证了web服务器的资源安全；⑷反向代理的缓存网页功能加速了对网站访问速度，减轻了web服务器的负担，如果用户需要的内容在缓存中，则可以直接从代理服务器中获取，减轻了web服务器的负荷，同时也加快了用户的访问速度。

[0025] 本方案公开了一种网络广告数据高并发访问服务方法，主要分为反向代理部分和广告应用服务部分。以下分别详述。

[0026] 反向代理服务如图1所示，构架中最外层的反向代理服务器负责接受用户的接入请求，在实际应用中，代理服务器通常要完成以下任务：
⑴连接管理：分别维护客户端和应用服务器的连接池，管理并关闭已超时的长连接。

[0027] ⑵攻击检测和安全隔离：由于反向代理服务无需完成任何动态页面生成任务，所有与业务逻辑相关的请求都转发至后端应用服务器处理，因此反向代理服务几乎不会被应用程序设计或后端数据漏洞所影响。反向代理的安全性和可靠性通常仅取决于产品本身。在应用服务的前端部署反向代理服务器可以有效地在后端应用和远程用户间建立起一套可靠的安全隔离和攻击检测机制。如果需要，还可以通过在外网、反向代理、后端应用和数据库等边界位置添加额外的硬件防火墙等网络隔离设备来实现更高的安全性能。

[0028] ⑶负载均衡：通常使用轮转(Round Robin)或最少连接数优先等策略完成基于客户请求的负载均衡，也可以使用 SSI 等技术将一个客户请求拆分成若干并行计算部分分别提交到多个应用服务器。根据广告请求的特点，做服务转发需要考虑到计算用户唯一数据的问题，因此我们对请求的用户ID取前几位作为转发TAG，相同TAG的请求必须转发到同一台应用服务器，确保在计算唯一用户数据时不出现错误。

[0029] ⑷分布式的cache加速：可以将反向代理分组部署在距离热点地区地理位置较近的网络边界上。通过在位于客户较近的位置提供缓冲服务来加速网络应用。这实际上就构成了 CDN 网络。

[0030] ⑸动态响应缓存：对一段时间内不会发生改变的动态响应进行缓存，避免后端应用服务器频繁执行重复查询和计算。

[0031] ⑹数据压缩传输：为返回的数据启用 GZIP/ZLIB 压缩算法以节约带宽。

[0032] ⑺数据加密保护(SSL Offloading)：为与客户端的通信启用SSL/TLS加密保护。

[0033] ⑻容错：跟踪后端应用服务器的健康状况，避免将请求调度到发生故障的服务器。

[0034] ⑼用户鉴权：完成用户登陆和会话建立等工作。

[0035] ⑽网址别名：对外建立统一的网址别名信息，屏蔽真实位置。

[0036] ⑾应用混搭：通过SSI和URL映射技术将不同的广告应用混搭在一起。

[0037] ⑿协议转换：为使用SCGI和FastCGI等协议的后端应用提供协议转换服务。

[0038] 广告应用服务广告应用服务层(广告接口应用服务模块)位于数据库等后端通用服务层与反向代理层之间，向上接收由反向代理服务转发而来的客户端访问请求，向下访问由数据库层提供的结构化存储与数据查询服务。应用层实现了广告应用的所有业务逻辑，通常要完成大量的计算和数据动态生成任务。广告应用节点由 IO 回调线程池(输入输出回调线程模块)、广告请求队列以及后台工作线程池(后台工作线程模块)等三个重要部分组成，其伺服流程如下：
当一个广告请求到达后，底层操作系统通过 IOCP、epoll、kqueue、event ports、real time signal(posix aio)、/dev/poll、pollset 等各类与具体平台紧密相关的IO完成(或IO就绪)回调机制通知AIO(Asynchronous IO)回调线程，对这个已到达的广告请求进行处理。在 AIO 回调池中的工作线程接收到一个已到达的广告请求后，首先尝试对该请求进行预处理。在预处理过程中，将会使用位于本地的高速缓存来避免成本较高的数据库查询。如果本地缓存命中，则直接将缓存中的结果(仍然以异步 IO 的方式)返回客户端，并结束本次请求。如果指定的广告请求要求查询的数据无法被本地缓存命中，或者这个广告请求需要日志写入操作，则该请求将被AIO回调线程追加到指定的队列中，等待后台工作线程池中的某个空闲线程对其进行进一步处理。后台工作线程池中的每个线程都分别维护着两条长连接：一条与底层到数据库服务相连，另一条则连接到分布式缓存(memcached)网络。通过让每个工作线程维护属于自己的长连接，后台工作线程池实现了数据库和分布式缓存连接池机制。长连接(Keep-Alive)通过为不同的请求重复使用同一条网络连接大大提高了应用程序处理效率和网络利用率。后台工作线程在广告请求队列上等待新的请求到达，在从队列中取出一个新的请求后，后台工作线程首先尝试使用分布式缓存服务命中该请求中的查询操作，如果网络缓存未命中或该请求需要日志写入等进一步处理，则直接通过数据库操作来完成这个广告请求。当一个广告请求被处理完成后，后台工作线程会将处理结果作为广告响应以异步 IO 的方式返回到指定客户端。

[0039] 上述步骤是一个典型广告接口应用服务的工作方式。需要说明的是，与 epoll/kqueue/event ports等相位触发的通知机制不同，对于Windows IOCP和 POSIX AIO Realtime Signal这类边缘触发的 AIO 完成事件通知机制，为了避免操作系统底层IO完成队列(或实时信号队列)过长或溢出导致的内存缓冲区被长时间锁定在非分页内存池，在上述系统内的AIO回调方式实际上是由两个独立的线程池和一个AIO完成事件队列组成的：一个线程池专门负责不间断地等待系统AIO完成队列中到达的事件，并将其提交到一个内部的AIO完成队列中(该队列工作在用户模式，具有用户可控的弹性尺寸，并且不会锁定内存)。与此同时，另一个线程池等待在这个内部AIO完成队列上，并且处理不断到达该队列的AIO完成事件。这样的设计降低了操作系统的工作负担，避免了在极端情况下可能出现的消息丢失、内存泄露以及内存耗尽等问题，同时也可以帮助操作系统更好地使用和管理非分页内存池。因此，本方案采用了针对广告请求特性的分布式处理，广告应用双长连接技术，确保网络资源被最大限度的利用，提高响应时间。基于以上特点，本方案的网络广告数据高并发访问服务方法相比同类方案处理性能提升100%，2000并发用户下QPS可达到30000，并且响应时间可以控制在30ms以内，具有突出的实质性特点和显著的进步。

[0040] 本方案的网络广告数据高并发访问服务方法并不限于具体实施方式中公开的内容，实施例中出现的技术方案可以基于本领域技术人员的理解而延伸，本领域技术人员根据本方案结合公知常识作出的简单替换方案也属于本方案的范围。

标题	发布/更新时间	阅读量
一种敏感表群体发现方法及系统	2020-05-11	877
基于知识图谱理念和技术的工程图谱数据信息管理方法	2020-05-12	427
一种基于远程监督的同义词提取方法	2020-05-19	826
数据处理方法、装置、电子设备及可读存储介质	2020-05-13	458
基于别名标准化的领域专业词汇词嵌入向量训练方法、系统及介质	2020-05-08	653
程序打包方法、程序打包装置及计算机可读存储介质	2020-05-19	321
一种网络广告数据高并发访问服务方法	2020-05-17	557
一种基于区块链的数据存储与查询方法	2020-05-19	124
一种基于IMS企业网的智能终端管控方法及系统	2020-05-16	793
一种基于信息抽取的网络安全法案件智能研判方法	2020-05-17	625

一种网络广告数据高并发访问服务方法

一种网络广告数据高并发访问服务方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：