基于虚浏览器下载的互联网大数据采集系统
专利汇可以提供基于虚浏览器下载的互联网大数据采集系统专利检索，专利查询，专利分析的服务。并且一种基于虚浏览器下载的互联网大 数据采集 系统，由顶至下，包括由虚浏览器层、负载均衡层和HTTP代理层；其中虚浏览器层为系统的顶层，由虚浏览器集群构成，发出HTTP 请求 ；负载均衡层为系统的 中间层 ，虚浏览器层通过负载均衡层连接HTTP代理层；HTTP代理层为系统的底层，依HTTP请求返回HTTP响应。过使用虚浏览器作为下载客户端，利用虚浏览器的网页 渲染 和脚本解析引擎，可以直接获取到JavaScript脚本在Dom上执行、渲染后的结果。负载均衡层提高了系统的效率，保证了系统的鲁棒性。而由于系统中的HTTP代理服务和虚浏览器处于同一子网，能够极大避免外部带宽开销和下载耗时开销。，下面是基于虚浏览器下载的互联网大数据采集系统专利的具体信息内容。
1.一种基于虚浏览器下载的互联网大数据采集系统，其特征在于：由顶至下，包括由虚浏览器层、负载均衡层和HTTP代理层；其中虚浏览器层为系统的顶层，由虚浏览器集群构成，发出HTTP请求；负载均衡层为系统的中间层，虚浏览器层通过负载均衡层连接HTTP代理层；HTTP代理层为系统的底层，依HTTP请求返回HTTP响应。
2.根据权利要求1所述的基于虚浏览器下载的互联网大数据采集系统，其特征在于：虚浏览器以开源浏览器内核为核心，保留网页解析模块、脚本引擎、视觉渲染模块，去除包含界面显示模块、多媒体数据下载模块和访问记录存储模块在内的外围模块。
3.根据权利要求1或2所述的基于虚浏览器下载的互联网大数据采集系统，其特征在于：虚浏览器中包括开源Chrome内核和PhantomJS。
4.根据权利要求3所述的基于虚浏览器下载的互联网大数据采集系统，其特征在于：负载均衡层中使用LVS服务作为负载均衡，LVS服务向外暴露出一个虚拟ip，使虚浏览器集群连接该虚拟ip作为HTTP代理；同时，LVS将具体的HTTP请求分发给下层真实HTTP代理。
5.根据权利要求3所述的基于虚浏览器下载的互联网大数据采集系统，其特征在于：
HTTP层中选用开源squid作为HTTP请求的代理服务。
基于虚浏览器下载的互联网大数据采集系统
技术领域
背景技术
发明内容
附图说明
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于GPU加速的非局部平均滤波实时处理方法 | 2021-02-04 | 0 |
| 片剂 | 2021-03-11 | 1 |
| 一种养胃枇杷芯羊肉丸及其制备方法 | 2023-02-20 | 1 |
| 一种基于USB传输的多路信号同步采集系统装置及方法 | 2023-06-24 | 1 |
| 用于处理加速处理装置中的网络消息的方法和系统 | 2020-12-11 | 1 |
| 一种粗粒度可重构层次化的阵列寄存器文件结构 | 2022-12-28 | 0 |
| 一种多镜像融合自启方法和系统 | 2020-06-09 | 1 |
| 一种基于物联网的智能船舶系统 | 2021-02-24 | 1 |
| 一种高压GIS机械状态在线监测系统 | 2022-06-26 | 0 |
| 一种混合动力汽车发动机智能电子控制单元 | 2023-02-16 | 0 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
