技术领域
[0001] 本
发明涉及KOM系统技术领域，具体为一种企业零售系统数据汇总同步方案。
背景技术
[0002] 在传统的同步方案中间，大部分是系统独立部署各个应用的日志直接写到
服务器的磁盘上面，当需要查看的时候直接登录到对应的机器，下载下来，然后手动分析，如果遇到数据同步，有些是登陆到服务器把数据导成csv然后再导入本地新的
数据库，即:传统方式:登录相应服务器->依次手动分割文件->手动打包下载->本机还原汇总->转为数据库存储。
[0004] 1.由于应用面向海外多个国家,数据存放在海外多地多台服务器,当需要排查日志便会存在跨机房的问题,特别是在分布式系统中,最新的日志要在线上多台机器中寻找。
[0005] 2.本地日志数据存在延迟性,依赖于定时任务拉取.不能日志监控和及时发现线上问题。
[0006] 3.传统日志按拉取时间归档,会出现日志中断,对于记录业务完整性不利。
发明内容
[0007] 本发明的目的在于提供一种企业零售系统数据汇总同步方案，已解决现有中存在的不足问题。
[0008] 为实现上述目的，本发明提供如下技术方案：一种企业零售系统数据汇总同步方案，包括如下步骤：
[0009] 步骤S1：通过浏览器对日志信息发起
请求；
[0010] 步骤S2：首先,当请求到了服务器的nginx,我们在nginx中给每一个请求打上一个tag；
[0011] 步骤S3：步骤S2中对打上tag的请求进行记录,并记录tag信息到我们的日志存储系统；
[0012] 步骤S4：随后nginx会连带此tag信息一并把服务请求代理转发到应用系统；
[0013] 步骤S5：应用系统会把tag信息作为日志信息的一部分,连同系统日志一并写入本服务器上的日志存储系统；
[0014] 步骤S6：通过kafuka将每台机器上的日志异步推送回内网；
[0015] 步骤S7：订单分析系统：判断依据是调用了相应的下单的url，同时返回结果是正常的HTTP 200状态码的请求；当我们发现有这个相应的请求的时候；反向在内网去查询数据库，就能知道这次请求下单的具体情况；购买的sku，数量以及金额；
[0016] 步骤S8：内网压测和镜像流量：就是利用nginx的日志，在nginx日志中间保存有请求的参数，利用这个就可以自己拼接出这次请求的真实请求样例；然后请求测试环境：如果有问题，立刻就会在测试过程中间就会反馈出来。
[0017] 优选的，步骤S1中也可通过手机或IOS发起请求。
[0018] 优选的，步骤S1中的通讯协议为http协议或者thrift协议。
[0019] 优选的，步骤S6中的kafka的跨机房组件；Kakfa MirrorMake,在每台
应用服务器的消费消息,然后在内网生产生成数据,保证数据不会堆积丢失。
[0020] 优选的，每台服务器上部署logstash实时监控nginx和应用输出的日志文件,异步收集信息并格式化,通过kafaka传输至一台内网服务器,进行统一汇总。
[0021] 与
现有技术相比，本发明的有益效果如下：
[0022] 1.实时日志监控,包括能实时监控日志文件生成异常；监控日志内容异常,实时预警。
[0023] 2.跨机房数据同步,包括完整的把各个线上环境日志不间断的拉取到本地；用
流式传输避免日志文件过大无法传输。
[0024] 3.利用本地汇总信息,还原系统业务完整操作,便于后续优化系统和
大数据分析业务操作。
附图说明
[0025] 图1为本发明流程示意图。
具体实施方式
[0026] 下面将结合本发明
实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0027] 实施例1
[0028] 请参阅图1，本发明提供一种企业零售系统数据汇总同步方案技术方案：一种企业零售系统数据汇总同步方案，包括如下步骤：
[0029] 步骤S1：通过浏览器对日志信息发起请求；通讯协议为http协议或者thrift协议。
[0030] 步骤S2：首先,当请求到了服务器的nginx,我们在nginx中给每一个请求打上一个tag。
[0031] 步骤S3：步骤S2中对打上tag的请求进行记录,并记录tag信息到我们的日志存储系统。
[0032] 步骤S4：随后nginx会连带此tag信息一并把服务请求代理转发到应用系统。
[0033] 步骤S5：应用系统会把tag信息作为日志信息的一部分,连同系统日志一并写入本服务器上的日志存储系统；每台服务器上部署logstash实时监控nginx和应用输出的日志文件,异步收集信息并格式化,通过kafaka传输至一台内网服务器,进行统一汇总。
[0034] 步骤S6：通过kafuka将每台机器上的日志异步推送回内网；kafka的跨机房组件；Kakfa MirrorMake,在每台应用服务器的消费消息,然后在内网生产生成数据,保证数据不会堆积丢失和传统binlog主从相比,不仅能做到跨机房不丢数据,还能支持消费数据和原数据的格式化自定义。
[0035] 步骤S7：订单分析系统：判断依据是调用了相应的下单的url，同时返回结果是正常的HTTP 200状态码的请求；当我们发现有这个相应的请求的时候；反向在内网去查询数据库，就能知道这次请求下单的具体情况；购买的sku，数量以及金额。
[0036] 步骤S8：内网压测和镜像流量：就是利用nginx的日志，在nginx日志中间保存有请求的参数，利用这个就可以自己拼接出这次请求的真实请求样例；然后请求测试环境：如果有问题，立刻就会在测试过程中间就会反馈出来。
[0037] 实施例2
[0038] 请参阅图1，本发明提供一种企业零售系统数据汇总同步方案技术方案：一种企业零售系统数据汇总同步方案，包括如下步骤：
[0039] 步骤S1：通过手机对日志信息发起请求；通讯协议为http协议或者thrift协议。
[0040] 步骤S2：首先,当请求到了服务器的nginx,我们在nginx中给每一个请求打上一个tag。
[0041] 步骤S3：步骤S2中对打上tag的请求进行记录,并记录tag信息到我们的日志存储系统。
[0042] 步骤S4：随后nginx会连带此tag信息一并把服务请求代理转发到应用系统。
[0043] 步骤S5：应用系统会把tag信息作为日志信息的一部分,连同系统日志一并写入本服务器上的日志存储系统；每台服务器上部署logstash实时监控nginx和应用输出的日志文件,异步收集信息并格式化,通过kafaka传输至一台内网服务器,进行统一汇总。
[0044] 步骤S6：通过kafuka将每台机器上的日志异步推送回内网；kafka的跨机房组件；Kakfa MirrorMake,在每台应用服务器的消费消息,然后在内网生产生成数据,保证数据不会堆积丢失和传统binlog主从相比,不仅能做到跨机房不丢数据,还能支持消费数据和原数据的格式化自定义。
[0045] 步骤S7：订单分析系统：判断依据是调用了相应的下单的url，同时返回结果是正常的HTTP 200状态码的请求；当我们发现有这个相应的请求的时候；反向在内网去查询数据库，就能知道这次请求下单的具体情况；购买的sku，数量以及金额。
[0046] 步骤S8：内网压测和镜像流量：就是利用nginx的日志，在nginx日志中间保存有请求的参数，利用这个就可以自己拼接出这次请求的真实请求样例；然后请求测试环境：如果有问题，立刻就会在测试过程中间就会反馈出来。
[0047] 实施例3
[0048] 请参阅图1，本发明提供一种企业零售系统数据汇总同步方案技术方案：一种企业零售系统数据汇总同步方案，包括如下步骤：
[0049] 步骤S1：通过IOS对日志信息发起请求；通讯协议为http协议或者thrift协议。
[0050] 步骤S2：首先,当请求到了服务器的nginx,我们在nginx中给每一个请求打上一个tag。
[0051] 步骤S3：步骤S2中对打上tag的请求进行记录,并记录tag信息到我们的日志存储系统。
[0052] 步骤S4：随后nginx会连带此tag信息一并把服务请求代理转发到应用系统。
[0053] 步骤S5：应用系统会把tag信息作为日志信息的一部分,连同系统日志一并写入本服务器上的日志存储系统；每台服务器上部署logstash实时监控nginx和应用输出的日志文件,异步收集信息并格式化,通过kafaka传输至一台内网服务器,进行统一汇总。
[0054] 步骤S6：通过kafuka将每台机器上的日志异步推送回内网；kafka的跨机房组件；Kakfa MirrorMake,在每台应用服务器的消费消息,然后在内网生产生成数据,保证数据不会堆积丢失和传统binlog主从相比,不仅能做到跨机房不丢数据,还能支持消费数据和原数据的格式化自定义。
[0055] 步骤S7：订单分析系统：判断依据是调用了相应的下单的url，同时返回结果是正常的HTTP 200状态码的请求；当我们发现有这个相应的请求的时候；反向在内网去查询数据库，就能知道这次请求下单的具体情况；购买的sku，数量以及金额。
[0056] 步骤S8：内网压测和镜像流量：就是利用nginx的日志，在nginx日志中间保存有请求的参数，利用这个就可以自己拼接出这次请求的真实请求样例；然后请求测试环境：如果有问题，立刻就会在测试过程中间就会反馈出来。
[0057] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、
修改、替换和变型，本发明的范围由所附
权利要求及其等同物限定。
