一种基于WEB平台的日志分析方法及系统

申请号 CN201110123629.1 申请日 2011-05-13 公开(公告)号 CN102780726B 公开(公告)日 2016-12-07
申请人 国网山东省电力公司蒙阴县供电公司; 发明人 宋晓梅; 刘庆涛; 吕承伟; 于云霞;
摘要 本 发明 公开了一种基于WEB平台的日志分析方法及系统,日志采集模 块 定时采集网络上各台设备产生的日志,日志采集模块将所述采集的日志上传到日志 服务器 ,所述日志服务器对所述日志进行索引和统计归类得到索引数据和统计归类数据。本发明通过提供一个完整的日志采集、搜索、浏览、分析、备份、下载的日志集中处理平台,解决了 现有技术 中只是对各台设备的日志进行简单地采集、没有针对日志的采集、搜索、浏览、分析、备份、下载的整套解决方案的问题。
权利要求

1.一种基于WEB平台的日志分析方法,其特征在于,包括以下步骤:
A、日志采集模根据日志服务器选择的需要采集的日志名称,定时采集网络上各台设备产生的日志;
B、日志采集模块将所述定时采集的网络上各台设备产生的日志上传到所述日志服务器;
C、所述日志服务器对日志采集模块上传的日志进行索引得到索引数据,具体为:所述日志服务器按照文件名、时间、级别、错误码、日志内容五个分析域分别对所述采集的日志进行索引,得到索引数据;
D、所述日志服务器对日志采集模块上传的日志进行分类统计得到分类统计数据,包括:所述日志服务器按照文件名、时间、级别、错误码四个分类标准分别对所述采集的日志进行分类统计,得到分类统计数据;
E、所述日志服务器根据用户输入的搜索条件组合从所述索引数据中搜索符合所述搜索条件的日志。
2.根据权利要求1所述的方法,其特征在于,所述步骤C还包括以下步骤:
所述日志服务器将所述日志进行压缩备份。
3.根据权利要求1所述的方法,其特征在于,所述步骤A具体为:
所述日志服务器通过网络与网络上各台设备建立连接;
安装在所述设备上的日志采集模块定时将所述设备产生的日志文件 的列表发送给所述日志服务器;
所述日志服务器从所述日志文件列表中选择需要采集的日志名称并发送给所述设备;
所述日志采集模块根据所选日志名称采集日志。
4.根据权利要求1所述的方法,其特征在于,所述步骤B具体为:
所述日志采集模块通过FTP或者SYSLOG的方式将所述采集的日志上传给所述日志服务器;
所述日志服务器保存所述采集的日志。
5.一种基于WEB平台的日志分析系统,该系统包括:
日志采集模块,用于根据日志服务器选择的需要采集的日志名称,定时采集网络上各台设备产生的日志并将所述定时采集的网络上各台设备产生的日志上传到所述日志服务器;
日志分析模块,用于对所述日志采集模块上传的日志进行索引得到索引数据,并对日志采集模块上传的日志进行分类统计得到分类统计数据;
日志搜索模块,用于根据用户输入的搜索条件组合从所述索引数据中搜索符合搜索条件的日志;
其中,所述日志分析模块,按照文件名、时间、级别、错误码四个分类标准分别对所述采集的日志进行分类统计,得到分类统计数据,以及按照文件名、时间、级别、错误码、日志内容五个分析域分别对所述采集的日志进行索引,得到索引数据。
6.根据权利要求5所述的系统,其特征在于,该系统还包括:
日志备份下载模块,用于对所述采集的日志进行压缩备份并下载。
7.根据权利要求6所述的系统,其特征在于,所述日志采集模块通过FTP或者SYSLOG的方式定时将所述采集的日志上传给所述日志服务器。

说明书全文

一种基于WEB平台的日志分析方法及系统

技术领域

[0001] 本发明涉及日志管理,特别涉及一种基于WEB平台的日志采集、分析、搜索方法及系统。

背景技术

[0002] 目前处理网络中各台设备的业务日志、操作系统日志、数据库日志的方式是各台设备单独备份,查看日志时需要连接各台设备获取日志,然后人工分析日志内容。这种处理方式严重影响维护人员的工作效率和故障的快速定位和排除,而且在这种工作方式下很难对大量的日志信息进行信息统计和审计的工作。
[0003] 现有环境下有一些工具可以对网络中的各台设备的日志进行简单的采集工作,但是没有针对日志的采集、搜索、浏览、分析、备份、下载的整套解决方案。

发明内容

[0004] 本发明的目的在于提供一种基于WEB平台的日志分析方法及系统,解决了以下技术问题:一、维护人员工作效率不高、故障很难快速定位和排除;二、对大量的日志信息进行统计和审计比较困难;三、仅是对各台设备的日志进行简单地采集,没有针对日志的采集、搜索、浏览、分析、备份、下载的整套解决方案。
[0005] 根据本发明的一个方面,提供了一种基于WEB平台的日志分析方法,包括以下步骤:
[0006] A、日志采集模定时采集网络上各台设备产生的日志;
[0007] B、日志采集模块将所述采集的日志上传到日志服务器
[0008] C、所述日志服务器对所述日志进行索引和统计归类得到索引数据和统计归类数据。
[0009] 优选的,所述方法在步骤C之后还包括以下步骤:
[0010] D、所述日志服务器根据用户输入的搜索条件从所述索引数据中搜索符合所述搜索条件的日志。
[0011] 优选的,所述步骤C还包括以下步骤:
[0012] 所述日志服务器将所述日志进行压缩备份。
[0013] 其中,所述步骤A具体为:
[0014] 所述日志服务器通过网络与网络上各台设备建立连接;
[0015] 安装所述设备上的日志采集模块定时将所述设备产生的日志文件的列表发送给所述日志服务器;
[0016] 所述日志服务器从所述日志文件列表中选择需要采集的日志名称并发送给所述设备;
[0017] 所述日志采集模块根据所选日志名称采集日志。
[0018] 其中,所述步骤B具体为:
[0019] 所述日志采集模块通过FTP或者SYSLOG的方式将所述采集的日志上传给所述日志服务器;
[0020] 所述日志服务器保存所述采集的日志。
[0021] 其中,所述步骤C具体为:
[0022] 所述日志服务器按照文件名、时间、级别、错误码、日志内容五个分析域分别对所述采集的日志进行索引,得到索引数据;
[0023] 所述日志服务器按照文件名、时间、级别、错误码四个分类标准分别对所述采集的日志进行分类统计,得到分类统计数据。
[0024] 根据本发明的另一个方面,提供了一种基于WEB平台的日志分析系统,所述系统包括:
[0025] 日志采集模块,用于定时采集网络上各台设备产生的日志并将所述采集的日志上传到日志服务器;
[0026] 日志分析模块,用于对所述采集的日志进行索引和统计归类得到索引数据和统计归类数据。
[0027] 优选的,该系统还包括:
[0028] 日志搜索模块,用于从所述索引数据中搜索符合搜索条件的日志;
[0029] 日志备份下载模块,用于对所述采集的日志进行压缩备份并下载。
[0030] 优选的,所述日志采集模块通过FTP或者SYSLOG的方式定时将所述采集的日志上传给所述日志服务器。
[0031] 优选的,
[0032] 所述日志服务器按照文件名、时间、级别、错误码、日志内容五个分析域分别对所述采集的日志进行索引,得到索引数据;
[0033] 所述日志服务器按照文件名、时间、级别、错误码四个分类标准分别对所述采集的日志进行分类统计,得到分类统计数据。
[0034] 与现有技术相比较,本发明的有益效果在于:一、提高了维护人员的工作效率,使其能快速定位故障并排除;二、对大量的日志信息进行统计和审计;三、不仅仅简单的采集日志,同时提供搜索、浏览、分析、备份、下载的整套解决方案。附图说明
[0035] 图1是本发明实施例提供的基于WEB平台的日志分析方法的流程图
[0036] 图2是本发明实施例提供的基于WEB平台的日志分析系统的结构示意图。

具体实施方式

[0037] 以下结合附图对本发明的优选实施例进行详细说明,应当理解,以下所说明的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
[0038] 图1是本发明实施例提供的基于WEB平台的日志分析方法的流程图,如图1所示,该方法包括以下步骤:
[0039] 步骤S101,设备配置。
[0040] 设备配置由用户通过日志系统的WEB管理平台完成。录入的设备信息包括设备的描述信息、采集需要用到的参数信息等,用户可以在管理平台上以列表的方式查看所有的设备信息。
[0041] 设备信息具体如下:
[0042]
[0043] 步骤S102,日志采集。
[0044] 日志采集分为两种方式:FTP(File Transfer Protocol,文件传输协议)和SYSLOG(System Log,系统日志),这两种方式可以通过系统配置进行切换。
[0045] FTP方式采集的流程为:日志服务器通过设备IP与安装在设备上的代理程序即日志采集模块通讯,通过代理程序获取设备上的日志文件列表。然后日志服务器过滤需要采集的日志文件,并将文件名发送给代理程序,由代理程序调用操作系统命令通过FTP的PUT方式将日志文件主动上传至日志服务器。日志服务器将采集上来的日志文件按设备进行分文件夹保存,一个设备生成一个文件夹。FTP采集方式由日志服务器主动发起采集任务,因此需要避免日志的重复采集问题。日志服务器通过日志文件名和日志文件最后修改时间来标识日志文件的采集状态。完成采集后,日志服务器将该信息保存进入数据库,下次采集之前通过此信息判断该日志文件是否已经完成采集。如果设备上的该日志文件的修改时间和数据库中的该日志文件的最后修改时间一致,则不再采集,否则重新采集并在数据库中保存日志文件的采集状态信息,同时删除日志目录中此日志文件名对应的文件,并将新采集到的日志文件保存在日志目录下该设备对应的文件夹中。
[0046] SYSLOG方式由设备主动上报日志内容。日志服务器运行后,自动打开SYSLOG服务,各设备通过SYSLOG客户端主动向日志服务器上传日志。SYSLOG采集的保存方式与FTP一样,但由于各设备只上传具体的日志内容,文件名由日志服务器来生成,因此不存在日志重复问题。
[0047] 步骤S103,日志分析。
[0048] 日志分析有两个工作:一是将具体的日志内容进行索引,以方便对日志内容进行快速搜索,二是将日志内容按照一定的分类标准进行分类信息统计,如日志级别,日志时间等分类标准。
[0049] 日志索引和搜索基于开源的Lucene搜索工具库进行开发,采用Lucene内置的标准分析器对日志内容进行分析、索引和搜索。日志索引共包含5个分析域,具体如下:
[0050]
[0051]
[0052] 日志按照一定的分类进行信息统计后,统计信息会保存进入数据库。用户从日志系统的WEB管理平台可以看到统计信息的图标等信息,如柱状图和饼状图等。
[0053] 步骤S104,日志搜索。
[0054] 用户通过日志系统的WEB管理平台可以按照各种条件对日志进行搜索。搜索条件以表单的方式在页面上展示,用户根据具体的情况选择不同的条件组合进行搜索。日志服务器根据用户输入的检索条件从索引数据中进行检索。日志搜索结果以列表的方式在页面上展现给用户。由于日志量非常大,所以展示所有数据在大部分情况下没有意义,因此日志系统按照时间的倒序分页展示,且最大不超过整数(INT)类型的最大值。用户可以选择的搜索条件如下表所示:
[0055]
[0056] 用户通过点击搜索列表中的具体的日志条目可以浏览该条日志的上下文信息,浏览行数可以通过系统进行配置。点击的日志条目会在日志上下文中高亮展示。
[0057] 步骤S105,日志备份。
[0058] 系统采用定时任务,按照配置的备份周期进行备份。备份按照设备进行分类,压缩方式为zip。备份后用户可以通过日志系统的WEB管理平台浏览所有的备份文件,并可以对备份的日志文件进行下载、删除、浏览基本信息等操作。
[0059] 图2是本发明实施例提供的基于WEB平台的日志分析系统的结构示意图,如图2所示,该系统包括日志采集模块1、日志分析模块2、日志搜索模块3、日志备份下载模块4、存储模块5、设备管理模块6、系统配置模块7、用户管理模块8、Web管理平台9、接口模块10、设备11、日志服务器12。其中日志采集模块1用于采集各设备的日志;日志分析模块2用于分析采集到的日志;日志搜索模块3用于根据检索条件搜索日志;日志备份下载模块4用于下载日志并备份;存储模块5用于存储系统配置信息、日志采集信息和日志;设备管理模块6用于配置并管理设备信息;系统配置模块7用于配置系统信息;用户管理模块8用于管理使用该日志系统的用户;WEB管理平台9用于用户操作该日志系统;接口模块10用于日志服务器12和设备11上的日志采集模块1进行通讯;设备11用于产生日志,设备11可以是多个;日志服务器12用于存放日志和运行各种软件程序。
[0060] 系统工作时,首先部署WEB应用。本系统基于TOMCAT应用服务器部署WEB应用。日志分析模块2、日志搜索模块3、日志备份下载模块4、存储模块5、设备管理模块6、系统配置模块7、用户管理模块8、Web管理平台9、接口模块10存放并运行在日志服务器12上。日志采集模块1存放并运行在设备11上,设备11可以为多台。
[0061] 用户通过系统配置模块7进行系统配置。系统基于TOMCAT应用服务器部署WEB应用。用户登录WEB管理平台9并进入系统配置页面之后,通过系统配置模块7对系统进行配置,比如设置日志的保存目录、日志系统采集的时间间隔、日志的采集方式等。用户也可以采用系统默认的配置方式。
[0062] 用户通过设备管理模块6完成设备信息录入。用户登录WEB管理平台9,并进入设备管理页面,录入设备信息并保存。具体的设备信息包括设备名称、IP地址、用户名、操作系统、日志目录。其中设备名称用来标示需要进行日志统一管理的设备的名称。IP地址是设备11在网络中的IP地址。日志服务器12采集设备11上的日志时,需要知道设备11的具体IP地址从而进行连接。用户名是登录设备操作系统的用户名。操作系统是设备11的操作系统类型,比如是Windows系统或者是Linux系统等。日志目录是需要采集的日志在设备11上的保存目录,该目录可以为多个。用户配置完设备信息后,还可以在WEB管理平台9上以列表的方式查看所有的设备信息。
[0063] 用户通过日志采集模块1周期性的定时采集设备上的日志。
[0064] 日志采集分为两种方式:FTP(File Transfer Protocol,文件传输协议)和SYSLOG(System Log,系统日志),这两种方式可以通过系统配置进行切换。
[0065] FTP方式采集的流程为:接口模块10根据系统的定时器周期性地通过设备IP与安装在设备11上的日志采集模块2即代理程序通讯,通过代理程序获取设备11上的日志文件列表。然后接口模块10过滤需要采集的日志文件,并将文件名发送给设备11的代理程序,由代理程序调用操作系统命令通过FTP的PUT方式将日志文件主动上传至日志服务器12。接口模块10将采集上来的日志文件在系统设置的日志保存目录中按设备进行分文件夹保存,一个设备生成一个文件夹。FTP采集方式由日志服务器12主动发起采集任务,因此需要避免日志的重复采集问题。接口模块10通过日志文件名和日志文件最后修改时间来标识日志文件的采集状态。完成采集后,将该信息保存进入数据库。下次采集之前,通过此信息判断该日志文件是否已经完成采集。如果设备11上的日志文件的修改时间和数据库中的日志文件的最后修改时间一致,则不再采集,否则重新采集并在数据库中保存日志文件的采集状态信息,同时删除日志保存目录中此日志文件名对应的文件,并将新采集到的日志文件保存在日志保存目录中与设备相对应的文件夹。
[0066] SYSLOG方式采集的流程为:日志系统运行后,如果系统配置模块7设置的采集方式是SYSLOG方式,则日志服务器12自动打开SYSLOG服务,设备11通过SYSLOG客户端主动向日志服务器12上传日志,接口模块10将日志保存在日志保存目录下的设备对应的文件夹中。SYSLOG采集的保存方式与FTP一样,由于设备只上传具体的日志内容,文件名由日志服务器
12来生成并保存在数据库中,因此不存在日志重复采集问题。
[0067] 用户通过日志分析模块2周期性地分析日志。日志分析模块2读取日志采集模块2采集上来的日志内容,针对固定格式的日志内容进行统计归类并进行索引以提供快速搜索使用。以上的工作有系统定时器定时按一定周期执行。
[0068] 日志分析模块2主要完成两个工作:一是将具体的日志内容进行索引,以方便对日志内容进行快速搜索,二是将日志内容按照一定的分类标准进行分类信息统计。
[0069] 日志索引基于开源的Lucene搜索工具库进行开发,采用Lucene内置的标准分析器对日志内容进行分析、索引。日志索引共包含五个分析域,分别为文件名、时间、级别、错误码和日志内容。其中,前四个分析域的类型都是“保存”,日志内容分析域的类型是“分析、保存”。Lucene搜索工具库根据分析域及分析域的类型生成日志索引。
[0070] 日志分类统计是按照一定的分类对日志数据进行信息统计。比如按照日志级别或日志时间等分类标准,对日志数据进行信息统计,得到的日志分类统计信息保存进入数据库。
[0071] 日志分析模块2每执行一个周期的日志索引、日志分类统计之后,用户就可以通过WEB的管理平台9进行日志的分析统计报表查看。用户进入WEB管理平台9的分析统计页面,输入分析统计条件,WEB管理平台9调用日志分析模块2,日志分析模块2从存储模块5中读取之前保存的分类统计信息或者索引信息,并以数据的形式或者图表的形式显示出来,比如柱状图或饼状图等。
[0072] 用户通过日志搜索模块3根据搜索条件搜索日志。用户就可以通过WEB的管理平台9按照各种搜索条件进行日志的快速搜索。搜索条件以表单的方式在页面上展示,用户根据具体的情况选择不同的条件组合进行搜索。日志搜索模块3根据用户输入的搜索条件从索引数据中检索到符合搜索条件的日志。日志搜索结果以列表的方式在页面上展现给用户。
由于日志量非常大,所以展示所有数据在大部分情况下没有意义,因此日志搜索模块3按照时间的倒序分页展示,且最大不超过INT类型的最大值。用户通过点击搜索列表中的具体的日志条目可以浏览该条日志的上下文信息,浏览行数可以通过系统配置模块进行配置。点击的日志条目会在日志上下文中高亮展示。
[0073] 用户可以选择的搜索条件如下表所示:日志文件、开始时间、结束时间、错误码、日志级别、关键字。其中,日志文件表示需要在哪些日志文件中进行搜索;开始时间是在开始时间之后打印的日志中进行搜索;结束时间是在结束时间之前打印的日志中进行搜索;错误码是根据日志的具体错误码进行搜索;日志级别是根据日志的具体级别进行搜索;关键字是在日志内容中搜索与关键字匹配的内容,关键字会被分析器分析并按照前匹配加80%相似度模糊匹配两种方式进行搜索。
[0074] 用户还可以通过日志搜索模块3查看错误日志快速解决方案。用户登录WEB管理平台9的搜索页面,输入搜索条件并提交之后,搜索的日志如果是错误日志,还可以点击查看错误日志快速解决方案,对网络内的设备11进行监控和故障的快速定位排除。
[0075] 用户通过日志备份下载模块4备份并管理备份文件。日志备份下载模块4根据配置的备份周期定时对日志保存目录下的日志文件按照设备进行分类压缩备份,压缩方式为zip。备份后,用户可以通过WEB管理平台9浏览所有的备份文件,并可以对备份的日志文件进行下载、删除、浏览基本信息等操作。
[0076] 综上所述,本发明通过提供一个完整的日志采集、搜索、浏览、分析、备份、下载的日志集中处理平台,解决了以下问题:维护日志的人员工作效率不高、故障很难快速定位和排除;对大量的日志信息进行统计和审计比较困难;仅是对各台设备的日志进行简单地采集,没有针对日志的采集、搜索、浏览、分析、备份、下载的整套解决方案。
[0077] 尽管上文对本发明进行了详细说明,但是本发明不限于此,本技术领域技术人员可以根据本发明的原理进行各种修改。因此,凡按照本发明原理所作的修改,都应当理解为落入本发明的保护范围。
QQ群二维码
意见反馈