首 页最新软件下载排行文章资讯投稿发布下载专题
维维下载站
您的位置:首页编程开发网页制作Javascript → 如何使用python分析access日志例子思路分享

如何使用python分析access日志例子思路分享

作者:维维 日期:2016-10-26 14:29:02 人气:

怎么样使用python分析access日志例子,最近在自学python,光看是不行的,还是要多实操的。这是一个写给自己的小工具。主要功能是,便利日志文件夹下的文件,根据设定的关键字查找是否有web攻击行为,有兴趣的朋友来详细了解一下吧吧。

前言

WAF上线以后,处理最多的是误报消除。

产生误报有多种原因,例如web应用源码编写的时候允许客户端提交过多的cookie;例如单个参数提交的数值太大。

将误报降低到了能够接受的范围以后,还要关注漏报。WAF不是神,任何WAF都可能被绕过。因此还需要定位漏过的攻击,明确漏报的原因,才能update WAF的策略。

要定位漏报,就必需要分析Web应用的访问日志了。一个站点,每天产生的access日志大约接近1GB,靠肉眼看显然是不现实的。这就需要用到python帮助自动分析了。

实现思路:

拿我司某Web系统举例吧:

apache开启了access日志记录

日志规则是每小时生成一个日志文件,以站点名称为文件名,以日期+时间为后缀。比如:special。XXXXXX。com。cn。2016101001

要分析这一些散碎的日志文件,思路如下:

1、根据用户命令行输入获取日志文件所在目录;

2、遍历目录下所有文件,合并到一个文件;

3、定义web攻击常见payload的字符串:

SQLi的:select、union、+–+;

Struts的:ognl、java

webshell常见的:base64、eval、excute

使用正则逐行匹配,把命中的日志复制到单独的文件。

实现代码,代码如下:

# -*-coding: utf-8 -*-
import os,re,sys
if len(sys.argv) != 2 :
  print 'Usage : python logaudit.py <path>'
  sys.exit()
logpath = sys.argv[1]
#获取输入参数的文件路径'
merge = re.compile(r'.*(\d[10])')
for root , dirs , files in os.walk(logpath):
  for line in files:
    #遍历日志文件夹,合并所有内容到一个文件
    pipei = merge.match(line)
    if pipei != None:
 tmppath = root + '\\' +line
 logread1 = open(tmppath,'r')
 logread = logread1.read()
 log2txt = open('.\\log.txt','a')
 log2txt.write(logread)
 log2txt.close()
 logread1.close()
    else:
 exit
log = open('.//log.txt','r')
logread = log.readlines()
auditString = re.compile(r'.*[^_][sS][eE][lL][eE][cC][tT][^.].*|.*[uU][nN][iI][Oo][nN].*|.*[bB][aA][sS][eE][^.].*|.*[oO][gG][nN][lL].*|.*[eE][vV][aA][lL][(].*|.*[eE][xX][cC][uU][tT][eE].*')
writelog = open('.//result.txt','a')
for lines in logread:
  auditResult = auditString.match(lines)
  if auditResult != None:
    writelog.write(auditResult.group())
    writelog.write('\n')
  else:
    exit
writelog.close()
log.close()

以上就是维维源码网为大家带来的关于如何使用python分析access日志例子代码分享,希望能对你有用。

相关下载
栏目导航
本类热门阅览