shell解析yaml文件

脚本

使用方法

yaml文仿掘件内容缺大坦伏桐

输出示例

来自：https://stackoverflow.nilmap.com/question?dest_url=https://stackoverflow.com/questions/5014632/how-can-i-parse-a-yaml-file-from-a-linux-shell-script

一、读取文件

按照上面的思路，先解决读取问题。这里我用了判断语句，起初我是想写出类似于 access=more

/usr/access*.*，将这个路径全部加到变量里，方便判断，因为在shell里，只能将固定文件、文件夹作为变量，变量中不能加*号（我是没找到别的方法，有知道大牛请提点下小弟），所以就想了个笨办法，用匹配关键词的方式来判断特定目录下，是apache日侍备志，还是weblogic日志，还是IIS日志，具体判断方法如下：

if ls -l /usr/ | egrep "access"then

more /usr/access*.* | egrep "多个关键词"

else

more /usr/ex*.log | egrep “多个关键词”

fi

这样的方式来进行判断，但是这样判断有个缺点，就是中间件日志在/usr/目录下，只能存在一种，比如同时存在apache和IIS的日志，就会优先判断apache的，进而不会执行IIS日志分析的语句。而且，为了不跟之前的历史数据混乱，在脚本执行开始，清空了下数据。

file=/usr/nmgxy/

if [ -e "$file" ]then

echo "日志目录存在，跳过创建过程，该 *** 作会清空/usr/nmgxy/目录下所有数据"

echo "按回车键开始清空数据，结束请点击Ctrl+c"

read key

rm -r /usr/nmgxy/*

mkdir -p /usr/nmgxy/LFI/ /usr/nmgxy/exp/ /usr/nmgxy/sql/ /usr/nmgxy/scan/ /usr/nmgxy/xss/ /usr/nmgxy/getshell/ /usr/nmgxy/dir/

else

mkdir -p /usr/nmgxy/ /usr/nmgxy/LFI/ /usr/nmgxy/exp/ /usr/nmgxy/sql/

/usr/nmgxy/scan/ /usr/nmgxy/xss/ /usr/nmgxy/getshell/ /usr/nmgxy/dir/

fi

echo "分析结果日志保存在/usr/nmgxy/目录下"

echo ---------------------日志目标文件---------------------------

if ls -l /usr/ | egrep "access"then

echo --------------------统计出现次数最多的前20个IP地址-----------------

cat /usr/access*.* |awk '{print $1}' |sort |uniq -c |sort -rn |head -20 >/usr/nmgxy/top20.log

echo "统计完成"

二、定义攻击特征

日志读取的问题解决了，滚扮接下来就是定义攻击特征的事儿了，攻击特征比较好定义。例如，SQL注入攻击的判断：

echo ------------------------SQL注入攻击sql.log----------------

echo "开始分析存在SQL注入的攻击行为，并将结果保存在/usr/nmgxy/sql/目录下"

more /usr/access*.* |egrep

"%20select%20|%20and%201=1|%20and%201=2|%20exec|%27exec|

information_schema.tables|%20information_schema.tables|%20where%20|%20union%20|%20SELECT%20|%2ctable_name%20|cmdshell|%20table_schema"

>/usr/nmgxy/sql/大谈灶sql.log

echo "分析结束"

awk '{print "共检测到SQL注入攻击" NR"次"}' /usr/nmgxy/sql/sql.log|tail -n1

echo "开始统计SQL注入攻击事件中，出现频率最多的前20个IP地址"

cat /usr/nmgxy/sql/sql.log |awk -F "[" '{print $1}' |sort |uniq -c |sort -rn |head -20 >/usr/nmgxy/sql/top20.log

echo ----------------------------------------------------------

more /usr/nmgxy/sql/top20.log

echo "统计结束"

我把一些常见的SQL注入攻击的特征写到了里面，去掉了MSSQL数据库存储过程以及MSSQL数据库才会出现的一些注入语句。

三、输出匹配到的含有攻击特征的记录

将匹配到的攻击特征内容，重新输出到了另外一个log里面，相当于做了一次筛选/usr/nmgxy/sql/sql.log

more /usr/access*.* |egrep

"%20select%20|%20and%201=1|%20and%201=2|%20exec|%27exec|

information_schema.tables|%20information_schema.tables|%20where%20|%20union%20|%20SELECT%20|%2ctable_name%20|cmdshell|%20table_schema"

>/usr/nmgxy/sql/sql.log

然后二次分析这个筛选过的文件，统计SQL注入攻击出现的次数

awk '{print "共检测到SQL注入攻击" NR"次"}' /usr/nmgxy/sql/sql.log|tail -n1

输出完毕后，将攻击出现最多的前20个IP地址进行统计并显示到屏幕上

echo "开始统计SQL注入攻击事件中，出现频率最多的前20个IP地址"

cat /usr/nmgxy/sql/sql.log |awk -F "[" '{print $1}' |sort |uniq -c |sort -rn |head -20 >/usr/nmgxy/sql/top20.log

echo ----------------------------------------------------------

more /usr/nmgxy/sql/top20.log

echo "统计结束"

四、输出结果

这个在代码开头，创建了一些文件夹，用来存放筛选过的记录

mkdir -p /usr/nmgxy/LFI/ /usr/nmgxy/exp/ /usr/nmgxy/sql/ /usr/nmgxy/scan/ /usr/nmgxy/xss/ /usr/nmgxy/getshell/ /usr/nmgxy/dir/

中间删删改改折腾了好几次。后来针对特定的攻击，我们比较关注（重点是比较好写的= =）的内容做了HTTP响应请求200/500的判断，并输出结果。

echo -------------------------getshell-getshell.log----------------

echo "开始分析存在getshell的攻击行为，并将结果保存在/usr/nmgxy/getshell/目录下"

more /usr/access*.* |egrep "

eval|%eval|%execute|%3binsert|%20makewebtaski%20|/div.asp|/1.asp|/1.jsp|/1.php|/1.aspx|xiaoma.jsp|tom.jsp|py.jsp|k8cmd.jsp|/k8cmd|ver007.jsp|ver008.jsp|ver007|ver008|%if|\.aar"

>>/usr/nmgxy/getshell/getshell.log

echo "分析结束"

echo "二次分析结果中HTTP响应码为200和500，结果另存为/usr/nmgxy/getshell/ok.log"

more /usr/nmgxy/getshell/getshell.log | awk '{if($9=200) {print $1" "$2"

"$3" "$4" "$6" "$7" "$8" "$9}}' >/usr/nmgxy/getshell/ok.log

more /usr/nmgxy/getshell/getshell.log | awk '{if($9=500) {print $1" "$2"

"$3" "$4" "$6" "$7" "$8" "$9}}' >>/usr/nmgxy/getshell/ok.log

echo "二次分析结束"

awk '{print "共检测到getshell行为" NR "次"}' /usr/nmgxy/getshell/getshell.log|tail -n1

echo "开始统计漏洞利用攻击事件中，出现频率最多的前20个IP地址"

cat /usr/nmgxy/getshell/getshell.log |awk -F "[" '{print $1}' |sort

|uniq -c |sort -rn |head -20 >/usr/nmgxy/getshell/top20.log

echo ---------------------------------------------------------------

more /usr/nmgxy/getshell/top20.log

echo "统计结束"

统计HTTP响应状态，IIS和apache有点区别。apache我以默认空格为分隔符，判断第9个分隔符是否为200或500，如果等于，则输出全部内容

more /usr/nmgxy/getshell/getshell.log | awk '{if($9=500) {print $1" "$2" "$3" "$4" "$6" "$7" "$8" "$9}}'

而IIS的，我则是用获取关键词的方式，来进行判断。

more /usr/nmgxy/getshell/getshell.log | egrep " 200" >/usr/nmgxy/getshell/ok.log

用egrep的方式，关键词为" 200"，200前面有个空格，如果不加空格的话，很容易跟其他的参数混起来，那个时候误报就不是一点点了。例如asp?id=200，所以加入了空格做区分。

IIS和nginx的思路类似，唯一的区别就是特征码，稍微有点改动而已，这个就不一一例举了。思路就是这个思路，其实后期想把报告整体输出成HTML的方式，估计工作量挺大，这个还是得闲下来的时候，慢慢修改吧。

PS：这个脚本虽然写的比较粗糙，但是精确度还是有的，测试了几十次，精确度能达到至少80%以上。

分析1个多G的日志文件，需要大致约30多秒左右，我是在虚拟机里做的测试。虚拟机ubuntu系统，1G的内存。

不见得能帮上大忙，至少可以给大家在分析日志时节省点时间。。。。

先贴出apache、weblogic、IIS的脚本代码，weblogic的从网盘直接下载就好。apache、weblogic、IIS的脚本代码：

用spark-shell去进行日志信息的统计的话，首先第一步就是创建rdd，将数据加载进去。

第二步，州做就是进行map *** 作，然后调用filter进行过滤，包含404的页面，然后调用count进行统计行数。

当然，如果你要进行更详细的统计，或者 *** 作（如果你的log，每列数册亏衡量都相同的话空旦），可以使用java编写自定义的日志处理类，然后在map的时候，对log进行 *** 作。

---