linux日志文件的管理、备份及日志服务器的搭建

日志文件存放目录: /var/log

[root@xing log]# cd /var/log

[root@xing log]# ls

messages：系统日志

secure：登录日志

————————————————

日志管理服务文件： vim /etc/rsyslog.conf

日志记录的日志级别：最不严重 ->最严重

debug, info, notice, warning, warn (same as warning), err, error (same

as err), crit, alert, emerg, panic (same as emerg)

测试提示：

[ming@xing etc]$ logger -p authpriv.emerg "==mingeror=="

[ming@xing etc]$

Message from syslogd@xing at Jul 18 11:00:41 ...

root: ==mingeror==

登录日志的错误信息同步写入 “/var/log/secure ” 文件中

————————————————

日志的异地备份

日志的异地备份至关重要。防止别人拿到你的root权限；用命令：echo "" >/var/log/secure 直接清空你的登录日志。

配置需备份日志的客户机（172.168.0.254）：

[root@xing etc]# vim rsyslog.conf

————————————————

配置文件修改：

#*.* @@remote-host:514

authpriv.* @@172.168.0.1:514

————————————————

[root@xing etc]# setenforce 0 //执行setenforce 0 表示 临时关闭 selinux防火墙。

[root@xing etc]# getenforce

Permissive

[root@xing etc]# service rsyslog restart

————————————————

配置日志记录服务器（172.168.0.1）：

[root@xing etc]# vim rsyslog.conf

————————————————

开启接收端口模块

# Provides TCP syslog reception

$ModLoad imtcp

$InputTCPServerRun 514

———

配置备份的数据源及日志备份存放文件

：fromhost-ip，isequal，“172.168.0.254” /var/log/client/172.168.0.254.log

————————————————

[root@xing etc]# service rsyslog restart

———————

ss -antpl | grep 514

————————————————

注意：配置成功需关闭双方服务器的防火墙，或者修改防火墙配置。

1. 前言

在Linux日常管理中，我们肯定有查看某些服务的日志需求，或者是系统本身的日志。本文主要介绍如何查看Linux的系统日志，包括文件的路径、工具的使用等等。会看Linux日志是非常重要的，不仅在日常 *** 作中可以迅速排错，也可以快速的定位。

2. 如何查看Linux日志

Linux日志文件的路径一般位于,/var/log/，比如ngix的日志路径为/var/log/nginx/，如果要查看某服务的日志，还可以使用systemctl status xxx，比如查看ssh服务的壮态，systemctl status sshd

查看Linux某服务的日志

Liunx的配置文件在/etc/rsyslog.d里，可以看到如下信息

在linux系统当中，有三个主要的日志子系统：

1、连接时间日志：由多个程序执行，把记录写入到/var/log/wtmp和/var/run/utmp，

login等程序会更新wtmp和utmp文件，使系统管理员能够跟踪谁在何时登录到系统。

2、进程统计：由系统内核执行，当一个进程终止时，为每个进程往进程统计文件中写一个记录。进程统计的目的是为系统中的基本服务提供命令使用统计

3、错误日志：由rsyslogd守护程序执行，各种系统守护进程、用户程序和内核通过rsyslogd守护程序向文件/var/log/messages报告值得注意的时间。另外有许多linux程序创建日志，像HTTP和FTP这样提供的服务器也保持详细的日志。

4、其他日志……

查看Linux日志默认路径

可以看到在/var/log目录下存在很多的日志文件，接下来就对里面的一些常用日志文件进行分析

主要日志文件介绍：

内核及公共消息日志:/var/log/messages

计划任务日志：/var/log/cron

系统引导日志：/var/log/dmesg

邮件系统日志:/var/log/maillog

用户登录日志：/var/log/lastlog

/var/log/boot.log（记录系统在引导过程中发生的时间）

/var/log/secure (用户验证相关的安全性事件)

/var/log/wtmp(当前登录用户详细信息)

/var/log/btmp（记录失败的的记录）

/var/run/utmp（用户登录、注销及系统开、关等事件）

日志文件详细介绍：

/var/log/secure

Linux系统安全日志，记录用户和工作组的情况、用户登陆认证情况

例子：我创建了一个zcwyou的用户，然后改变了该用户的密码，于是该信息就被记录到该日志下

Linux系统安全日志默认路径

该日志就详细的记录了我 *** 作的过程。

内核及公共信息日志，是许多进程日志文件的汇总，从该文件中可以看出系统任何变化

查看Linux内核及公共信息日志

系统引导日志

该日志使用dmesg命令快速查看最后一次系统引导的引导日志

查看Linux系统系统引导日志

最近的用户登录事件，一般记录最后一次的登录事件

该日志不能用诸如cat、tail等查看，因为该日志里面是二进制文件，可以用lastlog命令查看，它根据UID排序显示登录名、端口号（tty）和上次登录时间。如果一个用户从未登录过，lastlog显示 Never logged。

该日志文件永久记录每个用户登录、注销及系统的启动、停机的事件。该日志为二进制文件，不能用诸如tail/cat/等命令，使用last命令查看。

记录邮件的收发

此文件是记录错误登录的日志，可以记录有人使用暴力破解ssh服务的日志。该文件用lastb打开

该日志记录当前用户登录的情况，不会永久保存记录。可以用who/w命令来查看

3. 常用的日志分析工具与使用方法

3.1 统计一个文本中包含字符个数

3.2 查看当天访问排行前10的url

3.3 查看apache的进程数

3.4 访问量前10的IP

cut部分表示取第1列即IP列，取第4列则为URL的访问量

3.5 查看最耗时的页面

按第2列响应时间逆序排序

3.6 使用grep查找文件中指定字符出现的次数

-o 指示grep显示所有匹配的地方，并且每一个匹配单独一行输出。这样只要统计输出的行数就可以知道这个字符出现的次数了。

4. 总结

查看Linux日志需求了解和熟悉使用一些常用的工具方能提升我们的查找和定位效率。比如使用 Grep 搜索，使用Tail命令，使用Cut，使用AWK 和 Grok 解析日志和使用 Rsyslog 和 AWK 过滤等等，只要能掌握这些工具。我们才能高效地处理和定位故障点。

https://www.linuxrumen.com/rmxx/647.html

在Linux系统中，有三个主要的日志子系统：

连接时间日志--由多个程序执行，把纪录写入到/var/log/wtmp和/var/run/utmp，login等程序更新wtmp和utmp文件，使系统管理员能够跟踪谁在何时登录到系统。

进程统计--由系统内核执行。当一个进程终止时，为每个进程往进程统计文件（pacct或acct）中写一个纪录。进程统计的目的是为系统中的基本服务提供命令使用统计。

错误日志--由syslogd（8）执行。各种系统守护进程、用户程序和内核通过syslog（3）向文件/var/log/messages报告值得注意的事件。另外有许多Unix程序创建日志。像HTTP和FTP这样提供网络服务的服务器也保持详细的日志。

常用的日志文件如下：

Access-log纪录HTTP/web的传输

acct/pacct纪录用户命令

aculog纪录MODEM的活动

btmp纪录失败的纪录

lastlog 纪录最近几次成功登录的事件和最后一次不成功的登录

messages从syslog中记录信息（有的链接到syslog文件）

sudolog 纪录使用sudo发出的命令

sulog 纪录使用su命令的使用

syslog从syslog中记录信息（通常链接到messages文件）

utmp纪录当前登录的每个用户

wtmp一个用户每次登录进入和退出时间的永久纪录

xferlog 纪录FTP会话

utmp、wtmp和lastlog日志文件是多数重用Unix日志子系统的关键--保持用户登录进入和退出的纪录。有关当前登录用户的信息记录在文件utmp中；登录进入和退出纪录在文件wtmp中；最后一次登录文件可以用lastlog命令察看。数据交换、关机和重起也记录在wtmp文件中。所有的纪录都包含时间戳。这些文件（lastlog通常不大）在具有大量用户的系统中增长十分迅速。例如wtmp文件可以无限增长，除非定期截取。许多系统以一天或者一周为单位把wtmp配置成循环使用。它通常由cron运行的脚本来修改。这些脚本重新命名并循环使用wtmp文件。通常，wtmp在第一天结束后命名为wtmp.1；第二天后wtmp.1变为wtmp.2等等，直到wtmp.7。

每次有一个用户登录时，login程序在文件lastlog中察看用户的UID。如果找到了，则把用户上次登录、退出时间和主机名写到标准输出中，然后login程序在lastlog中纪录新的登录时间。在新的lastlog纪录写入后，utmp文件打开并插入用户的utmp纪录。该纪录一直用到用户登录退出时删除。utmp文件被各种命令文件使用，包括who、w、users和finger。

下一步，login程序打开文件wtmp附加用户的utmp纪录。当用户登录退出时，具有更新时间戳的同一utmp纪录附加到文件中。wtmp文件被程序last和ac使用。

具体命令

wtmp和utmp文件都是二进制文件，他们不能被诸如tail命令剪贴或合并（使用cat命令）。用户需要使用who、w、users、last和ac来使用这两个文件包含的信息。

who：who命令查询utmp文件并报告当前登录的每个用户。Who的缺省输出包括用户名、终端类型、登录日期及远程主机。例如：who（回车）显示

chyangpts/0 Aug 18 15:06

ynguo pts/2 Aug 18 15:32

ynguo pts/3 Aug 18 13:55

lewis pts/4 Aug 18 13:35

ynguo pts/7 Aug 18 14:12

yloupts/8 Aug 18 14:15

如果指明了wtmp文件名，则who命令查询所有以前的纪录。命令who /var/log/wtmp将报告自从wtmp文件创建或删改以来的每一次登录。

w：w命令查询utmp文件并显示当前系统中每个用户和它所运行的进程信息。例如：w（回车）显示：3:36pm up 1 day, 22:34, 6 users, load average: 0.23, 0.29, 0.27。

USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT

chyang pts/0 202.38.68.242 3:06pm 2:04 0.08s 0.04s -bash

ynguo pts/2 202.38.79.47 3:32pm 0.00s 0.14s 0.05 w

lewis pts/3 202.38.64.233 1:55pm 30:39 0.27s 0.22s -bash

lewis pts/4 202.38.64.233 1:35pm 6.00s 4.03s 0.01s sh /home/users/

ynguo pts/7 simba.nic.ustc.e 2:12pm 0.00s 0.47s 0.24s telnet mail

ylou pts/8 202.38.64.235 2:15pm 1:09m 0.10s 0.04s -bash

users：users用单独的一行打印出当前登录的用户，每个显示的用户名对应一个登录会话。如果一个用户有不止一个登录会话，那他的用户名将显示相同的次数。例如：users（回车）显示：chyang lewis lewis ylou ynguo ynguo

last：last命令往回搜索wtmp来显示自从文件第一次创建以来登录过的用户。例如：

chyang pts/9202.38.68.242 Tue Aug 1 08:34 - 11:23 (02:49)

cfan pts/6202.38.64.224 Tue Aug 1 08:33 - 08:48 (00:14)

chyang pts/4202.38.68.242 Tue Aug 1 08:32 - 12:13 (03:40)

lewis pts/3 202.38.64.233 Tue Aug 1 08:06 - 11:09 (03:03)

lewis pts/2 202.38.64.233 Tue Aug 1 07:56 - 11:09 (03:12)

如果指明了用户，那么last只报告该用户的近期活动，例如：last ynguo（回车）显示：

ynguopts/4 simba.nic.ustc.e Fri Aug 4 16:50 - 08:20 (15:30)

ynguopts/4 simba.nic.ustc.e Thu Aug 3 23:55 - 04:40 (04:44)

ynguopts/11 simba.nic.ustc.e Thu Aug 3 20:45 - 22:02 (01:16)

ynguopts/0 simba.nic.ustc.e Thu Aug 3 03:17 - 05:42 (02:25)

ynguopts/0 simba.nic.ustc.e Wed Aug 2 01:04 - 03:16 1+02:12)

ynguopts/0 simba.nic.ustc.e Wed Aug 2 00:43 - 00:54 (00:11)

ynguopts/9 simba.nic.ustc.e Thu Aug 1 20:30 - 21:26 (00:55)

ac：ac命令根据当前的/var/log/wtmp文件中的.登录进入和退出来报告用户连结的时间（小时），如果不使用标志，则报告总的时间。例如：ac（回车）显示：total 5177.47

---