Linux设置定时任务

《使用PSSH批量管理Linux》 一文中，已经学习了使用p.sh批量管理linux的技巧。而很多时候，我们需要定时执行一些任务，或者需要定时执行一些批量任务。因此，本文就来研究一下linux设置定时任务的方法。 主要参考 Linux Crontab 定时任务 、 Linux定时任务Crontab命令详解 和 Linux 定时任务详解 。 cron（crond）是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程。linux系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。crond进程每分钟会定期检查是否有要执行的任务，如果有要执行的任务，则自动执行该任务。另外，由于使用者自己也可以设置计划任务，所以，linux系统也提供了使用者控制计划任务的命令：crontab命令。 crontab命令是cron table的简写，它是cron的配置文件，也可以叫它作业列表，我们可以在以下文件夹内找到相关配置文件。 linux下的任务调度分为两类，系统任务调度和用户任务调度。 系统任务调度：系统周期性所要执行的工作，比如写缓存数据到硬盘、日志清理等。 /etc/crontab 文件就是系统任务调度的配置文件。 用户任务调度：用户定期要执行的工作，比如用户数据备份、定时邮件提醒等。用户可以使用 crontab 工具来定制自己的计划任务。所有用户定义的crontab文件都被保存在 /var/spool/cron/crontabs/ 目录中，其文件名与用户名一致。 假设我们使用的是Ubuntu14.04.5 Server版，查看 /etc/crontab ，内容为： 第一行SHELL变量指定了系统要使用哪个shell；第二行PATH变量指定了系统执行 命令的路径。 接下来的命令格式为：m h dom mon dow user command英文全拼为：minute hour day month week user commond注意， /var/spool/cron 目录中的用户调度任务，没有user一项，因为文件名已经代表了user。 在以上各个字段中，还可以使用以下特殊字符： crontab命令格式为：crontab [-u username] [file] [ -e | -l | -r ]设置定时任务和时间紧密相关，如果服务器的时区时间设置和本地不同，就不能保证计划任务的正确执行。所以使用crontab的第一步，是调节好服务器的时间。 下面参考 Ubuntu 16.04将系统时间写入到硬件时间BIOS ，对服务器时间进行调节。 时间是有时区的，无论硬件时间还是 *** 作系统时间。hwclock的时区在/etc/default/rcS文件中设置，里面有一个参数UTC，默认值为yes，表示使用UTC时区，如果设置为no，那表示使用osclock的时区。建议hwclock与osclock设置相同的时区，也就是no。 1、查看服务器硬件时间sudo hwclock -r ，看到的时间格式为： Wed 23 May 2018 11:02:17 AM HKT -0.031663 seconds2、查看服务器系统时间date ，看到的时间格式为： Wed May 23 11:02:41 HKT 20183、设置hwclock和osclock时区相同sudo vim /etc/default/rcS ，找到： 修改为： 4、将系统时间写入硬件时间sudo hwclock -w5、修改系统时区 osclock的时区配置文件为/etc/timezone，不建议直接修改配置文件。 如果你想修改为CST时间，那么执行 sudo tzselect 命令时，选择Asia->China->Beijing Time即可，这时会提示使用Asia/Shanghai时区。（ubuntu和centos通用） 6、设置即刻生效 执行 date ，发现时区没有变化，依然是HKT。sudo cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime sudo ntpdate time.windows.com如果执行ntpdate报错：ntpdate[18409]: no server suitable for synchronization found ，那么就换一个时间同步工具。sudo apt-get install rdate sudo rdate -s time-b.nist.gov再次执行 date ，发现时区已经变成了CST。 7、硬件时间同步sudo hwclock -r ，发现硬件时间落后。sudo hwclock -w ，再次把系统时间写入硬件时间，同步完成。 实例1：每分钟、每小时、每天、每周、每月、每年执行 实例2：每小时的第3和第15分钟执行3,15 * * * * myCommand实例3：在上午8点到11点的第3和第15分钟执行3,15 8-11 * * * myCommand实例4：每隔两天的上午8点到11点的第3和第15分钟执行3,15 8-11 */2 * * myCommand实例5：每周一上午8点到11点的第3和第15分钟执行3,15 8-11 * * 1 myCommand实例6：每晚的21:30重启smb30 21 * * * /etc/init.d/smb restart实例7：每月1、10、22日的4 : 45重启smb45 4 1,10,22 * * /etc/init.d/smb restart实例8：每周六、周日的1 : 10重启smb10 1 * * 6,0 /etc/init.d/smb restart实例9：每天18 : 00至23 : 00之间每隔30分钟重启smb0,30 18-23 * * * /etc/init.d/smb restart实例10：每星期六的晚上11 : 00 pm重启smb0 23 * * 6 /etc/init.d/smb restart实例11：每一小时重启smb0 * * * * /etc/init.d/smb restart实例12：晚上11点到早上7点之间，每隔一小时重启smb0 23-7/1 * * * /etc/init.d/smb restart实例13：每月的4号与每周一到周三的11点重启smb0 11 4 * mon-wed /etc/init.d/smb restart实例14：一月一号的4点重启smb0 4 1 jan * /etc/init.d/smb restart实例15：每小时执行/etc/cron.hourly目录内的脚本01 * * * * root run-parts /etc/cron.hourlyrun-parts这个参数了，如果去掉这个参数的话，后面就可以写要运行的某个脚本名，而不是目录名了。 目标：每分钟查看一下ganglia的状态，并保存到/tmp/log/ganglia目录。 1、创建/tmp/log/ganglia目录sudo mkdir -p /tmp/log/ganglia sudo chmod a+w /tmp/log/ganglia2、编辑crontabcrontab -e ，选择编辑器为vim 3、在crontab文件中添加一行 4、查看crontab任务crontab -l ，看到任务已经添加成功。 5、等待了五分钟，发现/tmp/log/ganglia目录下啥也没有。sudo service cron status ，状态正常。sudo /etc/init.d/cron restart ，重启cron试试。 又等待了五分钟，发现/tmp/log/ganglia目录下依然空空。 莫非是因为pssh没有使用绝对路径？ whereis pssh ，找到pssh路径为 /usr/lib/pssh ，修改crontab为： 然而，并没有用。 还是查看下crontab日志吧！ 以下主要参考 Ubuntu下用crontab 部署定时任务 。 1、编辑50-default.confsudo vim /etc/rsyslog.d/50-default.conf2、把cron前的井号去掉，也就是修改为： 3、重启rsyslog服务sudo service rsyslog restart4、重启crontab服务sudo service cron restart5、查看crontab日志less /var/log/cron.log果然发现了问题： 也就是说，命令确实按时执行了，只不过没有执行完，被百分号截断了，导致log文件没有正常生成！ 修改crontab为： 终于，log文件成功生成，nice！但是，文件内容是空的！因为， /usr/lib/pssh 是一个目录，不是pssh命令！真正的pssh命令是parallel-ssh，找到它的位置为 /usr/bin/parallel-ssh ，修改crontab： 至此，问题圆满解决。 实际使用的时候，一天获取一次ganglia的状态就够了，所以crontab改成： 以上，每天执行一次定时任务，抓取ganglia的运行状态保存到日志文件中。紧接着，我们的目标是使用脚本检查当天的日志文件，如果发现ganglia运行异常，则产生一个错误日志。 1、假设日志文件ganglia-20180524.log的内容为： 2、参考 grep命令最经常使用的功能总结 ，编写脚本checkganglia.sh 3、执行chmod a+x checkganglia.sh ./checkganglia.sh如果所有客户机的ganglia运行正常，就会输出All services are runing!。如果有的客户机ganglia进程不存在，则会在/tmp/log/ganglia/目录下生成当天的错误日志。 4、设置定时运行 因为日志的检查工作要在日志生成之后，所以时间上延后十分钟。 上面的脚本，还有很多要改进的地方。比如有的客户机宕机了，上面的脚本检查不出来。比如有的客户机ganglia服务没有启动，那么具体是哪几台？针对这两个问题，下面进行改进。假设已经知道客户机的数量为10。 参考 csplit命令 ，checkganglia.sh脚本修改为： 以上脚本，实现了当客户机数量不为10的时候，进行报错；当客户机ganglia服务没有启动时，进行报错，并且筛选出所有没有启动ganglia的客户机。 本文中，我们先学习了crontab的基础知识和基本用法。然后通过监控ganglia这一个应用场景来具体学习crontab的详细使用方法，包括查看cron日志的方法，crontab中命令转义的方法，定时执行脚本的方法，以及审阅日志脚本的编写和进阶。 至此，还不够完美，因为我们需要每天登录管理机查看有没有错误日志。下一篇 Linux设置邮件提醒 中，我们将会研究linux设置邮件提醒的方法。审阅完日志后，如果脚本能够给我们发送一封邮件，告知我们审阅的结果，那么我们就不必再每天查看错误日志。

按照这个路线图学习就好了

Linux云计算运维到底要学哪些东西？

1.Linux基础

1.Linux企业级安装（kickstart,cobbler批量安装）

Centos7

互联网企业

麒麟Linux

传统企业国企事业单位央企，少量互联网公司

ubuntu20.04

程序员主导互联网公司

2.企业级优化

3.常用命令

01.目录命令

cd/pwd/ls/cp/mv/rm -fr/mkdir

02.文件命令

touch/cat/echo/less/more/head/tail/sed/awk/grep/egrep/find/which/where

03.用户命令

useradd,usermod,userdel,passwd,chpasswd,chage,su,sudo,visudo

04.权限命令

chown/chmod/chattr/lsattr

05.基本命令

reboot,halt,shutdown,init,uname,hostname

06.网络命令

ifconfig/ip/arp/ifup/ifdown/netstat/ss/lsof/nc/nmap/tcpdump

07.监测资源

top/uptime/iostat/iftop/htop/sar/vmstat

08.磁盘管理

fdisk/parted/mkfs/mount/umount

09.Linux三剑客

grep/egrep/sed/awk

4.常用知识

1.文件、目录及属性

2.用户管理

3.权限管理

4.网络管理

5.正则表达式

6.定时任务

7.磁盘管理

8.安装系统

5.基础网络服务

NFS网络文件系统、Ceph分布式文件系统

rsync异地同步

sersync异地实时同步

nginx web(Apache)

php-fpm/tomcat/python/go动态服务

mysql/redis/mongodb/es搜索

nginx/lvs/haproxy

hearbeat/keepalived

安全：jumpserver/iptables/firewalld/openvpn

批量管理：ssh/ansible/saltstack

6.高级网络服务

01.代码上线CICD

svn/git/gitlab

jenkins

maven/ant编译工具

jira

02.分布式日志收集

ELFK分布式日志收集集群

03.监控

ZABBIX

普罗米修斯

04.云计算

KVM/OPENSTACK(过时了，又难又不好学)

05.容器技术

docker+k8s(必会)

微服务

7.DBA课程专业中级水平(15K)

mysql

redis

monbodb

es

8.DEVOPS自动化

bash shell

python基础

go基础

01.代码上线CICD

svn/git/gitlab

jenkins

maven/ant编译工具

jira

9.kafka消息队列/ceph分布式存储/zookeper

10.安全、python、go一部分内容

11.详细就业指导

年龄大

年龄小

学历低

没经验

在 linux 系统管理中，设置免密码登录，进行机器的批量管理是最常用的一个方法。比如针对几十甚至上百台线上机器，通常我们会设置一台“发布机”作为中央控制机对其它线上机器免密码登录，然后进行软件、配置文件的分发、更新、部署。当然了，针对上面的问题，解决方案并非最优且唯一，比如你也可以用 expect 模拟自动输入来完成自动登录验证这一过程，或者用现在一些开源的软件自动化配置和部署工具，比如 Puppet，但这都不在本文的讨论范畴，今天咱们要说的就是这种最原始、最有效、最直接的方式：免密码登录。

（1）问题：

假设：现有2台机器

1、个人机192.168.1.110

2、服务器192.168.1.112

要使110无需密码通过ssh登入112

（2）步骤

1、创建密钥

2、复制公密到服务器

3、添加公密到192.168.112的信任区域

注： 2，3两步可由命令ssh-copy-id一步到位

4、测试

此时整个步骤已经完成，你可以尝试 ssh ip 或者 /etc/hosts 中的主机名试试。

（3）可能遇到的问题

1、在使用 ssh-copy-id 错误提示

表现：

公钥，私钥已经生成，执行上述命令完毕出现如下错误：

$ ssh-copy-id remote-machine

/usr/bin/ssh-copy-id: ERROR: No identities found

解决方法：

g 之发现缺少公钥路径，通过 -i 加上即可：

2、ssh ip 可以成功登录，ssh hostname 却失败

表现：

ssh hostname

ssh: connect to host localhost port 22: Connection refused

解决方法：

看下对方的主机名是不是在 /etc/hosts 文件中和 ip 做了映射，没有就加上即可。

3、ssh 的配置目录权限问题

由于 ssh 的权限直接关系到服务器的安全问题，因此 ssh 每次读取配置都会校验相关文件夹和文件的权限，以防止权限过大对外暴露。

表现：

设置了.ssh目录，在authorized_keys设置了key后登录还提示需要输入密码。

解决方法：

注意权限，.ssh权限700，authorized_keys权限600，就KO啦！

chmod 700 ~/.ssh/

chmod 600 ~/.ssh/authorized_keys

4、ssh localhost：publickey 授权失败

注：ssh可同时支持publickey和password两种授权方式，publickey默认不开启，需要配置为yes。

如果客户端不存在.ssh/id_rsa，则使用password授权；存在则使用publickey授权；

如果publickey授权失败，依然会继续使用password授权。

不要设置 PasswordAuthentication no ，它的意思是禁止密码登录，这样就只能本机登录了！

5、ssh localhost：Permission denied (publickey,gssapi-keyex,gssapi-with-mic).

最后重启你的 linux 执行 ssh localhost

6、ssh localhost：需要密码

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

7、ssh ip 或 hostname 均提示：connection refused

目标主机的ssh server端程序是否安装、服务是否启动，是否在侦听22端口；

是否允许该用户登录；

本机是否设置了iptables规则，禁止了ssh的连入/连出；

具体请参考： http://hi.baidu.com/leejun_2005/item/bfc0ded296cb8ebf32db907e

（4）最后的问题

本文介绍的建立基于免密码登录，双机互信的管理方式简单、直接，但是安全就是个问题了，稍有不慎容易被一锅端，建议加上防火墙的端口、ip 策略，有条件的话试试动态口令，这样会更稳妥些。再有就是当机器规模达到上百、上千台的时候，如果对文件数据、机器状态的实时同步、一致性的要求很高的时候，这种管理方式的弊端就出来了。

（5）Refer：

http://blogread.cn/it/article/6103?f=wb ssh-copy-id帮你建立信任

http://www.lvtao.net/server/54.html ssh无密码登入设置 ssh-keygen ssh-copy-id

http://hi.baidu.com/leejun_2005/item/bfc0ded296cb8ebf32db907e SSH的安装及登录提示:connection refused的解决办法

http://www.cnblogs.com/qcly/archive/2013/07/27/3219535.html 一次由SELinux引起的ssh公钥认证失败问题

---