运维工程师干些什么
总结两句话
1、保障业务长期稳定运行(如网站服务器、游戏服务器等等)。
2、保障数据安全可靠(如用户名密码、游戏数据、博客文章、交易数据等等)。
由这两句话推演运维工程师要学些什么
一、保障业务长期稳定运行
出一点点差错,用户就要投诉了。
1、业务跑在什么上面?
网站服务器一般是apache,nginx,tomcat等。但是真正跑通流程还需要Mysql数据库来存储用户密码及其它。很多程序都要php的解析,所以LNMP、LAMP(即nginx、apache、mysql、php)环境部署是必须掌握的技能。
2、业务出了问题怎么及时知道?
这就需要监控软件来邮件或短信来通知你,常用的有zabbix,nagios等。报警发邮件,也得一个邮件程序呀,sendmail或postfix。
3、在家里收到报警,但服务器是内网IP,怎么也得解决问题吧?
在公司搭建open或pptp或openswan,在家里通过拨入内网,24小时解决问题唉,半夜爬起来解决问题也没工资。
二、保障数据安全可靠
出一点点差错,领导要找你喝茶了。
1、有时需要手动改数据库内容?
所以要会基本的Mysql数据库增删查改命令。
2、万一数据库服务器硬件坏了怎么办?
需要有个备库以备不时之需,所以需要Mysql主从复制。
3、数据库要还原怎么办?
所以需要在crond中定期全备Mysql数据,以便还原使用。如果要还原到指定时间点,还要学会Mysql增量备份与恢复。
4、如果是用户上传的或文件服务器坏了怎么办?
定时备份可能还不够,需要使用rsync加inotify来实时备份。以便任一时刻主服务器坏掉,也能保障所有有备份可以用来恢复。
5、小心黑客,要增加服务器安全性?
ssh轻易不能让外人访问,那么就设置只允许公司的IP或跳板机IP访问,这些都通过iptables来控制。
三、大性能
小公司总有一天会牛逼起来的,实在牛不起来咱也可以跳到大公司。
1、越来越多的用户来访问我们的网站,一台web服务器抗不住了怎么办?
那就需要多台web服务器来负担,但多台服务器之间怎么进行负载均衡呢,这就需要用到nginx反向代理或LVS+keepalived或haproxy+heartbeat了。
2、用户注册发表的文章与评论太多,一台数据库抗不住了怎么办?
数据库压力分为读和写,如果写抗不住,需要进行分表分库到多个服务器上。如果是读压力不够了,可以使用mysql-proxy读写分离,来分担读的压力。更简单方便的方法,把数据库里的内容放到内存上,这就用上memcache或redis了。
3、N多用户上传下载文件,磁盘抗不住了怎么办?
把多块磁盘做成raid,或者使用分布式存储文件系统如MFS,GlusterFS来提高磁盘的读写能力。
4、网站上好多,总有用户反应网站加载太慢,怎么办?
这时可以把网站上的通过squid或varnish缓存到网站前端,尽可能的增加访问速度,当然,最好是购买商业的CDN加速。
5、运营商是个大难题,他们之间的带宽好像很小,联通IP访问我电信网站怎么就这么慢呢?
这时可以使用bind自建一个DNS服务器,把网站的DNS记录指向自建DNS服务器上,配置好解析规则,以后联通IP解析到联通网站上,电信IP解析到电信网站上,体验就会好很多啦。
四、自动化
终极目标:跑死机器,闲死人。
1、公司新买100台服务器,公司竟然就1个移动光驱,这装系统得到什么时候?
使用kickstart或cobbler来网络远程自动安装系统吧。
2、每次装完机要优化很多内容,什么文件描述符、端口、软件安装啊,手动 *** 作不累死去?
赶紧学会shell,将解放非常多的工作量。
3、系统装完后登陆要输入密码,这么多台啊?
使用expect吧,自动读取提示来输入密码,并执行命令。
4、要批量把新代码发布到线上服务器,怎么办?
使用saltstack或puppet或ansible吧,绝对爽歪歪。
五、其他
1、搭整套测试环境需要5台服务器,但公司穷的只有一台空闲服务器?
学会xen或kvm或docker吧,虚拟出多台服务器,就能解决资源问题了。特别是docker,强烈推荐,以后某个研发人员让你部署一套新环境,分分钟帮他解决。
2、研发人员的代码控制,权限控制,总要运维人员管呀?
svn或git,这个是肯定要有的。
结尾:
现在我们在回过头来思考,运维工程师平时干些啥呢?
1、随时解决报警故障。
2、业务程序更新。
3、编写一些脚本,监控或完成其他可自动完成功能。
4、运维架构完善,部署一些用起来更方便更可靠或性能更好的开源工具以及制定运维流程规范。
5、打杂,如调交换机,装系统,部署新环境等。
概述关于如何安装部署openstack,各个大小公司纷纷推出自己的方案和产品,例如fuel、trippleO、RDO、devstack等等。试用了RDO等工具后,也萌生了实现一个自研工具的想法(顺便弥补这一块知识的空白),现将思路及过程记录如下。
需求
1、支持灵活的安装部署方式(单台host或者批量host)和多种安装介质(物理机或者虚拟机)
2、安装部署过程用户体验好
(1)安装工时短
(2)并发安装服务器数量多
(3)用户参与环节尽量少
3、兼容性好
(1)可以支持业界主流服务器
(2)跨vlan部署
总体思路
步骤 备选方案 技术点
制作安装源
备选1:标准cd/dvd形式linux系统iso文件+RPM包形式openstack源(例如centosiso+yum openstack源)
备选2:livced形式iso,openstack已安装到iso中
本方案选择备选2, *** 作系统采用centos 65,openstack采用H版本
1、openstack rpm包制作:复用rdo h版本openstack的spec文件,制作openstack的rpm包
2、制作livecd:livecd-tools开源工具、kickstart文件定制( *** 作系统裁剪)
iso安装
livecd的安装不能使用anaconda安装工具,需要自行写作脚本程序(shell或python等),脚本大致流程如下:
(1)执行安装脚本,入参为目的安装磁盘(例如/dev/sda)
(2)安装脚本完成清理磁盘工作,物理卷(pv)、卷组(vg)、逻辑卷(lv)、磁盘分区等
(3)安装脚本完成创建分区的工作(例如创建两个分区/dev/sda1、/dev/sda2,磁盘分区选择mbr类型,/dev/sda1设置为boot类型分区)
(4)安装脚本找到根文件系统文件所绑定的loop设备(例如/dev/loop3),将其内容复制到/dev/sda1
(5)安装脚本生成启动引导程序(例如extlinux),确保后续系统可以从硬盘启动
(6)安装脚本完成其他工作,例如设置root账户密码,将剩余磁盘空间生成vg等
1、脚本实现参考ovirt-node开源软件代码
2、系统引导相关知识
(1)启动引导程序,grub、extlinux
(2)磁盘分区格式,mbr、gpt、EFI
3、磁盘相关工具,parted、fdisk、blkid、pvcreate等
pxe安装
pxe服务器搭建
备选1:使用tftp、dhcp等自行搭建pxe服务器
备选2:选择一个业界成熟的具备pxe能力的安装配置工具
本方案选择cobbler开源工具
制作的livcecd能够支持pxe流程
备选1:使用livecd-iso-to-pxe工具将iso封装成vmlinuz和initrdimg(200多MB)两个文件,可以通过标准pxe流程引导
备选2:制作一个mini镜像(50MB以内)用于pxe引导,mini镜像中植入安装脚本,安装脚本启动后,再将真正的镜像文件下载到光盘镜像环境并安装
本方案当前已实现备选1,后续会尝试备选2
pxe能支持大规模批量部署,可靠性好
1、使用以上“制作的livcecd能够支持pxe流程”备选1时,initrdimg大概200-300MB,pxe使用tftp协议不可靠,故需要使用gpxe
2、使用以上“制作的livcecd能够支持pxe流程”备选2时,需要下载镜像到本地,可以引入p2p技术,加速下载过程
pxe能够跨vlan部署服务器
交换机配置dhcp中继、dhcp服务配置为不同vlan服务器分配对应网段ip
1、cobbler的配置和使用
2、mini镜像的运行机制
3、gpxe机制及配置
4、p2p功能(bittorrent开源软件)的引入
5、交换机dhcp配置
配置 本方案需求是解决第一次openstack节点的配置问题,使用业界成熟的配置工具即可,例如puppet、salt等 salt开源软件
关键技术点
1、制作livecd
介绍:
livecd是redhat体系提供的一种镜像格式,制作的iso可以直接启动,当然也可以安装到硬盘上。现在centos、fedora每个版本发布的repo都包含了已编译出的livecd iso。例如CentOS-64-x86_64-LiveCDiso。也可以到其官方网站下载
步骤:
(1)执行以下命令,安装redhat openstack Grizlly的yum文件
yum install -y >1) Linux运维岗位及工作内容
互联网Linux运维工程师是一个融合多学科(网络、系统、开发、数据库、安全、存储等)的综合性技术岗位,甚至还需要沟通、为人处世、培训、销售、管理等非技术能力,这给运维工程师提供了一个广阔的发展空间。
2) Linux运维工程师岗位职责
一般从企业入门到中级Linux运维工程师的工作大致有:挑选IDC机房及带宽、购买物理服务器或云服务、购买及使用CDN服务、搭建部署程序开发及用户的访问系统环境(例如:网站运行环境)、对数据进行备份及恢复、处理网站运行中的各种故障(例如:硬件故障、软件故障、服务故障、数据损坏及丢失等)、对网站的故障进行监控、解决网站运行的潜在安全问题、开发自动化脚本程序提高工作效率、规划网站架构、程序发布流程和规范,制定运维工作制度和规范、配合开发人员部署及调试产品研发需要的测试环境、代码发布等工作需求,公司如果较小可能还会兼职网管、网络工程师、数据库管理员、安全工程师、技术支持等职责。
涉及到的Linux平台上的运维工具有:Linux系统,Linux基础命令,Nginx,Apache,MySQL,PHP,Tomcat,Lvs,Keepalived,SSH,Ansible,Rsync,NFS,Inotify,Sersync,Drbd,PPTP,Open***,NTP,Kickstart/Cobbler,KVM,OpenStack,Docker,,K8S,Mongodb,Redis,Memcached,Iptables,SVN,GIT,Jenkins,网络基础,Shell/Python开发基础等,除此之外还可能涉及到交换机、路由器、存储、安全、开发等知识。
运维工程师还包括一些低端的岗位,例:网络管理员、监控运维、IDC运维,值班运维
职业发展方向:Linux运维工程师、系统架构师、数据库工程师、运维开发工程师、系统网络安全工程师、运维经理、运维总监
3) Linux中级运维工程师应用软件阶段。
Linux系统,Linux基础命令,Nginx,Apache,MySQL,PHP,Tomcat,Lvs,Keepalived,SSH,Ansible,Rsync,NFS,Inotify,Sersync,Drbd,PPTP,Open***,NTP,Kickstart/Cobbler,KVM,OpenStack,Docker,Mongodb,Redis,Memcached,Iptables,SVN,GIT,Jenkins,网络基础,Shell/Python开发基础
4)Linux运维架构师岗位职责
运维架构师是运维工程师的高级阶段,并没有明确的岗位界限区分,运维架构师一般来说是除了对运维工程师应用的开源工具熟练掌握之外,更多的是用思想来运维了,即DevOps的落地,各种企业运行过程中的解决方案提出和执行,例如:根据公司的现状可以设计各类运维解决方案的能力:
1、自动化代码上线(SVN/GIT+Jenkins+MVN)解决方案;
2、云计算部署架构及Docker微服务架构方案;
3、服务自动化扩容方案(KVM/OpenStack/Docker+Ansible+Zabbix);
4、10万并发的网站架构、秒杀系统的架构及解决发你个案;
5、多IDC机房互联方案、全网数据备份解决方案、账号统一认证方案;
6、数据库、存储及各重要服务节点的集群和高可用方案。
7、各网络服务的极端优化方案、服务解耦/拆分。
8、运维流程、制度、规范等的建设和推行。
9、沟通能力、培训能力、项目管理、业务需求分析及落地执行力等。
这里仅举几个例子,实际工作中会有更多,运维架构师的工作,其实就是解决企业中的用户访问量不断增大带来的痛点,最终达到高效、优质的为客户提供网站及业务服务。
总的来说:Linux运维架构师更多的是根据企业日益增长的访问量需求,利用若干运维工具组合加上经验思想,形成解决业务需求方案的阶段,当然也不排除对运维工具进行二次开发以及可视化展示运维数据的阶段(开发软件平台),这个阶段涉及的工具会非常多,几乎市面好用的开源工具都在备选之列,在一线城市互联网公司的薪资范围15000-50000/月。
职业方向:高级数据库工程师、运维开发工程师、运维经理、运维总监、技术总监
运维架构师:将多个工具组合,加上思想经验,形成方案,用思想和经验赚钱的阶段。
技术的提升仅是量的积累,思想的提升才是质的飞跃!——老男孩
5)数据库运维工程师
众所周知,数据几乎是所有企业的生命线,所以数据库工程师的地位和薪水一般会比普通运维工程师高一些,主要工作内容就是保证数据库数据的安全以及高效地为用户提供各种服务。工作内容主要有:数据库环境搭建、数据库优化、数据库;
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)