大数据运维工程师需要的技能

大数据运维工程师需要的技能有：具备一定的服务器知识、有提供方案的能力、需要对数据具有高度的敏感性、需要掌握一些脚本语言。

技能：

大数据运维工程师具备一定的服务器知识。在大数据的传输过程中，离不开服务器的知识。大数据运维工程师掌握服务器知识，才能对服务器进行合理的配置，在服务器出现故障的时候能够自如地应对。

大数据运维工程师需要具有提供方案的能力。大数据运维工程师需要对数据进行分析，然后再根据分析的结果，为公司制定具有可行性的方案，这样才能体现出数据分析的实际价值。

大数据运维工程师需要对数据具有高度的敏感性。高度的敏感性可以帮助大数据运维工程师透过现象发现数据背后隐藏的更有价值的内容。

大数据运维工程师需要掌握一些脚本语言。常见的脚本语言Shell、PHP、COBOL等，大数据运维工程师最少需要熟练掌握其中一种。以上就是大数据运维工程师需要掌握的一些常见技能。

大数据运维工程师的主要职责：

1、承担团队的日常管理，如值班安排、工作分配、日常考评等。

2、组织制订、完善与本部门相关的管理制度、标准 *** 作手册 SOP维护 *** 作MOP和应急预案等。

3、组织制定中心基础设施保养计划，做好相关计划的实现、控制及优化工作。

4、审核、报批、组织实施各类变更申请、事报告工作，做好相关应急工作的指挥与处理。

5、组织开展数据中心基础设施运行维护相关培训、训练与演练。

6、协助商务部与外包服务商洽谈相关维护服务合同，监督服务实施并要求进行审核与考评，确保相关基础设施的稳定运行。

7、负责数据中心基础设施资源统计、容量预警工作，做好每月用水用电统计、PUE统计与分析。

8、配合数据中心进驻客户的场地选址、平面布局、改造实施、进驻管理等支持协调工作。

9、基础设施月报、环境报告的编写和提交。

10、数据中心基础设施的持续优化和改善。

11、负责上级主管领导交办的其它工作。

问题一：做系统运维需要学习些什么？

问题二：网站运维需要学习那些知识？ 网站最核心的是流量，也就是有人访问。
要解决流量的问题，首先是网站的基础优化到位，包括网站的程序代码，页面的导航栏目、首页、内容页的设置及内容添加要做到位。在保证网站内容的完整性和稀缺性的前提下，剩下需要做的就是网站的引流推广了，具体的方式也比较多，大概分成免费和付费两种，免费一般需要的时间要长一些，付费的效果一般是比较直接和快速的，如果对于时间没有要求可以选择免费的，如果想快否获得较好的网站排名还是需要进行付费推广。

问题三：做Linux运维要学哪些东西什么顺序主要需要什么能力 运维需要用到的东西很杂，从硬件设备到软件维护。
硬件设备 比如服务器的安装 网络的部署布局 ，最好能够了解防火墙，路由器，交换机的设置。
linux系统的深入了解。最好能够深入到内核和代码层面
部署在linux服务器上的应用的了解和维护，比如tomcat apache weblog浮c nagios cacti等。包括开发人员编写的软件，都需要去进行维护和调优建议，最好了解js和java语言。服务器的各种使用情况的监控，如磁盘，cpu，mem，io等。
架构设计的了解，以及自动化运维的脚本编写。
比如搭建集群或负载模式的架构等，实现服务器的多机热备高可用。
脚本编写，以减少人力 *** 作来提高执行效率和准确性，一般需要shell，python，perl一类的语言基础，也包括awk，except等小语种使用。
数据库的维护
熟悉主流的数据库 *** 作，主要是添删改查的 *** 作。
oracle，mysql，芒果db，db2，memcache，redis等

问题四：运维工程师需要学习哪些课程 *** 作系统概述、文件系统管理、unix作业管理、网络模型、UDP协议、网络层协议、各类局域网。
Linux基础知识、Vim使用、Shell编程、软件包管理、常用Server、容量分析、性能优化等。
AIX系统管理概述、系统管理工具、软件安装与维护、备份与恢复、网络管理基础、故障诊断、案例分析等。
powerHA概念和实施规划、VIO搭建和部署、日常检查、Oracle体系结构、客户机连接SQL语句、OracleRAC搭建等。

问题五：运维新手们，别再问需不需要学PYTHON了 经常有人在群里问，运维人员需不需要学开发？需不需要学 PYTHON ？ PYTHON 和 SHELL 有什么区别？天天问这种好水的问题，我实在受不了，决定帮大家扫扫盲，求求新手们，以后别他妈瞎问了。
现阶段，掌握一门开发语言已经成为高级运维工程师的必备计能，不会开发，你就不能充分理解你们系统的业务流程，你就不能帮助调试、优化开发人开发的程序， 开发人员有的时候很少关注性能的问题，这些问题就得运维人员来做，一个业务上线了，导致 CPU 使用过高，内存占用过大，如果你不会开发，你可能只能查到进程级别，也就是哪个进程占用这么多，然后呢？然后就交给开发人员处理了，这样咋体现你的价值？
另外，大一点的公司，服务器都上几百，上千，甚至数万台，这种情况下怎样做自动化运维？用 SHELL 写脚本 FOR 循环？呵呵，歇了吧， SHELL 也就适合简单的系统管理工作。到复杂的自动化任务还得要用专门的开发语言。你可能说了，自动化管理有专门的开源软件＼监控也有，直接拿来用下就好了，但是现有的开源软件如 puppet\saltstack\zabbix\nagio 多为通用的软件，不可能完全适用你公司的所有需求，当你需要做定制、做二次开发的时候，你咋办？找开发部门？开发部门不懂运维的实际业务逻辑，写出来的东西烂烂不能用，这活最后还得交给运维开发人员来做。
其次，不会运维开发，你就不能自己写运维平台＼复杂的运维工具，一切要借助于找一些开源软件拼拼凑凑，如果是这样，那就请不要抱怨你的工资低，你的工作不受重视了。
为什么要学 PYTHON ？
PYTHON 第一是个非常牛 B 的脚本语言， 能满足绝大部分自动化运维的需求，又能做后端 C/S 架构，又能用 WEB 框架快速开发出高大上的 WEB 界面，只有当你自已有能力做出一套运维自动化系统的时候，你的价值才体现出来，你才有资格跟老板谈重视， 否则，还是老老实实回去装机器吧。
运维开发为什么要用 PYTHON ？
Good question, 为什么不用 PHP ， JAVA ， C++ ， RUBY ，这里我只能说，见人见智， 如果你碰巧已经掌握了除 PYTHON 之外的其它语言，那你爱用啥用啥，如果你是一个连 SHELL 都还没写明白的新手，想学个语言的话，请用 PYTHON ， 为什么呢？首先， PHP 是跟 PYTHON 比的最多的，其实他俩根本就不用比，为什么呢？两个语言适用性不同， PHP 主要适用于 WEB 开发，可以迅速的做出中小型，轻量级的 WEB 网站，但后端嘛，基本还是要借助其它语言， 借助什么语言呢？ SHELL ？ PYTHON ？呵呵。 而 PYTHON 呢， 是个综合语言， 前后端都可以，单拿出来比 WEB ，也一点不比 PHP 差，但为什么WEB方向上 PHP 比 PYTHON 要火？ 先入为主嘛， PHP 90 年代诞生就是做 WEB 的， PYTHON2000 年后才出现 WEB 框架，但论优秀程度上， PYTHON 的 WEB 框架基本上出其无左，至少是跟 PHP 比。
那 JAVA 呢？好吧，一个臃肿＼中庸＼豪无新意的语言，还是老老实实用它来做 ERP 吧，搞个运维小平台，用 JAVA 真心没啥必要，在我看来， JAVA 就是稳定的中年男人，稳定＼成熟＼秃顶，而 PYTOHN 代表的就是青春， 简洁＼快＼干净＼帅！
C++ ＼ C ，这个嘛，我只能说，如果你会了 PYTHON, 又>>

问题六：运维工程师需要什么技能？ 最好的方法就是去看一些招聘网站的招聘简介了 已经很全了
岗位职责：
1、负责公司网络总体系统及子系统的维护；
2、负责网络整体架构规划、实施、优化、安全；
3、负责整体网络的 *** 作规范文档编写，整合系激资源；
4、负责整体网络的风险评估与备份系统实现；
5、研究主流的互联网应用技术，并负责将此是现在公司业务系统测试及应用；
6、公司整体网络架构规划，实施及维护；
7、主动发现问题，提出合理化建设，积极提出优化手段和建议。
任职资格：
1、大专学历，3年以上工作经验；
2、能够承受一定的工作压力，具备良好的沟通协调能力及突发事件单独处理能力；
3、熟悉unix/linux *** 作系统；
4、熟悉Linux下不同数据库的安装和调试，熟练使用shell脚步语言；
5、精通LAMP架构，对LAMP架构的部署、搭建、优化、排错等方面有丰富的经验。对高负载、大访问量 情况下的LAMP架构有运维经验者优先。
6、熟悉Linux下不同的存储解决方案，同时管理超过50太以上的linux服务器组，有整体管理经验者优先；
7、利用syslong收集各个关键出口设备情况，充分利用snmp协议，规划并架设一整套网络监控系统；
8、具备独立的工作能力，良好的沟通能力和团队精神，高度的责任心，工作积极主动

问题七：想做IT运维 该从什么方面学起 这个东西不知道你有基础没，没有基础的话入门比较吃力，我做这块是从培训学校出来的，学了一年半花了近三万块。看视频用处不是很大，我从学校出来的感觉学的东西跟实际的都有些出入，找一个人带吧，这个要快点，自己学有那个毅力没有方向。给你讲下网络运维具体都要求哪块吧。1、网络运维离不开Linux，现在大些的企业基本上用的都是这个系统，特别是做金融，电商的，安全性，稳定性高，如果这个不会，哪基本上一般的工作机会都没了。2、网络日常基本问题的维护，像网络不稳定啊，丢包啊，服务器上网站不能访问啊，公司的服务器跨掉了啊，这些都是网络运维的工作。3、这个就是日常一些软件的管理了，像网站IIS，APACHE的搭建啊，MYSQL的管理啊，还有一些服务器上的基本应用等，这个都要熟练。说了这三条，其实要求的也没那么严格，都要精通，关键都得有所了解，遇到问题了知道大概的处理思路，多多百度，就可以应付过来，重要的是在工作的过程中多多学习，这就进步的快，想往这方面发展可以咨询我。

问题八：想学 网络运维工程师 需要什么要求 如何入门呢？ 你是打算自学是吗？运维不仅仅是单机方面的知识哟，还涉及局域网，还有路由交换等等呢！你现在到底有什么样的基础，大家也不是很清楚哈。要不你说说自己的情况吧。

问题九：运维工程师必须掌握的基础技能有哪些 技能：
1 Linux基础
包括对Linux整体的理解/使用和基本命令：
了解Linux FHS : Filesystem Hierarchy Standard，国人写的这本书不错 Linux系统架构与目录解析 (豆瓣)
入门Linux：鸟哥的Linux私房菜基础学习篇（第三版） (豆瓣) 个人认为鸟哥的这本书是一本非常好的入门书
基本 *** 作命令：Google，如Linux mand cheat sheet
熟悉至少一个内置编辑器: vi, nano
至少熟悉一个发行版(或系列)，建议作为服务器常用的如Centos, Debian, Ubuntu，可以了解多个常用发行版
2 运维的命令：
运维相关的工具(命令)，了解它能解决很多问题。
前几天刚回答了一个问题：如何才能更深入的学习linux？
里面的图在这里也可以用到：
可以对着图对学习了解这些命令。
另外我个人也会对平时用到的这些工具做一个整理和记录，总结到我的个人维基上：Wiki ・ Tanky Woo
3 基础服务：
LAMP或LNMP ：Apache/Nginx，MySQL，PHP/Python/Perl LAMP (software bundle)
FTP
DNS
SAMBA
EMAIL
NTP
DHCP

可以本地搭建练练手
这里推荐鸟哥另外一本书 服务器架设篇： 鸟哥的Linux私房菜 (豆瓣)
4 运维平台工具:
也在这个问题 如何才能更深入的学习linux？ 里提到了：
Nagios
Puppet
Zabbix
Cacti
SaltStack

可以选择性的折腾下，因为这个涉及到业务，没有实际环境，很难去理解他们的功能和特点。
5 脚本:
必备：Shell
额外：Python，Perl
6 底层:
Linux C，内核
7 网络:
网络是非常重要的一块
把《TCP/IP协议详解》多看几遍，理解。
熟练使用tcpdump等抓包工具
8 安全:
防火墙配置，如 iptables
9 硬件：
接口类型
查看硬件信息
知道各类型服务器，如塔式、机架式、刀片式
10 其它：
了解更多特定技能要求的方式：
Google搜Linux运维工程师 招聘，看看他们的需求。
最后推荐一本书：Unix/Linux系统管理技术手册 UNIX/Linux 系统管理技术手册 (豆瓣)
后续想到再做补充
素养/处理方式：
除了技能，我觉得素养(态度)也可以谈谈
这个正好看到右边相关问题：运维工程师需要具备哪些性格特质？
1 安全
运维人员的权限很大，所以一定要保证帐号/私钥的安全。
最好使用加密工具存储。比如truecrypt，1password
基于本地存储。切勿用网盘，也不建议用lastpass等
ssh私钥添加密码
以上任何一点都很重要，否则弄丢了，风险会非常大。
2 责任心
如上面那个帖子里 @山大 提到的 Owner 意识
遇到报警，第一时间处理，而不要等着他人去处理
如果无法处理，应该第一时间让同事协助帮忙，而不要禁止报警，让问题掩盖
3 细心
你的任何一个 *** 作，都可能造成系统的损坏、业务出问题。所以敲命令时一定要细心、再三确认。你敲的再快，也就节省那么一点时间，出了问题才是大事。
4 推进/改善
如果代码有问题，导致系统开销很大，比如负载，io等。应该第一时间和开发部门确认，要求优化代码。
5 进取心/不断学习
运维的知识范围很广>>

问题十：关于系统运维方面，需要掌握哪些方面的知识 我来试着回答一下吧：以前做过企业内部的支持顾问，也做过外部的技术支持顾问，现在主要做系统实施，对各方面的掌握知识的理解多少有点，提出几点，希望对你有帮助。我觉得你肯定指的是企业内部的SAP运维工程师吧，是吧？对于这个职位你需要掌握的几个重点内容如下：1》能够了解和掌握所负责的模块的公司业务情况。2》熟悉并掌握所负责模块的系统应用 *** 作。3》能够配置所负责模块的系统配置。4》最好还能掌握其他相关联的模块的基本知识，比如说，你是SD模块的工程师，那你还应该掌握一些MM库存的知识，FICO的少量知识，最好还能了解一些WM的相关知识。5》对于系统内的增强开发非常熟悉，知道这些增强开发都控制了什么系统 *** 作，如果更改的话，会对系统 *** 作有什么影响。6》要会一些ABAP的基本知识，能够开发简单的程序，包括报表、表单和增强开发。7》起码要掌握一些debug技巧，能够知道说一个程序出错后，如何去跟踪这个程序的取数。8》对于表结构应该有了解，能够熟悉的写出负责模块的基本常用表名。9》除了以上技术方面的意外，还应该能够有能够跟业务人员沟通和了解业务需求的能力，能够把他们的需求转换为系统功能的实力，当然到了这一步，你就可以向外部顾问的方向迈进了。

1、安装和设置防火墙

现在有许多基于硬件或软件的防火墙，许多安全厂商也都相继推出了相关的产品。要保证服务器的安全，安装防火墙非常必要。防火墙对于非法访问具有很好的预防作用，但是安装了防火墙并不等于服务器安全了。新手可以用服务器在iis7远程桌面下测试。在安装防火墙之后，你需要根据自身的网络环境，对防火墙进行适当的配置以达到最好的防护效果。

2、定期对服务器进行备份

为防止不能预料的系统故障或用户不小心的非法 *** 作导致数据丢失，必须对系统进行安全备份。除了对全系统进行每月一次的备份外，还应对修改过的数据进行每周一次的备份。同时，应该将修改过的重要系统文件存放在不同服务器上，以便出现系统崩溃时，可以及时地将系统恢复到正常状态。

3、及时安装系统补丁

不论是Windows还是Linux，任何大家 *** 作系统都有漏洞，及时的打上补丁避免漏洞被蓄意攻击利用，是服务器安全最重要的保证之一。

4、账号和密码保护

账号和密码保护可以说是服务器系统的第一道防线，目前网上大部分对服务器系统的攻击都是从截获或猜测密码开始。一旦黑客进入了系统，那么前面的防卫措施几乎就失去了作用，所以对服务器系统管理员的账号和密码进行管理是保证系统安全非常重要的措施。

5、安装网络杀毒软件

如今在互联网上，病毒的传播非常猖獗，因此，在网络服务器上安装网络版的杀毒软件来控制病毒传播显得尤为重要。同时，在使用杀毒软件时，必须要定期或及时升级杀毒软件，坚持每天自动更新病毒库。

6、监测系统日志

运行系统日志程序，系统会记录下所有用户使用系统的情形，包括最近登录时间、使用的账号、进行的活动等。日志程序会定期生成报表，通过对报表进行分析，你可以知道是否有异常现象。

最近某司网站主页被篡改了，找师傅帮忙看看怎么回事，师傅没有空就交给我了……我自己这方面没有了解很多。事情结束后，又找师傅问了问关于溯源的技巧经验，于是就有了这篇小结。

看对方的目的是什么，就是最终目标是做什么。然后根据自己经验 看看达到这个目标 需要进行什么 *** 作 逆推回去。看看这些过程都会留下什么日志。

分析网站源码可以帮助我们获取网站被入侵时间, 黑客如何的 IP, 等信息, 对于接下来的日志分析有很大帮助。

可以使用 D 盾查杀是否存在网站后门，如果存在 webshell，记录下该 webshell 的信息。

找到 webshell 后，就可以根据该文件的路径，在日志里查找有关信息，例如访问该文件的 IP、时间等。可以根据这些信息确定网站别入侵的时间，从而缩小搜索范围，运气好了可以直接根据 IP 找到黑客。

diff 工具推荐-diffmerge

可以根据被修改的文件的修改时间，缩小搜索范围。

可以根据文件的排序迅速找到被黑客修改的文件，从而找到入侵时间。

例：查看 10 分钟内修改过的文件

网站日志一般为

根据上一步分析网站源码得到的信息在对日志文件进行筛选分析，因为日志文件会记录很多信息，如果一条一条分析，不是很现实。

web-log 分析工具

系统日志分析

/var/log/wtmp 和/var/run/utmp 两个文件无法直接使用 cat 命令输出，但是可以使用一些命令来查看，比如 w/who/finger/id/last/ac/uptime

该命令查询 /var/log/wtmp 文件并显示 当前 系统中每个用户和它所运行的进程信息：

该命令往回搜索 /var/log/wtmp 文件来显示自从该文件第一次创建以来所有登录过的用户：

如果指明了用户，则该命令只显示该用户的近期活动：

/var/log/lastlog 文件在每次有用户登录时被查询。可以使用 lastlog 命令来检查某特定用户上次登录的时间，并格式化输出上次登录日志 /var/log/lastlog 的内容。它根据 UID 排序显示登录名、端口号（tty）和上次登录时间。如果一个用户从未登录过，lastlog 显示 Never logged(从未登录过)。注意需要以 root 运行该命令：

4 id 用单独的一行打印出当前登录的用户，每个显示的用户名对应一个登录会话。 如果一个用户有不止一个登录会话，那他的用户名将显示相同的次数：

检查服务器是否有黑客留下的木马程序。

指令：ps aux|grep ‘pid’

整理完这篇总结，感觉溯源是一个很细节的事情，需要注意每一个细节，这篇总结也可以是一个备忘，以后在遇到溯源的活，做的时候就可以更系统一些。第一次投稿写的不好，师傅们多多指教哈，嘻嘻。

随着市场竞争力不断增大，各个企业除了要增加自身产品的竞争力之外，也越来越重视消费者的服务，毕竟大家的生活质量在提高，每个产品也都相差不大，而服务就变成了用户最值得考虑的一个因素，也更好的体现了品牌的价值。这就要求公司进入了几十台到几千台服务器的运维监控阶段，无论数量如何增加，保持服务器的稳定才是重中之重，在服务器数量少于200台的时候，主要考虑简单使用、稳定运行、报警这三个方面，一旦大于这个数量，就需要相应的提升技术手段了。

基本上200台以下的服务器运营监控就是小白级 *** 作了，如果出现一些异常系统可以第一时间进行报警，并且帮助用户解决问题，这也是最基础的要求，基本上哪怕是新手适当的进行学习就可以 *** 作成功。而当服务器数量从200增加到1000这个阶段，这意味着用户的需求也在变复杂，那么技术人员就需要将监控内容进行统一，实现全覆盖式的监控管理，确保每一个用户出现问题时，都没有漏报的现象。

而当服务器超过1000台以上时，监控的数量越来越多，消费者的告警信息也会急速增长，每天都会收到成百上千的用户需要解决问题的消息，如果系统不进行相关的整理的话，很容易忽略到消费者的消息，从而带来非常不好的体验，这个时候就需要及时对报警信息进行相应的整理，尽量的化繁为简，减少出现重复报警的情况。并且对于内存使用率、CPU使用率等模块进行独立的设置，做到权责分明、快速定位、及时处理。

综上所述，每个公司的业务不同，那么对于服务器的要求也不太同，不论发生怎么样的变化，基本上只要有了相关的监控数据，就能够通过技术来分析出想要的结果，想要随着时代一起进步，就需要不断的更新维护、高效运维。

---