大数据需要学习Linux吗？

你好，要学Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快

数据库比较难，数据库要学建库、建表、增删改查等才能上手，Linux只要会基本的创建编辑文件文件夹、进入目录什么的就能上手。但是深入之后，都不简单，数据库后期可能需要写各种复杂的sql、存储过程、函数等等，要知道怎么优化数据库。Linux得安装并使用各种软件、部署项目，还要负责服务器的安全等等

1、Linux系统基础

严格的来讲，Linux 不算是一个 *** 作系统，只是一个 Linux 系统中的内核，即计算机软件与硬件通讯之间的平台；Linux的全称是GNU/Linux，这才算是一个真正意义上的Linux系统。GNU是Richard Stallman组织的一个项目，世界各地的程序员可以变形GNU程序，同时遵循GPL协议，允许任何人任意改动。但是，修改后的程序必须遵循GPL协议。

Linux 是一个多用户多任务的 *** 作系统，也是一款自由软件，完全兼容POSIX标准，拥有良好的用户界面，支持多种处理器架构，移植方便。

为程序分配系统资源，处理计算机内部细节的软件叫做 *** 作系统或者内核。如果你希望详细了解 *** 作系统的概念，请查看 *** 作系统教程。

用户通过Shell与Linux内核交互。Shell是一个命令行解释工具（是一个软件），它将用户输入的命令转换为内核能够理解的语言（命令）。

2、网络服务

服务有很多种，每间公司都会用到不同的，但基础的服务肯定要掌握，如FTP, DNS,SAMBA, 邮件, 这几个大概学一下就行。

其实网络服务方面不用太担心，一般公司的环境都已经搭建好，就算有新服务器或让你整改，公司会有相应的文档让你参照来弄，不会让你乱来的，但至少相关的配置一定要学熟，而且肯定是编译安装多，那些模块要熟悉一下他的作用，特别是PHP那些模块。

这面2点只是基础，也是必要条件，不能说是工具，下以才是真正的要掌握的工具。

3、shell脚本和另一个脚本语言

shell是运维人员必须具备的，不懂这个连入职都不行，至少也要写出一些系统管理脚本，最简单也得写个监控CPU，内存比率的脚本吧，这是最最最基本了。别以为会写那些猜数字和计算什么数的，这些没什么作用，只作学习意义，写系统脚本才是最有意义。

Shell是系统的用户界面，提供了用户与内核进行交互 *** 作的一种接口。它接收用户输入的命令并把它送入内核去执行 。

实际上Shell是一个命令解释器，它解释由用户输入的命令并且把它们送到内核。不仅如此，Shell有自己的编程语言用于对命令的编辑，它允许用户编写由shell命令组成的程序。Shell编程语言具有普通编程语言的很多特点，比如它也有循环结构和分支控制结构等，用这种编程语言编写的Shell程序与其他应用程序具有同样的效果。

Linux提供了像MicrosoftWindows那样的可视的命令输入界面--X Window的图形用户界面（GUI）。它提供了很多桌面环境系统，其 *** 作就像Windows一样，有窗口、图标和菜单，所有的管理都是通过鼠标控制。GNOME。

每个Linux系统的用户可以拥有他自己的用户界面或Shell，用以满足他们自己专门的Shell需要。

同Linux本身一样，Shell也有多种不同的版本。主要有下列版本的Shell：

Bourne Shell：是贝尔实验室开发的。

BASH：是GNU的Bourne Again Shell，是GNU *** 作系统上默认的shell。

Korn Shell：是对Bourne SHell的发展，在大部分内容上与Bourne Shell兼容。

C Shell：是SUN公司Shell的BSD版本。

Z Shell：The last shell you’ll ever need! Z是最后一个字母，也就是终极Shell。它集成了bash、ksh的重要特性，同时又增加了自己独有的特性。

而另一个脚本语言是可选的，一般是3P，即Python，Perl和PHP，PHP就不需要考虑了，除非你要做开发，我个人建议学Python会比较好，不难实现自动化运维，Perl是文本处理很强大，反正这两个学一个就行了。

4、sed和awk工具

必须要掌握，在掌握这两个工具同时，还要掌握正则表达式，这个就痛苦了，正则是最难学的表达式，但结合到sed和awk中会很强大，在处理文本内容和过滤WEB内容时十分有用，不过在学shell的同时一般会经常结合用到的，所以学第3点就会顺便学第4点。

5、文本处理命令

sort , tr , cut, paste, uniq, tee等，必学，也是结合第3点时一并学习的。

6、数据库

首选MySQL，别问我为什么不学SQL Server和Oracle，因为Linux用得最多绝对是MySQL。增删改查必学，特别要学熟查，其它方面可能不太需要，因为运维人员使用最多还是查，哪些优化和开发语句不会让你弄的。

MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件。

MySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL 软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择 MySQL 作为网站数据库。

由于其社区版的性能卓越，搭配 PHP 和 Apache 可组成良好的开发环境。

7、防火墙

不学不行，防火墙也算是个难点，说难不难，说易不易，最重要弄懂规则。如果学过CCNA的朋友可能会比较好学，因为iptables也有NAT表，原理是一样的，而Filter表用得最多，反正不学就肯定不合格。

8、监控工具

十分十分重要，我个人建议，最好学这3个，cacti，nagios，zabbix。企业用得最多应该是nagios和 zabbix，反正都学吧，但nagios会有点难，因为会涉及到用脚本写自动监控，那个地方很难。

Zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。

Zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。

Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具。

Cacti是通过 snmpget来获取数据，使用 RRDtool绘画图形，而且你完全可以不需要了解RRDtool复杂的参数。它提供了非常强大的数据和用户管理功能，可以指定每一个用户能查看树状结构、host以及任何一张图，还可以与LDAP结合进行用户验证，同时也能自己增加模板，功能非常强大完善。界面友好。软件 Cacti 的发展是基于让 RRDTool 使用者更方便使用该软件，除了基本的 Snmp 流量跟系统资讯监控外，Cacti 也可外挂 Scripts 及加上 Templates 来作出各式各样的监控图。

9、集群和热备

这个很重要，肯定要懂的，但到了公司就不会让你去弄，因为新手基本不让你碰。集群工具有很多，最好学是LVS，这是必学，最好也学学nginx集群，反向代理。还有热备，这个就更多工具能实现了，像我公司是自己开发热备工具的，MySQL热备也要学，就是主从复制，这个别告诉我容易，其实不容易的，要学懂整个流程一点也不容易，只照着做根本没意思。

10、数据备份

不学不行，工具有很多，但至少要把RAID的原理弄懂，特别是企业最常用的1+0或0+1，自己做实验也要弄出来，备份工具有很多，如tar, dump, rsync等，最好多了解一下。

---