Linux基础

就像我们了解的Windows和Mac OS,linux也是一个 *** 作系统。如下图，linux就是系统调用接口和内核那两层。

通过上面的说明，我们知道了 Linux 其实就是一个 *** 作系统最底层的核心及其提供的核心工具，任何人均可取得核心码与可执行这个核心程序，并且可以修改。此外，由于linux参考POSIX设计规范，于是 兼容UNIX *** 作系统，故可称为Unix Like的一种。

为了让一般使用者能够接触到linux，很多的商业公司和非盈利团体，就将linux kernal(含tools)与可运行的软件整合起来，加上自己具有创意的工具程序，这个工具程序可以让用户以光盘/DVD或者透过网络直接安装和管理linux系统。这个 kernal+softwares+tools的可完全安装 ，我们称其为 linux distribution（可完全安装套件、linux发布商套件）

对于linux来说，所有的程序和系统装置都是文件， 一切都是文件。

由于利用 Linux 来开发产品或distributions 的社群/公司与个人很多，若是每个人都用自己的想法来配置文件放置的目录，就会造成个人不能使用他人的linux系统的PC。因为你根本不知道一些基本的配置，文件在哪里，这就造成了混乱。所以，就有所谓的 Filesystem Hierarchy Standard(FHS) 标准出炉了。

也就是说，FHS 的重点在于规范每个特定的目录下应该要放置什么样子的数据而已。

事实上，这个 FHS仅是规范出在根目录 ( / ) 底下各个主要的目录应该是要放置什么样的文件而已。 FHS 定义出两层规范出来，第一层是 / 底下的各个目录应该要放置什么样内容的文件数据，例如 /etc 应该要放置设定档， /bin 与 /sbin 则应该要放置可执行档等等。第二层则是针对 /usr 及 /var 这两个目录的次目录来定义的。 例如 /var/log 放置系统登录文件、 /usr/share放置共享数据等等。

在一个文件系统中，我们总有一个被称为 根目录 的东西，这个根目录里包含了所有其他目录和文件。

在Windows中，可以有好几个根目录，比如说C盘（C:\）是你的硬盘的根目录，H盘可能是你的光盘驱动器的根目录。

Linux中有且只有一个根目录，就是 / 。

如果以较为完整的树状目录来视察的话， 可以将整个 Linux 的树状目录绘制成下图：

Linux是一个真实的、完整的 多用户多任务 的 *** 作系统，多用户多任务就是可以在系统上建立多个用户，而多个用户可以在同一时间内登录同一系统执行各自不同的任务，而互不影响。例如某台Linux服务器上有4个用户，分别是root、www、ftp和MySQL，在同一时间内，root用户可能在查看系统日志，管理维护系统；www用户在修改自己的网页程序；FTP用户可能在上传软件到服务器；MySQL用户在执行自己的sql查询，每个用户互不干扰，有条不紊地进行着自己的工作，而每个用户不能越权访问，比如www用户不能执行MySQL用户的查询 *** 作，FTP用户不能修改www用户的网页程序，由此可知， 不同用户具有不同的权限，每个用户在权限允许的范围内完成不同的任务，Linux正是通过这种权限的划分与管理，实现了多用户多任务的运行机制。

Linux下用户是根据角色定义的，具体分为三种角色：

超级用户 ：系统管理员，拥有对系统的最高管理权限，默认是root用户

普通用户 ：只能对自己目录下的文件进行访问和修改，具有登录系统的权限，例如上面的www、FTP用户等

虚拟用户 ：也叫“伪”用户，这类用户最大的特点就是不能登录系统，他们的存在主要是方便系统管理，满足相应的系统进程对文件属主的要求。例如系统默认的bin、adm、nobody用户等，一般运行的web服务，默认就是使用的nobody用户，但是nobody用户是不能登录系统的。

Linux是一个多用户多任务的分时 *** 作系统，如果要使用系统资源，就必须向系统管理员申请一个账户，然后通过这个账户进入系统。这个账户和用户是一个概念，通过建立不同属性的用户，一方面，可以合理的利用和控制系统资源，另一方面也可以帮助用户组织文件，提供对用户文件的安全性保护。

每个用户有用一个唯一的用户名和用户口令。

用户组是具有相同特征用户的逻辑集合 ，有时我们需要让多个用户具有相同的权限，比如查看、修改某一个文件的权限，一种方法是分别对多个用户进行文件访问授权，如果有10个用户的话，就需要授权10次，显然这种方法不太合理；另一种方法就是建立一个组，让这个组具有查看、修改此文件的权限，然后将所有需要访问此文件的用户放入这个组中，那么所有的用户就具有了和组一样的权限，这就是用户组。 用户分组是Linux系统中对用户进行管理及控制访问权限的一种手段，通过定义用户组，很大程度上简化了管理工作。

用户和用户组的关系有：

一对一：即一个用户可以存在一个组中，也可以是组中的唯一成员

一对多：即一个用户可以存在多个用户组中，那么此用户具有多个组的共同权限。

多对一：多个用户可以存在一个组中，这些用户具有和组相同的权限

多对多：多个用户可以存在多个组中。

linux的语言是c语言写的,c语言是严格区分大小写的,linux命令中大小写也是完全不同的。

终端展现：

登录linux终端后，linux默认的命令行提示信息的格式：

说明 ：有些命令即使你使用su root 切换到root用户，仍无法执行。所以还是建议使用su – root

x （access directory）: x 与能否进入该目录有关

Linux是一套免费使用和自由传播的类Unix *** 作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的 *** 作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络 *** 作系统。

区别：

1、免费与收费

在中国，windows和linux都是免费的，至少对个人用户是如此，如果那天国内windows真的严打盗版了，那linux的春天就到了！但现在linux依然是任重道远，前路漫漫。

2、软件与支持

windows下可以运行绝大部分软件、玩99.999％的游戏、硬件厂商近乎100%的支持。linux下可直接运行的软件数量和win下比起来就是1和99的区别，而且目前选择linux的人基本不会考虑玩游戏（虽然有能在linux下运行的游戏，但实在太少。），同时linux正期待更多硬件厂商的支持。

3、安全性

很多人说linux安全性高，仁者见仁智者见智了。其实我觉得这个根本没必要讨论，当linux普及程度达到现在windows的程度，那么linux的漏洞、病毒、木马、后门什么的绝对会如雨后春笋般纷纷冒出，虽不敢说比windows严重，但绝对不会比win少，说白了就是因为现在linux的用户量太少，受关注也太少，做病毒者当然希望自己的作品流传越广越好（现在的病毒更倾向于获取非法利益，比如账号密码什么的），所以，病毒目前不会考虑少数派的linuxer。

世上没有攻不破的系统、没有穿不透的防火墙，一件事你做不到，只能说明你水平不够，这里适用一句话：道高一尺，魔高一丈。

但就目前来说，如果你对windows下层出不穷的病毒、木马、垃圾感到极度厌恶，那的确可以尝试一下linux噢。

4、开源

开源就是指对外部开放软件源代码。

如果一个小程序员写了个软件，里面有他独创的新技术，他想靠这个赚钱，甚至还为此申请了专利，这时某些团体以安全为由，要求他公开源代码（这样就可以仿制了嘛。），并且最好免费给大家使用，身边一群眼红程序员赚钱的人也在跟着起哄。一个独立商业团体的合法知识产权、资产权益遭受政治强权的公开侵占、迫害，这就是微软在欧洲所面临的开源问题（至于微软是否是奸商，这是另一码事，并不能成为打砸抢、吃大户的理由）

开源与否，软件厂商有选择的权力；是否购买使用这个产品，这才是用户的权利。

其实想深一点，如果linux不开源，它还能有现在这个市场吗？因为很多人就是冲着开源才使用linux的。

5、使用习惯

一样的地方：桌面、图标、鼠标点击，有区别吗？不一样的是，windows放弃了dos的字符模式，主攻图形界面，让桌面系统更易用。linux字符模式运行的更好，图形界面还只是附带品，可有可无。根据他们的上市时间来看，只能说linux把windows扔掉的东西又捡回来并且发扬光大。

6、技术支持

如果你不熟悉或从来没接触过电脑：

学windows －－那身边随便一个上过网的人都可以指点你两下。学linux－－呵呵，买书或上网查吧，深度的linux版块就不错，至于用什么上网，你说呢？

如果你熟悉电脑和上网，那w和l其实没什么区别，网上都有海量的资料给你查。但是找修windows电脑的人远比找一个修linux电脑的人容易得多，没办法，这是现实

内存是计算机中重要的部件之一，它是与CPU进行沟通的桥梁。计算机中所有程序的运行都是在内存中进行的，因此内存的性能对计算机的影响非常大。内存作用是用于暂时存放CPU中的运算数据，以及与硬盘等外部存储器交换的数据。只要计算机在运行中，CPU就会把需要运算的数据调到内存中进行运算，当运算完成后CPU再将结果传送出来，内存的运行也决定了计算机的稳定运行。对于整个 *** 作系统来说，内存可能是最麻烦的的设备。而其性能的好坏直接影响着整个 *** 作系统。

我们知道CPU是不能与硬盘打交道的，只有数据被载入到内存中才可以被CPU调用。cpu在访问内存的时候需要先像内存监控程序请求，由监控程序控制和分配内存的读写请求，这个监控程序叫做MMU(内存管理单元)。下面以32位系统来说明内存的访问过程：

32位的系统上每一个进程在访问内存的时候，每一个进程都当做自己有4个G的内存空间可用，这叫虚拟内存(地址)，虚拟内存转化成物理内存是通过MMU来完成的。为了能够从线性地址转换成物理地址，需要page table(页表)的内存空间,page table要载入到MMU上。为了完成线性地址到物理地址的映射，如果按照1个字节1个字节映射的话，需要一张非常大的表，这种转换关系会非常的复杂。因此把内存空间又划分成了另外一种存储单元格式，通常为4K。在不同的硬件平台上，它们的大小一般是不一样的，像x86 32位的有4k的页而64位的有4k页，2M页，4M页，8M页等等，默认都是4k的。每一个进程一般而言都有自己的页路径和页表映射机制，不管那一个页表都是由内核加载的。每一个进程只能看到自己的线性地址空间，想要增加新的内存的时候，只能在自己的线性地址空间中申请，并且申请后一定是通过 *** 作系统的内核映射到物理地址空间中去找那么一段空间，并且告诉线性地址空间准备好了，可以访问，并且在page table中增加一条映射关系，于是就可以访问物理内存了，这种叫做内存分配。但是新的申请一定是通过 *** 作的内核到物理内存中去找那么一段空间，并且告诉线性地址空间好了，可以建设映射关系，最终page table建立映射关系。

这反映了上述描述过程的大体情况。可以看到每一个用户程序都会有自己的页表，并且映射到对应的主存储器上去。

根据上述文字和图表的描述可以发现2个问题：

1.每个进程如果需要访问内存的时候都需要去查找page table的话，势必会造成服务器的性能底下

2.如果主存储器的内存满了以后，应用程序还需要调用内存的时候怎么办

对于第一个问题，我们就需要借助TLB(Translation Lookaside Buffer)翻译后备缓冲器。TLB是一个内存管理单元，它可以用于改进虚拟地址到物理地址转换速度的缓存。这样每次在查找page table的时候就可以先去TLB中查找相应的页表数据，如果有就直接返回，没有再去查找page table，并把查找到的结果缓存中TLB中。TLB虽然解决了缓存的功能，但是在那么page table中查找映射关系仍然很慢，所以又有了page table的分级目录。page table可以分为1级目录，2级目录和偏移量

但是一个进程在运行的时候要频繁的打开文件，关闭文件。这就意味着要频繁的申请内存和释放内存。有些能够在内存中缓存数据的那些进程，他们对内存的分配和回收更多，那么每一次分配都会在页表中建立一个对应项。所以，就算内存的速度很快，大量频繁的同一时间分配和释放内存，依然会降低服务器的整体性能。当然内存空间不够用的时候，我们称为oom(out of memory,内存耗尽)。当内存耗尽的时候，，整个 *** 作系统挂了。这种情况下我们可以考虑交换分区，交换分区毕竟是由硬盘虚拟出来的内存，所以其性能与真正的内存相比，差了很多，所以要尽力避免使用交换分区。有物理内存空间的时候尽量保证全部使用物理内存。cpu无论如何是不能给交换内存打交道的，它也只能给物理内存打交道，能寻址的空间也只能是物理内存。所以当真正物理内存空间不够用的时候，会通过LRU算法把其中最近最少使用的内存放到交换内存中去，这样物理内存中的那段空间就可以供新的程序使用了。但是这样会引发另外的一个问题，即原来的进程通过page table寻找的时候，那一段空间的数据已经不属于它了。所以此刻cpu发送通知或者异常告诉这个程序，这个地址空间已不属于它，这个时候可能会出现2种情况：

1.物理内存有可用的空间可用：这个时候cpu会根据以前的转换策略会把交换分区中的那段内存重新送到物理内存中去，但是转换过来的空间地址不一定会是以前的那一段空间地址，因为以前的那一段空间地址可能已经被别人使用了。

2.物理内存没有可用的空间可用：这个时候依然会使用LRU算发把当前物理地址空间上最近最少使用的空间地址转换到交换内存中去，并把当前进程需要的这断在交换空间中的内存送到物理内存空间中去，并且重新建立映射关系。

上述通知或者异常出现的情况，通常叫做缺页异常。缺页异常也分为大异常和小异常两种。大异常就是访问的数据内存中没有，不的不去硬盘上加载，无论是从交换内存中还是直接从磁盘的某个文件系统上，反正需要从硬盘上去加载，这种异常加载需要很长时间。小异常就是进程之间通过共享内存，第二个进程访问的时候，查看本地的内存映射表没有，但是其它进程已经拥有了这个内存页，所以可以直接映射，这种异常加载需要的时间一般很短。

在 *** 作系统开机的时候，每一个io设备都会像cpu申请一些列的随机端口，这种端口叫做io端口。在IBM PC体系结构中，I/O地址空间一共提供了65,536个8位的I/O端口。正是这些io端口的存在，cpu可以与io设备进行读写交互的过程。在执行读写 *** 作时，CPU使用地址总线选择所请求的I/O端口，使用数据总线在CPU寄存器和端口之间传送数据。I/O端口还可以被映射到物理地址空间：因此，处理器和I/O设备之间的通信就可以直接使用对内存进行 *** 作的汇编语言指令(例如，mov、and、or等等)。现代的硬件设备更倾向于映射I/O，因为这样处理的速度较快，并可以和DMA结合起来使用。这样io在和内存传数据的时候就不需要通过cpu，cpu把总线的控制权交给DMA，每次io传数据的时候就调用DMA一次，就把cpu给解放了出来。当数据传输完了以后，DMA通知给cpu中断一次。DMA在运行的时候对整个总线有控制权限，当cpu发现有其它进程需要使用总线的时候，二者就会产生争用。这个时候，在总线控制权的使用上，CPU和DMA具有相等的权限。只要CPU委托给了DMA，就不能随意的收回这个委托，就要等待DMA的用完。

如果没有其它进程可以运行，或者其它进程运行的时间非常短，这个时候CPU发现我们的IO仍然没有完成，那就意味着，CPU只能等待IO了。CPU在时间分配里面有个iowait的值，就是CPU在等待IO花费的时间。有些是在同步调用过程中，CPU必须要等待IO的完成否者CPU可以释放IO的传输在背后自动完成，CPU自己去处理其它的事情。等硬盘数据传输完成以后，硬盘只需要像CPU发起一个通知即可。CPU外围有一种设备，这个设备叫做可编程中断控制器。每一个硬件设备为了给CPU通信，在刚开机的时候，在BIOS实现检测的时候，这个设备就要到可编程中断控制器上去注册一个所谓的中断号。那么这个号码就归这个硬件使用了。当前主机上可能有多个硬件，每一个硬件都有自己的号码，CPU在收到中断号以后，就能够通过中断相量表查找到那个硬件设备进行中断。并且就由对应的IO端口过来处理了。

CPU正在运行其它进程，当一个中断请求发过来的时候，CPU会立即终止当前正在处理的进程，而去处理中断。当前CPU挂起当前正在处理的进程，转而去执行中断的过程，也叫做中断切换。只不过，这种切换在量级别上比进程切换要低一些，而且任何中断的优先级通常比任何进程也要高，因为我们指的是硬件中断。中断还分为上半部和下半部，一般而言，上半部就是CPU在处理的时候，把它接进来，放到内存中，如果这个事情不是特别紧急(CPU或者内核会自己判断)，因此在这种情况下，CPU回到现场继续执行刚才挂起的进程，当这个进程处理完了，再回过头来执行中断的下半部分。

在32位系统中，我们的内存(线性地址)地址空间中，一般而言，低地址空间有一个G是给内核使用的，上面3个G是给进程使用的。但是应该明白，其实在内核内存当中，再往下，不是直接这样划分的。32位系统和64位系统可能不一样(物理地址)，在32位系统中，最低端有那么10多M的空间是给DMA使用的。DNA的总线宽度是很小的，可能只有几位，所以寻址能力很有限，访问的内存空间也就很有限。如果DMA需要复制数据，而且自己能够寻址物理内存，还可以把数据直接壮哉进内存中去，那么就必须保证DMA能够寻址那段内存才行。寻址的前提就是把最低地址断M，DA的寻址范围内的那一段给了DMA。所以站在这个角度来说，我们的内存管理是分区域的。

在32位系统上，16M的内存空间给了ZONE_DMA(DMA使用的物理地址空间)从16M到896M给了ZONE_NORMAL(正常物理地址空间)，对于Linux *** 作系统来说，是内核可以直接访问的地址空间从896M到1G这断空间叫做"Reserved"(预留的物理地址空间)从1G到4G的这段物理地址空间中，我们的内核是不能直接访问的，要想访问必须把其中的一段内容映射到Reserved来，在Reserved中保留出那一段内存的地址编码，我们内核才能上去访问，所以内核不直接访问大于1G的物理地址空间。所以在32位系统上，它访问内存当中的数据，中间是需要一个额外步骤的。

在64位系统上，ZONE_DAM给了低端的1G地址空间，这个时候DMA的寻址能力被大大加强了ZONE_DAM32可以使用4G的空间而大于1G以上给划分了ZONE_NORMAL,这段空间都可以被内核直接访问。所以在64位上，内核访问大于1G的内存地址，就不需要额外的步骤了，效率和性能上也大大增加，这也就是为什么要使用64位系统的原因。

在现在的PC架构上，AMD,INTER都支持一种机制，叫做PEA(物理地址扩展)。所谓PAE。指的是在32位系统的地址总线上，又扩展了4位，使得32位系统上的地址空间可以达到64G。当然在32为系统上，不管你的物理内存有多大，单个进程所使用的空间是无法扩展的。因为在32位的系统上，线性地址空间只有4个G，而单个进程能够识别的访问也只有3个G。

linux的虚拟内存子系统包含了以下几个功能模块：

slab allocator,zoned buddy allocator,MMU,kswapd,bdflush

slab allocator叫做slab分配器

buddy allocator又叫做buddy system，叫做伙伴系统，也是一种内存分配器

buddy system是工作在MMU之上的，而slab allocator又是工作在buddy system之上的。

设置为小于等于1G，在数据库服务器应该劲量避免使用交换内存

3.在应用服务器上，可以设置为RAM*0.5，当然这个是理论值

如果不的不使用交换内存，应该把交换内存放到最靠外的磁道分区上，因为最外边的磁盘的访问速度最快。所以如果有多块硬盘，可以把每块硬盘的最外层的磁道拿一小部分出来作为交换分区。交换分区可以定义优先级，因此把这些硬盘的交换内存的优先级设置为一样，可以实现负载均衡的效果。定义交换分区优先级的方法为编辑/etc/fstab：

/dev/sda1 swap swap pri=5 0 0

/dev/sdb1 swap swap pri=5 0 0

/dev/sdc1 swap swap pri=5 0 0

/dev/sdd1 swap swap pri=5 0 0

四.内存耗尽时候的相关调优参数

当Linux内存耗尽的时候，它会杀死那些占用内存最多的进程，以下三种情况会杀死进程：

1.所有的进程都是活动进程，这个时候想交换出去都没有空闲的进程

2.没有可用的page页在ZONE_NORMAL中

3.有其它新进程启动，申请内存空间的时候，要找一个空闲内存给做映射，但是这个时候找不到了

一旦内存耗尽的时候， *** 作系统就会启用oom-kill机制。

在/proc/PID/目录下有一个文件叫做oom_score,就是用来指定oom的评分的，就是坏蛋指数。

如果要手动启用oom-kill机制的话，只需要执行echo f>/proc/sysrq-trigger即可，它会自动杀掉我们指定的坏蛋指数评分最高的那个进程

可以通过echo n >/proc/PID/oom_adj来调整一个进程的坏蛋评分指数。最终的评分指数就是2的oom_adj的值的N次方。假如我们的一个进程的oom_adj的值是5，那么它的坏蛋评分指数就是2的5次方。

如果想禁止oom-kill功能的使用可以使用vm.panic_on_oom=1即可。

五.与容量有关的内存调优参数：

overcommit_memory,可用参数有3个，规定是否能够过量使用内存：

0：默认设置，内核执行启发式的过量使用处理

1：内核执行无内存的过量使用处理。使用这个值会增大内存超载的可能性

2：内存的使用量等于swap的大小+RAM*overcommit_ratio的值。如果希望减小内存的过度使用，这个值是最安全的

overcommit_ratio:将overcommit_memory指定为2时候，提供的物理RAM比例，默认为50

六.与通信相关的调优参数

常见在同一个主机中进行进程间通信的方式：

1.通过消息message2.通过signal信号量进行通信3.通过共享内存进行通信，跨主机常见的通信方式是rpc

以消息的方式实现进程通信的调优方案：

msgmax:以字节为单位规定消息队列中任意消息的最大允许大小。这个值一定不能超过该队列的大小(msgmnb)，默认值为65536

msgmnb:以字节为单位规定单一消息队列的最大值(最大长度)。默认为65536字节

msgmni:规定消息队列识别符的最大数量(及队列的最大数量)。64位架构机器的默认值为198532位架构机器的默认值为1736

以共享内存方式实现进程通信的调优方案：

shmall:以字节为单位规定一次在该系统中可以使用的共享内存总量(单次申请的上限)

shmmax:以字节为单位规定每一个共享内存片段的最大大小

shmmni:规定系统范围内最大共享内存片段。在64和32位的系统上默认值都是4096

七.与容量相关的文件系统可调优参数：

file-max:列出内核分配的文件句柄的最大值

dirty_ratio:规定百分比值，当脏数据达到系统内存总数的这个百分比值后开始执行pdflush,默认为20

dirty_background_ratio:规定百分比值，当某一个进程自己所占用的脏页比例达到系统内存总数的这个百分比值后开始在后台执行pdflush，默认为10

dirty_expire_centisecs:pdlush每隔百分之一秒的时间开启起来刷新脏页，默认值为3000，所以每隔30秒起来开始刷新脏页

dirty_writeback_centisecs:每隔百分之一秒开始刷新单个脏页。默认值为500，所以一个脏页的存在时间达到了5秒，就开始刷新脏

八.linux内存常用的观察指标命令：

Memory activity

vmstat [interval] [count]

sar -r [interval] [count]

Rate of change in memory

sar -R [interval] [count]

frmpg/s:每秒释放或者分配的内存页，如果为正数，则为释放的内存页如果为负数，则为分配的内存页

bufpg/s:每秒buffer中获得或者释放的内存页。如果为正数则为获得的内存页，为负数。则为释放的内存页

campg/s:每秒cache中获得或者释放的内存页。如果为正数则为获得的内存页，为负数。则为释放的内存页

Swap activity

sar -W [interval] [count]

ALL IO

sar -B [interval] [count]

pgpgin/s:每秒从磁盘写入到内核的块数量

pgpgout/s:每秒从内核写入到磁盘的块数量

fault/s:每秒钟出现的缺页异常的个数

majflt/s:每秒钟出现的大页异常的个数

pgfree/s:每秒回收回来的页面个数

---