vi/touch/cp/mkdir/rm
vi：对linux下的文本文件进行编辑
vi a
这个命令可以创建一个名字为a的文件，并可以对它进行编辑。
touch：可以改变文件的时间戳或者创建新的文件
touch a
如果当前目录下没有a这个文件，则创建a文件；如果已经存在，将把这个文件的创建时间戳改为执行touch命令的时间
mkdir：创建目录的命令
mkdir mulu
该命令可以创建名称为mulu的目录
磁盘：
df/du/mkfs/fdisk/mount
df：显示当前磁盘空间使用的情况
df -m
以单位为兆显示磁盘空间使用情况
du：显示目录的使用情况
du -sh
显示当前目录使用的详细情况
mount：加载磁盘或者是一些存储设备
mount -t ext3 /dev/sda2 /root/sda
将sda的第二个分区（分区文件类型为ext3）挂载到/root/sda目录下
关于更多Linux的学习，请查阅书籍《linux就该这么学》。
Linux *** 作系统的基础知识并不是很难理解，熟悉掌握基础知识能更好的学习Linux。下面由我为大家整理了Linux *** 作系统的知识点总结的相关知识，希望对大家有帮助!
Linux *** 作系统的知识点总结1. *** 作系统总体介绍
•CPU： 就像人的大脑，主要负责相关事情的判断以及实际处理的机制。
查询指令： cat /proc/cpuinfo
•内存： 大脑中的记忆区块，将皮肤、眼睛等所收集到的信息记录起来的地方，以供CPU进行判断。查询指令： cat /proc/meminfo
物理内存
物理内存，就是我们将内存条插在主板内存槽上的内存条的容量的大小。看计算机配置的时候，主要看的就是这个物理内存
虚拟内存
Windows中运用了虚拟内存技术，即拿出一部分硬盘空间来充当内存使用，当内存占用完时，电脑就会自动调用硬盘来充当内存，以缓解内存的紧张。
关系：windows中虚拟内存和物理内存可能都会被使用，Linux中，只有物理内存使用完了，才会使用虚拟内存
•硬盘： 大脑中的记忆区块，将重要的数据记录起来，以便未来再次使用这些数据。
查询指令： fdisk -l (需要root权限)
Linux *** 作系统的知识点总结2.内存和硬盘的关系
具体命令后面会介绍
Linux *** 作系统的知识点总结3. *** 作系统监控命令>单独写一份
•vmstat
•sar
•iostat
•top
•free
•uptime
•netstat
•ps
•strace
•lsof
Linux *** 作系统的知识点总结4.如何分析 *** 作系统
实际流程： 读数据》数据>硬盘》虚拟内存(swaP)》内存》cpu缓存》执行队列
分析方向，正好相反
Linux *** 作系统的知识点总结4.各个部分常出现的漏洞
•CPU： 容易出现该类瓶颈的邮件服务器、动态web服务器
•内存： 容易出现该类瓶颈的打印服务器、数据库服务器、静态web服务器
•磁盘I/O： 频繁读写 *** 作的项目
•网络带宽： 频繁大量上传下载项目
Linux *** 作系统的知识点总结5.linux本身的一些优化
1. 系统安装优化
当安装linux系统时，磁盘划分、 SWAP内存的分配都直接影响系统性能。对于虚拟内存SWAP的设定，现在已经没有了所谓虚拟内存是物理内存两倍的要求，但是根据经验，如果内存较小(物理内存小于4GB)，一般设置SWAP交换分区大小为内存的2倍如果物理内存大约4GB小于16GB，可以设置SWAP大小等于或者略小于物理内存即可如果内存在16GB以上，原则上可以设置SWAP为0，但最好设置一定大小的SWAP
• 2. 内核参数优化
例如，如果系统部署的Oracle数据库应用，那么就需要对系统共享内存段( kernel.shmmax, kenerl.shmmni, kernel.shmall)、
系统信号量( kernel.sem)、文件句柄( fs.file0max)等参数进行优化设置如果部署的WEB应用，那么就需要根据web应用特性进行网络参数的优化，例如修改net.ipv4.ip_local_port_range、net.ipv4.tc_tw_reuse、 net.core.somaxconn等网络
内核参数
• 3. 文件系统优化
在linux下可选的文件系统有ext2,、 ext3、 xfs、 ReiserFS
linux标准文件系统是从VFS开始，然后ext、 ext2， ext2是linux上的标准文件系统， ext3是在ext2基础上增加日志形成的。从VFS到ext3，设计思想没有太大变化，都是早期UNIX家族基于超级块和inode的设计理念设计而成。XFS文件系统是SGI开发的一个高级日志文件系统，通过分布处理磁盘请求、定位数据、保持cache的一致性来提供对文件系统数据的低延迟、高带宽的访问，因此XFS极具伸缩性，非常健壮，具有优秀的日志记录功能、可扩展性强、快速写入等优点。ReiserFS在Hans Reiser领导下开发出来的一款高性能的日志文件系统，通过完全平衡树来管理数据，包括文件数据、文件名及日志支持等。与ext2、 ext3相比，最大的优点是访问性能和安全性大幅提升。具有高效、合理利用磁盘空间，先将的日志管理机制，特意的搜寻方式，海量磁盘存储等优点
Linux *** 作系统的知识点总结5.重点知识
物理内存和虚拟内存
1.如何查看物理内存和虚拟内存?
Top 命令可以查看物理内存和虚拟内存的数值
2.Buffer
是硬盘控制器上的一块内存芯片，具有极快的存取速度，它是硬盘内部存储和外界接口之间的缓冲器。由于硬盘的内部数据传输速度和外界介面传输速度不同，缓存在其中起到一个缓冲的作用。缓存的大小与速度是直接关系到硬盘的传输速度的重要因素，能够大幅度地提高硬盘整体性能。
3.Cache
CPU缓存(Cache Memory)是位于CPU与内存之间的临时存储器，它的容量比内存小的多但是交换速度却比内存要快得多。缓存的出现主要是为了解决CPU运算速度与内存读写速度不匹配的矛盾，因为CPU运算速度要比内存读写速度快很多，这样会使CPU花费很长时间等待数据到来或把数据写入内存。在缓存中的数据是内存中的一小部分，但这一小部分是短时间内CPU即将访问的，当CPU调用大量数据时，就可避开内存直接从缓存中调用，从而加快读取速度
4.CPU中断
当CPU执行完一条现行指令时，如果外设向CPU发出中断请求，那么CPU在满足响应的情况下，将发出中断响应信号，与此同时关闭中断，表示CPU不在受理另外一个设备的中断。这时，CPU将寻找中断请求源是哪一个设备，并保存CPU自己的程序计数器(PC)的内容。然后，他将转移到处理该中断源的中断服务程序。CPU在保存现场信息，设备服务(如交换数据)以后，将恢复现场信息。在这些动作完成以后，开放中断，并返回到原来被中断的主程序的下一条指令。
5.上下文切换
上下文切换(Context Switch) 或者环境切换
多任务系统中，上下文切换是指CPU的控制权由运行任务转移到另外一个就绪任务时所发生的事件。
在 *** 作系统中，CPU切换到另一个进程需要保存当前进程的状态并恢复另一个进程的状态：当前运行任务转为就绪(或者挂起、删除)状态，另一个被选定的就绪任务成为当前任务。上下文切换包括保存当前任务的运行环境，恢复将要运行任务的运行环境。
进程上下文用进程的PCB(进程控制块,也称为PCB，即任务控制块)表示，它包括进程状态，CPU寄存器的值等。
通常通过执行一个状态保存来保存CPU当前状态，然后执行一个状态恢复重新开始运行。
上下文切换会对性能造成负面影响。然而，一些上下文切换相对其他切换而言更加昂贵其中一个更昂贵的上下文切换是跨核上下文切换(Cross-Core Context Switch)。一个线程可以运行在一个专用处理器上，也可以跨处理器。由单个处理器服务的线程都有处理器关联(Processor Affinity)，这样会更加有效。在另一个处理器内核抢占和调度线程会引起缓存丢失，作为缓存丢失和过度上下文切换的结果要访问本地内存。总之，这称为“跨核上下文切换”。
6.进程和线程
进程概念
进程是表示资源分配的基本单位，又是调度运行的基本单位。例如，用户运行自己的程序，系统就创建一个进程，并为它分配资源，包括各种表格、内存空间、磁盘空间、I/O设备等。然后，把该进程放人进程的就绪队列。进程调度程序选中它，为它分配CPU以及其它有关资源，该进程才真正运行。所以，进程是系统中的并发执行的单位。
线程概念
线程是进程中执行运算的最小单位，亦即执行处理机调度的基本单位。如果把进程理解为在逻辑上 *** 作系统所完成的任务，那么线程表示完成该任务的许多可能的子任务之一
进程和线程的关系
(1)一个线程只能属于一个进程，而一个进程可以有多个线程，但至少有一个线程。 (2)资源分配给进程，同一进程的所有线程共享该进程的所有资源。
(3)处理机分给线程，即真正在处理机上运行的是线程。
(4)线程在执行过程中，需要协作同步。不同进程的线程间要利用消息通信的办法实现同步。
Linux中传统的I/O *** 作是一种缓存I/O，I/O过程中产生的数据传输通常需要在缓冲区中进行多次拷贝。当应用程序需要访问某个数据（read() *** 作）时， *** 作系统会先判断这块数据是否在内核缓冲区中，如果在内核缓冲区中找不到这块数据，内核会先将这块数据从磁盘中读出来放到内核缓冲区中，应用程序再从缓冲区中读取。当应用程序需要将数据输出（write()）时，同样需要先将数据拷贝到输出堆栈相关的内核缓冲区，再从内核缓冲区拷贝到输出设备中。
以一次网络请求为例，如下图。对于一次数据读取，用户应用程序只需要调用read（）及write（）两个系统调用就可以完成一次数据传输，但这个过程中数据经过了四次拷贝，且数据拷贝需要由CPU来调控。在某些情况下，这些数据拷贝会极大地降低系统数据传输的性能，比如文件服务器中，一个文件从磁盘读取后不加修改地回传给调用方，那么这占用CPU时间去处理这四次数据拷贝的性价比是极低的。
一次处理网络调用的系统I/O的流程：
以上可以发现，传统的Linux系统I/O *** 作要进行4次内核空间与应用程序空间的上下文切换，以及4次数据拷贝。
直接内存访问（Direct Memory Access，DMA）是计算机科学中的一种内存访问技术，允许某些电脑内部的硬件子系统独立地读取系统内存，而不需要中央处理器（CPU）的介入。在同等程度的处理器负担下，DMA是一种快速的数据传送方式。这类子系统包括硬盘控制器、显卡、网卡和声卡。
在Linux系统中，当应用程序需要读取文件中的数据时， *** 作系统先分配一些内存，将数据从存储设备读入到这些内存中，然后再将数据传递应用进程；当需要往文件中写数据时， *** 作系统先分配内存接收用户数据，然后再将数据从内存写入磁盘。文件cache管理就是对这些由 *** 作系统分配并用开存储文件数据的内存的管理。
在Linux系统中，文件cache分为两个层面，page cache 与 Buffer cache，每个page cache包含若干个buffer cache。 *** 作系统中，磁盘文件都是由一系列的数据块（Block）组成，buffer cache也叫块缓存，是对磁盘一个数据块的缓存，目的是为了在程序多次访问同一个磁盘块时减少访问时间；而文件系统对数据的组织形式为页，page cache为页缓存，是由多个块缓存构成，其对应的缓存数据块在磁盘上不一定是连续的。也就是说buffer cache缓存文件的具体内容--物理磁盘上的磁盘块，加速对磁盘的访问，而page cache缓存文件的逻辑内容，加速对文件内容的访问。
buffer cache的大小一般为1k，page cache在32位系统上一般为4k，在64位系统上一般为8k。磁盘数据块、buffer cache、page cache及文件的关系如下图：
文件cache的目的是加快对数据文件的访问，同时会有一个预读过程。对于每个文件的第一次读请求，系统会读入所请求的页面并读入紧随其后的几个页面；对于第二次读请求，如果所读页面在cache中，则会直接返回，同时又一个异步预读的过程（将读取页面的下几页读入cache中），如果不在cache中，说明读请求不是顺序读，则会从磁盘中读取文件内容并刷新cache。因此在顺序读取情况下，读取数据的性能近乎内存读取。
DMA允许硬件子系统直接将数据从磁盘读取到内核缓冲区，那么在一次数据传输中，磁盘与内核缓冲区，输出设备与内核缓冲区之间的两次数据拷贝就不需要CPU进行调度，CPU只需要进行缓冲区管理、以及创建和处理DMA。而Page Cache/Buffer Cache的预读取机制则加快了数据的访问效率。如下图所示，还是以文件服务器请求为例，此时CPU负责的数据拷贝次数减少了两次，数据传输性能有了较大的提高。
使用DMA的系统I/O *** 作要进行4次内核空间与应用程序空间的上下文切换，2次CPU数据拷贝及2次DMA数据拷贝。
Mmap内存映射与标准I/O *** 作的区别在于当应用程序需要访问数据时，不需要进行内核缓冲区到应用程序缓冲区之间的数据拷贝。Mmap使得应用程序和 *** 作系统共享内核缓冲区，应用程序直接对内核缓冲区进行读写 *** 作，不需要进行数据拷贝。Linux系统中通过调用mmap()替代read() *** 作。
同样以文件服务器获取文件（不加修改）为例，通过mmap *** 作的一次系统I/O过程如下：
通过以上流程可以看到，数据拷贝从原来的4次变为3次，2次DMA拷贝1次内核空间数据拷贝，CPU只需要调控1次内核空间之间的数据拷贝，CPU花费在数据拷贝上的时间进一步减少（4次上下文切换没有改变）。对于大容量文件读写，采用mmap的方式其读写效率和性能都比较高。（数据页较多，需要多次拷贝）
注：mmap()是让应用程序空间与内核空间共享DMA从磁盘中读取的文件缓冲，也就是应用程序能直接读写这部分PageCache，至于上图中从页缓存到socket缓冲区的数据拷贝只是文件服务器的处理，根据应用程序的不同会有不同的处理，应用程序也可以读取数据后进行修改。重点是虚拟内存映射，内核缓存共享。
djk中nio包下的MappedByteBuffer，官方注释为 A direct byte buffer whose content is a memory-mapped region of a file，即直接字节缓冲区，其内容是文件的内存映射区域。 FileChannel是是nio *** 作文件的类，其map()方法在在实现类中调用native map0()本地方法，该方法通过mmap()实现，因此是将文件从磁盘读取到内核缓冲区，用户应用程序空间直接 *** 作内核空间共享的缓冲区，Java程序通过MappedByteBuffer的get()方法获取内存数据。
MappedByteBuffer允许Java程序直接从内存访问文件，可以将整个文件或文件的一部分映射到内存中，由 *** 作系统进行相关的请求并将内存中的修改写入到磁盘中。
FileChannel map有三种模式
MappedByteBuffer的应用，以rocketMQ为例（简单介绍）。
producer端发送消息最终会被写入到commitLog文件中，consumer端消费时先从订阅的consumeQueue中读取持久化消息的commitLogOffset、size等内容，随后再根据offset、size从commitLog中读取消息的真正实体内容。其中，commitLog是混合部署的，所有topic下的消息队列共用一个commitLog日志数据文件，consumeQueue类似于索引，同时区分开不同topic下不同MessageQueue的消息。
rocketMQ利用MappedByteBuffer及PageCache加速对持久化文件的读写 *** 作。rocketMQ通过MappedByteBuffer将日志数据文件映射到OS的虚拟内存中（PageCache）,写消息时首先写入PageCache，通过刷盘方式（异步或同步）将消息批量持久化到磁盘；consumer消费消息时，读取consumeQueue是顺序读取的，虽然有多个消费者 *** 作不同的consumeQueue，对混合部署的commitLog的访问时随机的，但整体上是从旧到新的有序读，加上PageCache的预读机制，大部分情况下消息还是从PageCache中读取，不会产生太多的缺页中断（要读取的消息不在pageCache中）而从磁盘中读取。
rocketMQ利用mmap()使程序与内核空间共享内核缓冲区，直接对PageCache中的文件进行读写 *** 作，加速对消息的读写请求，这是其高吞吐量的重要手段。
使用mmap能减少CPU数据拷贝的次数，但也存在一些问题。
从Linux2.1开始，Linux引入sendfile()简化 *** 作。取消read()/write()，mmap()/write()。
调用sendfile的流程如下：
通过sendfile()的I/O进行了2次应用程序空间与内核空间的上下文切换，以及3次数据拷贝，其中2次是DMA拷贝，1次是CPU拷贝。sendfile相比起mmap，数据信息没有进入到应用程序空间，所以能减少2次上下文切换的开销，而数据拷贝次数是一样的。
上述流程也可以看出，sendfile()适合对文件不加修改的I/O *** 作。
sendfile()只是减少应用程序空间与内核空间的上下文切换，并没有减少CPU数据拷贝的次数，还存在一次内核空间的两个缓冲区的数据拷贝。要实现CPU零数据拷贝，需要引入一些硬件上的支持。在上一小节的sendfile流程中，数据需要从内核缓冲区拷贝到内核空间socket缓冲区，数据都是在内核空间，如果socket缓冲区到网卡的这次DMA数据传输 *** 作能直接读取到内核缓冲区中的数据，那么这一次的CPU数据拷贝也就能避免。要达到这个目的，DMA需要知道存有文件位置和长度信息的缓冲区描述符，即socket缓冲区需要从内核缓冲区接收这部分信息，DMA需要支持数据收集功能。
sendfile()调用后，数据从磁盘文件拷贝到内核缓冲区中，然后将文件位置和长度信息的缓冲区描述符传递到socket缓冲区，此时数据并没有被拷贝。之后网卡子系统根据socket缓冲区中的文件信息利用DMA技术收集拷贝数据。整个过程进行了2次内核空间和应用程序空间的上下文切换，及2次DMA数据拷贝，CPU不需要参与数据拷贝工作，从而实现零拷贝。当然DMA收集拷贝功能需要硬件和驱动程序的支持。
在 *** 作系统中，硬件和软件之间的数据传输可以通过DMA来进行，DMA进行数据传输的过程几乎不需要CPU参与，但是在内核缓冲区（页缓存）与应用程序缓冲区之间的数据拷贝并没有类似于DMA之类的工具可以使用，mmap、sendfile都是为了减少数据在内核空间与应用程序空间传输时的数据拷贝和上下文切换次数，有效地改善数据在两者之间传递的效率。
linux *** 作系统的零拷贝技术并不单指某一种方式，现有的零拷贝技术种类非常多，在不同的Linux内核版本上有不同的支持。常见的，如果应用程序需要修改数据，则使用mmap()，如果只进行文件数据传输，则可选择sendfile()。
另外，关于零拷贝技术适用于什么场景？在上述的描述中，数据在传递过程中，除了mmap外，应用程序和 *** 作系统几乎是没有改变数据的，mmap的内存映射也是没有改变数据的，也就是说在静态资源的读取场景下，零拷贝更能发挥作用。正如其名，拷贝是在不改变数据的情况下，零是利用手段去减少CPU参与数据拷贝的次数，以释放CPU去进行其他系统调用与计算。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）