NFS网络文件系统配置

配置流程适用于Debian\Ubuntu等的衍生发行版
Server：Armbian\1921682225
Client：Deepin\1921682222

增添一行

将 /root/share 共享给1921682222 ，客户端权限rw
其中共享对象可以用通配符，比如 代表所有地址。

rw： 读写

ro ：只读

fsid=0 : 指定/root/share为nfs的根目录

sync：将数据同步写入内存缓冲区与磁盘中，效率低，但可以保证数据的一致性；

async：是大数据时使用，是先写到缓存区，必要时再写到磁盘里。

all_squash：所有访问用户都映射为匿名用户或用户组；
no_all_squash（默认）：访问用户先与本机用户匹配，匹配失败后再映射为匿名用户或用户组；

root_squash（默认）：将来访的root用户映射为匿名用户或用户组；
no_root_squash：来访的root用户保持root帐号权限；

wdelay（默认）：检查是否有相关的写 *** 作，如果有则将这些写 *** 作一起执行，这样可以提高效率；
no_wdelay：若有写 *** 作则立即执行，应与sync配合使用；

subtree_check ：若输出目录是一个子目录，则nfs服务器将检查其父目录的权限；
no_subtree_check（默认）：即使输出目录是一个子目录，nfs服务器也不检查其父目录的权限，这样可以提高效率；

看到最后有 1921682225:/ 15G 93G 52G 65% /mnt

不能写入,没有密码

iscsi、cifs、nfs区别为：对象不同、环境不同、方式不同。

一、对象不同

1、iscsi：iscsi是针对数据块存储的。

2、cifs：cifs是针对共享文件存储的。

3、nfs：nfs是针对共享文件存储的。

二、环境不同

1、iscsi：iscsi主要应用在Windows环境下，适用于TCP／IP通讯协议。

2、cifs：cifs主要应用在NT/Windows环境下。

3、nfs：nfs主要应用在UNIX环境下，广泛应用在FreeBSD、SCO、Solaris等等异构 *** 作系统平台。

三、方式不同

1、iscsi：iscsi并不能用于在磁盘中存储和管理数据，是通过TCP/IP网络传输文件时的文件组织格式和数据传输方式。

2、cifs：cifs让协议运行于TCP/IP通信协议之上，让Unix计算机可以在网络邻居上被Windows计算机看到，并进一步传递存储数据。

3、nfs：nfs能够支持在不同类型的系统之间通过网络进行文件共享存储。

NFS（Network File System）是一种网络文件系统协议，用于在计算机之间进行文件共享。如果您在局域网中使用 NFS 进行传输时发现速度较慢，可能是以下原因造成的：
1 网络带宽问题：检查您的网络带宽是否足够，如果您的网络带宽受限，则可能导致传输速度减慢。
2 网络故障：检查您的网络连接是否正常。网络故障可能导致数据传输不稳定和传输速度减慢。
3 NFS 服务器负载过高：如果 NFS 服务器负载过高，会导致文件传输速度变慢。您可以使用性能监视工具来查看 NFS 服务器的资源使用情况，或者尝试升级服务器的硬件配置。
4 NFS 配置问题：您可能需要对 NFS 进行优化以获得更好的性能。例如，调整 NFS 的缓存大小、调整 NFS 时间戳的精度等。
5 文件大小：如果您需要传输的文件较大，则可能需要更长的时间进行传输。
您可以检查上述因素并尝试按需进行优化，以提高 NFS 文件传输的速度。

块存储

典型设备：磁盘阵列，硬盘

块存储主要是将裸磁盘空间整个映射给主机使用的，就是说例如磁盘阵列里面有5块硬盘（为方便说明，假设每个硬盘1G），然后可以通过划逻辑盘、做Raid、或者LVM（逻辑卷）等种种方式逻辑划分出N个逻辑的硬盘。（假设划分完的逻辑盘也是5个，每个也是1G，但是这5个1G的逻辑盘已经于原来的5个物理硬盘意义完全不同了。例如第一个逻辑硬盘A里面，可能第一个200M是来自物理硬盘1，第二个200M是来自物理硬盘2，所以逻辑硬盘A是由多个物理硬盘逻辑虚构出来的硬盘。）

接着块存储会采用映射的方式将这几个逻辑盘映射给主机，主机上面的 *** 作系统会识别到有5块硬盘，但是 *** 作系统是区分不出到底是逻辑还是物理的，它一概就认为只是5块裸的物理硬盘而已，跟直接拿一块物理硬盘挂载到 *** 作系统没有区别的，至少 *** 作系统感知上没有区别。

此种方式下， *** 作系统还需要对挂载的裸硬盘进行分区、格式化后，才能使用，与平常主机内置硬盘的方式完全无异。

优点：

1、  这种方式的好处当然是因为通过了Raid与LVM等手段，对数据提供了保护。

2、  另外也可以将多块廉价的硬盘组合起来，成为一个大容量的逻辑盘对外提供服务，提高了容量。

3、  写入数据的时候，由于是多块磁盘组合出来的逻辑盘，所以几块磁盘可以并行写入的，提升了读写效率。

4、  很多时候块存储采用SAN架构组网，传输速率以及封装协议的原因，使得传输速度与读写速率得到提升。

缺点：

1、采用SAN架构组网时，需要额外为主机购买光纤通道卡，还要买光纤交换机，造价成本高。

2、主机之间的数据无法共享，在服务器不做集群的情况下，块存储裸盘映射给主机，再格式化使用后，对于主机来说相当于本地盘，那么主机A的本地盘根本不能给主机B去使用，无法共享数据。

3、不利于不同 *** 作系统主机间的数据共享：另外一个原因是因为 *** 作系统使用不同的文件系统，格式化完之后，不同文件系统间的数据是共享不了的。例如一台装了WIN7/XP，文件系统是FAT32/NTFS，而Linux是EXT4，EXT4是无法识别NTFS的文件系统的。就像一只NTFS格式的U盘，插进Linux的笔记本，根本无法识别出来。所以不利于文件共享。

文件存储

典型设备：FTP、NFS服务器

为了克服上述文件无法共享的问题，所以有了文件存储。

文件存储也有软硬一体化的设备，但是其实普通拿一台服务器/笔记本，只要装上合适的 *** 作系统与软件，就可以架设FTP与NFS服务了，架上该类服务之后的服务器，就是文件存储的一种了。

主机A可以直接对文件存储进行文件的上传下载，与块存储不同，主机A是不需要再对文件存储进行格式化的，因为文件管理功能已经由文件存储自己搞定了。

优点：

1、造价交低：随便一台机器就可以了，另外普通以太网就可以，根本不需要专用的SAN网络，所以造价低。

2、方便文件共享：例如主机A（WIN7，NTFS文件系统），主机B（Linux，EXT4文件系统），想互拷一部，本来不行。加了个主机C（NFS服务器），然后可以先A拷到C，再C拷到B就OK了。（例子比较肤浅，请见谅……）

缺点：

读写速率低，传输速率慢：以太网，上传下载速度较慢，另外所有读写都要1台服务器里面的硬盘来承担，相比起磁盘阵列动不动就几十上百块硬盘同时读写，速率慢了许多。

对象存储

典型设备：内置大容量硬盘的分布式服务器

对象存储最常用的方案，就是多台服务器内置大容量硬盘，再装上对象存储软件，然后再额外搞几台服务作为管理节点，安装上对象存储管理软件。管理节点可以管理其他服务器对外提供读写访问功能。

之所以出现了对象存储这种东西，是为了克服块存储与文件存储各自的缺点，发扬它俩各自的优点。简单来说块存储读写快，不利于共享，文件存储读写慢，利于共享。能否弄一个读写快，利 于共享的出来呢。于是就有了对象存储。

首先，一个文件包含了了属性（术语叫metadata，元数据，例如该文件的大小、修改时间、存储路径等）以及内容（以下简称数据）。

以往像FAT32这种文件系统，是直接将一份文件的数据与metadata一起存储的，存储过程先将文件按照文件系统的最小块大小来打散（如4M的文件，假设文件系统要求一个块4K，那么就将文件打散成为1000个小块），再写进硬盘里面，过程中没有区分数据/metadata的。而每个块最后会告知你下一个要读取的块的地址，然后一直这样顺序地按图索骥，最后完成整份文件的所有块的读取。

这种情况下读写速率很慢，因为就算你有100个机械手臂在读写，但是由于你只有读取到第一个块，才能知道下一个块在哪里，其实相当于只能有1个机械手臂在实际工作。

而对象存储则将元数据独立了出来，控制节点叫元数据服务器（服务器+对象存储管理软件），里面主要负责存储对象的属性（主要是对象的数据被打散存放到了那几台分布式服务器中的信息），而其他负责存储数据的分布式服务器叫做OSD，主要负责存储文件的数据部分。当用户访问对象，会先访问元数据服务器，元数据服务器只负责反馈对象存储在哪些OSD，假设反馈文件A存储在B、C、D三台OSD，那么用户就会再次直接访问3台OSD服务器去读取数据。

这时候由于是3台OSD同时对外传输数据，所以传输的速度就加快了。当OSD服务器数量越多，这种读写速度的提升就越大，通过此种方式，实现了读写快的目的。

另一方面，对象存储软件是有专门的文件系统的，所以OSD对外又相当于文件服务器，那么就不存在文件共享方面的困难了，也解决了文件共享方面的问题。

所以对象存储的出现，很好地结合了块存储与文件存储的优点。

最后为什么对象存储兼具块存储与文件存储的好处，还要使用块存储或文件存储呢？

1、有一类应用是需要存储直接裸盘映射的，例如数据库。因为数据库需要存储裸盘映射给自己后，再根据自己的数据库文件系统来对裸盘进行格式化的，所以是不能够采用其他已经被格式化为某种文件系统的存储的。此类应用更适合使用块存储。

2、对象存储的成本比起普通的文件存储还是较高，需要购买专门的对象存储软件以及大容量硬盘。如果对数据量要求不是海量，只是为了做文件共享的时候，直接用文件存储的形式好了，性价比高。

五一节办公室要停电，机房虽有UPS，但也支撑不了8小时。
因生产环境有业务系统挂了办公室机房的NAS存储，故需要进行迁移，步骤记录如下：

先闲谈下技术-----------------------
NFS和samba的区别
samba是混合型网络中的共享服务，windows服务器可建samba服务，linux服务器也可建samba服务
nfs只面向unix、linux间的共享，linux服务器可建nfs服务（winodws系统也可以挂载nfs，就是有点不稳定）

NFS服务器上的 *** 作--------------------------

nfs服务器 *** 作系统版本：
[root@c7110 ~]# more /etc/system-release
CentOS Linux release 792009 (Core)

nfs服务器安装nfs服务
[root@c7110 ~]# yum -y install nfs-utils rpcbind

创建nfs目录，并授权
[root@c7110 ~]# mkdir /opt/nfs-test
[root@c7110 ~]# chmod 777 /opt/nfs-test

编辑nfs服务配置文件
[root@c7110 ~]# vi /etc/exports
内容如下：
/opt/nfs-test (rw,root_squash,all_squash,sync)

重新加载nfs配置：
[root@c7110 ~]# exportfs -r

nfs服务设置开机启动
[root@c7110 ~]# systemctl enable rpcbind
[root@c7110 ~]# systemctl enable nfs
[root@c7110 ~]# systemctl enable nfs-lock
[root@c7110 ~]# systemctl enable nfs-idmap

启动nfs服务
[root@c7110 ~]# systemctl start rpcbind
[root@c7110 ~]# systemctl start nfs
[root@c7110 ~]# systemctl start nfs-lock
[root@c7110 ~]# systemctl start nfs-idmap

查看nfs服务启动后，所监听的端口信息：
[root@c7110 ~]# rpcinfo -p

linux服务器服务器上 *** 作-------------------------------
业务服务器安装nfs软件客户端
[root@c7111 ~]# yum -y install nfs-utils

建立一个挂载目录
[root@c7111 ~]# mkdir /opt/test-m

挂载nfs服务器共享出来的目录
[root@c7111 ~]# mount -t nfs 10xx10:/opt/nfs-test /opt/test-m/

查看下已挂载的nfs
[root@c7111 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 15G 0 15G 0% /dev
tmpfs 15G 0 15G 0% /dev/shm
tmpfs 15G 88M 15G 1% /run
tmpfs 15G 0 15G 0% /sys/fs/cgroup
/dev/mapper/centos-root 97G 23G 95G 3% /
/dev/sda1 1014M 171M 844M 17% /boot
tmpfs 297M 0 297M 0% /run/user/0
10xx6:/opt/nfs-test 97G 41G 93G 5% /opt/test-m

经测试，数据可读可写，证明nas服务没有问题，于是进行数据同步，数据同步用rsync命令。

rsync -avp gdsz@108756::nas_6 /mnt/guidang/ --password-file=/root/rsync_pass --bwlimit=100000

数据同步完，通知研发进行挂载切换。研发同事在测试时，发现文件属性中的uid及gid与原来的不一致，有些担心，于是又小完善了一下NFS服务。

编辑nfs服务配置文件
[root@c7110 ~]# vi /etc/exports
内容如下：
/opt/nfs-test (no_all_squash,anonuid=600,anongid=600)

重新加载nfs配置：
[root@c7110 ~]# exportfs -r

可以使用比较简单的NFS
一、NFS服务简介
NFS 是Network File System的缩写，即网络文件系统。一种使用于分散式文件系统的协定，由Sun公司开发，于1984年向外公布。功能是通过网络让不同的机器、不同的 *** 作系统能够彼此分享个别的数据，让应用程序在客户端通过网络访问位于服务器磁盘中的数据，是在类Unix系统间实现磁盘文件共享的一种方法。
NFS 的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”，它是独立于 *** 作系统，容许不同硬件及 *** 作系统的系统共同进行文件的分享。
NFS在文件传送或信息传送过程中依赖于RPC协议。RPC，远程过程调用 (Remote Procedure Call) 是能使客户端执行其他系统中程序的一种机制。NFS本身是没有提供信息传输的协议和功能的，但NFS却能让我们通过网络进行资料的分享，这是因为NFS使用了一些其它的传输协议。而这些传输协议用到这个RPC功能的。可以说NFS本身就是使用RPC的一个程序。或者说NFS也是一个RPC SERVER。所以只要用到NFS的地方都要启动RPC服务，不论是NFS SERVER或者NFS CLIENT。这样SERVER和CLIENT才能通过RPC来实现PROGRAM PORT的对应。可以这么理解RPC和NFS的关系：NFS是一个文件系统，而RPC是负责负责信息的传输。
二、系统环境
系统平台：CentOS release 56 (Final)
NFS Server IP：1921681108
防火墙已关闭/iptables: Firewall is not running
SELINUX=disabled
三、安装NFS服务
NFS的安装是非常简单的，只需要两个软件包即可，而且在通常情况下，是作为系统的默认包安装的。
nfs-utils- ：包括基本的NFS命令与监控程序
portmap- ：支持安全NFS RPC服务的连接
1、查看系统是否已安装NFS
系统默认已安装了nfs-utils portmap 两个软件包。
2、如果当前系统中没有安装NFS所需的软件包，需要手工进行安装。nfs-utils 和portmap 两个包的安装文件在系统光盘中都会有。
# mount /dev/cdrom /mnt/cdrom/
# cd /mnt/cdrom/CentOS/
# rpm -ivh portmap-40-65221i386rpm
# rpm -ivh nfs-utils-109-50el5i386rpm
# rpm -q nfs-utils portmap
四、NFS系统守护进程
nfsd：它是基本的NFS守护进程，主要功能是管理客户端是否能够登录服务器；
mountd：它是RPC安装守护进程，主要功能是管理NFS的文件系统。当客户端顺利通过nfsd登录NFS服务器后，在使用NFS服务所提供的文件前，还必须通过文件使用权限的验证。它会读取NFS的配置文件/etc/exports来对比客户端权限。
portmap：主要功能是进行端口映射工作。当客户端尝试连接并使用RPC服务器提供的服务（如NFS服务）时，portmap会将所管理的与服务对应的端口提供给客户端，从而使客户可以通过该端口向服务器请求服务。
五、NFS服务器的配置
NFS服务器的配置相对比较简单，只需要在相应的配置文件中进行设置，然后启动NFS服务器即可。
NFS的常用目录
/etc/exports NFS服务的主要配置文件
/usr/sbin/exportfs NFS服务的管理命令
/usr/sbin/showmount 客户端的查看命令
/var/lib/nfs/etab 记录NFS分享出来的目录的完整权限设定值
/var/lib/nfs/xtab 记录曾经登录过的客户端信息
NFS服务的配置文件为 /etc/exports，这个文件是NFS的主要配置文件，不过系统并没有默认值，所以这个文件不一定会存在，可能要使用vim手动建立，然后在文件里面写入配置内容。
/etc/exports文件内容格式：
<输出目录> [客户端1 选项（访问权限,用户映射,其他）] [客户端2 选项（访问权限,用户映射,其他）]
a 输出目录：
输出目录是指NFS系统中需要共享给客户机使用的目录；
b 客户端：
客户端是指网络中可以访问这个NFS输出目录的计算机
客户端常用的指定方式
指定ip地址的主机：1921680200
指定子网中的所有主机：19216800/24 19216800/2552552550
指定域名的主机：davidbsmartcn
指定域中的所有主机：bsmartcn
所有主机：
c 选项：
选项用来设置输出目录的访问权限、用户映射等。
NFS主要有3类选项：
访问权限选项
设置输出目录只读：ro
设置输出目录读写：rw
用户映射选项
all_squash：将远程访问的所有普通用户及所属组都映射为匿名用户或用户组（nfsnobody）；
no_all_squash：与all_squash取反（默认设置）；
root_squash：将root用户及所属组都映射为匿名用户或用户组（默认设置）；
no_root_squash：与rootsquash取反；
anonuid=xxx：将远程访问的所有用户都映射为匿名用户，并指定该用户为本地用户（UID=xxx）；
anongid=xxx：将远程访问的所有用户组都映射为匿名用户组账户，并指定该匿名用户组账户为本地用户组账户（GID=xxx）；
其它选项
secure：限制客户端只能从小于1024的tcp/ip端口连接nfs服务器（默认设置）；
insecure：允许客户端从大于1024的tcp/ip端口连接服务器；
sync：将数据同步写入内存缓冲区与磁盘中，效率低，但可以保证数据的一致性；
async：将数据先保存在内存缓冲区中，必要时才写入磁盘；
wdelay：检查是否有相关的写 *** 作，如果有则将这些写 *** 作一起执行，这样可以提高效率（默认设置）；
no_wdelay：若有写 *** 作则立即执行，应与sync配合使用；
subtree：若输出目录是一个子目录，则nfs服务器将检查其父目录的权限(默认设置)；
no_subtree：即使输出目录是一个子目录，nfs服务器也不检查其父目录的权限，这样可以提高效率；
六、NFS服务器的启动与停止
在对exports文件进行了正确的配置后，就可以启动NFS服务器了。
1、启动NFS服务器
为了使NFS服务器能正常工作，需要启动portmap和nfs两个服务，并且portmap一定要先于nfs启动。
# service portmap start
# service nfs start
2、查询NFS服务器状态
# service portmap status
# service nfs status
3、停止NFS服务器
要停止NFS运行时，需要先停止nfs服务再停止portmap服务，对于系统中有其他服务(如NIS)需要使用时，不需要停止portmap服务
# service nfs stop
# service portmap stop
4、设置NFS服务器的自动启动状态
对于实际的应用系统，每次启动LINUX系统后都手工启动nfs服务器是不现实的，需要设置系统在指定的运行级别自动启动portmap和nfs服务。
# chkconfig --list portmap
# chkconfig --list nfs
设置portmap和nfs服务在系统运行级别3和5自动启动。
# chkconfig --level 35 portmap on
# chkconfig --level 35 nfs on
七、实例
1、将NFS Server 的/home/david/ 共享给19216810/24网段，权限读写。
服务器端文件详细如下：
# vi /etc/exports
/home/david 19216810/24(rw)
2、重启portmap 和nfs 服务
# service portmap restart
# service nfs restart
# exportfs
3、服务器端使用showmount命令查询NFS的共享状态
# showmount -e//默认查看自己共享的服务，前提是要DNS能解析自己，不然容易报错
# showmount -a//显示已经与客户端连接上的目录信息
4、客户端使用showmount命令查询NFS的共享状态
# showmount -e NFS服务器IP
5、客户端挂载NFS服务器中的共享目录
命令格式
# mount NFS服务器IP:共享目录 本地挂载点目录
# mount 1921681108:/home/david/ /tmp/david/
# mount |grep nfs
挂载成功。
查看文件是否和服务器端一致。
6、NFS的共享权限和访问控制
现在我们在/tmp/david/ 里面建立一个文件，看看权限是什么
# touch 20130103
这里出现Permission denied，是因为NFS 服务器端共享的目录本身的写权限没有开放给其他用户，在服务器端打开该权限。
# chmod 777 -R /home/david/
再次在客户端/tmp/david/ 里面建立一个文件
我用root 用户建立的文件，变成了nfsnobody 用户。
NFS有很多默认的参数，打开/var/lib/nfs/etab 查看分享出来的/home/david/ 完整权限设定值。
# cat /var/lib/nfs/etab
默认就有sync，wdelay，hide 等等，no_root_squash 是让root保持权限，root_squash 是把root映射成nobody，no_all_squash 不让所有用户保持在挂载目录中的权限。所以，root建立的文件所有者是nfsnobody。
下面我们使用普通用户挂载、写入文件测试。
# su - david
$ cd /tmp/david/
$ touch 2013david
普通用户写入文件时就是自己的名字，这也就保证了服务器的安全性。
关于权限的分析
1 客户端连接时候，对普通用户的检查
a 如果明确设定了普通用户被压缩的身份，那么此时客户端用户的身份转换为指定用户；
b 如果NFS server上面有同名用户，那么此时客户端登录账户的身份转换为NFS server上面的同名用户；
c 如果没有明确指定，也没有同名用户，那么此时 用户身份被压缩成nfsnobody；
2 客户端连接的时候，对root的检查
a 如果设置no_root_squash，那么此时root用户的身份被压缩为NFS server上面的root；
b 如果设置了all_squash、anonuid、anongid，此时root 身份被压缩为指定用户；
c 如果没有明确指定，此时root用户被压缩为nfsnobody；
d 如果同时指定no_root_squash与all_squash 用户将被压缩为 nfsnobody，如果设置了anonuid、anongid将被压缩到所指定的用户与组；
7、卸载已挂载的NFS共享目录
# umount /tmp/david/
八、启动自动挂载nfs文件系统
格式：
<server>:</remote/export> </local/directory> nfs < options> 0 0
# vi /etc/fstab
保存退出，重启系统。
查看/home/david 有没有自动挂载。
自动挂载成功。
九、相关命令
1、exportfs
如果我们在启动了NFS之后又修改了/etc/exports，是不是还要重新启动nfs呢？这个时候我们就可以用exportfs 命令来使改动立刻生效，该命令格式如下：
# exportfs [-aruv]
-a 全部挂载或卸载 /etc/exports中的内容
-r 重新读取/etc/exports 中的信息 ，并同步更新/etc/exports、/var/lib/nfs/xtab
-u 卸载单一目录（和-a一起使用为卸载所有/etc/exports文件中的目录）
-v 在export的时候，将详细的信息输出到屏幕上。
具体例子：
# exportfs -au 卸载所有共享目录
# exportfs -rv 重新共享所有目录并输出详细信息
2、nfsstat
查看NFS的运行状态，对于调整NFS的运行有很大帮助。
3、rpcinfo
查看rpc执行信息，可以用于检测rpc运行情况的工具，利用rpcinfo -p 可以查看出RPC开启的端口所提供的程序有哪些。
4、showmount
-a 显示已经于客户端连接上的目录信息
-e IP或者hostname 显示此IP地址分享出来的目录
5、netstat
可以查看出nfs服务开启的端口，其中nfs 开启的是2049，portmap 开启的是111，其余则是rpc开启的。
最后注意两点，虽然通过权限设置可以让普通用户访问，但是挂载的时候默认情况下只有root可以去挂载，普通用户可以执行sudo。
NFS server 关机的时候一点要确保NFS服务关闭，没有客户端处于连接状态！通过showmount -a 可以查看，如果有的话用kill killall pkill 来结束，（-9 强制结束）

---