NFS(Network File System)即网络文件系统,是FreeBSD支持的文件系统中的一种,它允许网络中的计算机之间共享资源。在NFS的应用中,本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件,就像访问本地文件一样。
NFS体系至少有两个主要部分:
一台NFS服务器和若干台客户机。
客户机通过TCP/IP网络远程访问存放在NFS服务器上的数据。
在NFS服务器正式启用前,需要根据实际环境和需求,配置一些NFS参数。
扩展资料:
NFS是基于UDP/IP协议的应用,其实现主要是采用远程过程调用RPC机制,RPC提供了一组与机器、 *** 作系统以及低层传送协议无关的存取远程文件的 *** 作。
RPC采用了XDR的支持。XDR是一种与机器无关的数据描述编码的协议,他以独立与任意机器体系结构的格式对网上传送的数据进行编码和解码,支持在异构系统之间数据的传送。
参考资料来源:百度百科-网络文件系统
参考资料来源:百度百科-NFS
文件缓冲区即系统在读写程序时在内存中开辟的数据源与数据目标中间的一个用于保存完整数据内容的缓冲区域。
目前c语言使用的文件系统分为缓冲文件系统(标准i
/
o)和非缓冲文件系统(系统i
/
o)。缓冲文件系统的特点是:在内存开辟一个“缓冲区”,为程序中的每一个文件使用,当执
行读文件的 *** 作时,从磁盘文件将数据先读入内存“缓冲区”,装满后再从内存“缓冲区”依此读入接收的变量。执行写文件的 *** 作时,先将数据写入内存“缓冲区”,待内存“缓冲区”装满后再写入文件。
因此当程序运行时虽然进行了写数据 *** 作,但是如果写入的数据没有装满内存中的缓冲区,就不会将数据写入到磁盘文件中。当程序运行结束后,系统就会将缓冲区中的数据写入到磁盘上的文件中,因此就可以看到文件中的内容。
先定义文件指针
FILE
fp;
然后用
fp=fopen("文件名","参数")打开
参数:r只读文本
w只写文本
a文本追加
rb
wb
ab
对应2进制文件
1为什么用共享存储
2存储有哪些工具
3共享存储应用场景有哪些
4部署nfs共享存储
5客户端尝试连接共享存储
什么是NFS?
NFS 是 Network File System 的缩写及网络文件系统。 NFS 主要功能是通过局域网络让不同的主机系统之间可以共享文件或目录。
NFS 系统和 Windows 网络共享、网络驱动器类似, 只不过 windows 用于局域网, NFS 用于企业集群架构中, 如果是大型网站, 会用到更复杂的分布式文件系统 FastDFS,glusterfs,HDFS
那么我们为什么要使用数据存储共享服务?
1实现多台服务器之间数据共享
2实现多台服务器之间数据一致
下面我将通过图解给大家展示集群需要共享存储服务的理由。
1A 用户上传经过负载均衡,负载均衡将上传请求调度至 WEB1 服务器上。
2B 用户访问 A 用户上传的,此时 B 用户被负载均衡调度至 WEB2 上,因为 WEB2 上没有这张,所以 B用户无法看到 A 用户传的
如果有共享存储的情况
1A 用户上传无论被负载均衡调度至 WEB1 还是 WEB2, 最终数据都被写入至共享存储
2B 用户访问 A 用户上传时,无论调度至 WEB1 还是 WEB2,最终都会上共享存储访问对应的文件,这样就可以访问到资源了
NFS工作原理
1用户进程访问 NFS 客户端,使用不同的函数对数据进行处理
2NFS 客户端通过 TCP/IP 的方式传递给 NFS 服务端
3NFS 服务端接收到请求后,会先调用 portmap 进程进行端口映射。
4nfsd 进程用于判断 NFS 客户端是否拥有权限连接 NFS 服务端。
5Rpcmount 进程判断客户端是否有对应的权限进行验证。
6idmap 进程实现用户映射和压缩
7最后 NFS 服务端会将对应请求的函数转换为本地能识别的命令,传递至内核,由内核驱动硬件。
注意: rpc 是一个远程过程调用,那么使用 nfs 必须有 rpc 服务
1nfs依赖于RPC服务来传递消息
2NFS服务启动的端口号是随机的,启动之后会向本地的RCP注册
3先启动RPC服务,再启动NFS服务
4NFS和RPC之间的通讯是他们自己内部完成的,对于用户来说无感知
5NFS客户端和服务端不会直接沟通,必须通过RPC服务传递消息
6防火墙要开放RPC服务的端口
nfs 服务程序的配置文件为/etc/exports,需要严格按照共享目录的路径 允许访问的 NFS 客户端(共享权限参数)格式书写,定义要共享的目录与相应的权限,具体书写方式如下图所示
配置文件参数解释:
执行 man exports 命令,然后切换到文件结尾,可以快速查看如下样例格式:
nfs共享参数 参数作用
rw 读写权限
ro 只读权限
root_squash
当 NFS 客户端以 root 管理员访问时,映射为 NFS 服务器的匿名用户(不常用)
no_root_squash
当 NFS 客户端以 root 管理员访问时,映射为 NFS 服务器的 root 管理员(不常用)
all_squash
无论 NFS 客户端使用什么账户访问,均映射为 NFS 服务器的匿名用户(常用)
no_all_squash
无论 NFS 客户端使用什么账户访问,都不进行压缩
sync
同时将数据写入到内存与硬盘中,保证不丢失数据
async
优先将数据保存到内存,然后再写入硬盘;这样效率更高,但可能会丢失数据
anonuid
配置 all_squash 使用,指定 NFS 的用户 UID,必须存在系统
anongid
配置 all_squash 使用,指定 NFS 的用户 UID,必须存在系统
写入配置文件:注意!IP地址和后面的小括号没有空格
创建数据目录和授权:
在使用 NFS 服务进行文件共享之前,需要使用 RPC(Remote Procedure Call 远程过程调用服务将 NFS 服务器的IP 地址和端口号信息发送给客户端。因此,在启动 NFS 服务之前,需要先重启并启用 rpcbind 服务程序,同时都加入开机自启动
客户端安装nfs服务十分简单,只需要安装nfs软件包即可
安装完成后只需要启动rpcbind,不需要启动nfs
使用showmount命令查看nfs共享信息查询 NFS 服务器的远程共享信息,其输出格式为“共享的目录名称 允许使用客户端地址”。
挂载命令: 创建挂载目录
在 NFS 客户端创建一个挂载目录, 使用 mount 命令并结合-t 参数, 指定要挂载的文件系统的类型, 并在命令后面写上服务器的 IP 地址, 以及服务器上的共享目录, 最后需要写上要挂载到本地系统(客户端)的目录
查看是否挂载成功:
测试写入数据是否正常
写入开机自动挂载
卸载命令:注意!卸载的时候如果提示”umountnfs: /nfsdir: device is busy”先切换到其他目录再卸载
强制卸载命令:
服务端配置:
客户端挂载:
测试读取:
写入测试:
服务端配置:
服务端创建用户及授权:
重启NFS服务:
更改目录授权:
客户端 *** 作:
我们会发现依然可以写入,但是为了避免这种情况发生,建议客户端也创建相同uid gid的用户
参考博客
启动NFS会开启如下端口:
1)portmapper 端口:111 udp/tcp;
2)nfs/nfs_acl 端口:2049 udp/tcp;
3)mountd 端口:"32768--65535" udp/tcp
4)nlockmgr 端口:"32768--65535" udp/tcp
系统 RPC服务在 nfs服务启动时默认会给 mountd 和 nlockmgr 动态选取一个随机端口来进行通讯。
1查看NFS启动后的端口
2将随机的端口号设置固定
3重启nfs和rpc服务
4再次查看端口信息,发现端口号已经固定了
5设置iptables
6保存配置
如果设置了开机自启动,但是系统启动的时候NFS并没有提供服务,就会导致开机自检的时候卡在挂在那一步
NFS 存储优点
1NFS 文件系统简单易用、方便部署、数据可靠、服务稳定、满足中小企业需求。
2NFS 文件系统内存放的数据都在文件系统之上,所有数据都是能看得见
NFS 存储局限
1存在单点故障, 如果构建高可用维护麻烦 web->nfs()->backup
2NFS 数据明文, 并不对数据做任何校验。
3客户端挂载 NFS 服务没有密码验证, 安全性一般(内网使用)
NFS 应用建议
1生产场景应将静态数据尽可能往前端推, 减少后端存储压力
2必须将存储里的静态资源通过 CDN 缓存 jpg\png\mp4\avi\css\js
3如果没有缓存或架构本身历史遗留问题太大, 在多存储也无用
准备 3 台虚拟机服务器,并且请按照要求搭建配置 NFS 服务。
NFS 服务端(A)
NFS 客户端(B)
NFS 客户端(C)
1在 NFS 服务端(A)上共享/data/w(可写)及/data/r(只读)
2在 NFS 客户端(B/C)上进行挂载
环境准备
一、NFS服务简介
NFS 是Network File System的缩写,即网络文件系统。一种使用于分散式文件系统的协定,由Sun公司开发,于1984年向外公布。功能是通过网络让不同的机器、不同的 *** 作系统能够彼此分享个别的数据,让应用程序在客户端通过网络访问位于服务器磁盘中的数据,是在类Unix系统间实现磁盘文件共享的一种方法。
NFS 的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”,它是独立于 *** 作系统,容许不同硬件及 *** 作系统的系统共同进行文件的分享。
NFS在文件传送或信息传送过程中依赖于RPC协议。RPC,远程过程调用 (Remote Procedure Call) 是能使客户端执行其他系统中程序的一种机制。NFS本身是没有提供信息传输的协议和功能的,但NFS却能让我们通过网络进行资料的分享,这是因为NFS使用了一些其它的传输协议。而这些传输协议用到这个RPC功能的。可以说NFS本身就是使用RPC的一个程序。或者说NFS也是一个RPC SERVER。所以只要用到NFS的地方都要启动RPC服务,不论是NFS SERVER或者NFS CLIENT。这样SERVER和CLIENT才能通过RPC来实现PROGRAM PORT的对应。可以这么理解RPC和NFS的关系:NFS是一个文件系统,而RPC是负责负责信息的传输。
二、系统环境
系统平台:CentOS release 56 (Final)
NFS Server IP:1921681108
防火墙已关闭/iptables: Firewall is not running
SELINUX=disabled
三、安装NFS服务
NFS的安装是非常简单的,只需要两个软件包即可,而且在通常情况下,是作为系统的默认包安装的。
nfs-utils- :包括基本的NFS命令与监控程序
portmap- :支持安全NFS RPC服务的连接
1、查看系统是否已安装NFS
系统默认已安装了nfs-utils portmap 两个软件包。
2、如果当前系统中没有安装NFS所需的软件包,需要手工进行安装。nfs-utils 和portmap 两个包的安装文件在系统光盘中都会有。
复制代码
# mount /dev/cdrom /mnt/cdrom/
# cd /mnt/cdrom/CentOS/
# rpm -ivh portmap-40-65221i386rpm
# rpm -ivh nfs-utils-109-50el5i386rpm
# rpm -q nfs-utils portmap
复制代码
四、NFS系统守护进程
nfsd:它是基本的NFS守护进程,主要功能是管理客户端是否能够登录服务器;
mountd:它是RPC安装守护进程,主要功能是管理NFS的文件系统。当客户端顺利通过nfsd登录NFS服务器后,在使用NFS服务所提供的文件前,还必须通过文件使用权限的验证。它会读取NFS的配置文件/etc/exports来对比客户端权限。
portmap:主要功能是进行端口映射工作。当客户端尝试连接并使用RPC服务器提供的服务(如NFS服务)时,portmap会将所管理的与服务对应的端口提供给客户端,从而使客户可以通过该端口向服务器请求服务。
五、NFS服务器的配置
NFS服务器的配置相对比较简单,只需要在相应的配置文件中进行设置,然后启动NFS服务器即可。
NFS的常用目录
/etc/exports NFS服务的主要配置文件
/usr/sbin/exportfs NFS服务的管理命令
/usr/sbin/showmount 客户端的查看命令
/var/lib/nfs/etab 记录NFS分享出来的目录的完整权限设定值
/var/lib/nfs/xtab 记录曾经登录过的客户端信息
NFS服务的配置文件为 /etc/exports,这个文件是NFS的主要配置文件,不过系统并没有默认值,所以这个文件不一定会存在,可能要使用vim手动建立,然后在文件里面写入配置内容。
/etc/exports文件内容格式:
<输出目录> [客户端1 选项(访问权限,用户映射,其他)] [客户端2 选项(访问权限,用户映射,其他)]
a 输出目录:
输出目录是指NFS系统中需要共享给客户机使用的目录;
b 客户端:
客户端是指网络中可以访问这个NFS输出目录的计算机
客户端常用的指定方式
指定ip地址的主机:1921680200
指定子网中的所有主机:19216800/24 19216800/2552552550
指定域名的主机:davidbsmartcn
指定域中的所有主机:bsmartcn
所有主机:
c 选项:
选项用来设置输出目录的访问权限、用户映射等。
NFS主要有3类选项:
访问权限选项
设置输出目录只读:ro
设置输出目录读写:rw
用户映射选项
all_squash:将远程访问的所有普通用户及所属组都映射为匿名用户或用户组(nfsnobody);
no_all_squash:与all_squash取反(默认设置);
root_squash:将root用户及所属组都映射为匿名用户或用户组(默认设置);
no_root_squash:与rootsquash取反;
anonuid=xxx:将远程访问的所有用户都映射为匿名用户,并指定该用户为本地用户(UID=xxx);
anongid=xxx:将远程访问的所有用户组都映射为匿名用户组账户,并指定该匿名用户组账户为本地用户组账户(GID=xxx);
其它选项
secure:限制客户端只能从小于1024的tcp/ip端口连接nfs服务器(默认设置);
insecure:允许客户端从大于1024的tcp/ip端口连接服务器;
sync:将数据同步写入内存缓冲区与磁盘中,效率低,但可以保证数据的一致性;
async:将数据先保存在内存缓冲区中,必要时才写入磁盘;
wdelay:检查是否有相关的写 *** 作,如果有则将这些写 *** 作一起执行,这样可以提高效率(默认设置);
no_wdelay:若有写 *** 作则立即执行,应与sync配合使用;
subtree:若输出目录是一个子目录,则nfs服务器将检查其父目录的权限(默认设置);
no_subtree:即使输出目录是一个子目录,nfs服务器也不检查其父目录的权限,这样可以提高效率;
六、NFS服务器的启动与停止
在对exports文件进行了正确的配置后,就可以启动NFS服务器了。
1、启动NFS服务器
为了使NFS服务器能正常工作,需要启动portmap和nfs两个服务,并且portmap一定要先于nfs启动。
# service portmap start
# service nfs start
2、查询NFS服务器状态
# service portmap status
# service nfs status
3、停止NFS服务器
要停止NFS运行时,需要先停止nfs服务再停止portmap服务,对于系统中有其他服务(如NIS)需要使用时,不需要停止portmap服务
# service nfs stop
# service portmap stop
4、设置NFS服务器的自动启动状态
对于实际的应用系统,每次启动LINUX系统后都手工启动nfs服务器是不现实的,需要设置系统在指定的运行级别自动启动portmap和nfs服务。
# chkconfig --list portmap
# chkconfig --list nfs
设置portmap和nfs服务在系统运行级别3和5自动启动。
# chkconfig --level 35 portmap on
# chkconfig --level 35 nfs on
七、实例
1、将NFS Server 的/home/david/ 共享给19216810/24网段,权限读写。
服务器端文件详细如下:
# vi /etc/exports
/home/david 19216810/24(rw)
2、重启portmap 和nfs 服务
# service portmap restart
# service nfs restart
# exportfs
3、服务器端使用showmount命令查询NFS的共享状态
# showmount -e//默认查看自己共享的服务,前提是要DNS能解析自己,不然容易报错
# showmount -a//显示已经与客户端连接上的目录信息
4、客户端使用showmount命令查询NFS的共享状态
# showmount -e NFS服务器IP
5、客户端挂载NFS服务器中的共享目录
命令格式
# mount NFS服务器IP:共享目录 本地挂载点目录
# mount 1921681108:/home/david/ /tmp/david/
# mount |grep nfs
挂载成功。
查看文件是否和服务器端一致。
6、NFS的共享权限和访问控制
现在我们在/tmp/david/ 里面建立一个文件,看看权限是什么
# touch 20130103
这里出现Permission denied,是因为NFS 服务器端共享的目录本身的写权限没有开放给其他用户,在服务器端打开该权限。
# chmod 777 -R /home/david/
再次在客户端/tmp/david/ 里面建立一个文件
我用root 用户建立的文件,变成了nfsnobody 用户。
NFS有很多默认的参数,打开/var/lib/nfs/etab 查看分享出来的/home/david/ 完整权限设定值。
# cat /var/lib/nfs/etab
默认就有sync,wdelay,hide 等等,no_root_squash 是让root保持权限,root_squash 是把root映射成nobody,no_all_squash 不让所有用户保持在挂载目录中的权限。所以,root建立的文件所有者是nfsnobody。
下面我们使用普通用户挂载、写入文件测试。
# su - david
$ cd /tmp/david/
$ touch 2013david
普通用户写入文件时就是自己的名字,这也就保证了服务器的安全性。
关于权限的分析
1 客户端连接时候,对普通用户的检查
a 如果明确设定了普通用户被压缩的身份,那么此时客户端用户的身份转换为指定用户;
b 如果NFS server上面有同名用户,那么此时客户端登录账户的身份转换为NFS server上面的同名用户;
c 如果没有明确指定,也没有同名用户,那么此时 用户身份被压缩成nfsnobody;
2 客户端连接的时候,对root的检查
a 如果设置no_root_squash,那么此时root用户的身份被压缩为NFS server上面的root;
b 如果设置了all_squash、anonuid、anongid,此时root 身份被压缩为指定用户;
c 如果没有明确指定,此时root用户被压缩为nfsnobody;
d 如果同时指定no_root_squash与all_squash 用户将被压缩为 nfsnobody,如果设置了anonuid、anongid将被压缩到所指定的用户与组;
7、卸载已挂载的NFS共享目录
# umount /tmp/david/
八、启动自动挂载nfs文件系统
格式:
<server>:</remote/export> </local/directory> nfs < options> 0 0
# vi /etc/fstab
保存退出,重启系统。
查看/home/david 有没有自动挂载。
自动挂载成功。
九、相关命令
1、exportfs
如果我们在启动了NFS之后又修改了/etc/exports,是不是还要重新启动nfs呢?这个时候我们就可以用exportfs 命令来使改动立刻生效,该命令格式如下:
# exportfs [-aruv]
-a 全部挂载或卸载 /etc/exports中的内容
-r 重新读取/etc/exports 中的信息 ,并同步更新/etc/exports、/var/lib/nfs/xtab
-u 卸载单一目录(和-a一起使用为卸载所有/etc/exports文件中的目录)
-v 在export的时候,将详细的信息输出到屏幕上。
具体例子:
# exportfs -au 卸载所有共享目录
# exportfs -rv 重新共享所有目录并输出详细信息
2、nfsstat
查看NFS的运行状态,对于调整NFS的运行有很大帮助。
3、rpcinfo
查看rpc执行信息,可以用于检测rpc运行情况的工具,利用rpcinfo -p 可以查看出RPC开启的端口所提供的程序有哪些。
4、showmount
-a 显示已经于客户端连接上的目录信息
-e IP或者hostname 显示此IP地址分享出来的目录
5、netstat
可以查看出nfs服务开启的端口,其中nfs 开启的是2049,portmap 开启的是111,其余则是rpc开启的。
最后注意两点,虽然通过权限设置可以让普通用户访问,但是挂载的时候默认情况下只有root可以去挂载,普通用户可以执行sudo。
NFS server 关机的时候一点要确保NFS服务关闭,没有客户端处于连接状态!通过showmount -a 可以查看,如果有的话用kill killall pkill 来结束,(-9 强制结束)
一般情况下是无法判断的!
除非,采用相同的程序进行打开,而这个程序在打开文件前进行判断,如果未占用,则设置一个占用标志,这样,下一个用本程序打开文件时,才会检测到。 在程序对文件 *** 作完成后,关闭这个占用标志。
以上就是关于nfs是什么全部的内容,包括:nfs是什么、C语言中,什么是缓冲文件系统和文件缓冲区、c程序中用什么函数可以对指定目录下的文件行进打开,读写 *** 作等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)