体验AWS云文件系统EFS

体验AWS云文件系统EFS,第1张

Amazon Elastic File System (Amazon EFS) 提供了简单且可扩展的 文件存储 ,可与 AWS 云中的 Amazon EC2 实例配合使用。Amazon EFS 易于使用且界面简单,可让您轻松快捷地创建和配置文件系统。借助 Amazon EFS,存储容量将具有d性,可以根据您增减文件的 *** 作而自动增加或减小容量,从而让您的应用程序在适当的时间获得所需的存储。

挂载到 Amazon EC2 实例后,Amazon EFS 文件系统会提供标准文件系统界面和文件系统访问语义,让您可以将 Amazon EFS 与现有应用程序和工具无缝集成。多个 Amazon EC2 实例可以同时访问 Amazon EFS 文件系统,因而 Amazon EFS 可以为在多个 Amazon EC2 实例上运行的工作负载和应用程序提供相同的数据源。

您可以在使用 AWS Direct Connect 连接 Amazon VPC 时,将 Amazon EFS 文件系统挂载到本地数据中心服务器。您可以将 EFS 文件系统挂载到本地服务器,从而将数据集迁移到 EFS、启用云爆发场景或将本地数据备份到 EFS。

Amazon EFS 不仅设计可实现高可用性和耐久性,还适用于各种使用案例,包括 Web 和内容服务、企业应用程序、媒体处理工作流程、容器存储以及大数据和分析应用程序。

优势:无缝支持NFSv4,无缝实现对文件系统存储容量扩展和缩减,省去了部署和维护工作,多个EC2可以同时访问一个Amazon EFS文件系统,许多用户可以访问和共享共同的数据来源。采用SSD作为存储介质提高了吞吐量、IOPS和低延迟。

使用流程:

1、Configure file system access

指定可访问EFS的EC2所在的VPC,EFS通过创建挂载点的方式对外提供访问,支持多挂载点(在多个地域起了多个实例,支持跨地域能力)

2、Configure optional settings

对EFS打标签以及选择类型,支持通用能力以及高性能盘两种

3、Review and create

检查配置和创建文件系统,创建成功后结果如下(因只在区域ap-southeast-2a有ec2实例,所以只创建了一个挂载点):

文件系统挂载点创建好后,返回一个访问的DNS,DNS命名规则为

创建好挂载点后,EFS支持ec2访问已经打通网络的私有服务器访问

EC2挂载:

私有服务器挂载:

挂载efs的ec2实例必须添加与efs同样安全组才能够挂载访问

使用root登录et2实例后(刚创建的ec2实例用ubuntu登录,登录后sudo passwd root创建root账户),执行挂载命令

本文由作者朱益军授权网易云社区发布。

背景

   维护巡检云主机时,发现有一台运行redis的云主机状态显示维护中,登录该实例查看,系统盘变成readonly。本文简单分析该问题出现原因,并为运维人员提供常见处理方法及建议。

故障分析

    查看云主机dmesg信息发现,系统运行过程中python进程发生segfault,随后vda(云主机配置virtio-blk,故盘符显示为vda)系统盘I/O error。

  基本可确定是业务把系统盘写坏了。通常发生该问题的场景有二:

  一、云主机和宿主机IO繁忙,云主机的IO请求得不到及时的响应,从而产生磁盘IO错误,为了保护磁盘数据会remount分区为只读;

  二、云主机被强制关机,导致磁盘出现文件系统错误故障。

故障处理

    通常的解决方法是重启系统以root用户进入单用户模式, 运行fsck.ext3 –y /dev/vda(如果是ext4使用fsck.ext4修复),/dev/vda是系统/根分区。修复完reboot进入系统。以debian系统为例:

  1、重启系统,grub菜单会出现正常启动和修复模式( recovery mode )启动两个菜单项,选择修复模式启动;

2、进入修复模式,运行fsck工具修复;

  3、重启进入正常模式启动。

  

  注意:

  1、运维人员在重启云主机之前尽量先收集一些关键的日志,如/var/log下面的一些日志、dmesg等,有条件也要收集宿主机的日志;

  2、fsck是Linux内核自带工具,它不仅可以对文件系统进行扫描,还能修正文件系统的一些问题。 fsck扫描文件系统时一定要在单用户模式、修复模式或把设备umount后进行。建议在单用户模式下运行。如果扫描正常运行中的系统,会造成系统文件损坏,需要root权限执行。

建议与思考

  1、当前开发要定位问题,需要申请宿主机权限等流程,无法及时上去定位;

  2、当前云主机的日志收集功能尚不完善,呈现的日志比较杂、乱、实用性不高,需要适当进行修改调整。另外,运维人员也不知道要收集哪些日志可支撑开发定位;

  开发正在考虑开发一个一键式日志收集工具,集成到版本中,定期采集系统数据并归档,或者在发生故障时,由运维先收集分析,再交给开发定位,这样效率会高一些。

更多网易技术、产品、运营经验分享请访问 网易云社区 。

相关文章:

【推荐】  网易云易盾发布多国家多语种内容安全服务,助力中国互联网出海

【推荐】  Spring-Boot自定义Starter实践

【推荐】  一文带你了解 Raft 一致性协议的关键点

稳定。Cloudreve,是cloudreve在Github上开源的支持多家云存储的云盘系统,Cloudreve系统运行是稳定的。Cloudeve是一个支持多加云存储驱动的公有云文件系统,特性丰富,功能全面。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/6081645.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-03-14
下一篇 2023-03-14

发表评论

登录后才能评论

评论列表(0条)

保存