中国科协首届2021“科创中国”开源创新榜评选正在进行中,全程免费参与,对于申报成功的开源产品/社区/机构,主承办方会组织各种形式的宣传报道。
- Curve :高性能分布式开源存储平台
- Curve :成功申报中国科协开源评选
Curve是网易数帆存储团队自主设计研发的高性能、易运维、云原生的分布式存储系统,目前提供**块(CurveBS)和文件(CurveFS)**两种存储方式。CurveBS支持快照克隆和恢复,支持QEMU虚拟机和物理机NBD设备两种挂载方式。CurveFS基于Fuse支持POSIX文件系统接口。
Curve的研发源自业务使用Ceph的痛点,目前解决了Ceph在使用中难以解决的问题:
-
异常场景(比如:慢盘、数据恢复)抖动大
-
异常场景(比如:坏盘、宕机)需要人工运维恢复
-
客户端升级需要停服
-
在通用硬件下,无法支撑数据库等中间件对存储性能的要求
Curve采用了Raft协议,高性能系统框架,更适合SSD的块数据写入等技术,相对Ceph没有底层的对象元数据管理开销以及BlueStore引擎的RocksDB造成的读写放大。在对比测试以及实际检验中,说明Curve相对Ceph具备优势。在使用通用的商用硬件的情况下, Curve能提供更好的性能/易运维/云原生性能。
Curve 系统架构如下图所示。
- 数据库应用,Curve用于支持数据库存储,产生基于卷的快照,把快照保存在对象存储上。支持基于快照的数据库备份与恢复
- 中间件应用,Curve已经用于Kafka、Spark 等中间件的存储,未来会支持去重以及数据压缩
- 大数据和AI应用,为大数据分析和深度计算提供高性能的存储
- 文件共享应用,多容器应用/应用可以共同共享访问Curve存储
- 数据同步到异地应用,Curve支持把数据同步到异地的Curve存储上去
Curve块存储系统半年内目前已经发布了2个大版本,3个小版本的更新,在性能/易用性/故障时对系统I/O的影响相对于Ceph来说具备优势。目前项目在做Curve分布式文件系统的开发。
Curve分布式块存储系统已经在网易环境中使用,广泛应用于虚拟机/容器的块存储/中间件存储/部分MySQL存储。新的1.3的版本功能更完善,性能更优。
业界影响Curve获得中国信通颁发的OSCAR尖峰开源项目及开源社区,通过中国信通院可信开源项目评估,并成为中国信通院可信开源社区共同体首批成员。
未来规划未来Curve的蓝图包括:
-
性能方面:Raft协议优化,增加对在读写I/O场景中Raft并发优化(ParallelRaft);针对文件的新写减少由Raft造成的写放大开销。
-
提供深度绑定的云原生支持,在云原生中集成数据/性能监控,并能实现云原生的自动故障处理以及恢复控制。
-
提供高性能分布式文件系统支持。
活动火热进行中,点击链接赶快申报吧:申报链接
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)