开源分布式存储之我见
相信很多公司和我们一样,本就不充足的研发队伍,由于种种历史和政治原因,在同一个领域里充斥了大量类似的开源项目,在我们的分布式存储系统里,目前就采用了HDFS,Gluster,Swift和Ceph四种系统。今天就凭着印象,聊一聊这四种分布式存储的不同。
- 作者:Hongliang来源:openstack中国社区|2015-05-12 13:03
技术沙龙 | 6月30日与多位专家探讨技术高速发展下如何应对运维新挑战!
相信很多公司和我们一样,本就不充足的研发队伍,由于种种历史和政治原因,在同一个领域里充斥了大量类似的开源项目,在我们的分布式存储系统里,目前就采用了HDFS,Gluster,Swift和Ceph四种系统。今天就凭着印象,聊一聊这四种分布式存储的不同。
1.HDFS
其实在真正搞过分布式文件系统的人看来,HDFS不能算得上是真正的文件系统。因为他实在太简单,太粗糙。甚至连搞个append接口都搞了老半天,到现在应该还不支持随机读写之类的文件系统最基本的功能。他最大的优势是借助hadoop这个生态系统得以比较稳定。另外还有一个优势就是他是用 java写的,这样一帮java程序员也可以号称自己在搞文件系统了。
HDFS到现在应该还是不是真正意义上的分布式,他的nameode的federation相当于静态目录,虽然共享存储池,但是namespace是不共享的。
2.Gluster
Gluster最大的优势在于他继承了传统文件系统的posix接口,而且表现比较稳定。虽然他的元数据的分布式hash带来很多性能上的问题,但如果非要用文件系统接口的似乎也没有更好的选择。
但是Gluster用的是c/c++,对于很多只想拿来就用不想踩坑的同学无疑是个负担,万一出了问题不是很容易解决。
3.Swift
Swift的流行得益于openstack,它应该是目前最流行的对象存储系统,印象中有在生产环节跑到上百PB的case。但总感觉这玩意用python写的,有点粗糙,似乎就是一堆脚本的拼凑。
4.Ceph
最后不得不谈一下笔者的最爱,Ceph。初次接触他是在2012年初。它最大的优势就是同时支持三种存储接口,是真正意义上的融合存储。但它 mds的设计过于学术,似乎很难有稳定下来的一天。Ceph真正大火也是得益于跟opestack的结合,现在它已经是openstack快存储的不二之选。它的对象存储也还算稳定,dreamhost,CERN包括最近的yahoo都有PB级的生产级别使用。
总结下来HDFS如果不是离线的大数据计算,应该是最没吸引力的。如果是非要用文件系统接口,那只能是gluster。如果单纯的对象存储推荐swift。如果考虑更好的兼容S3或者跟openstack相结合,当然是ceph。
Gluster和Ceph都是c/c++,对于java和pyhon大行其道的今天,选择要慎重。但如果有点情怀特别是追求底层的性能,可以挑战一下ceph。
原文链接:http://www.openstack.cn/?p=3508
【编辑推荐】
点赞 0
- 大家都在看
- 猜你喜欢
- 24H热文
- 一周话题
- 本月最赞
- Docker到底是什么?为什么它这么火!终于有人把云计算、大数据和人工智能讲明白了!微服务与SOA之间差了一个ESB排名前十的文本编辑器,你知道几个?六款不容错过的开源持续集成工具Docker入门教程:15个Docker基本命令及用法浅谈VPC二三,秒懂秒透为什么我会被Kubernetes“洗脑”?
- Docker到底是什么?为什么它这么火!终于有人把云计算、大数据和人工智能讲明白了!排名前十的文本编辑器,你知道几个?为什么我会被Kubernetes“洗脑”?Docker入门教程:15个Docker基本命令及用法微服务与SOA之间差了一个ESB浅谈VPC二三,秒懂秒透六款不容错过的开源持续集成工具
- Docker到底是什么?为什么它这么火!终于有人把云计算、大数据和人工智能讲明白了!排名前十的文本编辑器,你知道几个?从基础到应用,谈谈人工智能这场盛宴微服务与SOA之间差了一个ESB蚂蚁金服:移动为王,体验为先自研、安全:阿里云一直坚持的理念为什么我会被Kubernetes“洗脑”?
视频课程+更多

-
OpenStack实战(私有云+虚拟化)视频课程(Mit
讲师:罗晶5577人学习过

-
OpenStack实战(安装+讲解)视频课程(Newton版)
讲师:罗晶1537人学习过

-
华为FusionSphere OpenStack实验实战视频课程
讲师:王隆杰14514人学习过
- 精选博文
- 论坛热帖
- 下载排行
读 书 +更多

网管第一课——计算机网络原理
本书是《网管第一课》系列图书中的第一本,是专门针对高校和培训机构编写的,其主要特点是内容细而精、针对性强。书中内容全是经过精心挑选...

-
订阅51CTO邮刊
点击这里查看样刊






