开源的分布式文件存储系统推荐

常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。

GFS(Google File System)

GFS是Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。成本低,运行在廉价的普通硬件上,但不开源,使用困难。

HDFS

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。HDFS有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。但很难满足低延迟;不支持多用户并发写相同文件。如果是很多小文件,nameNode压力大。

Lustre

Lustre是HP, Intel,Cluster File System公司联合美国能源部开发的Linux集群并行文件系统。开源系统,支持POSIX,文件会被分割成若干的Chunk,每个chunk是一般为1MB-4MB。

Ceph

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。不成熟,处于测试推广阶段

GridFS

GridFS是MongoDB的一个内置功能,它提供一组文件操作的API以利用MongoDB存储文件,GridFS会直接利用已建立的复制或分片机制,所以对于文件存储来说故障恢复和扩展都容易,且GridFS不产生磁盘碎片。

MogileFS

MogileFS是一套高效的文件自动备份组件,由Six Apart开发,广泛应用在包括LiveJournal等web2.0站点上。支持多节点冗余,可实现自动的文件复制。不需要RAID,应用层可以直接实现RAID,不共享任何东西,通过“集群”接口提供服务工作于应用层,没有特殊的组件要求。

TFS

展开阅读全文

本文系作者在时代Java发表,未经许可,不得转载。

如有侵权,请联系nowjava@qq.com删除。

编辑于

关注时代Java

关注时代Java