常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。
GFS(Google File System)
GFS是Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。成本低,运行在廉价的普通硬件上,但不开源,使用困难。
HDFS
Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。HDFS有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。但很难满足低延迟;不支持多用户并发写相同文件。如果是很多小文件,nameNode压力大。
Lustre
Lustre是HP, Intel,Cluster File System公司联合美国能源部开发的Linux集群并行文件系统。开源系统,支持POSIX,文件会被分割成若干的Chunk,每个chunk是一般为1MB-4MB。
Ceph
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。不成熟,处于测试推广阶段
GridFS
GridFS是MongoDB的一个内置功能,它提供一组文件操作的API以利用MongoDB存储文件,GridFS会直接利用已建立的复制或分片机制,所以对于文件存储来说故障恢复和扩展都容易,且GridFS不产生磁盘碎片。
MogileFS
MogileFS是一套高效的文件自动备份组件,由Six Apart开发,广泛应用在包括LiveJournal等web2.0站点上。支持多节点冗余,可实现自动的文件复制。不需要RAID,应用层可以直接实现RAID,不共享任何东西,通过“集群”接口提供服务工作于应用层,没有特殊的组件要求。
TFS
本文系作者在时代Java发表,未经许可,不得转载。
如有侵权,请联系nowjava@qq.com删除。