此篇文章叙述了系统集成项目管理规范(中级系统集成项目管理工程师)相关文字、图片、最新资讯等各方面信息。

系统集成项目管理规范(中级系统集成项目管理工程师)插图

什么是分布式文件系统

分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外,对等特性允许一些系统扮演客户机和服务器的双重角色。microsoft文件分布系统 (dfs) 是一个网络服务器组件,它能够使你更容易地在网络上查询和管理数据。分布式文件系统是将分布于不同电脑上的文件组合为单一的名称空间,并使得在网络上建立一个单一的、层次化多重文件服务器和服务器共享的工作更为方便的途径。 详细信息:

系统集成项目管理规范(中级系统集成项目管理工程师)插图1

当前主流的分布式文件系统有哪些

目前几个主流的分布式文件系统除gpfs外,还有pvfs、lustre、panfs、googlefs等。

1.pvfs(parallel virtual file system)项目是clemson大学为了运行linux集群而创建的一个开源项目,目前pvfs还存在以下不足:

1)单一管理节点:只有一个管理节点来管理元数据,当集群系统达到一定的规模之后,管理节点将可能出现过度繁忙的情况,这时管理节点将成为系统瓶颈;

2)对数据的存储缺乏容错机制:当某一i/o节点无法工作时,数据将出现不可用的情况;

3)静态配置:对pvfs的配置只能在启动前进行,一旦系统运行则不可再更改原先的配置。

2.lustre文件系统是一个基于对象存储的分布式文件系统,此项目于1999年在carnegie mellon university启动,lustre也是一个开源项目。它只有两个元数据管理节点,同pvfs类似,当系统达到一定的规模之后,管理节点会成为lustre系统中的瓶颈。

3.panfs(panasas file system)是panasas公司用于管理自己的集群存储系统的分布式文件系统。

4.googlefs(google file system)是google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。

5.相对其它的文件系统,gpfs的主要优点有以下三点:

1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁,第一个获得锁的客户将负责维护相应共享对象的一致性管理,这减少了元数据服务器的负担;

2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈;

3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突.分布式文件系统、集群文件系统、并行文件系统,这三种概念很容易混淆,实际中大家也经常不加区分地使用。总是有人问起这三者的区别和联系,其实它们之间在概念上的确有交叉重叠的地方,但是也存在显著不同之处。

系统集成项目管理规范(中级系统集成项目管理工程师)插图2

读了文章系统集成项目管理规范(中级系统集成项目管理工程师)有什么相关的感受或者感悟没,都可以联系我们叙说。