MooseFS分布式文件系统详解

MooseFS支持FUSE，部署相对轻量级。存在单点依赖问题。国内应用较多。

分布式存储里的老牌选手 MooseFS，主打一个“轻量+易部署”。元数据服务端只有一个master，是它的中枢——客户端、数据节点都得跟它打交道。不过呢，也正因为目前还是单master，有点小瑕疵：单点故障风险存在，但好在架构挺清晰，部署起来不费劲。 MooseFS 的master负责文件系统的所有元数据，包括目录结构、权限啥的。你只要部署好master，剩下的就是加chunkserver（数据存储节点），就像堆积木那样，慢慢扩展容量也 OK。 客户端连接时直接跟master沟通，它分配数据块去哪个chunkserver读写，整个流程还是挺丝滑的。支持大部分Linux/Unix系统，兼容性也算

MooseFS是一款兼具高可靠性、可扩展性、可控性和可追溯性的分布式文件系统。 高可靠性: 数据可在多个位置存储，确保数据安全。 可扩展性: 通过添加计算机或磁盘，动态扩展系统容量，满足不断增长的存储需求。 高可控性: 用户可自定义文件删除时间间隔，高效管理存储空间。 可追溯性: 系统可根据文件操作（写入/访问）生成文件快照，方便追踪文件历史。

HDFS是大数据的核心组件之一，Hive的数据存储在HDFS中，Mapreduce和Spark的计算数据也存储在HDFS中，HBase的region也在HDFS中。在HDFS shell客户端，我们可以进行上传、删除等多种操作，并管理文件系统。熟练使用HDFS有助于更好地理解和掌握大数据技术。实验的主要目的是掌握HDFS的常用操作和文件系统管理。

MooseFS是一种通用文件系统，无需修改上层应用即可轻松使用，避免了繁琐的API配置。它支持在线扩容，架构高度可伸缩，官方案例已经扩展至70台服务器。部署简单，深受系统管理员和领导们的青睐。其架构高可用，所有组件无单点故障，文件对象高度可靠，并允许灵活设置文件冗余级别，超越了传统的RAID1+0方案，性能不受影响，甚至能提升读写速度。提供类似于Windows回收站的功能，同时支持类似Oracle的即时回滚特性，无需额外费用。此外，MooseFS还实现了类似Java语言的垃圾回收机制，以及商业存储的快照功能，是Google文件系统的一个C语言实现，提供Web GUI监控接口，提高随机读写和海量

此讲义讲解了分布式文件系统HDFS

Hadoop分布式文件系统（HDFS）是Apache Hadoop项目的核心组件之一，处理大数据存储和处理需求。它通过在廉价硬件上分布数据和计算任务来提供高容错性和高可靠性。HDFS适用于需要处理大规模数据的应用场景，如数据分析和机器学习。

MooseFS在客户端上与挂载在其上的文件操作与常规文件系统无异，操作系统内核通过FUSE模块传递文件操作至mfsmount进程，后者通过网络与管理服务器及数据服务器交互，用户对此过程完全透明。

Hadoop分布式文件系统（HDFS）探索器是一款专为Hadoop生态系统设计的可视化工具。它提供直观的用户界面，简化了Hadoop集群中数据管理的复杂性。用户可以轻松进行文件上传、下载、修改和删除操作，同时支持权限设置和日志查看，提高了工作效率和数据安全性。