分布式文件系统

HDFS是大数据的核心组件之一，Hive的数据存储在HDFS中，Mapreduce和Spark的计算数据也存储在HDFS中，HBase的region也在HDFS中。在HDFS shell客户端，我们可以进行上传、删除等多种操作，并管理文件系统。熟练使用HDFS有助于更好地理解和掌握大数据技术。实验的主要目的是掌握HDFS的常用操作和文件系统管理。

此讲义讲解了分布式文件系统HDFS

MooseFS支持FUSE，部署相对轻量级。存在单点依赖问题。国内应用较多。

Hadoop分布式文件系统（HDFS）是Apache Hadoop项目的核心组件之一，处理大数据存储和处理需求。它通过在廉价硬件上分布数据和计算任务来提供高容错性和高可靠性。HDFS适用于需要处理大规模数据的应用场景，如数据分析和机器学习。

MooseFS是一个采用C语言编写的高容错性分布式文件系统，能够将数据资源分布存储在多台不同的物理介质上，并为用户提供统一的访问接口。用户可以通过mfsmount与管理服务器交互，操作元数据文件并与数据服务器交换数据，这一机制基于FUSE（用户空间文件系统），使MooseFS能够在支持FUSE的操作系统上工作，如Linux、FreeBSD、OpenSolaris和MacOS等。

分布式存储里的老牌选手 MooseFS，主打一个“轻量+易部署”。元数据服务端只有一个master，是它的中枢——客户端、数据节点都得跟它打交道。不过呢，也正因为目前还是单master，有点小瑕疵：单点故障风险存在，但好在架构挺清晰，部署起来不费劲。 MooseFS 的master负责文件系统的所有元数据，包括目录结构、权限啥的。你只要部署好master，剩下的就是加chunkserver（数据存储节点），就像堆积木那样，慢慢扩展容量也 OK。 客户端连接时直接跟master沟通，它分配数据块去哪个chunkserver读写，整个流程还是挺丝滑的。支持大部分Linux/Unix系统，兼容性也算

Hadoop分布式文件系统（HDFS）探索器是一款专为Hadoop生态系统设计的可视化工具。它提供直观的用户界面，简化了Hadoop集群中数据管理的复杂性。用户可以轻松进行文件上传、下载、修改和删除操作，同时支持权限设置和日志查看，提高了工作效率和数据安全性。

分布式文件系统的最大好处，就是你不用管文件到底存在哪台机器上，访问起来跟本地差不多。客户机/服务器架构设计思路清晰，多个节点之间协同也比较灵活。像 Hadoop、FastDFS 这些，都已经被用得成熟了，踩坑少。 HDFS 的块存储机制挺靠谱，大文件切块后存不同节点上，挂了一个也不会影响整体。容错性不错，而且扩展也方便，节点一加就能用，适合你做大数据那一套。 MooseFS支持热插拔，挺适合那种动态扩容场景。主节点负责管理元数据，工作节点负责实际存储，结构还算清晰。日常维护成本不高，部署也不复杂。 还有像Lustre这种偏高性能场景的文件系统，主要在科研、图像这些领域用得多。性能是真的强，就是

分布式文件系统里的老大哥，HDFS的资料你看过不少，但这份文档真挺清楚。基础知识、架构机制、读写流程都梳理得明明白白，像NameNode和DataNode怎么配合的，写得顺溜，适合刚上手或者想打牢底子的朋友。主从架构那块讲得还挺细，不只是说了谁干啥，还把交互流程说清楚了，比如客户端到底先找谁、数据是怎么走的，连心跳机制都有提到，实用性不错。而且它还顺带讲了数据备份策略、安全模式、高可用机制这些高级一点的概念，对你搭 Hadoop 集群肯定有。写数据的时候，怎么从一个 DataNode 串联复制到其他节点的流程也交代清楚，蛮值得一看。如果你准备搞大数据平台，尤其是用Hadoop的，建议先把这篇读

Lustre文件系统是一个基于对象存储的分布式文件系统，源自于Carnegie Mellon University的开源项目。自1999年成立以来，Lustre已广泛应用于世界顶级的计算系统，如Bule Gene和Red Storm，支持核武器模拟和分子动力学模拟等关键领域。