Hadoop 2.4.1 的 JAR 包挺全的,适合做本地调试或者搭建轻量级集群练手。四大核心模块——common、hdfs、mapreduce和yarn,都打包好了,放到类路径就能跑。里面的 JAR 支持 Windows 和 Linux,跨平台没啥问题。
common 的工具类比较通用,像配置、文件 I/O 这些都能用得上,开发 MapReduce 任务时也少不了。常用的 Java 工具包,像commons-logging
、commons-io
,也都打包在里面了。
HDFS 模块主要负责分布式存储,想自己试试怎么用 Java 读写 HDFS 文件,可以直接用这些 JAR。像org.apache.hadoop.fs.FileSystem
这类类,就在里面。
MapReduce 的部分也比较齐全。写完Mapper
、Reducer
类之后,直接加到 classpath 里跑 Job 就行,开发流程还挺顺的。自己做个 WordCount 试试,快就能上手。
YARN 相关的也都打包好了,ResourceManager、NodeManager 这些核心服务的类全在。虽然用不多,但了解 YARN 调度机制时查源码也方便。
压缩包结构清晰,没什么冗余内容。如果你在本地想搭个环境,或者学习下 Hadoop 各个模块怎么联动,这包挺合适的。想深入了解每部分怎么用,可以参考下面这些文章:
如果你平时用 Hadoop 开发,还在手动找 JAR 包,不妨下这个压缩包,用着省心,开发效率也能快不少。