hadoop 的配置文件整理包,精简到 7 个核心文件,外加两个日志配置,挺适合初学搭集群或本地伪分布的你。每个文件都带了点优化思路,参数不复杂,可按你机器情况微调。像core-site.xml
、hdfs-site.xml
这种基本是老面孔,拷一份照着改,跑起来也快。
core 的fs.defaultFS
、hdfs 的dfs.replication
这些参数,写得还挺清楚,适合用来快速搭环境。mapreduce和yarn部分也比较干净,没有一堆注释干扰,直接改mapreduce.framework.name
或yarn.nodemanager.resource.memory-mb
啥的都方便。
几个hadoop-env.sh
类的环境变量文件也收进来了,嗯,该配的JAVA_HOME
、内存、日志路径这些都有。也附了两个log4j.properties
,方便你查日志别一堆无用信息。清清爽爽,适合调试。
想细研究某个文件结构或参数意义?有配套的文章链接,比如core-site 配置高可用,还有hdfs-site 详解这些,都是实用干货。
如果你是刚在本地搞pseudo-distributed
,或者小集群刚起来,不想翻一堆官方文档,直接用这个包改改就能用,挺省事。