大数据开发的日常少不了配置文件,尤其是玩 Hadoop 和 Hive 的时候。这个资源把 core-site.xml
、hdfs-site.xml
、mapred-site.xml
、yarn-site.xml
等关键配置都整理到一块儿了,挺全的,能省你不少功夫。
配置文件里的参数基本都是实用级别的,比如 fs.defaultFS
、dfs.replication
这些,改好了直接就能用。哦对了,还有些注意事项作者也贴心地单拎出来了,像 mapred 注意.txt
、pwd.txt
,细节挺到位的。
有时候你翻半天文档都搞不清楚参数是干嘛的,这时候看看别人整理好的配置示例,真的能帮你理顺思路。尤其适合刚上手 Hive 的朋友,少踩不少坑。
想深入了解相关配置的,可以看看这篇核心站点配置文件,里面的还挺清楚的。另外这篇Hadoop 与 Hive 完整配置指南也蛮值得一读,配置逻辑讲得比较系统。
如果你正好在折腾 Hadoop 集群 的配置,或者想搞清楚 YARN 调度 怎么优化,收藏下来挺值的。配置不易,动手之前,先看看别人怎么搞的,也没啥不好。