HDFS 环境的懒人包,集成了你搭 Hadoop 压缩环境时最常掉坑的几个组件。像是配置Hadoop LZO
需要的hadoop-lzo-master
和lzo-2.06
都备好了,连编译依赖的lz4
和jdk-8u111
也放进来了,挺省心的。
hadoop2x-eclipse-plugin也打包进去了
,这插件用来跑 MapReduce 调试还挺顺的,写完本地直接点运行,调试效率提升不少。如果你还没配置 Nexus,里面的nexus-2.9.0.war
也能帮你快速搭个本地 Maven 仓库。
想快速搞定 LZO 压缩,可以看下Integrating LZO Compression with Hadoop这篇文章,挺直观的,步骤也清晰。
哦对,JDK 版本也别选错,用的是jdk-8u111
,基本兼容现在主流的 Hadoop 版本。如果你在CentOS 7
下搭环境,那这篇安装步骤也可以参考下,比较细。
,这包东西都准备好了,免去你到处找资源。如果你刚好在搞 Hadoop 压缩或者搭测试环境,拉下来直接用挺方便的。