Hadoop 的 Windows 7 编译版,直接带上了winutils.exe
和hadoop.dll
,对在本地 Windows 环境下折腾大数据的你来说,简直太友好了。以前手动配那些依赖真是头疼,现在压缩包一解压,配好环境变量,基本就能跑起来,省心多了。
Hadoop 2.7.4是比较稳定的一个版本,支持HDFS和YARN,本地测试 MapReduce 程序也挺顺畅。winutils.exe
相当于是 Windows 下的命令行辅助工具,没有它多操作都不通。至于hadoop.dll
,就是 Hadoop 运行时需要调用的一堆系统底层方法,不配上它,Hadoop 压根起不来。
使用方式也不复杂:
- 解压文件,比如放在
C:\Hadoop
- 设置好环境变量,
HADOOP_HOME
和PATH
别忘了 - 改下配置文件,像
core-site.xml
、hdfs-site.xml
- 跑个
winutils.exe
初始化下文件系统 - 用
start-dfs.sh
、start-yarn.sh
就能启动服务
,第一次玩 Hadoop,少不了踩坑,比如 JDK 没配好、权限不够什么的,建议你看看里面的README.txt
,写得还挺实在。如果你之前一直是在 Linux 下搞 Hadoop,现在想在 Windows 上本地练手,这个包还蛮合适的。
顺带推荐几个资源链接,都是围绕hadoop.dll
和winutils.exe
的使用技巧和下载:
- Hadoop 2.6.3 Winutils.exe 和 Hadoop.dll
- hadoop.dll 和 winutils.exe 获取指南
- HDFS 调试指南在 Windows 下配置
- Windows 64 位平台 Hadoop 2.8.4 插件包
如果你想在 Windows 上快速搞定 Hadoop 环境,这个资源就挺不错的,装完能立马上手,写点小程序跑 MapReduce 都没啥压力。