Hadoop 在 Windows 上跑得顺不顺,hadoop.dll和winutils.exe这俩文件起了不小的作用。尤其是用的是Hadoop 2.7.1版本的朋友,配好了这两个工具,基本上就能在 Windows 环境里顺利启动、调试 Hadoop 集群了。
hadoop.dll是 Hadoop 在 Windows 上能跑的关键,等于是把 Linux 那套系统调用换成 Windows 能懂的语言。比如 HDFS 文件操作、系统权限什么的,全靠它打底。没它,多命令跑都跑不起来。
winutils.exe就更熟了,相当于 Windows 里的 Hadoop 小帮手。你要是想手动执行 HDFS 命令、做些环境变量配置、初始化目录结构之类的,都要靠它来搞定。用起来和 Linux 下的 hadoop 命令还挺像,功能也比较全。
不过哦,这俩文件不是 Hadoop 官网直接下得到的,尤其对国内用户来说,要找靠谱的版本挺费劲。我比较常用的几个下载点放下面了,都是配套版本的,直接拿来就能用。装的时候注意一下:HADOOP_HOME
一定要配好,把这两个文件放到对应的bin
目录里,再加到PATH
里,环境才认得出来。
如果你是做 Hadoop 开发但主力系统是 Windows,又或者你的测试环境暂时没法上 Linux,这俩工具真的是救命稻草。尤其是做完配置后,本地调 HDFS、跑个 MapReduce 都没问题,体验还不错。
资源链接也整理好了,建议收藏一下。用的时候确认一下你用的是哪个版本的 Hadoop,再对着下载:
- Hadoop 2.6.3 Winutils.exe 和 Hadoop.dll
- hadoop.dll 和 winutils.exe 获取指南
- Windows 64 位平台 Hadoop 2.8.4 插件包
- Hadoop2.7 中 hadoop.dll 和 winutils.exe 问题
- HDFS 调试指南:配置 winutils.exe 和 hadoop.dll
- hadoop2.9.0 安装与使用方法
如果你平时主力开发在 Windows,又不想折腾 Linux 环境,那就一定要把hadoop.dll和winutils.exe准备好。省事,还能少踩坑。