Windows 下的 Hadoop 开发老是卡壳?hadoop2.6_Win_x64-master.zip就挺管用的。里面打包好了你要用的 hadoop.dll
和 winutils.exe
,适配 Hadoop 2.6,专门给 64 位系统用的,省了你到处找资源的麻烦。
IDEA 远程调试 Hadoop的时候,这包也实用。你只要把 HADOOP_HOME
指好,路径加进系统环境变量,开发基本就能跑起来,调试也顺畅。
winutils.exe主要管文件系统权限、用户管理那些,Windows 没它真跑不起来。你比如要建个 /tmp
目录,或者改个 HDFS 权限,靠它就行。而 hadoop.dll
是底层支持,能让 Hadoop 在 Windows 下模拟类 Unix 操作。
你如果用的是IntelliJ IDEA,就更合适了。这个包基本能配齐你远程连接 Hadoop 集群时需要的 Windows 端组件。尤其适合做 MapReduce 或者调试 YARN 任务的场景。
不过要注意哦,SSH 连远程集群的时候,建议别用密码,改用密钥登录,安全性高不少。还有配置文件别忘了改,像 core-site.xml
和 hdfs-site.xml
这些都得配对路径。
,如果你在 Windows 上调试 Hadoop 老出错,或者 IDEA 里老连不上集群,试试这个包,会让开发顺不少。
如果你想了解更多,也可以看看这些: