Windows 下跑 Hadoop 的程序,经常会因为找不到winutils.exe
卡住,是刚接触的同学,一脸问号。hadoop-3.1.0-winUtils.rar就是专门为这种情况准备的。只要你把它解压出来,设个HADOOP_HOME
环境变量,路径指到它的目录,立马搞定。
Hadoop 写文件到HDFS,尤其在 Windows 上,经常会报could not locate executable null\bin\winutils.exe
这种错,看着就烦。其实就是缺了个执行文件而已,没啥大不了的。
这个包里包括了你要的winutils.exe
和hadoop.dll
,版本对应Hadoop 3.1.0,比较适合一些老项目或者特定的 Hadoop 分支。
你只需要这么操作:把hadoop-3.1.0-winUtils.rar
解压,比如解压到C:\hadoop-3.1.0
,设置环境变量:
HADOOP_HOME=C:\hadoop-3.1.0
Path=%HADOOP_HOME%\bin
写完代码再跑一遍,是不是就不报错了?嗯,就是这么简单。
如果你想多了解点,还可以看看这些资源:Winutils Hadoop Windows 助手、HDFS 调试指南、配置指南。里面讲得蛮细的,比较适合想研究透的朋友。
如果你用的是 Hadoop 3.3,可以参考hadoop3.3.4 winutils,版本别用错了。
,winutils.exe对 Windows 环境下开发 Hadoop 项目还是挺刚需的。有这个包,多烦人的配置问题直接绕开,开发效率高不少。
如果你在 Windows 上写 Hadoop 程序,不想被winutils
搞得焦头烂额,那这个包你还真得下一个。