Hadoop 在 Windows 上跑不起来?多半是少了个小工具——winutils。这个东西说白了就是个“翻译官”,把 Hadoop 那些偏类 Unix 的底层操作指令,翻译成 Windows 能听懂的语言。你在本地调试 Spark、跑 MapReduce 啥的,没它真不行。
winutils.exe最常见的用法就是各种“权限问题”和“路径找不到”的报错。比如你刚配置好 Hadoop 环境,启动一看一堆红字,八成就是它的锅。放个winutils.exe
进去,路径配好,一下子清净了。
对了,不同版本的 Hadoop,对应的winutils
版本也不一样。比如用的是hadoop-2.8.3,那你就得找对应的winutils
版本,才能搭配得上,不然还是出错。
链接也给你备好了,Winutils Hadoop Windows 助手这个页面挺全的。如果你是搞 Hadoop、Spark 开发的,是在 Windows 上测试,真挺建议把这个工具收好,省你不少事。
如果你刚入门 Hadoop,推荐也看看Hadoop 文件系统的,了解下底层是怎么玩的,会更容易理解 winutils 为啥重要。
提醒一句:winutils不是官方安装包默认带的,得你自己去下,路径设置别忘了加到HADOOP_HOME
环境变量里,命令行才认得出来。