winutils 和 hadoop.dll 的组合包,挺适合在 Windows 上玩 Hadoop 的朋友。嗯,主要就是 Windows 下 Hadoop 不好跑的问题。里面的winutils.exe
和hadoop.dll
,直接扔进你的 Hadoop 安装目录的bin
里就行,我自己亲测过,跑得还挺稳。
winutils.exe主要是干些系统层面的活,比如配置环境变量、搞 HDFS 权限、启动 NameNode 啥的。没有它,多hadoop fs
命令在 Windows 上直接报错。hadoop.dll就是个兼容层,算是给 Hadoop 打的个补丁,让它能跟 Windows 系统愉快相处。
配置也简单,把文件放好,HADOOP_HOME
设一下,PATH
补上%HADOOP_HOME%\bin
,差不多就能跑了。像我之前在 Windows 上跑 Spark 的时候,也得依赖它,算是个蛮基础的工具。
你要是刚上手 Hadoop,系统又是 Windows,那这个压缩包真的是刚刚好,能少踩不少坑。资源不少地方都能找到,比如这篇就说得比较清楚。
对了,有时候你装的是 Hadoop 2.6.3、2.8.4、甚至 2.9,不同版本对 winutils 也有点要求,尽量对得上版本号,不然命令不兼容。
,想省事儿的话,这个包你可以直接下,用起来挺顺手的。