Windows 上的 Hadoop 配置一直是让人头大的事,尤其是 HDFS 客户端。apache-hadoop-3.1.3-winutils-master.zip
这个压缩包就挺贴心的,把需要的关键组件都打包好了。像hadoop-winutils.exe
和hadoop.dll
这些,你不用到处找,直接解压用就行。
hadoop-winutils的命令行工具挺全,像设置环境变量、操作 HDFS 文件都能搞定。直接把hadoop-winutils.exe
放到bin
目录里,配好HADOOP_HOME
和PATH
,命令行里就能跑起来了。
hadoop.dll主要是负责跟 Windows 系统打交道的。它搞定底层的 I/O、网络这些事儿,没它你那些hadoop fs
命令直接报错。所以一定要把它放在对的位置,别忘了。
HDFS 客户端配置说难也不难,关键是路径别搞错了。你要改好core-site.xml
和hdfs-site.xml
,Hadoop 才知道该连哪儿,连上集群后你就能跑hadoop fs -ls
、-put
这些常用命令了,挺方便。
安全这块,Hadoop 3.1.3 支持 Kerberos。如果你们集群启用了,就得准备keytab
文件,还有在配置文件里加认证参数。没搞好这步,权限啥的都用不了。
说句实在话,Windows 上跑 Hadoop 不是主流,但有时候就是没办法。这包东西虽然不复杂,但挺实用。如果你想本地试着跑跑 HDFS,或者写些测试代码,不用每次都开个 Linux 环境,省事多了。
哦对了,如果你还想了解 HDFS 界面或更多细节,可以看看这些:
如果你是在 Windows 上折腾 Hadoop,那这个压缩包还蛮值得留一份的。