Windows 下折腾 Hadoop,遇到UnsatisfiedLinkError
那种奇怪的报错?嗯,你不是一个人。hadoop-common-2.7.4-bin这个包里直接带了hadoop.dll
和winutils.exe
,省得你到处扒版本,一个不对又报错。
winutils.exe要放到HADOOP_HOME\bin
,hadoop.dll扔进Windows\System32
,启动就顺了,开发环境安稳多了。
我之前调试HDFS
的时候,一直卡在权限校验上,后来才发现是少了这俩玩意。装上之后,NativeIO
那类报错就直接没了,省事不少。
如果你也是在 Windows 上搭 Hadoop 2.7.4,建议直接用这个包,版本对应,兼容性也好,不用去网上一个个试来试去。
另外,如果你在搞别的版本,比如 2.6.3 或者 2.8.4,也有类似的资源,整理了几个常用的下载:
- Hadoop 2.6.3 Winutils.exe 和 Hadoop.dll
- hadoop.dll 和 winutils.exe 获取指南
- Hadoop 2.8.4 插件包
- Hadoop2.7 的插件方案
- HDFS 调试指南
,Windows 玩 Hadoop 不是不行,工具齐了才顺手。如果你还在踩坑,可以试试这个包,配置一下就能跑。