Hadoop 的客户端 jar 包 hadoop-client-2.7.4.jar
是搞 MapReduce 开发时少不了的老伙计。用 Eclipse 写 Job 的时候,不加它各种报错,加上它瞬间安静,配置路径也清晰,挺省事的。尤其你要跑在 Windows 上,搭个本地测试环境,还得靠它撑场子。
Hadoop 的 HDFS 和 MapReduce 相关类基本都打包在里头了,用起来比较完整。搭配 Hadoop Eclipse MapReduce 插件 效果更好,IDE 里直接跑任务,调试也方便。写 Job、调日志、改配置,都是一把好手。
源码也不是不能看,有兴趣的可以搭 Hadoop 2.7.4 源码 环境看看里面的类结构,逻辑不复杂,注释也还算友好。跟 Spring 一起用?那你得看看 Spring Hadoop Jar,配合还挺多的。
如果你是在 Windows 下折腾,那建议顺手把 hadoop 2.7.4 Windows 版本详解 和 运行环境 一起看下,多坑其实都能提前避掉。哦对了,启动失败的问题 也有人总结过,配置类路径、Java 版本啥的,得注意。
文件就一个 hadoop-client-2.7.4.jar
,拷到你的 lib
目录里,加进项目依赖里就能用了。用 Maven 的话也可以手动添加依赖,虽然这版本不一定在中心库里。
如果你正准备用 Eclipse 搞 Hadoop,那这个包真不该少。有了它,多头疼的错误都能一笔带过,轻松不少。