Centos7 的环境配置搭起来挺稳的,配合Hadoop 伪分布式,用来练手或者做点小规模测试真的还不错。你要是刚上手 Hadoop,建议从伪分布式玩起,配置简单,还能模拟集群跑任务。
Java 上传接口这块也不复杂,用个FileSystem.copyFromLocalFile
就能搞定,接口调用顺手,测试也方便。路径配好,别忘了 HDFS 格式开头,hdfs://localhost:9000/路径
这种。
你要是嫌搭环境麻烦,也可以直接下虚拟机镜像,像Cent7+Hadoop2.7.1 伪分布式虚拟机就挺省事,一下就能用。配置 Hadoop 的时候注意 JDK 版本,别整错了。
想多了解点,也可以看看这些:
- Hadoop 伪分布式部署教程详解,讲得蛮细
- 伪分布式安装指南,适合对照着操作
- Zookeeper 伪分布式安装脚本,如果你后面想玩分布式协调服务
如果你在用 Ubuntu,也别担心,Ubuntu 搭建 Hadoop 的教程也有。
嗯,提醒一句,搭完别忘了测试一下jps
输出,看看NameNode
、DataNode
这些服务是不是都跑起来了。