Hadoop 的大数据能力不用我多说,想在本地或者搭个小集群试试?这个Hadoop 安装包.zip挺适合你。解压就能看到熟悉的bin
、lib
、conf
这些目录,配置起来也不算难,几个 XML 改改地址就差不多了。
HDFS 的块存储方式,容错高、扩展也灵活,MapReduce 配合用起来效率还不错。命令行的操作像hadoop fs -put
、-get
也都挺直观,能快速验证环境搭好了没。
初次装的话别忘了先hdfs namenode -format
一下,用start-dfs.sh
和start-yarn.sh
就能跑起来。运行的时候观察下jps
输出,确认服务都起来了。哦对了,安装多节点的时候,记得每台机器的免密登录、hosts
配置啥的要先搞定。
如果你想了解更多像 HDFS 的底层机制或者集群部署策略,可以看看下面这些文章,资料还挺全的,适合深挖。