flume 对 hdfs 的输出,少不了一个关键包——hadoop-common-2.7.7.jar。这个包是 Hadoop 生态里的“工具人”,负责各种公共功能的支撑,像文件系统操作、配置加载这些都绕不开它。

hadoop 的版本不太兼容,用 2.7.x 的就乖乖配上 2.7.7 的 common 包,省得 flume 那边老是报错、卡在半路。你要把 flume 采上来的数据往 HDFS 推,这个包不加,基本走不通。

部署的时候注意点:别只丢在 flume lib 目录里,有时候 classpath 不对还是找不到。可以试试加到flume-ng的启动脚本里,或者检查下环境变量配置,反正多留个心眼准没错。

哦对了,如果你还在搭环境,CentOS 7 下 Hadoop 2.7.7 环境搭建指南也挺实用,配套来看更省事。

如果你正好在折腾 flume 对接 hdfs,那这个 jar 包建议你直接收下。省事儿、省心,兼容性也比较稳。