Flink 的 Hadoop 兼容包 flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar,真心挺省事的。不用自己折腾依赖,拿来就能和 Hadoop 3.x 版本打通,适配得比较稳。适合搞 Flink on YARN 或者要读 HDFS 的同学,连起来就一个字:顺!

这种 uber jar 的好处就是打包全,把 Hadoop 的核心依赖都裹进来了,少了兼容问题,部署也轻松多。以前自己配版本踩过不少坑,这个包出来后,基本就告别那种“依赖地狱”了。

我当初在搞 Iceberg 的时候,用它配合 iceberg-flink-runtime 也挺顺手的,加载数据又快又稳。不光是 Flink,其实配合 Hive、Hudi 这些大数据组件也合适,少了不少麻烦。

如果你也在搭建 Flink + Hadoop 的环境,强烈建议你从这类包入手。稳、兼容、可直接开搞,适合线上部署。资源可以直接去 这里 看看类似的包,也有多老版本的替代。

哦对了,用的时候注意和你的集群 Hadoop 版本对一下,别下错了版本。有时候 JAR 名字太长,容易搞混。