flink-shaded-hadoop-2-uber

flink 1.11版本后不再自带连接Hadoop的jar包，需要手动编译打包。这里分享我编译好的jar包，供有需要的人使用。

最新版本的flink不再兼容hadoop，用户需下载适配的hadoop依赖包，并将其放置到FLINK_HOME/lib目录下，方可实现与hdfs的连接。

Flink 的 Hadoop 兼容包 flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar，真心挺省事的。不用自己折腾依赖，拿来就能和 Hadoop 3.x 版本打通，适配得比较稳。适合搞 Flink on YARN 或者要读 HDFS 的同学，连起来就一个字：顺！ 这种 uber jar 的好处就是打包全，把 Hadoop 的核心依赖都裹进来了，少了兼容问题，部署也轻松多。以前自己配版本踩过不少坑，这个包出来后，基本就告别那种“依赖地狱”了。 我当初在搞 Iceberg 的时候，用它配合 iceberg-flink-runtime 也挺顺手

在部署Flink任务时，特别要注意选择兼容Hadoop的版本，确保Hadoop环境在2.2以上，并且集群中配置了必要的HDFS服务。

Flink 与 Hadoop 的结合让大数据更高效，尤其是通过 flink-shaded-hadoop-2-uber-2.6.5-10.0.zip 这个工具包，开发者可以轻松将 Flink 与 Hadoop 整合。这个压缩包包含了 Flink 和 Hadoop 的必要依赖，简化了部署过程，避免了复杂配置。你可以通过它直接在 Flink 中使用 Hadoop 的资源，比如 HDFS、HBase 等，甚至可以在 YARN 上运行 Flink 作业。尤其是在需要流式与大规模数据存储配合时，flink-shaded-hadoop-2-uber-2.6.5-10.0.zip 表现得相当不错。不过，值得注

Yarn 的资源分配机制里，Uber 模式算是个蛮实用的小技巧。默认配置下，每跑一个 task 就得重新拉起一个 JVM，资源用得有点浪费，效率也上不来。嗯，如果任务不多，其实可以让多个 task 共享一个 JVM，这就是 Uber 的思路。简单说，就是在一个 container 里连续跑多个 task，省事儿不少。 Application Master负责给每个 task 找 container，Yarn 默认一 task 一 JVM，这就导致频繁启动和销毁，挺耗资源的。你要是任务小又密集，建议直接打开 Uber 模式，把 JVM 复用上，执行速度提升还蛮的。 配置也不复杂，改下yarn-s

如果 Flink 提示找不到 Hadoop 依赖，您需要将 flink-shaded-hadoop-3-uber-3.1.1.7.2.1.0-327-9.0.jar 文件放入 Flink 的 lib 目录下。

Apache Hive JDBC Uber 2.6.5.0是Apache Hive的一个重要组件，通过标准的Java数据库连接（JDBC）与Hive服务器进行交互。这个版本的Hive JDBC驱动是一个精简版本，集成了所有必要的依赖，简化了使用过程。开发人员可以利用它在Java应用程序中执行SQL查询和操作存储在Hadoop集群上的Hive数据仓库。这对数据分析师、数据库管理员和开发者都非常实用，支持使用SQL语句进行数据处理。此外，它还提供了连接管理、事务支持、性能优化和多种安全模式的功能。

详细介绍Hadoop、HBase和Hive的全套安装步骤，内容涵盖丰富，逐步实现。

Apache Hadoop 2.x 中的 HDFS 和 MapReduce 进行了重大改进，与稳定的 Hadoop 1.x 相比，差异显着。此文档提供了详细的配置说明，指导您优化 Hadoop 2.x 集群的性能。