基于 Flink 的小米数据集成方案，算是我最近看到比较成熟的一套实时+离线数据集成架构。小米用 Flink 搞了一整套数据集成引擎，不光支持常见的MySQL、Hive，连Doris、Iceberg也都打通了，扩展性真不赖。

实时+离线一体化调度挺有意思，能自动接管流批作业的调度。你只管写好逻辑，剩下的它来搞定，开发体验省心多了。而且像权限控制、Catalog 注册这些事，它也做得蛮到位的，开发的时候不需要写一堆CREATE TABLE、CREATE CATALOG，省事。

里面提到的Auto Catalog和断点续传机制也实用，是当你对接MySQL的时候，经常会遇到主从切换，这套机制能帮你搞定采集不中断，靠谱。还有千表同步时的连接数瓶颈，它也提前想好了方案。

如果你最近在搞数据集成项目，是对Flink感兴趣，建议你抽空翻一下这篇《基于 Flink 的小米数据集成实践》。嗯，不是卖广告，是真的干货不少，多设计思路都值得参考一下。

你可以顺手看看这些相关文章：

如果你也被权限管理、元数据同步、连接压力这些问题折腾过，那这份资料你会觉得，嗯，还挺对胃口。