Flink 的环境配置算是老生常谈了,不过这份 2020 年的中国企业服务研究报告里提到的配置方法还蛮清晰的,尤其适合刚接触 Flink 的小伙伴。它从环境变量的配置开始,比如JAVA_HOME
、SCALA_HOME
这些老朋友都得设置好。就是重点——Flink on YARN的配置,核心在flink-conf.yaml
文件。端口、内存这些参数虽然不难改,但坑也不少,配置不对直接挂。
任务管理器(TaskManager)和作业管理器(JobManager)那块写得挺实用,尤其是内存分配建议,按 MB 来算,别手滑多打个 0 哈。
你要是对环境变量这一块还不太熟,文章底部也贴心地给了几个相关链接,比如环境变量设定和Flink on YARN 下的异常,挺实用的,可以顺手看看。
嗯,如果你是准备在 YARN 上跑 Flink,或者刚准备搭建 Flink 开发环境,这份内容值得一读。手把手,少走弯路。