flink on yarn HA高可用集群搭建
生活随笔
收集整理的這篇文章主要介紹了
flink on yarn HA高可用集群搭建
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
無論以什么樣的模式提交Application到Yarn中運行,都會啟動一個yarn-session(Flink 集群),依然是由JobManager和TaskManager組成,那么JobManager節點如果宕機,那么整個Flink集群就不會正常運轉,所以接下來搭建Flink on YARN HA集群
安裝步驟
hadoop/yarn-site.xml
分發至其他節點:并重啟
flink/flink-conf.yaml
HA測試
Application Master就是Job Manager。
在node02上kill掉JM進程后,發現JM又會在node04上重啟,已經實現了HA:
查看node04的日志:
提交一個flink job:
總結
以上是生活随笔為你收集整理的flink on yarn HA高可用集群搭建的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: flink on yarn两种提交模式
- 下一篇: Linux echo输出文本改变颜色