flink HA高可用Standalone集群搭建
生活随笔
收集整理的這篇文章主要介紹了
flink HA高可用Standalone集群搭建
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
flink 1.9.2版本搭建的HA JM存在bug:
明明在node01, node02兩個節(jié)點上都有JM,但是孰是activing,孰是standby狀態(tài)無法區(qū)分。Spark是有明確的狀態(tài)顯示的。
單獨啟動JM或TM
分別單獨執(zhí)行jobmanager.sh taskmanager.sh即可:
集群角色劃分說明
高可用實現(xiàn)步驟
HDFS用于保存JM的元數(shù)據(jù)信息,flink最擅長的是進(jìn)行有狀態(tài)的計算,因此也就需要對大量數(shù)據(jù)進(jìn)行存儲:
vim masters:
將所有的JM都加進(jìn)來:
要將修改后的配置文件同步到其他節(jié)點:
啟動HA集群
要先啟動HDFS和zk。
要想將flink數(shù)據(jù)保存到hdfs,必須先下載這個插件:并將其放到flink的lib目錄下。每個節(jié)點都要放。
啟動
總結(jié)
以上是生活随笔為你收集整理的flink HA高可用Standalone集群搭建的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: flink scala shell命令行
- 下一篇: flink on yarn两种提交模式