2021年大数据Flink(二十九):Flink 容错机制 Savepoint
生活随笔
收集整理的這篇文章主要介紹了
2021年大数据Flink(二十九):Flink 容错机制 Savepoint
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
目錄
Savepoint
Savepoint介紹
Savepoint?VS Checkpoint
Savepoint演示
Savepoint
Savepoint介紹
Savepoint:保存點,類似于以前玩游戲的時候,遇到難關了/遇到boss了,趕緊手動存個檔,然后接著玩,如果失敗了,趕緊從上次的存檔中恢復,然后接著玩
?
在實際開發中,可能會遇到這樣的情況:如要對集群進行停機維護/擴容...
那么這時候需要執行一次Savepoint也就是執行一次手動的Checkpoint/也就是手動的發一個barrier柵欄,那么這樣的話,程序的所有狀態都會被執行快照并保存,
當維護/擴容完畢之后,可以從上一次Savepoint的目錄中進行恢復!
?
???????Savepoint?VS Checkpoint
?
?
???????Savepoint演示
# 啟動yarn session/export/server/flink/bin/yarn-session.sh -n 2 -tm 800 -s 1 -d# 運行job-會自動執行Checkpoint/export/server/flink/bin/flink run --class cn.itcast.checkpoint.CheckpointDemo01 /root/ckp.jar# 手動創建savepoint--相當于手動做了一次Checkpoint/export/server/flink/bin/flink savepoint 702b872ef80f08854c946a544f2ee1a5?hdfs://node1:8020/flink-checkpoint/savepoint/# 停止job/export/server/flink/bin/flink cancel 702b872ef80f08854c946a544f2ee1a5# 重新啟動job,手動加載savepoint數據/export/server/flink/bin/flink run -s hdfs://node1:8020/flink-checkpoint/savepoint/savepoint-702b87-0a11b997fa70 --class cn.itcast.checkpoint.CheckpointDemo01 /root/ckp.jar# 停止yarn sessionyarn application -kill application_1607782486484_0014
?
總結
以上是生活随笔為你收集整理的2021年大数据Flink(二十九):Flink 容错机制 Savepoint的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2021年大数据Flink(二十八):F
- 下一篇: 2021年大数据Flink(三十):Fl