DolphinScheduler对比Airflow
生活随笔
收集整理的這篇文章主要介紹了
DolphinScheduler对比Airflow
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
| 穩定性 | 單點故障 | 去中心化的多Master和多Worke | 是(單一調度程序) |
| HA額外要求 | 不需要(本身就支持HA) | Celery / Dask / Mesos + Load Balancer + DB | |
| 過載處理 | 任務隊列機制,單個機器上可調度的任務數量可以靈活配置,當任務過多時會緩存在任務隊列中,不會造成機器卡死 | 任務太多時會卡死服務器 | |
| 易用性 | DAG監控界面 | 任務狀態、任務類型、重試次數、任務運行機器、可視化變量等關鍵信息一目了然 | 不能直觀區分任務類型 |
| 可視化流程定義 | 是(所有流程定義操作都是可視化的,通過拖拽任務來繪制DAG,配置數據源及資源。同時對于第三方系統,提供api方式的操作) | 否(通過python代碼來繪制DAG,使用不便,特別是對不會寫代碼的業務人員基本無法使用) | |
| 快速部署 | 一鍵部署 | 集群化部署復雜 | |
| 功能 | 是否能暫停和恢復 | 支持暫停(非真暫停),恢復操作 | 否(只能先將工作流殺死再重新運行) |
| 是否支持多租戶 | 支持(DolphinScheduler上的用戶可以通過租戶和hadoop用戶實現多對一或一對一的映射關系,這對大數據作業的調度是非常重要的) | 否(只支持多用戶) | |
| 任務類型 | 支持傳統的shell任務,同時支持大數據平臺任務調度: MR、Spark、SQL(mysql、postgresql、hive、sparksql)、Python、Procedure、Sub_Process | BashOperator、DummyOperator、MySqlOperator、HiveOperator、EmailOperator、HTTPOperator、SqlOperator | |
| 契合度 | 支持大數據作業spark,hive,mr的調度,同時由于支持多租戶,與大數據業務更加契合 | 由于不支持多租戶,在大數據平臺業務使用不夠靈活 | |
| 任務重跑 | 支持失敗任務重跑,但是不能指定從任意一個任務開始重跑 | 可以指定從任意一個任務節點開始重跑 | |
| 跳過某些任務/運行節點 | 是 | 否 | |
| 跨項目依賴 | 否 | 否 | |
| 項目內依賴 | 是(在一個項目中前驅依賴可以指定不同工作流中任意一個任務,后繼依賴可以指定一整個工作流,但是無法指定其他工作流中的任意一個任務) | 是(將DAG定義在一個腳本中) | |
| 擴展性 | 是否支持自定義任務類型 | 是 | 是 |
| 是否支持集群擴展 | 是(調度器使用分布式調度,整體的調度能力會隨便集群的規模線性增長,Master和Worker支持動態上下線) | 是(但是Executor水平擴展復雜) | |
| 監控告警 | 服務狀態監控 | 是 | 否 |
| 告警類型 | 自帶郵件告警,支持分組監控告警 | 不自帶告警 | |
| 系統版本 | 系統版本要求 | 均7.0以上 | 暫無 |
| 任務遷移 | 支持任務遷移/Copy | 是 | 否 |
| 支持組件命令 | 支持Python命令 | 是 | 是 |
| 支持Hive-SQL命令 | 是 | 是 | |
| 支持Shell命令 | 是 | 是 | |
| 支持Http命令 | 是 | 是 | |
| 支持Sqoop命令 | 是 | 否 | |
| 支持Spark命令 | 是 | 否 | |
| 支持Flink命令 | 是 | 否 | |
| 支持MR命令 | 是 | 否 | |
| 支持Datax命令 | 是 | 否 | |
| 支持Hadoop命令 | 否 | 否 |
總結
以上是生活随笔為你收集整理的DolphinScheduler对比Airflow的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Java泛型,枚举,注解
- 下一篇: linux历史追溯