當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

3千字带你搞懂XXL-JOB任务调度平台

發布時間：2024/8/23 编程问答 62 豆豆

生活随笔收集整理的這篇文章主要介紹了 3千字带你搞懂XXL-JOB任务调度平台小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

思維導圖

文章已收錄Github精選，歡迎Star：https://github.com/yehongzhi/learningSummary

一、概述

在平時的業務場景中，經常有一些場景需要使用定時任務，比如：

時間驅動的場景：某個時間點發送優惠券，發送短信等等。
批量處理數據：批量統計上個月的賬單，統計上個月銷售數據等等。
固定頻率的場景：每隔5分鐘需要執行一次。

所以定時任務在平時開發中并不少見，而且對于現在快速消費的時代，每天都需要發送各種推送，消息都需要依賴定時任務去完成，應用非常廣泛。

二、為什么需要任務調度平臺

在Java中，傳統的定時任務實現方案，比如Timer，Quartz等都或多或少存在一些問題：

不支持集群、不支持統計、沒有管理平臺、沒有失敗報警、沒有監控等等

而且在現在分布式的架構中，有一些場景需要分布式任務調度：

同一個服務多個實例的任務存在互斥時，需要統一的調度。
任務調度需要支持高可用、監控、故障告警。
需要統一管理和追蹤各個服務節點任務調度的結果，需要記錄保存任務屬性信息等。

顯然傳統的定時任務已經不滿足現在的分布式架構，所以需要一個分布式任務調度平臺，目前比較主流的是elasticjob和xxl-job。

elasticjob由當當網開源，目前github有6.5k的Star，使用的公司在官網登記有76家。

跟xxl-job不同的是，elasticjob是采用zookeeper實現分布式協調，實現任務高可用以及分片。

三、為什么選擇XXL-JOB

實際上更多公司選擇xxl-job，目前xxl-job的github上有15.7k個star，登記公司有348個。毫無疑問elasticjob和xxl-job都是非常優秀的技術框架，接下來我們進一步對比討論，探索一下為什么更多公司會選擇xxl-job。

首先先介紹一下xxl-job，這是出自大眾點評許雪里(xxl就是作者名字的拼音首字母)的開源項目，官網上介紹這是一個輕量級分布式任務調度框架，其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。跟elasticjob不同，xxl-job環境依賴于mysql，不用ZooKeeper，這也是最大的不同。

elasticjob的初衷是為了面對高并發復雜的業務，即使是在業務量大，服務器多的時候也能做好任務調度，盡可能的利用服務器的資源。使用ZooKeeper使其具有高可用、一致性的，而且還具有良好的擴展性。官網上寫elasticjob是無中心化的，通過ZooKeeper的選舉機制選舉出主服務器，如果主服務器掛了，會重新選舉新的主服務器。因此elasticjob具有良好的擴展性和可用性，但是使用和運維有一定的復雜。

xxl-job則相反，是通過一個中心式的調度平臺，調度多個執行器執行任務，調度中心通過DB鎖保證集群分布式調度的一致性，這樣擴展執行器會增大DB的壓力，但是如果實際上這里數據庫只是負責任務的調度執行。但是如果沒有大量的執行器的話和任務的情況，是不會造成數據庫壓力的。實際上大部分公司任務數，執行器并不多(雖然面試經常會問一些高并發的問題)。

相對來說，xxl-job中心式的調度平臺輕量級，開箱即用，操作簡易，上手快，與SpringBoot有非常好的集成，而且監控界面就集成在調度中心，界面又簡潔，對于企業維護起來成本不高，還有失敗的郵件告警等等。這就使很多企業選擇xxl-job做調度平臺。

四、安裝

4.1 拉取源碼

搭建xxl-job很簡單，有docker拉取鏡像部署和源碼編譯兩種方式，docker部署的方式比較簡單，我就講源碼編譯的方式。首先到github拉取xxl-job源碼到本地。

4.2 導入IDEA

拉取源碼下來后，可以看到項目結構，如下：

導入到IDEA，配置一下Maven，下載相關的jar包，稍等一下后，就可以看到這樣的項目：

4.3 初始化數據庫

前面講過xxl-job需要依賴mysql，所以需要初始化數據庫，在xxl-jobdocdb路徑下找到tables_xxl_job.sql文件。在mysql上運行sql文件。

4.4 配置文件

接著就改一下配置文件，在admin項目下找到application.properties文件。

### 調度中心JDBC鏈接 spring.datasource.url=jdbc:mysql://127.0.0.1:3306/xxl_job?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&serverTimezone=Asia/Shanghai spring.datasource.username=root spring.datasource.password= spring.datasource.driver-class-name=com.mysql.jdbc.Driver ### 報警郵箱 spring.mail.host=smtp.qq.com spring.mail.port=25 spring.mail.username=xxx@qq.com spring.mail.password=xxx spring.mail.properties.mail.smtp.auth=true spring.mail.properties.mail.smtp.starttls.enable=true spring.mail.properties.mail.smtp.starttls.required=true spring.mail.properties.mail.smtp.socketFactory.class=javax.net.ssl.SSLSocketFactory ### 調度中心通訊TOKEN [選填]：非空時啟用； xxl.job.accessToken= ### 調度中心國際化配置 [必填]：默認為 "zh_CN"/中文簡體, 可選范圍為 "zh_CN"/中文簡體, "zh_TC"/中文繁體 and "en"/英文； xxl.job.i18n=zh_CN ## 調度線程池最大線程配置【必填】 xxl.job.triggerpool.fast.max=200 xxl.job.triggerpool.slow.max=100 ### 調度中心日志表數據保存天數 [必填]：過期日志自動清理；限制大于等于7時生效，否則, 如-1，關閉自動清理功能； xxl.job.logretentiondays=10

4.5 編譯運行

簡單一點直接跑admin項目的main方法啟動也行。

如果部署在服務器呢，那我們需要打包成jar包，在IDEA利用Maven插件打包。

然后在xxl-jobxxl-job-admintarget路徑下，找到jar包。

然后就得到jar包了，使用java -jar命令就可以啟動了。

到這里就已經完成了！打開瀏覽器，輸入http://localhost:8080/xxl-job-admin進入管理頁面。默認賬號/密碼：admin/123456。

五、永遠的HelloWord

部署了調度中心之后，需要往調度中心注冊執行器，添加調度任務。接下來就參考xxl-job寫一個簡單的例子。

首先創建一個SpringBoot項目，名字叫"xxljob-demo"，添加依賴。

<dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter</artifactId></dependency><dependency><groupId>com.xuxueli</groupId><artifactId>xxl-job-core</artifactId><version>2.2.0</version></dependency> </dependencies>

接著修改application.properties。

# web port server.port=8081 # log config logging.config=classpath:logback.xml spring.application.name=xxljob-demo ### 調度中心部署跟地址 [選填]：如調度中心集群部署存在多個地址則用逗號分隔。執行器將會使用該地址進行"執行器心跳注冊"和"任務結果回調"；為空則關閉自動注冊； xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin ### 執行器通訊TOKEN [選填]：非空時啟用； xxl.job.accessToken= ### 執行器AppName [選填]：執行器心跳注冊分組依據；為空則關閉自動注冊 xxl.job.executor.appname=xxl-job-demo ### 執行器注冊 [選填]：優先使用該配置作為注冊地址，為空時使用內嵌服務 ”IP:PORT“ 作為注冊地址。從而更靈活的支持容器類型執行器動態IP和動態映射端口問題。 xxl.job.executor.address= ### 執行器IP [選填]：默認為空表示自動獲取IP，多網卡時可手動設置指定IP，該IP不會綁定Host僅作為通訊實用；地址信息用于 "執行器注冊" 和 "調度中心請求并觸發任務"； xxl.job.executor.ip= ### 執行器端口號 [選填]：小于等于0則自動獲取；默認端口為9999，單機部署多個執行器時，注意要配置不同執行器端口； xxl.job.executor.port=9999 ### 執行器運行日志文件存儲磁盤路徑 [選填] ：需要對該路徑擁有讀寫權限；為空則使用默認路徑； xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler ### 執行器日志文件保存天數 [選填] ：過期日志自動清理, 限制值大于等于3時生效; 否則, 如-1, 關閉自動清理功能； xxl.job.executor.logretentiondays=10

接著寫一個配置類XxlJobConfig。

@Configuration public class XxlJobConfig {private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);@Value("${xxl.job.admin.addresses}")private String adminAddresses;@Value("${xxl.job.accessToken}")private String accessToken;@Value("${xxl.job.executor.appname}")private String appname;@Value("${xxl.job.executor.address}")private String address;@Value("${xxl.job.executor.ip}")private String ip;@Value("${xxl.job.executor.port}")private int port;@Value("${xxl.job.executor.logpath}")private String logPath;@Value("${xxl.job.executor.logretentiondays}")private int logRetentionDays;@Beanpublic XxlJobSpringExecutor xxlJobExecutor() {logger.info(">>>>>>>>>>> xxl-job config init.");XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();xxlJobSpringExecutor.setAdminAddresses(adminAddresses);xxlJobSpringExecutor.setAppname(appname);xxlJobSpringExecutor.setAddress(address);xxlJobSpringExecutor.setIp(ip);xxlJobSpringExecutor.setPort(port);xxlJobSpringExecutor.setAccessToken(accessToken);xxlJobSpringExecutor.setLogPath(logPath);xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);return xxlJobSpringExecutor;} }

接著編寫一個任務類XxlJobDemoHandler，使用Bean模式。

@Component public class XxlJobDemoHandler {/*** Bean模式，一個方法為一個任務* 1、在Spring Bean實例中，開發Job方法，方式格式要求為 "public ReturnT<String> execute(String param)"* 2、為Job方法添加注解 "@XxlJob(value="自定義jobhandler名稱", init = "JobHandler初始化方法", destroy = "JobHandler銷毀方法")"，注解value值對應的是調度中心新建任務的JobHandler屬性的值。* 3、執行日志：需要通過 "XxlJobLogger.log" 打印執行日志；*/@XxlJob("demoJobHandler")public ReturnT<String> demoJobHandler(String param) throws Exception {XxlJobLogger.log("java, Hello World~~~");XxlJobLogger.log("param:" + param);return ReturnT.SUCCESS;} }

在resources目錄下，添加logback.xml文件。

<?xml version="1.0" encoding="UTF-8"?> <configuration debug="false" scan="true" scanPeriod="1 seconds"><contextName>logback</contextName><property name="log.path" value="/data/applogs/xxl-job/xxl-job-executor-sample-springboot.log"/><appender name="console" class="ch.qos.logback.core.ConsoleAppender"><encoder><pattern>%d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{36} - %msg%n</pattern></encoder></appender><appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender"><file>${log.path}</file><rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"><fileNamePattern>${log.path}.%d{yyyy-MM-dd}.zip</fileNamePattern></rollingPolicy><encoder><pattern>%date %level [%thread] %logger{36} [%file : %line] %msg%n</pattern></encoder></appender><root level="info"><appender-ref ref="console"/><appender-ref ref="file"/></root> </configuration>

寫完之后啟動服務，然后可以打開管理界面，找到執行器管理，添加執行器。

接著到任務管理，添加任務。

最后我們可以到任務管理去測試一下，運行demoJobHandler。

點擊保存后，會立即執行。點擊查看日志，可以看到任務執行的歷史日志記錄。

打開剛剛執行的執行日志，我們可以看到，運行成功。

這就是簡單的Demo演示，非常簡單，上手也快。

六、談談架構設計

下面簡單地說一下xxl-job的架構，我們先看官網提供的一張架構圖來分析。

從架構圖可以看出，分別有調度中心和執行器兩大組成部分

調度中心。負責管理調度信息，按照調度配置發出調度請求，自身不承擔業務代碼。支持可視化界面，可以在調度中心對任務進行新增，更新，刪除，會實時生效。支持監控調度結果，查看執行日志，查看調度任務統計報表，任務失敗告警等等。
執行器。負責接收調度請求，執行調度任務的業務邏輯。執行器啟動后需要注冊到調度中心。接收調度中心的發出的執行請求，終止請求，日志請求等等。

接下來我們看一下xxl-job的工作原理。

任務執行器根據配置的調度中心的地址，自動注冊到調度中心。
達到任務觸發條件，調度中心下發任務。
執行器基于線程池執行任務，并把執行結果放入內存隊列中、把執行日志寫入日志文件中。
執行器的回調線程消費內存隊列中的執行結果，主動上報給調度中心。
當用戶在調度中心查看任務日志，調度中心請求任務執行器，任務執行器讀取任務日志文件并返回日志詳情。

絮叨

看完以上的內容，基本算入門了。實際上，xxl-job還有很多功能，要深入學習，還需要到官網去研究探索。最好就是自己在本地搭建一個xxl-job來玩玩，動手實踐是學得最快的學習方式。

原文鏈接
本文為阿里云原創內容，未經允許不得轉載。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的3千字带你搞懂XXL-JOB任务调度平台的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇：如何使用Arthas提高日常开发效率？
下一篇： Azkaban业务流程如何转化为Data