文章目錄

• • • • • 一、全量同步
        • • 1. 增量同步SQL
          • 2. 構(gòu)建reader
          • 3. 構(gòu)建writer
          • 4. 字段對(duì)應(yīng)關(guān)系映射
          • 5. 構(gòu)建json
          • 6. 選擇同步模板
          • 7. 查詢最早時(shí)間
          • 8. 修改任務(wù)信息
          • 9. 添加增量參數(shù)
          • 10. 數(shù)據(jù)清理
          • 11. 執(zhí)行任務(wù)
          • 12. 查看執(zhí)行日期
          • 13. 數(shù)據(jù)驗(yàn)證
          • 15. 查看同步腳本
        • 二、基于日期增量同步
        • • 2.1. 新增新數(shù)據(jù)
          • 2.2. 執(zhí)行數(shù)據(jù)同步
          • 2.3. 查看日志
          • 2.4. 查看數(shù)據(jù)庫(kù)
          • 2.5. 日期選取

一、全量同步

聲明：
以增量方式數(shù)據(jù)同步，第一次是全量同步，從第二次同步開始以第一次同步完成后的時(shí)間為開始時(shí)間，進(jìn)行增量同步！
注：咱們添加項(xiàng)目、添加任務(wù)模板先用以前的，直接任務(wù)構(gòu)建

1. 增量同步SQL

select IDNO,COL1,COL2,COL3,DT,COL5,COL6,COL7,COL8,COL9,COL10 from otbs1 where dt > to_date(${lastTime},'yyyy-mm-dd hh24:mi:ss') and dt <= to_date(${currentTime},'yyyy-mm-dd hh24:mi:ss')

2. 構(gòu)建reader

構(gòu)建reader，填寫增量同步SQL

3. 構(gòu)建writer

4. 字段對(duì)應(yīng)關(guān)系映射

5. 構(gòu)建json

6. 選擇同步模板

基礎(chǔ)模板，可以在執(zhí)行同步前進(jìn)行任務(wù)信息的修改


刷新頁(yè)面

7. 查詢最早時(shí)間

查詢同步數(shù)據(jù)的最早時(shí)間和最晚時(shí)間，等會(huì)會(huì)以最早時(shí)間為開始時(shí)間進(jìn)行同步

8. 修改任務(wù)信息

9. 添加增量參數(shù)

-DlastTime='%s' -DcurrentTime='%s'

10. 數(shù)據(jù)清理

清空mysql數(shù)據(jù)庫(kù)otbs1表的數(shù)據(jù)

11. 執(zhí)行任務(wù)

12. 查看執(zhí)行日期

如果不顯示就刷新頁(yè)面

13. 數(shù)據(jù)驗(yàn)證

15. 查看同步腳本

存量同步完成之后，查看同步腳本

從圖中可以看出，以增量形式同步全量第一次完成后，開始時(shí)間自動(dòng)變更成了當(dāng)前時(shí)間，以后增量同步，就會(huì)一當(dāng)前時(shí)間作為開始時(shí)間繼續(xù)增量同步！

二、基于日期增量同步

查詢數(shù)據(jù)庫(kù)目前idno最大值

1048577

2.1. 新增新數(shù)據(jù)

新增3條數(shù)據(jù)

insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10) values ('1048578', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6'); insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10) values ('1048579', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6'); insert into otbs1 (IDNO, COL1, COL2, COL3, DT, COL5, COL6, COL7, COL8, COL9, COL10) values ('1048580', '字符串1', '1', '1696248667889', '2021-06-29 13:22:26', '3.141592653578', '字符串2', '字符串3', '字符串4', '字符串5', '字符串6');

插入后再次查詢idno最大值

1048580，在以前基礎(chǔ)上堵了3條數(shù)據(jù)。

2.2. 執(zhí)行數(shù)據(jù)同步

如果，這次增量同步的數(shù)量為3條，就說(shuō)明是增量數(shù)據(jù)同步對(duì)吧

2.3. 查看日志

從同步日志可以看出，只同步了3條數(shù)據(jù)

2.4. 查看數(shù)據(jù)庫(kù)

多了3條數(shù)據(jù)

2.5. 日期選取

找一個(gè)關(guān)鍵的業(yè)務(wù)日期

總結(jié)

以上是生活随笔為你收集整理的ETL异构数据源Datax_日期增量同步_13的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。