Spoon工具使用(kettle进行实时同步数据)
生活随笔
收集整理的這篇文章主要介紹了
Spoon工具使用(kettle进行实时同步数据)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
文章目錄
- Spoon工具使用(kettle進行實時同步數據)
- 安裝
- 相關概念
- 轉換
- DB連接
- 步驟和節點連接
- 作業
- DB連接
- 作業項目
Spoon工具使用(kettle進行實時同步數據)
安裝
解壓完Spoon安裝包后,雙擊.bat文件打開
相關概念
- 轉換:一個或多個數據抽取的工作流程,比如全量抽取某個表的數據等等
- 作業:進行轉換或其他操作的集合
轉換
新建轉換之后,找到主對象樹,這里DB連接、步驟、節點連接是必要的,其他的功能項按需求來
DB連接
DB連接是配置數據庫的連接信息,以供步驟進行使用(下面會講到步驟)
這里我們新建數據連接,填上數據庫的連接信息
- 插入表為127-mysql-test 庫中的user2表
- 更新表為127-mysql-test2庫中的user3表
步驟和節點連接
步驟是用圖形化的界面展示你進行kettle轉換的一些詳細操作
節點連接是連接各個步驟之間的操作
步驟里面包含表輸入、表輸出、寫腳本…選取拖動即可
我這里要做的步驟是:每次增量替換數據(插入/更新/刪除數據)
1、執行sql腳本,清空目標表(下面兩個方面設置后可以單次執行插入和更新,但是刪除源表后,插入表不能同步刪除,所以需要設置“執行sql腳本”進行同步刪除操作。)
2、表輸入
3、表輸出
到此就寫完了一個轉換,如果有多張表,可以在圖形化界面中加入多個轉換
作業
新建作業之后,找到主對象樹,這里DB連接、作業項目等做詳細建設
DB連接
跟之前一樣,就不詳細介紹了,有需要可以用到
作業項目
這里是使用你剛才寫的轉換,然后啟動作業進行kettle抽取
然后啟動就可以定時調度了,定時同步數據就完成了。
1、job文件加入對應參數的初始值
2、轉換文件用${…}填入
總結
以上是生活随笔為你收集整理的Spoon工具使用(kettle进行实时同步数据)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: VCPKG 包下载失败解决思路
- 下一篇: svnserver 重新启动