文章目錄

• 數(shù)據(jù)集成工具
• • 數(shù)據(jù)采集工具分類
  • • 離線采集（批量采集）
    • 實(shí)時(shí)采集（增量采集）
    • Flume
    • Sqoop
    • DataX
    • Canal

數(shù)據(jù)集成工具

數(shù)據(jù)采集工具分類

離線采集（批量采集）

Sqoop

DataX

Flink

實(shí)時(shí)采集（增量采集）

Flume

Canal

Flume

??flume是一個(gè)分布式、可靠、和高可用的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。

分布式：flume分布式集群部署，擴(kuò)展性好。

可靠性好: 當(dāng)節(jié)點(diǎn)出現(xiàn)故障時(shí)，日志能夠被傳送到其他節(jié)點(diǎn)上而不會(huì)丟失。

易用性：flume配置使用較繁瑣，對(duì)使用人員專業(yè)技術(shù)要求非常高。

實(shí)時(shí)采集：flume采集流模式進(jìn)行數(shù)據(jù)實(shí)時(shí)采集。

適用場景：適用于日志文件實(shí)時(shí)采集。

Sqoop

??Apache開源軟件，主要用于在HADOOP(Hive)與傳統(tǒng)的數(shù)據(jù)庫(mysql、postgresql…)間進(jìn)行數(shù)據(jù)的傳遞。

數(shù)據(jù)吞吐量大：依賴hadoop集群可進(jìn)行大批量數(shù)據(jù)集成。

操作有技術(shù)要求：sqoop操作沒有可視化設(shè)計(jì)器，對(duì)使用人員有較專業(yè)的技術(shù)要求。

多種交互方式：命令行，web UI，rest API。

部署不方便：sqoop依賴大數(shù)據(jù)集群，使用sqoop要求數(shù)據(jù)傳輸?shù)牡脑匆c大數(shù)據(jù)集群的所有節(jié)點(diǎn)能進(jìn)行通信。

適用場景：適用于能與大數(shù)據(jù)集群直接通信的關(guān)系數(shù)據(jù)庫間的大批量數(shù)據(jù)傳輸。

DataX

??是阿里開源軟件異構(gòu)數(shù)據(jù)源離線同步工具，致力于實(shí)現(xiàn)包括關(guān)系型數(shù)據(jù)庫(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各種異構(gòu)數(shù)據(jù)源之間穩(wěn)定高效的數(shù)據(jù)同步功能。

易用性：以執(zhí)行腳本方式運(yùn)行，對(duì)使用人員技術(shù)要求較高。

性能：數(shù)據(jù)抽取性能高。

部署：可獨(dú)立部署

適用場景：在異構(gòu)數(shù)據(jù)庫/文件系統(tǒng)之間高速交換數(shù)據(jù)。

Canal

??canal，譯意為水道/管道/溝渠，主要用途是基于 MySQL 數(shù)據(jù)庫增量日志解析，提供增量數(shù)據(jù)訂閱和消費(fèi)。

• canal的數(shù)據(jù)同步不是全量的，而是增量。基于binary log增量訂閱和消費(fèi)，canal可以做：

  • 數(shù)據(jù)庫鏡像
  • 數(shù)據(jù)庫實(shí)時(shí)備份
  • 索引構(gòu)建和實(shí)時(shí)維護(hù)
  • 業(yè)務(wù)cache(緩存)刷新
  • 帶業(yè)務(wù)邏輯的增量數(shù)據(jù)處理

---

到底啦！

總結(jié)

以上是生活随笔為你收集整理的数据集成工具的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。