簡(jiǎn)介：?數(shù)據(jù)集成是簡(jiǎn)單高效的數(shù)據(jù)同步平臺(tái)，致力于提供具有強(qiáng)大的數(shù)據(jù)預(yù)處理能力、豐富的異構(gòu)數(shù)據(jù)源之間數(shù)據(jù)高速穩(wěn)定的同步能力，為數(shù)據(jù)中臺(tái)的建設(shè)打好堅(jiān)實(shí)的數(shù)據(jù)基座。

數(shù)據(jù)中臺(tái)是當(dāng)下大數(shù)據(jù)領(lǐng)域最前沿的數(shù)據(jù)建設(shè)體系, 它并不是從零開(kāi)始, 無(wú)中生有的。數(shù)據(jù)中臺(tái)是傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)的一種升級(jí), 是數(shù)據(jù)采集、建設(shè)、管理與使用的一整套體系。Dataphin是一個(gè)構(gòu)建數(shù)據(jù)中臺(tái)的強(qiáng)大工具, 數(shù)據(jù)集成是Dataphin的組成部分，負(fù)責(zé)數(shù)據(jù)“采”、“建”、“管”“用”中的采集部分。數(shù)據(jù)集成是簡(jiǎn)單高效的數(shù)據(jù)同步平臺(tái)，致力于提供具有強(qiáng)大的數(shù)據(jù)預(yù)處理能力、豐富的異構(gòu)數(shù)據(jù)源之間數(shù)據(jù)高速穩(wěn)定的同步能力，為數(shù)據(jù)中臺(tái)的建設(shè)打好堅(jiān)實(shí)的數(shù)據(jù)基座。

(Dataphin：面向各行各業(yè)大數(shù)據(jù)建設(shè)、管理及應(yīng)用訴求，一站式提供從數(shù)據(jù)接入到數(shù)據(jù)消費(fèi)全鏈路的智能數(shù)據(jù)構(gòu)建與管理的大數(shù)據(jù)能力，包括產(chǎn)品、技術(shù)和方法論等，助力打造標(biāo)準(zhǔn)統(tǒng)一、融會(huì)貫通、資產(chǎn)化、服務(wù)化、閉環(huán)自優(yōu)化的智能數(shù)據(jù)體系，以驅(qū)動(dòng)創(chuàng)新。)

數(shù)據(jù)集成定位

數(shù)據(jù)集成是數(shù)據(jù)中臺(tái)建設(shè)中最基礎(chǔ)的工作，將不同系統(tǒng)的數(shù)據(jù)相互打通，實(shí)現(xiàn)數(shù)據(jù)自由離線或?qū)崟r(shí)流動(dòng)。

面對(duì)各行各業(yè)對(duì)大數(shù)據(jù)越來(lái)越多的應(yīng)用，對(duì)數(shù)據(jù)集成也有了更多的訴求。包括：能夠簡(jiǎn)單高效的配置大量數(shù)據(jù)表的同步任務(wù)；能夠集成多種異構(gòu)數(shù)據(jù)源；能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)源的數(shù)據(jù)進(jìn)行輕度預(yù)處理；能夠?qū)崿F(xiàn)數(shù)據(jù)同步任務(wù)的調(diào)優(yōu)（例如容錯(cuò)，限速，并發(fā)）等。Dataphin的數(shù)據(jù)集成模塊主要面向企業(yè)數(shù)據(jù)開(kāi)發(fā)人員，以組件拖拉拽的形式，幫助企業(yè)高效構(gòu)建大數(shù)據(jù)流通管道，從而將各種煙囪狀態(tài)的數(shù)據(jù)匯聚到數(shù)據(jù)中臺(tái)。

數(shù)據(jù)集成能力

數(shù)據(jù)集成旨在為用戶構(gòu)建簡(jiǎn)單高效、安全可靠的數(shù)據(jù)同步平臺(tái)：

• 支持通過(guò)整庫(kù)遷移（快速生成批量同步任務(wù)）和一鍵生成目標(biāo)表的方式，提高數(shù)據(jù)集成的效率。
• 支持流程和轉(zhuǎn)換組件，實(shí)現(xiàn)數(shù)據(jù)源的數(shù)據(jù)預(yù)處理（例如清洗、轉(zhuǎn)換、字段脫敏、計(jì)算、合并、分發(fā)、過(guò)濾等）能力。
• 支持豐富的異構(gòu)數(shù)據(jù)源，實(shí)現(xiàn)數(shù)據(jù)源之間數(shù)據(jù)高速穩(wěn)定的同步能力。
• 支持Dev-Prod和Basic的開(kāi)發(fā)模式，您可以根據(jù)業(yè)務(wù)場(chǎng)景進(jìn)行靈活選擇開(kāi)發(fā)模式。
• 支持將Dataphin中創(chuàng)建的邏輯表快速地同步到目標(biāo)庫(kù)。
• 用戶可自定義系統(tǒng)尚未支持的數(shù)據(jù)源組件，以滿足不同業(yè)務(wù)場(chǎng)景數(shù)據(jù)同步的需求。

數(shù)據(jù)集成場(chǎng)景關(guān)注要點(diǎn)

- 易用性

用戶進(jìn)行數(shù)據(jù)中臺(tái)建設(shè)時(shí)，需要集成的表的數(shù)量往往很多，需要進(jìn)行大量重復(fù)的繁瑣配置工作。

Dataphin的數(shù)據(jù)集成通過(guò)高效的拖拽式操作，自動(dòng)化一鍵自動(dòng)建表、組件復(fù)制和整體管道配置復(fù)制，批量化的整庫(kù)遷移等操作可大大提高系統(tǒng)的易用性及操作效率。

Dataphin的數(shù)據(jù)集成的畫(huà)布數(shù)據(jù)的輸入、轉(zhuǎn)換、輸出組件、采集工作流、采集任務(wù)等可視化功能，使管理員直觀的掌握數(shù)據(jù)采集情況。

Dataphin的數(shù)據(jù)集成在任務(wù)搭建過(guò)程中支持同步任務(wù)試運(yùn)行、度量查看、數(shù)據(jù)預(yù)覽，方便用戶進(jìn)行數(shù)據(jù)集成任務(wù)的調(diào)試。

- 多源異構(gòu)的數(shù)據(jù)同步能力

在企業(yè)信息化建設(shè)過(guò)程中，由于各業(yè)務(wù)系統(tǒng)建設(shè)和實(shí)施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其它經(jīng)濟(jì)和人為因素等因素影響，導(dǎo)致企業(yè)在發(fā)展過(guò)程中積累了大量采用不同存儲(chǔ)方式的業(yè)務(wù)數(shù)據(jù)，包括采用的數(shù)據(jù)管理系統(tǒng)也大不相同，從簡(jiǎn)單的文件數(shù)據(jù)庫(kù)到復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)庫(kù)，它們構(gòu)成了企業(yè)的異構(gòu)數(shù)據(jù)源。

在數(shù)據(jù)中臺(tái)的建設(shè)中，需要支持各種異構(gòu)數(shù)據(jù)源的數(shù)據(jù)集成，Dataphin的數(shù)據(jù)集成可支持30+種數(shù)據(jù)源的支持，同時(shí)可自定義數(shù)據(jù)源進(jìn)行靈活接入。

- 數(shù)據(jù)預(yù)處理、同步配置能力

在數(shù)據(jù)集成過(guò)程中，來(lái)源端數(shù)據(jù)會(huì)有輕度預(yù)處理訴求，比如敏感數(shù)據(jù)加密、數(shù)據(jù)過(guò)濾、分庫(kù)分表數(shù)據(jù)合并、追 加字等。也會(huì)有各式各樣同步配置訴求，如容錯(cuò)，限速，并發(fā)，同步過(guò)程調(diào)試等。

Dataphin的數(shù)據(jù)集成支持?jǐn)?shù)據(jù)清洗轉(zhuǎn)換能力，提供字段計(jì)算、合并、分發(fā)、過(guò)濾、字段脫敏等組件或函數(shù)，支持容錯(cuò)配置、并發(fā)配置、限速配置等。

以上就是Dataphin的核心功能數(shù)據(jù)集成的介紹, 希望能幫助您更好地使用Dataphin數(shù)據(jù)集成功能。

原文鏈接
本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的Dataphin功能：集成——如何将业务系统的数据抽取汇聚到数据中台的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。