隨著公司業(yè)務(wù)的增多，云數(shù)據(jù)庫(kù) RDS 下的 MySQL 數(shù)據(jù)庫(kù)的表越來越多，想要把它全部遷移到 MaxCompute 中進(jìn)行計(jì)算分析，但又愁要配置太多次同步任務(wù)。如何能將大量的數(shù)據(jù)表一次性上傳到 MaxCompute 中呢？通過大數(shù)據(jù)開發(fā)套件的整庫(kù)遷移功能，便可快速完成 MySQL 數(shù)據(jù)整庫(kù)遷移到 MaxCompute，從而節(jié)省同步時(shí)間，提高工作效率。

下面介紹一個(gè)適用于中小企業(yè)用戶，高效率低成本的數(shù)據(jù)同步方案：

對(duì)于自建或云數(shù)據(jù)庫(kù) RDS 的 MySQL 數(shù)據(jù)庫(kù)中的數(shù)據(jù)，都可以通過整庫(kù)遷移功能，快速同步到 MaxCompute 中進(jìn)行存儲(chǔ)與分析，流程圖如下：

云數(shù)據(jù)庫(kù) RDS ：RDS 是一種穩(wěn)定可靠、可彈性伸縮的在線數(shù)據(jù)庫(kù)服務(wù)，本實(shí)驗(yàn)主要使用 云數(shù)據(jù)庫(kù) MySQL 版。

MaxCompute：原名 ODPS，是由阿里云自主研發(fā)的一款服務(wù)，提供針對(duì)TB/PB級(jí)數(shù)據(jù)、實(shí)時(shí)性要求不高的分布式處理能力，它適用于海量數(shù)據(jù)的存儲(chǔ)、計(jì)算，商業(yè)智能等領(lǐng)域。

大數(shù)據(jù)開發(fā)套件：大數(shù)據(jù)開發(fā)套件提供全面托管的工作流服務(wù)，一站式開發(fā)管理的界面，幫助企業(yè)快速搭建數(shù)據(jù)中心。

實(shí)驗(yàn)?zāi)康暮颓捌谡f明

實(shí)驗(yàn)?zāi)康?#xff1a;
通過大數(shù)據(jù)開發(fā)套件的整庫(kù)遷移功能，快速把云數(shù)據(jù)庫(kù)中的數(shù)據(jù)同步到 MaxCompute 中。

前期說明：
用戶擁有阿里云官網(wǎng)實(shí)名認(rèn)證賬號(hào)，并且創(chuàng)建好賬號(hào) Access Key。

實(shí)驗(yàn)前的準(zhǔn)備工作

開通并創(chuàng)建 MaxCompute 項(xiàng)目

1 . 阿里云實(shí)名認(rèn)證賬號(hào)訪問 https://www.aliyun.com/product/odps ，根據(jù)自身需求進(jìn)行購(gòu)買，開通 MaxCompute；

2 . 點(diǎn)擊開通成功頁(yè)面的管理控制臺(tái)，進(jìn)入 MaxCompute 的 控制臺(tái)頁(yè)面；

3 . 創(chuàng)建項(xiàng)目。進(jìn)入控制臺(tái)頁(yè)面后導(dǎo)航至 大數(shù)據(jù)開發(fā)套件 — 項(xiàng)目列表，點(diǎn)擊 創(chuàng)建項(xiàng)目，如圖所示：

4 . 在彈出框中選擇區(qū)域和付費(fèi)方式，輸入項(xiàng)目名稱：

準(zhǔn)備同步數(shù)據(jù)

創(chuàng)建 RDS 實(shí)例

1 . 登錄 RDS 管理控制臺(tái)；
2 . 在 實(shí)例列表 頁(yè)面，單擊 新建實(shí)例，進(jìn)入 創(chuàng)建 頁(yè)面；
3 . 選擇包年包月或按量付費(fèi)，示例選擇包年包月。關(guān)于計(jì)費(fèi)方式的選擇，請(qǐng)參見 收費(fèi)項(xiàng)目及價(jià)格說明 中的計(jì)費(fèi)方式；
4 . 根據(jù)自身需求選擇基本配置、網(wǎng)絡(luò)類型、規(guī)格、存儲(chǔ)空間、購(gòu)買時(shí)長(zhǎng)和購(gòu)買量等實(shí)例配置，詳情請(qǐng)參見：創(chuàng)建實(shí)例中的選擇實(shí)例配置；
5 . 單擊立即購(gòu)買，進(jìn)入訂單確認(rèn)頁(yè)面；
6 . 閱讀關(guān)系型數(shù)據(jù)庫(kù) RDS 服務(wù)條款后，根據(jù)后續(xù)提示完成支付流程。

設(shè)置白名單

1 . 登錄 RDS 管理控制臺(tái)，選擇目標(biāo)實(shí)例；
2 . 在實(shí)例左側(cè)菜單中選擇 數(shù)據(jù)安全性；
3 . 在數(shù)據(jù)安全性頁(yè)面的默認(rèn)分組后單擊 修改，如下圖所示：

4 . 在修改白名單分組頁(yè)面刪除默認(rèn)白名單 127.0.0.1，填寫自定義白名單后，單擊 確定，如下圖所示：

組內(nèi)白名單：填寫可以訪問數(shù)據(jù)庫(kù)的 IP 地址或者 IP 段，IP 地址或者 IP 段間用英文逗號(hào)分隔。詳情請(qǐng)參見：設(shè)置白名單中的操作步驟。

創(chuàng)建賬號(hào)和數(shù)據(jù)庫(kù)

1 . 登錄 RDS 管理控制臺(tái)，選擇目標(biāo)實(shí)例；
2 . 選擇左側(cè)菜單中的 賬號(hào)管理，單擊 創(chuàng)建賬號(hào)，如下圖所示：

3 . 輸入要?jiǎng)?chuàng)建的賬號(hào)信息，單擊 確定，如下圖所示：

4 . 選擇菜單中的 數(shù)據(jù)庫(kù)管理，單擊 創(chuàng)建數(shù)據(jù)庫(kù)，如下圖所示：

5 . 輸入要?jiǎng)?chuàng)建的數(shù)據(jù)庫(kù)信息，單擊 確定，如下圖所示：

登錄數(shù)據(jù)庫(kù)

進(jìn)入數(shù)據(jù)庫(kù)管理頁(yè)面，點(diǎn)擊上側(cè) 登錄數(shù)據(jù)庫(kù)，在彈出頁(yè)面填寫數(shù)據(jù)庫(kù)用戶名和密碼，如下圖所示：

創(chuàng)建表并準(zhǔn)備數(shù)據(jù)

1 . 成功登錄數(shù)據(jù)庫(kù)后，點(diǎn)擊 SQL 操作下的 SQL 窗口，如下圖所示：

2 . 輸入建表語(yǔ)句，點(diǎn)擊執(zhí)行,示例如下：

CREATE TABLE `a1` (`id` int(11) NULL,`col1` varchar(32) NULL,`col2` varchar(32) NULL,`col3` varchar(32) NULL,`col4` varchar(32) NULL )ENGINE=InnoDBDEFAULT CHARACTER SET=utf8 COLLATE=utf8_general_ci;

3 . 根據(jù)自身需求寫入數(shù)據(jù)即可，insert 語(yǔ)句如下：

`INSERT INTO table_name(col_name,...) values(expr,...)`

整庫(kù)遷移配置

新增數(shù)據(jù)源

1 . 登錄到大數(shù)據(jù)開發(fā)套件 數(shù)據(jù)集成產(chǎn)品頁(yè)，單擊左側(cè)導(dǎo)航欄離線同步—數(shù)據(jù)源，進(jìn)入數(shù)據(jù)源管理頁(yè)面，如下圖所示：

2 . 點(diǎn)擊右上角的 新增數(shù)據(jù)源，添加一個(gè)面向整庫(kù)遷移的 MySQL 數(shù)據(jù)源 mysql_demo，填寫相關(guān)信息，如下圖所示：

各配置項(xiàng)的說明請(qǐng)參見：RDS 數(shù)據(jù)源配置之新建 RDS-MySQL 數(shù)據(jù)源。
3 . 點(diǎn)擊 測(cè)試連通性 驗(yàn)證數(shù)據(jù)源訪問正確無誤后，確認(rèn)并保存此數(shù)據(jù)源。

整庫(kù)遷移

1 . 進(jìn)入數(shù)據(jù)源列表頁(yè)面，找到新增的數(shù)據(jù)源，點(diǎn)擊對(duì)應(yīng) MySQL 數(shù)據(jù)源后的 整庫(kù)遷移，即可進(jìn)入對(duì)應(yīng)數(shù)據(jù)源的整庫(kù)遷移功能界面，如下圖所示：

2 . 點(diǎn)擊右上角 高級(jí)設(shè)置 按鈕，您可以根據(jù)自身需求選擇轉(zhuǎn)換規(guī)則。比如 MaxCompute 端建表時(shí)統(tǒng)一增加了 ods_ 這一前綴，如下圖所示：

3 . 根據(jù)自身需求選擇需要遷移的數(shù)據(jù)表、同步方式、日期字段、同步并發(fā)配置、開始時(shí)間和同步數(shù)量，如下圖所示：

4 . 點(diǎn)擊 a1 表后對(duì)應(yīng)的查看任務(wù)，會(huì)跳轉(zhuǎn)到數(shù)據(jù)集成的任務(wù)開發(fā)界面。如下圖所示：

由上圖可以看到：源頭 a1 表對(duì)應(yīng)的 MaxCompute 表 ods_a1 創(chuàng)建成功，列的名字和類型也符合之前映射轉(zhuǎn)換配置。在左側(cè)目錄樹 mysql_demo 目錄下，會(huì)有對(duì)應(yīng)的所有整庫(kù)遷移任務(wù)，任務(wù)命名規(guī)則是: mysql2odps 源表名，如上圖紅框部分所示。

5 . 此時(shí)便成功將一個(gè) MySQL 數(shù)據(jù)源 mysql_demo 整庫(kù)遷移到 MaxCompute 的工作。這些任務(wù)會(huì)根據(jù)配置的調(diào)度周期（默認(rèn)天調(diào)度）被調(diào)度執(zhí)行，您也可以使用 DataWorks DataIde 調(diào)度補(bǔ)數(shù)據(jù)功能完成歷史數(shù)據(jù)的傳輸。

通過 數(shù)據(jù)集成-整庫(kù)遷移功能 可以極大減少您初始化上云的配置、遷移成本。

新人創(chuàng)作打卡挑戰(zhàn)賽發(fā)博客就能抽獎(jiǎng)！定制產(chǎn)品紅包拿不停！

總結(jié)

以上是生活随笔為你收集整理的【大数据新手上路】“零基础”系列课程--MySQL 数据整库迁移到 MaxCompute的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。