簡(jiǎn)介：?Kettle是一款開源的ETL工具，純java實(shí)現(xiàn)，可以運(yùn)行于Windows, Unix, Linux上運(yùn)行，提供圖形化的操作界面，可以通過拖拽控件的方式，方便地定義數(shù)據(jù)傳輸?shù)耐負(fù)洹ettle支持豐富的數(shù)據(jù)輸入輸出源，數(shù)據(jù)庫(kù)支持Oracle，MySql，DB2等，也支持業(yè)界各種開源的大數(shù)據(jù)系統(tǒng)，例如HDFS, HBase, Cassandra, MongoDB等。本文將介紹如何利用MaxCompute的插件無(wú)縫對(duì)接阿里云的大數(shù)據(jù)計(jì)算平臺(tái)——MaxCompute。

本示例使用的工具及驅(qū)動(dòng)版本
Kettle	8.2.0.0-342
MaxCompute JDBC驅(qū)動(dòng)	v3.2.8

Setup

下載并安裝Kettle

下載MaxCompute JDBC driver

將MaxCompute JDBC driver置于Kettle安裝目錄下的lib子目錄（data-integration/lib）

啟動(dòng)spoon

Job

我們可以通過Kettle + MaxCompute JDBC driver來(lái)實(shí)現(xiàn)對(duì)MaxCompute中任務(wù)的組織和執(zhí)行。

首先需要執(zhí)行以下操作：

新建Job

新建Database Connection
JDBC連接串格式為：jdbc:odps:<maxcompute_endpoint>?project=<maxcompute_project_name>
JDBC driver class為：com.aliyun.odps.jdbc.OdpsDriver
Username為阿里云AccessKey Id
Password為阿里云AccessKey Secret
JDBC更多配置見：https://help.aliyun.com/document_detail/161246.html

之后，可以根據(jù)業(yè)務(wù)需要，通過SQL節(jié)點(diǎn)訪問MaxCompute。下面我們以一個(gè)簡(jiǎn)單的ETL過程為例：

?Create table節(jié)點(diǎn)的配置如下：

需要注意：

這里Connection需要選擇我們配置好的

不要勾選Send SQL as single statement

Load from OSS節(jié)點(diǎn)配置如下：

?需要注意的點(diǎn)同Create table節(jié)點(diǎn)。有關(guān)更多Load的用法，見：https://help.aliyun.com/document_detail/157418.html

Processing節(jié)點(diǎn)配置如下：

?需要注意的點(diǎn)同Create table節(jié)點(diǎn)。

原文鏈接
本文為阿里云原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的Kettle on MaxCompute使用指南的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。