kettle的输入组件
1、kettle里面的輸入,就是用來(lái)抽取數(shù)據(jù)或生成數(shù)據(jù),是ETL操作的E。
2、CSV文件是一種帶有固定格式的文本文件。注意:獲取字段的時(shí)候可以調(diào)整自己的字段類型,格式,滿足自己的需求哦。
3、文本文件輸入,提取日志信息的數(shù)據(jù)是開(kāi)發(fā)常見(jiàn)的操作,日志信息基本都是文本類型。
首先要獲取到要抽取的文本文件哦。
可以選擇自己的分隔符哦!
獲取字段,如下所示:
4、微軟的Excel目前有兩種后綴名的文件分別為:xls和xlsx。注意:xls:2007年之前,xlsx:2007年之后。
可以選擇自己的Sheet頁(yè)。
獲取到Excel輸入的字段,可以手動(dòng)調(diào)整字段類型。
5、多文件合并,數(shù)據(jù)往往也是以多個(gè)文件的形式出現(xiàn),有的數(shù)據(jù)還會(huì)分散在多個(gè)子文件夾。所以合并數(shù)據(jù)也是開(kāi)發(fā)中非常常見(jiàn)的操作。
6、XML 指可擴(kuò)展標(biāo)記語(yǔ)言(EXtensible Markup Language), XML 被設(shè)計(jì)用來(lái)傳輸和存儲(chǔ)數(shù)據(jù)。
XPath即為XML路徑語(yǔ)言(XML Path Language),它是一種用來(lái)確定XML文檔中某部分位置的語(yǔ)言。XPath基于XML的樹(shù)狀結(jié)構(gòu),提供在數(shù)據(jù)結(jié)構(gòu)樹(shù)中找尋節(jié)點(diǎn)的能力。
XPath-語(yǔ)法,選取節(jié)點(diǎn) XPath 使用路徑表達(dá)式在 XML 文檔中選取節(jié)點(diǎn)。節(jié)點(diǎn)是通過(guò)沿著路徑或者 step 來(lái)選取的。下面列出了最有用的路徑表達(dá)式:
? XPath,路徑表達(dá)式,示例,如下所示:
Get data from XML組件,具體使用如下所示:
獲取XML文檔的所有路徑,如果需要考慮命名空間,可以進(jìn)行勾選,如下所示:
字段,這里獲取字段,如果獲取不到你想要的結(jié)果,需要自己手動(dòng)編寫(xiě)名稱,XML路徑,切記,XML路徑是相對(duì)于自己最終獲取數(shù)據(jù)的路徑,節(jié)點(diǎn)、結(jié)果類型、類型等等自己可以自行選擇即可。
7、?生成記錄,數(shù)據(jù)倉(cāng)庫(kù)中絕大多數(shù)的數(shù)據(jù)都是業(yè)務(wù)系統(tǒng)生成的動(dòng)態(tài)數(shù)據(jù),但是其中一部分維度數(shù)據(jù)不是動(dòng)態(tài)的,比如:日期維度。靜態(tài)維度數(shù)據(jù)就可以提前生成。
8、JSON(JavaScript Object Notation, JS 對(duì)象簡(jiǎn)譜) 是一種輕量級(jí)的數(shù)據(jù)交換格式。JSON核心概念:數(shù)組、對(duì)象、屬性。數(shù)組:[ ]、對(duì)象:{ }、屬性:key:value。
JSONPath類似于XPath在xml文檔中的定位,JsonPath表達(dá)式通常是用來(lái)路徑檢索或設(shè)置Json的。其表達(dá)式可以接受“dot–notation”(點(diǎn)記法)和“bracket–notation”(括號(hào)記法)格式。
1)、點(diǎn)記法:$.store.book[0].title。推薦點(diǎn)記法哦。
2)、括號(hào)記法:$[‘store’][‘book’][0][‘title’]。
JSONPath-操作符,如下所示:
JSON Input圖元使用,如下所示:
字段,可以根據(jù)自己的需求,進(jìn)行填寫(xiě)字段。特別注意路徑的寫(xiě)法和規(guī)范哦。
可以多次使用JSON Input,最終查詢出自己想要的字段即可。
第二個(gè)JSON Input獲取第一個(gè)JSON Input的Json值。
9、Kettle的表輸入,這里,以Mysql為例,將mysql的jar包放入到\pdi-ce-8.2.0.0-342\data-integration\lib目錄下面。
數(shù)據(jù)庫(kù)驅(qū)動(dòng)是不同數(shù)據(jù)庫(kù)開(kāi)發(fā)商(比如oracle mysql等)為了某一種開(kāi)發(fā)語(yǔ)言環(huán)境(比如java)能夠?qū)崿F(xiàn)統(tǒng)一的數(shù)據(jù)庫(kù)調(diào)用而開(kāi)發(fā)的一個(gè)程序,他的作用相當(dāng)于一個(gè)翻譯人員。
Kettle的表輸入,使用如下所示:
?
作者:別先生
博客園:https://www.cnblogs.com/biehongli/
如果您想及時(shí)得到個(gè)人撰寫(xiě)文章以及著作的消息推送,可以掃描上方二維碼,關(guān)注個(gè)人公眾號(hào)哦。
?
總結(jié)
以上是生活随笔為你收集整理的kettle的输入组件的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: html 字体特效在线,盘点那些惊艳的H
- 下一篇: 模拟电路66(串联型稳压电路2)