2018年9月大數(shù)據(jù)計算服務(wù) MaxCompute 又發(fā)布新功能啦！

【新功能】MaxCompute窗口函數(shù)支持WINDOW_CLAUSE

參考文檔

適用客戶

數(shù)據(jù)開發(fā)人員在進(jìn)行數(shù)據(jù)開發(fā)過程中，用到調(diào)用window函數(shù)窗口時，SQL里反復(fù)寫上OVER語句會顯得冗余，MaxCompute在該版本中支持WINDOW語句預(yù)定義窗口，避免了這一現(xiàn)象。

發(fā)布功能

為了避免多次調(diào)用window函數(shù)窗口時，SQL里反復(fù)寫上OVER語句會顯得冗余，MaxCompute在該版本中支持WINDOW語句預(yù)定義窗口。

【新功能】子查詢支持SCALAR SUBQUERY?
參考文檔

適用客戶

適用于數(shù)據(jù)開發(fā)人員，在做數(shù)據(jù)開發(fā)時，遇到SUBQUERY的輸出結(jié)果為單行單列的時候，可以當(dāng)做標(biāo)量來使用。

發(fā)布功能

MaxCompute SQL 中當(dāng)SUBQUERY的輸出結(jié)果為單行單列的時候，可以當(dāng)做標(biāo)量來使用。

【新功能】MaxCompute SQL-支持OUTER LATERAL VIEW?
參考文檔

適用客戶

適用于數(shù)據(jù)開發(fā)人員，在做數(shù)據(jù)拆分的同時進(jìn)行聚合的需求時，使用Outer Lateral View功能和split、explode等UDTF一起封裝使用。

發(fā)布功能

Lateral view通常和split、explode等UDTF一起封裝使用，它能夠?qū)⒁恍袛?shù)據(jù)拆成多行數(shù)據(jù)，在此基礎(chǔ)上可以對拆分后的數(shù)據(jù)進(jìn)行聚合。
Lateral view首先為原始表的每行調(diào)用UDTF，UDTF會把一行拆分成一行或者多行，Lateral view再把結(jié)果聚合，產(chǎn)生一個支持別名表的虛擬表。
Lateral view outer：當(dāng)table function不輸出任何一行時，對應(yīng)的輸入行在Lateral view結(jié)果中依然保留，且所有table function輸出列為null。

【新功能】MaxCompute 支持使用UDJ(User Defined Join)自定義SQL的Join操作?
參考文檔

適用客戶

數(shù)據(jù)開發(fā)人員在遇到很多跨表操作的需求時，原來要依賴于內(nèi)置join + 各種UDF/UDTF+復(fù)雜的SQL語句來完成，一些情況下還只能完全自定義MR來完成，這兩個方式門檻高且執(zhí)行效率低。MaxCompute在UDF框架中新近引入的一種新擴(kuò)展機(jī)制：UDJ(User Defined Join)，來實(shí)現(xiàn)靈活的跨表、多表自定義操作，同時減少不得不通過MR等方式對分布式系統(tǒng)底層細(xì)節(jié)的操作。

發(fā)布功能

MaxCompute在UDF框架中新近引入的一種新擴(kuò)展機(jī)制：UDJ(User Defined Join) 來實(shí)現(xiàn)靈活的跨表、多表自定義操作，同時減少不得不通過MR等方式對分布式系統(tǒng)底層細(xì)節(jié)的操作。

【新功能】MaxCompute支持使用UDT在SQL中直接引用第三方語言的類或者對象，獲取其數(shù)據(jù)?
參考文檔

適用客戶

適用于數(shù)據(jù)開發(fā)人員在進(jìn)行數(shù)據(jù)開發(fā)過程中，為了實(shí)現(xiàn)一些簡單的功能而用到第三方語言的類或?qū)ο髸r，之前只能使用UDF這個過程繁雜的方式，通過UDT則可以直接在SQL中直接調(diào)用，提升了SQL語言編譯過程的易用性與語言的表達(dá)能力，進(jìn)而提升數(shù)據(jù)開發(fā)人員的工作效率。

發(fā)布功能

MaxCompute的UDT提供了調(diào)用第三方庫的功能，不需要用特殊的DDL語法來定義類型的映射，直接在SQL中使用。

【新功能】國際站開啟FullScan限制功能?
參考文檔

適用客戶

追求成本控制的MaxCompu用戶。

發(fā)布功能

通過限制全表掃描，可以控制SQL/MR計算量，避免用戶因暴力掃描導(dǎo)致的貴賬單。

【體驗優(yōu)化】MaxCompute優(yōu)化器(Optimizer)性能提升

MaxCompute優(yōu)化器(Optimizer)基于MaxCompute-bench測試集合整體性能在生產(chǎn)環(huán)境可以提高約7%。

優(yōu)化功能

1、Advanced Shuffle Remove：可以支持Sorted Merge Join和Sorted Aggregate的排序和分布屬性被后續(xù)操作利用，從而減少Shffle操作。
2、Dynamic Parallelism： 對運(yùn)行時的數(shù)據(jù)量動態(tài)估計reduce數(shù)量。
3、Auto Map Parallelism：Map split size支持列裁剪和壓縮比估計。
4、Map Join小表匯集： Map Join小表將首先匯集到單節(jié)點(diǎn)，提升broadcast的效率。
5、多處優(yōu)化性能調(diào)優(yōu)：分區(qū)裁剪、代價估計算法的性能有多處調(diào)優(yōu)，優(yōu)化做得更快。
6、更完整的Join Grouping。

【新地域/可用區(qū)】大數(shù)據(jù)計算服務(wù) MaxCompute 英國（倫敦）節(jié)點(diǎn)正式開服售賣?
現(xiàn)在開通

大數(shù)據(jù)計算服務(wù) MaxCompute 英國（倫敦）節(jié)點(diǎn)開服售賣。 可在國際站、中文站、日本站購買迪拜節(jié)點(diǎn)資源，在控制臺按需求開通project。

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的阿里云 MaxCompute 2018-09 新功能发布的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。