1、處理方式

數(shù)據(jù)傾斜的問題優(yōu)先從數(shù)據(jù)源解決，以下方法是輔助緩解：

spark-sql任務(wù)，可以嘗試distribute by () 某個字段

參考文檔調(diào)優(yōu)： https://blog.csdn.net/lsshlsw/article/details/52025949

數(shù)據(jù)傾斜的定位方法：

選取key，對數(shù)據(jù)進(jìn)行抽樣，統(tǒng)計出現(xiàn)的次數(shù)，根據(jù)出現(xiàn)次數(shù)大小排序取出前幾個

df.select("key") .sample(false,0.1) .(k=>(k,1)) .reduceBykey(_+_) .map(k=>(k._2,k._1)) .sortByKey(false) .take(10)

2、數(shù)據(jù)傾斜情況

null（空值）或是一些無意義的信息()之類的,大多是這個原因引起。

無效數(shù)據(jù)，大量重復(fù)的測試數(shù)據(jù)或是對結(jié)果影響不大的有效數(shù)據(jù)。

有效數(shù)據(jù)，業(yè)務(wù)導(dǎo)致的正常數(shù)據(jù)分布。

3、解決辦法

第1，2種情況，直接對數(shù)據(jù)進(jìn)行過濾即可。

第3種情況則需要進(jìn)行一些特殊操作，常見的有以下幾種做法。隔離執(zhí)行，將異常的key過濾出來單獨處理，最后與正常數(shù)據(jù)的處理結(jié)果進(jìn)行union操作。對key先添加隨機值，進(jìn)行操作后，去掉隨機值，再進(jìn)行一次操作。

4、注意事項

SQL中Join關(guān)聯(lián)key使用rand()可能導(dǎo)致數(shù)據(jù)重復(fù)（丟失）問題

5、參考資料

建議認(rèn)真閱讀參考資料：
http://www.jasongj.com/spark/skew/
https://www.iteblog.com/archives/1671.html

--------------------------------------------------------------------------------

?

--------------------------------------------------------------------------------

有問題請聯(lián)系QQ:765120845

歡迎關(guān)注微信公眾號? 【阿龍學(xué)堂】,更多編程基礎(chǔ)知識及機器學(xué)習(xí)學(xué)習(xí)內(nèi)容

?

總結(jié)

以上是生活随笔為你收集整理的阿龙学堂-Spark 数据倾斜如何处理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。