1、交叉表（crosstab)：

pandas中也有，常和pivot_table比較。

查看家庭ID與評(píng)分的交叉表：

2、處理缺失值：fillna

withColumn：新增一列數(shù)據(jù)

cast : 用于將某種數(shù)據(jù)類型的表達(dá)式顯式轉(zhuǎn)換為另一種數(shù)據(jù)類型

?將缺失值刪除：dropna

3、處理重復(fù)值

查看有沒(méi)有重復(fù)值存在：distinct().count()

將重復(fù)值去除：dropDuplicates()

?4、dataframe的agg應(yīng)用：

?

轉(zhuǎn)載于:https://www.cnblogs.com/Lee-yl/p/9771975.html

總結(jié)

以上是生活随笔為你收集整理的（4）pyspark---dataframe清理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。