目錄

• distinct和dropDuplicates的區(qū)別聯(lián)系
• IDEA下載Git項(xiàng)目
• 解決A master URL must be set in your configuration錯(cuò)誤
• IntelliJ IDEA（2019版本） 設(shè)置控制臺(tái)里不顯示INFO信息
• Scala集合：Map、Set、List
• scala使用Range來(lái)填充一個(gè)集合
• dataframe增加列
• 將記錄中某個(gè)值替換成另外一個(gè)值
• SPARK-SQL內(nèi)置函數(shù)之時(shí)間日期類
• Scala之Calendar,SimpleDateFormat簡(jiǎn)單用法
• Window.partitionBy
• Spark查看變量數(shù)據(jù)類型和Dataframe每列類型
• Scala中 zip或者zipWithIndex的用法
• Spark-SQL之DataFrame操作
• spark 獲取dataframe所有列
• Spark中DataFrame的schema講解
• spark dataframe的時(shí)間類型和String類型轉(zhuǎn)化
• Spark中對(duì)Dataframe的union 、unionAll和 unionByName方法說(shuō)明
• spark的union和join操作演示
• DataFrame的repartition、partitionBy、coalesce區(qū)別
• spark編譯問(wèn)題解決 object apache is not a member of package org
• IDEA錯(cuò)誤：Cannot start compilation: the output path is not specified for module "Test". Specify the out
• Spark中 = = 、= = =之間的區(qū)別
• spark自定義函數(shù)之——UDF使用詳解及代碼示例
• Spark之中map與flatMap的區(qū)別
• MapReduce基本原理及應(yīng)用
• DataFrame的apply()、applymap()、map()方法
• spark自定義函數(shù)之——UDF使用詳解及代碼示例
• Scala錯(cuò)誤: 找不到或無(wú)法加載主類
• Idea啟動(dòng)項(xiàng)目報(bào)錯(cuò):Command line is too long.
• random.nextInt()的用法

distinct和dropDuplicates的區(qū)別聯(lián)系

distinct數(shù)據(jù)去重
使用distinct：返回當(dāng)前DataFrame中不重復(fù)的Row記錄。該方法和接下來(lái)的dropDuplicates()方法不傳入指定字段時(shí)的結(jié)果相同。

dropDuplicates：根據(jù)指定字段去重
跟distinct方法不同的是，此方法可以根據(jù)指定字段去重。

IDEA下載Git項(xiàng)目

參考：https://blog.csdn.net/my_springlove/article/details/80184560

解決A master URL must be set in your configuration錯(cuò)誤

參考：https://blog.csdn.net/shenlanzifa/article/details/42679577

IntelliJ IDEA（2019版本） 設(shè)置控制臺(tái)里不顯示INFO信息

參考

Scala集合：Map、Set、List

參考

scala使用Range來(lái)填充一個(gè)集合

對(duì)于支持range方法的集合你可以直接調(diào)用range方法，或者創(chuàng)建一個(gè)Range對(duì)象然后把它轉(zhuǎn)化為一個(gè)目標(biāo)集合。
參考

dataframe增加列

參考

將記錄中某個(gè)值替換成另外一個(gè)值

df1 = df1.withColumn("columnA", when($"date_1" === 10000, lit(null)).otherwise($"date_1"))

SPARK-SQL內(nèi)置函數(shù)之時(shí)間日期類

參考

Scala之Calendar,SimpleDateFormat簡(jiǎn)單用法

參考

Window.partitionBy

參考

Spark查看變量數(shù)據(jù)類型和Dataframe每列類型

參考

Scala中 zip或者zipWithIndex的用法

參考

Spark-SQL之DataFrame操作

參考

spark 獲取dataframe所有列

dataFrame.schema.fields.map(f =>f.name).toList

Spark中DataFrame的schema講解

參考

spark dataframe的時(shí)間類型和String類型轉(zhuǎn)化

參考

Spark中對(duì)Dataframe的union 、unionAll和 unionByName方法說(shuō)明

參考

spark的union和join操作演示

參考

DataFrame的repartition、partitionBy、coalesce區(qū)別

參考

spark編譯問(wèn)題解決 object apache is not a member of package org

解決：

右鍵工程-open module setting-Libraries-spark-assembly-1.0.0-hadoop1.0.4.jar（添加spark的jar包-保存

IDEA錯(cuò)誤：Cannot start compilation: the output path is not specified for module “Test”. Specify the out

參考

Spark中 = = 、= = =之間的區(qū)別

參考

spark自定義函數(shù)之——UDF使用詳解及代碼示例

參考

Spark之中map與flatMap的區(qū)別

參考

MapReduce基本原理及應(yīng)用

參考

DataFrame的apply()、applymap()、map()方法

參考

spark自定義函數(shù)之——UDF使用詳解及代碼示例

參考

Scala錯(cuò)誤: 找不到或無(wú)法加載主類

參考

Idea啟動(dòng)項(xiàng)目報(bào)錯(cuò):Command line is too long.

參考

random.nextInt()的用法

參考

總結(jié)

以上是生活随笔為你收集整理的Scala，Spark和IDEA学习笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。