请给出一个Scala RDD的HelloWorld例子
[學習筆記]
package com
import org.apache.spark.rdd.RDD
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object TestRDD {
? def main(args: Array[String]): Unit = {
??? val conf = new SparkConf().setAppName("TestRDD").setMaster("local")
??? val sc = new SparkContext(conf)
??? val rdd1 = sc.makeRDD(List(1, 4, 3, 7, 5))
??? val rdd1_1 = rdd1.map { y => y * y }
??? val aList = rdd1_1.collect()
??? println("map 用法? is " + aList.mkString(","))
??? val rdd2 = sc.makeRDD(Array(1, 4, 3, 7, 5))
??? val rdd2_1 = rdd2.filter { x => x < 5 }
??? println("filter 用法 " + rdd2_1.collect().mkString(","))
文章轉載自原文:https://blog.csdn.net/qq_44596980/article/details/93309621
轉載于:https://www.cnblogs.com/haima1949/p/11227010.html
總結
以上是生活随笔為你收集整理的请给出一个Scala RDD的HelloWorld例子的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 使用java中replaceAll方法替
- 下一篇: smartupload 上传文件时 把页