?

　　Apache Flink是一個(gè)用于分布式流和批處理數(shù)據(jù)處理的開源平臺(tái)。Flink的核心是流數(shù)據(jù)流引擎，為數(shù)據(jù)流上的分布式計(jì)算提供數(shù)據(jù)分發(fā)，通信和容錯(cuò)。Flink在流引擎之上構(gòu)建批處理，覆蓋本機(jī)迭代支持，托管內(nèi)存和程序優(yōu)化。

?

import org.apache.flink.api.scala.ExecutionEnvironmentobject BatchWordCountScala {def main(args: Array[String]): Unit = {val inputPath = "E:\\data\\file" //存放文件路徑val outPut = "E:\\data\\result" //結(jié)果val env = ExecutionEnvironment.getExecutionEnvironmentval text = env.readTextFile(inputPath)//引入隱式轉(zhuǎn)換import org.apache.flink.api.scala._val counts = text.flatMap(_.toLowerCase.split("\\W+")).filter(_.nonEmpty).map((_,1)).groupBy(0).sum(1)counts.writeAsCsv(outPut,"\n"," ").setParallelism(1)env.execute("batch word count")} }

?

轉(zhuǎn)載于:https://www.cnblogs.com/linkmust/p/10891332.html

總結(jié)

以上是生活随笔為你收集整理的初识Flink-从WorldCount开始的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。