java编写单词数_JAVA flink小试——单词计数
本文用java來實現一個簡單的fink計數單詞。
本文寫了兩個flink版本,一個普通版本,一個lambda版本。有以下注意點:
寫法差異,lambda需要調用return方法,而普通版本是不需要的。
在導包時,注意不要導成Scala中包,很多類名在flink和Scala中都有同名。會衍生出不必要的錯誤。比如Tuple2這個類。
在本地執行命令:
curl https://flink.apache.org/q/quickstart.sh | bash
會下載一個官網的示例,主要看中了他的pom文件。可以將他的項目導入IDEA中,編寫自己的示例程序。
package org.myorg.test;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import java.util.stream.Stream;
/**
* @author lingbao08
* @DESCRIPTION
* @create 2019-09-15 13:23
**/
public class WordCount {
public static void main(String[] args) throws Exception {
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
DataSet text = env.fromElements("我是中國人,我愛中國");
//普通版本
DataSet> counts =
text.flatMap(new FlatMapFunction>() {
@Override
public void flatMap(String s, Collector> collector) throws Exception {
String[] split = s.split("");
for (String s1 : split) {
if (s1.length() > 0)
collector.collect(new Tuple2(s1, 1));
}
}
}).groupBy(0)
.sum(1);
counts.print();
}
}
lambda版本:
DataSet> counts =
text.flatMap((FlatMapFunction>) (s, collector) -> {
Stream.of(s.split("")).forEach(v -> collector.collect(new Tuple2<>(v, 1)));
}).returns(Types.TUPLE(Types.STRING, Types.INT)).groupBy(0)
.sum(1);
counts.print();
總結
以上是生活随笔為你收集整理的java编写单词数_JAVA flink小试——单词计数的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 我的世界1.7.10java下载安装_我
- 下一篇: bbs mysql_简单BBS程序(需M