Spark Streaming的工作机制
生活随笔
收集整理的這篇文章主要介紹了
Spark Streaming的工作机制
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
?1.?Spark Streaming的工作機制
? ? ?Spark Streaming?是Spark核心API的一個擴展,可以實現高吞吐量的、具備容錯機制的實時流數據的處理。
? ? ?支持從多種數據源獲取數據,包括Kafk、Flume、Twitter、ZeroMQ、Kinesis?以及TCP sockets,
? ? ?從數據源獲取數據之后,可以使用諸如map、reduce、join和window等高級函數進行復雜算法的處理。
? ? ?最后還可以將處理結果存儲到文件系統,數據庫和現場儀表盤。
?
2.編寫Spark Streaming程序的基本步驟:
?
? ? ?
? ? ??
?
轉載于:https://www.cnblogs.com/sevenyang/p/9785438.html
總結
以上是生活随笔為你收集整理的Spark Streaming的工作机制的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: JQuery中html、append、a
- 下一篇: VS2008中设置字体大小和添加显示行号