2019獨角獸企業重金招聘Python工程師標準>>>

Spark是什么？

Spark是一個用來實現快速而通用的集群計算平臺。

一個大一統的軟件棧：Spark核心是一個由多個計算任務組成的、運行在多個組合機器或者是一個計算的集群上的應用進行調度、分發以及監控的計算引擎。Spark具有速度快和通用的特點，使得各個組件可以無縫連接，節省項目時間。

Spark Code

實現了Spark的基本功能：任務調度，內存管理，錯誤恢復，存儲系統交互等。

SparkSQL

可以支持HiveSQL和SQL等來查詢數據，支持多種數據源。

Spark Streaming

Spark實時數據進行流式計算的組件。

MLlib

Spark機器學習的程序庫。

集群管理器

Spark支持多種集群管理器，如自身的簡易調度器，HadoopYarn，ApacheMesos等。

Spark存儲層次

不僅可以將任何Hadoop上HDFS上讀取文件，也支持Hadoop其他接口：本地文件，Hive，HBase等。

?

轉載于:https://my.oschina.net/ilovetao/blog/873405

總結

以上是生活随笔為你收集整理的认识Spark的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。