Spark RDD的核心原理

1、Spark的核心概念是RDD (resilientdistributed dataset)，指的是一個只讀的，可分區的分布式數據集，這個數據集的全部或部分可以緩存在內存中，在多次計算間重用。

2、RDD在抽象上來說是一種元素集合，包含了數據。它是被分區的，分為多個分區，每個分區分布在集群中的不同Work節點上，從而讓RDD中的數據可以被并行操作。(分布式數據集)

3、RDD通常通過Hadoop上的文件，即HDFS文件或者Hive表，來進行創建;有時也可以通過RDD的本地創建轉換而來。

4、傳統的MapReduce雖然具有自動容錯、平衡負載和可拓展性的優點，但是其最大缺點是采用非循環式的數據流模型，使得在迭代計算式要進行大量的磁盤IO操作。RDD正是解決這一缺點的抽象方法。

RDD最重要的特性就是，提供了容錯性，可以自動從節點失敗中恢復過來。即如果某個節點上的RDD partition，因為節點故障，導致數據丟了，那么RDD會自動通過自己的數據來源重新計算該partition。這一切對使用者是透明的。RDD的lineage特性。

5、RDD的數據默認情況下存放在內存中的，但是在內存資源不足時，Spark會自動將RDD數據寫入磁盤。(彈性)

一、為什么會有Spark?

因為傳統的并行計算模型無法有效的解決迭代計算(iterative)和交互式計算(interactive)而Spark的使命便是解決這兩個問題，這也是他存在的價值和理由.

二、Spark如何解決迭代計算?

其主要實現思想就是RDD,把所有計算的數據保存在分布式的內存中.迭代計算通常情況下都是對同一個數據集做反復的迭代計算，數據在內存中將大大提升IO操作.這也是Spark涉及的核心:內存計算.

三、Spark如何實現交互式計算?

因為Spark是用scala語言實現的,Spark和scala能夠緊密的集成,所以Spark可以完美的運用scala的解釋器,使得其中的scala可以向操作本地集合對象一樣輕松操作分布式數據集.

四、Spark和RDD的關系?

可以理解為:RDD是一種具有容錯性基于內存的集群計算抽象方法,Spark則是這個抽象方法的實現.

想要了解更多Java相關的知識，歡迎關注我喲！?

本文來自千鋒教育，轉載請注明出處。

總結

以上是生活随笔為你收集整理的Spark RDD在Spark中的地位和作用如何？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。