在spark程序中，當(dāng)一個(gè)傳遞給Spark操作(例如map和reduce)的函數(shù)在遠(yuǎn)程節(jié)點(diǎn)上面運(yùn)行時(shí)，Spark操作實(shí)際上操作的是這個(gè)函數(shù)所用變量的一個(gè)獨(dú)立副本。這些變量會(huì)被復(fù)制到每臺(tái)機(jī)器上，并且這些變量在遠(yuǎn)程機(jī)器上的所有更新都不會(huì)傳遞回驅(qū)動(dòng)程序。通常跨任務(wù)的讀寫變量是低效的，但是，Spark還是為兩種常見的使用模式提供了兩種有限的共享變量：廣播變（broadcast variable）和累加器（accumulator）

一、　廣播變量

如果我們要在分布式計(jì)算里面分發(fā)大對(duì)象，例如：字典，集合，黑白名單等，這個(gè)都會(huì)由Driver端進(jìn)行分發(fā)，一般來講，如果這個(gè)變量不是廣播變量，那么每個(gè)task就會(huì)分發(fā)一份，這在task數(shù)目十分多的情況下Driver的帶寬會(huì)成為系統(tǒng)的瓶頸，而且會(huì)大量消耗task服務(wù)器上的資源，如果將這個(gè)變量聲明為廣播變量，那么知識(shí)每個(gè)executor擁有一份，這個(gè)executor啟動(dòng)的task會(huì)共享這個(gè)變量，節(jié)省了通信的成本和服務(wù)器的資源。

val a = 3 val broadcast = sc.broadcast(a) //定義一個(gè)廣播變量 val c = broadcast.value //還原一個(gè)廣播變量

注意事項(xiàng)

1、變量一旦被定義為一個(gè)廣播變量，那么這個(gè)變量只能讀，不能修改

2、能不能將一個(gè)RDD使用廣播變量廣播出去？

不能，因?yàn)镽DD是不存儲(chǔ)數(shù)據(jù)的。可以將RDD的結(jié)果廣播出去。

3、 廣播變量只能在Driver端定義，不能在Executor端定義。

4、 在Driver端可以修改廣播變量的值，在Executor端無法修改廣播變量的值。

5、如果Executor端用到了Driver的變量，如果果不使用廣播變量在Executor有多少task就有多少Driver端的變量副本。

5、如果Executor端用到了Driver的變量，如果使用廣播變量在每個(gè)Executor中只有一份Driver端的變量副本。

二、累加器

在spark應(yīng)用程序中，我們經(jīng)常會(huì)有這樣的需求，如異常監(jiān)控，調(diào)試，記錄符合某特性的數(shù)據(jù)的數(shù)目，這種需求都需要用到計(jì)數(shù)器，如果一個(gè)變量不被聲明為一個(gè)累加器，那么它將在被改變時(shí)不會(huì)再driver端進(jìn)行全局匯總，即在分布式運(yùn)行時(shí)每個(gè)task運(yùn)行的只是原始變量的一個(gè)副本，并不能改變?cè)甲兞康闹?#xff0c;但是當(dāng)這個(gè)變量被聲明為累加器后，該變量就會(huì)有分布式計(jì)數(shù)的功能。

val a = sc.accumulator(0) //定義一個(gè)累加器 val b = a.value //還原一個(gè)累加器

注意事項(xiàng)

1、 累加器在Driver端定義賦初始值，累加器只能在Driver端讀取最后的值，在Excutor端更新。

2、累加器不是一個(gè)調(diào)優(yōu)的操作，因?yàn)槿绻贿@樣做，結(jié)果是錯(cuò)的

總結(jié)

以上是生活随笔為你收集整理的spark 广播变量大数据_Spark基础知识（三）--- Spark的广播变量和累加器的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。