[原]海纳百川 有容乃大：SparkR与Docker的机器学习实战
題圖為美國尼米茲核動力航空母艦
介紹
大數(shù)據(jù)時代，我們常常面對海量數(shù)據(jù)而頭疼。作為學(xué)統(tǒng)計(jì)出身的人，我們想折騰大數(shù)據(jù)但又不想學(xué)習(xí)Hadoop或者Java，我們更傾向于把精力放在建模和算法設(shè)計(jì)上，SparkR和Docker的完美結(jié)合，讓R的計(jì)算直接從一架戰(zhàn)斗機(jī)的當(dāng)兵作戰(zhàn)華麗轉(zhuǎn)變?yōu)橐粋€航空母艦戰(zhàn)斗群！不僅僅簡化了分布式計(jì)算的操作，還簡化了安裝部署的環(huán)節(jié)，我們只幾乎不需要做什么改動就可以直接運(yùn)用R中的data frame進(jìn)行分布式的計(jì)算。
什么是SparkR
參考前文 打造大數(shù)據(jù)產(chǎn)品：Shiny的Spark之旅,我們可以知道，SparkR是一個為R提供了輕量級的Spark前端的R包。 SparkR提供了一個分布式的data frame數(shù)據(jù)結(jié)構(gòu)，解決了 R中的data frame只能在單機(jī)中使用的瓶頸，它和R中的data frame 一樣支持許多操作，比如select,filter,aggregate等等。（類似dplyr包中的功能）這很好的解決了R的大數(shù)據(jù)級瓶頸問題。 SparkR也支持分布式的機(jī)器學(xué)習(xí)算法，比如使用MLib機(jī)器學(xué)習(xí)庫。
什么是Docker
參考前文 打造數(shù)據(jù)產(chǎn)品的快速原型：Shiny的Docker之旅，我們也可以知道，Docker是一種類似于虛擬機(jī)的技術(shù)，主要解決標(biāo)準(zhǔn)化快速部署的問題，在Docker中安裝的軟件和主機(jī)中的軟件可以完全隔離，并通過Daocloud或者h(yuǎn)ub.docker.com等云服務(wù)快速建立Docker倉庫，快速復(fù)用Docker鏡像。Docker已經(jīng)不僅僅是DevOps人員手中的神器了，每一個開發(fā)者都應(yīng)該學(xué)會如何使用Docker。
為什么要結(jié)合SparkR和Docker
SparkR的精髓在于分布式計(jì)算，而Docker的精髓在于標(biāo)準(zhǔn)容器的拓展性，SparkR和Docker的組合充分結(jié)合了二者各自的優(yōu)點(diǎn)，將分布式應(yīng)用底層化繁為簡，為高層計(jì)算直接暴露接口，給科學(xué)計(jì)算節(jié)省了大量時間。
部署
本文將通過Docker講解如何快速部署SparkR－RStudio容器，并通過一些簡單的機(jī)器學(xué)習(xí)例子展示如何使用這個航母級別的組合拳。
步驟一：安裝Docker和Daocloud
由于國內(nèi)的鏡像質(zhì)量不夠高，國外的鏡像下載速度比較慢，出于試驗(yàn)的考慮，建議大家可以嘗試使用Daocloud的鏡像加速服務(wù)。
首先，我們需要在Daocloud注冊一個賬號，然后選擇鏡像加速，根據(jù)指示選擇主機(jī)并安裝Docker和Daocloud加速器。
步驟二：安裝Spark－RStudio
感謝 vinicius85 在GitHub上的開源貢獻(xiàn)，為我們已經(jīng)做好了 Spark1.6+R＋RStduio的鏡像，我們利用daocloud加速拉取鏡像。
dao pull vinicius85/spark-rstudio以daemon形式運(yùn)行容器，暴露Rstudio－server默認(rèn)的8787端口, 并持久化docker內(nèi)的/srv目錄下的所有文件作為通訊。
docker run -d -v /home/docker:/srv -p 8787:8787 --name sparkrstudio vinicius85/sparkr-rstudio或者通過下面最新的方式安裝
docker run -d -p 8787:8787 --name financer index.tenxcloud.com/7harryprince/sparkr-rstudio?步驟三：配置RStudio登陸賬號
參考前文 R語言工程化實(shí)踐：RStudio Server環(huán)境快速配置教程
docker exec -d sparkrstudio bash命令表示以daemon形式執(zhí)行容器中的shell腳本
我們設(shè)置一下RStudio－Server的賬號密碼
docker exec -d sparkrstudio bash adduser harryzhu # 設(shè)置新用戶名 docker exec -d sparkrstudio bash passwd harryzhu # 設(shè)置該用戶的密碼步驟四：登陸RStudio
ifconfig命令可以查看到Docker當(dāng)前的IP地址，透過這個IP，我們可以訪問到RStudio－Server。
比如：
查看資源占用情況
docker stats sparkrstudio CONTAINER CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O sparkrstudio 4.50% 481.3 MB / 5.039 GB 9.55% 133.6 kB / 117.4 kB 3.252 MB / 135.2 kB機(jī)器學(xué)習(xí)示例：
出于演示的考慮，這里引用并稍微改進(jìn)了 tcosta 完成的一個邏輯回歸的例子：
初始化
使用SparkR之前，我們需要確定，我們的容器內(nèi)存要在2G以上，如果用AWS的乞丐版套裝，馬上就會報(bào)內(nèi)存不足的錯誤。
Error in sparkR.init(master = "local") :JVM is not ready after 10 seconds如果內(nèi)存不足，可以退出docker并且在虛擬機(jī)中重新提高docker的內(nèi)存和cpu的配置。
# 配置環(huán)境變量 Sys.setenv(SPARK_HOME="/opt/spark-1.6.0-bin-hadoop2.6").libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))Sys.setenv(JAVA_HOME="/usr/lib/jvm/java-8-oracle/")# 加載 SparkR包 library(SparkR)# 初始化RRD #sc <- sparkR.init(master = "local") #sqlContext <- sparkRSQL.init(sc) # spark 2.0 后改為 sc <- sparkR.session(master = "local")# 創(chuàng)建DataFrame #mtcarsDF <- createDataFrame(sqlContext, mtcars) mtcarsDF <- createDataFrame( mtcars) head(mtcarsDF) mpg cyl disp hp drat wt qsec vs am gear carb 1 21.0 6 160 110 3.90 2.620 16.46 0 1 4 4 2 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4 3 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1 4 21.4 6 258 110 3.08 3.215 19.44 1 0 3 1 5 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2 6 18.1 6 225 105 2.76 3.460 20.22 1 0 3 1邏輯回歸
model <- glm(vs ~ mpg + disp + hp + wt , data = mtcarsDF, family = "binomial")# 邏輯回歸 # model <- glm(vs ~ mpg + disp + hp + wt , data = mtcarsDF, family = "gaussian")# 線性回歸 predictions <- predict(model, newData = mtcarsDF ) modelPrediction <- select(predictions, "vs", "prediction") head(modelPrediction) vs prediction 1 0 0.58006945 2 0 0.64060709 3 1 0.72468718 4 1 0.47803842 5 0 0.06070972 6 1 0.54994276模型評估
# error變量: 觀測值和預(yù)測值的差值 modelPrediction$error <- abs(modelPrediction$vs - modelPrediction$prediction)# modelPrediction 現(xiàn)在對 SQLContext 是可見的 # registerTempTable(modelPrediction, "modelPrediction") # Spark 2.0 之后api改為 createTempTable(modelPrediction, "modelPrediction")#num_errors <- sql(sqlContext, "SELECT count(error) FROM modelPrediction WHERE error = 1") #total_errors <- sql(sqlContext, "SELECT count(error) FROM modelPrediction")num_errors <- sql( "SELECT count(error) FROM modelPrediction WHERE error = 1") total_errors <- sql( "SELECT count(error) FROM modelPrediction")# 模型錯誤率 training_acc <- collect(num_errors) / collect(total_errors) training_acc _c0 1 0參考資料
打造數(shù)據(jù)產(chǎn)品的快速原型：Shiny的Docker之旅
R語言工程化實(shí)踐：RStudio Server環(huán)境快速配置教程
打造大數(shù)據(jù)產(chǎn)品：Shiny的Spark之旅
Tiago Vinícius: SparkR 1.5 MLlib Logistic Regression Example
SparkR: Distributed data frames with Spark and R
SparkR R frontend for Spark
劉志強(qiáng), et al. "基于 SparkR 的分類算法并行化研究." Journal of Frontiers of Computer Science and Technology 9.11 (2015): 1281-1294.
用Parallel和foreach包玩轉(zhuǎn)并行計(jì)算
Zeppelin跟SparkR使用spark 1.5+的分析平臺建置
Fast learn scala
Spark在美團(tuán)的實(shí)踐
作為分享主義者(sharism)，本人所有互聯(lián)網(wǎng)發(fā)布的圖文均遵從CC版權(quán)，轉(zhuǎn)載請保留作者信息并注明作者 Harry Zhu 的 FinanceR專欄:https://segmentfault.com/blog...，如果涉及源代碼請注明GitHub地址：https://github.com/harryprince。微信號: harryzhustudio
商業(yè)使用請聯(lián)系作者。
總結(jié)
以上是生活随笔為你收集整理的[原]海纳百川 有容乃大：SparkR与Docker的机器学习实战的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 苹果开发者中心上传APP屏幕快照
- 下一篇： c++11并发与多线程