有關(guān)這個問題，似乎這個在某些時候，用python寫好，且spark沒有響應(yīng)的算法支持， 能否能在YARN集群上 運行PySpark方式，

將python分析程序提交上去？

Spark Application可以直接運行在YARN集群上，這種運行模式，會將資源的管理與協(xié)調(diào)統(tǒng)一交給YARN集群去處理，這樣能夠?qū)崿F(xiàn)構(gòu)建于YARN集群之上Application的多樣性，比如可以運行MapReduc程序，可以運行HBase集群，也可以運行Storm集群，還可以運行使用Python開發(fā)機器學(xué)習(xí)應(yīng)用程序，等等。? ? 我們知道，Spark on YARN又分為client模式和cluster模式：在client模式下，Spark Application運行的Driver會在提交程序的節(jié)點上，而該節(jié)點可能是YARN集群內(nèi)部節(jié)點，也可能不是，一般來說提交Spark Application的客戶端節(jié)點不是YARN集群內(nèi)部的節(jié)點，那么在客戶端節(jié)點上可以根據(jù)自己的需要安裝各種需要的軟件和環(huán)境，以支撐Spark Application正常運行。在cluster模式下，Spark Application運行時的所有進程都在YARN集群的NodeManager節(jié)點上，而且具體在哪些NodeManager上運行是由YARN的調(diào)度策略所決定的。? ? 對比這兩種模式，最關(guān)鍵的是Spark Application運行時Driver所在的節(jié)點不同，而且，如果想要對Driver所在節(jié)點的運行環(huán)境進行配置，區(qū)別很大，但這對于PySpark Application運行來說是非常關(guān)鍵的。? ? PySpark是Spark為使用Python程序編寫Spark Application而實現(xiàn)的客戶端庫，通過PySpark也可以編寫Spark Application并在Spark集群上運行。Python具有非常豐富的科學(xué)計算、機器學(xué)習(xí)處理庫，如numpy、pandas、scipy等等。為了能夠充分利用這些高效的Python模塊，很多機器學(xué)習(xí)程序都會使用Python實現(xiàn)，同時也希望能夠在Spark集群上運行。

PySpark Application運行原理

理解PySpark Application的運行原理，有助于我們使用Python編寫Spark Application，并能夠?qū)ySpark Application進行各種調(diào)優(yōu)。PySpark構(gòu)建于Spark的Java API之上，數(shù)據(jù)在Python腳本里面進行處理，而在JVM中緩存和Shuffle數(shù)據(jù)，數(shù)據(jù)處理流程如下圖所示(來自Apache Spark Wiki)：

Spark Application會在Driver中創(chuàng)建pyspark.SparkContext對象，后續(xù)通過pyspark.SparkContext對象來構(gòu)建Job DAG并提交DAG運行。使用Python編寫PySpark Application，在Python編寫的Driver中也有一個pyspark.SparkContext對象，該pyspark.SparkContext對象會通過Py4J模塊啟動一個JVM實例，創(chuàng)建一個JavaSparkContext對象。PY4J只用在Driver上，后續(xù)在Python程序與JavaSparkContext對象之間的通信，都會通過PY4J模塊來實現(xiàn)，而且都是本地通信。? ? PySpark Application中也有RDD，對Python RDD的Transformation操作，都會被映射到Java中的PythonRDD對象上。對于遠程節(jié)點上的Python RDD操作，Java PythonRDD對象會創(chuàng)建一個Python子進程，并基于Pipe的方式與該Python子進程通信，將用戶編寫Python處理代碼和數(shù)據(jù)發(fā)送到Python子進程中進行處理。

下面，我們基于Spark on YARN模式，并根據(jù)當(dāng)前企業(yè)所具有的實際集群運行環(huán)境情況，來說明如何在Spark集群上運行PySpark Application，大致分為如下3種情況：

YARN集群配置Python環(huán)境

這種情況，如果是初始安裝YARN、Spark集群，并考慮到了當(dāng)前應(yīng)用場景需要支持Python程序運行在Spark集群之上，這時可以準(zhǔn)備好對應(yīng)Python軟件包、依賴模塊，在YARN集群中的每個節(jié)點上進行安裝。這樣，YARN集群的每個NodeManager上都具有Python環(huán)境，可以編寫PySpark Application并在集群上運行。目前比較流行的是直接安裝Python虛擬環(huán)境，使用Anaconda等軟件，可以極大地簡化Python環(huán)境的管理工作。這種方式的缺點是，如果后續(xù)使用Python編寫Spark Application，需要增加新的依賴模塊，那么就需要在YARN集群的每個節(jié)點上都進行該新增模塊的安裝。而且，如果依賴Python的版本，可能還需要管理不同版本Python環(huán)境。因為提交PySpark Application運行，具體在哪些NodeManager上運行該Application，是由YARN的調(diào)度器決定的，必須保證每個NodeManager上都具有Python環(huán)境(基礎(chǔ)環(huán)境+依賴模塊)。

YARN集群不配置Python環(huán)境

這種情況，更適合企業(yè)已經(jīng)安裝了規(guī)模較大的YARN集群，并在開始使用時并未考慮到后續(xù)會使用基于Python來編寫Spark Application，并且不想在YARN集群的NodeManager上安裝Python基礎(chǔ)環(huán)境及其依賴模塊。我們參考了Benjamin Zaitlen的博文(詳見后面參考鏈接)，并基于Anaconda軟件環(huán)境進行了實踐和驗證，具體實現(xiàn)思路如下所示：

在任意一個Linux OS的節(jié)點上，安裝Anaconda軟件

通過Anaconda創(chuàng)建虛擬Python環(huán)境

在創(chuàng)建好的Python環(huán)境中下載安裝依賴的Python模塊

將整個Python環(huán)境打成zip包

提交PySpark Application時，并通過--archives選項指定zip包路徑

下面進行詳細說明：首先，我們在CentOS 7.2上，基于Python 2.7，下載了Anaconda2-5.0.0.1-Linux-x86_64.sh安裝軟件，并進行了安裝。Anaconda的安裝路徑為/root/anaconda2。然后，創(chuàng)建一個Python虛擬環(huán)境，執(zhí)行如下命令：

上述命令創(chuàng)建了一個名稱為mlpy_env的Python環(huán)境，--copy選項將對應(yīng)的軟件包都安裝到該環(huán)境中，包括一些C的動態(tài)鏈接庫文件。同時，下載numpy、pandas、scipy這三個依賴模塊到該環(huán)境中。接著，將該Python環(huán)境打包，執(zhí)行如下命令：

該zip文件大概有400MB左右，將該zip壓縮包拷貝到指定目錄中，方便后續(xù)提交PySpark Application：

最后，我們可以提交我們的PySpark Application，執(zhí)行如下命令：

上面的test_pyspark_dependencies.py文件中，使用了numpy、pandas、scipy這三個依賴包的函數(shù)，通過上面提到的YARN集群的cluster模式可以運行在Spark集群上。可以看到，上面的依賴zip壓縮包將整個Python的運行環(huán)境都包含在里面，在提交PySpark Application時會將該環(huán)境zip包上傳到運行Application的所在的每個節(jié)點上，并解壓縮后為Python代碼提供運行時環(huán)境。如果不想每次都從客戶端將該環(huán)境文件上傳到集群中運行PySpark Application的節(jié)點上，也可以將zip包上傳到HDFS上，并修改--archives參數(shù)的值為hdfs:///tmp/mlpy_env.zip#ANACONDA，也是可以的。另外，需要說明的是，如果我們開發(fā)的/var/lib/hadoop-hdfs/pyspark/test_pyspark_dependencies.py文件中，也依賴的一些我們自己實現(xiàn)的處理函數(shù)，具有多個Python依賴的文件，想要通過上面的方式運行，必須將這些依賴的Python文件拷貝到我們創(chuàng)建的環(huán)境中，對應(yīng)的目錄為mlpy_env/lib/python2.7/site-packages/下面。

基于混合編程語言環(huán)境

假如我們還是希望使用Spark on YARN模式來運行PySpark Application，但并不將Python程序提交到Y(jié)ARN集群上運行。這時，我們可以考慮使用混合編程語言的方式，來處理數(shù)據(jù)任務(wù)。比如，機器學(xué)習(xí)Application具有迭代計算的特性，更適合在一個高配的節(jié)點上運行；而普通的ETL數(shù)據(jù)處理具有多機并行處理的特點，適合放到集群上進行分布式處理。一個完整的機器學(xué)習(xí)Application的設(shè)計與構(gòu)建，可以將算法部分和數(shù)據(jù)準(zhǔn)備部分分離出來，使用Scala/Java進行數(shù)據(jù)預(yù)處理，輸出一個機器學(xué)習(xí)算法所需要(更便于迭代、尋優(yōu)計算)的輸入數(shù)據(jù)格式，這會極大地壓縮算法輸入數(shù)據(jù)的規(guī)模，從而使算法迭代計算充分利用單機本地的資源(內(nèi)存、CPU、網(wǎng)絡(luò))，這可能會比直接放到集群中計算要快得多。因此，我們在對機器學(xué)習(xí)Application準(zhǔn)備數(shù)據(jù)時，使用原生的Scala編程語言實現(xiàn)Spark Application來處理數(shù)據(jù)，包括轉(zhuǎn)換、統(tǒng)計、壓縮等等，將滿足算法輸入格式的數(shù)據(jù)輸出到HDFS指定目錄中。在性能方面，對數(shù)據(jù)規(guī)模較大的情況下，在Spark集群上處理數(shù)據(jù)，Scala/Java實現(xiàn)的Spark Application運行性能要好一些。然后，算法迭代部分，基于豐富、高性能的Python科學(xué)計算模塊，使用Python語言實現(xiàn)，其實直接使用PySpark API實現(xiàn)一個機器學(xué)習(xí)PySpark Application，運行模式為YARN client模式。這時，就需要在算法運行的節(jié)點上安裝好Python環(huán)境及其依賴模塊(而不需要在YARN集群的節(jié)點上安裝)，Driver程序從HDFS中讀取輸入數(shù)據(jù)(緩存到本地)，然后在本地進行算法的迭代計算，最后輸出模型。

總結(jié)

對于重度使用PySpark的情況，比如偏向機器學(xué)習(xí)，可以考慮在整個集群中都安裝好Python環(huán)境，并根據(jù)不同的需要進行依賴模塊的統(tǒng)一管理，能夠=極大地方便PySpark Application的運行。不在YARN集群上安裝Python環(huán)境的方案，會使提交的Python環(huán)境zip包在YARN集群中傳輸帶來一定開銷，而且每次提交一個PySpark Application都需要打包一個環(huán)境zip文件，如果有大量的Python實現(xiàn)的PySpark Application需要在Spark集群上運行，開銷會越來越大。另外，如果PySpark應(yīng)用程序修改，可能需要重新打包環(huán)境。但是這樣做確實不在需要考慮YARN集群集群節(jié)點上的Python環(huán)境了，任何版本Python編寫的PySpark Application都可以使用集群資源運行。關(guān)于該問題，SPARK-13587(詳見下面參考鏈接)也在討論如果優(yōu)化該問題，后續(xù)應(yīng)該會有一個比較合適的解決方案。

參考鏈接

總結(jié)

以上是生活随笔為你收集整理的pythonspark集群模式运行_有关python numpy pandas scipy 等 能在YARN集群上 运行PySpark的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。