spark-shell --master yarn

然后復制粘貼如下代碼:

val n = 2000000 var composite = sc.parallelize(2 to n, 8) composite=composite.map(x => (x, (2 to (n / x)))).flatMap(kv => kv._2.map(_ * kv._1)) var prime = sc.parallelize(2 to n, 8).subtract(composite) prime.collect()

運行結束后:

master:8088->ApplicationMaster->Storage

會發現頁面雪白一片啥都沒有

?

解決方案:

上述代碼修改為:

val n = 2000000 var composite = sc.parallelize(2 to n, 8) composite=composite.map(x => (x, (2 to (n / x)))).flatMap(kv => kv._2.map(_ * kv._1)) var prime = sc.parallelize(2 to n, 8).subtract(composite) prime.collect() composite.cache() composite.count()

然后在spark-shell中重新運行,最后重新按照上述流程打開Storage頁面：

總結

以上是生活随笔為你收集整理的spark的Web UI中的Storage啥信息都没有的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。