SparkSession.read().csv()无法定位本地文件的问题
生活随笔
收集整理的這篇文章主要介紹了
SparkSession.read().csv()无法定位本地文件的问题
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
原因是spark有兩個(gè)文件頭
[file://]代表本地
[hdfs://]代表hdfs路徑
如果路徑?jīng)]有文件頭,spark會將該路徑默認(rèn)添加上"hdfs://"
所以如果要訪問本地csv文件,需要確保路徑前面有"file://"
//java代碼,告訴spark這是本地文件"file:///" + url
?
轉(zhuǎn)載于:https://www.cnblogs.com/wanshiming/p/11542965.html
總結(jié)
以上是生活随笔為你收集整理的SparkSession.read().csv()无法定位本地文件的问题的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: java list集合增删改_Java中
- 下一篇: [书籍分享]0-006.App营销解密: