Exception in thread main java.io.IOException: No FileSystem for scheme: hdfs
生活随笔
收集整理的這篇文章主要介紹了
Exception in thread main java.io.IOException: No FileSystem for scheme: hdfs
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
如果是命令行spark-submit運(yùn)行時(shí)出現(xiàn)這個(gè)問(wèn)題,那么:
import org.apache.spark.sql.{Dataset, SparkSession}val spark = SparkSession.builder.appName("Intro").config("spark.master", "local").config("spark.serializer", classOf[KryoSerializer].getName).getOrCreate();spark.conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem") spark.conf.set("fs.file.impl","org.apache.hadoop.fs.LocalFileSystem")#---------------------------------------------------------------------------------
如果是intellij中出現(xiàn)這個(gè)問(wèn)題,那么intellij界面中按下alt+shift+ctrl+s后導(dǎo)入
~/bigdata/hadoop-2.7.7/share/hadoop/hdfs/hadoop-hdfs-2.7.7.jar
即可。
總結(jié)
以上是生活随笔為你收集整理的Exception in thread main java.io.IOException: No FileSystem for scheme: hdfs的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: intellij中出現java.lang
- 下一篇: spark出现bytes consume