一、場(chǎng)景

hadoop-3.0.2 + hbase-2.0.0

一個(gè)mapreduce任務(wù)，在IDEA下本地提交到hadoop集群可以正常運(yùn)行。

現(xiàn)在需要將IDEA本地項(xiàng)目通過maven打成jar包，從而能夠在windows/Linux命令行下，通過Java -jar方式運(yùn)行。

?

二、狀況

報(bào)錯(cuò)可能1：Exception in thread "main" java.io.IOException: No FileSystem for scheme: file

報(bào)錯(cuò)可能2：Exception in thread "main" java.io.IOException: No FileSystem for scheme: hdfs

?

三、分析

• 主要是maven的maven-assembly帶來的問題。
• 問題產(chǎn)生原因：
  • 　LocalFileSystem 所在的包 hadoop-commons 和 DistributedFileSystem 所在的包 hadoop-hdfs，這兩者在他們各自的 META-INFO/services下，都包含了不同但重名的文件叫做?org.apache.hadoop.fs.FileSystem。（這個(gè)FileSystem文件中，都列出了實(shí)現(xiàn)filesystem需要聲明的規(guī)范類名。）
  • 當(dāng)使用maven-assembly-plugin時(shí)，maven會(huì)將所有的jar包都merge為一個(gè)jar。因此。所有META-INFO/services/org.apache.hadoop.fs.FileSystem 會(huì)相互覆蓋，最終只留一個(gè)（the last one）。在這里，hadoop-commons 中的 FileSystem 會(huì) overwrite 掉 hadoop-hdfs 中的 FileSystem, 因此 DistributedFileSystem 的聲明就會(huì)失效！

?　　

四、解決方案 - 基于mapreduce

在提交mapreduce之前，顯式指定 LocalFileSystem 或/和 DistributedFileSystem 的類，以確保它們的聲明生效。?

conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());conf.set("fs.file.impl",org.apache.hadoop.fs.LocalFileSystem.class.getName());

五、解決方案 - 基于 maven-assembly

在pom.xml中，使用如下的maven-assembly。使用merge了所有FileSystem的合并版本，而不是互相overwrite的。

<plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-shade-plugin</artifactId><version>2.3</version><executions><execution><phase>package</phase><goals><goal>shade</goal></goals><configuration><transformers><transformer implementation="org.apache.maven.plugins.shade.resource.ServicesResourceTransformer"/></transformers></configuration></execution></executions> </plugin>

六、參考

https://stackoverflow.com/questions/17265002/hadoop-no-filesystem-for-scheme-file

轉(zhuǎn)載于:https://www.cnblogs.com/PigeonNoir/p/9213388.html

總結(jié)

以上是生活随笔為你收集整理的MapReduce 踩坑 - hadoop No FileSystem for scheme: file/hdfs的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。