在cygwin環境中填寫路徑信息時務必注意將“\”替換為“/”。

hadoop文件夾名稱不能包含“-”，比如“hadoop-2.4.0”會出錯。

在cygwin環境中盡管“C:\abc”和“/cygdrive/c/abc”都可以被正確識別，但某些軟件會將前者識別為相對路徑，從而出現錯誤。所以請盡可能按后一種方式配置路徑。

>> 找不到或無法加載主類 org.apache.hadoop.util.RunJar

在 Cygwin環境中，通過hadoop執行Jar包時會提示如下錯誤信息：

錯誤: 找不到或無法加載主類 org.apache.hadoop.util.RunJar

問題分析：原因是因為hadoop的CLASSPATH沒有被正確設置。

解決辦法：在~/.bashrc 文件中增加如下命令：

export HADOOP_CLASSPATH=$(cygpath -pw $(HADOOP_PATH classpath)):$HADOOP_CLASSPATH

注意，上面命令行中的“HADOOP_PATH”請替換成真實的可執行hadoop文件的路徑。(如：/cygdrive/e/hadoop/bin/hadoop)

>> Failed to locate the winutils binary in the hadoop binary path

Microsoft Windows SDK for Windows 7 and .NET Framework 3.5 SP1(可以從Install Instructions中直接下載ISO安裝包):

http://www.microsoft.com/en-us/download/details.aspx?id=3138

Microsoft Windows SDK for Windows 7 and .NET Framework 4(可以從Install Instructions中直接下載ISO安裝包):

http://www.microsoft.com/en-us/download/details.aspx?id=8279

>> Unable to load native-hadoop library for your platform

解決辦法：在Windows環境變量Path中增加“%HADOOP_HOME%\bin”

通常，在修改環境變量Path后，即使重新連接SSH，修改后的環境變量也不會生效。此時可重啟Windows服務“CYGWIN sshd”或重啟操作系統。

>> 如何設置s3文件系統的Region/Endpoint信息

在項目源代碼根路徑添加文件：jets3t.properties，并在文件中添加配置項：

s3service.s3-endpoint=s3.cn-north-1.amazonaws.com.cn

>> failed on connection exception: java.net.ConnectException: Connection refused

dd

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的hadoopsdk使用_hadoop部署使用问题及解决的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。