hadoop环境搭建总结
生活随笔
收集整理的這篇文章主要介紹了
hadoop环境搭建总结
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
這段時間公司嘗試使用了中科院開源的easyML來做項目,期間遇到的一系列坑爹問題,在這里做下記錄。
由于docker環境不適合該項目,所以大佬決定在外面弄個新的,方便操作的環境,于是就有了下面一系列問題。
1.網絡:第一個絕對是網絡。我們用的是虛擬機,老是出現網絡不通的現象。ping通網絡的正確姿勢如下:
修改該虛擬機的mac地址,在“虛擬機”-“設置”-“網絡適配器”-“高級”,在mac地址那里,點擊“生成”。結束后,把虛擬機關掉,再重新啟動(注意:不是點重啟虛擬機)。再到對應的網卡文件里修改ip,讓集群的ip固定下來。
2.端口問題:多重啟,多修改,重復以上步驟,都是這么過來的。
3.oozie的編譯問題,編譯命令嚴格按照參考安裝連接的命令,命令中的版本什么的都不要改,不然絕對編譯不了。
4.python版本升級的問題,因為不升級就只能調用python的基礎庫。centos版本里自帶2.7的版本,需要把它升級到3.6。在安裝完anaconda后(裝的過程全部選yes,不管是最后遇到要安裝微軟的某個程序),刪除原有的python軟連接,rm -rf /usr/bin/python然后ln -s 你的路徑 /usr/bin/python
5.把安裝hadoop集群的過程,最好把配過一次的各個組件保存一下,把安裝過程寫成一個腳本。并且以hostname作為各個配置文件的主機識別,不然以后會被坑死。
由于docker環境不適合該項目,所以大佬決定在外面弄個新的,方便操作的環境,于是就有了下面一系列問題。
1.網絡:第一個絕對是網絡。我們用的是虛擬機,老是出現網絡不通的現象。ping通網絡的正確姿勢如下:
修改該虛擬機的mac地址,在“虛擬機”-“設置”-“網絡適配器”-“高級”,在mac地址那里,點擊“生成”。結束后,把虛擬機關掉,再重新啟動(注意:不是點重啟虛擬機)。再到對應的網卡文件里修改ip,讓集群的ip固定下來。
2.端口問題:多重啟,多修改,重復以上步驟,都是這么過來的。
3.oozie的編譯問題,編譯命令嚴格按照參考安裝連接的命令,命令中的版本什么的都不要改,不然絕對編譯不了。
4.python版本升級的問題,因為不升級就只能調用python的基礎庫。centos版本里自帶2.7的版本,需要把它升級到3.6。在安裝完anaconda后(裝的過程全部選yes,不管是最后遇到要安裝微軟的某個程序),刪除原有的python軟連接,rm -rf /usr/bin/python然后ln -s 你的路徑 /usr/bin/python
5.把安裝hadoop集群的過程,最好把配過一次的各個組件保存一下,把安裝過程寫成一個腳本。并且以hostname作為各個配置文件的主機識別,不然以后會被坑死。
總結
以上是生活随笔為你收集整理的hadoop环境搭建总结的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: springboot集成activiti
- 下一篇: activiti6超详细教程