Hadoop学习之路一 Single Node Setup
從研究生入學到現在,快一年的時間了。和很多人一樣,我迷茫著,一直沒想明白自己想要干什么。年輕的時候真的想和所有人不一樣,直到最后選擇了大數據方向,更多的也是感覺。青春的魅力在于可能性。沒有過多的猶豫糾結,專心練劍才是王道。
剛開始學習Hadoop,用的最多的是apache的官方網站,www.apache.org。可以從主頁的DownLoad里下載apache的軟件,在下方的Apahce Project List里可以找到軟件的詳細信息,我主要用到的是Hadoop的文檔。
Overview: 介紹了hadoop的主要改進。
Single Node Setup:介紹了最簡單的Hadoop的使用,這種模式不使用HDFS,只訪問本地文件。
單節點模式需要的軟件:jdk和hadoop
版本信息:Hadoop-2.5.2;jdk1.7.0_79
安裝位置:/home/hadoop/jdk1.7.0_79;
/home/hadoop/hadoop-2.5.2
配置信息:home/hadoop/hadoop-2.5.2/etc/hadoop/hadoop-env.sh(修改之前先備份,養成習慣)
???? export JAVA_HOME=/home/hadoop/jdk1.7.0_79
? export HADOOP_PREFIX=/home/hadoop/hadoop-2.5.2
到這里,單擊模式的Hadoop就完成了。
Try the following command:
$ bin/hadoop
正常情況下,會出現Usage信息
測試:Standalone Operation
$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce//hadoop-mapreduce-examples-2.5.2.jar grep input output 'dfs[a-z.]+'
$ cat output/*
結果為:1?? ?dfsadmin
可能會出現錯誤信息,如:無法加載主類,org.apace....Runjar
我第一次實驗的時候出現這個問題,沒有解決。最后之后,清理空間,重新安裝才成功。
?
轉載于:https://www.cnblogs.com/fuchao1992/p/4554717.html
總結
以上是生活随笔為你收集整理的Hadoop学习之路一 Single Node Setup的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 你的灯亮着吗?阅读笔记之一
- 下一篇: 【讨论】关于什么时候使用module,什