hadoop实战--搭建开发环境及编写Hello World
1、下載
整個Hadoop是基于Java開發(fā)的，所以要開發(fā)Hadoop相應(yīng)的程序就得用java方便
進入網(wǎng)站：http://archive.eclipse.org/eclipse/downloads/
選擇3.71 eclipse SDK?進入下面的頁面：
http://archive.eclipse.org/eclipse/downloads/drops/R-3.7.1-201109091335/#EclipseSDK
選擇相關(guān)的版本下載JDK，我選擇的版本是：eclipse-SDK-3.7.1-linux-gtk
PS：查看linux系統(tǒng)是32位的還是64位的，可以使用下面的命令：
#uname -a由于我的系統(tǒng)是32位的，所有選擇相應(yīng)的linux版本
2、解壓縮
下載下來一般是tar.gz文件,運行：
$tar -zxvf eclipse-SDK-3.7.1-linux-gtk.tar.gz -C ~/opt這里opt是需要解壓的目錄，我習(xí)慣將一些軟件放在opt文件夾中
解完后，在opt文件夾下，就可以看到eclipse文件夾。
運行：$~/opt/eclipse/eclipse
3、下載hadoop在eclise中的插件并配置
直接進入：http://www.java2s.com/Code/Jar/h/Downloadhadoop0202eclipsepluginjar.htm
注意：下載下來的是：hadoop-0.20.2-eclipse-plugin.jar.zip，先解壓縮成?hadoop-0.20.2-eclipse-plugin.jar
當(dāng)然，更加簡單的方法是：hadoop-0.20.2/contrib/eclipse-plugin/文件夾中有個hadoop-0.20.2-eclipse-plugin.jar
將jar包放在eclipse安裝目錄下的plugins文件夾下。然后啟動eclipse
進入后，在菜單window->Rreferences下打開設(shè)置：
點擊“Ant” 出現(xiàn)：
點擊browse選擇hadoop的源碼下的build目錄，然后點OK
打開Window->Show View->Other 選擇Map/Reduce Tools，單擊Map/Reduce Locations，會打開一個View：
添加Hadoop Loacation，其中Host和Port的內(nèi)容這里的host和port對應(yīng)mapred-site.xml中mapred.job.tracker的值，UserName 是用戶名，我配置的是localhost和9001
但是出現(xiàn)如下問題，eclipse的左側(cè)看不到project explorer，更看不到其中的dfs
解決辦法：
應(yīng)該在菜單欄
選擇：Window->Open pespective-><Map/Reduce>。然后就能看到HDFS文件系統(tǒng)已經(jīng)所創(chuàng)建得一些項目。
添加Hadoop Loacation，其中Host和Port的內(nèi)容跟據(jù)conf/hadoop-site.xml的配置填寫，UserName 是用戶名，如下圖
成功添加Hadoop Loacation后還可能出現(xiàn)如下錯誤：
解決辦法：
這時候，需要對namenode進行格式化：bin/hadoop namenode -format ?
執(zhí)行命令：bin/start-all.sh
如果test下面的文件夾顯示(1)而不是(2)也是正常的，如果要顯示(2)，運行《安裝并運行hadoop》一文中最后的那幾個命令。
在配置完后，在Project Explorer中就可以瀏覽到DFS中的文件，一級級展開，可以看到之前我們上傳的in文件夾，以及當(dāng)是存放的2個txt文件，同時看到一個在計算完后的out文件夾。
現(xiàn)在我們要準備自己寫個Hadoop 程序了，所以我們要把這個out文件夾刪除，有兩種方式，一是可以在這樹上，執(zhí)行右健刪除。 二是可以用命令行：
$ bin/hadoop fs -rmr out用$bin/hadoop fs -ls 查看
4、編寫HelloWorld
環(huán)境搭建好了，之前運行Hadoop時，直接用了examples中的示例程序跑了下，現(xiàn)在可以自己來寫這個HelloWorld了。在eclipse菜單下 new Project 可以看到，里面增加了Map/Reduce選項：
選中，點下一步：
輸入項目名稱后，繼續(xù)(next), 再點Finish
然后在Project Explorer中就可以看到該項目了，展開，src發(fā)現(xiàn)里面啥也沒有，于是右健菜單，新建類（new->new class)：
然后點擊Finish，就可以看到創(chuàng)建了一個java類了：
然后在這個類中填入下面代碼：
public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{private final static IntWritable one = new IntWritable(1);private Text word = new Text();public void map(Object key, Text value, Context context) throws IOException, InterruptedException {StringTokenizer itr = new StringTokenizer(value.toString());while (itr.hasMoreTokens()) {word.set(itr.nextToken());context.write(word, one);}}}public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWritable> {private IntWritable result = new IntWritable();public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {int sum = 0;for (IntWritable val : values) {sum += val.get();}result.set(sum);context.write(key, result);}}public static void main(String[] args) throws Exception {Configuration conf = new Configuration();String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();if (otherArgs.length != 2) {System.err.println("Usage: wordcount <in> <out>");System.exit(2);}Job job = new Job(conf, "word count");job.setJarByClass(wordCount.class);job.setMapperClass(TokenizerMapper.class);job.setCombinerClass(IntSumReducer.class);job.setReducerClass(IntSumReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);FileInputFormat.addInputPath(job, new Path(otherArgs[0]));FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));System.exit(job.waitForCompletion(true) ? 0 : 1);}填入代碼后，會看到一些錯誤，沒關(guān)系，點擊邊上的紅叉，然后選擇里面的import即可：
import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import org.apache.hadoop.util.GenericOptionsParser;這里，如果直接用源碼來操作，可能會GenericOptionsParser這個類找不到定義，還是紅叉，添加commons-cli-1.2.jar這個jar包，在build/ivy/lib/Hadoop/Common下，右健Project Explorer中的MyHelloWorld工程，選擇Build Path->Config Build Path
在Liberaries Tab頁下，點擊Add External JARs 在彈出窗口中，跟據(jù)前面說的目錄，找到這個jar包，點確定后，回到工程，可以看到紅叉消失，說明編譯都通過了。
在確保整個工程沒有錯誤后，點擊上面的小綠箭頭，然后在彈出的小窗口上，選擇Run On Hadoop:
點OK后，會彈出小窗口：
然手中選擇Choose an existing server from the list below。然后找到之前配置的地址項，選中后，點Finish，然后系統(tǒng)不會Run起來，在控制臺（雙擊可最大化）中可以看到運行結(jié)果：
運行完后，可以看到多了一個out文件夾，雙擊打開out文件可以看到單詞的統(tǒng)計結(jié)果來
可能出現(xiàn)的問題:
問題1：
如果點了Run On Hadoop沒有反應(yīng)，則可能你下的這個插件有問題，
重新到：https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
下載，然后將下載的插件重命名為"hadoop-0.20.2-eclipse-plugin.jar"，放入eclipse中的plugins目錄下。
問題2：
運行后，如果Console里只輸出Usage ：wordcount<in> <out>，
則需要修改下參數(shù)，在運行菜單邊上小箭頭，下拉，點擊Run Configuration，：
左邊選中 JavaApplication中的 WordCount，右邊，在Arguments中輸入 in out。然后再點Run 就可以看到結(jié)果了。
左邊選中 JavaApplication中的 WordCount，右邊，在Arguments中輸入 in out。然后再點Run 就可以看到結(jié)果了。
問題3：
第二次運行會報錯，仔細看提示，可以看到報錯的是out目錄已經(jīng)存在，所以需要手動來刪除一下。
更進一步
上面我們寫了一個MapReduce的HelloWorld程序，現(xiàn)在，我們就也學(xué)一學(xué)HDFS程序的編寫。HDFS是什么，它是一個分布式文件存儲系統(tǒng)。一般常用操作有哪些？ 當(dāng)然我們可以從編程角度來：創(chuàng)建、讀、寫一個文件，列出文件夾中的文件及文件夾列表，刪除文件夾，刪除目錄，移動文件或文件夾，重命名文件或文件夾。
啟動eclipse，新建Hadoop項目，名稱MyHDFSTest，新建類HDFSTest，點擊確定，然后同樣工程屬性Configure BuildPath中把 build/ivy/lib/Hadoop下的所有jar包都引用進來(不詳細說明了，可參考上面的步驟)
在類中，添加main函數(shù)：
public static void main(String[] args) { }或者也可以在添加類時，勾選上創(chuàng)建main，則會自動添加上。
在mian函數(shù)中添加以下內(nèi)容：
try {Configuration conf = new Configuration();conf.set("fs.default.name", "hdfs://localhost:9000");FileSystem hdfs = FileSystem.get(conf);Path path = new Path("in/test3.txt");FSDataOutputStream outputStream = hdfs.create(path);byte[] buffer = "Hello".getBytes();outputStream.write(buffer, 0, buffer.length);outputStream.flush();outputStream.close();System.out.println("Create OK");} catch (IOException e) {e.printStackTrace(); }直接添加進來會報錯，然后需要添加一些引用才行：
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path;在沒有錯誤后，點擊工具條上的運行， 但這次跟前次不一樣，選擇Run as Java Application。然后，就可以在輸出框中看到Create OK的字樣了，表明程序運行成功。
這段代碼的意思是在in文件夾下，創(chuàng)建test3.txt，里面的內(nèi)容是"Hello"。 在運行完后，我們可以到eclipse的Project Explorer中查看是否有這文件以及內(nèi)容。同樣也可以用命令行查看$bin/hadoop fs -ls in。
ok，第一個操作HDFS的程序跑起來了，那其它功能只要套上相應(yīng)的處理類就可以了。為了方便查找操作，我們列舉了張表：
| 操作說明 | 操作本地文件 | 操作DFS文件 |
| 主要命名空間 | java.io.File java.io.FileInputStream java.io.FileOutputStream | org.apache.hadoop.conf.Configuration org.apache.hadoop.fs.FileSystem org.apache.hadoop.fs.Path org.apache.hadoop.fs.FSDataInputStream; org.apache.hadoop.fs.FSDataOutputStream |
| 初使化對象 | new File(路徑); | Configuration FileSystem hdfs |
| 創(chuàng)建文件 | File.createNewFile(); | FSDataOutputStream = hdfs.create(path) FSDataOutputStream.write( buffer, 0, buffer.length); |
| 創(chuàng)建文件夾 | File.mkdir() | hdfs.mkdirs(Path); |
| 讀文件 | new FileInputStream(); FileInputStream.read(buffer) | FSDataInputStream = hdfs.open(path); FSDataInputStream.read(buffer); |
| 寫文件 | FileOutputStream.write( buffer, 0, buffer.length); | FSDataOutputStream = hdfs.append(path) FSDataOutputStream.write( buffer, 0, buffer.length); |
| 刪除文件(夾) | File.delete() | FileSystem.delete(Path) |
| 列出文件夾內(nèi)容 | File.list(); | FileSystem.listStatus() |
| 重命令文件(夾) | File.renameTo(File) | FileSystem.rename(Path, Path)???????? |
有了這張表，以后在需要的時候就可以方便查詢了。
參考資料：
1、http://www.cnblogs.com/zjfstudio/p/3870762.html
2、http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html
作者：wuyudong 出處：http://www.cnblogs.com/wuyudong/總結(jié)
以上是生活随笔為你收集整理的hadoop实战--搭建开发环境及编写Hello World的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： C标准库assert.h实现
- 下一篇： C语言实现多态