?http://space.itpub.net/8183550/viewspace-686332

在MyEclipse 8.5環(huán)境下

編寫了一個(gè)HADOOP小程序。

創(chuàng)建Java 工程
打開eclipse，選擇“File -> New -> Java Project”，新建一個(gè)“Java Project”，進(jìn)入“New Java
Project”對(duì)話框，將“Project name”設(shè)置為“DFSOperator”，

選中“DFSOperator”，并單擊右鍵，選擇“New -> Class”菜單，新建“Name”為“DFSOperator”
的class，并選中自動(dòng)創(chuàng)建main 函數(shù)，

配置編譯參數(shù)
下面開始配置“Build Path”，選中“DFSOperator”，單擊右鍵，點(diǎn)擊下圖所示菜單“Build
Path -> Configure Build Path”，進(jìn)入“Java Build Path”配置界面。
選擇“Libraries”標(biāo)簽頁(yè)，點(diǎn)擊右側(cè)的“Add External JAR”按鈕，將安裝好的“hadoop－0.20.0-core.jar”

”commons-logging-1.0.4.jar“

添加進(jìn)來。

源代碼
進(jìn)入的“DFSOperator.java”文件編輯界面，將“DFSOperator.java”的內(nèi)容修改成如下：

import java.io.*;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
public class DFSOperator {

?/**
? * @param args
? */
?public static void main(String[] args) {
??// TODO Auto-generated method stub
??Configuration conf = new Configuration();
??? try {
??? FileSystem fs = FileSystem.get(conf);
??? Path f = new Path("hdfs:///dfs_operator.txt");
??? FSDataOutputStream s = fs.create(f, true);
??? int i=0;
??? for (i=0; i<100000; ++i)
??? os.writeChars("test");
??? os.close();
??? } catch (IOException e) {
??? e.printStackTrace();
??? }
?}
}

編譯生成JAR
右鍵“DFSOperator”項(xiàng)目，選擇“Build Project”，編譯項(xiàng)目工程，編譯“DFSOperator.java”
后，生成DFSOperator.class 文件

右鍵項(xiàng)目，選擇“Export”：

進(jìn)入“Export”對(duì)話框：

選中“JAR file”，然后點(diǎn)擊“Next”按鈕

，設(shè)置好JAR 包的文件名和存放位置，然后點(diǎn)擊“Finish”按鈕，生成
dfs_operator.jar 文件

然后將dfs_operator.jar 文件上傳到Hadoop Master 節(jié)點(diǎn)。

測(cè)試運(yùn)行
假設(shè)Hadoop 安裝在/usr/local/hadoop 目錄下，dfs_operator.jar 存放在hadoop/bin 目錄下，
按照下圖所示的五步依次進(jìn)行操作：

首先進(jìn)入Hadoop 的bin 目錄，然后依次完成如下的五步操作：
(1) 查看當(dāng)前目錄，檢查dfs_operator.jar 是否存在：ls
(2) 查看Hadoop 根目錄下是否存在dfs_operator.txt 文件：./hadoop fs -ls /
(3) 運(yùn)行dfs_operator.jar，以生成dfs_operator.txt 文件：
./hadoop jar ./dfs_operator.jar DFSOperator
(4) 再查看Hadoop 根目錄下是否存在dfs_operator.txt 文件：./hadoop fs -ls /
(5) 檢查dfs_operator.txt 文件的內(nèi)容：./hadoop fs -cat /dfs_operator.txt

?

總結(jié)

以上是生活随笔為你收集整理的编写第一个HADOOP应用程序的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。