HDFS的Java API

Java API介紹

將詳細介紹HDFS Java API，一下節(jié)再演示更多應(yīng)用。

Java API 官網(wǎng)

如上圖所示，Java API頁面分為了三部分，左上角是包(Packages)窗口，左下角是所有類(All Classes是)窗口，右側(cè)是詳情窗口。

這里推薦使用“先左下角索引，然后查看右側(cè)詳情”的方法，好似查英文詞典一樣。而左上角的包窗口，使用較少。

左下角窗口列出了所有的Java接口和類，可以直接拖動滑動條查找需要的接口或類。如圖所示，比如查找到FileSystem，單擊該類，右側(cè)窗口將顯示該類的詳細信息，包括屬性方法等。

Configuration類方法

說明

void set(String name, String value)

設(shè)置屬性，name是屬性名，value是屬性值

void addResource(String name)

添加一個配置資源

// 1.創(chuàng)建配置器

Configuration conf = new Configuration();

conf.set("fs.default.name", "hdfs://192.168.55.128:9000");

conf.set("mapred.jop.tracker", "192.168.55.128:9001");

Configuration conf = new Configuration();

conf.addResource("core-default.xml");

conf.addResource("core-site.xml");

URL與Path

URI：統(tǒng)一資源標(biāo)志符(Uniform Resource Identifier)

URL：統(tǒng)一資源定位符(uniform resource location)

URI與URL都是定位資源位置的，就是表示這個資源的位置信息，就像經(jīng)緯度一樣可以表示你在世界的哪個角落。URI是一種寬泛的含義更廣的定義，而URL則是URI的一個子集，就是說URL是URI的一部分。

URL位于java.net包中

Path類往往與URL類結(jié)合使用，Path類位于org.apache.hadoop.fs包下，命名文件系統(tǒng)中的文件或目錄。 路徑字符串使用斜杠作為目錄分隔符。 如果以斜線開始，路徑字符串是絕對的。

方法說明

Path(String pathString)

通過構(gòu)造器可以把一個字符串構(gòu)造成一個路徑

FileSystem類

Hadoop是由Java語言編寫的，其中Hadoop 2.7系列是JDK1.7編寫，我們可以通過Java API調(diào)用HDFS的所有交互操作接口。其中最常用的類是FileSystem類，包含了hdfs dfs相關(guān)操作的實現(xiàn)。

如上圖可以看到FileSystem類的聲明，

public abstract class FileSystem

extends Configured

implements Closeable

了解到：

FileSystem類位于org.apache.hadoop.fs包中，是一個抽象類，其次父類是Configured，實現(xiàn)了 Closeable接口。

Closeable接口是可以關(guān)閉的數(shù)據(jù)源或目標(biāo)。需要實現(xiàn)close 方法，可釋放對象保存的資源(如打開文件)。

父類Configured有兩個方法：

void setConf(Configuration conf)：設(shè)置Configuration

Configuration getConf()：獲取Configuration

除了上面三個方法，FileSystem類常用方法如下表(省略了public)

其中，create()方法有多個重載版本，允許我們指定是否強制覆蓋已有的文件、文件備份數(shù)量、寫入文件緩沖區(qū)大小、文件塊大小以及文件權(quán)限。

總結(jié)

以上是生活随笔為你收集整理的java hadoop api_Hadoop 系列HDFS的Java API（ Java API介绍）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。