在調(diào)試環(huán)境下，咱們用hadoop提供的shell接口測(cè)試增加刪除查看，但是不利于復(fù)雜的邏輯編程

查看文件內(nèi)容

www.xiaorui.cc

用python訪(fǎng)問(wèn)hdfs是個(gè)很頭疼的事情。。。。

這個(gè)是pyhdfs的庫(kù)

import pyhdfs fs = pyhdfs.connect("192.168.1.1", 9000) pyhdfs.get(fs, "/rui/111", "/var/111") f = pyhdfs.open(fs, "/test/xxx", "w") pyhdfs.write(fs, f, "fuck\0gfw\n") pyhdfs.close(fs, f) pyhdfs.disconnect(fs)

pyhdfs的安裝過(guò)程很吐血

svn checkout http://libpyhdfs.googlecode.com/svn/trunk/ libpyhdfs cd libpyhdfs cp /usr/lib/hadoop-0.20/hadoop-core-0.20.2-cdh3u0.jar lib/hadoop-0.20.1-core.jar cp /usr/lib/hadoop-0.20/lib/commons-logging-1.0.4.jar lib/ cp /usr/lib/libhdfs.so.0 lib/ ln –s lib/libhdfs.so.0 lib/libhdfs.so python setup.py install --prefix="/usr/local"

還有就是把 selinux也給關(guān)了 ? ?不然會(huì)出現(xiàn)莫名的問(wèn)題

如果出現(xiàn)

/usr/lib/jvm/java-6-sun/include/jni.h:27:20: error: jni_md.h: No such file or directory

搜下find / -name jni.h

然后修改#include "jni_md.h" ? 為 ?#include "linux/jni_md.h"

這個(gè)是用pydoop的庫(kù)

import pydoop.hdfs as hdfs with hdfs.open('/user/myuser/filename') as f:for line in f:print(line)

我現(xiàn)在使用的方法是用subprocess ，哈哈，方法很搓吧，主要原因是我這邊沒(méi)有太多的性能估計(jì)，只是單純的把mapreduce的接口給搞出來(lái)而已。

這么簡(jiǎn)單用用也還可以的~

需要把很多自己常用的指定都封裝成庫(kù) ?

cat = subprocess.Popen(["hadoop", "fs", "-cat", "/path/to/myfile"], stdout=subprocess.PIPE) for line in cat.stdout:print line

補(bǔ)充下（從視hadoop為兒戲到現(xiàn)在對(duì)mapreduce半斤八兩，對(duì)我自己來(lái)說(shuō)，還是有很大的進(jìn)步的。所以關(guān)于hadoop python操作不能再用以前的方法啦。）：

? ? ?最近了解了更加方便的庫(kù)，算是文檔和利用最好的了。

pyhdfs是對(duì)libhdfs的python封裝庫(kù). 它提供了一些常用方法來(lái)處理HDFS上的文件和目錄, 比如讀寫(xiě)文件, 枚舉目錄文件, 顯示HDFS可用空間, 顯示文件的復(fù)制塊數(shù)等。

libhdfs 是HDFS的底層C函數(shù)庫(kù), 由hadoop官方提供, pyhdfs使用swig技術(shù), 對(duì)libhdfs提供的絕大多數(shù)函數(shù)進(jìn)行了封裝, 目的是提供更簡(jiǎn)單的調(diào)用方式.

如何連接hadoop集群？fs = hadoop.HadoopDFS("username","password","ugi",64310)fs.disconnect() 如何獲取當(dāng)前工作目錄?fs = hadoop.HadoopDFS("username","password","ugi",64310)print fs.getWorkingDirectory()fs.disconnect() 如何更改當(dāng)前工作目錄？fs = hadoop.HadoopDFS("username","password","ugi",64310)print fs.setWorkingDirectory("/user/ns-lsp/logs")fs.disconnect() 如果目錄不存在setWorkingDirectory()返回-1,如果執(zhí)行成功，返回0 如果目錄不存在setWorkingDirectory()返回-1,如果執(zhí)行成功，返回0 如何判斷某個(gè)文件/目錄是否存在？fs = hadoop.HadoopDFS("username","password","ugi",64310)print fs.pathExists("/user/ns-lsp/logs")fs.disconnect() 文件/目錄存在，返回0，如果不存在，返回-1 如何創(chuàng)建一個(gè)目錄?fs = hadoop.HadoopDFS("username","password","ugi",64310)print fs.createDirectory("/user/ns-lsp/logs/cjj")fs.disconnect() 如果目錄已經(jīng)存在，則返回-1，如果目錄創(chuàng)建成功，返回0 如何獲得當(dāng)前默認(rèn)塊大小？fs = hadoop.HadoopDFS("username","password","ugi",64310)print fs.getDefaultBlockSize()fs.disconnect() 如何獲得當(dāng)期目錄下的文件/目錄？fs = hadoop.HadoopDFS("username","password","ugi",64310)print fs.listDirectory("/user/ns-lsp/logs")fs.disconnect() 如何移動(dòng)一個(gè)文件/目錄? 同一HDFS內(nèi)移動(dòng)文件：fs = hadoop.HadoopDFS("username","password","ugi",64310)print fs.move("/user/ns-lsp/logs/cjj","/user/ns-lsp/logs/cjj_new")fs.disconnect() 不同HDFS之間移動(dòng)文件：target_fs = hadoop.HadoopDFS("username","password","ugi",64310)fs = hadoop.HadoopDFS("username","password","ugi",64310)print fs.move("/user/ns-lsp/logs/cjj","/user/ns-lsp/logs/cjj_new",target_fs)fs.disconnect() 如何刪除一個(gè)文件/目錄?fs = hadoop.HadoopDFS("username","password","ugi",64310)print fs.delete("/user/ns-lsp/logs/cjj_new")fs.disconnect() 如何重命名一個(gè)文件/目錄?fs = hadoop.HadoopDFS("username","password","ugi",64310)print fs.rename("/user/ns-lsp/logs/cjj","/user/ns-lsp/logs/cjj1")fs.disconnect() 如何修改一個(gè)文件/目錄的權(quán)限?fs = hadoop.HadoopDFS("username","password","ugi",64310)print fs.chmod("/user/ns-lsp/logs/cjj",7)fs.disconnect() 如何文件塊所在的服務(wù)器名? 有時(shí)我們需要查找某些文件塊所在的服務(wù)器名是什么，可以如下使用:fs = hadoop.HadoopDFS("username","password","ugi",64310)print fs.getHosts("/user/ns-lsp/logs/cjj/a",0,1)fs.disconnect() 返回包含服務(wù)器名的列表.$ python gethosts.py['xxxx'] 如何獲取一個(gè)文件/目錄的信息?fs = hadoop.HadoopDFS("username","password","ugi",64310)pathinfo = fs.getPathInfo("/user/ns-lsp/logs/cjj")fs.disconnect() getPathInfo()返回一個(gè)hdfsFileInfo類(lèi)。 如何指定文件的備份數(shù)?fs = hadoop.HadoopDFS("username","password","ugi",64310)print fs.setReplication("/user/ns-lsp/logs/cjj/a",3)fs.disconnect() 如何打開(kāi)一個(gè)文件，并讀取數(shù)據(jù)? 要操作文件，需要?jiǎng)?chuàng)建一個(gè)HadoopFile對(duì)象，并利用read()方法讀取數(shù)據(jù).fs = hadoop.HadoopDFS("username","password","ugi",64310)fh = hadoop.HadoopFile(fs,'/user/ns-lsp/logs/cjj/a')print fh.read()fh.close()fs.disconnect()

總結(jié)

以上是生活随笔為你收集整理的使用python来访问Hadoop HDFS存储实现文件的操作的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。