• 說明
  • 環境說明
• 安裝Rhadoop的準備環境
  • 必要的包
  • 環境變量的設置
• 安裝Rhadoop
  • rhdfs的安裝只需要在user-client上安裝即可
  • rmr2的安裝每個節點都需要安裝
• 測試
  • rhdfs
  • rmr2
• Rhadoop中各個包在集群中的安裝情況
• 補充
• 相關類型的文章

說明

環境說明

操作系統：centos7.2
hadoop環境使用的是2.7.2
java使用的是1.8

安裝Rhadoop的準備環境

必要的包

install.packages("rJava") install.packages("reshape2") install.packages("Rcpp") install.packages("iterators") install.packages("itertools") install.packages("digest") install.packages("RJSONIO") install.packages("functional") install.packages("caTools")

環境變量的設置

HADOOP_CMD環境變量的設置(易錯)：
要把hadoop的bin下的hadoop賦給HADOOP_CMD

HADOOP_CMD=/opt/hadoop-2.7.2/bin/hadoop

HADOOP_STREAMING環境變量的設置（rmr需要）：

export HADOOP_STREAMING=/opt/hadoop-2.7.2/share/hadoop/tools/lib/hadoop-streaming-2.7.2.jar

安裝Rhadoop

rhdfs的安裝(只需要在user-client上安裝即可)

R CMD INSTALL rhdfs_1.0.8.tar.gz

rmr2的安裝（每個節點都需要安裝）

R CMD INSTALL rmr2_3.3.1.tar.gz

測試

rhdfs

>library("rhdfs") > hdfs.init() 16/08/01 15:55:35 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable > hdfs.ls("/")permission owner group size modtime file 1 drwxr-xr-x root supergroup 0 2016-07-31 14:53 /library 2 drwxr-xr-x Administrator supergroup 0 2016-07-31 16:37 /user

rmr2

Rhadoop中各個包在集群中的安裝情況

PackageWhere to Install

plyrmr	On every node in the cluster
ravro	Only on the node that runs the R client
rhbase	Only on the node that runs the R client
rhdfs	Only on the node that runs the R client
rmr2	On every node in the cluster

補充

官方github上的文檔可以參考以下，對于重要的地方我個人認為還是提示的不錯

相關類型的文章

張丹（統計之都）
sparkexpert
sparkexpert

總結

以上是生活随笔為你收集整理的Rhadoop的安装的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。