歡迎關(guān)注大數(shù)據(jù)和人工智能技術(shù)文章發(fā)布的微信公眾號：清研學堂，在這里你可以學到夜白（作者筆名）精心整理的筆記，讓我們每天進步一點點，讓優(yōu)秀成為一種習慣！

日常的大數(shù)據(jù)使用都是在服務(wù)器命令行中進行的，可視化功能僅僅依靠各個組件自帶的web界面來實現(xiàn)，不同組件對應(yīng)不同的端口號，如：HDFS(50070)，Yarn(8088),Hbase(16010)等等，而大數(shù)據(jù)的組件又有很多，為了解決某個問題，常常需要結(jié)合多個組件來使用，但是每個組件又有獨立的web界面進行可視化，這時，如果有一個統(tǒng)一的web界面來管理并可以開發(fā)所有大數(shù)據(jù)的組件是非常方便的，而Hue正是這樣的工具，它管理的大數(shù)據(jù)組件包括：HDFS、HBase、Hive、Pig、Sqoop、Spark、Scala等等幾乎所有常用的組件。

（一）、HUE的介紹：

HUE是一個開源的Apache hadoop UI系統(tǒng)，管理hadoop生態(tài)體系結(jié)構(gòu)的所有組件，基于python web框架Django實現(xiàn)，由Cloudera開發(fā)

HUE的tar包是源碼包，采用源碼安裝 （源碼安裝的好處：卸載和移植軟件方便）

源碼安裝三步驟：

1、配置：./configure --preifix=安裝的目錄 #檢測系統(tǒng)配置，生成makefile文件 如果有makefile文件，直接進行編譯和安裝

2、編譯：make

3、安裝：make install

HUE的http服務(wù)端口：8888

二、安裝和配置HUE：

安裝HUE前，需要安裝它所需要的rpm包及其依賴(27個)，否則HUE運行會報錯 rpm包：redhat軟件包管理器 存放在redhat光盤Packages目錄下

rpm包與tar.gz/.tgz、.bz2的區(qū)別：

rpm形式的軟件包安裝、升級、卸載方便，推薦初學者使用rpm形式的軟件包

安裝：rpm -ivh

卸載：rpm -e

tar.gz形式的軟件包安裝方便，卸載麻煩，用tar工具打包、gzip/bzip2壓縮，安裝時直接調(diào)用gzip/bzip2解壓即可。如果解壓后只有單一目錄

用rm -rf命令刪除，如果解壓后分散在多個目錄，必須手動一一刪除

安裝：tar -zxvf *.tar.gz/ tar -yxvf *.bz2

卸載：rm -rf/手動刪除

一、安裝rpm包：

方法：使用yum安裝rpm包

yum：能夠從指定的資源庫(repository)自動下載、安裝、升級rpm包及其依賴，必須要有可靠的資源庫(repository)

1、掛載光盤 mount /dev/cdrom /mnt

mount命令：掛載硬盤/光盤/iso文件到指定目錄下，訪問其中的數(shù)據(jù)

2、建立yum資源庫

cd /etc/yum.repos.d #yum資源庫默認所在的目錄

vim redhat7.repo

[redhat-yum] 資源庫的標識

name=redhat7 資源庫的名字

baseurl=file:///mnt 資源庫的位置

enabled=1 啟用資源庫

gpgcheck=0 不檢查資源庫中的rpm包是否是官方的

3、執(zhí)行下面的語句：

yum install gcc g++ libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi mysql-devel python-devel python-setuptools sqlite-devel ant ibsasl2-dev libsasl2-modules-gssapi-mit libkrb5-dev libtidy-0.99-0 mvn openldap-dev libffi-devel gmp-devel openldap-devel

（二）、安裝HUE：

解壓：tar -zxvf hue-4.0.1.tgz

指定安裝目錄安裝：PREFIX=/root/training make install

注：如果不指定prefix,可執(zhí)行文件默認安裝到/usr/local/bin中，配置文件默認安裝到/usr/local/etc中，庫文件默認安裝到/usr/local/lib中，其他文件默認安裝到/usr/local/share中

注：HUE的tar包是源碼包，采用源碼安裝

三、配置HUE：

1、與hadoop集成：1、開啟hdfs的web功能 2、允許HUE操作hdfs

<!--開啟hdfs的web功能-->

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<!--設(shè)置hadoop集群root的代理用戶-->

<property>

<name>hadoop.proxyuser.root.hosts</name>

<value>*</value>

</property>

<!--設(shè)置hadoop集群root的代理用戶組-->

<name>hadoop.proxyuser.root.groups</name>

<value>*</value>

</property>

3、添加一個新用戶并授權(quán)：hue要對/root/training/hue有訪問權(quán)限

adduser hue

chown -R hue.hue /root/training/hue

4、修改配置文件hue.ini（$HUE_HOME/desktop/conf）:

http_hosts 192.168.182.11

http_port 192.168.182.11

server_user root

server_group root

default_user root

default_hdfs_superuser root

fs_defaulfs hdfs://192.168.182.11:9000

webhdfs_url http://192.168.182.11:50070/webhdfs/v1

hadoop_conf_dir /root/training/hadoop-2.7.3/etc/hadoop

resourcemanager_host 192.168.182.11

resourcemanager_api_url http://192.168.182.11:8088

proxy_api_url http://192.168.182.11:8088

history_server_api_url http://192.168.182.11:19888

二、與HBase集成:

1、修改配置文件hue.ini:

hbase_clusters=(Cluster|192.168.182.11:9090)

hbase_conf_dir=/root/training/hbase-1.3.1/conf

三、與Hive集成：

hive_server_host=192.168.182.11

hive_server_port=10000

hive_conf_dir=/root/training/apache-hive-2.3.0-bin/conf

（三）、啟動HUE：

1、啟動hadoop:start-all.sh hue就可以訪問hadoop

2、啟動hbase:start-hbase.sh

3、啟動hbase的thrift server:hbase-daemon.sh start thrift hue就可以訪問hbase

4、啟動hive的元信息存儲：hive --service metastore（表示前臺運行） hue就可以訪問hive的元信息

5、啟動hive的thrift server:hiveserver2 &（表示后臺運行） hue就可以訪問hive

6、啟動hue：bin/supervisor($HUE_HOME/build/env)

作者：李金澤，清華大學在讀碩士，研究方向：大數(shù)據(jù)和人工智能

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的剖析管理所有大数据组件的可视化利器：Hue的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。