大数据基于TMDB的电影数据分析系统安装及使用
大數(shù)據(jù)TMDB安裝及使用
過程整體分文五步驟##
（1）安裝Linux操作系統(tǒng)：比如可以安裝Ubuntu 16.04。
###（2）安裝Hadoop：需要在Linux系統(tǒng)上安裝Hadoop。
###（3）安裝Spark：需要在Linux系統(tǒng)上安裝Spark裝。
###（4）安裝Bottl：
（5）調(diào)試及運(yùn)行代碼
1.安裝Linux
###1.安裝三臺centos7虛擬機(jī)
###2.配置網(wǎng)絡(luò)
vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static # 地址分配模式 DEFROUTE=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens33 # 網(wǎng)卡名稱 UUID=1fccfa54-98bd-4101-9eca-bc976d7c042a DEVICE=ens33 ONBOOT=yes # 是否開機(jī)激活 IPADDR=192.168.0.135 # IP地址 NETMASK=255.255.255.0 # 子網(wǎng)掩碼 GATEWAY=192.168.0.2 # 網(wǎng)關(guān)地址 DNS1=114.114.114.114 # DNS地址 DNS2=8.8.8.8 # DNS地址systemctl restart network
3.使用xshell進(jìn)行遠(yuǎn)程鏈接
如果出現(xiàn)鏈接緩慢等問題是因為檢查dns導(dǎo)致的，需要進(jìn)行更改
vi /etc/ssh/sshd_config //進(jìn)入到配置文件中
#找到文件中： UseDNS yes #改為： UseDNS nosystemctl restart sshd //重啟sshd服務(wù)
4.安裝vim、lrzsz等工具
yum install vim -y
yum install lrzsz -y
2.安裝hadoop
1安裝jdk
2永久關(guān)閉防火墻
先查看防火墻狀態(tài)systemctl status firewalld.service
如果還在運(yùn)行則關(guān)閉防火墻systemctl stop firewalld.service
禁用防火墻systemctl disable firewalld.service
3修改主機(jī)名和IP的映射關(guān)系
vim /etc/hosts
4做節(jié)點(diǎn)之間的免密配置
生成密鑰
ssh-keygen
將公鑰追加到authorized_keys（訪問文件）
cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
測試
ssh localhost （不需要密碼登錄說明成功）
發(fā)送
ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
5上傳并解壓hadoop
6配置環(huán)境變量
vi /etc/profile
export JAVA_HOME=/home/java/jdk1.8 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport HADOOP_HOME=/home/hadoop/hadoop2.7 export HADOOP_LOG_DIR=/home/hadoop/hadoop2.7/logs export YARN_LOG_DIR=$HADOOP_LOG_DIRexport PATH=.:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATHsource /etc/profile
7創(chuàng)建目錄
mkdir /home/hadoop/hadoop2.7/tmp 用來存放臨時文件
mkdir /home/hadoop/hadoop2.7/logs 用來存放日志文件
mkdir /home/hadoop/hadoop2.7/hdfs 用來存儲集群數(shù)據(jù)
mkdir /home/hadoop/hadoop2.7/hdfs/name 用來存儲文件系統(tǒng)元數(shù)據(jù)
mkdir /home/hadoop/hadoop2.7/hdfs/data 用來存儲真正的數(shù)據(jù)
8修改 hadoop-env.sh和yarn-env.sh中Javahome值
export JAVA_HOME=/tmdb/jdk1.8.0_162
9修改核心配置文件
vi core-site.xml
<property><name> fs.default.name </name><value>hdfs://master:9000</value><description>指定HDFS的默認(rèn)名稱</description></property><property><name>fs.defaultFS</name><value>hdfs://master:9000</value><description>HDFS的URI</description></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/hadoop2.7/tmp</value><description>節(jié)點(diǎn)上本地的hadoop臨時文件夾</description></property>vi hdfs-site.xml
<property><name>dfs.namenode.name.dir</name><value>file:/home/hadoop/hadoop2.7/hdfs/name</value><description>namenode上存儲hdfs名字空間元數(shù)據(jù) </description></property><property><name>dfs.datanode.data.dir</name><value>file:/home/hadoop/hadoop2.7/hdfs/data</value><description>datanode上數(shù)據(jù)塊的物理存儲位置</description></property><property><name>dfs.replication</name><value>1</value><description>副本個數(shù)，默認(rèn)是3,應(yīng)小于datanode機(jī)器數(shù)量</description></property>cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<property><name>mapreduce.framework.name</name><value>yarn</value><description>指定mapreduce使用yarn框架</description></property>vi yarn-site.xml
<property><name>yarn.resourcemanager.hostname</name><value>master</value><description>指定resourcemanager所在的hostname</description></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>NodeManager上運(yùn)行的附屬服務(wù)。需配置成mapreduce_shuffle，才可運(yùn)行 MapReduce程序</description></property>vi slaves
node1node2node310遠(yuǎn)程發(fā)送包含有jdk和hadoop的文件夾以及profile文件給其他節(jié)點(diǎn)
scp -r /tmdb root@slave2:/
scp -r /etc/profile root@slave2:/etc
###11格式化hdfs ###
hdfs namenode -format
12啟動hadoop
如果沒有配置環(huán)境變量則進(jìn)入hadoop下的sbin目錄
start-all.sh
輸入yes即可啟動
###13使用jps查看每個節(jié)點(diǎn)的進(jìn)程 ###
###14 用web端查看節(jié)點(diǎn)信息 ###
在瀏覽器打開master:8088或master:50070
打開后顯示節(jié)點(diǎn)的信息并都正常運(yùn)行，即搭建成功
3.安裝spark
1下載并上傳以及解壓安裝文件
http://spark.apache.org/downloads.html
2.修改環(huán)境變量
vi /etc/profile
#Spark Envexport SPARK_HOME=/usr/spark-2.1.0export PATH=PATH:SPARK_HOME/bin:$SPARK_HOME/sbinsource /etc/profile
###3配置spark ###
mv spark-env.sh.template spark-env.sh
vi spark-env.sh
export JAVA_HOME=/usr/jdk1.8.0_121export SCALA_HOME=/usr/scala-2.12.1export SPARK_MASTER_IP=10.10.0.1export SPARK_WORKER_MEMORY=1gexport HADOOP_CONF_DIR=/usr/hadoop-2.7.3/etc/hadoopmv slaves.template slaves
vi slaves
master
slave1
slave2
4安裝sacla語言并配置環(huán)境變量
5發(fā)送spark文件夾和環(huán)境變量到其他借點(diǎn)
scp -r /tmdb root@slave2:/scp -r /etc/profile root@slave2:/etc6spark使用方法
1.啟動hadoop
./start-all.sh
2.啟動Master節(jié)點(diǎn)
start-master.sh
3.啟動Worker節(jié)點(diǎn)
start-slaves.sh
4.通過瀏覽器查看Spark信息
http://192.168.100.10:8080
5.停止Master及Workder節(jié)點(diǎn)
stop-master.sh
stop-slaves.sh
##4安裝Bottl ##
yum install python3-pip
pip3 install bottle
5.調(diào)試及運(yùn)行代碼
1.升級Python版本到Python3.6
在開始升級之前一定記得查看一下自己原本的python版本是多少，最后配置pip3和yum的時候會用到。
[root@bogon ~]# python -VPython 2.7.51、安裝必備軟件
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel gcc
2、下載Python3.6
mkdir /usr/python3.6
cd /usr/python3.6wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tgztar -xvf Python-3.6.4.tgz3、安裝Python3
mkdir /usr/local/python3
4、編譯
在解壓的文件夾下(/usr/python3/python3.6.4)
pwd
./configure --prefix=/usr/local/python3
5、安裝
在解壓的文件夾下(/usr/python3/python3.6.4)
make
make install //先make再make install
6、創(chuàng)建新版本的軟鏈接
mv /usr/bin/python /usr/bin/python_bak
ln -s /usr/local/python3/bin/python3 /usr/bin/python
7、配置
vim ~/.bash_profile
if [ -f ~/.bashrc ]; then . ~/.bashrcfi# User specific environment and startup programsPATH=$PATH:$HOME/bin:/usr/local/python3/binexport PATHsource ~/.bash_profile
8、問題
vi /usr/bin/yum
!/usr/bin/python2.7！vi /usr/libexec/urlgrabber-ext-down
!/usr/bin/python2.7！2.準(zhǔn)備rar解壓縮工具
3.上傳代碼及數(shù)據(jù)包到Linux中
4.將數(shù)據(jù)文件上傳到hdfs上
hdfs dfs -mkdir /user/hadoop
hdfs dfs -put tmdb_5000_movies.csv /user/hadoop
5.解壓縮project.rar項目文件
rar x project.rar
###6.運(yùn)行代碼 ###
進(jìn)入project文件夾下
cd /tmdb/data/project
運(yùn)行數(shù)據(jù)分析代碼
spark-submit analyst.py
運(yùn)行數(shù)據(jù)可視化代碼
spark-submit web.py
當(dāng)出現(xiàn)以下命令行提示時運(yùn)行成功
[root@master project]# spark-submit web.py21/06/11 19:54:46 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableBottle v0.12.19 server starting up (using WSGIRefServer())...Listening on http://0.0.0.0:9999/Hit Ctrl-C to quit.打開瀏覽器訪問 http://192.168.100.10:9999 即可看到可視化結(jié)果
總結(jié)
以上是生活随笔為你收集整理的大数据基于TMDB的电影数据分析系统安装及使用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： DWM1000 帧过滤代码实现
- 下一篇： 科学发明家特斯拉传记