097实战 关于ETL的几种运行方式
一：代碼部分
1.新建maven項目
2.添加需要的java代碼
3.書寫mapper類
4.書寫runner類
?
二：運行方式
1.本地運行
2.集群運行
3.本地提交集群運行
?
三：本地運行方式
1.解壓hadoop到本地
?
2.修改配置文件HADOOP_HOME
?
3.解壓common的壓縮包
?
?4.將壓縮包的內(nèi)容拷貝到bin下
?
5.前提
在resource中必須存在core和Hbase的site文件
?
6.上傳數(shù)據(jù)
新建目錄/eventLogs/2015/12/20
上傳到linux
上傳到HDFS
7.上傳qqwey.dat到ips文件
? 新建文件夾
上傳
8.啟動服務(wù)
hdfs
yarn
hbase
zookeeper
?
9.運行
?
9.需要修改linux與Windows環(huán)境下不兼容的代碼
只需要重新新建一個包，將源程序添加進去，并修改。
?
10.結(jié)果
?
四：集群運行
1.需要將ip的解析文件改成HDFS
?
2.打包方式一（mvn）
）查找源碼位置
）打包（local）
）結(jié)果
）打包（dev）
mvn -Pdev clean package
）結(jié)果
?
3.打包方式二（eclipse）
）run as—》mav build...
）結(jié)果
）打包二（run configuration）
?
）結(jié)果
?
4.上傳
?
5.添加jar（mapred在集成hbase時需要的jar包）
?
6.運行
?
五：本地提交集群運行
1.修改集群需要的參數(shù)configuration
?
2.
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
轉(zhuǎn)載于:https://www.cnblogs.com/juncaoit/p/6266524.html
總結(jié)
以上是生活随笔為你收集整理的097实战 关于ETL的几种运行方式的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 白户怎么办理信用卡？白户成功申请信用卡的
- 下一篇： 浦发信用卡梦享贷在哪里查询进度？四种查询