文章回顧

理論

大數據框架原理簡介

大數據發展歷程及技術選型

實踐

搭建大數據運行環境之一

搭建大數據運行環境之二

本地MAC環境配置

CPU數和內存大小

• 查看CPU數

sysctl?machdep.cpu#?核數為4machdep.cpu.core_count:?4????#?cpu數量為8個，使用了超線程技術：四核八線程machdep.cpu.thread_count:?8??

• 內存大小

top?-l?1?|?head?-n?10?|?grep?PhysMemPhysMem:?16G?used?(10G?wired),?67M?unused.

在本地開了3個虛擬機centos服務器

虛擬機服務器配置

服務器1?192.168.84.128?4核4G服務器2?192.168.84.131?1核2G服務器3?192.168.84.132?1核2G因為服務器1上的按照的軟件比較多?所以這樣分配核數和內存?可以將大數據環境運行起來

虛擬機軟件給一個虛擬機分配核數和內存的方式

通過Sqoop查看Mysql數據庫

/usr/local/sqoop/bin/sqoop?list-databases?--connect?jdbc:mysql://hadoop001:3306/?useSSL=false?--username?root?--password?123456

在Hive中創建測試表

創建test表

CREATE?TABLE?IF?NOT?EXISTS?test?(id?int,uid?int,title?string,name?string,status?int,time?timestamp)COMMENT?'簡介'ROW?FORMAT?DELIMITEDFIELDS?TERMINATED?BY?"001"LINES?TERMINATED?BY?""STORED?AS?TEXTFILE;

創建test_out表

CREATE?TABLE?IF?NOT?EXISTS?test_out?(name?string,?count?int,time?date)COMMENT?'簡介'ROW?FORMAT?DELIMITEDFIELDS?TERMINATED?BY?'001'LINES?TERMINATED?BY?''STORED?AS?TEXTFILE;

hive刪除表

• 使用truncate僅可刪除內部表數據，不可刪除表結構

truncate?table?表名(truncate可刪除所有的行，但是不能刪除外部表)

• 使用shell命令刪除外部表

hdfs?-dfs?-rm?-r?外部表路徑

• 使用 drop 可刪除整個表

drop?table?表名

查看hive表

• 查詢hive所有表

hive?-e?"show?databases?;"?>?databases.txtcat?databases.txtdefault

• 指定default數據庫

./hive?-d?default

在Mysql中創建測試表

• 創建test

DROP?TABLE?IF?EXISTS?`test`;CREATE?TABLE?`test`?(??`id`?int(10)?DEFAULT?NULL,??`uid`?int(10)?DEFAULT?NULL,??`title`?varchar(100)?DEFAULT?NULL,??`name`?varchar(100)?DEFAULT?NULL,??`status`?int(10)?DEFAULT?NULL,??`time`?timestamp?NULL?DEFAULT?NULL)?ENGINE=InnoDB?DEFAULT?CHARSET=utf8;

插入3條測試數據

INSERT?INTO?`test`.`test`(`id`,?`uid`,?`title`,?`name`,?`status`,?`time`)?VALUES?(1,?1,?'第一條數據',?'平凡人筆記',?1,?'2021-01-11?16:30:02');INSERT?INTO?`test`.`test`(`id`,?`uid`,?`title`,?`name`,?`status`,?`time`)?VALUES?(2,?2,?'第二條數據',?'孟凡霄',?2,?'2021-01-11?16:30:20');INSERT?INTO?`test`.`test`(`id`,?`uid`,?`title`,?`name`,?`status`,?`time`)?VALUES?(3,?3,?'第三條數據',?'平凡人',?3,?'2021-01-11?16:30:41');

• 創建test_out

DROP?TABLE?IF?EXISTS?`test_out`;CREATE?TABLE?`test_out`?(??`name`?varchar(100)?DEFAULT?NULL,??`count`?int(10)?DEFAULT?NULL,??`time`?date?DEFAULT?NULL)?ENGINE=InnoDB?DEFAULT?CHARSET=utf8;

Mysql導入Hive

/usr/local/sqoop/bin/sqoop?import?--driver?com.mysql.jdbc.Driver?--connect?jdbc:mysql://hadoop001:3306/test?useSSL=false?--username?root?--password?123456?--table?test?--fields-terminated-by?'001'?--lines-terminated-by?''?--delete-target-dir?--num-mappers?1?--hive-import?--hive-database?default?--hive-table?test?--direct雖然有報錯?ERROR?bonecp.BoneCP:?Unable?to?start/stop?JMXjava.security.AccessControlException:?access?denied?("javax.management.MBeanTrustPermission"?"register")但不影響導入結果

• 查看hive表

說明從Mysql導入hive成功

增量數據定時導入

mysql test表增加一條測試數據

INSERT?INTO?`test`.`test`(`id`,?`uid`,?`title`,?`name`,?`status`,?`time`)?VALUES?(4,?4,?'第四條數據',?'筆記',?4,?'2021-01-11?16:50:00');

• 刪除指定job

/usr/local/sqoop/bin/sqoop?job?--delete?testJob

• 添加一個增量更新的job

/usr/local/sqoop/bin/sqoop?job?--create?testJob?--?import?--driver?com.mysql.jdbc.Driver?--connect?jdbc:mysql://hadoop001:3306/test?useSSL=false?--username?root?--password?123456?--table?test?--check-column?time?--incremental?lastmodified?--last-value?'2018-08-09?15:30:29'?--merge-key?id?--fields-terminated-by?'001'?--lines-terminated-by?''?--num-mappers?1?--target-dir?/user/hive/warehouse/test

• 執行job

/usr/local/sqoop/bin/sqoop?job?--exec?testJob

• 查看數據已被更新

• 查看job

/usr/local/sqoop/bin/sqoop?job?--show?testJob

通常情況可以結合sqoop job和crontab等任務調度工具實現相關業務

Hive導入Hive

cd?/usr/local/hive/binhive#?統計后將結果數據加入另一個表INSERT?INTO?TABLE?test_out(name,count,time)?SELECT?name,count(1),to_date(time)?FROM?test?GROUP?BY?name,to_date(time);#?或者INSERT?OVERWRITE?TABLE?test_outSELECT?name,count(1),to_date(time)?FROM?test?GROUP?BY?name,to_date(time);

查看統計結果

統計成功

Hive導入Mysql

#?hive的default庫中的test_out表數據導出到mysql的test庫test_out表/usr/local/sqoop/bin/sqoop?export?--connect?"jdbc:mysql://hadoop001:3306/test?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai"?--username?root?--password?123456?--input-null-string?'N'?--input-null-non-string?'N'?--input-fields-terminated-by?''?--table?test_out?--hcatalog-database?default?--hcatalog-table?test_out?-m?1;導出成功

可能遇到的問題及注意點

• hive訪問mysql數據庫權限問題

服務器1上hive訪問mysql如果報錯Access?denied?for?user?'root'@'192.168.84.128'?(using?password:?YES)

mysql需要授權訪問者

GRANT?ALL?PRIVILEGES?ON?*.*?TO?'root'@'192.168.84.128'?IDENTIFIED?BY?'123456'?WITH?GRANT?OPTION;flush?privileges;

• 在namenode上執行

報錯：RemoteException(org.apache.hadoop.ipc.StandbyException):Operation?category?READ?is?not?supported?in?state?standby原因：服務器1是namenode節點?active?狀態服務器2是secondNamenode節點是?standby狀態執行命令要在active的namenode才可以

• 只有namenode才會有webui 50070端口

服務器1(192.168.84.128)上安裝namenode?有50070端口服務器2(192.168.84.131)上安裝secondNamenode?有50070端口服務器3(192.168.84.132)上沒有安裝namenode?沒有

后記

接下來研究的方向：1、hive運行原理2、弄一筆數據走一下搭建好的大數據運行環境3、10億數據如何分庫分表存儲Mysql4、10億數據同步到hive5、flink數據如何求交

總結

以上是生活随笔為你收集整理的执行sqoop 用shell_Mysql和Hive之间通过Sqoop进行数据同步的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。