1.Fetch抓取(Hive可以避免進行MapReduce)

Hive中對某些情況的查詢可以不必使用MapReduce計算。例如：SELECT * FROM employees;在這種情況下，Hive可以簡單地讀取employee對應的存儲目錄下的文件，然后輸出查詢結(jié)果到控制臺。

在hive-default.xml.template文件中hive.fetch.task.conversion默認是more，老版本hive默認是minimal，該屬性修改為more以后，在全局查找、字段查找、limit查找等都不走mapreduce。

hive.fetch.task.conversionmore

案例實操：

1)把hive.fetch.task.conversion設置成none，然后執(zhí)行查詢語句，都會執(zhí)行mapreduce程序。

hive (default)> set hive.fetch.task.conversion=none;hive (default)> select * from score;hive (default)> select s_score from score;hive (default)> select s_score from score limit 3;

2)把hive.fetch.task.conversion設置成more，然后執(zhí)行查詢語句，如下查詢方式都不會執(zhí)行mapreduce程序。

hive (default)> set hive.fetch.task.conversion=more;hive (default)> select * from score;hive (default)> sel

總結(jié)

以上是生活随笔為你收集整理的hive 字段不包含某个字符_hive之面试必问 hive调优的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。