數(shù)據(jù)準(zhǔn)備

數(shù)據(jù)格式

cookie4.txt

cookie1,2015-04-10 10:00:02,url2 cookie1,2015-04-10 10:00:00,url1 cookie1,2015-04-10 10:03:04,1url3 cookie1,2015-04-10 10:50:05,url6 cookie1,2015-04-10 11:00:00,url7 cookie1,2015-04-10 10:10:00,url4 cookie1,2015-04-10 10:50:01,url5 cookie2,2015-04-10 10:00:02,url22 cookie2,2015-04-10 10:00:00,url11 cookie2,2015-04-10 10:03:04,1url33 cookie2,2015-04-10 10:50:05,url66 cookie2,2015-04-10 11:00:00,url77 cookie2,2015-04-10 10:10:00,url44 cookie2,2015-04-10 10:50:01,url55

創(chuàng)建表

use cookie; drop table if exists cookie4; create table cookie4(cookieid string, createtime string, url string) row format delimited fields terminated by ','; load data local inpath "/home/hadoop/cookie4.txt" into table cookie4; select * from cookie4;

?

玩一玩LAG

說(shuō)明

LAG(col,n,DEFAULT) 用于統(tǒng)計(jì)窗口內(nèi)往上第n行值

第一個(gè)參數(shù)為列名，
第二個(gè)參數(shù)為往上第n行（可選，默認(rèn)為1），
第三個(gè)參數(shù)為默認(rèn)值（當(dāng)往上第n行為NULL時(shí)候，取默認(rèn)值，如不指定，則為NULL）

查詢語(yǔ)句

select cookieid, createtime, url, row_number() over (partition by cookieid order by createtime) as rn, LAG(createtime,1,'1970-01-01 00:00:00') over (partition by cookieid order by createtime) as last_1_time, LAG(createtime,2) over (partition by cookieid order by createtime) as last_2_time from cookie.cookie4;

查詢結(jié)果

結(jié)果說(shuō)明

last_1_time: 指定了往上第1行的值，default為'1970-01-01 00:00:00' cookie1第一行，往上1行為NULL,因此取默認(rèn)值 1970-01-01 00:00:00cookie1第三行，往上1行值為第二行值，2015-04-10 10:00:02cookie1第六行，往上1行值為第五行值，2015-04-10 10:50:01 last_2_time: 指定了往上第2行的值，為指定默認(rèn)值cookie1第一行，往上2行為NULLcookie1第二行，往上2行為NULLcookie1第四行，往上2行為第二行值，2015-04-10 10:00:02cookie1第七行，往上2行為第五行值，2015-04-10 10:50:01

?

玩一玩LEAD

說(shuō)明

與LAG相反

LEAD(col,n,DEFAULT) 用于統(tǒng)計(jì)窗口內(nèi)往下第n行值

第一個(gè)參數(shù)為列名，
第二個(gè)參數(shù)為往下第n行（可選，默認(rèn)為1），
第三個(gè)參數(shù)為默認(rèn)值（當(dāng)往下第n行為NULL時(shí)候，取默認(rèn)值，如不指定，則為NULL）

查詢語(yǔ)句

select cookieid, createtime, url, row_number() over (partition by cookieid order by createtime) as rn, LEAD(createtime,1,'1970-01-01 00:00:00') over (partition by cookieid order by createtime) as next_1_time, LEAD(createtime,2) over (partition by cookieid order by createtime) as next_2_time from cookie.cookie4;

查詢結(jié)果

結(jié)果說(shuō)明

--邏輯與LAG一樣，只不過(guò)LAG是往上，LEAD是往下。

玩一玩FIRST_VALUE

說(shuō)明

取分組內(nèi)排序后，截止到當(dāng)前行，第一個(gè)值

查詢語(yǔ)句

select cookieid, createtime, url, row_number() over (partition by cookieid order by createtime) as rn, first_value(url) over (partition by cookieid order by createtime) as first1 from cookie.cookie4;

查詢結(jié)果

玩一玩LAST_VALUE

說(shuō)明

取分組內(nèi)排序后，截止到當(dāng)前行，最后一個(gè)值

查詢語(yǔ)句

select cookieid, createtime, url, row_number() over (partition by cookieid order by createtime) as rn, last_value(url) over (partition by cookieid order by createtime) as last1 from cookie.cookie4;

查詢結(jié)果

如果不指定ORDER BY，則默認(rèn)按照記錄在文件中的偏移量進(jìn)行排序，會(huì)出現(xiàn)錯(cuò)誤的結(jié)果

如果想要取分組內(nèi)排序后最后一個(gè)值，則需要變通一下

查詢語(yǔ)句

select cookieid, createtime, url, row_number() over (partition by cookieid order by createtime) as rn,LAST_VALUE(url) over (partition by cookieid order by createtime) as last1,FIRST_VALUE(url) over (partition by cookieid order by createtime desc) as last2 from cookie.cookie4 order by cookieid,createtime;

查詢結(jié)果

?

提示：在使用分析函數(shù)的過(guò)程中，要特別注意ORDER BY子句，用的不恰當(dāng)，統(tǒng)計(jì)出的結(jié)果就不是你所期望的。

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

?

轉(zhuǎn)載于:https://www.cnblogs.com/qingyunzong/p/8798606.html

總結(jié)

以上是生活随笔為你收集整理的Hive学习之路 （十六）Hive分析窗口函数(四) LAG、LEAD、FIRST_VALUE和LAST_VALUE的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。