Hive分析窗口函数: LAG、LEAD、FIRST_VALUE、LAST_VALUE
生活随笔
收集整理的這篇文章主要介紹了
Hive分析窗口函数: LAG、LEAD、FIRST_VALUE、LAST_VALUE
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
目錄
1.數據準備
1.1數據格式
1.2創建表
2.LAG
2.1函數說明
2.2函數使用
2.3 查詢結果
2.4 結果說明
3. LEAD
3.1 函數說明
3.2 函數使用
3.3 查詢結果
4.?FIRST_VALUE
4.1? 函數說明
4.2 函數使用
5.?LAST_VALUE
5.1 函數說明
5.2 函數使用
5.3 查詢結果
5.4 取分組內最后一個值
5.6 查詢結果
1.數據準備
1.1數據格式
cookie1,2015-04-10 10:00:02,url2 cookie1,2015-04-10 10:00:00,url1 cookie1,2015-04-10 10:03:04,1url3 cookie1,2015-04-10 10:50:05,url6 cookie1,2015-04-10 11:00:00,url7 cookie1,2015-04-10 10:10:00,url4 cookie1,2015-04-10 10:50:01,url5 cookie2,2015-04-10 10:00:02,url22 cookie2,2015-04-10 10:00:00,url11 cookie2,2015-04-10 10:03:04,1url33 cookie2,2015-04-10 10:50:05,url66 cookie2,2015-04-10 11:00:00,url77 cookie2,2015-04-10 10:10:00,url44 cookie2,2015-04-10 10:50:01,url551.2創建表
use cookie; drop table if exists cookie4; create table cookie4(cookieid string, createtime string, url string) row format delimited fields terminated by ','; load data local inpath "/home/hadoop/cookie4.txt" into table cookie4; select * from cookie4;2.LAG
2.1函數說明
LAG(col,n,DEFAULT) 用于統計窗口內往上第n行值
- 第一個參數為列名,
- 第二個參數為往上第n行(可選,默認為1),
- 第三個參數為默認值(當往上第n行為NULL時候,取默認值,如不指定,則為NULL)
2.2函數使用
select cookieid, createtime, url, row_number() over (partition by cookieid order by createtime) as rn, LAG(createtime,1,'1970-01-01 00:00:00') over (partition by cookieid order by createtime) as last_1_time, LAG(createtime,2) over (partition by cookieid order by createtime) as last_2_time from cookie.cookie4;2.3 查詢結果
2.4 結果說明
last_1_time: 指定了往上第1行的值,default為'1970-01-01 00:00:00' cookie1第一行,往上1行為NULL,因此取默認值 1970-01-01 00:00:00cookie1第三行,往上1行值為第二行值,2015-04-10 10:00:02cookie1第六行,往上1行值為第五行值,2015-04-10 10:50:01 last_2_time: 指定了往上第2行的值,為指定默認值cookie1第一行,往上2行為NULLcookie1第二行,往上2行為NULLcookie1第四行,往上2行為第二行值,2015-04-10 10:00:02cookie1第七行,往上2行為第五行值,2015-04-10 10:50:013. LEAD
3.1 函數說明
與LAG相反 ,LEAD(col,n,DEFAULT) 用于統計窗口內往下第n行值
- 第一個參數為列名,
- 第二個參數為往下第n行(可選,默認為1),
- 第三個參數為默認值(當往下第n行為NULL時候,取默認值,如不指定,則為NULL)
3.2 函數使用
select cookieid, createtime, url, row_number() over (partition by cookieid order by createtime) as rn, LEAD(createtime,1,'1970-01-01 00:00:00') over (partition by cookieid order by createtime) as next_1_time, LEAD(createtime,2) over (partition by cookieid order by createtime) as next_2_time from cookie.cookie4;3.3 查詢結果
4.?FIRST_VALUE
4.1? 函數說明
取分組內排序后,截止到當前行,第一個值
4.2 函數使用
select cookieid, createtime, url, row_number() over (partition by cookieid order by createtime) as rn, first_value(url) over (partition by cookieid order by createtime) as first1 from cookie.cookie4;4.3 查詢結果
5.?LAST_VALUE
5.1 函數說明
取分組內排序后,截止到當前行,最后一個值
5.2 函數使用
select cookieid, createtime, url, row_number() over (partition by cookieid order by createtime) as rn, last_value(url) over (partition by cookieid order by createtime) as last1 from cookie.cookie4;5.3 查詢結果
5.4 取分組內最后一個值
查詢語句
select cookieid, createtime, url, row_number() over (partition by cookieid order by createtime) as rn,LAST_VALUE(url) over (partition by cookieid order by createtime) as last1,FIRST_VALUE(url) over (partition by cookieid order by createtime desc) as last2 from cookie.cookie4 order by cookieid,createtime;5.6 查詢結果
總結
以上是生活随笔為你收集整理的Hive分析窗口函数: LAG、LEAD、FIRST_VALUE、LAST_VALUE的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: BigBrother的大数据之旅 Day
- 下一篇: MFC 鼠标双击响应单击事件