数据事业部/数据项目/数据乐高
生活随笔
收集整理的這篇文章主要介紹了
数据事业部/数据项目/数据乐高
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
TOLAP配置說明
轉至元數據結尾- 附件:9
- 由楊穎3 yangying3 (99999)添加,由喬夢雅 qiaomengya (99999)最后更新于2018-01-15 ?(查看更改)
生產環境配置鏈接:http://10.40.188.116:8080/cubit/#/cube/list
主要步驟:1、創建Project
????????????????? 2、創建Model
????????????????? 3、創建Cube
????????????????? 4、創建Engine
????????????????? 5、創建Datasource
????????????????? 6、創建Browser
補充說明:1、在創建Engine完成后,可以先執行kylin,測試kylin執行時長,如果時間過長,可考慮減少維度(dimention)個數
???????????????? 2、同一個project下只能創建一個cube,最好一個project下只有一個model,一個model下只有一個cube
詳細步驟:
一、創建Project
????? Project 列表---->創建---->提交(project name&project code自定義)
二、創建Model
????? Model列表---->創建---->提交
三、創建Cube
????? Cube列表---->創建---->提交
四、創建Engine
????? Engine列表---->創建---->提交
五、創建Datasource
?????? DataSource列表---->創建---->提交
??????六、創建Browser
Browser關系列表列表---->創建---->提交---->cube定義成功
?數據樂高開發流程
轉至元數據結尾- 附件:6
- 由喬夢雅 qiaomengya (99999)添加,由喬夢雅 qiaomengya (99999)最后更新于2018-01-12
數據樂高開發流程:
一、需求評審
由產品及開發對業務方提出的cube開發需求進行評審 維度個數不宜過多,控制在20個以內二、底層表開發
1、直接開發成一張寬表,包含所有需求維度和指標,如 ol_cube_rpt_sales_performance 2、底層表盡量做增量分區表,這樣kylin只需每日構建增量cube即可,提高效率,如目前已上線的 保險cube; 但是對于需要每天刷新銷售架構的表,則不能構建每日增量cube,目前采取的方法是 : 對底層寬表采用固定分區(主要是kylin不支持 刪除歷史分區,設成固定分區,刷數據時可直接覆蓋) a)dt='20170101'? 存儲最近2個月,同期2個月數據。 每天刷新。 b)dt=‘20160101’? 存儲最近2年數據,剔除最近2個月,同期2個月數據。 如目前已上線的銷售業績cube:? ol_cube_rpt_sales_performance 是每天的增量分區表 ol_cube_rpt_sales_performance_all 只有兩個dt的增量分區表 ,ol_cube_rpt_sales_performance作業執行完之后,將近2個月及同期數據插入到 ol_cube_rpt_sales_performance_all 表的 dt=20170101分區中,再執行kylin調度 每日調度:ol_cube_rpt_sales_performance_dynamic_run_1d? -------->? ol_cube_rpt_sales_performance_all? --------> ol_cube_kylin_sales_performance_all 周六補數調度:ol_cube_rpt_sales_performance_bushu_dynamic_run? -------->? ol_cube_rpt_sales_performance_all_bushu? -------->ol_cube_rpt_sales_performance_all --------> ol_cube_kylin_sales_performance_all_bushu三、配置OLAP
底層表開發完成并測試上線后,即可開始配置OLAP 具體配置說明可參考wiki:TOLAP配置說明四、kylin執行時長驗證
kylin鏈接:http://10.40.188.123:7070/kylin/models 在olap配置過程中,在創建Engine完成后,可以先執行kylin,測試kylin執行時長,如果時間過長,可考慮減少維度(dimention)個數 可以直接執行云途作業 ? ol_cube_kylin_sales_performance_all,也可手動執行,手動執行步驟: 1、在model標簽下找到創建的project、model、cube 2、點擊創建【build】 3、設置起始時間,點擊【submit】 4、創建完成之后,在monitor標簽中查看執行進度 5、執行完成后在 insight標簽中查看驗證表數據,支持select語句 6、取消執行,點擊【discard】五、頁面展示 saiku
kylin執行完成之后,確保TOLAP中? datasource 和 browser 也已配置完成,則可在前端查看數據(聚石塔–數據樂高) 如果配置的cube沒有顯示: 1、嘗試刷新緩存?? http://public-api.biolap.tnbi.tuniu.org/biolap/rest/saiku/admin/discover/refresh?_=1512115527 ?? 將admin改成自己的用戶名 2、確認是否申請該cube的菜單權限 如果以上兩種方法都嘗試過后還是無法顯示,可聯系平臺組郝志超轉載于:https://www.cnblogs.com/shujuxiong/p/11257790.html
總結
以上是生活随笔為你收集整理的数据事业部/数据项目/数据乐高的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 移除List中的元素,你的姿势对了吗?
- 下一篇: 使用各类BeanUtils的时候,切记注