前言

??隨著實(shí)時(shí)技術(shù)的不斷發(fā)展和商家實(shí)時(shí)應(yīng)用場(chǎng)景的不斷豐富，有贊在實(shí)時(shí)數(shù)倉建設(shè)方面做了大量的嘗試和實(shí)踐。本文主要分享有贊在建設(shè)實(shí)時(shí)數(shù)倉過程中所沉淀的經(jīng)驗(yàn)，內(nèi)容包括以下五個(gè)部分：

• 建設(shè)背景

• 應(yīng)用場(chǎng)景

• 方案設(shè)計(jì)

• 項(xiàng)目應(yīng)用

• 未來展望

一、建設(shè)背景

• 實(shí)時(shí)需求日趨迫切

產(chǎn)品需求和內(nèi)部決策對(duì)于數(shù)據(jù)實(shí)時(shí)性的要求越來越迫切，需要實(shí)時(shí)數(shù)倉的能力來賦能。傳統(tǒng)離線數(shù)倉的數(shù)據(jù)時(shí)效性是T+1，調(diào)度頻率以天為單位，無法支撐實(shí)時(shí)場(chǎng)景的數(shù)據(jù)需求。即使能將調(diào)度頻率設(shè)置成小時(shí)，也只能解決部分時(shí)效性要求不高的場(chǎng)景，對(duì)于實(shí)效性要求很高的場(chǎng)景還是無法優(yōu)雅的支撐。因此實(shí)時(shí)使用數(shù)據(jù)的問題必須得到有效解決。

• 實(shí)時(shí)技術(shù)日趨成熟

實(shí)時(shí)計(jì)算框架已經(jīng)經(jīng)歷了三代發(fā)展，分別是：Storm、SparkStreaming、Flink，計(jì)算框架越來越成熟。一方面，實(shí)時(shí)任務(wù)的開發(fā)已經(jīng)能通過編寫SQL的方式來完成，在技術(shù)層面能很好地繼承離線數(shù)倉的架構(gòu)設(shè)計(jì)思想；另一方面，有贊在線數(shù)據(jù)開發(fā)平臺(tái)所提供的功能對(duì)實(shí)時(shí)任務(wù)開發(fā)、調(diào)試、運(yùn)維的支持也日漸趨于成熟，開發(fā)成本逐步降低，有助于去做這件事。

二、應(yīng)用場(chǎng)景

• 實(shí)時(shí)BI看板

通過有贊BI工具基于實(shí)

總結(jié)

以上是生活随笔為你收集整理的机器学习从入门到精通50讲（四）-实时数仓应用实践案例的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。