大數(shù)據(jù)系統(tǒng)架構(gòu)有兩種組成部分， 實(shí)時(shí)流處理和批量數(shù)據(jù)處理。我們根據(jù)具體的需求選擇適當(dāng)?shù)臄?shù)據(jù)處理框架。一些框架適合于批量數(shù)據(jù)處理，而另外一些適用于實(shí)時(shí)數(shù)據(jù)處理。一些框架使用內(nèi)存模式，另外一些是基于磁盤(pán)I/O處理模式。基于內(nèi)存的框架性能明顯優(yōu)于基于磁盤(pán)I/O的框架，但是同時(shí)成本也高很多。總之，要選擇一個(gè)能夠滿足需求的框架，否則就有可能就無(wú)法滿足功能需求，也無(wú)法滿足非功能需求（比如：性能需求）。

一些框架將數(shù)據(jù)化分成較小的塊。這些小數(shù)據(jù)塊由各個(gè)作業(yè)獨(dú)立處理。協(xié)調(diào)器管理所有這些獨(dú)立的子作業(yè)。數(shù)據(jù)分塊是需要小心的。數(shù)據(jù)塊越小，就會(huì)產(chǎn)生越多的作業(yè)，這樣就會(huì)增加系統(tǒng)初始化作業(yè)和清理作業(yè)的負(fù)擔(dān)。如果數(shù)據(jù)塊太大，數(shù)據(jù)傳輸可能需要很長(zhǎng)時(shí)間才能完成。這也可能導(dǎo)致資源利用不均衡，長(zhǎng)時(shí)間在一臺(tái)服務(wù)器上運(yùn)行一個(gè)大作業(yè)，而其他服務(wù)器就會(huì)等待而造成處理能力的浪費(fèi)不要忘了查看一個(gè)任務(wù)的作業(yè)總數(shù)，在必要時(shí)調(diào)整這個(gè)參數(shù)。盡量實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)塊的傳輸。

大數(shù)據(jù)分析結(jié)果應(yīng)該保存成用戶期望看到的格式。如果用戶要求按照每周的時(shí)間序列匯總輸出，那么你就要將結(jié)果以周為單位進(jìn)行匯總保存。

總結(jié)

以上是生活随笔為你收集整理的产品经理学大数据——大数据软件框架：框架的选择的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。