大数据量处理模式
【數據庫】
建視圖、建索引來優化查詢
用分頁查詢的存儲過程
游標。。。
異步?
【Ajax大數據量處理(分頁思維)】思路如下:
將大數據量數據進行分割返回,例如需要返回100條數據,我們可以通過10次請求來進行返回數據。每次返回數據的時候其中包括數量的總行數、返回當前數據的位置、此次返回數據的數量。
例如:{TotalRowsCount:100,CurrentRowsIndex:60,CurrentRowsCount:10}。
代表總行數:100,當前行數已經返回到:60,此次返回數量10。
【程序代碼】
【算法方案】
A.分布式處理 mapreduce
適用范圍:數據量大,但是數據種類小可以放入內存
?
基本原理及要點:將數據交給不同的機器去處理,數據劃分,結果歸約。
【總結】時間與空間的轉換
0.算法??????? [100%]? (樹 哈希)
1.預加載????? [空間]? (緩存,堆)
2.預排列????? [時間]? (索引)
3.分割=>歸并? [t=T/N] (DB分頁,Ajax分批,發布式,多線程,邏輯分類:多數據文件)
【成本開銷】找瓶頸
1.IO資源
2.網路資源
3.算法冗余
轉載于:https://www.cnblogs.com/AspDotNetMVC/archive/2012/11/11/2764611.html
總結
- 上一篇: practical rendering
- 下一篇: 酒店管理系统房态图的效果制作