一篇很好的架构文章
2019獨角獸企業重金招聘Python工程師標準>>>
從各個角度總結了電商平臺中的架構實踐，由于時間倉促，定了個初稿，待補充完善，歡迎大家一起交流。
轉載請聲明出處：http://blog.csdn.net/yangbutao/article/details/12242441
作者：楊步濤
關注分布式架構、大數據、搜索、開源技術
QQ:306591368
技術Blog：http://blog.csdn.net/yangbutao
?
一、?設計理念
?
?
1.??????空間換時間
1)??????多級緩存，靜態化
客戶端頁面緩存（http header中包含Expires/Cache of Control，last modified(304，server不返回body，客戶端可以繼續用cache，減少流量)，ETag）
反向代理緩存
應用端的緩存(memcache)
內存數據庫
Buffer、cache機制（數據庫，中間件等）
2)??????索引
哈希、B樹、倒排、bitmap
哈希索引適合綜合數組的尋址和鏈表的插入特性，可以實現數據的快速存取。
B樹索引適合于查詢為主導的場景，避免多次的IO，提高查詢的效率。
倒排索引實現單詞到文檔映射關系的最佳實現方式和最有效的索引結構，廣泛用在搜索領域。
Bitmap是一種非常簡潔快速的數據結構，他能同時使存儲空間和速度最優化（而不必空間換時間），適合于海量數據的的計算場景。
2.?????并行與分布式計算
?
1)??????任務切分、分而治之(MR)
在大規模的數據中，數據存在一定的局部性的特征，利用局部性的原理將海量數據計算的問題分而治之。
MR模型是無共享的架構，數據集分布至各個節點。處理時，每個節點就近讀取本地存儲的數據處理(map)，將處理后的數據進行合并(combine)、排序(shuffle and sort)后再分發(至reduce節點)，避免了大量數據的傳輸，提高了處理效率。
?
2)??????多進程、多線程并行執行(MPP)
并行計算（Parallel Computing）是指同時使用多種計算資源解決計算問題的過程，是提高計算機系統計算速度和處理能力的一種有效手段。它的基本思想是用多個處理器/進程/線程來協同求解同一問題，即將被求解的問題分解成若干個部分，各部分均由一個獨立的處理機來并行計算。
和MR的區別在于，它是基于問題分解的，而不是基于數據分解。
3.??????多維度的可用
1)??????負載均衡、容災、備份
隨著平臺并發量的增大，需要擴容節點進行集群，利用負載均衡設備進行請求的分發；負載均衡設備通常在提供負載均衡的同時，也提供失效檢測功能；同時為了提高可用性，需要有容災備份，以防止節點宕機失效帶來的不可用問題；備份有在線的和離線備份，可以根據失效性要求的不同，進行選擇不同的備份策略。
2)??????讀寫分離
讀寫分離是對數據庫來講的，隨著系統并發量的增大，提高數據訪問可用性的一個重要手段就是寫數據和讀數據進行分離；當然在讀寫分離的同時，需要關注數據的一致性問題；對于一致性的問題，在分布式的系統CAP定量中，更多的關注于可用性。
3)??????依賴關系
平臺中各個模塊之間的關系盡量是低耦合的，可以通過相關的消息組件進行交互，能異步則異步，分清楚數據流轉的主流程和副流程，主副是異步的，比如記錄日志可以是異步操作的，增加整個系統的可用性。
當然在異步處理中，為了確保數據得到接收或者處理，往往需要確認機制(confirm、ack)。
但是有些場景中，雖然請求已經得到處理，但是因其他原因(比如網絡不穩定)，確認消息沒有返回，那么這種情況下需要進行請求的重發，對請求的處理設計因重發因素需要考慮冪等性。
4)??????監控
監控也是提高整個平臺可用性的一個重要手段，多平臺進行多個維度的監控；模塊在運行時候是透明的，以達到運行期白盒化。
4.??????伸縮
1)??????拆分
拆分包括對業務的拆分和對數據庫的拆分。
系統的資源總是有限的，一段比較長的業務執行如果是一竿子執行的方式，在大量并發的操作下，這種阻塞的方式，無法有效的及時釋放資源給其他進程執行，這樣系統的吞吐量不高。
需要把業務進行邏輯的分段，采用異步非阻塞的方式，提高系統的吞吐量。
隨著數據量和并發量的增加，讀寫分離不能滿足系統并發性能的要求，需要對數據進行切分，包括對數據進行分庫和分表。這種分庫分表的方式，需要增加對數據的路由邏輯支持。
2)??????無狀態
對于系統的伸縮性而言，模塊最好是無狀態的，通過增加節點就可以提高整個的吞吐量。
5.??????優化資源利用
1)??????系統容量有限
系統的容量是有限的，承受的并發量也是有限的，在架構設計時，一定需要考慮流量的控制，防止因意外攻擊或者瞬時并發量的沖擊導致系統崩潰。在設計時增加流控的措施，可考慮對請求進行排隊，超出預期的范圍，可以進行告警或者丟棄。
2)??????原子操作與并發控制
對于共享資源的訪問，為了防止沖突，需要進行并發的控制，同時有些交易需要有事務性來保證交易的一致性，所以在交易系統的設計時，需考慮原子操作和并發控制。
保證并發控制一些常用高性能手段有，樂觀鎖、Latch、mutex、寫時復制、CAS等；多版本的并發控制MVCC通常是保證一致性的重要手段，這個在數據庫的設計中經常會用到。
3)??????基于邏輯的不同，采取不一樣的策略
平臺中業務邏輯存在不同的類型，有計算復雜型的，有消耗IO型的，同時就同一種類型而言，不同的業務邏輯消耗的資源數量也是不一樣的，這就需要針對不同的邏輯采取不同的策略。
針對IO型的，可以采取基于事件驅動的異步非阻塞的方式，單線程方式可以減少線程的切換引起的開銷，或者在多線程的情況下采取自旋spin的方式，減少對線程的切換(比如oracle latch設計)；對于計算型的，充分利用多線程進行操作。
同一類型的調用方式，不同的業務進行合適的資源分配，設置不同的計算節點數量或者線程數量，對業務進行分流，優先執行優先級別高的業務。
4)??????容錯隔離
系統的有些業務模塊在出現錯誤時，為了減少并發下對正常請求的處理的影響，有時候需要考慮對這些異常狀態的請求進行單獨渠道的處理，甚至暫時自動禁止這些異常的業務模塊。
有些請求的失敗可能是偶然的暫時的失敗(比如網絡不穩定)，需要進行請求重試的考慮。
5)??????資源釋放
系統的資源是有限的，在使用資源時，一定要在最后釋放資源，無論是請求走的是正常路徑還是異常的路徑，以便于資源的及時回收，供其他請求使用。
在設計通信的架構時，往往需要考慮超時的控制。
?
?
?
?
?
二、?靜態架構藍圖
?
整個架構是分層的分布式的架構，縱向包括CDN，負載均衡/反向代理，web應用，業務層，基礎服務層，數據存儲層。水平方向包括對整個平臺的配置管理部署和監控。
?
三、?剖析架構
1.?CDN
CDN系統能夠實時地根據網絡流量和各節點的連接、負載狀況以及到用戶的距離和響應時間等綜合信息將用戶的請求重新導向離用戶最近的服務節點上。其目的是使用戶可就近取得所需內容，解決?Internet網絡擁擠的狀況，提高用戶訪問網站的響應速度。
對于大規模電子商務平臺一般需要建CDN做網絡加速，大型平臺如淘寶、京東都采用自建CDN，中小型的企業可以采用第三方CDN廠商合作，如藍汛、網宿、快網等。
當然在選擇CDN廠商時，需要考慮經營時間長短，是否有可擴充的帶寬資源、靈活的流量和帶寬選擇、穩定的節點、性價比。
2.?負載均衡、反向代理
一個大型的平臺包括很多個業務域，不同的業務域有不同的集群，可以用DNS做域名解析的分發或輪詢，DNS方式實現簡單，但是因存在cache而缺乏靈活性；一般基于商用的硬件F5、NetScaler或者開源的軟負載lvs在4層做分發，當然會采用做冗余(比如lvs+keepalived)的考慮，采取主備方式。
4層分發到業務集群上后，會經過web服務器如nginx或者HAProxy在7層做負載均衡或者反向代理分發到集群中的應用節點。
選擇哪種負載，需要綜合考慮各種因素（是否滿足高并發高性能，Session保持如何解決，負載均衡的算法如何，支持壓縮，緩存的內存消耗）；下面基于幾種常用的負載均衡軟件做個介紹。
LVS，工作在4層，Linux實現的高性能高并發、可伸縮性、可靠的的負載均衡器，支持多種轉發方式(NAT、DR、IP?Tunneling)，其中DR模式支持通過廣域網進行負載均衡。支持雙機熱備(Keepalived或者Heartbeat)。對網絡環境的依賴性比較高。
Nginx工作在7層，事件驅動的、異步非阻塞的架構、支持多進程的高并發的負載均衡器/反向代理軟件?？梢葬槍τ蛎⒛夸浗Y構、正則規則針對http做一些分流。通過端口檢測到服務器內部的故障，比如根據服務器處理網頁返回的狀態碼、超時等等，并且會把返回錯誤的請求重新提交到另一個節點，不過其中缺點就是不支持url來檢測。對于session?sticky，可以基于ip?hash的算法來實現，通過基于cookie的擴展nginx-sticky-module支持session sticky。
HAProxy支持4層和7層做負載均衡，支持session的會話保持，cookie的引導；支持后端url方式的檢測；負載均衡的算法比較豐富，有RR、權重等。
對于圖片，需要有單獨的域名，獨立或者分布式的圖片服務器或者如mogileFS，可以圖片服務器之上加varnish做圖片緩存。
3.?App接入
應用層運行在jboss或者tomcat容器中，代表獨立的系統，比如前端購物、用戶自主服務、后端系統等
協議接口，HTTP、JSON
可以采用servlet3.0,異步化servlet,提高整個系統的吞吐量
http請求經過Nginx，通過負載均衡算法分到到App的某一節點，這一層層擴容起來比較簡單。
除了利用cookie保存少量用戶部分信息外(cookie一般不能超過4K的大小)，對于App接入層，保存有用戶相關的session數據，但是有些反向代理或者負載均衡不支持對session?sticky支持不是很好或者對接入的可用性要求比較高(app接入節點宕機，session隨之丟失)，這就需要考慮session的集中式存儲，使得App接入層無狀態化，同時系統用戶變多的時候，就可以通過增加更多的應用節點來達到水平擴展的目的。
Session的集中式存儲，需要滿足以下幾點要求：
a、高效的通訊協議
b、session的分布式緩存，支持節點的伸縮，數據的冗余備份以及數據的遷移
c、session過期的管理
?
4.?業務服務
代表某一領域的業務提供的服務，對于電商而言，領域有用戶、商品、訂單、紅包、支付業務等等，不同的領域提供不同的服務，
這些不同的領域構成一個個模塊，良好的模塊劃分和接口設計非常重要，一般是參考高內聚、接口收斂的原則，
這樣可以提高整個系統的可用性。當然可以根據應用規模的大小，模塊可以部署在一起，對于大規模的應用，一般是獨立部署的。
高并發：
業務層對外協議以NIO的RPC方式暴露，可以采用比較成熟的NIO通訊框架，如netty、mina
可用性：
為了提高模塊服務的可用性，一個模塊部署在多個節點做冗余，并自動進行負載轉發和失效轉移;
最初可以利用VIP+heartbeat方式，目前系統有一個單獨的組件HA,利用zookeeper實現(比原來方案的優點)
一致性、事務：
對于分布式系統的一致性，盡量滿足可用性，一致性可以通過校對來達到最終一致的狀態。
5.?基礎服務中間件
1)?通信組件
通信組件用于業務系統內部服務之間的調用，在大并發的電商平臺中，需要滿足高并發高吞吐量的要求。
整個通信組件包括客戶端和服務端兩部分。
客戶端和服務器端維護的是長連接，可以減少每次請求建立連接的開銷，在客戶端對于每個服務器定義一個連接池，初始化連接后，可以并發連接服務端進行rpc操作，連接池中的長連接需要心跳維護，設置請求超時時間。
對于長連接的維護過程可以分兩個階段，一個是發送請求過程，另外一個是接收響應過程。在發送請求過程中，若發生IOException，則把該連接標記失效。接收響應時，服務端返回SocketTimeoutException，如果設置了超時時間，那么就直接返回異常，清除當前連接中那些超時的請求。否則繼續發送心跳包(因為可能是丟包，超過pingInterval間隔時間就發送ping操作)，若ping不通(發送IOException)，則說明當前連接是有問題的，那么就把當前連接標記成已經失效；若ping通，則說明當前連接是可靠的，繼續進行讀操作。失效的連接會從連接池中清除掉。
每個連接對于接收響應來說都以單獨的線程運行，客戶端可以通過同步(wait,notify)方式或者異步進行rpc調用，
序列化采用更高效的hession序列化方式。
服務端采用事件驅動的NIO的MINA框架，支撐高并發高吞吐量的請求。
?
2)?路由Router
在大多數的數據庫切分解決方案中，為了提高數據庫的吞吐量，首先是對不同的表進行垂直切分到不同的數據庫中，
然后當數據庫中一個表超過一定大小時，需要對該表進行水平切分，這里也是一樣，這里以用戶表為例；
對于訪問數據庫客戶端來講，需要根據用戶的ID，定位到需要訪問的數據；
數據切分算法，
根據用戶的ID做hash操作，一致性Hash，這種方式存在失效數據的遷移問題，遷移時間內服務不可用
維護路由表，路由表中存儲用戶和sharding的映射關系,sharding分為leader和replica，分別負責寫和讀
這樣每個biz客戶端都需要保持所有sharding的連接池，這樣有個缺點是會產生全連接的問題；
一種解決方法是sharding的切分提到業務服務層進行，每個業務節點只維護一個shard的連接即可。
見圖（router）
?
???
路由組件的實現是這樣的（可用性、高性能、高并發）
基于性能方面的考慮，采用mongodb中維護用戶id和shard的關系，為了保證可用性，搭建replicatset集群。
biz的sharding和數據庫的sharding是一一對應的，只訪問一個數據庫sharding.
biz業務注冊節點到zookeeper上/bizs/shard/下。
router監聽zookeeper上/bizs/下節點狀態，緩存在線biz在router中。
client請求router獲取biz時，router首先從mongodb中獲取用戶對應的shard,router根據緩存的內容通過RR算法獲取biz節點。
為了解決router的可用性和并發吞吐量問題，對router進行冗余，同時client監聽zookeeper的/routers節點并緩存在線router節點列表。
?
3)?HA
傳統實現HA的做法一般是采用虛擬IP漂移，結合Heartbeat、keepalived等實現HA，
Keepalived使用vrrp方式進行數據包的轉發，提供4層的負載均衡，通過檢測vrrp數據包來切換，做冗余熱備更加適合與LVS搭配。Linux?Heartbeat是基于網絡或者主機的服務的高可用，HAProxy或者Nginx可以基于7層進行數據包的轉發，因此Heatbeat更加適合做HAProxy、Nginx，包括業務的高可用。
在分布式的集群中，可以用zookeeper做分布式的協調，實現集群的列表維護和失效通知，客戶端可以選擇hash算法或者roudrobin實現負載均衡；對于master-master模式、master-slave模式，可以通過zookeeper分布式鎖的機制來支持。
4)?消息Message
對于平臺各個系統之間的異步交互，是通過MQ組件進行的。
在設計消息服務組件時，需要考慮消息一致性、持久化、可用性、以及完善的監控體系。
業界開源的消息中間件主要RabbitMQ、kafka有兩種，
RabbitMQ,遵循AMQP協議，由內在高并發的erlanng語言開發；kafka是Linkedin于2010年12月份開源的消息發布訂閱系統,它主要用于處理活躍的流式數據,大數據量的數據處理上。
對消息一致性要求比較高的場合需要有應答確認機制，包括生產消息和消費消息的過程；不過因網絡等原理導致的應答缺失，可能會導致消息的重復，這個可以在業務層次根據冪等性進行判斷過濾；RabbitMQ采用的是這種方式。還有一種機制是消費端從broker拉取消息時帶上LSN號，從broker中某個LSN點批量拉取消息，這樣無須應答機制，kafka分布式消息中間件就是這種方式。
消息的在broker中的存儲，根據消息的可靠性的要求以及性能方面的綜合衡量，可以在內存中，可以持久化到存儲上。
對于可用性和高吞吐量的要求，集群和主備模式都可以在實際的場景應用的到。RabbitMQ解決方案中有普通的集群和可用性更高的mirror?queue方式。?kafka采用zookeeper對集群中的broker、consumer進行管理，可以注冊topic到zookeeper上；通過zookeeper的協調機制，producer保存對應topic的broker信息，可以隨機或者輪詢發送到broker上；并且producer可以基于語義指定分片，消息發送到broker的某分片上。
總體來講，RabbitMQ用在實時的對可靠性要求比較高的消息傳遞上。kafka主要用于處理活躍的流式數據,大數據量的數據處理上。
?
5)?Cache&Buffer
Cache系統
在一些高并發高性能的場景中，使用cache可以減少對后端系統的負載，承擔可大部分讀的壓力，可以大大提高系統的吞吐量，比如通常在數據庫存儲之前增加cache緩存。
但是引入cache架構不可避免的帶來一些問題，cache命中率的問題,?cache失效引起的抖動，cache和存儲的一致性。
Cache中的數據相對于存儲來講，畢竟是有限的，比較理想的情況是存儲系統的熱點數據，這里可以用一些常見的算法LRU等等淘汰老的數據；隨著系統規模的增加，單個節點cache不能滿足要求，就需要搭建分布式Cache；為了解決單個節點失效引起的抖動?，分布式cache一般采用一致性hash的解決方案，大大減少因單個節點失效引起的抖動范圍；而對于可用性要求比較高的場景，每個節點都是需要有備份的。數據在cache和存儲上都存有同一份備份，必然有一致性的問題，一致性比較強的，在更新數據庫的同時，更新數據庫cache。對于一致性要求不高的，可以去設置緩存失效時間的策略。
Memcached作為高速的分布式緩存服務器，協議比較簡單，基于libevent的事件處理機制。
Cache系統在平臺中用在router系統的客戶端中，熱點的數據會緩存在客戶端，當數據訪問失效時，才去訪問router系統。
當然目前更多的利用內存型的數據庫做cache，比如redis、mongodb；redis比memcache有豐富的數據操作的API；redis和mongodb都對數據進行了持久化，而memcache沒有這個功能，因此memcache更加適合在關系型數據庫之上的數據的緩存。
?
Buffer系統
用在高速的寫操作的場景中，平臺中有些數據需要寫入數據庫，并且數據是分庫分表的，但對數據的可靠性不是那么高，為了減少對數據庫的寫壓力，可以采取批量寫操作的方式。
開辟一個內存區域，當數據到達區域的一定閥值時如80%時，在內存中做分庫梳理工作(內存速度還是比較快的)，后分庫批量flush。
6)?搜索
在電子商務平臺中搜索是一個非常的重要功能，主要有搜索詞類目導航、自動提示和搜索排序功能。
開源的企業級搜索引擎主要有lucene,?sphinx，這里不去論述哪種搜索引擎更好一些，不過選擇搜索引擎除了基本的功能需要支持外，非功能方面需要考慮以下兩點：
a、?搜索引擎是否支持分布式的索引和搜索，來應對海量的數據，支持讀寫分離，提高可用性
b、?索引的實時性
c、?性能
Solr是基于lucene的高性能的全文搜索服務器，提供了比lucene更為豐富的查詢語言，可配置可擴展，對外提供基于http協議的XML/JSON格式的接口。
從Solr4版本開始提供了SolrCloud方式來支持分布式的索引，自動進行sharding數據切分；通過每個sharding的master-slave(leader、replica)模式提高搜索的性能；利用zookeeper對集群進行管理，包括leader選舉等等，保障集群的可用性。
Lucene索引的Reader是基于索引的snapshot的，所以必須在索引commit的后，重新打開一個新的snapshot，才能搜索到新添加的內容；而索引的commit是非常耗性能的，這樣達到實時索引搜索效率就比較低下。
對于索引搜索實時性，Solr4的之前解決方案是結合文件全量索引和內存增量索引合并的方式，參見下圖。
?
Solr4提供了NRT?softcommit的解決方案，softcommit無需進行提交索引操作，就可以搜素到最新對索引的變更，不過對索引的變更并沒有sync?commit到硬盤存儲上，若發生意外導致程序非正常結束，未commit的數據會丟失，因此需要定時的進行commit操作。
平臺中對數據的索引和存儲操作是異步的，可以大大提高可用性和吞吐量；只對某些屬性字段做索引操作，存儲數據的標識key，減少索引的大小；數據是存儲在分布式存儲HBase?中的，HBase對二級索引搜索支持的不好，然而可以結合Solr搜索功能進行多維度的檢索統計。
索引數據和HBase數據存儲的一致性，也就是如何保障HBase存儲的數據都被索引過，可以采用confirm確認機制，通過在索引前建立待索引數據隊列，在數據存儲并索引完成后，從待索引數據隊列中刪除數據。
?
?
7)?日志收集
在整個交易過程中，會產生大量的日志，這些日志需要收集到分布式存儲系統中存儲起來，以便于集中式的查詢和分析處理。
日志系統需具備三個基本組件，分別為agent（封裝數據源，將數據源中的數據發送給collector），collector（接收多個agent的數據，并進行匯總后導入后端的store中），store（中央存儲系統，應該具有可擴展性和可靠性，應該支持當前非常流行的HDFS）。
開源的日志收集系統業界使用的比較多的是cloudera的Flume和facebook的Scribe，其中Flume目前的版本FlumeNG對Flume從架構上做了較大的改動。
在設計或者對日志收集系統做技術選型時，通常需要具有以下特征：
a、?應用系統和分析系統之間的橋梁，將他們之間的關系解耦
b、?分布式可擴展，具有高的擴展性，當數據量增加時，可以通過增加節點水平擴展
日志收集系統是可以伸縮的，在系統的各個層次都可伸縮，對數據的處理不需要帶狀態，伸縮性方面也比較容易實現。
c、?近實時性
在一些時效性要求比較高的場景中，需要可以及時的收集日志，進行數據分析；
一般的日志文件都會定時或者定量的進行rolling，所以實時檢測日志文件的生成，及時對日志文件進行類似的tail操作，并支持批量發送提高傳輸效率；批量發送的時機需要滿足消息數量和時間間隔的要求。?
d、?容錯性
Scribe在容錯方面的考慮是，當后端的存儲系統crash時，scribe會將數據寫到本地磁盤上，當存儲系統恢復正常后，scribe將日志重新加載到存儲系統中。
FlumeNG通過Sink?Processor實現負載均衡和故障轉移。多個Sink可以構成一個Sink?Group。一個Sink?Processor負責從一個指定的Sink?Group中激活一個Sink。Sink?Processor可以通過組中所有Sink實現負載均衡；也可以在一個Sink失敗時轉移到另一個。
e、?事務支持
Scribe沒有考慮事務的支持。
Flume通過應答確認機制實現事務的支持，參見下圖，
通常提取發送消息都是批量操作的，消息的確認是對一批數據的確認，這樣可以大大提高數據發送的效率。
?
f、?可恢復性
FlumeNG的channel根據可靠性的要求的不同，可以基于內存和文件持久化機制，基于內存的數據傳輸的銷量比較高，但是在節點宕機后，數據丟失，不可恢復；而文件持久化宕機是可以恢復的。
g、?數據的定時定量歸檔
數據經過日志收集系統歸集后，一般存儲在分布式文件系統如Hadoop，為了便于對數據進行后續的處理分析，需要定時(TimeTrigger)或者定量(SizeTrigger的rolling分布式系統的文件。
8)?數據同步
在交易系統中，通常需要進行異構數據源的同步，通常有數據文件到關系型數據庫，數據文件到分布式數據庫，關系型數據庫到分布式數據庫等。數據在異構源之間的同步一般是基于性能和業務的需求，數據存儲在本地文件中一般是基于性能的考慮，文件是順序存儲的，效率還是比較高的；數據同步到關系型數據一般是基于查詢的需求；而分布式數據庫是存儲越來越多的海量數據的，而關系型數據庫無法滿足大數據量的存儲和查詢請求。
在數據同步的設計中需要綜合考慮吞吐量、容錯性、可靠性、一致性的問題
同步有實時增量數據同步和離線全量數據區分，下面從這兩個維度來介紹一下，
實時增量一般是Tail文件來實時跟蹤文件變化，批量或者多線程往數據庫導出,這種方式的架構類似于日志收集框架。這種方式需要有確認機制，包括兩個方面。
一個方面是Channel需要給agent確認已經批量收到數據記錄了，發送LSN號給agent，這樣在agent失效恢復時，可以從這個LSN點開始tail；當然對于允許少量的重復記錄的問題(發生在channel給agent確認的時，agent宕機并未受到確認消息)，需要在業務場景中判斷。
另外一個方面是sync給channel確認已經批量完成寫入到數據庫的操作，這樣channel可以刪除這部分已經confirm的消息。
基于可靠性的要求，channel可以采用文件持久化的方式。
參見下圖
離線全量遵循空間間換取時間，分而治之的原則，盡量的縮短數據同步的時間，提高同步的效率。
需要對源數據比如mysql進行切分，多線程并發讀源數據，多線程并發批量寫入分布式數據庫比如HBase,利用channel作為讀寫之間的緩沖，實現更好的解耦，channel可以基于文件存儲或者內存。參見下圖：
對于源數據的切分，如果是文件可以根據文件名稱設置塊大小來切分。
對于關系型數據庫，由于一般的需求是只離線同步一段時間的數據(比如凌晨把當天的訂單數據同步到HBase)，所以需要在數據切分時(按照行數切分)，會多線程掃描整個表(及時建索引，也要回表)，對于表中包含大量的數據來講，IO很高，效率非常低；這里解決的方法是對數據庫按照時間字段(按照時間同步的)建立分區，每次按照分區進行導出。
9)?數據分析
從傳統的基于關系型數據庫并行處理集群、用于內存計算近實時的，到目前的基于hadoop的海量數據的分析，數據的分析在大型電子商務網站中應用非常廣泛，包括流量統計、推薦引擎、趨勢分析、用戶行為分析、數據挖掘分類器、分布式索引等等。
并行處理集群有商業的EMC?Greenplum，Greenplum的架構采用了MPP(大規模并行處理)，基于postgresql的大數據量存儲的分布式數據庫。
內存計算方面有SAP的HANA，開源的nosql內存型的數據庫mongodb也支持mapreduce進行數據的分析。
海量數據的離線分析目前互聯網公司大量的使用Hadoop，Hadoop在可伸縮性、健壯性、計算性能和成本上具有無可替代的優勢，事實上已成為當前互聯網企業主流的大數據分析平臺
Hadoop通過MapReuce的分布式處理框架，用于處理大規模的數據，伸縮性也非常好；但是MapReduce最大的不足是不能滿足實時性的場景，主要用于離線的分析。
基于MapRduce模型編程做數據的分析，開發上效率不高，位于hadoop之上Hive的出現使得數據的分析可以類似編寫sql的方式進行，sql經過語法分析、生成執行計劃后最終生成MapReduce任務進行執行，這樣大大提高了開發的效率，做到以ad-hoc(計算在query發生時)方式進行的分析。
基于MapReduce模型的分布式數據的分析都是離線的分析，執行上都是暴力掃描，無法利用類似索引的機制；開源的Cloudera?Impala是基于MPP的并行編程模型的，底層是Hadoop存儲的高性能的實時分析平臺，可以大大降低數據分析的延遲。
目前Hadoop使用的版本是Hadoop1.0，一方面原有的MapReduce框架存在JobTracker單點的問題，另外一方面JobTracker在做資源管理的同時又做任務的調度工作，隨著數據量的增大和Job任務的增多，明顯存在可擴展性、內存消耗、線程模型、可靠性和性能上的缺陷瓶頸；Hadoop2.0?yarn對整個框架進行了重構，分離了資源管理和任務調度，從架構設計上解決了這個問題。
參考Yarn的架構
10)?實時計算
在互聯網領域，實時計算被廣泛實時監控分析、流控、風險控制等領域。電商平臺系統或者應用對日常產生的大量日志和異常信息，需要經過實時過濾、分析，以判定是否需要預警；
同時需要對系統做自我保護機制，比如對模塊做流量的控制，以防止非預期的對系統壓力過大而引起的系統癱瘓，流量過大時，可以采取拒絕或者引流等機制；有些業務需要進行風險的控制，比如彩票中有些業務需要根據系統的實時銷售情況進行限號與放號。
原始基于單節點的計算，隨著系統信息量爆炸式產生以及計算的復雜度的增加，單個節點的計算已不能滿足實時計算的要求，需要進行多節點的分布式的計算，分布式實時計算平臺就出現了。
這里所說的實時計算，其實是流式計算，概念前身其實是CEP復雜事件處理，相關的開源產品如Esper，業界分布式的流計算產品Yahoo?S4,Twitter?storm等，以storm開源產品使用最為廣泛。
對于實時計算平臺，從架構設計上需要考慮以下幾個因素：
1、?伸縮性
隨著業務量的增加，計算量的增加，通過增加節點處理，就可以處理。
2、?高性能、低延遲
從數據流入計算平臺數據，到計算輸出結果，需要性能高效且低延遲，保證消息得到快速的處理，做到實時計算。
3、?可靠性
保證每個數據消息得到一次完整處理。
4、?容錯性
系統可以自動管理節點的宕機失效，對應用來說，是透明的。
Twitter的Storm在以上這幾個方面做的比較好，下面簡介一下Storm的架構。
整個集群的管理是通過zookeeper來進行的。
客戶端提交拓撲到nimbus。
Nimbus針對該拓撲建立本地的目錄根據topology的配置計算task，分配task，在zookeeper上建立assignments節點存儲task和supervisor機器節點中woker的對應關系。
在zookeeper上創建taskbeats節點來監控task的心跳；啟動topology。
Supervisor去zookeeper上獲取分配的tasks，啟動多個woker進行，每個woker生成task，一個task一個線程；根據topology信息初始化建立task之間的連接;Task和Task之間是通過zeroMQ管理的；之后整個拓撲運行起來。
Tuple是流的基本處理單元，也就是一個消息，Tuple在task中流轉，Tuple的發送和接收過程如下：
發送Tuple，Worker提供了一個transfer的功能，用于當前task把tuple發到到其他的task中。以目的taskid和tuple參數，序列化tuple數據并放到transfer?queue中。
在0.8版本之前，這個queue是LinkedBlockingQueue，0.8之后是DisruptorQueue。
在0.8版本之后，每一個woker綁定一個inbound?transfer?queue和outbond?queue，inbound?queue用于接收message，outbond?queue用于發送消息。
發送消息時，由單個線程從transferqueue中拉取數據，把這個tuple通過zeroMQ發送到其他的woker中。
接收Tuple，每個woker都會監聽zeroMQ的tcp端口來接收消息，消息放到DisruptorQueue中后，后從queue中獲取message(taskid,tuple)，根據目的taskid,tuple的值路由到task中執行。每個tuple可以emit到direct?steam中，也可以發送到regular?stream中，在Reglular方式下，由Stream?Group（stream?id-->component?id?-->outbond?tasks）功能完成當前tuple將要發送的Tuple的目的地。
通過以上分析可以看到，Storm在伸縮性、容錯性、高性能方面的從架構設計的角度得以支撐；同時在可靠性方面，Storm的ack組件利用異或xor算法在不失性能的同時，保證每一個消息得到完整處理的同時。?
?
11)?實時推送
實時推送的應用場景非常多，比如系統的監控動態的實時曲線繪制，手機消息的推送，web實時聊天等。
實時推送有很多技術可以實現，有Comet方式，有websocket方式等。
Comet基于服務器長連接的“服務器推”技術，包含兩種：
Long?Polling：服務器端在接到請求后掛起，有更新時返回連接即斷掉，然后客戶端再發起新的連接
Stream方式:?每次服務端數據傳送不會關閉連接，連接只會在通信出現錯誤時，或是連接重建時關閉（一些防火墻常被設置為丟棄過長的連接，?服務器端可以設置一個超時時間，?超時后通知客戶端重新建立連接，并關閉原來的連接）。
Websocket：長連接，全雙工通信
是?Html5?的一種新的協議。它實現了瀏覽器與服務器的雙向通訊。webSocket?API?中，瀏覽器和服務器端只需要通過一個握手的動作，便能形成瀏覽器與客戶端之間的快速雙向通道，使得數據可以快速的雙向傳播。
Socket.io是一個NodeJS?websocket庫，包括客戶端的JS和服務端的的nodejs，用于快速構建實時的web應用。
12) 推薦引擎
?待補充
?
6.?數據存儲
數據庫存儲大體分為以下幾類，有關系型（事務型）的數據庫，以oracle、mysql為代表，有keyvalue數據庫，以redis和memcached?db為代表，有文檔型數據庫如mongodb，有列式分布式數據庫以HBase，cassandra,dynamo為代表，還有其他的圖形數據庫、對象數據?庫、xml數據庫等。每種類型的數據庫應用的業務領域是不一樣的，下面從內存型、關系型、分布式三個維度針對相關的產品做性能可用性等方面的考量分析。
1)?內存型數據庫
內存型的數據庫，以高并發高性能為目標，在事務性方面沒那么嚴格，以開源nosql數據庫mongodb、redis為例
??Mongodb
通信方式
多線程方式，主線程監聽新的連接，連接后，啟動新的線程做數據的操作（IO切換）。
數據結構
?
?
數據庫-->collection-->record
MongoDB在數據存儲上按命名空間來劃分，一個collection是一個命名空間，一個索引也是一個命名空間。
同一個命名空間的數據被分成很多個Extent，Extent之間使用雙向鏈表連接。
在每一個Extent中，保存了具體每一行的數據，這些數據也是通過雙向鏈接連接的。
每一行數據存儲空間不僅包括數據占用空間，還可能包含一部分附加空間，這使得在數據update變大后可以不移動位置。
索引以BTree結構實現。
如果你開啟了jorunaling日志，那么還會有一些文件存儲著你所有的操作記錄。
?
?
持久化存儲
MMap方式把文件地址映射到內存的地址空間，直接操作內存地址空間就可以操作文件，不用再調用write,read操作，性能比較高。
mongodb調用mmap把磁盤中的數據映射到內存中的，所以必須有一個機制時刻的刷數據到硬盤才能保證可靠性，多久刷一次是與syncdelay參數相關的。
?journal（進行恢復用）是Mongodb中的redo?log，而Oplog則是負責復制的binlog。如果打開journal，那么即使斷電也只會丟失100ms的數據，這對大多數應用來說都可以容忍了。從1.9.2+，mongodb都會默認打開journal功能，以確保數據安全。而且journal的刷新時間是可以改變的，2-300ms的范圍,使用?--journalCommitInterval?命令。Oplog和數據刷新到磁盤的時間是60s，對于復制來說，不用等到oplog刷新磁盤，在內存中就可以直接復制到Sencondary節點。
?
事務支持
Mongodb只支持對單行記錄的原子操作
?
HA集群
用的比較多的是Replica?Sets，采用選舉算法，自動進行leader選舉，在保證可用性的同時，可以做到強一致性要求。
?
當然對于大量的數據，mongodb也提供了數據的切分架構Sharding。
?
??Redis
豐富的數據結構，高速的響應速度，內存操作
通信方式
因都在內存操作，所以邏輯的操作非常快，減少了CPU的切換開銷，所以為單線程的模式（邏輯處理線程和主線程是一個）。
?reactor模式，實現自己的多路復用NIO機制（epoll，select，kqueue等）
?單線程處理多任務
數據結構
??hash+bucket結構，當鏈表的長度過長時，會采取遷移的措施（擴展原來兩倍的hash表，把數據遷移過去，expand+rehash）
?
持久化存儲
a、全量持久化RDB（遍歷redisDB,讀取bucket中的key,value），save命令阻塞主線程，bgsave開啟子進程進行snapshot持久化操作，生成rdb文件。
?在shutdown時，會調用save操作
?數據發生變化，在多少秒內觸發一次bgsave
sync，master接受slave發出來的命令
b、增量持久化（aof類似redolog），先寫到日志buffer,再flush到日志文件中（flush的策略可以配置的，而已單條，也可以批量），只有flush到文件上的，才真正返回客戶端。
要定時對aof文件和rdb文件做合并操作（在快照過程中，變化的數據先寫到aof?buf中等子進程完成快照<內存snapshot>后，再進行合并aofbuf變化的部分以及全鏡像數據）。
在高并發訪問模式下，RDB模式使服務的性能指標出現明顯的抖動，aof在性能開銷上比RDB好，但是恢復時重新加載到內存的時間和數據量成正比。
?
集群HA
通用的解決方案是主從備份切換，采用HA軟件，使得失效的主redis可以快速的切換到從redis上。主從數據的同步采用復制機制，該場景可以做讀寫分離。
目前在復制方面，存在的一個問題是在遇到網絡不穩定的情況下，Slave和Master斷開（包括閃斷）會導致Master需要將內存中的數據全部重新生成rdb文件（快照文件），然后傳輸給Slave。Slave接收完Master傳遞過來的rdb文件以后會將自身的內存清空，把rdb文件重新加載到內存中。這種方式效率比較低下，在后面的未來版本Redis2.8作者已經實現了部分復制的功能。
2)?關系型數據庫
關系型數據庫在滿足并發性能的同時，也需要滿足事務性，以mysql數據庫為例，講述架構設計原理，在性能方面的考慮，以及如何滿足可用性的需求。?
??mysql的架構原理(innodb)
在架構上，mysql分為server層和存儲引擎層。
Server層的架構對于不同的存儲引擎來講都是一樣的,包括連接/線程處理、查詢處理(parser、optimizer)以及其他系統任務。存儲引擎層有很多種，mysql提供了存儲引擎的插件式結構，支持多種存儲引擎，用的最廣泛的是innodb和myisamin；inodb主要面向OLTP方面的應用，支持事務處理，myisam不支持事務，表鎖，對OLAP操作速度快。
以下主要針對innodb存儲引擎做相關介紹。
?
?
?
在線程處理方面，Mysql是多線程的架構，由一個master線程，一個鎖監控線程，一個錯誤監控線程，和多個IO線程組成。并且對一個連接會開啟一個線程進行服務。io線程又分為節省隨機IO的insert?buffer，用于事務控制的類似于oracle的redo?log，以及多個write，多個read的硬盤和內存交換的IO線程。
在內存分配方面，包括innodb?buffer?pool?，以及log?buffer。其中innodb?buffer?pool包括insert?buffer、datapage、index?page、數據字典、自適應hash。Log?buffer用于緩存事務日志，提供性能。
在數據結構方面，innodb包括表空間、段、區、頁/塊，行。索引結構是B+tree結構，包括二級索引和主鍵索引，二級索引的葉子節點是主鍵PK，根據主鍵索引的葉子節點指向存儲的數據塊。這種B+樹存儲結構可以更好的滿足隨機查詢操作IO要求，分為數據頁和二級索引頁，修改二級索引頁面涉及到隨機操作，為了提高寫入時的性能，采用insert?buffer做順序的寫入，再由后臺線程以一定頻率將多個插入合并到二級索引頁面。為了保證數據庫的一致性(內存和硬盤數據文件)，以及縮短實例恢復的時間，關系型數據庫還有一個checkpoint的功能，用于把內存buffer中之前的臟頁按照比例(老的LSN)寫入磁盤，這樣redolog文件的LSN以前的日志就可以被覆蓋了，進行循環使用；在失效恢復時，只需要從日志中LSN點進行恢復即可。
在事務特性支持上，關系型數據庫需要滿足ACID四個特性，需要根據不同的事務并發和數據可見性要求，定義了不同的事務隔離級別，并且離不開對資源爭用的鎖機制，要避免產生死鎖，mysql在Server層和存儲引擎層做并發控制，主要體現在讀寫鎖，根據鎖粒度不同，有各個級別的鎖(表鎖、行鎖、頁鎖、MVCC)；基于提高并發性能的考慮，使用多版本并發控制MVCC來支持事務的隔離，并基于undo來實現，在做事務回滾時，也會用到undo段。mysql?用redolog來保證數據的寫入的性能和失效恢復，在修改數據時只需要修改內存，再把修改行為記錄到事務日志中(順序IO)，不用每次將數據修改本身持久化到硬盤(隨機IO)，大大提高性能。
在可靠性方面，innodb存儲引擎提供了兩次寫機制double?writer用于防止在flush頁面到存儲上出現的錯誤，解決磁盤half-writern的問題。
?
??對于高并發高性能的mysql來講，可以在多個維度進行性能方面的調優。
a、硬件級別，
日志和數據的存儲，需要分開，日志是順序的寫，需要做raid1+0，并且用buffer-IO；數據是離散的讀寫，走direct?IO即可，避免走文件系統cache帶來的開銷。
存儲能力，SAS盤raid操作（raid卡緩存，關閉讀cache，關閉磁盤cache，關閉預讀，只用writeback?buffer，不過需要考慮充放電的問題），當然如果數據規模不大，數據的存儲可以用高速的設備，Fusion?IO、SSD。
對于數據的寫入，控制臟頁刷新的頻率，對于數據的讀取，控制cache?hit率；因此而估算系統需要的IOPS，評估需要的硬盤數量(fusion?io上到IOPS?在10w以上，普通的硬盤150)。
Cpu方面，單實例關閉NUMA，mysql對多核的支持不是太好，可以對多實例進行CPU綁定。
b、操作系統級別，
內核以及socket的優化，網絡優化bond、文件系統、IO調度
innodb主要用在OLTP類應用，一般都是IO密集型的應用，在提高IO能力的基礎上，充分利用cache機制。需要考慮的內容有，
在保證系統可用內存的基礎上，盡可能的擴大innodb?buffer?pool，一般設置為物理內存的3/4
文件系統的使用，只在記錄事務日志的時候用文件系統的cache；盡量避免mysql用到swap(可以將vm.swappiness=0，內存緊張時，釋放文件系統cache)
IO調度優化，減少不必要的阻塞，降低隨機IO訪問的延時(CFQ、Deadline、NOOP)
c、server以及存儲引擎級別（連接管理、網絡管理、table管理、日志）
包括cache/buffer、Connection、IO
d、應用級別（比如索引的考慮，schema的優化適當冗余；優化sql查詢導致的CPU問題和內存問題，減少鎖的范圍，減少回表掃描，覆蓋索引）
??在高可用實踐方面，
支持master-master、master-slave模式，master-master模式是一個作為主負責讀寫，另外一個作為standby提供災備，maser-slave是一個作為主提供寫操作，其他幾個節點作為讀操作，支持讀寫分離。
對于節點主備失效檢測和切換，可以采用HA軟件，當然也可以從更細粒度定制的角度，采用zookeeper作為集群的協調服務。
對于分布式的系統來講，數據庫主備切換的一致性始終是一個問題，可以有以下幾種方式：
a、集群方式，如oracle的rack，缺點是比較復雜
b、共享SAN存儲方式，相關的數據文件和日志文件都放在共享存儲上，優點是主備切換時數據保持一致，不會丟失，但由于備機有一段時間的拉起，會有短暫的不可用狀態
c、主備進行數據同步的方式，常見的是日志的同步，可以保障熱備，實時性好，但是切換時，可能有部分數據沒有同步過來，帶來了數據的一致性問題?？梢栽诓僮髦鲾祿斓耐瑫r，記錄操作日志，切換到備時，會和操作日志做個check，補齊未同步過來的數據；
d、還有一種做法是備庫切換到主庫的regolog的存儲上，保證數據不丟失。
數據庫主從復制的效率在mysql上不是太高，主要原因是事務是嚴格保持順序的，索引mysql在復制方面包括日志IO和relog?log兩個過程都是單線程的串行操作，在數據復制優化方面，盡量減少IO的影響。不過到了Mysql5.6版本，可以支持在不同的庫上的并行復制。
??基于不同業務要求的存取方式
平臺業務中，不同的業務有不同的存取要求，比如典型的兩大業務用戶和訂單，用戶一般來講總量是可控的，而訂單是不斷地遞增的，對于用戶表首先采取分庫切分，每個sharding做一主多讀，同樣對于訂單因更多需求的是用戶查詢自己的訂單，也需要按照用戶進行切分訂單庫，并且支持一主多讀。
在硬件存儲方面，對于事務日志因是順序寫，閃存的優勢比硬盤高不了多少，所以采取電池保護的寫緩存的raid卡存儲；對于數據文件，無論是對用戶或者訂單都會存在大量的隨機讀寫操作，當然加大內存是一個方面，另外可以采用高速的IO設備閃存，比如PCIe卡?fusion-io。使用閃存也適合在單線程的負載中，比如主從復制，可以對從節點配置fusion-IO卡，降低復制的延遲。
對于訂單業務來講，量是不斷遞增的，PCIe卡存儲容量比較有限，并且訂單業務的熱數據只有最近一段時間的(比如近3個月的)，對此這里列兩種解決方案，一種是flashcache方式，采用基于閃存和硬盤存儲的開源混合存儲方式，在閃存中存儲熱點的數據。另外一種是可以定期把老的數據導出到分布式數據庫HBase中，用戶在查詢訂單列表是近期的數據從mysql中獲取，老的數據可以從HBase中查詢，當然需要HBase良好的rowkey設計以適應查詢需求。
?
?
3)?分布式數據庫
對于數據的高并發的訪問，傳統的關系型數據庫提供讀寫分離的方案，但是帶來的確實數據的一致性問題提供的數據切分的方案；對于越來越多的海量數據，傳統的數據庫采用的是分庫分表，實現起來比較復雜，后期要不斷的進行遷移維護；對于高可用和伸縮方面，傳統數據采用的是主備、主從、多主的方案，但是本身擴展性比較差，增加節點和宕機需要進行數據的遷移。對于以上提出的這些問題，分布式數據庫HBase有一套完善的解決方案，適用于高并發海量數據存取的要求。
?
??HBase
基于列式的高效存儲降低IO
通常的查詢不需要一行的全部字段，大多數只需要幾個字段
對與面向行的存儲系統，每次查詢都會全部數據取出，然后再從中選出需要的字段
面向列的存儲系統可以單獨查詢某一列，從而大大降低IO
提高壓縮效率
同列數據具有很高的相似性，會增加壓縮效率
Hbase的很多特性，都是由列存儲決定的
高性能
LSM?Tree
適合高速寫的場景
?
?
強一致的數據訪問
MVCC
HBase的一致性數據訪問是通過MVCC來實現的。
HBase在寫數據的過程中，需要經過好幾個階段，寫HLog，寫memstore，更新MVCC;
只有更新了MVCC，才算真正memstore寫成功，其中事務的隔離需要有mvcc的來控制，比如讀數據不可以獲取別的線程還未提交的數據。
高可靠
HBase的數據存儲基于HDFS，提供了冗余機制。
Region節點的宕機，對于內存中的數據還未flush到文件中，提供了可靠的恢復機制。
??
?
可伸縮，自動切分，遷移
通過Zookeeper定位目標Region?Server，最后定位Region。?
Region?Server擴容，通過將自身發布到Master，Master均勻分布。
?
可用性
存在單點故障，Region?Server宕機后，短時間內該server維護的region無法訪問，等待failover生效。?
通過Master維護各Region?Server健康狀況和Region分布。
多個Master，Master宕機有zookeeper的paxos投票機制選取下一任Master。Master就算全宕機，也不影響Region讀寫。Master僅充當一個自動運維角色。
HDFS為分布式存儲引擎，一備三，高可靠，0數據丟失。
HDFS的namenode是一個SPOF。
為避免單個region訪問過于頻繁，單機壓力過大，提供了split機制
HBase的寫入是LSM-TREE的架構方式，隨著數據的append，HFile越來越多，HBase提供了HFile文件進行compact，對過期數據進行清除，提高查詢的性能。
Schema?free
HBase沒有像關系型數據庫那樣的嚴格的schema，可以自由的增加和刪除schema中的字段。
?
HBase分布式數據庫，對于二級索引支持的不太好，目前只支持在rowkey上的索引，所以rowkey的設計對于查詢的性能來講非常關鍵。
7.?管理與部署配置
統一的配置庫
部署平臺
?
?
8.?監控、統計
?
大型分布式系統涉及各種設備，比如網絡交換機，普通PC機，各種型號的網卡，硬盤，內存等等，還有應用業務層次的監控，數量非常多的時候，出現錯誤的概率也會變大，并且有些監控的時效性要求比較高，有些達到秒級別；在大量的數據流中需要過濾異常的數據，有時候也對數據會進行上下文相關的復雜計算，進而決定是否需要告警。因此監控平臺的性能、吞吐量、已經可用性就比較重要，需要規劃統一的一體化的監控平臺對系統進行各個層次的監控。
?
平臺的數據分類
應用業務級別：應用事件、業務日志、審計日志、請求日志、異常、請求業務metrics、性能度量
系統級別：CPU、內存、網絡、IO
?
時效性要求
閥值，告警：
實時計算：
近實時分鐘計算
按小時、天的離線分析
實時查詢
?
架構
節點中Agent代理可以接收日志、應用的事件以及通過探針的方式采集數據，agent采集數據的一個原則是和業務應用的流程是異步隔離的，不影響交易流程。
數據統一通過collector集群進行收集，按照數據的不同類型分發到不同的計算集群進行處理；有些數據時效性不是那么高，比如按小時進行統計，放入hadoop集群；有些數據是請求流轉的跟蹤數據，需要可以查詢的，那么就可以放入solr集群進行索引；有些數據需要進行實時計算的進而告警的，需要放到storm集群中進行處理。
數據經過計算集群處理后，結果存儲到Mysql或者HBase中。
監控的web應用可以把監控的實時結果推送到瀏覽器中，也可以提供API供結果的展現和搜索。
?
?
轉載于:https://my.oschina.net/qiangzigege/blog/371975
總結
- 上一篇： leetcode 【 Search In
- 下一篇： 查看真实的执行计划 绑定变量对执行计划的