数据规模恼同程,混合云飘来除杂症
?
以下內容根據演講PPT及現場分享整理:
?
在線旅游更多的考慮怎樣讓用戶滿意。本文通過三個方面和大家分享同程旅游如何用數據驅動實現業務創新和業務快速發展的,首先對同程旅游進行了簡要介紹,接著分享了同程旅游的數據驅動歷程,最后著重講述了在云端時代的同程旅游,包括公有云和私有云的混合打通等。
以下為精彩內容整理:
?
發現旅游之美
旅游是件很美的事情,怎樣保證用戶找到的是旅游佳地呢?同程旅游就是為了讓用戶更好的去旅游,其在中國景點門票預訂市場和郵輪領域處于領先位置,并積極布局境外游、國內游、周邊游等業務板塊。同程旅游旗下運營同程旅游網(www.LY.com)和同程旅游手機客戶端, 2016年服務人次將達到3.5億,年均增長300%,讓更多人享受旅游的樂趣是同程旅游的使命。
?
數據驅動的同程旅游
初期時代
初期時代同程的數據驅動更多的關注網站被搜索引擎輸入的情況、收錄排名、關鍵詞、現金流和流量轉化。此時的網站很小,基于小數據做了一些基礎服務,訪問統計,使用關系數據庫BI,且服務器托管。
移動時代
移動時代同程的APP開始推廣,2014年下載量已達2億,此時同程的數據驅動開始考慮到下載量、激活情況、每天在線使用同程旅游的用戶數量、每天的新用戶數量、復購率以及留存率等。此時的商品也更加多樣化,有高頻和低頻商品之分,怎樣讓高頻轉向低頻去消費和怎么讓低頻又返回到高頻消費是我們要去分析的,我們采用了開源大數據架構,基礎設施從幾臺變成幾千臺服務器,開始建設自己的私有云平臺。
數據時代
數據時代同程做到線上線下的融合,建設了公有云+私有云的平臺,同程的數據驅動更多的關注門店、高潛用戶、旅游顧問等,旅游顧問就是大數據+人的線下推廣。現在,同程是一家架在互聯網上的“旅行社”,更多的是用數據去驅動整個業務的發展。
?
此外,數據驅動了用戶畫像,同程的用戶畫像是根據時間、人物以及當前情況定制的用戶畫像;數據也驅動了產品的選品,訂單的預測;數據還驅動了安全風控、防黃牛黨、研發運維,用技術驅動技術,由被動轉主動,用數據告訴大家什么才是好的,解決在業務型互聯網公司技術的驅動率。
同程數據驅動背后的數據規模也很龐大,有5000+服務器,2w+容器,應用3000多個,PV20億左右,日均報錯3W多,其中60%通過大數據應用平臺自愈,日均攔截惡意訪問也有10W+。
?
同程旅游云端時代
解決基礎問題
十年前,同程只是一個簡單的網站架構,性能瓶頸頻發,沒有任何運維,更別提伸縮性了。
但是現在,同程已經不再簡單,各種應用增加3000多個,每天數億級的請求量,原來很簡單的一句SQL,現在已經沒法用了,服務器也已經加到無法再加,運維也是問題百出。系統越來越復雜,基礎設施難度越來越大。
從小系統到大系統長大是一個必須經歷的過程,于是,我們做出了改變。
應用系統有很多,業務發展也很快,我們進行了分層處理。先解決基礎問題,我們需要一個云解決基礎設施的困難,需要一些一流水準的中間件,需要一個經驗豐富的運維團隊;再解決業務問題,將業務微服務化,將數據庫變成數據平臺,將原完全.NET向多語言發展,建立技術體系。
環境
我們部署了大量的Docker容器、輕量化的KVM,同時還有直接物理的部署(在私云中有部分部署不需要虛擬化會更好;我們的負載區服務器和大部分的數據庫)。
緩存
我們在緩存上也做出了改變,多個小集群+單節點組成一個云,以場景劃分集群,實時平衡調度數據,動態擴容縮容。
數據庫
數據庫是海量流量系統平臺核心命門之一,數據庫的熱備機比較多但一些非核心庫訪問量很低。
運維
?
雖然做了很大的改變,但問題依然存在。基礎成功云化后提供了基礎云服務但說到實處也不過提供一堆可部署應用的機器;應用系統的擴展,速度開發,重用性等等也有很多問題;應用系統的故障依然很大。此外,還有彈性擴容的問題,以及新技術(語音識別)的支撐問題。
用云來支撐整個技術基礎體系
公有云是創新驅動首選,我們使用了阿里云等云服務,實現了快速擴容,基礎產品豐富可靠,安全也有了保障。
我們對公有云和私云進行全面打通,讓我們的基礎設施能夠涵蓋到私有和公有。我們在阿里云上部署了12個機器人,他們每天會向系統回報做了什么。
總結
以上是生活随笔為你收集整理的数据规模恼同程,混合云飘来除杂症的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: mysql经典主从复制
- 下一篇: 三:大型网站的核心架构要素