一击进榜！达摩院十年“扫地僧”，揭秘阿里云数据仓库逆袭之旅
2011年加入阿里巴巴，在近10年時間一直從事數(shù)據(jù)倉庫、數(shù)據(jù)湖基礎平臺研究、研發(fā)、產(chǎn)品化相關工作。目前在阿里云數(shù)據(jù)庫事業(yè)部主要負責數(shù)據(jù)倉庫與數(shù)據(jù)湖相關產(chǎn)品的研發(fā)；達摩院數(shù)據(jù)庫與存儲實驗室研究員。
數(shù)據(jù)庫這個詞你可能有些陌生，但其實，所有的現(xiàn)代生活背后，都隱藏著數(shù)據(jù)庫的服務。你的每一次消費、每一次股票交易、每一條微博動態(tài)，都離不開數(shù)據(jù)庫。
人類的發(fā)展跟數(shù)據(jù)息息相關，人類最早的時候，是從結繩記事開始；到后來，可以把文字記錄到甲骨文上；再到后來我們開始有了計算機。從人類誕生開始，人類就在不停地記錄信息，其實那就是數(shù)據(jù)庫的雛形。
1960年阿波羅登月計劃，美國航空航天局NASA為了記錄整個航天過程中的所有信息，聯(lián)合 IBM 研發(fā)出了第一代數(shù)據(jù)庫——IMS。隨后數(shù)據(jù)庫技術開始進入民用領域并得到廣泛應用。
Q：您當時為什么選擇加入阿里？
?
占超群：應該是在11年左右，那時候認識很多淘寶的朋友，當時整個淘寶其實也發(fā)展很快。我記得印象中好像在2011年的時候，淘寶的日獨立UV超過1.2個億，然后那時候我覺得可能淘寶是最有機會去實現(xiàn)一個很重要的技術突破的地方。
?
Q：在阿里工作近十年，您有遇到什么困境嗎？?
占超群：印象中比較深刻的困境是在剛來的第五個月的時候，本來主管要求我是兩個月要上線的。但是我做了五個月還沒上線。那時候產(chǎn)生了第一次理念的沖突。
?
其實主管給我要求做一個為單個業(yè)務服務的數(shù)據(jù)處理技術，還不能稱之為數(shù)據(jù)庫系統(tǒng)，他說你把這事情做好就夠了。我當時跟主管講，這個事情不是為單個業(yè)務服務的一個模塊，而應該是一個平臺型的設計和平臺型的系統(tǒng)。我們倆一起聊了很久，最終我覺得還是很幸運的，大家還是達成了一致，主管覺得這個事情有價值。
?
所以我當時第一天就按照一個數(shù)據(jù)庫的形態(tài)去倒推今天該怎么做，考慮到描述語言(SQL)、優(yōu)化器、存儲引擎、執(zhí)行引擎，從最開始支持一個到兩個到20個業(yè)務，到今天的500多個，集團的分析業(yè)務基本都覆蓋了。
?
Q：2019年，阿里巴巴的AnalyticDB數(shù)據(jù)庫榮登TPC-DS榜單第一，終于打破了甲骨文和微軟在數(shù)據(jù)庫領域的霸主地位。您當時怎么想到要去沖擊TPC榜單？
?
占超群：18年的10月份，我記得是在一個晚上，我拉了團隊幾個核心的骨干，我說我們要去沖擊一下 TPC，打磨下我們端到端的技術，按照國際標準進行極致與嚴格苛刻的端到端驗證。
?
當時他們都比較反對，他們看了報告覺得好多東西都看不大懂，甚至第一反應不是很理解背后考察什么？要用什么技術去解決？這個里面其實挑戰(zhàn)是很大的，但我說這個事情我們必須去，我說這是我們很重要的一個飛躍點和技術驗證點，這些技術通用化是可以很好地打磨產(chǎn)品，也會對客戶產(chǎn)生很大的價值。
?
?
Q：很多人可能會覺得去挑戰(zhàn)一個長期被國外巨頭壟斷的數(shù)據(jù)庫技術榜單，您是給自己定了一個過高的目標，您中途是否有想過放棄？
?
占超群：我是很堅定的。但過程真的非常痛苦。我花了大部分時間和大家在項目室或開電話會，一項一項地摳細節(jié)，一項一項去做架構的review。?
?
Q：徒步之旅和沖擊 TPC 有什么異曲同工之處？
?
占超群：我以前走過一次徒步，就是去過玄奘之路，讓我一生的印象深刻的事情就是徒步第三天，終點是個風車鎮(zhèn)，從露營的地方你就能看到那個終點，但是你就怎么走都走不過去。出發(fā)的時候還很開心覺得一下子就能看到終點應該很快就能完成，但是走到中午發(fā)現(xiàn)，他們說你才走了一半不到，所以那天很多人都放棄了，就走到一半就放棄了；我走到一半的時候，我也感覺特別難受。
?
我在中途休息了很久，心里也很想放棄。因為我這么多年的一個性格，就是再難，只要定了，我是爬過去也好，還是走過去也好，但是一定要去到終點。所以中途休息了特別長時間，后來還是爬起來接著走，印象中走到天黑才走到終點。
?
我們走向國際化就這種感覺，你知道對手是誰，他做成咋樣了，但是你就是不知道該怎么走過去。就是你跑一段發(fā)現(xiàn)，這段對手已經(jīng)五年前走過了。再跑一段，發(fā)現(xiàn)對手七年前走過了，就這種感覺，是其實很讓人又興奮又絕望的那種。
?
最終是在2019年的4月份，我們就正式完成了，并且效果還非常好，拿到了性能和性價比全球第一。
?
Q：每一次的產(chǎn)業(yè)革命都伴隨著基礎設施的更迭，而在數(shù)據(jù)庫領域，也正發(fā)生著這樣一場從舊到新、從傳統(tǒng)到云端的技術巨變。您是怎樣看待這樣的轉變？
?
占超群：云計算其實在重構整個數(shù)據(jù)庫的體系結構。以前數(shù)據(jù)庫的結構是什么樣子呢？磁盤、CPU、內(nèi)存都是單機的，要么 Scale up 擴展單機資源如內(nèi)存等，要么 Scale out 擴展物理機數(shù)量。但今天云計算基礎設施變化會出現(xiàn)什么呢？存儲是可以共享和按需付費的，計算也可以按照實時的請求彈性擴展。它把整個體系結構都變了，云原生加分布式技術對于數(shù)據(jù)庫來說是巨大的機遇，這個東西其實是我們在當前，最有機會能超過國外廠商的一個新賽道。
?
Q：您?總共招聘過多少人？
占超群：我看系統(tǒng)應該超過1500人。無論是俠客行、百年阿里，上了很多場課。
?
Q：您選人的標準是什么？
占超群：實際上就是很多人分不清什么叫知識，什么叫經(jīng)驗，什么叫能力，什么叫潛力。比如我看了一本書或一篇Paper，這只能叫一個知識；然后我做了某件事情，用到這些知識，這叫經(jīng)驗。能力是什么呢？就是說，我做了這件事情總結出來的技術和經(jīng)驗，我在B、C、D、E項目中復制了，這個就叫能力。基于這些能力，然后在面臨一個未知的時候，我也能做得很好，這叫潛力。這是我們要去深入挖掘出來的東西，因為我們面臨很多未知挑戰(zhàn)，需要更多人一起去解決。
Q：您有什么特別的解壓方式嗎？
占超群：待的時間越長，慢慢會形成一個思維慣性和執(zhí)行慣性，也會失去剛入職的那種銳氣和勇氣，這是我最怕的一件事情。以前在西溪園區(qū)的時候，那個時候比如我在面臨一些壓力或者有很大挑戰(zhàn)和選擇的時候，我都會看一下九號館的雕像，更多時候想想我是不是背了太多包袱了。
其實我跟大家一樣，也是從一個基層的同學成長起來的，過程中一定會碰到很多的委屈，包括老板不一定理解，包括被業(yè)務方否定和批評，包括各種內(nèi)外部的技術 PK，這個過程中也是經(jīng)歷了很多內(nèi)心的糾結彷徨。
很多時候我也想過放棄。但這個過程中，比如我們的技術用到城市大腦讓這個城市更安全，讓城市的治理效率更高；技術用到郵政等讓整個郵政的物流效率更高等。其實背后都是有非常大的技術突破和創(chuàng)新，這些技術在一步步地改變民生，在支持企業(yè)數(shù)字化，承載很多客戶對我們的信任與托付，讓很多美好的事情發(fā)生。這些是能讓我在很多時候，在委屈和彷徨的時候堅持下去最大的動力。
原文鏈接：https://developer.aliyun.com/article/784603?
版權聲明：本文內(nèi)容由阿里云實名注冊用戶自發(fā)貢獻，版權歸原作者所有，阿里云開發(fā)者社區(qū)不擁有其著作權，亦不承擔相應法律責任。具體規(guī)則請查看《阿里云開發(fā)者社區(qū)用戶服務協(xié)議》和《阿里云開發(fā)者社區(qū)知識產(chǎn)權保護指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，填寫侵權投訴表單進行舉報，一經(jīng)查實，本社區(qū)將立刻刪除涉嫌侵權內(nèi)容。總結
以上是生活随笔為你收集整理的一击进榜！达摩院十年“扫地僧”，揭秘阿里云数据仓库逆袭之旅的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 汽车之家基于 Flink + Icebe
- 下一篇： 这家创新学校是如何用钉钉宜搭构建了数字化