写速度提升20%,Elasticsearch 创始人给腾讯云发来感谢信
近日,Elasticsearch?的創始人兼首席執行官Shay Banon?向騰訊云發出了一封“特別”的郵件,專程對騰訊團隊為Elasticsearch開源社區做出的貢獻表示了感謝。
據了解,騰訊工程師通過提交代碼,成功優化了Elasticsearch高并發寫入性能,實現將1000萬數據量的寫入時長從原來的18分鐘縮減至15分鐘,速率提升20%,并在Elasticsearch開源社區分享了項目方案。
Shay Banon?在發給騰訊副總裁、騰訊云總裁邱躍鵬的感謝信中表示:
“我們最近對Elasticsearch進行了重大而巧妙的改進,這是由騰訊的一位開發者提出的。這種改進使Elasticsearch的某些類型的寫速度提高了約20%,我們非常期待后續與騰訊云繼續保持這種良好的合作關系。”
事實上,在今年5月的騰訊全球數字生態大會上,騰訊云與Elastic簽署了戰略合作協議。雙方同意在產品、技術、生態三個維度展開合作,依托Elastic在搜索軟件領域的產品和技術優勢,以及騰訊云在云計算大數據領域的技術能力和市場資源,雙方聯合推出具備高級商業特性的騰訊云Elasticsearch Service?,該版本上線了集群權限管理、SQL、機器學習、圖查詢等高級功能。并結合騰訊云全球領先的公有云架構,實現Elasticsearch集群應用的低成本、易開發、易管理、高可用、高安全性。
其實,這次源碼優化的契機,源自騰訊內部一站式智能化的大數據服務平臺全民BI的真實業務場景,其中,全民BI的統計功能,在底層使用了Elasticsearch的開源代碼。在實際使用中,因為存在歷史數據比對的需求,需要每天全量導入新的數據。數十億級的數據量,超過500個標簽,需要盡可能的快速的導入到ES系統中,但這一塊經過多次的參數優化,依然需要幾個小時才能完成導入,是整個系統的一大瓶頸。
在此背景下,騰訊全民BI團隊開始著手優化Elasticsearch高并發場景下的寫入性能。項目團隊通過分析ES的寫入機制,在多次堆棧分析取樣中,發現較多線程因writeLock被rollGeneration占用,在獲取鎖的等待上耗時偏長。因而將優化的著力點,從參數的調優轉移至線程的優化。項目團隊最終在實驗理論值的基礎上,通過優化rollGeneration,實現將1000萬數據量的寫入時長從原來的18分鐘縮減至15分鐘,速率提升20%。
“非常感謝Elastic公司創始人之一和技術負責人Simon Willnauer的支持和建議,本次優化大幅度提升全民BI系統的數據分析效率,接下來,這些領先的特性都能夠在騰訊云Elasticsearch Service上獲取。”?主要負責人表示。
更加值得期待的是,這次優化只是一個開端,未來仍存在較多優化空間,騰訊云目前正在積極與開源社區溝通中。
值得注意的是,這次社區代碼貢獻并不是騰訊的個別案例。從2010年開始,騰訊就開始通過“三步走”的開源計劃,積極推動代碼開放和社區參與,從封閉孤立向協同開放和社區開放治理的縱深方向發展。
“我們將通過內外部開放源代碼的方式,積極參與全球科技共同體的構建。”騰訊公司董事會主席兼首席執行官馬化騰在八月底重慶召開的2019智博會高峰論壇上表示。
如今,騰訊正以發起者、貢獻者等不同方式積極參與開源。在社區貢獻方面,騰訊已經獲得OpenStack?社區、Linux?基金會、LFAI?基金會、MariaDB?基金會、Apache?基金會等多個白金會員或白金贊助商身份。
去年,騰訊云向KVM?內核貢獻了40?個patch,連續第二年登上KVM?全球開源貢獻榜,也成為中國唯一入選云廠商。今年初,騰訊云正式發布基礎設施層面四大核心技術項目,分別涵蓋數據中心、網絡、服務器以及自動化平臺領域,并宣布將這四大技術項目全部貢獻給開源OCP?社區。
而在自主開源方面,截至2019年8月,騰訊已在Github上發布82個開源項目,包含微信、騰訊云、騰訊游戲、騰訊AI、騰訊安全等相關領域。騰訊發起的開源項目累計在?Github?獲得了24W+?Star數,在國內和國際收獲了廣泛的關注和認可。
未來,騰訊還將進一步拓寬開源的范圍,在開放、共享、合力開發的研發模式中,不斷夯實已有的技術能力,不斷深化與開源伙伴間相互促進的良性關系。
總結
以上是生活随笔為你收集整理的写速度提升20%,Elasticsearch 创始人给腾讯云发来感谢信的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 欧陆风云4军队能进城吗
- 下一篇: 反方核武器有什么坏处?