阿里巴巴黄贵谈存储新硬件带来数据库的机遇
10月27日下午,2018中國計算機大會上舉辦了主題“存儲軟硬件之國產化挑戰與機遇”的技術論壇,共同探討存儲軟硬件棧上的關鍵系統與技術的國產化發展道路。論壇上,阿里數據庫資深技術專家黃貴針對存儲軟硬件國產化進行了《存儲新硬件給數據庫自研帶來的機會》的報告。
專家簡介:
黃貴,阿里巴巴數據庫事業部資深技術專家,近10年一直從事分布式存儲、分布式數據庫的設計與研發工作,經歷過連續6年雙11的數據庫大考,見證了阿里從商業數據庫到開源數據庫再到自主研發分布式數據庫的過程。目前的方向是打造全面兼容MySQL生態,新一代跨地域高可用,高可擴展,高性能低成本分布式數據庫X-DB。
首先,黃貴介紹了阿里巴巴隨著業務迅猛增長而實現的數據庫的進化,一直發展到目前已被廣泛應用到阿里各項業務的異地多活,云化,分布式數據庫X-DB。
其次,黃貴詳述了阿里巴巴數據庫面臨的特殊挑戰,以及為了應對這些挑戰而做的設計,具體思路就是利用現代存儲的多層次結構,根據業務訪問數據特點,設計出一套分層的存儲架構,結合了內存數據庫和磁盤數據庫技術,同時達成高性能和低成本。
最后,黃貴詳述了數據庫存儲引擎X-Engine的設計思想,包括存儲方式、應對超大并發事務的流水線事務處理模式、元數據索引結構、數據布局、數據訪問加速、數據壓縮等特性,同時指出其利用NVM引入新的存儲層次,將存儲層次分為冷數據、暖數據及熱數據三類,三個層次采用Flash/HDD、NVM、DRAM不同存儲類型,以應對不同數據特性。X-Engine結合大數據訪問熱點集中的特點,采用了基于數據訪問頻率區分冷熱數據,并基于數據的冷熱進行封層存儲的架構,并在此架構上進行充分的優化以滿足不斷增長的需求。
阿里云雙十一1折拼團活動:滿6人,就是最低折扣了!
【滿6人】1核2G云服務器99.5元一年298.5元三年 2核4G云服務器545元一年 1227元三年
【滿6人】1核1G MySQL數據庫 119.5元一年
【滿6人】3000條國內短信包 60元每6月
參團地址:http://click.aliyun.com/m/1000020293/
原文鏈接
本文為云棲社區原創內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的阿里巴巴黄贵谈存储新硬件带来数据库的机遇的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 阿里如何做到百万量级硬件故障自愈?
- 下一篇: 阿里云数据库自研产品亮相国际顶级会议IC