采訪嘉賓 |?騰訊云副總裁謝明等

圖源 | 視覺中國(guó)

來(lái)源?| CSDN（ID:CSDNnews）

在騰訊內(nèi)部，負(fù)責(zé)騰訊存儲(chǔ)技術(shù)研發(fā)的部門，一直被認(rèn)為是生產(chǎn)技術(shù)專家的“黃埔軍校”。騰訊不少技術(shù)方向的負(fù)責(zé)人，最早也都出自這個(gè)團(tuán)隊(duì)。

?

這或許可以看出這只團(tuán)隊(duì)的底蘊(yùn)——對(duì)于騰訊來(lái)說(shuō)，存儲(chǔ)是幾乎所有業(yè)務(wù)開展的基礎(chǔ)，存儲(chǔ)技術(shù)和架構(gòu)的迭代是騰訊最關(guān)注的技術(shù)方向之一。

?

作為海量數(shù)據(jù)的堅(jiān)實(shí)承載，騰訊存儲(chǔ)技術(shù)支撐了微信、QQ、QZone、郵件、微云、流媒體等內(nèi)部業(yè)務(wù)的快速發(fā)展，同時(shí)也為快手、OPPO、小紅書、海康、獵豹、58同城等幾十多萬(wàn)個(gè)客戶騰訊云上客戶提供了可靠的服務(wù)，整體數(shù)據(jù)量高達(dá)EB級(jí)別。

?

本文中，我們將采訪騰訊云存儲(chǔ)技術(shù)相關(guān)負(fù)責(zé)人，深度揭秘騰訊云存儲(chǔ)從零開始，到如今支撐起ZB級(jí)數(shù)據(jù)存儲(chǔ)系統(tǒng)的技術(shù)演進(jìn)歷程，以及背后一些有趣的故事。

騰訊存儲(chǔ)技術(shù)演進(jìn)歷程

?

騰訊存儲(chǔ)技術(shù)的演進(jìn)基本上可以分為以下階段：

1.?海量存儲(chǔ)(2005~2010)，支撐社交網(wǎng)絡(luò)，構(gòu)平臺(tái)，撐海量

?

騰訊存儲(chǔ)技術(shù)的發(fā)展，起源于2005年前后國(guó)內(nèi)社交網(wǎng)絡(luò)興起。QQ、QZone（相冊(cè)）業(yè)務(wù)的發(fā)展帶來(lái)了海量的圖片、文件、頭像等UGC數(shù)據(jù)。為應(yīng)對(duì)海量存儲(chǔ)的挑戰(zhàn)，騰訊云開始自研并構(gòu)建了幾套核心存儲(chǔ)平臺(tái)，包括TFS(通用性存儲(chǔ)平臺(tái)）,CTFS(數(shù)據(jù)頻刪型存儲(chǔ)，用于短期臨時(shí)存儲(chǔ))，TDB(基于HDD的鍵值對(duì)存儲(chǔ)平臺(tái))，TSSD（基于SSD的鍵值對(duì)存儲(chǔ)平臺(tái)）。

?

這些自研平臺(tái)為騰訊對(duì)象存儲(chǔ)的發(fā)展奠定了基礎(chǔ)。基于存儲(chǔ)SET容量模型，騰訊云構(gòu)建起標(biāo)準(zhǔn)可控的運(yùn)營(yíng)體系，支撐起了QQ空間、微云、QQ等產(chǎn)品的海量存儲(chǔ)需求。

2.?跨地分布(2011~2013)，分拆大體量業(yè)務(wù)，搬數(shù)據(jù)，騰機(jī)房

?

2011~2013年，QQ相冊(cè)等大體量業(yè)務(wù)的訪問(wèn)量、存儲(chǔ)量迅速增長(zhǎng)，對(duì)深圳的三通機(jī)房在機(jī)架、帶寬方面產(chǎn)生了較大壓力。為應(yīng)對(duì)底層機(jī)房，帶寬等方面的瓶頸，存儲(chǔ)平臺(tái)啟動(dòng)了相冊(cè)一通點(diǎn)等項(xiàng)目，海量業(yè)務(wù)數(shù)據(jù)開始從深圳向西安、杭州、廣州、上海等地分布，訪問(wèn)帶寬同時(shí)調(diào)度到天津、南京、東莞等成本更低的一通機(jī)房。?

?

存儲(chǔ)平臺(tái)在做數(shù)據(jù)分布搬遷的過(guò)程中，自身也在同步迭代演進(jìn)。比如TFS從3份存儲(chǔ)演進(jìn)為同時(shí)支持1/2/3份數(shù)據(jù)的多副本存儲(chǔ)；CTFS從2份存儲(chǔ)演進(jìn)為同時(shí)支持2/3份數(shù)據(jù)存儲(chǔ)。TSSD平臺(tái)也從僅支持單機(jī)獨(dú)享的Uin-Value定制存儲(chǔ)演進(jìn)為支持多租戶的通用Key-Value存儲(chǔ)。

3.?冷存儲(chǔ)（2014~2015)，分離冷數(shù)據(jù)，降份數(shù)，省成本

?

騰訊相冊(cè)、微云、郵件等業(yè)務(wù)在業(yè)務(wù)發(fā)展中，逐步積累起來(lái)較多的UGC歷史數(shù)據(jù)，這些歷史數(shù)據(jù)訪問(wèn)量低、存儲(chǔ)量大，對(duì)業(yè)務(wù)的運(yùn)營(yíng)成本構(gòu)成了較大的壓力。為了應(yīng)對(duì)冷數(shù)據(jù)存儲(chǔ)的成本挑戰(zhàn)，2015年前后，騰訊基于糾刪碼研發(fā)了BTFS平臺(tái)(Backup-TFS)。對(duì)業(yè)務(wù)進(jìn)行了數(shù)據(jù)分層，增量數(shù)據(jù)訪問(wèn)量大，用TFS存儲(chǔ)3份；歷史冷數(shù)據(jù)從TFS平臺(tái)剝離出來(lái)，從3副本存儲(chǔ)轉(zhuǎn)向1.33副本的糾刪存儲(chǔ)，降低了存儲(chǔ)成本。這個(gè)階段中，騰訊優(yōu)化BTFS，使得部分低訪問(wèn)量業(yè)務(wù)的增量數(shù)據(jù)也可以直接存儲(chǔ)進(jìn)來(lái)。

4.?云存儲(chǔ)磨合期(2016~2017)，重構(gòu)系統(tǒng)，兼容接口

?

在磨合期，騰訊云基于已有的存儲(chǔ)訪問(wèn)接口和平臺(tái)架構(gòu)對(duì)外提供服務(wù)。經(jīng)過(guò)一段時(shí)間的運(yùn)營(yíng)，騰訊云發(fā)現(xiàn)外部第三方業(yè)務(wù)在體驗(yàn)、可用性、成本等諸多運(yùn)營(yíng)方面有極高的要求。為支撐云的需求場(chǎng)景，騰訊云對(duì)存儲(chǔ)的接入層和索引層架構(gòu)進(jìn)行重構(gòu)，架構(gòu)扁平，模塊精簡(jiǎn)，同時(shí)開始舍棄私有接口，轉(zhuǎn)為兼容AWS S3接口與功能。重構(gòu)后存儲(chǔ)架構(gòu)支撐了騰訊云COS近幾年的發(fā)展。（注：對(duì)象存儲(chǔ)COS，CloudObjectStorage，是由騰訊云推出的安全穩(wěn)定、便捷易用、低成本的海量云端存儲(chǔ)服務(wù)。）

5.?多云時(shí)代（2018~)，對(duì)標(biāo)行業(yè)，比成本，拼質(zhì)量

?

伴隨公有云的逐步普及，用戶存儲(chǔ)的數(shù)據(jù)成幾何倍數(shù)增長(zhǎng)，硬件發(fā)展日新月異，公有云提供商間的競(jìng)爭(zhēng)日趨激烈。2017年，騰訊云的數(shù)據(jù)量突破一個(gè)EB，成為騰訊存儲(chǔ)歷史上的一個(gè)標(biāo)志性節(jié)點(diǎn)。

?

AWS S3的存儲(chǔ)訪問(wèn)接口已成為公有云上對(duì)象存儲(chǔ)事實(shí)上的行業(yè)標(biāo)準(zhǔn)，存儲(chǔ)成本、運(yùn)營(yíng)質(zhì)量成為客戶上云選擇產(chǎn)品提供方的主要考量。

?

在這一階段，騰訊重新審視了機(jī)房，機(jī)型等方面的技術(shù)演進(jìn)趨勢(shì)，重構(gòu)了公有云對(duì)象存儲(chǔ)引擎（詳解見下文）。新架構(gòu)采用大容量高密度存儲(chǔ)機(jī)型，針對(duì)存儲(chǔ)SET導(dǎo)致的閑置資源分散和隔離等多個(gè)主要矛盾，進(jìn)行了全面應(yīng)對(duì)和優(yōu)化。

?

先從整體上對(duì)騰訊云存儲(chǔ)有了一個(gè)大致了解后，我們?cè)購(gòu)母麟A段一些重要節(jié)點(diǎn)事件，來(lái)了解騰訊云存儲(chǔ)技術(shù)演變背后的邏輯，供業(yè)內(nèi)參考。

?

七八個(gè)人搞了TFS

?

2005年，QQ空間發(fā)布，大量存儲(chǔ)需求爆發(fā)。

?

騰訊云副總裁 、云架構(gòu)平臺(tái)部總經(jīng)理謝明，以及騰訊云架構(gòu)平臺(tái)部系統(tǒng)研發(fā)中心總監(jiān)郭振宇，都是騰訊云在2005-2006年開始做統(tǒng)一存儲(chǔ)架構(gòu)時(shí)期的重要親歷者。

?

2003-2004年，谷歌發(fā)表了俗稱“三大件”的論文，即BigTable、GFS和MapReduce，這是從原先的企業(yè)級(jí)存儲(chǔ)向互聯(lián)網(wǎng)時(shí)代大規(guī)模使用廉價(jià)的分布式存儲(chǔ)的一個(gè)較早期的實(shí)踐。

?

受此啟發(fā)，謝明、郭振宇與團(tuán)隊(duì)中七八個(gè)人開始做通用性存儲(chǔ)平臺(tái)TFS，把RPC框架和通信協(xié)議、存儲(chǔ)相關(guān)的數(shù)據(jù)遷移、巡檢系統(tǒng)等逐步做起來(lái)，第二年初就將這套存儲(chǔ)系統(tǒng)用到了 QQ 相冊(cè)。

?

用上TFS后，QQ相冊(cè)解除了每天800萬(wàn)張圖片的上傳限制，結(jié)束了那段只有QQ黃鉆用戶才能無(wú)限上傳圖片的歷史，普通用戶再也無(wú)需凌晨24點(diǎn)守在電腦前搶著上傳圖片。

?

但與谷歌 GFS 主要面對(duì)搜索場(chǎng)景，因此主要解決的問(wèn)題是大文件存儲(chǔ)不同，騰訊的業(yè)務(wù)里圖片較多，小文件才是要解決的主要問(wèn)題，但是TFS并不適合做小文件存儲(chǔ)，因此又創(chuàng)建了KV存儲(chǔ)平臺(tái)——TDB。

?

再往后，騰訊云的業(yè)務(wù)中又出現(xiàn)了一些需要頻繁刪除的場(chǎng)景，CTFS應(yīng)運(yùn)而生，用于短期的臨時(shí)存儲(chǔ)。這套系統(tǒng)在頻刪型的場(chǎng)景，如文件中轉(zhuǎn)站中非常實(shí)用。積累了一定口碑后，其他業(yè)務(wù)也逐漸遷移到CTFS。

?

除了這些，團(tuán)隊(duì)還針對(duì)業(yè)務(wù)場(chǎng)景進(jìn)行用戶體驗(yàn)優(yōu)化，例如優(yōu)化了索引。原先的文件系統(tǒng)索引有很多層，拓展性強(qiáng)，但是每次硬盤要進(jìn)行多次訪問(wèn)。當(dāng)文件較大，硬盤多次訪問(wèn)會(huì)造成延時(shí)。為此，TFS設(shè)計(jì)之初就力爭(zhēng)硬盤只訪問(wèn)一次，把chunkID（段表示）和FID索引放在一起，用戶讀取索引時(shí)就能知道圖片在哪塊盤上，只要訪問(wèn)一次硬盤就能讀取圖片，減少磁盤IO次數(shù)提升了用戶體驗(yàn)。

?

之后，TFS又陸續(xù)被用于網(wǎng)絡(luò)硬盤、QQ郵箱等產(chǎn)品中。

騰訊史上最大數(shù)據(jù)搬遷

?

時(shí)間到了2009年，騰訊日益擴(kuò)張的業(yè)務(wù)與激增的數(shù)據(jù)量使得存儲(chǔ)的訪問(wèn)帶寬問(wèn)題暴露出來(lái)。

?

2009年騰訊存儲(chǔ)團(tuán)隊(duì)合影

那時(shí)，騰訊幾乎所有的數(shù)據(jù)都在深圳，但當(dāng)時(shí)國(guó)內(nèi)的骨干網(wǎng)寬帶與現(xiàn)在不可同日而語(yǔ)。QQ相冊(cè)高峰時(shí)占用40-50G，而1G的流量對(duì)公司的網(wǎng)絡(luò)就已經(jīng)是很大的負(fù)擔(dān)了。因此，在控制帶寬高峰的驅(qū)動(dòng)下，騰訊開始考慮把存儲(chǔ)向西安搬遷。

?

謝明回憶，當(dāng)時(shí)搬遷的第一個(gè)設(shè)備的數(shù)據(jù)量是100T。現(xiàn)在看來(lái)，這個(gè)數(shù)字也許并不大，但當(dāng)時(shí)卻是騰訊歷史上最大的一次數(shù)據(jù)搬遷，因?yàn)槟菚r(shí)候基本上沒有專線可用，數(shù)據(jù)搬遷都是趁著半夜公網(wǎng)空閑搬遷過(guò)去的！

微信紅包爆發(fā)帶來(lái)存儲(chǔ)壓力

?

2014-2015 年，移動(dòng)互聯(lián)網(wǎng)崛起。

?

在這期間，騰訊也有兩件大事發(fā)生。一是微信開始流行，2014年除夕的微信紅包，連帶著朋友圈的圖片分享讓微信火爆起來(lái)。原來(lái)在 PC 時(shí)代春節(jié)期間不怎么值班的騰訊工程師們發(fā)現(xiàn)，春節(jié)期間不得不安排更多人值班了，以應(yīng)對(duì)除夕和元旦凌晨12點(diǎn)到12點(diǎn)10分這十分鐘內(nèi)，搶紅包和圖片發(fā)布劇增的數(shù)據(jù)。騰訊的存儲(chǔ)系統(tǒng)面臨著史無(wú)前例的壓力。

2016年騰訊存儲(chǔ)團(tuán)隊(duì)春節(jié)值班零點(diǎn)后留影

?

為此，謝明團(tuán)隊(duì)與微信團(tuán)隊(duì)溝通，對(duì)大型緩存系統(tǒng)、延時(shí)通知等技術(shù)進(jìn)行改進(jìn)。水來(lái)土掩，兵來(lái)將擋，到2015年騰訊存儲(chǔ)已經(jīng)可以應(yīng)對(duì)除夕夜突發(fā)性問(wèn)題。

?

第二件大事是網(wǎng)絡(luò)硬盤的發(fā)展給存儲(chǔ)帶來(lái)很大的成本壓力。作為一項(xiàng)免費(fèi)服務(wù)，如何控制成本成了謝明團(tuán)隊(duì)的又一個(gè)巨大的挑戰(zhàn)。為此，團(tuán)隊(duì)于2014年完成并上線了基于糾刪碼的BTFS平臺(tái)。

業(yè)務(wù)也是技術(shù)發(fā)展的助推器

?

騰訊云存儲(chǔ)技術(shù)能力的不斷完善，也離不開業(yè)務(wù)不斷提出的挑戰(zhàn)。

?

郭振宇舉了兩個(gè)例子來(lái)說(shuō)明當(dāng)時(shí)團(tuán)隊(duì)面臨的挑戰(zhàn)，一個(gè)是微信與海外同類產(chǎn)品，如在東南亞人氣很高的Line和WhatsApp。為了在競(jìng)爭(zhēng)中獲得優(yōu)勢(shì)，微信做了很多事情，比如東南亞用戶與國(guó)內(nèi)進(jìn)行數(shù)據(jù)溝通時(shí)鏈路很長(zhǎng)，團(tuán)隊(duì)就基于存儲(chǔ)做了加速通道，從而加速了國(guó)內(nèi)外數(shù)據(jù)傳輸，速度超過(guò)Line和WhatsApp。

?

另一個(gè)例子是游戲，QQ農(nóng)場(chǎng)相信對(duì)于每個(gè)90后都不陌生，但不一定有人了解，全民偷菜的熱情曾讓騰訊的服務(wù)器數(shù)度崩潰。當(dāng)時(shí)，農(nóng)場(chǎng)訪問(wèn)量巨大，但騰訊還沒有全存儲(chǔ)系統(tǒng)，TDB是基于SAS盤存儲(chǔ)的，在每秒數(shù)萬(wàn)的并發(fā)訪問(wèn)下，底層存儲(chǔ)系統(tǒng)的延時(shí)和請(qǐng)求吞吐挑戰(zhàn)非常大。

?

騰訊基本上把公司所有閑置服務(wù)器都用在QQ農(nóng)場(chǎng)，但仍遠(yuǎn)遠(yuǎn)不夠，需要大量采購(gòu)服務(wù)器。團(tuán)隊(duì)一方面通過(guò)瘋狂的機(jī)器擴(kuò)容，另一方面基于數(shù)據(jù)規(guī)模不太大但是訪問(wèn)量極高的業(yè)務(wù)特點(diǎn)，快速研發(fā)了全內(nèi)存的分布式存儲(chǔ)系統(tǒng)，在保障數(shù)據(jù)安全可靠的前提下，并發(fā)訪問(wèn)的性能得到極大提升。快速上線、快速驗(yàn)證，完全自研，團(tuán)隊(duì)再次闖關(guān)成功，“修為”再上一層樓。

從開放平臺(tái)到服務(wù)B端，很多事情變了

?

面向B端客戶提供服務(wù)，是騰訊云存儲(chǔ)技術(shù)的另一個(gè)關(guān)鍵節(jié)點(diǎn)。

?

從2010年起，騰訊就開始做開放平臺(tái)云。2013年，騰訊云正式面向B端用戶全面開放。

?

在計(jì)算云迅猛發(fā)展的大背景下，行業(yè)競(jìng)爭(zhēng)日益激烈，客戶可選擇面較大，對(duì)功能、性能、質(zhì)量、價(jià)格等方面的需求不斷增強(qiáng)。

?

此外，從騰訊云自身現(xiàn)狀來(lái)說(shuō)，數(shù)據(jù)量的不斷增大，隨之帶來(lái)軟硬件成本、運(yùn)維成本優(yōu)化的收益日趨增大。

?

同時(shí)，行業(yè)下游的基礎(chǔ)設(shè)施，如大型數(shù)據(jù)中心、新機(jī)型、新硬件、各種存儲(chǔ)介質(zhì)、網(wǎng)絡(luò)環(huán)境的不斷發(fā)展演進(jìn)。相比十幾年前，單個(gè)IDC機(jī)房從數(shù)千臺(tái)，到騰訊目前超百萬(wàn)裝機(jī)量超大規(guī)模機(jī)房；網(wǎng)絡(luò)從千M網(wǎng)卡，發(fā)展到百G網(wǎng)卡，整個(gè)基礎(chǔ)設(shè)施發(fā)生了天翻地覆的變化。

?

這些變化，都在呼喚騰訊云在存儲(chǔ)系統(tǒng)架構(gòu)上做出改變。

YottaStore，打破傳統(tǒng)IT存儲(chǔ)系統(tǒng)架構(gòu)

?

騰訊云從2017年開始構(gòu)思，并于2018年正式啟動(dòng)了下一代云原生對(duì)象存儲(chǔ)系統(tǒng)設(shè)計(jì)——YottaStore。

?

名字由來(lái)

?

YottaStore這個(gè)名字實(shí)際上取得很有深意，騰訊云架構(gòu)平臺(tái)部存儲(chǔ)研發(fā)中心總監(jiān)楊?yuàn)^強(qiáng)介紹了Yotta這個(gè)詞背后的含義。

?

對(duì)于做存儲(chǔ)的同學(xué)來(lái)說(shuō)，經(jīng)常會(huì)跟GB、TB、PB、EB這些概念打交道。現(xiàn)在全球互聯(lián)網(wǎng)非常大的巨頭公司的數(shù)據(jù)量基本都是在EB這個(gè)量級(jí)。EB上面是ZB，全球互聯(lián)網(wǎng)巨頭數(shù)據(jù)起來(lái)也就幾個(gè)ZB；ZB上面是YB，也就是YottaByte，目前全世界所有的數(shù)據(jù)加起來(lái)也不會(huì)超過(guò)一個(gè)Yotta。另外這個(gè)單詞中文譯名“有他”，給人安全可靠放心的感覺，系統(tǒng)的Slogan就是“存儲(chǔ)有他，能力無(wú)限”。

?

所以，Yotta——有他既是騰訊存儲(chǔ)同學(xué)們對(duì)這個(gè)系統(tǒng)海量數(shù)據(jù)存儲(chǔ)能力的深厚期望，也是對(duì)服務(wù)質(zhì)量和可靠性的巨大承諾。為了實(shí)現(xiàn)上述期望和承諾，YottaStore實(shí)現(xiàn)了眾多業(yè)界獨(dú)一無(wú)二的技術(shù)突破。

?

技術(shù)突破

?

集群規(guī)模：YottaStore是一個(gè)云原生的數(shù)據(jù)存儲(chǔ)系統(tǒng)，這個(gè)系統(tǒng)的理論極限是一個(gè)集群可以管理超上千萬(wàn)臺(tái)服務(wù)器。而要管理這上千萬(wàn)臺(tái)的機(jī)器，元數(shù)據(jù)管理只需要用600G左右的空間，用一臺(tái)機(jī)器就能存下索引結(jié)構(gòu)，這在業(yè)界是絕無(wú)僅有的。

?

資源利用率：當(dāng)集群規(guī)模非常大的時(shí)候，其實(shí)1%的剩余空間量都是非常非常大的，所以YottaStore的硬盤利用率非常高，加上實(shí)時(shí)回收機(jī)制，有效數(shù)據(jù)占比達(dá)90%以上，這在業(yè)界非常少見。

?

另外，由于大集群的全集群均衡能力，服務(wù)器資源使用均衡，所以資源使用率也可以做得很高，這樣服務(wù)器硬件可以最低位配置，所有尖峰流量在這個(gè)異常大的池子里，波瀾不驚。所以無(wú)論是成本、還是服務(wù)能力，都很大程度受益于超大規(guī)模集群帶來(lái)的紅利。

?

靈活性：YottaStore單集群可以零研發(fā)成本同時(shí)支持各種不同的冗余模式，像兩副本、三副本、四副本、五副本，任意的EC編碼，任意的M、加任意的N、任意的算法；單AZ、雙AZ、多AZ也都可以靈活支持；另外，整個(gè)集群可以自適應(yīng)各種各樣不同的機(jī)型，包括JBOD；各種硬盤介質(zhì)，如磁帶、HDD、SSD等，存儲(chǔ)的拓?fù)浣Y(jié)構(gòu)、混合部署也都可以任意指定。這樣的靈活性在業(yè)界首屈一指。

?

運(yùn)營(yíng)能力：以存儲(chǔ)節(jié)點(diǎn)迭代升級(jí)為例，十萬(wàn)百萬(wàn)規(guī)模的一個(gè)集群，上線升級(jí)速度都是一樣的，如果是同構(gòu)的數(shù)據(jù)格式，分鐘級(jí)就可以完成整個(gè)升級(jí)過(guò)程；而如果是異構(gòu)的數(shù)據(jù)格式，集群可以在短時(shí)間內(nèi)自動(dòng)將數(shù)據(jù)格式透明收斂到最新版。

?

可用性：YottaStore開始上線大規(guī)模支撐業(yè)務(wù)的前三個(gè)月一直維持百分之百的可用性，到現(xiàn)在一年半了，系統(tǒng)一直單人值周零故障運(yùn)行，在業(yè)界是極少見的。可用性數(shù)個(gè)9很容易，但是可用性100%非常難。例如機(jī)房網(wǎng)絡(luò)抖動(dòng)，如果容錯(cuò)做的不夠好，就很容易就會(huì)出現(xiàn)失敗。但是YottaStore在初期上線的很長(zhǎng)一段時(shí)間都是百分之百的可用性。

?

業(yè)務(wù)支撐

?

YottaStore是騰訊云對(duì)象存儲(chǔ)服務(wù)COS的數(shù)據(jù)存儲(chǔ)引擎，支撐起整個(gè)騰訊云海量數(shù)據(jù)的存儲(chǔ)。COS的標(biāo)準(zhǔn)存儲(chǔ)、低頻存儲(chǔ)、歸檔存儲(chǔ)、多AZ存儲(chǔ)等產(chǎn)品形態(tài)都是基于YottaStore推出。

?

得益于YottaStore在集群規(guī)模、資源利用率、靈活性等方面的技術(shù)突破，近期COS重磅推出的深度歸檔產(chǎn)品刷新了業(yè)界存儲(chǔ)的最低價(jià)：1分錢/GB/月。

?

激烈競(jìng)爭(zhēng)環(huán)境下，成本是存儲(chǔ)業(yè)務(wù)勝出的關(guān)鍵因素之一。YottaStore是如何優(yōu)化成本的呢？

?

資源利用率提高：基于前文所述的在超大規(guī)模集群和超高資源利用率上的技術(shù)突破，隨著資源利用率的增高，單位存儲(chǔ)的成本隨之降低。

?

高密硬件適配：隨著磁盤容量擴(kuò)大，單機(jī)磁盤數(shù)變多密度增高，成本也隨之降低；此外，CPU、網(wǎng)卡等新硬件的變化都會(huì)導(dǎo)致成本降低。

?

場(chǎng)景優(yōu)化：針對(duì)海量小文件的用戶場(chǎng)景，YottaStore采用多種冗余和數(shù)據(jù)組織策略持續(xù)優(yōu)化成本。

?

此外，對(duì)于一套承載著用戶業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)系統(tǒng)來(lái)說(shuō)，數(shù)據(jù)一個(gè)都不能丟、安全可靠是最重要的承諾。在數(shù)據(jù)可靠性方面，YottaStore在數(shù)據(jù)冗余、數(shù)據(jù)巡檢、數(shù)據(jù)修復(fù)、數(shù)據(jù)校驗(yàn)等方面做了很多工作，保障了數(shù)據(jù)的可靠性。

?

到這里，我們回顧了騰訊云存儲(chǔ)技術(shù)發(fā)展的全部歷程，也得以從中一窺互聯(lián)網(wǎng)大廠在底層存儲(chǔ)技術(shù)與業(yè)務(wù)發(fā)展緊密結(jié)合，“配合作戰(zhàn)”成功的秘訣，希望對(duì)業(yè)內(nèi)有一定的啟發(fā)。云時(shí)代下，騰訊云存儲(chǔ)還將有哪些創(chuàng)新，我們拭目以待。

?

更多閱讀推薦

• 荷蘭政府用大數(shù)據(jù)預(yù)測(cè)天氣預(yù)防自然災(zāi)害，他們是怎么做的？
  阿里云資深技術(shù)專家易立：我對(duì)云原生軟件架構(gòu)的觀察與思考
  

• SQL分頁(yè)查詢方案的性能對(duì)比
  

• 螞蟻集團(tuán)兩地上市暫緩，阿里巴巴股價(jià)大跌，員工快到手的大 House 飛了！
  

• 離職后竟半夜偷溜回辦公室寫代碼？一個(gè)為自由軟件而戰(zhàn)斗的程序員
  

總結(jié)

以上是生活随笔為你收集整理的深度揭秘：腾讯存储技术发展史的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。