戳藍(lán)字“CSDN云計(jì)算”關(guān)注我們哦！

CSDN云計(jì)算授權(quán)轉(zhuǎn)載自阿里系統(tǒng)軟件技術(shù)

作者：臨石

打開一篇篇 IT 技術(shù)文章，你總能夠看到“大規(guī)模”、“海量請求”這些字眼。如今，這些功能強(qiáng)大的互聯(lián)網(wǎng)應(yīng)用，都運(yùn)行在大規(guī)模數(shù)據(jù)中心上。然而，對于大規(guī)模數(shù)據(jù)中心，你又了解多少呢？

實(shí)際上，除了閱讀一些科技文章之外，得到關(guān)于數(shù)據(jù)中心的信息非常難得。數(shù)據(jù)中心每個機(jī)器的運(yùn)行情況如何？這些機(jī)器上運(yùn)行著什么樣的應(yīng)用？這些應(yīng)用有什么特點(diǎn)？對于這些問題，除了少數(shù)資深從業(yè)者之外，普通學(xué)生和企業(yè)的研究者很難了解其中細(xì)節(jié)。

什么是 Alibaba Cluster Data?

那么，實(shí)施了一系列優(yōu)化手段之后的計(jì)算機(jī)集群究竟是什么樣子？混部的情況究竟如何？

為了讓有興趣的學(xué)生以及相關(guān)研究人員，可以從數(shù)據(jù)上更加深入地理解大規(guī)模數(shù)據(jù)中心，我們特別發(fā)布了這份數(shù)據(jù)集（Alibaba Cluster Data V2018）。數(shù)據(jù)集中記錄了某個生產(chǎn)集群中服務(wù)器以及運(yùn)行任務(wù)的詳細(xì)情況。我們希望這波數(shù)據(jù)的發(fā)布可以拉近我們與學(xué)術(shù)研究、業(yè)界同行之間的距離。

在數(shù)據(jù)集中，你可以詳細(xì)了解到我們是如何通過混部把資源利用率提高到 45%；我們每天到底運(yùn)行了多少任務(wù)；以及業(yè)務(wù)的資源需求有什么特點(diǎn)。如何使用這份數(shù)據(jù)集，完全取決于你的需要。

這個數(shù)據(jù)可以做什么？

剛剛發(fā)布的 Alibaba Cluster Data V2018 包含 6 個文件，壓縮后大小近 50GB（壓縮前 270+GB），里面包含了 4000 臺服務(wù)器、相應(yīng)的在線應(yīng)用容器和離線計(jì)算任務(wù)長達(dá) 8 天的運(yùn)行情況。

通過這份數(shù)據(jù)，你可以：

• 了解當(dāng)代先進(jìn)數(shù)據(jù)中心的服務(wù)器以及任務(wù)運(yùn)行特點(diǎn)；

• 試驗(yàn)?zāi)愕恼{(diào)度、運(yùn)籌等各種任務(wù)管理和集群優(yōu)化方面的各種算法并撰寫論文；

• 利用這份數(shù)據(jù)學(xué)習(xí)如何進(jìn)行數(shù)據(jù)分析，揭示更多我們自己都未曾發(fā)現(xiàn)的規(guī)律。

上面這幾點(diǎn)，沒有接觸過類似數(shù)據(jù)的朋友，可能對于這份數(shù)據(jù)的用處并沒有直觀的印象，下面我舉幾個簡單的例子：

• 電商業(yè)務(wù)在白天和晚上面臨的壓力不同，我們?nèi)绾卧跇I(yè)務(wù)存在波峰波谷的情況下提高整體資源利用率？

• 你知道我們最長的 DAG 有多少依賴嗎？

• 一個典型的容器存在時間是多久？

• 一個計(jì)算型任務(wù)的典型存在時間是多少？一個 Task 的多個 Instance 理論上彼此很相似，但是它們運(yùn)行的時間都一樣嗎？

實(shí)際上，學(xué)者們甚至可以用這些數(shù)據(jù)作出更加精彩地分析。2017年，我們開放的第一波數(shù)據(jù)（Alibaba Cluster Data V2017），已經(jīng)產(chǎn)生了多篇優(yōu)秀的學(xué)術(shù)成果。

以下是學(xué)者們在論文中引用數(shù)據(jù)（Alibaba Cluster Data V2017）的例子，其中不乏被 OSDI 這樣頂級學(xué)術(shù)會議收錄的優(yōu)秀文章。我們期待，未來你也能與我們共同分享你用這份數(shù)據(jù)產(chǎn)生的成果！

"LegoOS: A Disseminated, Distributed OS for Hardware Resource Disaggregation, Yizhou Shan, Yutong Huang, Yilun Chen, and Yiying Zhang, Purdue University. OSDI'18"?(Best paper award!）

"Imbalance in the Cloud: an Analysis on Alibaba Cluster Trace, Chengzhi Lu et al. BIGDATA 2017"

"CharacterizingCo-located Datacenter Workloads: An Alibaba Case Study, Yue Cheng, Zheng Chai,Ali Anwar. APSys2018"

"The Elasticity and Plasticity in Semi-Containerized Co-locating Cloud Workload: aView from Alibaba Trace, Qixiao Liu and Zhibin Yu. SoCC2018"

Cluster Data V2018 更出色

DAG 信息加入：我們加入了離線任務(wù)的 DAG 任務(wù)信息，據(jù)了解，這是目前來自實(shí)際生產(chǎn)環(huán)境最大的 DAG 數(shù)據(jù)。

究竟什么是 DAG？離線計(jì)算任務(wù)，例如 Map Reduce、Hadoop、Spark、Flink 中常用的任務(wù)，都是以有向無環(huán)圖（Directed Acyclic Graph，DAG）的形式進(jìn)行編排的，其中涉及到任務(wù)之間的并行、依賴等方面。下面是一個 DAG 的例子。

規(guī)模更大：上一版數(shù)據(jù)包含了約 1300 臺機(jī)器在約 24 小時的內(nèi)容數(shù)據(jù)，而新版 Cluster Data V2018 中包括了 4000 臺機(jī)器 8 天的數(shù)據(jù)。

數(shù)據(jù)獲取方式：

https://github.com/alibaba/clusterdata/blob/v2018/cluster-trace-v2018/trace_2018.md

1.微信群：

添加小編微信：color_ld，備注“進(jìn)群+姓名+公司職位”即可，加入【云計(jì)算學(xué)習(xí)交流群】，和志同道合的朋友們共同打卡學(xué)習(xí)！

2.征稿：

投稿郵箱：liudan@csdn.net；微信號：color_ld。請備注投稿+姓名+公司職位。

推薦閱讀

• 程序員怒了！阿里 Antd 圣誕彩蛋害我被離職了！

• 云計(jì)算到底是怎么玩的？

• 面向?qū)ο缶幊?#xff0c;再見！

• AI女性界的“扛把子”，憑一己之力迫使NIPS改名

• 00后也會「玩」區(qū)塊鏈，你對「朝陽」行業(yè)焦慮啥 ？| 圣誕特輯
  

• 20k~65k, 2018年最后一波熱門技術(shù)崗位, 立刻投簡歷, 跳槽才是加薪的捷徑
  

• 可替代Android的6大開源移動操作系統(tǒng)

• 程序員求助：被領(lǐng)導(dǎo)強(qiáng)行要求寫B(tài)ug該怎么辦？網(wǎng)友的回答讓我笑翻
  

點(diǎn)擊“閱讀原文”，打開 CSDN App 閱讀更貼心！

喜歡就點(diǎn)擊“好看”吧！

總結(jié)

以上是生活随笔為你收集整理的资源 | Alibaba Cluster Data 开放下载：270 GB 数据揭秘你不知道的阿里巴巴数据中心...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。