感悟:微博深度学习平台架构和实践
TensorFlow、Caffe和MXNet是三大主流的深度學習開源框架:TensorFlow的優(yōu)勢是社區(qū)最活躍,開源算法和模型最豐富;Caffe則是經(jīng)典的圖形領(lǐng)域框架,使用簡單,在科研領(lǐng)域占有重要地位;MXNet在分布式性能上表現(xiàn)優(yōu)異。PaddlePaddle、鯤鵬、Angel則是百度、阿里、騰訊分別推出的分布式計算框架。
?
騰訊深度學習平臺DI-X
?
騰訊深度學習平臺DI-X于2017年3月發(fā)布。DI-X基于騰訊云的大數(shù)據(jù)存儲與處理能力來提供一站式的機器學習和深度學習服務(wù)。DI-X支持TensorFlow、Caffe以及Torch等三大深度學習框架,主要基于騰訊云的GPU計算平臺。DI-X的設(shè)計理念是打造一個一站式的機器學習平臺,集開發(fā)、調(diào)試、訓練、預(yù)測、部署于一體, 讓算法科學家和數(shù)據(jù)科學家,無須關(guān)注機器學習(尤其是深度學習)的底層工程繁瑣的細節(jié)和資源,專注于模型和算法調(diào)優(yōu)。
?
DI-X在騰訊內(nèi)部使用了一年,其主要用于游戲流失率預(yù)測、用戶標簽傳播以及廣告點擊行為預(yù)測等。
?
阿里機器學習平臺PAI
?
阿里機器學習平臺PAI1.0于2015年發(fā)布,包括數(shù)據(jù)處理以及基礎(chǔ)的回歸、分類、聚類算法。阿里機器學習平臺PAI2.0于2017年3月發(fā)布,配備了更豐富的算法庫、更大規(guī)模的數(shù)據(jù)訓練和全面兼容開源的平臺化產(chǎn)品。深度學習是阿里機器學習平臺PAI2.0的重要功能,支持TensorFlow、Caffe、MXNet框架,這些框架與開源接口兼容。在數(shù)據(jù)源方面,PAI2.0支持非結(jié)構(gòu)化、結(jié)構(gòu)化等各種數(shù)據(jù)源;在計算資源方面,支持CPU、GPU、FPGA等異構(gòu)計算資源;在工作流方面,支持模型訓練和預(yù)測一體化。?
?
PAI已經(jīng)在阿里巴巴內(nèi)部使用了2年。基于該平臺,在淘寶搜索中,搜索結(jié)果會基于商品和用戶的特征進行排序。
?
百度深度學習平臺
?
百度深度學習平臺是一個面向海量數(shù)據(jù)的深度學習平臺,基于PaddlePaddle和TensorFlow開源計算框架,支持GPU運算,為深度學習技術(shù)的研發(fā)和應(yīng)用提供可靠性高、擴展靈活的云端托管服務(wù)。通過百度深度學習平臺,不僅可以輕松訓練神經(jīng)網(wǎng)絡(luò),實現(xiàn)情感分析、機器翻譯、圖像識別,也可以利用百度云的存儲和虛擬化產(chǎn)品直接將模型部署至應(yīng)用環(huán)境。
微博深度學習平臺是微博機器學習平臺的重要組成部分,除繼承微博機器學習平臺的特性和功能以外,支持TensorFlow、Caffe等多種主流深度學習框架,支持GPU等高性能計算集群。微博深度學習平臺架構(gòu)如圖1所示。(引用)
?
轉(zhuǎn)載于:https://www.cnblogs.com/xiaohaigege666/p/10519614.html
總結(jié)
以上是生活随笔為你收集整理的感悟:微博深度学习平台架构和实践的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: SpringBoot三招组合拳,手把手教
- 下一篇: Spring Cloud Alibaba