已部署数十台!谷歌称自家AI超算系统优于英伟达
聚財(cái)聯(lián)社報(bào)道,當(dāng)?shù)貢r(shí)間周二(4月4日),谷歌公布了其用于訓(xùn)練人工智能(AI)模型的超級(jí)計(jì)算機(jī)的最新細(xì)節(jié)。該公司稱,這些系統(tǒng)比英偉達(dá)公司的同期系統(tǒng)更快、更節(jié)能。
谷歌
據(jù)了解,谷歌張量處理器(tensor processing unit,簡稱TPU芯片)是該公司為機(jī)器學(xué)習(xí)定制的專用芯片(ASIC),第一代發(fā)布于2016年,為當(dāng)時(shí)大熱的AlphaGo提供算力。與GPU相比,TPU采用低精度計(jì)算,在幾乎不影響深度學(xué)習(xí)處理效果的前提下大幅降低了功耗、加快運(yùn)算速度。同時(shí),TPU使用了脈動(dòng)陣列等設(shè)計(jì)來優(yōu)化矩陣乘法與卷積運(yùn)算。
谷歌第四代TPU芯片
谷歌表示,目前公司90%以上的AI訓(xùn)練工作都是通過谷歌自主研制的TPU芯片完成的。其AI訓(xùn)練的過程是:通過給模型輸入數(shù)據(jù),使其能夠用類似人類的文本回應(yīng)、并具備生成圖像等功能。當(dāng)前谷歌使用的是最新的第四代TPU芯片,谷歌公司周二發(fā)布的一篇論文詳細(xì)闡述了該公司是如何利用自己定制的光開關(guān),將4000多個(gè)芯片組合到一臺(tái)超級(jí)計(jì)算機(jī)中,從而幫助連接一臺(tái)臺(tái)獨(dú)立機(jī)器。谷歌表示,其已經(jīng)部署了數(shù)十臺(tái)采用第四代TPU打造的超級(jí)計(jì)算機(jī),供內(nèi)部使用和外部通過谷歌云使用。
相關(guān)論文
谷歌在論文中表示,對(duì)于同等大小的系統(tǒng),其芯片比基于英偉達(dá)A100芯片的系統(tǒng)快1.7倍,能效高1.9倍。英偉達(dá)A100芯片與第四代TPU同時(shí)上市,并被用于GPT-4的訓(xùn)練。不過英偉達(dá)目前的旗艦是H100芯片,谷歌并為與之進(jìn)行對(duì)比,因?yàn)镠100在谷歌芯片之后上市,并且采用了更先進(jìn)的制程。
總結(jié)
以上是生活随笔為你收集整理的已部署数十台!谷歌称自家AI超算系统优于英伟达的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 魅族折叠屏最新爆料:配超大底主摄 有望年
- 下一篇: mysql怎么创建文字表_myMySQL