11 月 9 日消息，英偉達(dá)今天發(fā)布新聞稿，表示旗下的 H100 GPU 在 MLPerf 基準(zhǔn)測試中創(chuàng)造了 6 項(xiàng)新記錄。

今年 6 月報(bào)道，3584 個(gè) H100 GPU 群在短短 11 分鐘內(nèi)完成了基于 GPT-3 的大規(guī)模基準(zhǔn)測試。

MLPerf LLM 基準(zhǔn)測試是基于 OpenAI 的 GPT-3 模型進(jìn)行的，包含 1750 億個(gè)參數(shù)。

Lambda Labs 估計(jì)，訓(xùn)練這樣一個(gè)大模型需要大約 3.14E23 FLOPS 的計(jì)算量。

英偉達(dá)最新的 Eos AI 超級(jí)計(jì)算機(jī)配備了 10752 個(gè) H100 Tensor Core GPU 和 NVIDIA 的 Quantum-2 InfiniBand 網(wǎng)絡(luò)，訓(xùn)練完 GPT-3 僅僅只需要 3.9 分鐘，比 6 月的測試結(jié)果整整快了 7 分鐘。

英偉達(dá)在帖中，的另一項(xiàng)創(chuàng)紀(jì)錄的成就是在“系統(tǒng)擴(kuò)展”方面取得的進(jìn)步，通過各種軟件優(yōu)化，效率提高到了 93%。

高效擴(kuò)展在行業(yè)中非常重要，因?yàn)閷?shí)現(xiàn)高計(jì)算能力需要使用更多的硬件資源，如果沒有足夠的軟件支持，系統(tǒng)的效率會(huì)受到大幅影響。

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，所有文章均包含本聲明。

總結(jié)

以上是生活随笔為你收集整理的3.9 分钟训完 GPT-3，英伟达 H100 再次刷新 MLPerf 六项纪录的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。