出品｜網(wǎng)易科技《智見焦點(diǎn)》欄目

作者｜趙芙瑤

“AI軍火商”又有大動(dòng)作了！在算力緊缺、H100被瘋搶、熱炒之時(shí)，北京時(shí)間11月13日晚間，英偉達(dá)帶著NVIDIA H200 Tensor Core GPU（圖形處理器）再次燃爆AI界！

英偉達(dá)此次最新推出的 H200 GPU，是其前代產(chǎn)品 H100的升級(jí)版。這款GPU基于強(qiáng)大的 NVIDIA Hopper 超級(jí)芯片架構(gòu)，專為處理超大規(guī)模的大型模型訓(xùn)練和推理而設(shè)計(jì)，非常適合生成式人工智能和高性能計(jì)算（HPC）任務(wù)。

此次H200的性能都有哪些飛躍？無論是部署在本地、云環(huán)境、混合云還是邊緣計(jì)算環(huán)境中，H200都能輕松應(yīng)對(duì)嗎？答案是確定的。

性能、內(nèi)存實(shí)現(xiàn)飛躍 成倍提升LLM推理能力

性能提升：H200在執(zhí)行Llama2 70B推理任務(wù)時(shí)比H100快了1.9倍，在執(zhí)行GPT-3 175B推理任務(wù)時(shí)快了1.6倍。對(duì)于高性能計(jì)算（HPC）任務(wù)，H200顯示出比傳統(tǒng)的雙x86 CPU快110倍的性能。更令人震撼的是，與傳統(tǒng)的中央處理器（CPU）相比，H200在高性能計(jì)算方面的速度提升了驚人的110倍。

內(nèi)存優(yōu)勢(shì)：H200是第一個(gè)提供141GB HBM3e內(nèi)存的GPU，內(nèi)存帶寬高達(dá)每秒4.8TB，這幾乎是H100的兩倍。這種大幅增加的內(nèi)存和帶寬對(duì)于需要處理大量數(shù)據(jù)的應(yīng)用，如大規(guī)模模型的訓(xùn)練和推理，以及科學(xué)計(jì)算非常重要。

在AI大模型時(shí)代，企業(yè)依賴LLM（大語(yǔ)言模型）來處理多樣化的推理需求。一個(gè)AI推理加速器必須提供最高的吞吐量，以便在為龐大用戶基礎(chǔ)規(guī)模部署時(shí)具有最低的總體擁有成本(TCO)。數(shù)據(jù)顯示，H200在處理像Llama2這樣的LLM時(shí)，與H100 GPU相比，推理速度提高了2倍。

具體而言，Llama2 13B模型在H100 GPU上的性能是1倍，在H200上是1.4倍；GPT-3 175B模型在H100和H200上性能都是1倍；Llama2 70B模型在H100上的性能是1倍，在H200上是1.9倍。

HPC性能：在HPC（高性能計(jì)算）應(yīng)用中，H200與H100和A100相比表現(xiàn)出高達(dá)2倍的性能提升。這表明H200在需要大量?jī)?nèi)存和高帶寬的應(yīng)用中尤其有優(yōu)勢(shì)，如物理模擬、氣候研究或復(fù)雜的數(shù)據(jù)分析。

能源和總擁有成本（TCO）：H200顯著降低了LLM推理工作負(fù)載的能源使用和TCO，據(jù)英偉達(dá)稱，能夠減少50%。在保持與H100相同功耗配置的情況下，H200提供了更好的性能，這表明其在能源效率上有所改進(jìn)，對(duì)于需要在數(shù)據(jù)中心規(guī)模部署的企業(yè)而言，這是一個(gè)重要的經(jīng)濟(jì)考量因素，也就是說，企業(yè)“買的越多，省的越多”。

代際變革：NVIDIA GPU在GPT-3 175B推理性能上也呈現(xiàn)不斷增長(zhǎng)地趨勢(shì)。從A100到預(yù)計(jì)在2024年發(fā)布的B100，性能的增長(zhǎng)實(shí)現(xiàn)了從1倍到預(yù)計(jì)的18倍。相比于A100，H200的性能提高了11倍。也就是說，NVIDIA的Hopper架構(gòu)實(shí)現(xiàn)了在其前代產(chǎn)品基礎(chǔ)上的顯著性能躍升，并且通過不斷的軟件增強(qiáng)和開源庫(kù)的發(fā)布（如TensorRT-LMLM）持續(xù)推動(dòng)性能的提升，為大語(yǔ)言模型的推理能力提供能量。

GPU賦能企業(yè)AI軟件:NVIDIA此次強(qiáng)調(diào)了H200 GPU與其AI企業(yè)軟件的結(jié)合，希望簡(jiǎn)化企業(yè)創(chuàng)建AI平臺(tái)的過程，加快生成式AI的開發(fā)和部署。無論是3D模型、圖表還是圖像，H200在多個(gè)AI應(yīng)用領(lǐng)域中都具有應(yīng)用潛力，包括計(jì)算機(jī)視覺、語(yǔ)音AI等。

GH200加持AI超級(jí)計(jì)算機(jī)：可用于氣候、醫(yī)藥和量子研究等

值得一提的是，GH200的發(fā)布還將為AI超算中心提供算力支持。新一代超級(jí)計(jì)算機(jī)JUPITER將由NVIDIA Grace Hopper™加速計(jì)算架構(gòu)提供動(dòng)力，為AI和模擬工作負(fù)載提供極端規(guī)模的計(jì)算能力。

JUPITER設(shè)在德國(guó)Jülich研究中心，由EuroHPC聯(lián)合企業(yè)擁有，由Eviden和ParTec承包。JUPITER是與NVIDIA、ParTec、Eviden和SiPearl合作建造的，旨在加速氣候和天氣研究、材料科學(xué)、藥物發(fā)現(xiàn)、工業(yè)工程和量子計(jì)算等領(lǐng)域基礎(chǔ)AI模型的創(chuàng)建。

JUPITER標(biāo)志著四節(jié)點(diǎn)NVIDIA GH200 Grace Hopper Superchip配置的首次亮相，基于Eviden的BullSequana XH3000液冷架構(gòu)，并配備一個(gè)由近24,000個(gè)NVIDIA GH200 Superchip組成的增強(qiáng)模塊，這些Superchip通過NVIDIA Quantum-2 InfiniBand網(wǎng)絡(luò)平臺(tái)相互連接。

JUPITER能夠?yàn)锳I訓(xùn)練提供超過90 exaflops的性能，比Jülich之前的JUWELS Booster系統(tǒng)多出45倍。其還能提供1 exaflop的高性能計(jì)算（HPC）應(yīng)用性能，同時(shí)僅消耗18.2兆瓦的電力。

四節(jié)點(diǎn)GH200具有創(chuàng)新的節(jié)點(diǎn)架構(gòu)，配備288個(gè)Arm Neoverse核心，能夠使用高達(dá)2.3太字節(jié)的高速內(nèi)存實(shí)現(xiàn)16 petaflops的AI性能。四個(gè)GH200處理器通過高速NVIDIA NVLink?連接網(wǎng)絡(luò)。

結(jié)語(yǔ)

前一陣子GPTs以及GPT turbo的更新令人振奮，尤其是圖片解析功能更是讓諸多創(chuàng)業(yè)公司叫苦不迭，此次英偉達(dá)攜GH200震撼登場(chǎng)，配備了7個(gè)NVDEC（硬件解碼器）和7個(gè)JPEG解碼器來用于處理視頻和圖像數(shù)據(jù)，這無疑意味著其視頻分析和圖像處理應(yīng)用將爆炸式提升。相信全球都將無比期待明年公布的英偉達(dá)B100 AI 芯片以及GH200的上市了。

總結(jié)

以上是生活随笔為你收集整理的智见焦点｜英伟达携H200再次席卷AI界 一文看懂AI“军火商”的大动作的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。