浪潮信息与英特尔发布新一代AI服务器NF5698G7 支持8颗Gaudi2加速器
【網易科技7月14日報道】浪潮信息聯合英特爾發布面向生成式AI領域創新開發的新一代AI服務器NF5698G7。
記者獲悉,浪潮信息NF5698G7在6U空間支持8顆基于開放加速模組OAM高速互聯的Gaudi2 AI加速器,每顆Gaudi2芯片配置96GB HBM高速內存,共提供2.1Tbps的P2P互聯帶寬,支持全互聯拓撲,滿足大模型訓練張量并行的通信需求;搭載2顆第四代至強處理器,支持AMX/DSA等AI加速引擎。
Gaudi2是英特爾推出的深度學習加速器,以多方位性能與能效比提升,為業界提供了高性能、高性價比的AI算力選項,在MLPerf的GPT-3、ResNet-50、Unet3D、BERT等基準測試中,均取得了優異的性能表現。
與此同時,NF5698G7采用高擴展設計,支持12個PCIe5.0 X16的IO擴展,最大支持4800Gbps節點間互聯帶寬,滿足大模型流水線并行和數據并行的通信需求,可擴展至萬卡AI集群。NF5698G7通過精細化分區、智能散熱調控、12V & 54V N+N雙輸入供電等創新設計,實現高功率負載動態匹配和低電源功率損耗,系統功耗降低8%。
NF5698G7基于全球開放計算OCP開放加速器規范 OAM/UBB進行產品設計,支持PyTorch、TensorFlow等主流AI框架和Megatron/DeepSpeed等流行開發工具,為生成式AI提供成熟、高性價比的開放生態產品方案。
NF5698G7支持浪潮信息的AI算力資源平臺AIStation,通過對計算資源、數據資源、深度學習軟件棧資源進行統一管理,有效提升大模型算力平臺的使用效率,助力客戶加速AI大模型開發與部署。
總結
以上是生活随笔為你收集整理的浪潮信息与英特尔发布新一代AI服务器NF5698G7 支持8颗Gaudi2加速器的全部內容,希望文章能夠幫你解決所遇到的問題。
 
                            
                        - 上一篇: css中利用什么属性控制列表的样式
- 下一篇: 带着灵魂去旅行的骑者-重新认识自我
