10 月 13 日消息，據 Y Combinator 論壇消息，名為 Georgi Gerganov 開發者日前使用蘋果 M2 Ultra 芯片，進行了一系列 LLaMA 模型推理測試，測試顯示該芯片在并行運行 128 個 Llama 2 7B 流時，效果較佳。

據悉，LLaMA 模型推理測試強調內存帶寬，而非計算能力，而蘋果的 M2 Ultra 芯片號稱“內存帶寬達800GB/s”，因此推理時效果良好。

不過雖然 M2 Ultra 芯片的內存帶寬具有優勢，但用戶最多只能獲得 192 GB RAM，用戶花費 5600 美元（注：國行 44999 人民幣）購買搭載 M2 Ultra 芯片及 192GB 運行內存的 Mac Studio，價格足夠買一臺“擁有 1TB RAM、搭載 RTX 4090 的 PC”。

Georgi Gerganov 據此認為，如果用戶的工作負載（如推理）不需要超過 192 GB，那么選擇相關機器時可以更重視“內存帶寬”表現，但如果用戶有其他工作需求，則可以看看相對應價格的 PC。

參考

• M2 Ultra can run 128 streams of Llama 2 7B in parallel

• 開發者在 GitHub 上提交的測試結果

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

總結

以上是生活随笔為你收集整理的可并行运行 128 个 LLaMA 2 7B 流，开发者测试苹果 M2 Ultra 芯片模型推理表现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。