英伟达发文介绍“黄氏定律”:GPU 推理性能十年提升 1000 倍,无惧摩尔定律影响
10 月 1 日消息,正當人們爭論摩爾定律在 2020 年代是否會放緩、是否仍然適用、甚至已死的時候,英偉達發文宣布了“黃氏定律(Huang's Law)”。
據英偉達一篇最新博客稱,在過去十年中,英偉達 GPU 人工智能處理能力增長了 1000 倍?!包S氏定律”意味著在“單芯片推理性能”中看到的加速不會逐漸消失,而是會繼續出現。
文中表示,英偉達首席科學家 Bill Dally 所描述的“后摩爾定律時代計算機性能如何實現的結構性轉變”主要基于人類的聰明才智。這一特征似乎難以建立一條定律,但 Dally認為,下面的圖表標志著“黃氏定律”的開始。
查詢發現,“黃氏定律”并非英偉達自己的首創說法。IEEE Spectrum 第一個提出以黃仁勛命名定律,“黃氏定律”后來因《華爾街日報》的一篇專欄而廣為人知。
根據 Dally 最近在 Hot Chips 2023 會議上的演講,上圖顯示過去十年 GPU AI 推理性能增長了 1000 倍。Dally表示,有趣的是,與摩爾定律不同,工藝縮小對黃氏定律的進展幾乎沒有影響。
Dally 回憶起如何通過改變英偉達 GPU 底層數字處理來實現 16 倍的增長。使用 Transformer 引擎的 Nvidia Hopper 架構的到來帶來了另一個巨大的推動。據稱,Hopper 使用 8 位和 16 位浮點與整數數學的動態組合,實現了 12.5 倍的性能飛躍,并且節省了能源。
Dally 還稱,盡管摩爾定律的收益不斷減少,但他相信“黃氏定律”仍將繼續存在。
廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節省甄選時間,結果僅供參考,所有文章均包含本聲明。
總結
以上是生活随笔為你收集整理的英伟达发文介绍“黄氏定律”:GPU 推理性能十年提升 1000 倍,无惧摩尔定律影响的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 理想汽车9月交付36060辆 创单月交付
- 下一篇: 多边形背景怎么做的(多边形背景怎么做的图