【網(wǎng)易科技11月7日?qǐng)?bào)道】目前從事大模型研發(fā)的公司和團(tuán)隊(duì)，普遍面臨“買不起、建不了、算不好”的困局。

浪潮信息董事長(zhǎng)彭震表示，為解決這一困境，應(yīng)大力發(fā)展普適普惠的智算中心，通過算力基建化使得智算力成為城市的公共基礎(chǔ)資源，供用戶按需使用，發(fā)揮公共基礎(chǔ)設(shè)施的普惠價(jià)值。

在彭震看來，算力系統(tǒng)構(gòu)建不是算力的簡(jiǎn)單堆積，而是一項(xiàng)復(fù)雜的系統(tǒng)工程，需要從多個(gè)方面進(jìn)行系統(tǒng)化的設(shè)計(jì)架構(gòu)。

一是要解決如何實(shí)現(xiàn)算力的高效率，二是要解決算力系統(tǒng)如何保持線性可擴(kuò)展， 三是解決算力系統(tǒng)長(zhǎng)效穩(wěn)定訓(xùn)練問題，比如硬件故障導(dǎo)致訓(xùn)練中斷、梯度爆炸等小規(guī)模訓(xùn)練不會(huì)遇到的問題。

系統(tǒng)建成后，大模型在訓(xùn)練過程中，由于開發(fā)鏈條冗長(zhǎng)，還面臨“算不好”的挑戰(zhàn)。大模型訓(xùn)練不僅依賴高質(zhì)量數(shù)據(jù)，同時(shí)也要解決算法收斂、斷點(diǎn)續(xù)訓(xùn)、參數(shù)優(yōu)化、模型微調(diào)等問題，數(shù)據(jù)質(zhì)量、代碼調(diào)優(yōu)、執(zhí)行效率等關(guān)乎訓(xùn)練質(zhì)量的因素至關(guān)重要。（江淼）

總結(jié)

以上是生活随笔為你收集整理的观点丨浪潮信息彭震：加速智算系统创新，切实解决大模型算力难题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。