中兴通讯“星云研发大模型”亮相:AI 编程助手、1000 亿 token
10 月 12 日消息,2023 年 10 月 11 日-13 日,在中國移動全球合作伙伴大會舉辦期間,中興通訊“星云研發大模型”亮相,旨在輔助開發人員進行需求分析、產品設計、編程、測試、版本部署等。
據介紹,“星云研發大模型”支持白名單機制有效控制使用范圍,以及代碼特征值識別有效識別敏感代碼片段、敏感詞識別機制可實時監測并攔截敏感內容,還有后臺審計機制可完整回溯安全事件等。
中興通訊表示,2023 年 4 月,“星云研發大模型”使用啟動,截至目前,日活人數達 1.2 萬人,代碼采納率達 40%~45%,編碼提效 30%,整體研發提效 10%。
從官方公告獲悉,中興通訊將領域數據、Know-How 知識積累、數十萬篇通信領域技術文檔和 1000 億 token 的無線 / 核心網 / 云代碼語料等注入大模型,進行增量預訓練,使用并行訓練框架。
中興通訊號稱:“自研部署方案使用動態 batch 策略、PagedAttention 技術,結合無損模型量化,吞吐量大幅提升,單 GPU(A800)達到 1500tokens / s,僅使用 4 張 GPU 卡(A800)可滿足超千人使用需求。對比業界常規的部署方案,單 GPU 吞吐量分別提升 10 + 倍和 20 + 倍;結合 int4 量化技術,在模型精度不下降情況下,模型大小和顯存使用量均下降一半。”
廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節省甄選時間,結果僅供參考,所有文章均包含本聲明。
總結
以上是生活随笔為你收集整理的中兴通讯“星云研发大模型”亮相:AI 编程助手、1000 亿 token的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 微博CEO曝光OPPO Find N3典
- 下一篇: 何小鹏:小鹏与大众联合开发的车型已在加速