浦语书生大模型实战训练营01笔记
生活随笔
收集整理的這篇文章主要介紹了
浦语书生大模型实战训练营01笔记
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
大模型總的發展趨勢:單一模型處理單一任務到一個模型解決多個任務
書生.浦語大模型開源歷程:internLM大模型發布-》全面商業、開源支持8k語境全鏈路開源體系》多模態預訓練語料庫開源發布-》1.1版本迭代升級,開源智能體框架支持語言模型到智能體升級轉換-》增強版發布開源工具全線升級
書生.浦語大模型種類:1.輕量級(70億參數,10000億數據,8k長對話能力,多個調用模板支持)2.中量級(200億參數降低耗時出結果速度變快,語料長度變成16k)3.重量級(1230億模型參數支持,支持高精度api調用實現各類action的智能體),性能夠強
應用上的一些特點:自動根據業務場景進行判斷選擇模型,減少算力需求
開源鏈路體系:1.2T多種類數據集
? 2.預訓練-參數微調
? 3.支持低成本微調
? 4.支持部署性能高
? 5.性能復現語料庫豐富
? 6.支持多種智能體ACTION應用
微調:1.增量訓練微調2.有監督微調,支持多種生態和算法適配多種硬件
總結
以上是生活随笔為你收集整理的浦语书生大模型实战训练营01笔记的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 2024年,在风云际会的编程世界里,窥探
- 下一篇: 基于“小数据”的机器学习