旷视:深度学习框架开源
- 天元MegEngine
- 深度學習框架正式開源
?
Brain++ 新一代AI生產力平臺
曠視Brain++是由曠視研究院自主研發的新一代 AI 生產力平臺,致力于幫助企業和開發者提升AI生產效率、規范生產流程。Brain++的核心能力包括數據的處理、清洗和管理能力,算力的共享、調度和分布式能力,算法的訓練、推理及部署能力,目前,曠視正通過逐步開源核心框架、開放算力和數據平臺的形式,為企業客戶和廣大開發者提供規模化AI生產能力。
發展歷程
2014
曠視Brain++的核心深度學習框架天元(MegEngine)啟動研發。為滿足曠視日益增長的業務需求,MegData數據管理平臺啟動研發。
2015
MegCompute深度學習云計算平臺項目啟動,解決不斷增長的集群管理、算力調度等問題;MegEngine全量支持曠視內深度學習任務,多卡加速比較同期開源框架快10倍以上。
2016
曠視深度學習研發業務的服務器全量切換至MegCompute深度學習云計算平臺進行管理。
2019
包含MegEngine、MegData、MegCompute的Brain++三位一體概念正式提出,并獲得”世界互聯網先進成果”稱號。
2020
Brain++啟動開源、開放計劃,并正式開源自研深度學習框架天元MegEngine,同時開放數據和算力平臺,為客戶提供一站式 AI 生產全流程服務。
全流程AI生產力平臺
核心模塊
?天元MegEngine
天元MegEngine誕生于2014年并于2020年3月開源,是Brain++的最為核心組件,也是全新一代的工業級深度學習開源框架。天元可幫助開發者用戶借助友好的編程接口,進行大規模深度學習模型訓練和部署。架構上天元具體分為計算接口、圖表示、優化與編譯、運行時管理和計算內核五層,可極大簡化算法開發流程,實現了模型訓練速度和精度的無損遷移,支持動靜態的混合編程和模型導入,內置高性能計算機視覺算子,尤其適用于大模型算法訓練。
- 訓練推理一體
- 動靜合一
- 兼容并包
- 靈活高效
?MegData
曠視MegData是曠視研究院原創自研的人工智能數據管理平臺,全面覆蓋數據獲取、數據處理、數據標注、數據管理、數據安全五大維度。以數據生產為起點,支持不同業務場景和訓練方式對數據進行處理和標注。平臺提供對結構化數據的標注、特征處理、衍生、篩選等標準處理流程,同時對多種非結構化數據提供在線標注能力,通過標準化標注流程實現對標注數據、標注任務、標注人員、標注進度、標注質量和標注工具的統一管理,為AI模型訓練提供高質量訓練數據。同時,MegData設計了多重的數據安全功能,以保障數據的安全和隱私。
- 高效
- 專業
- 安全
- 穩定
?MegCompute
分布式深度學習平臺MegCompute是曠視自主研發的大規模人工智能算力平臺,提供E級算力資源調度、EB級海量數據存儲管理、400G RDMA高速骨干網絡。其中包含基礎設施、數據存儲、計算調度、上層服務等功能模塊。通過分布式集群管理最大化提高資源利用率,算法生產全流程服務化使訓練過程更加高效。
- 400G RDMA
- 異構資源池
- 靈活的任務調度
- 算法生成全流程
總結
以上是生活随笔為你收集整理的旷视:深度学习框架开源的全部內容,希望文章能夠幫你解決所遇到的問題。
 
                            
                        - 上一篇: 新风控如何避免错失“白户”?
- 下一篇: 阿里高级算法专家公开10大思考
