华为的深度学习平台:ModelArts
ModelArts是面向AI開發者的一站式開發平臺,提供海量數據預處理及半自動化標注、大規模分布式訓練、自動化模型生成及端-邊-云模型按需部署能力,幫助用戶快速創建和部署模型,管理全周期AI工作流。
“一站式”是指AI開發的各個環節,包括數據處理、算法開發、模型訓練、部署都可以在ModelArts上完成。從技術上看,ModelArts底層支持各種異構計算資源,開發者可以根據需要靈活選擇使用,而不需要關心底層的技術。同時,ModelArts支持像Tensorflow、MXNet等主流開源的AI開發框架,也支持開發者使用自研的算法框架,匹配您的使用習慣。
ModelArts的理念就是讓AI開發變得更簡單、更方便。
面向不同經驗的AI開發者,提供便捷易用的使用流程。例如,面向業務開發者,不需關注模型或編碼,可使用自動學習流程快速構建AI應用;面向AI初學者,不需關注模型開發,使用預置算法構建AI應用;面向AI工程師,提供多種開發環境,多種操作流程和模式,方便開發者編碼擴展,快速構建模型及應用。
產品架構
ModelArts是一個一站式的開發平臺,能夠支撐開發者從數據到AI應用的全流程開發過程。包含數據處理、模型訓練、模型管理、部署等操作,并且提供AI市場功能,能夠在市場內與其他開發者分享模型、API和數據集。
ModelArts支持應用到圖像分類、圖像檢測、視頻分析、語音識別、產品推薦、異常檢測等多種AI應用場景。
圖1?ModelArts架構?
產品優勢
一站式
開“箱”即用,涵蓋AI開發全流程,包含數據處理、模型開發、訓練、管理、部署功能,可靈活使用其中一個到多個功能用于開發工作。
易上手
提供多種預置模型,開源模型想用就用。
模型超參自動優化,簡單快速。
零代碼開發,簡單操作訓練出自己的模型。
支持模型一鍵部署到云、邊、端。
高性能
自研MoXing深度學習框架,提升算法開發效率和訓練速度。
優化深度模型推理中GPU的利用率,加速云端在線推理。
可生成在Ascend芯片上運行的模型,實現高效端邊推理。
靈活
支持多種主流開源框架(TensorFlow,Spark_MLlib等)。
支持主流GPU和自研Ascend芯片。
支持專屬資源獨享使用。
支持自定義鏡像滿足自定義框架及算子需求。
繁多的AI工具安裝配置、數據準備、模型訓練慢等是困擾AI工程師的諸多難題。為解決這個難題,華為云將一站式的AI開發平臺(ModelArts)提供給開發者,從數據準備到算法開發、訓練模型,最后把模型部署起來,集成到生產環境。一站式完成所有任務。ModelArts的功能總覽如下圖所示。?
圖2?功能總覽
ModelArts特色功能如下所示:
數據治理
支持數據篩選、標注等數據處理,提供數據集版本管理,特別是深度學習的大數據集,讓訓練結果可重現。
極“快”致“簡”模型訓練
自研的MoXing深度學習框架,更高效更易用,大大提升訓練速度。
云邊端多場景部署
支持模型部署到多種生產環境,可部署為云端在線推理和批量推理,也可以直接部署到端和邊。
自動學習
支持多種自動學習能力,通過“自動學習”訓練模型,用戶不需編寫代碼即可完成自動建模、一鍵部署。
可視化工作流
使用GES(圖引擎服務)統一管理開發流程元數據,自動實現工作流和版本演進關系可視化,進而實現模型溯源。
AI市場
預置常用算法和常用數據集,支持模型在企業內部共享或者公開共享。
機器學習初學者
黃海廣博士創建的公眾號,黃海廣博士個人知乎粉絲22000+,github排名全球前120名(31000+)。本公眾號致力于人工智能方向的科普性文章,為初學者提供學習路線和基礎資料。原創作品有:吳恩達機器學習個人筆記、吳恩達深度學習筆記等。
往期精彩回顧
那些年做的學術公益-你不是一個人在戰斗
良心推薦:機器學習入門資料匯總及學習建議
吳恩達機器學習課程筆記及資源(github標星12000+,提供百度云鏡像)
吳恩達深度學習筆記及視頻等資源(github標星8500+,提供百度云鏡像)
《統計學習方法》的python代碼實現(github標星7200+)
精心整理和翻譯的機器學習的相關數學資料
首發:深度學習入門寶典-《python深度學習》原文代碼中文注釋版及電子書
圖解word2vec(原文翻譯)
備注:加入本站微信群或者qq群,請回復“加群”
加入知識星球(4200+用戶,ID:92416895),請回復“知識星球”
總結
以上是生活随笔為你收集整理的华为的深度学习平台:ModelArts的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 带你少走弯路:强烈推荐的Pytorch快
- 下一篇: 读研,竞赛,与实习--公子龙的成长经历