华为云ModelArts
??最近在學習ModelArts相關的技術,也通過了一些相關的微認證。這篇文章主要介紹一下ModelArts。圍繞下面這幾個問題:
??1.ModelArts是什么?
??2.ModelArts的架構
??3.ModelArts借助的一些底層服務
??4.ModelArts相關技術
1.ModelArts是什么?
??其實ModelArts是華為搞的一站式AI開發平臺(一站式指提供AI開發的所有環節,包括數據處理、模型訓練、模型評估、模型部署),能夠支持異構計算資源(分布式),提供個性化的需求。ModelArts面向對象包括AI小白(AI基礎知識為0,但希望利用AI完成應用需求)、AI工程師(做AI相關的開發)。
??ModelArts的優勢有如下幾點:
??1)一站式開發更便捷,提供模板模型,可以讓用戶專注于上層應用。從而把AI當作一種技術手段。
??2)底層支持各種異構計算資源,可以靈活選擇,可以利用華為云的分布式計算優勢快速訓練模型
??3)ModelArts支持主流的AI開發框架:tensorflow,caffe,pytorch等,也有華為自主研發的輕量級框架MoXing。同樣也支持開發者的自研算法框架
??ModelArts的面向對象(為不同層次、不同需求的對象都可以提供相應的幫助):
??1)對業務開發者,屏蔽模型和編碼,只是快速構建AI應用
??2)對AI小白,不關注模型開發,利用預置算法,預置模型構建AI應用
??3)對AI工程師,提供多種開發環境、操作流程,快速構建模型及應用
2.ModelArts的結構
??ModelArts的架構可以分成如下五個部分:
??1)AI數據框架:指對AI訓練數據的相關處理,例如預處理中的篩選和自動標注(較傳統人工標注大大提高效率),同時數據也有指定的位置進行存儲。數據類型包括:原始數據、標注數據、血緣數據
??2)算法開發:集成便捷的主流框架(也有華為自研的高效框架Moxing),同時預置模型算法可以幫助提升開發效率
??3)訓練:分布式集群加速,按需配置,大大縮短訓練時長
??4)部署:一鍵部署端邊云,屏蔽異構影響
??5)市場:對內,企業共享AI模型。對外,社區(AI Gallery)建立完整生態
??ModelArts整個過程是完全可視化的,可以大大提高開發效率。
3.ModelArts借助的一些底層技術
??技術當然有很多(云硬盤服務EVS,彈性云服務ECS等等等),在此主要介紹兩種:統一身份認證(IAM)和面向對象存儲服務(OBS)
??統一身份認證(IAM)
??ModelArts使用IAM來實現認證功能,關于IAM更多具體的信息可到華為云官網去找。ModelArts參考:華為云官網IAM。在此我想說關于ModelArts全局配置中的訪問授權,過去支持兩種:使用委托(建立委托用戶)和使用訪問密鑰(配置AK和SK),但目前經實踐只支持前者了(看來ModelArts也是在不斷變的,在不斷迭代一些東西)。
??面對對象存儲服務(OBS)
??OBS是華為自研的存儲庫,可以簡單理解成一個數據庫吧。在AI開發各個階段的一些數據(模型、數據等等)都可以存儲在OBS之中(當然是計費的啦~)。OBS以桶為頂層數據結構,桶(頂層數據結構)內包含多個對象,對象(基本數據結構)包括元數據、數據、鍵值。
??OBS提供的存儲類型有三種:標準存儲、低頻訪問存儲、歸檔存儲。從左到右訪問頻次依次下降,同樣成本也依次下降。
??OBS提供的訪問方式有四種:管理控制臺、OBS Browser(已逐步棄用),OBS Browser+,obsutil。各自具體功能可參考下面這篇博客:https://www.cnblogs.com/kylingx/p/12718537.html
4.ModelArts提供的功能
??ModelArts提供的功能當然很多啦,這個可以在它的官網功能總覽處看到。這里只想說一下自動學習,自動學習的實現是基于ModelArts的(這是我新發現的概念,簡直有點兒顛覆以前的認知~)
??自動學習,從名字看自動學習就是自己學習(我曾經在6G相關的內容中看到過,當時還認為不可思議)。使用者只需要提供數據,并為數據進行部分預處理(打標簽等)。借助自動學習就可以根據標注數據自動設計模型,自動調參,自動訓練,自動壓縮和部署模型。華為云自動學習的應用場景包括如下幾個:(1)圖像分類 (2)物體檢測(是否包含指定物體) (3)預測分析 (4)聲音分類
所以自動學習面對的就有應用需求的AI小白,可以利用自動學習,快速的進行模型部署。
??本次首次接觸到ModelArts感觸還是挺深的,我覺得想入手深度學習的人都可以先用這個找找感覺,培養培養興趣。實際操作一個應用,看看到底效果如何。有了ModelArts就不用再為配環境而發愁,也不受自身計算資源的限制(有的筆記本是AMD的顯卡,沒法裝CUDA也就沒法GPU加速)。
??本文介紹的ModelArts只是冰山一角,更多詳細的內容可以去觀看華為云文檔:華為云官網ModelArts
因作者水平有限,如有錯誤之處,請在下方評論指正,謝謝!
總結
以上是生活随笔為你收集整理的华为云ModelArts的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: C/C++面试题—矩阵中的路径【回溯法应
- 下一篇: 二十一、补码 (计算机最小的单位为位)