Azure机器学习——创建Azure机器学习服务
創(chuàng)建Azure機器學(xué)習(xí)服務(wù)
- 一、Azure訂閱
- 二、創(chuàng)建Azure機器學(xué)習(xí)服務(wù)(工作區(qū))
- 在Azure portal界面創(chuàng)建Azure機器學(xué)習(xí)工作區(qū)
- 使用Python SDK創(chuàng)建Azure機器學(xué)習(xí)工作區(qū)
- 三、Azure機器學(xué)習(xí)服務(wù)界面介紹
- portal界面
- 概述
- 訪問控制(標(biāo)識和訪問管理)
- 標(biāo)記
- 計算
- 鎖
- studio界面
- 筆記本
- 自動化 ML
- 設(shè)計器
- 數(shù)據(jù)集
- 試驗
- 管道
- 模型
- 終結(jié)點
- 計算
- 數(shù)據(jù)存儲
- 四、總結(jié)
本節(jié)主要介紹如何在Azure上創(chuàng)建一個機器學(xué)習(xí)服務(wù)以及介紹了Azure機器學(xué)習(xí)界面(portal和studio)上的相關(guān)欄目。
一、Azure訂閱
要創(chuàng)建Azure服務(wù),需要訂閱Azure(訂閱表示購買Azure套餐)。如果已有Azure訂閱,請?zhí)^此步。
世紀(jì)互聯(lián)為新用戶提供了一次初步體驗 Azure 的機會:1 元試用訂閱。僅需支付 1 元人民幣,就可以獲得有效期一個月、1500 元的 Azure 使用額度。
申請鏈接:注冊 1 元試用訂閱鏈接。
1 元試用訂閱使用限制:1元試用訂閱僅限于開發(fā)和測試使用,開通前請仔細閱讀1 元試用訂閱詳情和使用限制。
如果在1元試用訂閱有效期內(nèi)及訂閱暫停期間想將 1 元試用訂閱升級到標(biāo)準(zhǔn)預(yù)付費訂閱,請參照此鏈接。
完成Azure訂閱后,登陸訂閱Azure個人賬戶網(wǎng)站,就可以看到個人賬戶下的訂閱信息。
圖1 注冊 1 元試用訂閱
注意1 元試用訂閱的限制
對于使用Azure機器學(xué)習(xí),需要注意的是,1 元試用訂閱除了上述30天的限制外,還存在以下限制:
- 能夠創(chuàng)建的計算資源數(shù)量限制:最高上限為 4 個并發(fā)標(biāo)準(zhǔn)小型 ( A1 ) 計算實例,或同等數(shù)量的其他類型或大小的計算實例。(使用不了有GPU規(guī)格的虛擬機)
- 充值和有限期限制:標(biāo)準(zhǔn)預(yù)付費產(chǎn)品最低充值金額為人民幣 1,000 元,使用額度有效期為 12 個月。 12 個月后就算額度沒有用完,額度也將作廢。
個人覺得1 元試用訂閱的限制蠻多的,標(biāo)準(zhǔn)預(yù)付費產(chǎn)品的預(yù)付款模式也不怎么經(jīng)濟。如果不想使用中國區(qū)的Azure機器學(xué)習(xí)服務(wù),那么可以開通Global的Azure機器學(xué)習(xí)服務(wù):立即創(chuàng)建 Azure 免費帳戶。
Global的Azure機器學(xué)習(xí)是30天200美元的免費額度。免費30天之后,可以升級成即用即付賬戶。Global的Azure機器學(xué)習(xí)的劣勢是所有資源都在大陸外,雖然不需要VPN,但是訪問和加載速度會慢一些。
二、創(chuàng)建Azure機器學(xué)習(xí)服務(wù)(工作區(qū))
Azure機器學(xué)習(xí)工作區(qū)是Azure的基礎(chǔ)資源,用于試驗、訓(xùn)練和部署機器學(xué)習(xí)模型。你在云上創(chuàng)建了一個Azure機器學(xué)習(xí)服務(wù),相當(dāng)于創(chuàng)建了一個Azure機器學(xué)習(xí)工作區(qū)。
在Azure portal界面創(chuàng)建Azure機器學(xué)習(xí)工作區(qū)
點擊圖1右上角所示的門戶,跳轉(zhuǎn)到Azure portal界面,如下圖所示。
圖2 Azure portal界面
portal中間顯示了最新創(chuàng)建和使用過的資源和資源組。更多關(guān)于portal的信息請查閱官方文檔。
點擊圖2中左上角的“創(chuàng)建資源+”,進入新建資源頁面。
圖3 新建資源
在圖3左上角的搜索市場中,輸入“機器學(xué)習(xí)”,在搜索結(jié)果中點擊“機器學(xué)習(xí)”。
圖4 機器學(xué)習(xí)服務(wù)
點擊創(chuàng)建,進入創(chuàng)建頁面:
圖5 機器學(xué)習(xí)創(chuàng)建頁面
主要:在上圖主要項下面:
- 工作區(qū)名稱:你新建的工作區(qū)的名稱。
- 訂閱:目前只有“1元版試用套餐”。
- 資源組:一個保存 Azure 解決方案相關(guān)資源的容器。如果想將資源放在一個新的組中,可以點擊“新建”。
Azure中層級目錄由高到低:賬戶——>訂閱——>用戶——>資源組——>資源。 - 位置:目前Azure 機器學(xué)習(xí)只在“中國東部2”可用。建議將同一個解決方案中的所有資源放在同一個位置,這樣可以減少解決方案中不同資源間網(wǎng)絡(luò)傳輸帶來的開銷。
關(guān)于Azure 全球基礎(chǔ)結(jié)構(gòu),請查看此鏈接。若要查詢某個資源是否在某個區(qū)域可用,可以使用此鏈接。 - 工作區(qū)版本:目前有基本版和企業(yè)版2個選擇。兩者的差別源于Azure機器學(xué)習(xí)的定價。
Azure機器學(xué)習(xí)的收費包括:虛擬機的收費和機器學(xué)習(xí)附加費。基本版對用于訓(xùn)練和推理的 Azure 資源免收機器學(xué)習(xí)附加費。在企業(yè)版正式發(fā)布后,將(針對訓(xùn)練和推理)收取定價如下所示的機器學(xué)習(xí)附加費。
基本版現(xiàn)已正式發(fā)布 (GA)。企業(yè)版現(xiàn)為預(yù)覽版,在此期間不收取機器學(xué)習(xí)附加費。由于企業(yè)版的很多功能基本版都不支持,并且企業(yè)版目前(2020/3/18)未收取機器學(xué)習(xí)附加費,因此建議選擇企業(yè)版。
標(biāo)記:輸入鍵-值對來給新創(chuàng)建的資源做標(biāo)記,比如創(chuàng)建者、所有者、資源用途等等。若要在資源組中顯示,點擊資源組中“編輯列”按鈕,可以在創(chuàng)建時或者創(chuàng)建后添加。
圖6 資源組中資源的標(biāo)記信息
審閱:審查前面步驟所填寫信息是否有誤,如無誤點擊下方“創(chuàng)建”按鈕。
稍等片刻后資源部署成功,點擊下方“轉(zhuǎn)到資源”按鈕或者在portal主頁中點擊新創(chuàng)建的機器學(xué)習(xí)工作區(qū),都可以進入剛剛創(chuàng)建的機器學(xué)習(xí)服務(wù)。
使用Python SDK創(chuàng)建Azure機器學(xué)習(xí)工作區(qū)
或者你可以直接通過Python SDK來創(chuàng)建一個Azure機器學(xué)習(xí)工作區(qū)。
SDK工作區(qū)命名空間:azureml.core.workspace.Workspace
使用以下代碼導(dǎo)入Workspace類并創(chuàng)建新工作區(qū)。 如果事先已有一個可用于該工作區(qū)的 Azure 資源組,請將 create_resource_group 設(shè)置為 False。期間可能會提示輸入 Azure 身份驗證憑據(jù)。
三、Azure機器學(xué)習(xí)服務(wù)界面介紹
使用Azure機器學(xué)習(xí)Python SDK可以快速進行各種ML試驗,也可以查看試驗的相關(guān)信息。除了SDK,Azure機器學(xué)習(xí)還提供了Azure 門戶(portal.azure.cn,Global:ms.portal.azure.com)和Azure 機器學(xué)習(xí)工作室(studio.ml.azure.cn,Global:ml.azure.com)這兩個地方查看上述信息,并且它們還有一些彼此不同的功能。熟悉使用它們可以讓Azure 機器學(xué)習(xí)的使用變得更加方便。
portal界面
Azure機器學(xué)習(xí)中國區(qū)的portal界面如下圖所示:
圖7 Azure機器學(xué)習(xí)中國區(qū)的portal界面
portal界面左側(cè)欄目中一些使用較多的介紹如下:
概述
我們可以在“概述”中看到工作區(qū)版本、資源組、位置、訂閱 和訂閱 ID這些信息,也可以看到在創(chuàng)建工作區(qū)時系統(tǒng)自動一起創(chuàng)建的幾個 Azure 資源的名稱,他們都自動放到了同一個資源組中:
- Azure 容器注冊表:注冊在 訓(xùn)練和部署模型時使用的docker 容器。 Azure機器學(xué)習(xí)在訓(xùn)練和部署中使用了容器化技術(shù),對需要運行的每個 Python 環(huán)境創(chuàng)建一個docker鏡像,鏡像會被上傳到工作區(qū)。對于后續(xù)運行,只要不更改腳本依賴項,將重復(fù)使用已上傳的鏡像。 由于容器啟動的速度很快,因此訓(xùn)練可在更短的時間內(nèi)獲得更好的結(jié)果。
- 存儲帳戶:用作工作區(qū)的默認數(shù)據(jù)存儲,工作區(qū)可以直接使用該賬戶內(nèi)的數(shù)據(jù)進行訓(xùn)練。
- Azure 應(yīng)用程序 Insights:存儲有關(guān)模型的監(jiān)視信息。
- Azure Key Vault:存儲工作區(qū)所需的計算目標(biāo)和其他敏感信息所使用的密鑰。
訪問控制(標(biāo)識和訪問管理)
對該訂閱下的其他用戶設(shè)置角色(所有者、參與者等),不同的角色擁有不同的權(quán)限,從而限制某些用戶、團隊或者項目對工作區(qū)資源的訪問和修改。
標(biāo)記
以鍵-值對的方式添加該資源的一些信息。
計算
該工作區(qū)中已創(chuàng)建的單節(jié)點或者多節(jié)點計算資源,包括用于訓(xùn)練和推理的計算集群,以及附加到工作區(qū)的自己的計算資源。
圖8 Azure機器學(xué)習(xí)計算資源實例
鎖
可以添加“只讀”或者“刪除”鎖,防止自己或者別人誤改或者誤刪此資源。
下圖是Azure Global中機器學(xué)習(xí)的portal界面,可見與中國區(qū)相比,左側(cè)多了“試驗”、“管道”、“模型”等欄目。不過拋開portal界面的些微差別,中國區(qū)和Global的Azure機器學(xué)習(xí)功能基本一致,并不影響使用。
注意:世紀(jì)互聯(lián)運營的Azure中不能創(chuàng)建Global的Azure機器學(xué)習(xí)。
圖9 Azure機器學(xué)習(xí)Global的portal界面
studio界面
雖然portal界面中的“試驗”、“管道”、“模型”和“計算”等欄目可以讓我們實時查看訓(xùn)練中的任務(wù)、已注冊的模型、運行中的計算集群等信息。但Azure機器學(xué)習(xí)還提供了一個更加強大的studio界面讓我們可以管理端到端機器學(xué)習(xí)過程。
注意:請勿將此Azure 機器學(xué)習(xí)工作室與機器學(xué)習(xí)工作室(經(jīng)典版)混淆!
機器學(xué)習(xí)工作室(經(jīng)典版)更加接近Azure 機器學(xué)習(xí)設(shè)計器(預(yù)覽版),都是通過拖、拉、拽已有模塊生成ML模型。Azure 機器學(xué)習(xí)工作室功能更加強大,但是現(xiàn)在是預(yù)覽版(Preview)。
點擊圖9中“體驗新的 Azure 機器學(xué)習(xí)工作室”下方的“立即啟動”按鈕,頁面跳轉(zhuǎn)到https://studio.ml.azure.cn,即Azure 機器學(xué)習(xí)工作室界面,如下圖所示:
圖10 Azure機器學(xué)習(xí)中國區(qū)的studio界面
studio界面左側(cè)的欄目比portal界面的多,功能也更加強大。下面進行介紹:
筆記本
其中包含了用Python和R語言寫的如何使用Azure機器學(xué)習(xí)的教程和例子,這些notebook也可以在此github中找到。
用戶可以將這些notebook clone到自己的文件夾中運行。
圖11 studio界面中的筆記本
自動化 ML
新建自動化ML試驗。在訓(xùn)練過程中,Azure 機器學(xué)習(xí)會創(chuàng)建多個并行管道,嘗試使用不同的算法和參數(shù)。 一旦到達試驗中定義的退出條件,它就會停止。
如果直接在studio界面中新建自動化ML試驗,目前僅支持表格數(shù)據(jù)。
圖12 studio界面中的自動化ML
設(shè)計器
通過拖、拉、拽現(xiàn)成的模塊在幕布中生成機器學(xué)習(xí)模型。此種建模方法僅需要少量的編程知識或者完成不需要編程知識就可以搭建一個機器學(xué)習(xí)模型。
從圖中可以看出,Azure機器學(xué)習(xí)提供了很多現(xiàn)成的模塊,如數(shù)據(jù)輸入輸出、數(shù)據(jù)前處理、特征選擇、算法、模型訓(xùn)練和評估等。
圖13 studio界面中的設(shè)計器
數(shù)據(jù)集
可以將本地文件、數(shù)據(jù)存儲、web文件或者開放數(shù)據(jù)集注冊成Azure機器學(xué)習(xí)數(shù)據(jù)集。注冊數(shù)據(jù)集的一個好處是同一個工作區(qū)的試驗或者用戶可以通過數(shù)據(jù)集的注冊名稱反復(fù)使用該數(shù)據(jù)集,而不用每次都通過文件路徑來訪問。
另外注冊數(shù)據(jù)集還有版本、創(chuàng)建時間、修改時間、屬性、創(chuàng)建者和標(biāo)記等信息,方便數(shù)據(jù)集的管控和追蹤。
圖14 studio界面中的數(shù)據(jù)集
試驗
每次試驗的信息都在這里顯示,訓(xùn)練中和訓(xùn)練完成后要查詢訓(xùn)練狀態(tài)和參數(shù),可以在試驗中查詢。
管道
創(chuàng)建的管道(如設(shè)計器創(chuàng)建的模型)模型都會在這里顯示,需要查詢管道的運行狀態(tài)和信息,可以在管道中查詢。
模型
和數(shù)據(jù)集一樣,已經(jīng)注冊的模型將會在這里顯示。
終結(jié)點
可以在此處查看部署后的終結(jié)點信息和狀態(tài)。
計算
和portal界面的計算一樣,此處顯示Azure機器學(xué)習(xí)工作區(qū)關(guān)聯(lián)的計算資源。
數(shù)據(jù)存儲
工作區(qū)默認的Blob存儲和其他注冊到工作區(qū)的Blob存儲都會在這里顯示。
圖15 studio界面中的數(shù)據(jù)存儲
提供了一個在線的圖像分類和目標(biāo)檢測打標(biāo)簽的工具,打好標(biāo)簽的數(shù)據(jù)可以通過注冊數(shù)據(jù)集的方式直接給工作區(qū)使用,也可以已COCO數(shù)據(jù)集的格式導(dǎo)出。
圖16 studio界面中的數(shù)據(jù)標(biāo)記
四、總結(jié)
- 以上介紹了Azure訂閱和Azure機器學(xué)習(xí)的創(chuàng)建方法。可以通過portal界面和studio界面來查看Azure機器學(xué)習(xí)的相關(guān)信息。
- 相比portal界面,studio界面內(nèi)容更豐富,功能也更強大。目前機器學(xué)習(xí)studio雖然只是預(yù)覽版,但是正式版會很快推出,建議大家使用Azure機器學(xué)習(xí)時充分使用studio的功能。
- 你可以用Azure機器學(xué)習(xí)的Python SDK或者Azure 機器學(xué)習(xí) studio來使用Azure機器學(xué)習(xí)。雖然在studio界面上點擊“新建”就可以直接完成一些機器學(xué)習(xí)試驗,但是還是推薦大家使用SDK來充分使用Azure機器學(xué)習(xí),接下來會用Python SDK向大家介紹如何使用Azure機器學(xué)習(xí)。
總結(jié)
以上是生活随笔為你收集整理的Azure机器学习——创建Azure机器学习服务的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 线性代数之行列式
- 下一篇: Markdown调整多种字体