1. 機(jī)器學(xué)習(xí)典型步驟

1. 數(shù)據(jù)采集和標(biāo)記

2. 數(shù)據(jù)清洗

3. 特征選擇
   
   如房子的面積、地理位置、朝向、價(jià)格等。

4. 模型選擇

有監(jiān)督還是無監(jiān)督，問題領(lǐng)域、數(shù)據(jù)量大小、訓(xùn)練時(shí)長、模型準(zhǔn)確度等多方面有關(guān)。

5. 模型訓(xùn)練和測(cè)試
   
   把數(shù)據(jù)集分成訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，一般按照 8:2 或 7: 3 來劃分，然后用訓(xùn)練數(shù)據(jù)集來訓(xùn)練模型。訓(xùn)練出參數(shù)后再使用測(cè)試數(shù)據(jù)集來測(cè)試模型的準(zhǔn)確度。

6. 模型評(píng)估和優(yōu)化
   
   準(zhǔn)確性和性能多方面進(jìn)行評(píng)估和優(yōu)化

7. 模型使用
   
   訓(xùn)練出來的模型可以把參數(shù)保存起來，下次使用時(shí)直接加載即可。一般來講，模型訓(xùn)練需要的計(jì)算量是很大的，也需要較長的時(shí)間來訓(xùn)練，這是因?yàn)橐粋€(gè)好的模型參數(shù)，需要對(duì)大型數(shù)據(jù)集進(jìn)行訓(xùn)練后才能得到。
   
   而真正使用模型時(shí)，其計(jì)算量是比較少的，一般是直接把新樣本作為輸入， 然后調(diào)用模型即可得出預(yù)測(cè)結(jié)果。

2. 訓(xùn)練集、驗(yàn)證集和測(cè)試集概念

• 訓(xùn)練集（Train Set）：

用來做訓(xùn)練的數(shù)據(jù)的集合。

• 驗(yàn)證集（ValidationSet）：

在訓(xùn)練的過程中，每個(gè)訓(xùn)練輪次結(jié)束后用來驗(yàn)證當(dāng)前模型性能，為進(jìn)一步優(yōu)化模型提供參考的數(shù)據(jù)的集合。

• 測(cè)試集（Test Set）：

用來測(cè)試的數(shù)據(jù)的集合，用于檢驗(yàn)最終得出的模型的性能。

在個(gè)別情況下驗(yàn)證集和測(cè)試集可以合二為一，不過當(dāng)然最好還是分開。驗(yàn)證可以理解為一個(gè)小規(guī)模的對(duì)于已經(jīng)生成模型的測(cè)試，只不過已生成模型處理的數(shù)據(jù)不是測(cè)試集而是驗(yàn)證集。

這三個(gè)集合可以從同一份標(biāo)注數(shù)據(jù)中隨機(jī)選取。三者的比例可以是訓(xùn)練集：驗(yàn)證集：測(cè)試集=2：1：1，也可以是7：1：2。總之，訓(xùn)練集占大頭。有些情況下（整體數(shù)據(jù)量不大，模型又相對(duì)簡單時(shí)），驗(yàn)證集和測(cè)試集也可以合二為一。

總結(jié)

以上是生活随笔為你收集整理的机器学习典型步骤以及训练集、验证集和测试集概念的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。