浅谈主动学习(Active Learning)
1背景概述
?
在機器學習領(lǐng)域有很多學習模式,比方說監(jiān)督學習、半監(jiān)督學習、強化學習、無監(jiān)督學習等。平時大家接觸比較多的一般都是監(jiān)督學習,在監(jiān)督學習里面,比方說要做個人和魚的圖像分類模型,假設有200張圖片,那就需要把這200張樣本都打好標記再訓練。
監(jiān)督學習存在很多問題,比如最直接的一點,當樣本打標成本很高的時候,比如要標記一個人臉,可能需要在圖片上打上百個點,用監(jiān)督學習很消耗資源。
主動學習(Active Learning)很好地解決了這個問題,主動學習的本質(zhì)是讓訓練樣本的利用率最大化,今天就來介紹下主動學習的一些內(nèi)容。
?
2Active Learning基本原理
?
ActiveLearning的基本邏輯很好理解,就是構(gòu)建一個打標和訓練流程的閉環(huán),有點類似于boosting算法。
在ActiveLearning中,不需要訓練樣本全部打標,可以先打標部分樣本,然后跑一次分類模型,接著對未打標樣本做一次預測。可以根據(jù)預測結(jié)果將未打標樣本分成兩類,一類是不確定性大,也就是信息熵大的樣本,另一類是不確定性小但是信息熵也小的樣本。然后針對信息熵大的樣本再次訓練。
這里面有個問題,什么叫不確定性大的樣本呢?還是舉文章開篇的例子,假設做人和魚的分類模型,什么樣的樣本是不確定性高的呢?當然是哪種很難分辨人還是魚的樣本,比如美人魚,哈哈。
總結(jié)下,ActiveLearning的本質(zhì)就是先標記部分樣本,然后訓練一個簡單分類模型,通過這個模型找到高信息熵樣本并打標,然后再重新用新訓練集finetune模型。
?
3業(yè)務價值
?
ActiveLearning顯而易見的一個業(yè)務價值就是比較節(jié)省數(shù)據(jù)打標資源。很多論文已經(jīng)講了ActiveLearning在一些場景下的優(yōu)勢。
我個人感覺,ActiveLearning會在一些數(shù)據(jù)樣本打標代價很高的場景落地,比如金融風控領(lǐng)域的負樣本模型訓練、圖像語音的模型訓練。
另外,一些云端機器學習平臺產(chǎn)品如果可以集成Active Learning的能力對客戶是很有吸引力的。雖然我還沒機會做這種產(chǎn)品的設計,但是可以預想到未來云上的機器學習平臺,能否對高信息熵樣本做主動學習,將是一個重要的用戶抓手。
《新程序員》:云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作,文字、視頻、音頻交互閱讀總結(jié)
以上是生活随笔為你收集整理的浅谈主动学习(Active Learning)的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 支付宝扫一下就能体验的深度学习模型
- 下一篇: 实操将TensorFlow模型部署成Do