机器学习笔记：auto encoder
1 autoencoder 介紹
????????這是一個無監督學習問題，旨在從原始數據x中學習一個低維的特征向量（沒有任何標簽）
????????encoder 最早是用線性函數+非線性單元構成（比如Linear+nonlinearity），之后的模型有使用多層全連接、Relu+CNN進行encoder操作的 。
? ? ? ? 那么，我們怎么從原始數據中學習特征向量z呢？
? ? ? ? 核心思路就是使用一個decoder
?
?這里的tconv就是機器學習筆記： Upsampling, U-Net, Pyramid Scene Parsing Net_UQI-LIUWJ的博客-CSDN博客中所介紹的“up convolution”
在訓練完畢之后，丟棄decoder，使用encoder來進行后續的任務?
2 特征向量z的維度
z的維度需要比輸入x的維度小——>這樣才能壓縮數據
如果z的維度比輸入x的維度大或者等于輸入x的維度的話——>模型沒有學習新特征的“動力”——>直接將x復制到z，多出來的維度補0即可
3 auto-encoder變體
3.1 de-noising autoencoder
在輸入中假如噪聲，但是學習的特征希望能還原成沒有噪聲的版本
?——>可以更好地學習特征表示
——>避免直接復制——>所以每一個epoch加在輸入上的噪聲是不一樣的
3.2 stacked auto-encoder（SAE）
多層auto-encoder，訓練完畢后也是去掉所有的decoder
?4 AE作為生成模型
4.1 context encoder
????????抹去圖像的某一塊，通過auto-encoder，看看能不能還原成整張圖片/判斷抹去的這一塊學到的特征和實際這一塊之間的區別
?
?4.1.1 不同的遮法
?4.2? temporal context encoder
????????對于圖像來說，我們的可以遮去一些像素點，然后通過auto-encoder的方式來學習這些遮掉的像素點。那么對于視頻來說，我們也可以遮去一些視頻中的“像素點”，也即遮掉某幾幀，然后同樣用auto-encoder來進行學習
? ?5 auto-encoder應用：半監督學習
????????當我們有很多的圖像，但是只有很少的label的時候，我們可以先對不適用標簽，對圖像使用auto-encoder。訓練完畢之后，我們丟棄decoder，然后再encoder后面接入分類器，學習標簽y'，將其和真實特征y進行比對? ? ??
????????
?
?
總結
以上是生活随笔為你收集整理的机器学习笔记：auto encoder的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 机器学习笔记： Discriminati
- 下一篇： 机器学习笔记：ＶＡＥ