稀疏指的是參數(shù)或者數(shù)據(jù)中零的個(gè)數(shù),零的個(gè)數(shù)越多,參數(shù)或者數(shù)據(jù)就越稀疏.這種稀疏性帶來(lái)許多優(yōu)點(diǎn).

參數(shù)稀疏有什么好處

1）特征選擇(Feature Selection)： 大家對(duì)稀疏規(guī)則化趨之若鶩的一個(gè)關(guān)鍵原因在于它能實(shí)現(xiàn)特征的自動(dòng)選擇。一般來(lái)說(shuō)，$xi$的大部分元素（也就是特征）都是和最終的輸出yi沒(méi)有關(guān)系或者不提供任何信息的，在最小化目標(biāo)函數(shù)的時(shí)候考慮xi這些額外的特征，雖然可以獲得更小的訓(xùn)練誤差，但在預(yù)測(cè)新的樣本時(shí)，這些沒(méi)用的信息反而會(huì)被考慮，從而干擾了對(duì)正確yi的預(yù)測(cè)。稀疏規(guī)則化算子的引入就是為了完成特征自動(dòng)選擇的光榮使命，它會(huì)學(xué)習(xí)地去掉這些沒(méi)有信息的特征，也就是把這些特征對(duì)應(yīng)的權(quán)重置為0。

2）可解釋性(Interpretability)： 另一個(gè)青睞于稀疏的理由是，模型更容易解釋。例如患某種病的概率是$y$，然后我們收集到的數(shù)據(jù)$x$是1000維的，也就是我們需要尋找這1000種因素到底是怎么影響患上這種病的概率的。假設(shè)我們這個(gè)是個(gè)回歸模型：$y=w1?x1+w2?x2+\dots +w1000?x1000+b$（當(dāng)然了，為了讓y限定在[0,1]的范圍，一般還得加個(gè)Logistic函數(shù)）。通過(guò)學(xué)習(xí)，如果最后學(xué)習(xí)到的$w?$就只有很少的非零元素，例如只有5個(gè)非零的$wi$，那么我們就有理由相信，這些對(duì)應(yīng)的特征在患病分析上面提供的信息是巨大的，決策性的。也就是說(shuō)，患不患這種病只和這5個(gè)因素有關(guān)，那醫(yī)生就好分析多了。但如果1000個(gè)$wi$都非0，醫(yī)生面對(duì)這1000種因素.

稀疏性優(yōu)點(diǎn)總結(jié)

• 大多數(shù)問(wèn)題線性可分，學(xué)習(xí)任務(wù)的難度有所減低；

• 易于存儲(chǔ),數(shù)據(jù)中零的個(gè)數(shù)多時(shí)，可以使用算法減少存儲(chǔ)空間；

• 可解釋性提高.

參考:https://www.jianshu.com/p/8025b6c9f6fa

總結(jié)

以上是生活随笔為你收集整理的稀疏性的优点的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。