使用堆疊式自動編碼器和極限學(xué)習(xí)機(jī)的級聯(lián)進(jìn)行多標(biāo)簽分類

摘要

本文介紹了用于多標(biāo)簽數(shù)據(jù)分類的一系列神經(jīng)網(wǎng)絡(luò)。兩種類型的網(wǎng)絡(luò)，即堆疊式自動編碼器(SAE)和極限學(xué)習(xí)機(jī)(ELM)已被合并到建議的系統(tǒng)中。ELM是一種緊湊高效的單標(biāo)簽分類器，在處理多標(biāo)簽數(shù)據(jù)時似乎失去了效率。這是由于多標(biāo)簽數(shù)據(jù)的復(fù)雜性導(dǎo)致的，這使得較小的網(wǎng)絡(luò)難以準(zhǔn)確地解釋它。在我們提出的工作中，我們嘗試處理處理多標(biāo)簽數(shù)據(jù)時遇到的瓶頸很少。因此，我們旨在通過與其他網(wǎng)絡(luò)協(xié)作來增強(qiáng)獨(dú)立的多標(biāo)簽極限學(xué)習(xí)機(jī)(MLELM)的性能。所提出的方法分為三個基本階段：特征編碼，軟分類和班級成績近似。在第一步中，采用SAE網(wǎng)絡(luò)來生成多標(biāo)簽數(shù)據(jù)的區(qū)分輸入和縮減輸入。這使得數(shù)據(jù)在后續(xù)階段變得緊湊且更易于管理。下一階段，MLLEM將該數(shù)據(jù)依次用于軟標(biāo)簽的預(yù)測。在最后一步中，為了提高先前網(wǎng)絡(luò)的預(yù)測能力，提出了使用附加MLELM逼近類別得分的新穎方法。已針對11種相關(guān)算法對7個數(shù)據(jù)集進(jìn)行了所提方法的綜合實驗評估，總體而言，該方法顯示出令人鼓舞的性能。這使得數(shù)據(jù)在后續(xù)階段變得緊湊且更易于管理。下一階段，MLLEM將該數(shù)據(jù)依次用于軟標(biāo)簽的預(yù)測。在最后一步中，為了提高先前網(wǎng)絡(luò)的預(yù)測能力，提出了使用附加MLELM逼近類別得分的新穎方法。已針對11種相關(guān)算法對7個數(shù)據(jù)集進(jìn)行了所提出方法的綜合實驗評估，總體而言，該方法顯示出令人鼓舞的性能。這使得數(shù)據(jù)在后續(xù)階段變得緊湊且更易于管理。下一階段，MLLEM將該數(shù)據(jù)依次用于軟標(biāo)簽的預(yù)測。在最后一步中，為了提高先前網(wǎng)絡(luò)的預(yù)測能力，提出了使用附加MLELM逼近類別得分的新穎方法。已針對11種相關(guān)算法對7個數(shù)據(jù)集進(jìn)行了所提出方法的綜合實驗評估，總體而言，該方法顯示出令人鼓舞的性能。

2、方法

在本文中，層疊的自動編碼器和極限學(xué)習(xí)機(jī)被用于多標(biāo)簽數(shù)據(jù)的分類(MLSAEELM)。在第一階段，使用堆疊的自動編碼器網(wǎng)絡(luò)來降低數(shù)據(jù)的維數(shù)。堆疊自動編碼器(SAEs)廣泛應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)，因為它們能夠有效地從任何給定的數(shù)據(jù)中提取底層特征。雖然所提出的分類器在本質(zhì)上不是太深入，但從SAE獲得的一組簡化的良好編碼特征有利于保留數(shù)據(jù)的底層屬性。一旦相關(guān)特征被提取出來，這些被傳遞到一個多標(biāo)簽榆樹進(jìn)行軟標(biāo)簽預(yù)測。這個MLELM以類似于簡單ELM的方式處理多標(biāo)簽數(shù)據(jù)。為了提高M(jìn)LELM的分類性能，在模型的最后階段將連接另一個MLELM。該網(wǎng)絡(luò)的任務(wù)是學(xué)習(xí)軟標(biāo)簽到硬標(biāo)簽的映射。然后使用近似MLELM預(yù)測的最終類分?jǐn)?shù)為數(shù)據(jù)分配硬類標(biāo)簽。

2.1、多標(biāo)簽數(shù)據(jù)的表示

2.2、網(wǎng)絡(luò)結(jié)構(gòu)

該模型的架構(gòu)包括一個堆疊的自動編碼器，以及一個用于分類的多標(biāo)簽極限學(xué)習(xí)機(jī)。圖3顯示了模型的概述。

2.2.1、自動編碼器

網(wǎng)絡(luò)的堆疊自動編碼器部分包含按順序堆疊的各個自動編碼器。第一autoencoder AE1將原始輸入ξ= {x1, x2,。,xd},列車本身迭代和編碼數(shù)據(jù)較少的特性。這些編碼特性再交由火車下autoencoder AE2和功能進(jìn)一步編碼數(shù)量的特性等等。來自autoencoder AEn的最后一組編碼特征被用作下一階段的輸入。在圖3中，在疊加的自動編碼器中只顯示了兩層。

2.2.2、軟分類多標(biāo)簽榆樹(MLELM-C)

2.2.3、用于分?jǐn)?shù)映射的多標(biāo)記ELM (MLELM-D)

3、實驗結(jié)果與討論

4、結(jié)論

本文提出了一種新穎的多標(biāo)簽分類層疊式自動編碼器和極限學(xué)習(xí)機(jī)網(wǎng)絡(luò)(MLSAEELM)。ELM是一種通過一次訓(xùn)練數(shù)據(jù)進(jìn)行學(xué)習(xí)的緊湊神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)已經(jīng)在各個領(lǐng)域得到了應(yīng)用，但在多標(biāo)簽分類領(lǐng)域的應(yīng)用還很有限。網(wǎng)絡(luò)是創(chuàng)新的和獨(dú)特的，但它不能有效地處理多標(biāo)簽數(shù)據(jù)自己。為了探討多標(biāo)簽分類的可能性，利用ELM的優(yōu)勢和面對的挑戰(zhàn)，本文提出了一個MLSAEELM模型。該算法采用多層自編碼器進(jìn)行特征編碼，采用MLELM進(jìn)行軟分類，并采用一種新穎的類分?jǐn)?shù)近似方法進(jìn)行分類，最終實現(xiàn)了多標(biāo)簽分類。在7個數(shù)據(jù)集10個性能指標(biāo)上與其他11種算法進(jìn)行了比較分析，結(jié)果表明該算法的性能有了令人鼓舞的提高。在未來，這種網(wǎng)絡(luò)級聯(lián)可以適應(yīng)更深層次的框架，以促進(jìn)更大更復(fù)雜的數(shù)據(jù)集的工作。

詳細(xì)細(xì)節(jié)請看原文：https://doi.org/10.1016/j.neucom.2019.05.051

總結(jié)

以上是生活随笔為你收集整理的多标签分类_多标签分类文献阅读（8）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。