TSK模糊系統(tǒng)優(yōu)化算法----MGDB

• 1、Motivation
• 2、Overviw of the TSK Fuzzy System Optimize
• • 2.1 Selct Optimize direction
  • 2.2 梯度下降優(yōu)化措施
• 3、MGDB-RDA算法介紹
• • 3.1 Framework
  • 3.2 Algorithm introduction
• 4、Experients

paper: https://ieeexplore.ieee.org/document/8930057/references#references
code:https://github.com/drwuHUST/MBGD_RDA

1、Motivation

??本文針對(duì)回歸問(wèn)題，將TSK模糊系統(tǒng)與神經(jīng)網(wǎng)絡(luò)常用優(yōu)化方法進(jìn)行結(jié)合，引入了Drpout、正則化以及AdaBound方法，并將其修正為適合回歸問(wèn)題優(yōu)化的新方法，同時(shí)也解決了TSK模糊系統(tǒng)不能應(yīng)用于不同大小數(shù)據(jù)集、泛化能力差的缺點(diǎn)。
??1、將三種強(qiáng)大的神經(jīng)網(wǎng)絡(luò)優(yōu)化技術(shù)，即MBGD、正則化和AdaBound，擴(kuò)展到TSK模糊系統(tǒng)。
??2、提出了三種新的技術(shù)（ (DropRule, DropMF,
and DropMembership)，專門(mén)用于訓(xùn)練TSK模糊系統(tǒng)。
??3、最終的算法，正則化MBGD，DropRule和AdaBound（MBGD-RDA），在10個(gè)不同大小的應(yīng)用領(lǐng)域的真實(shí)數(shù)據(jù)集上顯示了優(yōu)越的性能。

2、Overviw of the TSK Fuzzy System Optimize

2.1 Selct Optimize direction

??TSK模糊系統(tǒng)廣泛應(yīng)用于各行各業(yè)，同時(shí)也取得了很多的成就，本文主要集中于TSK模糊系統(tǒng)在回歸問(wèn)題上的應(yīng)用。同時(shí)在TSK模糊系統(tǒng)優(yōu)化方面，許多學(xué)者也做出了努力，但優(yōu)化方法依舊集中于以下三個(gè)方面：1、進(jìn)化算法，通過(guò)遺傳迭代的方式篩選出最優(yōu)的后代，從而保證全局最優(yōu)。2、梯度下降，通過(guò)反向傳播機(jī)制修正權(quán)重，目前已在神經(jīng)模糊系統(tǒng)中有所應(yīng)用。3、梯度下降和最小二乘估計(jì)，在基于模糊推理的自適應(yīng)網(wǎng)絡(luò)（ANFIS）中提出，先驗(yàn)參數(shù)由梯度下降優(yōu)化，后驗(yàn)參數(shù)由最小二乘法估計(jì)，相比梯度下降更好更快。但以上方法均存在不能應(yīng)用于大數(shù)據(jù)的問(wèn)題，大數(shù)據(jù)不僅數(shù)據(jù)維度大、數(shù)據(jù)量也大，類型多樣，速度快。本文中，則將大數(shù)據(jù)進(jìn)行降維，采用主成分分析降維數(shù)據(jù)，主要處理數(shù)據(jù)體積大的問(wèn)題。
由于進(jìn)化算法需要對(duì)每個(gè)個(gè)體進(jìn)行計(jì)算和迭代，所需內(nèi)存以及計(jì)算代價(jià)較大，梯度下降和最小二乘法又容易出現(xiàn)過(guò)擬合問(wèn)題，因此，在優(yōu)化方法上，我們選擇了梯度下降。

2.2 梯度下降優(yōu)化措施

??梯度下降主要可以分為batch gradient descent、 stochastic gradient descent、mini-batch gradient descent。其中batch gradient descent對(duì)于大數(shù)據(jù)可能存在內(nèi)存不足，甚至不能執(zhí)行的問(wèn)題，stochastic gradient descent穩(wěn)定性較差，而mini-batch gradient descent解決了以上兩個(gè)問(wèn)題，并在深度學(xué)習(xí)領(lǐng)域得到了驗(yàn)證。經(jīng)過(guò)Mamdani neuro-fuzzy systems上的對(duì)比，將其應(yīng)用于模糊系統(tǒng)是較好的。
??在梯度下降過(guò)程中，學(xué)習(xí)率是很重要的，目前尚未有人使用性能較好的AdaBound對(duì)TSK模糊系統(tǒng)進(jìn)行學(xué)習(xí)。
??正則化操作常用于解決提升模型泛化性和減少過(guò)擬合問(wèn)題。而近些年提出的新方法DropOut、 DropConnect也能提升模型的泛化性以及降低模型的過(guò)擬合，并在深度學(xué)習(xí)領(lǐng)域也進(jìn)行了驗(yàn)證，在TSK模糊系統(tǒng)上應(yīng)用較少。

3、MGDB-RDA算法介紹

3.1 Framework

算法如下：




其中，算法的返回值是值誤差最小，但不一定是最優(yōu)的值。可以通過(guò)迭代數(shù)結(jié)果比較得到最佳的返回值。

3.2 Algorithm introduction

??1、對(duì)于TSK模糊系統(tǒng)，我們?cè)谇懊娴奈恼轮幸呀?jīng)提過(guò)，并詳細(xì)解釋，具體可看TSK模糊系統(tǒng)。在隸屬度函數(shù)上本文只考慮 Gaussian MF。
??2、我們采用L2正則化來(lái)定義損失函數(shù)，增加懲罰項(xiàng)。這里xn和yn分別表示輸入輸出的標(biāo)簽，y(xn)表示預(yù)測(cè)結(jié)果，其他參數(shù)如下
??3、Mini-Batch Gradient Descent (MBGD）
對(duì)于(7)中的損失函數(shù)，其梯度計(jì)算公式如下：

后面較為復(fù)雜，看原文

??4、DropRule是指在訓(xùn)練過(guò)程中隨機(jī)丟棄一些規(guī)則，但在測(cè)試中使用所有規(guī)則。激勵(lì)水平則設(shè)置為(0,1)。TSK模糊系統(tǒng)的輸出則會(huì)再次被激勵(lì)水平的加權(quán)平均值計(jì)算。而激勵(lì)水平指的是各個(gè)模糊規(guī)則結(jié)果對(duì)于最終結(jié)果的貢獻(xiàn)，具體如圖：

具體原理為通過(guò)隨機(jī)刪除一些規(guī)則，我們強(qiáng)制每個(gè)規(guī)則使用隨機(jī)選擇的規(guī)則子集，因此每個(gè)規(guī)則都應(yīng)該最大化自己的建模能力，而不是過(guò)于依賴其他規(guī)則。這可能有助于提高最終的TSK模糊系統(tǒng)的泛化性。
4、AdaBound由于其限制自適應(yīng)學(xué)習(xí)率的上下界，因此，學(xué)習(xí)率的極端情況并不會(huì)出現(xiàn)，同時(shí)隨著迭代次數(shù)的增加，AdaBound會(huì)使得學(xué)習(xí)率不斷收斂為一個(gè)常數(shù)。本文所使用的下界和上界為

4、Experients

4.1 dataset

我們將最大輸入維數(shù)限制為5個(gè)：如果一個(gè)數(shù)據(jù)集有超過(guò)5個(gè)特征，那么就使用主成分分析將它們減少為5個(gè)特征。算法對(duì)比：嶺回歸算法，嶺回歸系數(shù)為0.05

MBDG，小批量梯度下降算法： batchsize = 64，學(xué)習(xí)率0.01

MBDG和正則化，入=0.05

MBDG和DropRule P=0.5，一半的模糊規(guī)則隨機(jī)為0

MBDG和DropRule和正則化，其他參數(shù)如上

MBDG和AdaBound ，其中α=0.01，β1=0.9，β2=0.999，∈=10^-8

MBGD 和DropRule和正則化和AdaBound

訓(xùn)練樣本和測(cè)試樣本73分。

計(jì)算代價(jià)：

剩余包括參數(shù)靈敏性實(shí)驗(yàn)、ANFIS對(duì)比、Adam對(duì)比等等，均用圖片展示，移步原文。

總結(jié)

以上是生活随笔為你收集整理的Fuzzy SyStem2020 | 论文阅读《Optimize TSK Fuzzy Systems for Regression Problems》的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。