文章目錄

• Intrusion Detection of Imbalanced Network Traffic Based on Machine Learning and Deep Learning
• • 論文摘要
  • 論文解決的問題
  • 1.系統(tǒng)結(jié)構(gòu)
  • 2.數(shù)據(jù)平衡方法（DSSTE算法）
  • 3.深度學(xué)習(xí)和機(jī)器學(xué)習(xí)算法
  • 總結(jié)

Intrusion Detection of Imbalanced Network Traffic Based on Machine Learning and Deep Learning

論文摘要

在不平衡的網(wǎng)絡(luò)流量中，惡意網(wǎng)絡(luò)攻擊往往隱藏在大量的正常數(shù)據(jù)中。它在網(wǎng)絡(luò)空間中表現(xiàn)出高度的隱蔽性和模糊性，使得網(wǎng)絡(luò)入侵檢測系統(tǒng)難以保證檢測的準(zhǔn)確性和及時性。本文研究了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)在不平衡網(wǎng)絡(luò)流量中的入侵檢測問題。提出了一種新的困難集采樣技術(shù)(DSSTE)算法來解決類不平衡問題。

首先，利用可編輯近鄰(ENN)算法將不平衡訓(xùn)練集劃分為難集和易集。

然后，使用KMeans算法壓縮難集中的多數(shù)樣本以減少多數(shù)樣本的數(shù)量。放縮難集中少數(shù)樣本的連續(xù)屬性，合成新的樣本來增加少數(shù)樣本的數(shù)量。

最后，將易集、難集中的多數(shù)壓縮集、難集中的少數(shù)壓縮集與其增強(qiáng)樣本結(jié)合，組成新的訓(xùn)練集。

該算法減少了原始訓(xùn)練集的不平衡性，為少數(shù)需要學(xué)習(xí)的類提供了有針對性的數(shù)據(jù)擴(kuò)充。它可以使分類器更好地學(xué)習(xí)訓(xùn)練階段的差異，提高分類性能。為了驗(yàn)證該方法的有效性，我們在經(jīng)典入侵?jǐn)?shù)據(jù)集NSL-KDD和更新的綜合入侵?jǐn)?shù)據(jù)集CSE-CIC-IDS2018上進(jìn)行了實(shí)驗(yàn)。我們使用了經(jīng)典的分類模型:隨機(jī)森林(RF)、支持向量機(jī)(SVM)、XGBoost、長短期記憶(LSTM)、AlexNet、Mini-VGGNet。我們比較了其他24種方法;實(shí)驗(yàn)結(jié)果表明，該算法的性能優(yōu)于其他算法。

論文解決的問題

提出了一種新的解決樣本不平衡的方法。壓縮多數(shù)樣本，增加少數(shù)樣本。

1.系統(tǒng)結(jié)構(gòu)

結(jié)構(gòu)很清晰，就不多做解釋了，只對里面的數(shù)據(jù)平衡的方法做深入解釋。

2.數(shù)據(jù)平衡方法（DSSTE算法）

算法流程：

算法解釋

（1）首先定義數(shù)據(jù)集為S，一個常量K作為衡量指標(biāo)

（2）劃分難集和易集：

方法：對S中的每個樣本，計算他的K個近鄰樣本，如果有和這個樣本的類別不同的樣本，就把這個樣本從S中剔除。這樣一來，剩下的都是容易被分類的樣本集（易集$S_E$），被剔除的就是不容易被分類的樣本集（難集$S_D$，因?yàn)橹車泻芏嗥渌悇e的樣本干擾）

（3）壓縮難集中的多數(shù)樣本：

方法：從$S_D$中找到多數(shù)類樣本集合，記為$S_{Maj}$，對$S_{Maj}$進(jìn)行K-means聚類，然后用每個聚類中心來代替每個簇中的樣本。（注意集合中不能出現(xiàn)重復(fù)元素，所以每個樣本進(jìn)入集合之后，就只剩下那幾個聚類中心了）這樣就實(shí)現(xiàn)了對多數(shù)類樣本的壓縮。

（4）放縮難集中的少數(shù)樣本：

方法：從$S_D$中找到少數(shù)類樣本集合，記為$S_{Min}$，從這些樣本的特征中把離散的特征選出來（例如流量協(xié)議類型等），記為$X_D$；再從這些樣本中把連續(xù)的特征選出來（例如時間等），記為$X_C$；再把少數(shù)類中所有的樣本的類別記為$Y$

然后讓n從$[K,K+number/S_{Min}.number)$遍歷，對$X_C$中每個特征的值乘(1+1/n)、(1-1/n)來進(jìn)行數(shù)值放縮，$X_D$不變，這樣又可以產(chǎn)生一些少數(shù)類樣本，把這些新產(chǎn)生的樣本記為$S_Z$

（5）合并：$S_N=S_E+S_{Maj}+S_{Min}+S_Z$

3.深度學(xué)習(xí)和機(jī)器學(xué)習(xí)算法

本文用到了隨機(jī)森林、支持向量機(jī)、XGBoost、LSTM、AlexNet、MINI-VGGNet六個算法來進(jìn)行實(shí)驗(yàn)，對于算法就不深入探討了。

總結(jié)

提出了一種新思想：在對數(shù)據(jù)集進(jìn)行平衡處理時

把容易分類的樣本和不容易分類的樣本分開處理

把離散的特征和連續(xù)的特征也分開處理

既減少多數(shù)樣本，有增加少數(shù)樣本（過采樣和欠采樣結(jié)合）

總結(jié)

以上是生活随笔為你收集整理的研究型论文_基于机器学习和深度学习的不平衡网络流量入侵检测（英文论文）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。