? ? ? ? ? ? ? ?神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)?筆記—基本知識點(diǎn)（下）

0.1?網(wǎng)絡(luò)結(jié)構(gòu)：

? ? ? ? 神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的構(gòu)造方式與用于訓(xùn)練網(wǎng)絡(luò)的學(xué)習(xí)算法有著密切的聯(lián)系，有三種基本的網(wǎng)絡(luò)結(jié)構(gòu)：

?

0.7?知識表示：

?

?

?

? ? ? ? 知識就是人或機(jī)器存儲起來以備使用的信息或模型，用來對外部世界作出解釋、預(yù)測和適當(dāng)?shù)姆磻?yīng)。

主要特征：

? ? ? ? 什么信息是明確表述的；物理上信息是如何被編碼和使用的。

? ? ? ? 神經(jīng)網(wǎng)絡(luò)的一個主要任務(wù)是學(xué)習(xí)他所依存的外部世界（環(huán)境）模型，并且保持該模型和真是世界足夠兼容，使之能夠?qū)崿F(xiàn)感興趣應(yīng)用的特定目標(biāo)。有關(guān)世界的知識由兩類信息組成。

已知世界狀態(tài)，有“什么是”事實和“什么是已知道的”事實所表示；這種形式的知識稱為先驗知識。

對世界的觀察（測量），由神經(jīng)網(wǎng)絡(luò)中被設(shè)計用于探測環(huán)境的傳感器獲得。一般來說，這些觀察是帶有噪聲的，這是由于傳感器的噪聲和系統(tǒng)的不完善而產(chǎn)生的誤差。不管怎樣，這樣得到的觀察會提供一個信息池，從中提取樣例來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。樣例分為兩種：有標(biāo)號的和無標(biāo)號的。有標(biāo)號的就是對應(yīng)的輸入有輸出結(jié)果，無標(biāo)號的則沒有輸出結(jié)果。相比來說有標(biāo)號的涉及到教師標(biāo)注，成本高，數(shù)量少。無標(biāo)號的則成本低，獲取較方便。這種數(shù)據(jù)在機(jī)器學(xué)習(xí)里都叫做訓(xùn)練數(shù)據(jù)集，或者簡稱訓(xùn)練樣本。

? ? ? ? 神經(jīng)網(wǎng)絡(luò)設(shè)計與傳統(tǒng)信息處理對應(yīng)部分（模式分類器）的設(shè)計有根本的差別。后者是設(shè)定方法、目標(biāo)，驗證目標(biāo)。而且這則是通過學(xué)習(xí)數(shù)據(jù)來找到能達(dá)到目標(biāo)的方法。

知識表示的規(guī)則：

相似類別中的相似輸入通常應(yīng)產(chǎn)生網(wǎng)絡(luò)中相似的表示，因此，可以歸入同一類中（向量內(nèi)積或者歐幾里得距離）。

網(wǎng)絡(luò)對可分離為不同種類的輸入向量給出差別很大的表示。

如果某個特征很重要，那么網(wǎng)絡(luò)表示這個向量將涉及大量神經(jīng)元。

如果存在先驗信息和不變性，應(yīng)該將其附加在網(wǎng)絡(luò)設(shè)計中，這樣就不必學(xué)習(xí)這些信息而簡化網(wǎng)絡(luò)設(shè)計。

?

? ? 怎么在神經(jīng)網(wǎng)絡(luò)設(shè)計中加入先驗信息：

? ? ? ? 1.通過使用稱為接收域的局部連接，限制網(wǎng)絡(luò)結(jié)構(gòu)。

? ? ? ? 2.通過使用權(quán)值共享。限制突觸權(quán)值的選擇。[明顯降低自由參數(shù)]

? ? ? ? CNN卷積神經(jīng)網(wǎng)絡(luò)用的就是1和2，這個以后說。

0.8?學(xué)習(xí)過程

? ? ? ? 通過神經(jīng)網(wǎng)絡(luò)的功能來進(jìn)行如下分類：有教師學(xué)習(xí)和無教師學(xué)習(xí)。其中后者可以分為無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。后來又引申出來一個半監(jiān)督學(xué)校。這些學(xué)習(xí)方式對訓(xùn)練數(shù)據(jù)集的要求是不一樣的。

0.9?學(xué)習(xí)任務(wù)

?

?

? ? ? ? 模式聯(lián)想（自聯(lián)想、異聯(lián)想）、模式識別、函數(shù)逼近、控制。

0.10?整理

?

?

?

?

?

總結(jié)

以上是生活随笔為你收集整理的神经网络与机器学习 笔记—基本知识点（下）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。