1 機(jī)器學(xué)習(xí)問(wèn)題表示
變量y與輸入x之間存在一定的關(guān)系，即存在二維聯(lián)合概率密度F（x，y）
機(jī)器學(xué)習(xí)根據(jù)m個(gè)獨(dú)立，同分布觀測(cè)樣本求出一個(gè)最優(yōu)函數(shù)y=f（x，a），使預(yù)測(cè)的期望風(fēng)險(xiǎn)最小
R（a）= |Q（y，f（x，a））dF（x，y），其中Q（y，f（x，a））是f（x，a）與y之間的損失函數(shù)

2 經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化
由于并不知道F（x，y），所以無(wú)法利用期望風(fēng)險(xiǎn)來(lái)求f（x，a），但根據(jù)大數(shù)定理的思想，可以用算術(shù)平均代替數(shù)學(xué)期望???? Remp（a）= 1/m（Q（yi，f（xi，a））+......），使樣本均值最小求出f（x，a）中參數(shù)a

3 最小均值方法
求經(jīng)驗(yàn)風(fēng)險(xiǎn)最小可以看做是最佳擬合問(wèn)題，E = （yi-f（xi，a））**2+ ..........
在調(diào)整權(quán)值時(shí)需要這樣一個(gè)算法：在有了新的訓(xùn)練樣本時(shí)可以在原來(lái)的基礎(chǔ)上進(jìn)一步精化權(quán)值。對(duì)于每一個(gè)訓(xùn)練樣例，它把權(quán)值向減少誤差的方向略為調(diào)整。這個(gè)算法可以看做對(duì)可能的假設(shè)權(quán)值空間進(jìn)行隨機(jī)的梯度下降搜索。權(quán)值w更新方式為：w<--w+l（yi - f（xi，a））xi

4函數(shù)集的vc維
函數(shù)集Q（z，a）vc維等于能夠用該函數(shù)集以所有可能的2**k種方式分成不同兩類的向量z1，z2....最大數(shù)目。越復(fù)雜的函數(shù)vc維越高。
期望風(fēng)險(xiǎn)R（a ）== 經(jīng)驗(yàn)風(fēng)險(xiǎn)Remp（a）+sqr（h/m），可見vc維增加會(huì)導(dǎo)致期望風(fēng)險(xiǎn)增加。

5結(jié)構(gòu)風(fēng)險(xiǎn)最小化
min（經(jīng)驗(yàn)風(fēng)險(xiǎn)Remp（a）+sqr（h/m））

6支持向量機(jī)
svm的基本思想是通過(guò)事先選擇的線性或非線性的映射將輸入向量映射到高維特征空間中，在這個(gè)空間中利用了最優(yōu)化理論和泛化性理論，同時(shí)引入了超平面的概念（減少vc維），來(lái)構(gòu)造最優(yōu)決策函數(shù)，并巧妙地利用核函數(shù)來(lái)代替高維特征空間的點(diǎn)積運(yùn)算，從而避免了復(fù)雜的計(jì)算。

7貝葉斯決策
設(shè)要識(shí)別的對(duì)象有d中特征測(cè)量值x1，x2.....xd，每種特征都是一個(gè)隨機(jī)變量。
設(shè)gi（x）為對(duì)應(yīng)i類的風(fēng)險(xiǎn)函數(shù)，利用先驗(yàn)概率，相應(yīng)的分類規(guī)則為：
如果gi（x）>gj（x），i，j = 1，2，...c， j!= i，則x屬于第i類，決策面方程為 gi（x）= gj（x）

8分類與聚類
分類：樣本已知所屬類別，求出分類函數(shù)，對(duì)新的樣本進(jìn)行識(shí)別
聚類：樣本無(wú)類別，根據(jù)其分布距離進(jìn)行分類

9線性分類器
定義一個(gè)準(zhǔn)則函數(shù)J（w，x），w是分類器參數(shù)，它的最小值對(duì)應(yīng)著最優(yōu)解。得到梯度法迭代公式：
w（k+1）= w（k）-p（△J）
因?yàn)榕袆e函數(shù)g（x）滿足：
g(x)>0 x∈w
g(x)<0 x!∈w

準(zhǔn)則函數(shù)有最小平方誤差，最小錯(cuò)分類等。

10聚類
相似性測(cè)度：歐式距離，馬氏距離，明氏距離，夾角余弦
散布準(zhǔn)則：類內(nèi)散布，類間散布，總散布
求解過(guò)程是聚類中心點(diǎn)迭代

11特征抽取和選擇
選擇：選取要使用的特征
抽取：利用選擇出來(lái)的特征進(jìn)行降維變換
抽取方法有線性變換，主成分分析的最佳矩陣變換，

總結(jié)

以上是生活随笔為你收集整理的机器学习(zz)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。