線性模型

一、內(nèi)容

1.基本形式

2.線性回歸：均方誤差是回歸任務(wù)中最常用的性能度量

3.對數(shù)幾率回歸：對數(shù)幾率函數(shù)（logistic function）對率函數(shù)是任意階可導(dǎo)的凸函數(shù)，這是非常重要的性質(zhì)。

4.線性判別分析（LDA 是一種降維的方法）

5.多分類學(xué)習(xí)：

5.1基于一些基本策略，利用二分類學(xué)習(xí)器來解決多分類問題，拆分策略：一對一（OvO）一對其余（OvR）多對多(MvM):MvM的一種常用技術(shù)，糾錯(cuò)輸出碼（Error Correcting Output Codes,ECOC）

6.類別不平衡問題：1.欠采樣2.過采樣3.閾值移動(dòng)

二、習(xí)題

1.試分析在什么情況下，在以下式子中不比考慮偏置項(xiàng)b。

在線性回歸中，所有參數(shù)的確定都是為了讓殘差項(xiàng)的均值為0且殘差項(xiàng)的平方和最小。在所有其他參數(shù)項(xiàng)確定后，偏置項(xiàng)b（或者說是常數(shù)項(xiàng)）的變化體現(xiàn)出來的就是擬合曲線的上下整體浮動(dòng)，可以看做是其他各個(gè)解釋變量留下的bias的線性修正。因此在線性擬合過程中是需要考慮偏置項(xiàng)的。

但是參考其他人答案，可以對訓(xùn)練集每個(gè)yangben都減去第一個(gè)yangben，然后對新的yangben做線性回歸，這樣就消除了b,只需要用模型y=wt。

2.試證明，對于參數(shù)w，對率回歸（logistics回歸）的目標(biāo)函數(shù)（式1）是非凸的，但其對數(shù)似然函數(shù)（式2）是凸的。

3.https://github.com/makang101/MachineLearning/tree/master/chapter3linearmodel

4.未完成

5.https://github.com/makang101/MachineLearning/tree/master/chapter3linearmodel

6.在當(dāng)前的維度如果不可分，選擇選擇適當(dāng)?shù)挠成浞椒?#xff0c;使其在更高維度上線性可分。

參考https://blog.csdn.net/icefire_tyh/article/details/52069025

http://www.cnblogs.com/zhusleep/p/5621932.html

總結(jié)

以上是生活随笔為你收集整理的《机器学习》 周志华学习笔记第三章 线性模型（课后习题）python 实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。