編者注：本文用logistic回歸來識別多分類問題的手寫數(shù)字，是之前l(fā)ogisitic回歸二分類問題的延續(xù)，該篇文章關于其思想以及編程原理見本人之前文章，在這里只注重識別及其編程過程。

01數(shù)據(jù)準備

數(shù)據(jù)為Matlab加載格式(mat)，包含y、X變量，數(shù)據(jù)來源為(大家可以去這下載)：

https://github.com/jdwittenauer/ipython-notebooks/blob/master/data/ex3data1.mat ，至于為什么要用Matlab格式，因為X是個矩陣不方便用excel之類軟件來保存。

image.png其中，X為5000X400維矩陣，5000代表5000個訓練樣本，400則代表每個訓練樣本(也就是手寫數(shù)字圖像)20 X20像素的灰度強度，隨機選擇其中100個樣本，在Matlab可視化的結果如下：

image.pngy 是一個5000行1列的列向量，取值包括(1,2,3,4,5,6,7,8,9,10)T，注意，由于Matlab下標是從1開始的，故用 10 表示數(shù)字 0。在python中使用scipy導入mat數(shù)據(jù)，代碼如下：

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

from scipy.io import loadmat

data = loadmat('E:\studypythonml\ex3data1.mat')

data

data['X'].shape, data['y'].shape

02 構建相關函數(shù)

在python中分別構建sigmoid、梯度下降、成本函數(shù)等。

def sigmoid(z):

return 1 / (1 + np.exp(-z))

def cost(theta, X, y, learningRate):

theta = np.matrix(theta)

X = np.matrix(X)

y = np.matrix(y)

first = np.multiply(-y, np.log(sigmoid(X * theta.T)))

second = np.multiply((1 - y), np.log(1 - sigmoid(X * theta.T)))

reg = (learningRate / 2 * len(X)) * np.sum(np.power(theta[:,1:theta.shape[1]], 2))

return np.sum(first - second) / (len(X)) + reg

def gradient(theta, X, y, learningRate):

theta = np.matrix(theta)

X = np.matrix(X)

y = np.matrix(y)

parameters = int(theta.ravel().shape[1])

error = sigmoid(X * theta.T) - y

grad = ((X.T * error) / len(X)).T + ((learningRate / len(X)) * theta)

# intercept gradient is not regularized

grad[0, 0] = np.sum(np.multiply(error, X[:,0])) / len(X)

return np.array(grad).ravel()

這其中的編程思想在之前寫的相關隨筆：梯度下降法求解線性回歸、logisitic回歸等出現(xiàn)過，大家可以參考之前文章來了解構建函數(shù)的過程。特別注意的是，從最開始的求解一元線性回歸時，都注重了將X變量的向量化，對于這里更復雜的X變量(矩陣形式)起到了作用，避免采用更復雜的code，如for循環(huán)來引入。

03 構建one vs all函數(shù)

對于logisitic多分類問題，在stanford Coursera公開課中有過專門介紹，所謂多分類問題，是指分類的結果為三類以上。其分類思想與二分類類似，對于k個類別，在預測某個類i的時候，將其作為一類，剩下的作為另一類，這樣的話，就會有k個logisitic分類器，如下圖：

image.png

就需要N個假設函數(shù)(預測模型)，也即需要N組模型參數(shù)θ，對于每一個類 i 訓練一個邏輯回歸模型的分類器h(i)θ(x)，并且預測 y = i時的概率；對于一個新的輸入變量x, 分別對每一個類進行預測，取概率最大的那個類作為分類結果 。因此，在這里構建一個函數(shù)將分類器訓練全部包含進去，這個函數(shù)計算10個分類器中每個分類器的最終權重，并將權重返回為一個k X(n + 1)數(shù)組，其中n是參數(shù)個數(shù)。如下：

from scipy.optimize import minimize

def one_vs_all(X, y, num_labels, learning_rate):

rows = X.shape[0] #X的行數(shù)

params = X.shape[1] #X的列數(shù)

# 對于k個分類器，構建k*(n+1)維向量組

all_theta = np.zeros((num_labels, params + 1))

# 在X第一列之前插入一列全為1的列向量作為常數(shù)項

X = np.insert(X, 0, values=np.ones(rows), axis=1)

# 對于y若將某個類別i拿出來之后剩下的類別構成一類

for i in range(1, num_labels + 1):

theta = np.zeros(params + 1)

y_i = np.array([1 if label == i else 0 for label in y])

y_i = np.reshape(y_i, (rows, 1))

# 采用梯度下降法最小化目標函數(shù)(cost)

fmin = minimize(fun=cost, x0=theta, args=(X, y_i, learning_rate), method='TNC', jac=gradient)

all_theta[i-1,:] = fmin.x

return all_theta

rows = data['X'].shape[0]

params = data['X'].shape[1]

all_theta = np.zeros((10, params + 1))

X = np.insert(data['X'], 0, values=np.ones(rows), axis=1)

theta = np.zeros(params + 1)

y_0 = np.array([1 if label == 0 else 0 for label in data['y']])

y_0 = np.reshape(y_0, (rows, 1))

X.shape, y_0.shape, theta.shape, all_theta.shape

np.unique(data['y'])

all_theta = one_vs_all(data['X'], data['y'], 10, 1)

all_theta

得到10個分類器的最優(yōu)參數(shù)為：

image.png

04 得到預測值并與原值比較計算準確率

根據(jù)訓練生成的all_theta參數(shù)構建預測函數(shù)，得到X對應的預測值

def predict_all(X, all_theta):

rows = X.shape[0]

params = X.shape[1]

num_labels = all_theta.shape[0]

# 與前相同，插入一列全部為1的列向量

X = np.insert(X, 0, values=np.ones(rows), axis=1)

# 轉換為矩陣

X = np.matrix(X)

all_theta = np.matrix(all_theta)

# 計算每個訓練實例上每個類的類概率

h = sigmoid(X * all_theta.T)

# 選取最高的那個概率為該實例的預測數(shù)字標簽并構建數(shù)組

h_argmax = np.argmax(h, axis=1)

# 由于該數(shù)組在訓練時是基于圖片的0-9而預測的，所以要+1以匹配y

h_argmax = h_argmax + 1

return h_argmax

代入，得到預測精度

y_pred = predict_all(data['X'], all_theta)

correct = [1 if a == b else 0 for (a, b) in zip(y_pred, data['y'])]

accuracy = (sum(map(int, correct)) / float(len(correct)))

print 'accuracy = {0}%'.format(accuracy * 100)

首先構建預測值函數(shù)，然后將該值與原始類別值0,1比較，計算其正確的精度，結果為97.46%。

寫作不易，特別是技術類的寫作，請大家多多支持，關注、點贊、轉發(fā)等等，也歡迎大家關注.

總結

以上是生活随笔為你收集整理的python数据分析实战案例logistic_Python机器学习随笔之logistic回归识别手写数字的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。