波士顿房价数据集解读
機器學習:波士頓房價數據集
波士頓房價數據集(Boston House Price Dataset)(下載地址:http://t.cn/RfHTAgY)
使用sklearn.datasets.load_boston即可加載相關數據。該數據集是一個回歸問題。每個類的觀察值數量是均等的,共有 506 個觀察,13 個輸入變量和1個輸出變量。
每條數據包含房屋以及房屋周圍的詳細信息。其中包含城鎮犯罪率,一氧化氮濃度,住宅平均房間數,到中心區域的加權距離以及自住房平均房價等等。
CRIM:城鎮人均犯罪率。
ZN:住宅用地超過 25000 sq.ft. 的比例。
INDUS:城鎮非零售商用土地的比例。
CHAS:查理斯河空變量(如果邊界是河流,則為1;否則為0)。
NOX:一氧化氮濃度。
RM:住宅平均房間數。
AGE:1940 年之前建成的自用房屋比例。
DIS:到波士頓五個中心區域的加權距離。
RAD:輻射性公路的接近指數。
TAX:每 10000 美元的全值財產稅率。
PTRATIO:城鎮師生比例。
B:1000(Bk-0.63)^ 2,其中 Bk 指代城鎮中黑人的比例。
LSTAT:人口中地位低下者的比例。
MEDV:自住房的平均房價,以千美元計。
預測平均值的基準性能的均方根誤差(RMSE)是約 9.21 千美元。
重要參數
- return_X_y:表示是否返回target(即價格),默認為False,只返回data(即屬性)。
加載示例
from sklearn.datasets import load_boston
boston = load_boston()
print(boston.data.shape)
(506L, 13L)
from sklearn.datasets import load_boston
data,target = load_boston(return_X_y = True)
print(data.shape)
(506L, 13L)
print(target.shape)
(506L,)
#-*- coding:UTF-8 -*-#第一步:讀取波士頓房價數據 from sklearn.datasets import load_boston boston = load_boston() print boston.DESCR #從輸出結果來看,該數據共有506條波士頓房價的數據,每條數據包括對指定房屋的13項數值型特征和目標房價 #此外,該數據中沒有缺失的屬性/特征值,更加方便了后續的分析#第二步:波士頓房價數據分割 from sklearn.model_selection import train_test_split import numpy as np X_train,X_test,y_train,y_test = train_test_split(boston.data,boston.target,test_size=0.25,random_state=33) #分析回歸目標值的差異 print 'The max target value is ',np.max(boston.target) print 'The min target value is ',np.min(boston.target) print 'The average target value is ',np.mean(boston.target)#第三步:訓練數據和測試數據標準化處理 from sklearn.preprocessing import StandardScaler #分別初始化對特征值和目標值的標準化器 ss_X = StandardScaler() ss_y = StandardScaler() #訓練數據都是數值型,所以要標準化處理 X_train = ss_X.fit_transform(X_train) X_test = ss_X.transform(X_test) #目標數據(房價預測值)也是數值型,所以也要標準化處理 #說明一下:fit_transform與transform都要求操作2D數據,而此時的y_train與y_test都是1D的,因此需要調用reshape(-1,1),例如:[1,2,3]變成[[1],[2],[3]] y_train = ss_y.fit_transform(y_train.reshape(-1,1)) y_test = ss_y.transform(y_test.reshape(-1,1))#第四步:使用線性回歸模型LinearRegression和SGDRegressor分別對美國房價進行預測 #不要搞混了,這里用的是LinearRegression而不是線性分類的LogisticRegression from sklearn.linear_model import LinearRegression lr = LinearRegression() lr.fit(X_train,y_train) lr_y_predict = lr.predict(X_test) from sklearn.linear_model import SGDRegressor sgdr = SGDRegressor() sgdr.fit(X_train,y_train) sgdr_y_predict = sgdr.predict(X_test)#第五步:性能測評 #主要是判斷預測值與真實值之間的差距,比較直觀的評價指標有 #平均絕對值誤差MAE(mean absolute error) #均方誤差MSE(mean squared error) #R-squared評價函數 #使用LinearRegression模型自帶的評估模塊,并輸出評估結果 print 'the value of default measurement of LR:',lr.score(X_test,y_test) from sklearn.metrics import r2_score,mean_squared_error,mean_absolute_error print 'the value of R-squared of LR is',r2_score(y_test,lr_y_predict) #可以使用標準化器中的inverse_transform函數還原轉換前的真實值 print 'the MSE of LR is',mean_squared_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(lr_y_predict)) print 'the MAE of LR is',mean_absolute_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(lr_y_predict)) #使用SGDRegressor自帶的評估模塊,并輸出評估結果 print 'the value of default measurement of SGDR:',sgdr.score(X_test,y_test) from sklearn.metrics import r2_score,mean_squared_error,mean_absolute_error print 'the value of R-squared of SGDR is',r2_score(y_test,sgdr_y_predict) print 'the MSE of SGDR is',mean_squared_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(sgdr_y_predict)) print 'the MAE of SGDR is',mean_absolute_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(sgdr_y_predict))#總結: #從輸出結果來看,回歸模型自帶的評估結果與r2_score的值是一樣的,推薦使用第一種方式 #SGDRegressor在性能上表現略遜于LinearRegression,前者是隨機梯度下降的方式估計參數,后者是精確解析參數 #在數據量十分龐大(10W+)的時候,推薦使用SGDRegressor總結
以上是生活随笔為你收集整理的波士顿房价数据集解读的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: haroopad夜间模式与数学公式显示
- 下一篇: notes from《classific