python划分训练集和测试集_python机器学习:如何划分训练集和测试集
今天用一個實例給大家寫寫在機器學習中如何進行訓練集和測試集的劃分。
實例操練
首先導入今天要使用的數據集
import pandas as pddf = pd.read_csv("carprices.csv")df.head()
這是一個汽車銷售的數據集,里面的變量包括汽車里程、使用年限、銷售價格。我們今天要做的就是用汽車里程、使用年限來建立一個預測銷售價格的機器學習模型。
首先,我們畫圖看一看數據關系
import matplotlib.pyplot as pltplt.scatter(df['Mileage'],df['Sell Price($)'])plt.scatter(df['Age(yrs)'],df['Sell Price($)'])
運行以上代碼可以出2個點圖,分別展示汽車里程和銷售價格的關系和使用年限和銷售價格的關系。
使用年限和銷售價格的關系散點圖
汽車里程和銷售價格的關系散點圖
通過兩個散點圖,我們可以發現使用線性回歸模型進行建模還是比較好的方法,現在我們就要進行訓練集和測試集的劃分了
訓練集 用來訓練模型,估計參數
測試集 用來測試和評估訓練出來的模型好壞,不能用于訓練模型
劃分數據集實操
首先我們要指定數據和數據標簽
X = df[['Mileage','Age(yrs)']]y = df['Sell Price($)']
在本例中,數據集為汽車里程和使用年限構成的數據框,標簽為汽車價格。
然后我們用train_test_split方法分割數據為訓練集和測試集,代碼如下
from sklearn.model_selection import train_test_splitX_train, X_test, y_train, y_test = train_test_split(X,y,test_size=0.3)
講解一下train_test_split的參數:
train_test_split的基本形式如下
X_train,X_test, y_train, y_test =sklearn.model_selection.train_test_split(train_data,train_target,test_size=0.4, random_state=0,stratify=y_train)
其中
train_data:所要劃分的樣本特征集
train_target:所要劃分的樣本結果
test_size:樣本占比,如果是整數的話就是樣本的數量
random_state:是隨機數的種子,在需要重復試驗的時候,保證得到一組一樣的隨機數
stratify是為了保持split前類的分布,通常在類分布不平衡的情況下會用到stratify
在我們的例子中,我們只給出了test_size=0.3,所以我們按照7:3劃分得到了訓練集和測試集,而且這個劃分是隨機的。我們可以看一看訓練數據長啥樣
X_trainy_train
以上代碼可以分別輸出訓練集的數據和標簽。
建立線性回歸模型
from sklearn.linear_model import LinearRegressionclf = LinearRegression()clf.fit(X_train, y_train)
通過以上代碼我們便建立了回歸模型,運用此模型我們可以進行對X_test的預測
clf.predict(X_test)
然后,我們將模型預測值和實際的y_test值進行對比可以得到模型正確率。
clf.score(X_test, y_test)
可以看到,我們訓練的線性回歸模型的正確率達到90%多。
總結
以上是生活随笔為你收集整理的python划分训练集和测试集_python机器学习:如何划分训练集和测试集的全部內容,希望文章能夠幫你解決所遇到的問題。
 
                            
                        - 上一篇: Google 思源黑体:改变字体界的未来
- 下一篇: 【LSTM时间序列预测】基于matlab
