?　本文總結(jié)了一下評(píng)分卡建模過(guò)程中常用的模型評(píng)估方法，并結(jié)合代碼展示，理論結(jié)合實(shí)際，方便初學(xué)者對(duì)模型評(píng)估的方法有深入的理解。之前寫過(guò)一篇模型評(píng)估的指標(biāo)，偏于理論，詳情見(jiàn)風(fēng)控模型指標(biāo)詳解。

1.AUC

?　AUC值指的是ROC曲線下面積大小，該值能夠量化反映基于ROC曲線衡量的模型性能。所以，需要了解ROC曲線的繪制方法。
?　首先，需要了解TPR(真陽(yáng)性率)和FPR(假陽(yáng)性率)。TPR就是P個(gè)正樣本中被預(yù)測(cè)為正的概率，FPR是N個(gè)負(fù)樣本中被預(yù)測(cè)為正樣本的概率。(FPR,TPR)形成ROC曲線上的一個(gè)點(diǎn)。

?　ROC曲線通過(guò)不斷移動(dòng)截?cái)帱c(diǎn)來(lái)生成不同的(FPR,TPR)，可以理解為評(píng)分卡中的cut-off在不斷變化。

?　繪制出ROC曲線之后，AUC就是ROC曲線下的面積。此外ROC曲線相對(duì)應(yīng)的P-R曲線之間的區(qū)別，有興趣的可以研究下，這里不再贅述。下面附上代碼：

def plot_roc(y_label,y_pred):"""y_label:測(cè)試集的yy_pred:對(duì)測(cè)試集預(yù)測(cè)后的概率return:ROC曲線"""tpr,fpr,threshold = metrics.roc_curve(y_label,y_pred) AUC = metrics.roc_auc_score(y_label,y_pred) fig = plt.figure(figsize=(6,4))ax = fig.add_subplot(1,1,1)ax.plot(tpr,fpr,color='blue',label='AUC=%.3f'%AUC) ax.plot([0,1],[0,1],'r--')ax.set_ylim(0,1)ax.set_xlim(0,1)ax.set_title('ROC')ax.legend(loc='best')return plt.show(ax)

2.KS

?　KS曲線與ROC曲線非常的類似。KS曲線是兩條線，其橫軸是閾值，縱軸是TPR與FPR。兩條曲線之間之間相距最遠(yuǎn)的地方對(duì)應(yīng)的閾值，就是最能劃分模型的閾值。KS曲線是用來(lái)衡量分類型模型準(zhǔn)確度的工具。

KS的計(jì)算步驟如下：

計(jì)算每個(gè)評(píng)分區(qū)間的好壞賬戶數(shù)。

計(jì)算每個(gè)評(píng)分區(qū)間的累計(jì)好賬戶數(shù)占總好賬戶數(shù)比率(good%)和累計(jì)壞賬戶數(shù)占總壞賬戶數(shù)比率(bad%)。

計(jì)算每個(gè)評(píng)分區(qū)間累計(jì)壞賬戶占比與累計(jì)好賬戶占比差的絕對(duì)值（累計(jì)good%-累計(jì)bad%），然后對(duì)這些絕對(duì)值取最大值即得此評(píng)分卡的K-S值。

def plot_model_ks(y_label,y_pred):"""y_label:測(cè)試集的yy_pred:對(duì)測(cè)試集預(yù)測(cè)后的概率return:KS曲線"""pred_list = list(y_pred) label_list = list(y_label)total_bad = sum(label_list)total_good = len(label_list)-total_bad items = sorted(zip(pred_list,label_list),key=lambda x:x[0]) step = (max(pred_list)-min(pred_list))/200 pred_bin=[]good_rate=[] bad_rate=[] ks_list = [] for i in range(1,201): idx = min(pred_list)+i*step pred_bin.append(idx) label_bin = [x[1] for x in items if x[0]<idx] bad_num = sum(label_bin)good_num = len(label_bin)-bad_num goodrate = good_num/total_good badrate = bad_num/total_badks = abs(goodrate-badrate) good_rate.append(goodrate)bad_rate.append(badrate)ks_list.append(ks)fig = plt.figure(figsize=(8,6))ax = fig.add_subplot(1,1,1)ax.plot(pred_bin,good_rate,color='green',label='good_rate')ax.plot(pred_bin,bad_rate,color='red',label='bad_rate')ax.plot(pred_bin,ks_list,color='blue',label='good-bad')ax.set_title('KS:{:.3f}'.format(max(ks_list)))ax.legend(loc='best')return plt.show(ax)

?　此外還有基尼系數(shù)，列出三者的綜合判斷標(biāo)準(zhǔn)：

3.交叉驗(yàn)證

?　交叉驗(yàn)證是為了評(píng)估模型的泛化能力。

k折交叉驗(yàn)證

• 第一步，不重復(fù)抽樣將原始數(shù)據(jù)隨機(jī)分為 k 份。
• 第二步，每一次挑選其中 1 份作為測(cè)試集，剩余 k-1 份作為訓(xùn)練集用于模型訓(xùn)練。
• 第三步，重復(fù)第二步 k 次，這樣每個(gè)子集都有一次機(jī)會(huì)作為測(cè)試集，其余子集作為訓(xùn)練集。在每個(gè)訓(xùn)練集上訓(xùn)練后得到一個(gè)模型，用這個(gè)模型在相應(yīng)的測(cè)試集上測(cè)試，計(jì)算并保存模型的評(píng)估指標(biāo)。
• 第四步，計(jì)算 k 組測(cè)試結(jié)果的平均值作為模型精度的估計(jì)，并作為當(dāng)前 k 折交叉驗(yàn)證下模型的性能指標(biāo)

時(shí)間序列交叉驗(yàn)證
?　金融數(shù)據(jù)具有時(shí)間周期性的特點(diǎn)，不同時(shí)間段的樣本分布和變量分布會(huì)有一定差異，首先在選取建模的樣本時(shí)就要考慮是否能代表總體的樣本分布或者近段時(shí)間用戶的狀態(tài)。在做交叉驗(yàn)證時(shí)也需要考慮到時(shí)間周期這一點(diǎn)，例如我們選取的是1月份至10月份的數(shù)據(jù)，可以借鑒K折驗(yàn)證的思想，將數(shù)據(jù)集按照月份分為 10份，每次挑選其中一份作為測(cè)試集，其他作為訓(xùn)練集，得到10組的驗(yàn)證結(jié)果，觀察隨著月份的推移，模型的結(jié)果是否有比較大的趨勢(shì)變化，這個(gè)也可以反映出樣本是否穩(wěn)定。如果變化較明顯，則需要分析是什么原因?qū)е碌?#xff0c;是內(nèi)部大的業(yè)務(wù)政策，還是外部的經(jīng)濟(jì)環(huán)境。

# 交叉驗(yàn)證 def cross_verify(x,y,estimators,fold,scoring='roc_auc'):"""x:自變量的數(shù)據(jù)集y:target的數(shù)據(jù)集estimators：驗(yàn)證的模型fold：交叉驗(yàn)證的策略scoring:評(píng)級(jí)指標(biāo)，默認(rèn)aucreturn:交叉驗(yàn)證的結(jié)果"""cv_result = cross_val_score(estimator=estimators,X=x,y=y,cv=fold,n_jobs=-1,scoring=scoring)print('CV的最大AUC為:{}'.format(cv_result.max()))print('CV的最小AUC為:{}'.format(cv_result.min()))print('CV的平均AUC為:{}'.format(cv_result.mean()))plt.figure(figsize=(6,4))plt.title('交叉驗(yàn)證的評(píng)價(jià)指標(biāo)分布圖')plt.boxplot(cv_result,patch_artist=True,showmeans=True,boxprops={'color':'black','facecolor':'yellow'},meanprops={'marker':'D','markerfacecolor':'tomato'},flierprops={'marker':'o','markerfacecolor':'red','color':'black'},medianprops={'linestyle':'--','color':'orange'})return plt.show()

畫出的效果圖如下：

4.學(xué)習(xí)曲線

?　學(xué)習(xí)曲線的縱軸是訓(xùn)練集的大小，橫軸是模型在訓(xùn)練集上和交叉驗(yàn)證集上的平均得分（準(zhǔn)確率），可以反映隨著訓(xùn)練集大小的改變，模型在訓(xùn)練集和驗(yàn)證集上的誤差得分情況。進(jìn)而判定模型的擬合情況。

• 第一張圖中，隨著訓(xùn)練集不斷增大，模型在訓(xùn)練集和驗(yàn)證集上的得分不斷靠近，但兩者的得分都比較低，存在欠擬合的問(wèn)題。
• 第二張圖中，隨著訓(xùn)練集增大，模型在訓(xùn)練集和驗(yàn)證集上的得分不斷靠近，且兩者的得分都比較高，說(shuō)明模型的擬合比較良好。
  更多關(guān)于學(xué)習(xí)曲線的問(wèn)題可以查看官方文檔，鏈接是學(xué)習(xí)曲線
  注意：金融模型很容易出現(xiàn)過(guò)擬合的問(wèn)題，解決過(guò)擬合的方法有很多，例如增加建模樣本，正則化等，例如邏輯回歸里可以選擇L1正則化或L2正則化，且可設(shè)置正則化的強(qiáng)度，另外做評(píng)分卡時(shí)，入模的變量不宜太多，太多的變量會(huì)使模型過(guò)于復(fù)雜，容易出現(xiàn)過(guò)擬合，一般應(yīng)限制在15個(gè)以下。

# 學(xué)習(xí)曲線 def plot_learning_curve(estimator,x,y,cv=None,train_size = np.linspace(0.1,1.0,5),plt_size =None):"""estimator :畫學(xué)習(xí)曲線的基模型x:自變量的數(shù)據(jù)集y:target的數(shù)據(jù)集cv:交叉驗(yàn)證的策略train_size:訓(xùn)練集劃分的策略plt_size:畫圖尺寸return:學(xué)習(xí)曲線"""from sklearn.model_selection import learning_curvetrain_sizes,train_scores,test_scores = learning_curve(estimator=estimator,X=x,y=y,cv=cv,n_jobs=-1,train_sizes=train_size)train_scores_mean = np.mean(train_scores,axis=1)train_scores_std = np.std(train_scores,axis=1)test_scores_mean = np.mean(test_scores,axis=1)test_scores_std = np.std(test_scores,axis=1)plt.figure(figsize=plt_size)plt.xlabel('Training-example')plt.ylabel('score')plt.fill_between(train_sizes,train_scores_mean-train_scores_std,train_scores_mean+train_scores_std,alpha=0.1,color='r')plt.fill_between(train_sizes,test_scores_mean-test_scores_std,test_scores_mean+test_scores_std,alpha=0.1,color='g')plt.plot(train_sizes,train_scores_mean,'o-',color='r',label='Training-score')plt.plot(train_sizes,test_scores_mean,'o-',color='g',label='cross-val-score')plt.legend(loc='best')return plt.show()

5.混淆矩陣

?　混淆矩陣的指標(biāo)有精確率，查全率(召回率)，誤傷率。這三個(gè)指標(biāo)的值取決于評(píng)分卡的cutoff點(diǎn)怎么設(shè)置。評(píng)分卡最后會(huì)輸出一個(gè)評(píng)分分布表，根據(jù)評(píng)分的等級(jí)和業(yè)務(wù)目標(biāo)來(lái)選擇適當(dāng)?shù)腸utoff點(diǎn)，從而計(jì)算出這三個(gè)指標(biāo)。

# 混淆矩陣 /分類報(bào)告 def plot_matrix_report(y_label,y_pred): """y_label:測(cè)試集的yy_pred:對(duì)測(cè)試集預(yù)測(cè)后的概率return:混淆矩陣"""matrix_array = metrics.confusion_matrix(y_label,y_pred)plt.matshow(matrix_array, cmap=plt.cm.summer_r)plt.colorbar()for x in range(len(matrix_array)): for y in range(len(matrix_array)):plt.annotate(matrix_array[x,y], xy =(x,y), ha='center',va='center')plt.xlabel('True label')plt.ylabel('Predict label')print(metrics.classification_report(y_label,y_pred))return plt.show()

【作者】：Labryant
【原創(chuàng)公眾號(hào)】：風(fēng)控獵人
【簡(jiǎn)介】：某創(chuàng)業(yè)公司策略分析師，積極上進(jìn)，努力提升。乾坤未定，你我都是黑馬。
【轉(zhuǎn)載說(shuō)明】：轉(zhuǎn)載請(qǐng)說(shuō)明出處，謝謝合作！~

總結(jié)

以上是生活随笔為你收集整理的风控模型评估的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。