點擊上方“大數據與人工智能”，“星標或置頂公眾號”

第一時間獲取好內容

作者丨stephenDC

編輯丨Zandy

這是作者的第15篇文章

本文是特征工程系列的第3篇，也是最后一篇。

作者會在本文中結合自己在視頻推薦方面的工作經驗，著重從工程實現方面，講述如何對特征進行評估的問題。下文中，我們首先會厘清“特征評估”的概念，然后講述特征評估的標準，最后是問題的反向排查。

?涉及到“特征選擇”和“特征表達”的細節或背景，大家可以參閱該系列的前兩篇文章，《特征工程(上)—特征選擇》和《特征工程(中)-特征表達》。

厘清概念

? ??什么是特征評估？

特征評估從概念上很容易跟特征選擇糾纏到一起，因此非常有必要先厘清概念。在特征選擇的過程中，我們需要對特征的每個維度進行評估，來選擇出相對更重要的特征。然后，對于選擇出的特征維度，我們會根據原始數據，對特征進行編碼，進而得到特征。本文所說的特征評估，指的是對已經生成的特征的整體評估，發生在特征選擇和特征編碼之后，因此不要跟特征選擇過程中的對單個特征維度相對重要性的評估弄混了。

評估標準

? ? ? ? ? ??分析前需要優先考慮哪些特征？特征工程的最終目的是提供給模型做預測，因此只要特征在模型上表現的好就夠了。這話一點兒沒錯，但倘若特征的表現不如人意呢？我們有沒有辦法提前發現問題，或者說如果最后不得不推倒重來，怎么找到改進的方向。所以，在最終的定量分析之前，還需要從特征的覆蓋率、特征維度、定性分析等各個方面，對特征進行先行評估。

• 覆蓋率

覆蓋率指的是，能成功生成出特征的視頻和用戶，占全體視頻和用戶的比例。特征提取和生成的方法不同，其覆蓋率也自然不同。對視頻的特征生成來說，可以基于內容，也可以基于用戶行為。這里講述并對比3種方法，分別以關鍵詞(簡稱為“標簽”)、“ALS”和“Word2vec”。

標簽：視頻標簽是內容的體現，因此是基于內容生成特征的典型方式。有了視頻標簽，就可以用One-hot或者TF-IDF的方式，進行特征編碼，進而得到特征。因此，這種方法的覆蓋率，取決于視頻標簽的覆蓋率。

ALS：ALS是Alternating Least Square的首字母縮寫，是Spark mllib最早實現的算法之一。ALS是求解矩陣分解的一種典型方法，將用戶對視頻的評分矩陣進行分解，分別得到用戶和視頻的特征。因此，這種方法存在冷啟動問題，無法覆蓋到尚無用戶操作過的視頻，也無法覆蓋尚未有過操作行為的用戶。

Word2vec：Word2vec是谷歌提出的詞嵌入模型，可以將一個詞嵌入到特定的特征空間之中，并維持詞與詞之間的語義關系。如果每個視頻當成一個單詞，將每個用戶觀看過的視頻當成一個句子，則可以用Word2vec對視頻編碼，得到視頻特征。所以，這種方法從原理上決定了，對沒有被播放過或剛上線不久未被用戶充分選擇的視頻，因為得到的特征會不準確，都無法覆蓋。

• 特征維度

在實際工程實現的時候，特征的維度是一個非常重要的考慮因素。因為特征的維度，跟特征的表達能力、適用的模型以及計算的復雜度都有關系。特征維度太低，顯然特征的表達能力有限；特征維度太高，不僅會讓計算量升級(計算量跟模型復雜度有關)，還容易帶來維度災難的問題(可參看《機器學習中的維度災難》)。因此，特征的維度要和計算框架以及數據規模相適應。首先是特征維度要和計算框架的能力相匹配。作者曾經基于Spark mllib來做特征工程，后來發現mllib有一個致命的缺陷，就是只實現了數據分布式，而沒有實現參數分布式。我們準備了2億條數據，3000多維的稠密特征，結果還只能抽樣使用一部分數據來訓練模型。后來我們改用了Spark?on Angel 的Parameter Server框架，才算解決了這個問題。(Angel Git地址：https://github.com/Angel-ML/angel/tree/master/spark-on-angel)然后，特征維度也要和數據規模相匹配。我們用另一種方案，為視頻生成了稀疏特征，加上用戶特征維度近千萬級。顯然，2億條數據和千萬級特征的情況下，用深度學習的模型，肯定會過擬合的。

• 定性分析

對可解釋性特征，基于抽樣的定性分析非常有用。比如，使用視頻標簽來生成特征，每個維度都可解釋。我個人非常喜歡“諾蘭”、“姜文”、“周星馳”等標簽，不喜歡“恐怖片”的標簽，而我的播放記錄也基本匹配了我的個人愛好，那么如果最后得到的特征在“恐怖片”這個維度比“諾蘭”這個維度的值還要高，那就不用灌入模型訓練了，這肯定是有問題的。基于抽樣的定性分析，還可以稍微拓展到公司的同事，請他們幫忙驗證各自的特征。如果有明顯的問題，我們就可以及時修正；如果已經沒有顯著的問題，我們就可以將特征灌入模型訓練，然后基于模型結果進行定量分析了。

• 定量分析

特征灌入模型，并對結果進行定量分析，這非常接近模型評估的概念了。對于一個訓練好的模型，重要的是評估其泛化能力。對分類問題，可以在獨立的測試集上考察準確率、召回率、F-Score等一系列指標；對回歸問題，也有常規的MAE、RMSE等評估指標。當然，最終的模型評估，免不了要上線進行A/B測試，畢竟線下和線上的環境會有差異，而且有些商業指標可能上線之后才能統計。對特征的評估，跟上述對模型的評估類似，稍微不同的是，我們現階段評估的重心是特征。在模型評估的時候，特征已經確定，重點是選模型及最優的參數；而在特征評估的階段，特征本身的好壞也需要作為一個變量，也即是說，如果這組特征在各種模型和參數之下的表現都不近人意，那我們就需要對問題進行反向排查了。

問題反向排查

? ? ? ? ?特征表現不好，如何找出問題所在？如果特征表現不好，怎么樣去查找問題所在，找到改進方向呢？我們先來分析一下，最終的定量分析指標，比如RMSE，是怎么得到。首先，需要先從數據源提取出特征。在這個過程中，數據源的質量、特征提取的方案，都會影響到最后得到的特征。然后，我們將特征灌入模型進行訓練，這時模型的選型、模型的訓練，都會影響到最終的分析指標。所以，當特征表現不夠好時，我們就可以按照這個流程對問題進行反向排查了。

1

模型的問題

首先，我們需要排除模型的問題。大家都知道，機器學習是沒有免費午餐的，沒有任何一種模型可以在任何問題上表現都優于另一種模型。所以，我們要根據特征和數據量，選擇合適的模型。舉例：FM會對一階特征進行二階交叉，這對標簽特征很有意義，那對Word2vec這樣的嵌入特征是否就不一定合適了呢？再比如，KNN在低維問題上表現非常出色，但對于高維的特征，由于維度災難的問題，也是不適合的。如果這組特征在各種模型下的表現都不夠好，此時我們就需要去考慮特征本身可能的問題了。

2

特征的問題

在數據源確定的情況下，影響特征質量的因素主要是特征選擇和特征編碼。在特征選擇方面，我們要考慮選擇出的特征是否完備，冗余度如何等。在編碼方案上，我們也要考慮現有的編碼方式，是否能合理地刻畫一個對象。舉例：比如，作者先前很排斥對電影標簽用TF-IDF的方式編碼。因為周星馳比趙本山演了更多的電影，“周星馳”這個標簽比“趙本山”IDF(逆向文本頻率)項的值就要低很多；但周星馳的電影風格很凸出，而《三槍》和《一代宗師》卻并沒有因為趙本山的參演而增加多少相似性。但后來從全局考慮，作者還是接受了TF-IDF的方案，而“周星馳”這個標簽的重要程度只能從視頻標簽權重的角度補回來了。再比如，對用戶看過的視頻，如何根據播放行為轉化為分數？要不要考慮觀看行為的時間衰減，如何衰減？這些都會影響到最終的特征。如果特征的編碼方案經過排查，并沒有大的問題，但特征表現還是不夠好，那就需要去排查數據源的問題了。。

3

數據源問題

還是以視頻推薦為背景，基于標簽的特征構建，依賴視頻標簽數據和用戶行為數據。也就是說，如果標簽不準，或者用戶行為里混入了臟數據，特征工程的質量是可以想見的。這個問題很難完全避免，但需要相關團隊的大力支持。比如，視頻標簽需要編輯團隊辛苦的打標簽工作；而用戶行為日志，則需要BI團隊辛苦的ETL工作。沒有這些相關同事的工作，特征工程就是巧婦難為無米之炊了。

小結

本文在“特征選擇”和“特征表達”的基礎上，聊了一下特征評估的問題。至此，特征工程系列終于結束。由于作者的水平及在這方面的工作經驗均非常有限，個中不足還請大家不吝賜教。-end-相關內容閱讀

1.特征工程(中)-特征表達

2.特征工程(上)—特征選擇

3.指數分布族

4.誤差反向傳播

5.極大似然估計、極大后驗估計和貝葉斯估計

6.?稀疏核機(下)—稀疏性

7.?稀疏核機(中)—核方法

8.稀疏核機(上)—SVM回顧

總結

以上是生活随笔為你收集整理的word2vec模型评估_特征工程（下）—特征评估的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。