Embedding技術(shù)概覽：

對其它Embedding技術(shù)不熟悉，可以看我的上一篇文章：
深度學習推薦系統(tǒng)中各類流行的Embedding方法（上）

Graph Embedding簡介

Word2Vec和其衍生出的Item2Vec類模型是Embedding技術(shù)的基礎(chǔ)性方法，二者都是建立在“序列”樣本（比如句子、用戶行為序列）的基礎(chǔ)上的。在互聯(lián)網(wǎng)場景下，數(shù)據(jù)對象之間更多呈現(xiàn)的是圖結(jié)構(gòu)，所以Item2Vec在處理大量的網(wǎng)絡(luò)化數(shù)據(jù)時往往顯得捉襟見肘，在這樣的背景下，Graph Embedding成了新的研究方向，并逐漸在深度學習推薦系統(tǒng)領(lǐng)域流行起來。

Graph Embedding也是一種特征表示學習方式，借鑒了Word2Vec的思路。在Graph中隨機游走生成頂點序列，構(gòu)成訓(xùn)練集，然后采用Skip-gram算法，訓(xùn)練出低維稠密向量來表示頂點。之后再用學習出的向量解決下游問題，比如分類，或者連接預(yù)測問題等。可以看做是兩階段的學習任務(wù)，第一階段先做無監(jiān)督訓(xùn)練生成表示向量，第二階段再做有監(jiān)督學習，解決下游問題。

總之，Graph Embedding是一種對圖結(jié)構(gòu)中的節(jié)點進行Embedding編碼的方法。最終生成的節(jié)點Embedding向量一般包含圖的結(jié)構(gòu)信息及附近節(jié)點的局部相似性信息。不同Graph Embedding方法的原理不盡相同，對于圖信息的保留方式也有所區(qū)別，下面就介紹幾種主流的Graph Embedding方法和它們之間的區(qū)別與聯(lián)系。

DeepWalk-Graph

早期，影響力較大的Graph Embedding方法是于2014年提出的DeepWalk，它的主要思想是在由物品組成的圖結(jié)構(gòu)上進行隨機游走，產(chǎn)生大量物品序列，然后將這些物品序列作為訓(xùn)練樣本輸入Word2Vec進行訓(xùn)練，得到物品的Embedding。因此，DeepWalk可以被看作連接序列Embedding和Graph Embedding的過渡方法。

論文《Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba》用上圖所示的方法展現(xiàn)了DeepWalk的算法流程。DeepWalk算法的具體步驟如下：

• 圖（a）是原始的用戶行為序列。

• 圖（b）基于這些用戶行為序列構(gòu)建了物品關(guān)系圖。可以看出，物品A和B之間的邊產(chǎn)生的原因是用戶U1先后購買了物品A和物品B。如果后續(xù)產(chǎn)生了多條相同的有向邊，則有向邊的權(quán)重被加強。在將所有用戶行為序列都轉(zhuǎn)換成物品關(guān)系圖中的邊之后，全局的物品關(guān)系圖就建立起來了。

• 圖（c）采用隨機游走的方式隨機選擇起始點，重新產(chǎn)生物品序列。

• 將這些物品序列輸入圖（d）所示的Word2Vec模型中，生成最終的物品Embedding向量。

在上述DeepWalk的算法流程中，唯一需要形式化定義的是隨機游走的跳轉(zhuǎn)概率，也就是到達結(jié)點后，下一步遍歷的鄰接點的概率。如果物品關(guān)系圖是有向有權(quán)圖，那么從節(jié)點跳轉(zhuǎn)到節(jié)點的概率定義如下式所示。

其中是物品關(guān)系圖中所有邊的集合，是節(jié)點所有的出邊集合，是節(jié)點到節(jié)點邊的權(quán)重，即DeepWalk的跳轉(zhuǎn)概率就是跳轉(zhuǎn)邊的權(quán)重占所有相關(guān)出邊權(quán)重之和的比例。

如果物品關(guān)系圖是無向無權(quán)圖，那么跳轉(zhuǎn)概率將是上式的一個特例，即權(quán)重將為常數(shù)1，且應(yīng)是節(jié)點所有“邊”的集合，而不是所有“出邊”的集合。

注意： 在DeepWalk論文中，作者只提出DeepWalk用于無向無權(quán)圖。DeepWalk用于有向有權(quán)圖的內(nèi)容是阿里巴巴論文《Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba》中提出的Base Graph Embedding（BGE）模型，其實該模型就是對DeepWalk模型的實踐，本文后邊部分會講解該模型。

DeepWalk相關(guān)論文：

【1】Perozzi B, Alrfou R, Skiena S, et al. DeepWalk: online learning of social representations[C]. knowledge discovery and data mining, 2014: 701-710.

【2】Wang J, Huang P, Zhao H, et al. Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba[C]. knowledge discovery and data mining, 2018: 839-848.

LINE-DeepWalk的改進

DeepWalk使用DFS（Deep First Search，深度優(yōu)先搜索）隨機游走在圖中進行節(jié)點采樣，使用Word2Vec在采樣的序列上學習圖中節(jié)點的向量表示。LINE（Large-scale Information Network Embedding）也是一種基于鄰域相似假設(shè)的方法，只不過與DeepWalk使用DFS構(gòu)造鄰域不同的是，LINE可以看作是一種使用BFS（Breath First Search，廣度優(yōu)先搜索）構(gòu)造鄰域的算法。

在Graph Embedding各個方法中，一個主要區(qū)別是對圖中頂點之間的相似度的定義不同，所以先看一下LINE對于相似度的定義。

LINE定義圖中節(jié)點之間的相似度

現(xiàn)實世界的網(wǎng)絡(luò)中，相連接的節(jié)點之間存在一定的聯(lián)系，通常表現(xiàn)為比較相似或者在向量空間中距離接近。對于帶權(quán)網(wǎng)絡(luò)來說，節(jié)點之間的權(quán)越大，相似度會越高或者距離越接近，這種關(guān)系稱為一階近鄰。一階近鄰關(guān)系用于描述圖中相鄰頂點之間的局部相似度， 形式化描述為若頂點、之間存在直連邊，則邊權(quán)即為兩個頂點的相似度，若不存在直連邊，則一階相似度為0。如下圖所示，6和7之間存在直連邊，且邊權(quán)較大（表現(xiàn)為圖中頂點之間連線較粗），則認為兩者相似且一階相似度較高，而5和6之間不存在直連邊，則兩者間一階相似度為0。

但是，網(wǎng)絡(luò)中的邊往往比較稀疏，僅僅依靠一階近鄰關(guān)系，難以描述整個網(wǎng)絡(luò)的結(jié)構(gòu)。論文中定義了另外一種關(guān)系叫做二階近鄰。例如下圖中的網(wǎng)絡(luò)，節(jié)點5和節(jié)點1,2,3,4相連，節(jié)點6也和節(jié)點1,2,3,4相連，雖然節(jié)點5和6之間沒有直接聯(lián)系，但是節(jié)點5和6之間很可能存在某種相似性。舉個例子，在社交網(wǎng)絡(luò)中，如果兩個人的朋友圈重疊度很高，或許兩個人之間具有相同的興趣并有可能成為朋友；在NLP中，如果不同的詞經(jīng)常出現(xiàn)在同一個語境中，那么兩個詞很可能意思相近。LINE通過捕捉網(wǎng)絡(luò)中的一階近鄰關(guān)系和二階近鄰關(guān)系，更加完整地描述網(wǎng)絡(luò)。并且LINE適用于有向圖、無向圖、有權(quán)圖、無權(quán)圖。

LINE算法模型

（1）一階近鄰關(guān)系模型

一階近鄰關(guān)系模型中定義了兩個概率，一個是聯(lián)合概率，如下公式所示：

其中， 是圖中節(jié)點的向量表示，上式表示節(jié)點和之間的相似程度，這是一個sigmoid函數(shù)。

另外一個是經(jīng)驗概率，如下公式所示：

其中，是節(jié)點和之間的權(quán)重。優(yōu)化目標為最小化下式：

其中，是兩個分布的距離，目標是期望兩個概率分布接近，利用KL散度來計算相似性，丟掉常數(shù)項之后，得到下面公式：

一階近鄰關(guān)系模型的優(yōu)化目標就是最小化。可以看到，上面這些公式無法表達方向概念，因此一階近鄰關(guān)系模型只能描述無向圖。

（2）二階近鄰關(guān)系模型

二階近鄰關(guān)系描述的是節(jié)點與鄰域的關(guān)系，每個節(jié)點有兩個向量，一個是該頂點本身的表示向量，一個是該頂點作為其他頂點的鄰居時的表示向量，因此論文中對每個節(jié)點定義了兩個向量，表示節(jié)點本身，?是節(jié)點作為鄰居的向量表示。針對每一個從節(jié)點到的有向邊，定義一個條件概率，如下式：

其中，是圖中所有的節(jié)點數(shù)量，這其實是一個函數(shù)。同樣，還有一個經(jīng)驗概率，如下式：

其中，是邊的邊權(quán)，是從頂點出發(fā)指向鄰居節(jié)點的所有邊權(quán)之和，是從節(jié)點出發(fā)指向鄰居的所有邊集合。同樣需要最小化條件概率和經(jīng)驗概率之間的距離，優(yōu)化目標為：

其中，為控制節(jié)點重要性的因子，可以通過頂點的度數(shù)或者PageRank等方法估計得到。假設(shè)度比較高的節(jié)點權(quán)重較高，令，采用KL散度來計算距離，略去常數(shù)項后，得到公式：

直接優(yōu)化上式計算復(fù)雜度很高，每次迭代需要對所有的節(jié)點向量做優(yōu)化，論文中使用Word2Vec中的負采樣方法，得到二階近鄰的優(yōu)化目標，如下公式所示。從計算的過程可以看到，二階相似度模型可以描述有向圖。(滑動查看完整公式)

對比一階近鄰模型和二階近鄰模型的優(yōu)化目標，差別就在于，二階近鄰模型對每個節(jié)點多引入了一個向量表示。實際使用的時候，對一階近鄰模型和二階近鄰模型分別訓(xùn)練，然后將兩個向量拼接起來作為節(jié)點的向量表示。

此外有一點需要說明，在Graph Embedding方法中，例如DeepWalk、Node2Vec、EGES，都是采用隨機游走的方式來生成序列再做訓(xùn)練，而LINE直接用邊來構(gòu)造樣本，這也是他們的一點區(qū)別。

LINE論文：

【1】Tang J, Qu M, Wang M, et al. Line: Large-scale information network embedding[C]//Proceedings of the 24th international conference on world wide web. 2015: 1067-1077.

node2vec

2016年，斯坦福大學的研究人員在DeepWalk的基礎(chǔ)上更進一步，提出了node2vec模型，它通過調(diào)整隨機游走權(quán)重的方法使Graph Embedding的結(jié)果更傾向于體現(xiàn)網(wǎng)絡(luò)的同質(zhì)性（homophily）或結(jié)構(gòu)性（structural equivalence）。

node2vec的同質(zhì)性和結(jié)構(gòu)性

具體的講，網(wǎng)絡(luò)的“同質(zhì)性”指的是距離相近節(jié)點的Embedding應(yīng)盡量近似，如下圖所示，節(jié)點與其相連的節(jié)點的Embedding表達應(yīng)該是接近的，這就是網(wǎng)絡(luò)的“同質(zhì)性”的體現(xiàn)。“結(jié)構(gòu)性”指的是結(jié)構(gòu)上相似的節(jié)點Embedding應(yīng)盡量近似，下圖中節(jié)點和節(jié)點都是各自局域網(wǎng)絡(luò)的中心節(jié)點，結(jié)構(gòu)上相似，其Embedding的表達也應(yīng)該近似，這是“結(jié)構(gòu)性”的體現(xiàn)。

為了使Graph Embedding的結(jié)果能夠表達網(wǎng)絡(luò)的“結(jié)構(gòu)性”，在隨機游走過程中，需要讓游走的過程更傾向于BFS，因為BFS會更多地在當前節(jié)點的鄰域中游走遍歷，相當于對當前節(jié)點周邊的網(wǎng)絡(luò)結(jié)構(gòu)進行一次“微觀掃描”。當前節(jié)點是“局部中心節(jié)點”，還是“邊緣節(jié)點”，或是“連接性節(jié)點”，其生成的序列包含的節(jié)點數(shù)量和順序必然是不同的，從而讓最終的Embedding抓取到更多結(jié)構(gòu)性信息。

另外，為了表達“同質(zhì)性”，需要讓隨機游走的過程更傾向于DFS，因為DFS更有可能通過多次跳轉(zhuǎn)，游走到遠方的節(jié)點上，但無論怎樣，DFS的游走更大概率會在一個大的集團內(nèi)部進行，這就使得一個集團或者社區(qū)內(nèi)部的節(jié)點的Embedding更為相似，從而更多地表達網(wǎng)絡(luò)的“同質(zhì)性”。

但是在不同的任務(wù)中需要關(guān)注的重點不同，可能有些任務(wù)需要關(guān)注網(wǎng)絡(luò)的homophily，而有些任務(wù)比較關(guān)注網(wǎng)絡(luò)的structural equivalence，可能還有些任務(wù)兩者兼而有之。在DeepWalk中，使用DFS隨機游走在圖中進行節(jié)點采樣，使用Word2Vec在采樣的序列學習圖中節(jié)點的向量表示，無法靈活地捕捉這兩種關(guān)系。

實際上，對于這兩種關(guān)系的偏好，可以通過不同的序列采樣方式來實現(xiàn)。有兩種極端的方式，一種是BFS，如上圖中紅色箭頭所示，從u出發(fā)做隨機游走，但是每次都只采樣頂點u的直接鄰域，這樣生成的序列通過無監(jiān)督訓(xùn)練之后，特征向量表現(xiàn)出來的是structural equivalence特性。另外一種是DFS，如上圖中藍色箭頭所示，從u出發(fā)越走越遠，學習得到的特征向量反應(yīng)的是圖中的homophily關(guān)系。

node2vec算法

那么在node2vec算法中，是怎么控制BFS和DFS的傾向性呢？主要是通過節(jié)點間的跳轉(zhuǎn)概率。下圖所示為node2vec算法從節(jié)點跳轉(zhuǎn)到節(jié)點，再從節(jié)點跳轉(zhuǎn)到周圍各點的跳轉(zhuǎn)概率。假設(shè)從某頂點出發(fā)開始隨機游走，第步走到當前頂點，要探索第步的頂點，如下圖所示。下面的公式表示從頂點到的跳轉(zhuǎn)概率，是圖中邊的集合，表示頂點和之間的邊，表示從節(jié)點跳轉(zhuǎn)到下一個節(jié)點的概率，是歸一化常數(shù)。

帶偏隨機游走的最簡單方法是基于下一個節(jié)點邊權(quán)重進行采樣，即，是權(quán)重之和。對于無權(quán)重的網(wǎng)絡(luò)，。最簡單的方式，就是按照這個轉(zhuǎn)移概率進行隨機游走，但是無法控制BFS和DFS的傾向性。

node2vec用兩個參數(shù)和定義了一個二階隨機游走，以控制隨機游走的策略。假設(shè)當前隨機游走經(jīng)過邊到達頂點，現(xiàn)在要決定從節(jié)點跳轉(zhuǎn)到下一個節(jié)點，需要依據(jù)邊上的跳轉(zhuǎn)概率。設(shè)，是頂點和之間的邊權(quán)；是修正系數(shù)，定義如下：

上式中表示下一步頂點和頂點之間的最短距離，只有3種情況，如果又回到頂點，那么；如果和直接相鄰，那么；其他情況。參數(shù)和共同控制著隨機游走的傾向性。參數(shù)被稱為返回參數(shù)（return parameter），控制著重新返回頂點的概率。如果，那么下一步較小概率重新返回頂點；如果，那么下一步會更傾向于回到頂點，node2vec就更注重表達網(wǎng)絡(luò)的結(jié)構(gòu)性。

參數(shù)被稱為進出參數(shù)（in-out parameter），如果，那么下一步傾向于回到或者的臨近頂點，這接近于BFS的探索方式；如果，那么下一步傾向于走到離更遠的頂點，接近于DFS尋路方式，node2vec就更加注重表達網(wǎng)絡(luò)的同質(zhì)性。

因此，可以通過設(shè)置和來控制游走網(wǎng)絡(luò)的方式。所謂的二階隨機游走，意思是說下一步去哪，不僅跟當前頂點的轉(zhuǎn)移概率有關(guān)，還跟上一步頂點相關(guān)。在論文中試驗部分，作者對和的設(shè)置一般是2的指數(shù)，比如。

node2vec這種靈活表達同質(zhì)性和結(jié)構(gòu)性的特點也得到了實驗的證實，通過調(diào)整參數(shù)和產(chǎn)生了不同的Embedding結(jié)果。下圖中的上半部分圖片就是node2vec更注重同質(zhì)性的體現(xiàn)，可以看到距離相近的節(jié)點顏色更為接近，下圖中下半部分圖片則更注重體現(xiàn)結(jié)構(gòu)性，其中結(jié)構(gòu)特點相近的節(jié)點的顏色更為接近。

node2vec在推薦系統(tǒng)中的思考

node2vec所體現(xiàn)的網(wǎng)絡(luò)的同質(zhì)性和結(jié)構(gòu)性在推薦系統(tǒng)中可以被很直觀的解釋。同質(zhì)性相同的物品很可能是同品類、同屬性，或者經(jīng)常被一同購買的商品，而結(jié)構(gòu)性相同的物品則是各品類的爆款、各品類的最佳湊單商品等擁有類似趨勢或者結(jié)構(gòu)性屬性的商品。毫無疑問，二者在推薦系統(tǒng)中都是非常重要的特征表達。由于node2vec的這種靈活性，以及發(fā)掘不同圖特征的能力，甚至可以把不同node2vec生成的偏向“結(jié)構(gòu)性”的Embedding結(jié)果和偏向“同質(zhì)性”的Embedding結(jié)果共同輸入后續(xù)的深度學習網(wǎng)絡(luò)，以保留物品的不同圖特征信息。

node2vec論文：

【1】Grover A, Leskovec J. node2vec: Scalable feature learning for networks[C]//Proceedings of the 22nd ACM SIGKDD international conference on Knowledge discovery and data mining. 2016: 855-864.

EGES

2018 年，阿里巴巴公布了其在淘寶應(yīng)用的Embedding方法 EGES（Enhanced Graph Embedding with Side Information）算法，其基本思想是Embedding過程中引入帶權(quán)重的補充信息（Side Information），從而解決冷啟動的問題。

淘寶平臺推薦的三個問題：

• 可擴展性(scalability)：已有的推薦算法(CF、Base-Content、DL)可以在小數(shù)據(jù)集上有不錯效果，但是對于10億用戶和20億商品這樣海量的數(shù)據(jù)集上效果差。

• 稀疏性(sparsity)：用戶僅與小部分商品交互，難以訓(xùn)練準確的推薦模型。

• 冷啟動(cold start)：物品上新頻繁，然而這些商品并沒有用戶行為，預(yù)測用戶對這些商品的偏好是十分具有挑戰(zhàn)性的。

現(xiàn)在業(yè)界針對海量數(shù)據(jù)的推薦問題通用框架是分成兩個階段，即matching 和 ranking。在matching階段，我們會生成一個候選集，它的items會與用戶接觸過的每個item具有相似性；接著在ranking階段，我們會訓(xùn)練一個深度神經(jīng)網(wǎng)絡(luò)模型，它會為每個用戶根據(jù)他的偏好對候選items進行排序。論文關(guān)注的問題在推薦系統(tǒng)的matching階段，也就是從商品池中召回候選商品的階段，核心的任務(wù)是計算所有item之間的相似度。

為了達到這個目的，論文提出根據(jù)用戶歷史行為構(gòu)建一個item graph，然后使用DeepWalk學習每個item的embedding，即Base Graph Embedding（BGE）。BGE優(yōu)于CF，因為基于CF的方法只考慮了在用戶行為歷史上的items的共現(xiàn)率，但是對于少量或者沒有交互行為的item，仍然難以得到準確的embedding。為了減輕該問題，論文提出使用side information來增強embedding過程，提出了Graph Embedding with Side information (GES)。例如，屬于相似類別或品牌的item的embedding應(yīng)該相近。在這種方式下，即使item只有少量交互或沒有交互，也可以得到準確的item embedding。在淘寶場景下，side information包括：category、brand、price等。不同的side information對于最終表示的貢獻應(yīng)該不同，于是論文進一步提出一種加權(quán)機制用于學習Embedding with Side Information，稱為Enhanced Graph Embedding with Side information (EGES)。

基于圖的Embedding（BGE）

該方案是 DeepWalk 算法的實踐，具體流程如下：

• 首先，我們擁有上億用戶的行為數(shù)據(jù)，不同的用戶，在每個 Session 中，訪問了一系列商品，例如用戶 u2 兩次訪問淘寶，第一次查看了兩個商品 B-E，第二次產(chǎn)看了三個商品 D-E-F。

• 然后，通過用戶的行為數(shù)據(jù)，我們可以建立一個商品圖（Item Graph），可以看出，物品A，B之間的邊產(chǎn)生的原因就是因為用戶U1先后購買了物品A和物品B，所以產(chǎn)生了一條由A到B的有向邊。如果后續(xù)產(chǎn)生了多條相同的有向邊，則有向邊的權(quán)重被加強。在將所有用戶行為序列都轉(zhuǎn)換成物品相關(guān)圖中的邊之后，全局的物品相關(guān)圖就建立起來了。

• 接著，通過 Random Walk 對圖進行采樣，重新獲得商品序列。

• 最后，使用 Skip-gram 模型進行 Embedding 。

Base Graph Embedding 與 DeepWalk 不同的是：通過 user 的行為序列構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)，并將網(wǎng)絡(luò)定義為有向有權(quán)圖。 其中：根據(jù)行為的時間間隔，將一個 user 的行為序列分割為多個session。session分割可以參考Airbnb這篇論文《Real-time Personalization using Embeddings for Search Ranking at Airbnb》。

使用Side Information的GE（GES）

通過使用BGE，我們能夠?qū)tems映射到高維向量空間，并考慮了CF沒有考慮的用戶序列關(guān)系。但是我們依然沒有解決冷啟動的問題。為了解決冷啟動問題，我們使用邊信息（ category, shop, price, etc）賦值給不同的item。因為邊信息相同的兩個item，理論而言會更接近。通過DeepWalk方案得到item的游走序列，同時得到對應(yīng)的邊信息（category，brand，price）序列。然后將所有序列放到Word2Vec模型中進行訓(xùn)練。針對每個 item，將得到：item_embedding，category_embedding，brand_embedding，price_embedding 等 embedding 信息。

為了與之前的item embedding區(qū)分開，在加入Side information之后，我們稱得到的embedding為商品的aggregated embeddings。商品v的aggregated embeddings為：

對上式做一個簡單的解釋：針對每個 item，將得到：item_embedding，category_embedding，brand_embedding，price_embedding 等 embedding 信息。將這些 embedding 信息求均值來表示該 item的Embedding。

需要注意的一點是，item 和 side information（例如category, brand, price等） 的 Embedding 是通過 Word2Vec 算法一起訓(xùn)練得到的。 如果分開訓(xùn)練，得到的item_embedding和category_embedding、brand_embedding、price_embedding不在一個向量空間中，做運算無意義。即：通過 DeepWalk 方案得到 item 的游走序列，同時得到對應(yīng)的{category, brand, price}序列。然后將所有序列數(shù)據(jù)放到Word2Vec模型中進行訓(xùn)練。

增強型GES（EGES）

GES中存在一個問題是，針對每個item，它把所有的side information embedding求和后做了平均，沒有考慮不同的side information 之間的權(quán)重，EGES就是讓不同類型的side information具有不同的權(quán)重，提出來一個加權(quán)平均的方法來聚集這些邊界embedding。

因為每個item對其不同邊信息的權(quán)重不一樣，所以就需要額外矩陣來表示每個item邊信息的權(quán)重，其大小為，是item的個數(shù)，是邊信息的個數(shù)，加1是還要考慮item自身Embedding的權(quán)重。為了簡單起見，我們用表示第個item、第個類型的side information的權(quán)重。表示第個item自身Embedding的權(quán)重。這樣就可以獲得加權(quán)平均的方法：

這里對權(quán)重項做了指數(shù)變換，目的是為了保證每個邊信息的貢獻都能大于0。權(quán)重矩陣通過模型訓(xùn)練得到。EGES算法應(yīng)用改進的Word2Vec算法（Weighted Skip-Gram）確定模型的參數(shù)。對上圖中EGES算法簡單說明如下：

• 上圖的Sparse Features代表 item 和 side information 的ID信息；

• Dense Embeddings 表示 item 和 side information 的 embedding 信息；

• 分別代表 item 和 side information 的 embedding 權(quán)重；

• Sampled Softmax Classifier中的代表采樣的負樣本（見論文中的Algorithm 2 Weighted Skip-Gram描述的第8行），代表正樣本（某個item周邊上下n個item均為正樣本，在模型中表示時不區(qū)分遠近）；

EGES并沒有過于復(fù)雜的理論創(chuàng)新，但給出了一個工程上的融合多種Embedding的方法，降低了某類信息缺失造成的冷啟動問題，是實用性極強的Embedding方法。

EGES論文：

【1】Wang J, Huang P, Zhao H, et al. Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba[C]. knowledge discovery and data mining, 2018: 839-848.

總結(jié)

時至今日，Graph Embedding仍然是工業(yè)界和學術(shù)界研究和實踐的熱點，除了本文介紹的DeepWalk、LINE、node2vec、EGES等主流方法，SDNE、struct2vec等方法也是重要的Graph Embedding模型，感興趣的讀者可以自己查找相關(guān)文獻進一步學習。

本文原創(chuàng)首發(fā)于公眾號【Microstrong】，想了解更多關(guān)于推薦系統(tǒng)、自然語言處理等方向的內(nèi)容，歡迎掃碼關(guān)注公眾號。關(guān)注公眾號后，點擊【學習群】可以加入我們的交流群一起學習！

【Microstrong】持續(xù)產(chǎn)出推薦系統(tǒng)/NLP/機器學習/深度學習等相關(guān)技術(shù)干貨和實踐經(jīng)驗。關(guān)注公眾號還可以了解Microstrong的成長之路和程序人生喲！

Microstrong近期文章：

深入理解XGBoost

Self-Attention與Transformer

深入理解GBDT回歸算法

深入理解CatBoost

深度學習推薦系統(tǒng)中各類流行的Embedding方法（上）

深入淺出Word2Vec原理解析

夕小瑤的賣萌屋

關(guān)注&星標小夕，帶你解鎖AI秘籍
訂閱號主頁下方「撩一下」有驚喜

參考文獻

【1】《深度學習推薦系統(tǒng)》王喆編著。

【2】【Graph Embedding】DeepWalk：算法原理，實現(xiàn)和應(yīng)用 - 淺夢的文章 - 知乎 https://zhuanlan.zhihu.com/p/56380812
【3】【論文筆記】DeepWalk - 陌上疏影涼的文章 - 知乎 https://zhuanlan.zhihu.com/p/45167021
【4】【Graph Embedding】LINE：算法原理，實現(xiàn)和應(yīng)用 - 淺夢的文章 - 知乎 https://zhuanlan.zhihu.com/p/56478167
【5】Graph Embedding：從DeepWalk到SDNE - 羽刻的文章 - 知乎 https://zhuanlan.zhihu.com/p/33732033
【6】Graph Embedding之探索LINE - 張備的文章 - 知乎 https://zhuanlan.zhihu.com/p/74746503
【7】【Graph Embedding】node2vec：算法原理，實現(xiàn)和應(yīng)用 - 淺夢的文章 - 知乎 https://zhuanlan.zhihu.com/p/56542707
【8】node2vec在工業(yè)界的應(yīng)用-《當機器學習遇上復(fù)雜網(wǎng)絡(luò)：解析微信朋友圈 Lookalike 算法》，地址：https://mp.weixin.qq.com/s/EV-25t2lWT2JJMLhXsz4zQ
【9】graph embedding之node2vec - 張備的文章 - 知乎 https://zhuanlan.zhihu.com/p/63631102
【10】Graph Embedding在淘寶推薦系統(tǒng)中的應(yīng)用 - 張備的文章 - 知乎 https://zhuanlan.zhihu.com/p/70198918
【11】Graph Embedding - 阿里EGES算法 - 王多魚的文章 - 知乎 https://zhuanlan.zhihu.com/p/69069878
【12】Graph Embedding：深度學習推薦系統(tǒng)的"基本操作" - 顧鵬的文章 - 知乎 https://zhuanlan.zhihu.com/p/68247149
【13】論文閱讀:Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba，地址：https://blog.csdn.net/Super_Json/article/details/85537938

總結(jié)

以上是生活随笔為你收集整理的深度学习推荐系统中各类流行的Embedding方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。