讓機(jī)器搞懂100萬(wàn)種隱含語(yǔ)義 騰訊Peacock模型全揭秘

騰訊模型

36大數(shù)據(jù)?· 2015-02-28 17:21

Peacock通過并行計(jì)算對(duì)10億x1億級(jí)別的大規(guī)模矩陣進(jìn)行分解，從海量樣本數(shù)據(jù)中學(xué)習(xí)10萬(wàn)到100萬(wàn)量級(jí)的隱含語(yǔ)義。現(xiàn)應(yīng)用到文本語(yǔ)義理解、QQ群的推薦、用戶商業(yè)興趣挖掘、相似用戶擴(kuò)展、廣告點(diǎn)擊率轉(zhuǎn)化率預(yù)估等騰訊業(yè)務(wù)。

編者按：LDA是一個(gè)簡(jiǎn)潔、優(yōu)雅、實(shí)用的隱含主題模型，騰訊效果廣告平臺(tái)部（廣點(diǎn)通）的工程師們?yōu)榱藨?yīng)對(duì)互聯(lián)網(wǎng)的大數(shù)據(jù)處理，開發(fā)了大規(guī)模隱含主題模型建模系統(tǒng)Peacock，通過并行計(jì)算對(duì)10億x1億級(jí)別的大規(guī)模矩陣進(jìn)行分解，從而從海量樣本數(shù)據(jù)中學(xué)習(xí)10萬(wàn)到100萬(wàn)量級(jí)的隱含語(yǔ)義。Peacock已應(yīng)用在騰訊的文本語(yǔ)義理解、QQ群的推薦、用戶商業(yè)興趣挖掘、相似用戶擴(kuò)展、廣告點(diǎn)擊率轉(zhuǎn)化率預(yù)估等多個(gè)業(yè)務(wù)數(shù)據(jù)中。本文節(jié)選自Peacock團(tuán)隊(duì)的論文《Peacock：大規(guī)模主題模型及其在騰訊業(yè)務(wù)中的應(yīng)用》，分享了廣點(diǎn)通Peacock研發(fā)和訓(xùn)練的技術(shù)思想和技術(shù)細(xì)節(jié)，以及Peacock在騰訊業(yè)務(wù)中的應(yīng)用，供讀者參考。以下為節(jié)選章節(jié)：

三、十億文檔、百萬(wàn)詞匯、百萬(wàn)主題？

LDA 的訓(xùn)練算法貌似并不復(fù)雜，主要的工作就是在維護(hù)兩個(gè)頻率計(jì)數(shù)矩陣N_td 和N_wt。然而在這個(gè)時(shí)代，我們要面對(duì)的是互聯(lián)網(wǎng)的海量數(shù)據(jù)，想象一下，如果在圖15中，左邊的文檔節(jié)點(diǎn)是十億、中間的主題個(gè)數(shù)是百萬(wàn)、右邊不同的詞的個(gè)數(shù)也是百萬(wàn)，我們將需要處理一張多大的圖！

圖15文檔d_1中詞w主題重新采樣

在實(shí)際應(yīng)用中，我們希望使用更多的數(shù)據(jù)訓(xùn)練更大的模型，這包含了兩重意思：

“更多的數(shù)據(jù)”，我們希望訓(xùn)練器能處理海量的訓(xùn)練數(shù)據(jù)，因?yàn)楦嗟臄?shù)據(jù)蘊(yùn)含著更加豐富的隱含語(yǔ)義，同時(shí)模型也更加準(zhǔn)確，效果更好。上一小節(jié)提到單機(jī)版LDA訓(xùn)練器顯然是處理不了海量數(shù)據(jù)的，使用它訓(xùn)練模型，我們估計(jì)要等到天荒地老了。

“更大的模型”，我們希望訓(xùn)練器能歸納出更多更具體更長(zhǎng)尾的隱含語(yǔ)義，比如一百萬(wàn)主題。拋開標(biāo)準(zhǔn)LDA算法本身的問題，更大的模型意味著N_wt矩陣規(guī)模更大。N_wt的大小為V×K，V表示詞表大小，K表示主題個(gè)數(shù)。取V=1，000,000且K=1,000,000，N_wt需要消耗3000G以上內(nèi)存（假設(shè)int型密集存儲(chǔ)，因?yàn)槟Ｐ碗S機(jī)初始化并不稀疏），顯然單機(jī)內(nèi)存是無(wú)法滿足需求的，必須對(duì)模型進(jìn)行切分。

下面分別從數(shù)據(jù)并行和模型并行兩個(gè)方面來(lái)介紹怎樣解決上述兩個(gè)問題。“數(shù)據(jù)并行”和“模型并行“是Google大神Jeff Dean在深度學(xué)習(xí)訓(xùn)練系統(tǒng)DistBelief[13]中新提出的兩個(gè)概念，盡管Peacock系統(tǒng)開發(fā)的時(shí)候，DistBelief還沒有真正對(duì)外公布。隨著深度學(xué)習(xí)的持續(xù)升溫，大家現(xiàn)在已經(jīng)逐漸熟悉了這兩個(gè)形象的名詞，此處請(qǐng)?jiān)试S我們借用一下這兩個(gè)概念。

3.1 數(shù)據(jù)并行——處理更多的數(shù)據(jù)

“數(shù)據(jù)并行”通俗的理解：通過多任務(wù)（每個(gè)任務(wù)都包含一份完整的模型）并行的處理數(shù)據(jù)訓(xùn)練模型，任務(wù)之間的模型或同步或異步的進(jìn)行融合。借用王益[3]的說法，“如果一個(gè)算法可以做數(shù)據(jù)并行，很可能就是可擴(kuò)展的了”。幸運(yùn)的是，David Newman團(tuán)隊(duì)發(fā)現(xiàn)基于吉布斯采樣的LDA訓(xùn)練算法可以“數(shù)據(jù)并行”，并給這個(gè)算法取了一個(gè)名字叫AD-LDA[14]。

注意，AD-LDA算法是吉布斯采樣的近似算法，因?yàn)閲?yán)格的吉布斯采樣要求串行采樣，不能并行。直觀的理解就是語(yǔ)料中前一個(gè)詞w_1采樣更新后的N_wt和N_t應(yīng)該應(yīng)用于后一個(gè)詞w_2的采樣，而不是w_1和w_2的采樣都基于相同狀態(tài)的N_wt和N_t。AD-LDA算法會(huì)使得LDA的訓(xùn)練收斂速度變慢，但在多幾輪迭代后，AD-LDA算法可以收斂到與串行吉布斯采樣相同的點(diǎn)。

圖17給出了AD-LDA算法的示意圖：

假設(shè)我們有三個(gè)可執(zhí)行單元，每個(gè)都啟動(dòng)一個(gè)采樣任務(wù)，每個(gè)任務(wù)中都有一個(gè)完整的“本地”模型L N_wt；

任務(wù)并行的處理訓(xùn)練語(yǔ)料數(shù)據(jù)塊(W,T)和N_td，更新模型L N_wt，同時(shí)序列化更新后的訓(xùn)練語(yǔ)料數(shù)據(jù)塊(W,T)和N_td到磁盤；

在迭代結(jié)束或任務(wù)處理訓(xùn)練語(yǔ)料數(shù)據(jù)塊過程中，任務(wù)之間或同步或異步的融合模型。模型融合的方式可以類似MPI中的AllReduce，也可以借助全局的參數(shù)服務(wù)器G N_wt。

AD-LDA算法的整個(gè)過程和MapReduce的執(zhí)行過程非常一致，所以早期有非常多的團(tuán)隊(duì)使用MapReduce來(lái)實(shí)現(xiàn)AD-LDA算法[5]：

MapReduce的一個(gè)Job進(jìn)行AD-LDA算法的一個(gè)迭代；

訓(xùn)練語(yǔ)料數(shù)據(jù)塊(W,T)和N_td作為Job輸入，Mapper加載上個(gè)迭代生成的G N_wt作為 L N_wt，對(duì)數(shù)據(jù)塊中的詞進(jìn)行主題采樣；

Reducer融合各個(gè)L N_wt，生成下一個(gè)迭代需要加載的G N_wt。

因?yàn)镸apReduce使用磁盤進(jìn)行數(shù)據(jù)交換，同時(shí)整個(gè)訓(xùn)練任務(wù)需要調(diào)度幾百個(gè)Jobs，所以基于MapReduce的AD-LDA實(shí)現(xiàn)是非常低效的。

圖17 AD-LDA算法

3.2 模型并行——訓(xùn)練更大的模型

圖18 模型并行1

上文提到，訓(xùn)練大模型時(shí)，N_wt太大而無(wú)法整體放入任務(wù)的內(nèi)存，直觀的解決方法如圖18所示，將N_wt沿詞的維度進(jìn)行分片，每個(gè)采樣任務(wù)只加載一個(gè)模型分片N_wt^((i))。相應(yīng)的，語(yǔ)料數(shù)據(jù)塊也需要做對(duì)應(yīng)的詞維度切分，因?yàn)閱蝹€(gè)任務(wù)i只能采樣N_wt^((i))包含的詞w。細(xì)心的童鞋可能已經(jīng)發(fā)現(xiàn)，圖18所示的模型并行方式在N_td上采用了類似AD-LDA算法的近似，L N_td間的融合與L N_wt間的融合類似，相應(yīng)的算法也會(huì)減緩收斂（因?yàn)镹_wt是所有訓(xùn)練語(yǔ)料上的聚合結(jié)果，而N_td只和具體文檔d有關(guān)，后者變化比前者更加“快速”， N_td的并行近似采樣更加“危險(xiǎn)”，很容易造成訓(xùn)練不收斂）。

圖19 模型并行2

有沒有辦法不進(jìn)行N_td的并行近似采樣，同時(shí)保持上述的模型切片方式呢？Peacock系統(tǒng)設(shè)計(jì)了圖19所示的并行采樣方式：加載了不同N_wt^((i))切片的任務(wù)并行的沿對(duì)角線方向?qū)τ?xùn)練語(yǔ)料數(shù)據(jù)塊(W,T)進(jìn)行采樣，一條對(duì)角線采樣完成后，依次進(jìn)行下一條對(duì)角線。這樣在對(duì)同一個(gè)文檔的不同數(shù)據(jù)塊間的詞進(jìn)行采樣時(shí)，仍然保持了“串行性”，應(yīng)用了之前數(shù)據(jù)塊中的詞對(duì)N_td的更新。圖19的模型并行采樣方式收斂性同AD-LDA是一致的。

3.3 大規(guī)模主題模型訓(xùn)練系統(tǒng)Peacock

圖20 Peacock中的數(shù)據(jù)并行和模型并行

為了“利用更多的數(shù)據(jù)訓(xùn)練更大的模型”，Peacock系統(tǒng)結(jié)合了上述的“數(shù)據(jù)并行”和“模型并行”（圖20）：

多組“模型并行”任務(wù)之間采用“數(shù)據(jù)并行”的方式工作，“模型并行”任務(wù)組內(nèi)部，依然保持圖19所示的并行采樣方式；

在迭代結(jié)束或任務(wù)處理訓(xùn)練語(yǔ)料數(shù)據(jù)塊過程中，不同“模型并行”任務(wù)組之間或同步或異步的融合模型分片L N_wt^i。模型融合的方式可以類似MPI中的AllReduce，也可以借助全局的參數(shù)服務(wù)器G N_wt^i。

同上一小節(jié)“模型并行”的分析類似，Peacock系統(tǒng)的采樣方式收斂性同AD-LDA是一致的。Max Welling團(tuán)隊(duì)提出的Async-LDA[6]證明了異步融合L N_wt^i方式的收斂性。當(dāng)Peacock采用異步方式融合L N_wt^i時(shí)，相當(dāng)于同時(shí)結(jié)合了AD-LDA和Async-LDA算法，實(shí)踐證明收斂性是沒有問題的。

當(dāng)然，Peacock系統(tǒng)在具體實(shí)現(xiàn)上除了上述的主要設(shè)計(jì)思想，還有很多的實(shí)用技巧，比如：

數(shù)據(jù)傳輸和文檔采樣之間的流水線。

圖19所示的模型并行方式在每條對(duì)角線并行采樣結(jié)束后都需要同步，怎樣去掉這種同步？

怎樣的模型N_wt分片方式，能盡可能的保證采樣服務(wù)器之間的負(fù)載均衡？

我們是否需要每個(gè)迭代都重采樣所有詞的主題？

怎樣快速的計(jì)算對(duì)數(shù)似然度？

怎樣將模型的超參數(shù)α_t和β優(yōu)化融入Peacock系統(tǒng)？

除了標(biāo)準(zhǔn)的吉布斯采樣，是否有更加快速的采樣算法？

主題數(shù)K從100到1,000,000，系統(tǒng)的內(nèi)部數(shù)據(jù)結(jié)構(gòu)都保持不變么？

四、Peacock在騰訊都有哪些應(yīng)用？

4.1 文本語(yǔ)義分析

圖21 文本分析示例

為了理解互聯(lián)網(wǎng)上海量、多樣化、非結(jié)構(gòu)化的自然語(yǔ)言描述的文本，我們通常會(huì)從詞法、句法、語(yǔ)義等維度進(jìn)行分析。受限于文本字面信息量小，存在歧義現(xiàn)象，詞法和句法分析容易遭遇 Vocabulary Gap的問題，從海量文本數(shù)據(jù)中歸納 “知識(shí)”，從語(yǔ)義角度幫助理解文本，是一種非常重要的途徑。

例如，對(duì)于輸入文本 “紅酒木瓜湯效果怎么樣？”，根據(jù)人的背景知識(shí)，很容易猜到這是一位女性用戶在詢問豐胸產(chǎn)品“紅酒木瓜靚湯”的效果。對(duì)于機(jī)器而言，通常會(huì)先進(jìn)行詞法分析，對(duì)原始文本做切詞、詞性標(biāo)注、命名實(shí)體識(shí)別等，然后使用詞袋模型（Bag of Words，BOW）或提取關(guān)鍵詞來(lái)表示文本。不難發(fā)現(xiàn)，從字面抽取的信息，很容易理解成“紅酒”、“木瓜”等餐飲類語(yǔ)義，并非原始文本真實(shí)的意思。當(dāng)然，我們可以對(duì)關(guān)鍵詞做擴(kuò)展，給出一些相似的詞條，但是，更好的是直接理解語(yǔ)義。一種常見的方法是文本分類，由于對(duì)標(biāo)注語(yǔ)料庫(kù)的依賴，類別規(guī)模一般不會(huì)太大，粒度較粗。還有一種方法就是文本聚類，挖掘語(yǔ)義主題標(biāo)簽，更細(xì)粒度的理解文本意思，隱含語(yǔ)義分析技術(shù)逐漸發(fā)展成為常用的解決方案。能夠從十億級(jí)別的文檔中歸納上百萬(wàn)語(yǔ)義的Peacock系統(tǒng)更是在騰訊廣點(diǎn)通廣告系統(tǒng)扮演著核心角色。這些不同維度的文本分析模塊，包括詞袋、關(guān)鍵詞提取、關(guān)鍵詞擴(kuò)展、文本分類和Peacock等（圖21），整合在一起構(gòu)成了我們理解語(yǔ)言的基礎(chǔ)文本分析平臺(tái)TextMiner（圖22）。

圖22 文本分析平臺(tái)TextMiner

4.1.1 文本分類器

文本分類是一個(gè)典型的有監(jiān)督的機(jī)器學(xué)習(xí)任務(wù)，我們?cè)谧鲈诰€廣告系統(tǒng)過程中遇到的任務(wù)就有許多，包括網(wǎng)頁(yè)分類、廣告分類、QQ群分類、用戶興趣分類等。在使用相同的標(biāo)注數(shù)據(jù)集和機(jī)器學(xué)習(xí)算法情況下，如何找到有區(qū)分力的特征無(wú)疑是最為關(guān)鍵的。

以QQ群分類為例，使用群名稱、群簡(jiǎn)介、群公告等文本描述，類別體系是二級(jí)層次結(jié)構(gòu)，共100+節(jié)點(diǎn)，標(biāo)注訓(xùn)練數(shù)據(jù)80,000。以BOW作為基礎(chǔ)特征，新增Peacock主題特征后，一級(jí)行業(yè)準(zhǔn)確率和召回率均有顯著提升，達(dá)5%左右，二級(jí)行業(yè)在召回率降低不到1%的情況下，準(zhǔn)確率提升達(dá)3.86%，達(dá)到了實(shí)際應(yīng)用的需求。具體數(shù)據(jù)如圖23所示。

圖23 QQ群分類器效果

4.1.2 相關(guān)性計(jì)算

對(duì)給定的查詢語(yǔ)句，搜索引擎會(huì)將檢索到的網(wǎng)頁(yè)進(jìn)行排序，把相關(guān)性好的排在前面。同樣的，在線廣告系統(tǒng)應(yīng)該保證展示給用戶的廣告與頁(yè)面內(nèi)容、用戶興趣相關(guān)，以盡量不影響用戶體驗(yàn)。這里都涉及到一個(gè)共同的任務(wù)：排序?qū)W習(xí)。此問題通常被形式化為有監(jiān)督的學(xué)習(xí)問題，我們會(huì)將查詢、網(wǎng)頁(yè)、用戶、廣告表示成語(yǔ)義特征向量，從而在語(yǔ)義空間里比較用戶意圖（查詢、網(wǎng)頁(yè)內(nèi)容、用戶歷史行為）和網(wǎng)頁(yè)、廣告的相關(guān)性。

Peacock已成功應(yīng)用在騰訊搜索廣告和情境廣告中，用于分析文本數(shù)據(jù)，歸納自然語(yǔ)言的語(yǔ)義，從而更好地匹配查詢?cè)~和廣告，以及頁(yè)面內(nèi)容和廣告。在情境廣告 Learning To Rank 相關(guān)性計(jì)算框架下，增加Peacock語(yǔ)義特征后，NDCG@5提升達(dá)8.92%，線上A/B Test實(shí)驗(yàn) AdCTR 提升 8.82%。相關(guān)性評(píng)估效果圖24所示。

圖24 情境廣告相關(guān)性（相關(guān)性標(biāo)注樣本包括4,000 查詢，200,000對(duì)(查詢, 廣告)，標(biāo)注0~3四檔打分）

4.2 廣告 CTR 預(yù)估

廣告點(diǎn)擊率預(yù)估是預(yù)測(cè)給定場(chǎng)景下一個(gè)廣告被點(diǎn)擊的概率：P(click=1 | ad, user, context)，user 表示當(dāng)前用戶，context 表示當(dāng)前的環(huán)境信息，譬如當(dāng)前所在的網(wǎng)頁(yè)。點(diǎn)擊率預(yù)估是在線廣告系統(tǒng)最核心的技術(shù)之一，它決定著廣告的排序和計(jì)價(jià)。

業(yè)界一般做法是將廣告展示、點(diǎn)擊日志作為訓(xùn)練數(shù)據(jù)，抽取特征，通過機(jī)器學(xué)習(xí)方法擬合訓(xùn)練數(shù)據(jù)得到預(yù)估模型，進(jìn)而做在線點(diǎn)擊率預(yù)估。選取有效的特征對(duì)得到一個(gè)精準(zhǔn)的點(diǎn)擊率預(yù)估模型起著至關(guān)重要的作用。

Peacock 是我們理解廣告語(yǔ)義的關(guān)鍵技術(shù)，被引入到廣告點(diǎn)擊率預(yù)估模型中提升效果。具體的，與 KDD Cup 2012 Track2 的數(shù)據(jù)集產(chǎn)生過程類似，我們使用了騰訊情境廣告系統(tǒng)的廣告展示、點(diǎn)擊日志，使用L1范數(shù)正則的邏輯回歸訓(xùn)練預(yù)估模型，通過 AUC 評(píng)估模型精度。 Baseline 使用一些基礎(chǔ)特征，優(yōu)化實(shí)驗(yàn)分別在 baseline 特征集合的基礎(chǔ)上引入主題規(guī)模為 1000、10,000 和 100,000 的 Peacock Top-N語(yǔ)義特征。

圖25 pCTR增加不同粒度topic特征模型AUC的提升

從圖25可以看出，加入Peacock 語(yǔ)義特征后 AUC得到了顯著提升，尤其當(dāng)增加 topic 規(guī)模為 100,000的Peacock語(yǔ)義特征時(shí)，AUC 提升最大，約為1.8%，線上 A/B Test 實(shí)驗(yàn)AdCTR 有 8.82% 的提升。

4.3 精準(zhǔn)廣告定向

在騰訊效果廣告平臺(tái)廣點(diǎn)通系統(tǒng)里，Peacock被用于理解用戶行為數(shù)據(jù)，從中歸納用戶興趣，提供廣告精準(zhǔn)定向技術(shù)。

騰訊豐富的產(chǎn)品線擁有中國(guó)互聯(lián)網(wǎng)公司最多的用戶，有著海量、豐富的用戶關(guān)系和行為數(shù)據(jù)，如QQ好友關(guān)系，QQ 群關(guān)系，電商瀏覽、交易，新聞瀏覽，查詢 Query，UGC 內(nèi)容（如微博、說說等），移動(dòng)App 安裝，微信公眾號(hào)文章閱讀和廣告點(diǎn)擊行為等。通過用戶行為數(shù)據(jù)的挖掘可以幫助我們更好的了解用戶，以推送精準(zhǔn)的廣告。而這些數(shù)據(jù)都可以形式化為用戶-物品矩陣，如用戶-用戶、QQ-QQ群，用戶-應(yīng)用（Apps），用戶-搜索詞（或搜索Session），用戶-URLs等。我們利用Peacock系統(tǒng)對(duì)上述用戶-物品做矩陣分解（如圖3），從不同數(shù)據(jù)來(lái)源，多視角理解用戶興趣，進(jìn)而挖掘相似用戶，提供給廣告主豐富的定向策略，如用戶商業(yè)興趣定向、關(guān)鍵詞定向和Look-Alike定向等。同時(shí)，獲取到的用戶特征，也可以作為廣告CTR、CVR預(yù)估系統(tǒng)的重要特征。

4.4 QQ 群推薦

圖26 QQ群推薦

根據(jù)用戶已加QQ群社交關(guān)系數(shù)據(jù)，利用Peacock對(duì)QQ-QQ群做矩陣分解，我們發(fā)現(xiàn)語(yǔ)義相近的QQ群被比較好的歸到了相同的主題下，如圖8、9、10所示。非常直觀的，我們將Peacock 模型應(yīng)用在QQ群消息面板推薦產(chǎn)品中（如圖26），相比基于QQ好友關(guān)系鏈的推薦算法，推薦群的點(diǎn)擊率和轉(zhuǎn)化率（即點(diǎn)擊后是否加入了該群）均有2~3倍的提升（圖27）。

圖27 QQ群推薦效果

論文《Peacock：大規(guī)模主題模型及其在騰訊業(yè)務(wù)中的應(yīng)用》由趙學(xué)敏、王莉峰、王流斌執(zhí)筆，靳志輝、孫振龍等修訂，相關(guān)工作由騰訊SNG效果廣告平臺(tái)部（廣點(diǎn)通）質(zhì)量研發(fā)中心Peacock團(tuán)隊(duì)王益、趙學(xué)敏、孫振龍、嚴(yán)浩、王莉峰、靳志輝、王流斌為主完成，蘇州大學(xué)曾嘉教授、實(shí)習(xí)生高洋等持續(xù)大力支持，是多人合作的結(jié)果。

via:CSDN

36大數(shù)據(jù)

36大數(shù)據(jù)微信號(hào)：dashuju36

36大數(shù)據(jù)是一個(gè)專注大數(shù)據(jù)、大數(shù)據(jù)技術(shù)、大數(shù)據(jù)應(yīng)用案例和數(shù)據(jù)可視化的科技網(wǎng)站。從數(shù)據(jù)角度出發(fā)，講述大數(shù)據(jù)電子商務(wù)、網(wǎng)絡(luò)游戲、征信、互聯(lián)網(wǎng)金融、工/農(nóng)/商業(yè)等多個(gè)領(lǐng)域的應(yīng)用。36大數(shù)據(jù)是百度大數(shù)據(jù)戰(zhàn)略合作媒體，我們只提供最權(quán)威最干貨最接地氣最具價(jià)值的內(nèi)容。

微信公眾號(hào)：36大數(shù)據(jù)(dashuju36)

網(wǎng)站地址：36dsj.com

投稿郵箱：dashuju36@qq.com 36大數(shù)據(jù)讀者QQ千人群：80958753

36大數(shù)據(jù)是WeMedia自媒體成員之一，WeMedia是自媒體第一聯(lián)盟，覆蓋1000萬(wàn)人群。詳情搜索“wemedia2013

建議你點(diǎn)擊“閱讀原文”查看更多文章……

總結(jié)

以上是生活随笔為你收集整理的让机器搞懂100万种隐含语义 腾讯Peacock模型全揭秘的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。