雇水军刷分有效吗?虚假评论的影响研究分析
「論文訪談間」是由 PaperWeekly 和中國中文信息學會社會媒體處理專委會(SMP)聯合發起的論文報道欄目,旨在讓國內優質論文得到更多關注和認可。
?
在線產品評論的價值在于其是否能夠客觀、真實地體現產品及服務的質量,幫助人們在消費前建立合適的心理預期,并做出更加明智的消費決策。然而,在線點評平臺上商家為提高排名,會雇傭水軍進行“刷分”,以此來吸引更多潛在的消費者。在線虛假的產品評論是否會對用戶后續評價產生影響??
目前關于虛假評論對用戶的影響,存在著三種不同的說法:第一,虛假評論會提升后續用戶的評分?!邦I頭羊效應”導致后續用戶評分提高。第二,虛假評論對后續用戶評分沒有影響。“群體智慧”理論認為短時間內平均分的提高,會逐漸被“群體智慧”所糾正,最終沒有影響。第三,虛假評論會對后續用戶產生消極影響。“刷分”導致平均分的提高使得用戶對店鋪的期望值過高,當期望與實際消費體驗相差較大時,用戶更有可能發表消極的評論。?
為了研究虛假評論究竟是否會對后續評分產生影響,本文選取了“某點評”平臺 300 多萬條評論數據,識別出其中存在刷分行為的可疑店鋪,并識別出對應的“刷分”區間,對比區間前后平均分的差異,并利用建模模擬評分演化。
虛假評論識別
目前識別虛假評論主要采用三類特征數據:評論內容、用戶信息、評分序列。在不同的平臺上,平臺出售的產品的類型、平臺所使用的語言都會對評論的文本特征產生影響。因此使用評論的文本特征對于識別虛假評論并不可靠。在線評論平臺中,大部分用戶的個人信息缺失嚴重,使用用戶信息識別虛假評論的可行性較低。
本文根據店鋪的評分序列,采用滑動區間的方式,利用以下特征,一共識別出 48 個可疑店鋪。第一,虛假評論通常是在短時間內爆發;第二,為了能夠提高產品在推薦系統中的排名,虛假評論通常都是高分評論;第三,高分評論短時間內集中式爆發。
針對這 48 個可疑店鋪,我們找到平均分最高的滑動區間,并在這個區間的基礎上,向兩邊進行延伸,最終識別出“刷分”區間。如圖 1 所示,ab 圖表示的是識別出的可疑店鋪以及對應的“刷分”區間。圖 cd 為正常店鋪的評分序列。
▲?圖1. 店鋪店鋪實際評分序列
“刷分”區間驗證
在識別出“刷分”區間后,根據以下兩個方面對識別的準確性進行驗證:?
1. 虛假評論相對于真實用戶,參與評論的次數更少。商家雇傭水軍進行刷分,通常情況下所使用的賬號較新,存活時間較短(存活時間即注冊賬號到發表評論的時間間隔)。如圖 2 所示,紅色點表示 48 個可疑店鋪,灰色點表示隨機挑選的正常店鋪。48 個可疑店鋪大部分分布在對角線上方,即“刷分”區間內用戶的平均存活時間較短,識別正確。
▲?圖2. 用戶存活時間對比
2. “刷分”區間內評論時間間隔較短。如圖 3 所示,紅色點位于對角線左上方,說明識別出的 48 個可疑店鋪中,“刷分”區間內的平均評論時間較短,符合預期結果,識別正確。
▲?圖3.?評論時間間隔對比
虛假評論對后續評分演化模式的影響
我們對比了“刷分”區間前后評論平均分的差異。如圖 4 所示,紅色點表示前后各取 30 條評論,藍色點表示前后各取 10 條評論,灰色點為正常店鋪。
可以發現,三種顏色均分布在對角線附近,其中紅色點相對于藍色點,更加集中于對角線,說明“刷分”區間前后的評論平均分且隨著時間推移差異性越來越小,長時間來看沒有明顯差異。同時也采用了T檢驗來驗證“刷分”區間前后評論平均分的差異性(短期內 t = -1.09 p > 0.05 ,長期內 t = -1.00 p > 0.05)。這說明無論是從長期來看還是短期來看,“刷分”區間對店鋪未來的評分模式并不會產生明顯的影響。
▲?圖4.?“刷分”區間前后評論平均分對比
后續人工實驗
為了進一步驗證得到的結論,我們在某點評平臺系統中按照“歷史點評總數最多”的篩選排序,在排名前 750 個店鋪中選出歷史評論平均分小于 4 且處于營業狀態共 24 個店鋪,再從中隨機挑選出 10 個店鋪進行實驗。
整個實驗一共 30 名在校學生參與,參與時間從 2018 年 6 月 13 日持續到 6 月 16 日。每個學生每天同時評論不超過 2 個店鋪。在每天 11:00 – 14:00 的午飯時間和 17:00 – 21:00 的晚飯時間,參與的學生會在指定的店鋪進行人工“刷分”評論?!八⒎帧蓖瓿珊?#xff0c;統計各個店鋪“刷分”前后各 30 條評論進行對比發現,前后評分沒有存在明顯差異,與得到的結論相符。
建模分析
用戶在評論前都包括兩個階段:購買決策和發表評論。本研究假設購買決策階段用戶主要受到三個因素的影響:1)店鋪最新 30 條評論平均分;2)個人對產品的喜好程度 x;3)店鋪人均消費水平 p。
店鋪評論的平均分越高,用戶被吸引到店進行消費的可能性越大。店鋪人均消費水平反應了用戶的消費成本,當兩個店鋪的人均消費水平 p 相同時,個體更愿意去平均分越高的店鋪進行消費。
個人對產品的喜好程度 x,值越大代表個體去這個店鋪消費的意愿越強烈,當兩個店鋪人均消費水平 p 與平均分兩者差值相同時,個體更傾向自身喜好程度 x 更高的店鋪。
綜上所述,決定個體是否進行消費決策可以用式子表示。其中表示用戶 i 在時間 k 時刻對該店鋪的喜好程度,p 表示該店鋪的歷史人均消費水平,表示該店鋪最新 30 條評論的平均分。?
在發表評論階段,用戶評分高低主要受到個體對產品喜好程度的影響。當用戶到店進行消費,并打算發表消費體驗評論,用戶的評分自身對店鋪喜好程度越高則發表的評分越高。發表評論階段,用戶的評分應該滿足以下式子:
其中,表示個體 i 在 k 時刻(即喜好程度為)到店鋪進行消費后發表評論的評分的條件期望值。這里假設是服從均值為,標準差為的正態分布,即。是店鋪歷史總評論平均分,表示店鋪的真實質量水平。表示個體 i 在 k 時刻對該店鋪的喜好程度,均值為,標準差為。p 表示個體對店鋪的喜好程度 x 對評分的影響程度。
▲?圖5. 新個體用戶評分流程圖
模型仿真結果如圖 6 所示。由于短時間內高分評論的出現,最近 30 條評論的平均分增大,店鋪的人均消費價格 p 保持不變,則減小,因此在消費決策階段,更多個人喜好程度較低的用戶到店進行消費,而這部分用戶發表的評論星級較低,因此滑動區間的平均分減小,回歸正常水平。
▲?圖6. 模型仿真結果
總結
本文采用滑動區間的方法來識別點評店鋪評分序列中存在的虛假評論,即“刷分”區間。這種識別方法穩定可靠,能夠切實有效、快速地識別出點評店鋪中存在的虛假評論。探究了“刷分”對后續評論演化的短期、長期的影響。
結果表明,“刷分”區間前后的評分在統計學上沒有顯著差異,“刷分”并不會改變后續評論的演化模式。模型通過模擬用戶從接觸店鋪進行消費決策,到消費完成后發表新評論的過程,“刷分”區間導致短時間內評論平均分的提升,引入了更多不同喜好程度的人群,從而提高了消費人群的多樣性,導致后續評論的平均分逐漸下降,糾正由于“刷分”導致的認知偏差。
關于作者
張倫,北京師范大學藝術與傳媒學院數字媒體系副教授,中國新聞史學會計算傳播學研究委員會理事。主要研究方向為基于數據挖掘方法的新媒體信息傳播。于 SSCI、SCI 以及 CSSCI 期刊發表論文 20 余篇;合著出版《社交網絡上的計算傳播學》(2015 年)。承擔了國家社會科學基金青年項目、教育部人文社會科學研究青年基金項目等多項科研項目。
吳曄,北京師范大學新聞傳播學院教授,從事復雜網絡,非線性動力學,以及計算傳播學方面的研究工作。已發表三十余篇學術論文,其中在重要國際期刊上發表多篇論文,包括影響因子為9.8的《美國科學院院刊》,被SCI收錄三十余篇,被引用三百多次。
王勝烽,北京郵電大學理學院博士研究生。目前研究方向為機器學習、數據挖掘。
林自展(主筆本文中文翻譯),北京郵電大學理學院碩士研究生。2016 年獲北京郵電大學通信工程學士學位。目前研究方向為機器學習、數據挖掘。
主辦單位
點擊以下標題查看更多往期內容:?
巧用文本語境信息:基于上下文感知的向量優化
一文看懂虛假新聞檢測(附數據集 & 論文推薦)
一大批中文(BERT等)預訓練模型等你認領
萬字綜述之生成對抗網絡(GAN)
ACL 2019 | 基于知識增強的語言表示模型
NAACL 2019最佳論文:量子概率驅動的神經網絡
復旦大學邱錫鵬教授:詞法、句法分析研究進展綜述
?
現在,在「知乎」也能找到我們了
進入知乎首頁搜索「PaperWeekly」
點擊「關注」訂閱我們的專欄吧
關于PaperWeekly
PaperWeekly 是一個推薦、解讀、討論、報道人工智能前沿論文成果的學術平臺。如果你研究或從事 AI 領域,歡迎在公眾號后臺點擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。
▽ 點擊 |?閱讀原文?| 下載論文
總結
以上是生活随笔為你收集整理的雇水军刷分有效吗?虚假评论的影响研究分析的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 平安人寿福利BUFF重磅推介 | 北京研
- 下一篇: CVPR 2019 | NAS-FPN: