【每周NLP论文推荐】 介绍语义匹配中的经典文章
歡迎來到《每周NLP論文推薦》。在這個專欄里，還是本著有三AI一貫的原則，專注于讓大家能夠系統(tǒng)性完成學(xué)習(xí)，所以我們推薦的文章也必定是同一主題的。
語義匹配也是NLP中比較基礎(chǔ)的任務(wù)，它的主要目標(biāo)是計(jì)算兩個querry、兩個文本之間的關(guān)系，包括相似度、問答關(guān)系等。在搜索引擎、智能問答、知識檢索、信息流推薦等系統(tǒng)中都有應(yīng)用。
作者&編輯 | 小Dream哥
1 最早的深度語義匹配模型-DSSM
Deep Structured Semantic Models(DSMM)的原理很簡單，通過搜索引擎里 Query 和 Title 的海量的點(diǎn)擊曝光日志，用 DNN 把 Query 和 Title 表達(dá)為低維語義向量，并通過 cosine 距離來計(jì)算兩個語義向量的距離，最終訓(xùn)練出語義相似度模型。該模型既可以用來預(yù)測兩個句子的語義相似度，又可以獲得某句子的低維語義向量表達(dá)。
DSSM采用詞袋模型(BOW)，因此喪失了語序信息和上下文信息。另一方面，DSSM 采用弱監(jiān)督、端到端的模型，預(yù)測結(jié)果不可控。
文章引用量：300+
推薦指數(shù)：?????
[1] Huang P S , He X , Gao J , et al. Learning deep structured semantic models for web search using clickthrough data[C]// Proceedings of the 22nd ACM international conference on Conference on information & knowledge management. ACM, 2013.
2 卷積用在語義匹配上-CLSM
針對DSSM詞袋模型丟失上下文信息的缺點(diǎn)，CLSM(convolutional latent semantic model)應(yīng)運(yùn)而生，又叫 CNN-DSSM。CNN-DSSM 與 DSSM 的區(qū)別主要在于輸入層和表示層。
文章引用量：140+
推薦指數(shù)：?????
[2] Shen Y , He X , Gao J , et al. [ACM Press the 23rd ACM International Conference - Shanghai, China (2014.11.03-2014.11.07)] Proceedings of the 23rd ACM International Conference on Conference on Information and Knowledge Management - CIKM \"14 - A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval[J]. 2014:101-110.
3 LSTM用在語義匹配上
針對 CNN-DSSM無法捕獲較遠(yuǎn)距離上下文特征的缺點(diǎn)，有人提出了用LSTM-DSSM來解決該問題。
文章引用量：較少
推薦指數(shù)：?????
[3] Palangi H , Deng L , Shen Y , et al. Semantic Modelling with Long-Short-Term Memory for Information Retrieval[J]. Computer Science, 2014.
4 MV-DSSM
MV learning是指從不共享特征空間的多個domain中學(xué)習(xí)模型。MVDNN可以通過滲透多domain的數(shù)據(jù)來學(xué)習(xí)到更好的用戶表征。
基于Multi-View的DSSM參數(shù)變多了，由于多視角的訓(xùn)練，輸入的語料也可以變得不同，自由度也更大了，但是隨之帶來的問題就是訓(xùn)練會變得越來越困難。
文章引用量：較少
推薦指數(shù)：?????
[4]?Elkahky A M , Song Y , He X . A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems[C]// the 24th International Conference. International World Wide Web Conferences Steering Committee, 2015.
5 基于字符特征的語義匹配?
研究了基于字符和字符特征與基于詞向量進(jìn)行語義匹配任務(wù)的差異，觀點(diǎn)挺新穎，可以一看。
文章引用量：較少
推薦指數(shù)：?????
[5] Wuwei Lan, Wei Xu. Character-based Neural Networks for Sentence Pair Modeling. arXiv preprint arXiv:1805.08297v1, 2018.
6 基于BERT的語義相似度計(jì)算與匹配
基于BERT及其他預(yù)訓(xùn)練模型進(jìn)行語義相似度計(jì)算是一種趨勢，這篇文章只是做了一個簡要的介紹，實(shí)在找不到更好的文章了。有的同學(xué)請推薦呀。
文章引用量：較少
推薦指數(shù)：?????
[6] Manish Patel. TinySearch- Semantics based Search Engine using Bert Embeddings. 2019.
7 ResNet寬度問題?
一篇綜述性的文章，介紹了多種用于語義計(jì)算的深度學(xué)習(xí)模型，并進(jìn)行了比較，值得一讀。
文章引用量：較少
推薦指數(shù)：?????
[7]?Zagoruyko S, Komodakis N. Neural Network Models for Paraphrase Identifification, Semantic Textual Similarity, Natural Language Inference, and Question Answering. arXiv:1806.04330v2, 2019.
8 非常好的工具M(jìn)atchZOO
語義匹配非常好的開源工具，這篇文章介紹了如何利用這個工具進(jìn)行訓(xùn)練，快速獲得一個效果較好的模型。
文章引用量：較少
推薦指數(shù)：?????
[8]?Jiafeng Guo, Yixing Fan, Xiang Ji, et al. MatchZoo: A Learning, Practicing, and Developing System for Neural Text Matching. arXiv:1905.10289v2.
9 如何獲取文章與交流
找到有三AI開源項(xiàng)目即可獲取。
https://github.com/longpeng2008/yousan.ai
文章細(xì)節(jié)眾多，閱讀交流在有三AI-NLP知識星球中進(jìn)行，感興趣可以加入。
總結(jié)
以上就是NLP中語義匹配任務(wù)一些比較代表性的文章，下一期我們將介紹一些對話系統(tǒng)的文章。
有三AI夏季劃
有三AI夏季劃進(jìn)行中，歡迎了解并加入，系統(tǒng)性成長為中級CV算法工程師。
轉(zhuǎn)載文章請后臺聯(lián)系
侵權(quán)必究
往期精選
【NLP】自然語言處理專欄上線，帶你一步一步走進(jìn)“人工智能技術(shù)皇冠上的明珠”。
【NLP】用于語音識別、分詞的隱馬爾科夫模型HMM
【NLP】用于序列標(biāo)注問題的條件隨機(jī)場（Conditional Random Field, CRF）
【NLP】經(jīng)典分類模型樸素貝葉斯解讀
【NLP】 NLP專欄欄主自述，說不出口的話就交給AI說吧
【NLP】 深度學(xué)習(xí)NLP開篇-循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)
【NLP】 NLP中應(yīng)用最廣泛的特征抽取模型-LSTM
【NLP】 聊聊NLP中的attention機(jī)制
【NLP】 理解NLP中網(wǎng)紅特征抽取器Tranformer
【每周NLP論文推薦】從預(yù)訓(xùn)練模型掌握NLP的基本發(fā)展脈絡(luò)
【技術(shù)綜述】深度學(xué)習(xí)在自然語言處理中的應(yīng)用
總結(jié)
以上是生活随笔為你收集整理的【每周NLP论文推荐】 介绍语义匹配中的经典文章的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【每周CV论文推荐】 初学者必须精读的5
- 下一篇： 【杂谈】您想要的docker环境来了！