本文利用self-attention的方式去學習句子的embedding，表示為二維矩陣，而不是一個向量，矩陣中的每一行都表示句子中的不同部分。模型中使用了self-attention機制和一個特殊的regularization term

總結

以往論文中常用的句子表示為一維向量，但是這只能表達句子的一部分信息，為此作者提處一種self-attentive機制，并基于此機制，將句子表示為一個2維矩陣，使得句子的信息盡可能多的得到保留，同時為了使得句子的信息盡可能多的保留，即行與行之間盡可能差異化，作者使用了Frobenius范數(shù)懲罰項

參考連接：

https://www.jianshu.com/p/87108d836c63

https://blog.csdn.net/john_xyz/article/details/80650677

https://blog.csdn.net/guoyuhaoaaa/article/details/78701768

總結

以上是生活随笔為你收集整理的A Self-Attention Setentence Embedding 阅读笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。