文 | Sherry

視覺是人和動物最重要的感覺，至少有80%以上的外界信息是經過視覺獲得的。我們看論文的時候，通過圖表來確定文章的大致內容往往也是一個更高效的 說到深度神經網絡的可視化，最經典的莫過于的CNN密恐圖了：

這種可視化方法可以讓我們清晰的知道每一層的每一個Cell關注何種信息，模型最后是如何逐層迭代處理得到最后的判斷。但是對NLP而言，文字并不容易轉換成這樣直觀的視覺表示。對Transformer而言，理解注意力機制是最為關鍵的一步。比較常見的一種注意力可視化是用灰度圖表示不同token之間的注意力權重：但這種可視化的一大缺點是，每張圖只能表示一個注意力頭，我們很難獲得一個更直接的全局感受。

喬治亞理工最近提出了DODRIO，一種可交互的Attention可視化工具，從句法和寓意層面總結了不同注意力頭的信息。Transformer的可解釋性終于有救啦？

趕緊試試他們的Demo吧：
https://poloclub.github.io/dodrio/

論文題目：
DODRIO: Exploring Transformer Models with Interactive Visualization

論文鏈接：
http://arxiv-download.xixiaoyao.cn/pdf/2103.14625.pdf

Github:
https://poloclub.github.io/dodrio/

注意力頭概覽

在概覽圖中，我們可以看到不同層的不同注意力頭都化身成了大小，深淺不一的圓點。本文計算了幾種分數并用顏色、深淺、大小來表示。

第一個是語義得分m：它是從注意力向量和顯著性得分的cosine相似度得到。

其中S表示的是每個token對模型最終預測的貢獻程度[1], 表示注意力權重。圓點顏色越紅，表示這個注意力頭對語義的貢獻越大。

接著是句法得分n: 我們使用最被關注的源token作為依賴關系預測的目標，對于每個依賴關系，我們計算每個注意力頭在所有樣例上的平均準確性。最后，將每個頭所有依賴關系中的最大值作為他的句法得分。圓點顏色越藍，表示這個注意力頭對句法的貢獻越大。

然后是重要性得分c：直接計算當前頭的最大注意力權重在所有樣例上的平均

圓點顏色越大表示注意力頭對最終預測的貢獻越高。

句法依賴

除了注意力頭概覽，本文根據依賴關系也給出了注意力頭的分析。

注意力權重可以被看作是模型對詞之間依賴關系的預測。切換到句法依賴的可視化之后，鼠標移動到每個token都會高亮跟這個詞有關的注意力連接。在展開的依賴關系圖上還可以看到指定的關系在不同層的權重會如何變化。

語義關系圖

同樣，本文也對語義關系進行了可視化。點擊每個概覽中的注意力頭即可展開在這個位置的注意力表示。顏色依然表示的是每個token的顯著性得分。

一些結論

本文的可視化方法再一次驗證了一些之前BERT可解釋性文章的結論。例如：BERT的中間層更關注句法信息，以及BERT最后1-2層是分類的關鍵等。

一個有意思的實驗是DistillBERT和BERT的可視化比較：

我們知道DistillBERT只用了40%的參數量達到了BERT97%的效果。用Dodrio來比較他們倆會發現什么呢？DistillBERT的所有注意力頭大小都差不多，進一步分析發現大多數頭的置信度都很接近1。另外，DistillBERT的亮度也更高一些，這表示整體每個頭對句法或者語義的關注度都不高。這些發現暗示我們，DistillBERT可能學到了語義和句法之外的信息。

作者：Sherry。

本科畢業于復旦數院，轉行NLP目前在加拿大滑鐵盧大學讀CS PhD。經歷了從NOIer到學數學再重回CS的轉變，卻堅信AI的未來需要更多來數學和自認知科學的理論指導。主要關注問答，信息抽取，以及有關深度模型泛化及魯棒性相關內容。?

[1].Visualizing and Understanding Neural Models in NLP (https://www.aclweb.org/anthology/N16-1082.pdf)

[2].DODRIO: Exploring Transformer Models with Interactive Visualization (http://arxiv-download.xixiaoyao.cn/pdf/2103.14625.pdf)

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯溫州大學《機器學習課程》視頻 本站qq群851320808，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【NLP】可交互的 Attention 可视化工具！我的Transformer可解释性有救了？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。