?PaperWeekly 原創 · 作者 |?王馨月

單位 |?四川大學

研究方向?|?自然語言處理

機器翻譯

1.1?FCL

論文標題：

Frequency-Aware Contrastive Learning for Neural Machine Translation

論文鏈接：

https://arxiv.org/abs/2112.14484

低頻詞預測在現代神經機器翻譯（neural machine translation, NMT）系統中仍然是一個挑戰。最近的自適應訓練方法通過強調它們在整體訓練目標中的權重來促進不常用詞的輸出。盡管低頻詞的召回率有所提高，但它們的預測精度卻意外地受到自適應目標的阻礙。

這篇文章的作者提出了一種頻率感知 token 級對比學習方法（Frequency-aware token-level Contrastive Learning method , FCL），其中每個解碼步驟的隱藏狀態都以基于相應詞頻的軟對比方式推離其他目標詞的對應物。作者在 NIST 中英和 WMT14 英德實證結果表明，本文提出的方法不僅可以顯著提高翻譯質量，還可以增強詞匯多樣性并優化單詞表示空間。進一步的研究表明，與相關的自適應訓練策略相比，本文的低頻詞預測方法的優勢在于在不犧牲精度的情況下跨不同頻率的 token 級召回的魯棒性。

上圖是令牌級對比學習（Token-level Contrastive Learning, TCL）和頻率感知對比學習（Frequency-aware Learning, FCL）的示例。（a）TCL 對比批量目標標記的標記級隱藏表示 。對于第一個句子 中的錨點“gene”，它的正值有兩個來源，即它的具有 dropout 噪聲的對應物（由紅色箭頭表示）和 中的“gene”。（b）FCL 進一步利用 token 頻率信息來應用頻率感知軟權重 進行對比。因此，相對不常見的標記（例如，“gene”和“alopecia”）之間的對比效果被放大，并且它們可以在表示空間中被進一步拉開。

TCL 的目標可以表示為：

FCL 的目標可以表示為：

上圖是作者在 NIST Zh-En 和 WMT14 En-De 實驗的主要結果。可以看出使用 TCL 和 FCL 都在各方面上有了顯著提升。作者在原文中還對低頻 token 的翻譯質量、詞匯多樣性等方面的影響做了實驗和探討。

1.2?KoK

論文標題：

Non-Parametric Online Learning from Human Feedback for Neural Machine Translation

論文鏈接：

https://arxiv.org/abs/2109.11136

代碼鏈接：

https://github.com/wangqi1996/KoK

這篇文章的作者針對機器翻譯（NMT）任務提出了一種新的無需改變模型結構的非參數在線學習方法。該方法引入了兩個 k-nearest-neighbor（KNN）模塊：一個模塊記憶人工反饋，即人工翻譯提供的正確句子，另一個模塊自適應地平衡歷史人工反饋和原始 NMT 模型的使用。在 EMEA 和 JRC-Acquis 基準上進行的實驗表明，作者提出的方法在翻譯準確度上取得了顯著提高，并以更少的重復人工校正操作實現了更好的適應性能。

上圖是本文提出的 KNN-over-KNN（KoK）模型的整體架構，除了預訓練的 NMT 模型外，它還使用兩個 KNN 模塊對最終翻譯概率進行參數化。

在一個句子的翻譯過程中，對于每個解碼步驟 t，Token-KNN 將隱藏表示 作為查詢，并從其數據存儲中檢索以生成翻譯概率 pKNN。然后從Token-KNN 的檢索結果中提取的特征作為 Policy-KNN 的查詢來計算 值。最終的平移概率被計算為 pKNN 和 pNMT 與 之間的插值。

作者在 EMEA 和 JRC-Acquis 數據集上的實驗結果如上圖所示，可以看出 KoK 在多個方面都取得了不錯的性能。作者在原文中還做了進一步的消融學習，值得進一步閱讀。

其他

2.1 Braid

論文標題：

Braid: Weaving Symbolic and Neural Knowledge into Coherent Logical Explanations

論文鏈接：

https://arxiv.org/abs/2011.13354

這篇文章的作者提出了一種稱為 Braid 的新型邏輯推理器，它支持概率規則，并使用自定義統一函數和動態規則生成的概念來克服傳統推理器中普遍存在的脆弱匹配和知識差距問題。

如上圖所示，Braid 使用基于任務的框架，其中中央“Master”任務通過與一組“Worker”任務通信來構建輸入目標的整個證明圖，每個“Worker”任務都使用 Provers 執行基于本地圖的推理。

Provers 中使用的推理算法有：一個擴展 SLD 并可用于解釋任何查詢的默認推理器，以及一個用于解釋代理為何在給定故事中執行某些操作的專用推理器。

默認推理器 SLD+ 的算法如上圖所示。?

Braid 通過生成上圖所示的證明樹來解決激勵示例。它首先使用 Agentful Action Prover（AAP）反向鏈接規則 R1，該規則首先查找 Zoey 的目標，然后檢查 Zoey 執行的“put”操作（e3）是否可以導致她的目標之一（第1行）。子證明使用規則來推斷 Zoey 希望她的植物健康（R2），并且植物與光接觸會使其變得健康（R4）。請注意，R2、R4 和 R5 是由基于 GLUCOSE 的 DRG 動態生成的，而 R3、R6 和 R7 分別來自 Hector 本體中手動定義的“buy”、“put”和“sunny”的語義。最后，使用模糊統一函數來實現在此上下文中“put”和“place”是相似的動作。

上圖顯示了 Braid 使用神經分類器找到的推理路徑（用于檢測給定故事的幀，以及結束給定的幀+故事），以及相 應的規則分數。

上圖是作者在 ROC Story Cloze（Spring 2016）上的實驗結果，可以看出 Braid 可以實現非常好的性能。

2.2?APCG

論文標題：

Automatic Product Copywriting for E-Commerce

論文鏈接：

https://arxiv.org/abs/2112.11915

這篇文章是京東的一篇關于自動產品文案生產的文章，作者報告了將提議的自動產品文案生成（Automatic Product Copywriting Generation, APCG）系統部署到京東電子商務產品推薦平臺的經驗。它由兩個主要部分組成：1）自然語言生成，它是由一個轉換器指針網絡和一個基于內部平臺的數百萬訓練數據的預訓練序列到序列模型構建的；2）文案質量控制，基于自動評估和人工篩選。對于選定的領域，模型每天都會使用更新的訓練數據進行訓練和更新。

此外，該模型還在京東的直播平臺上用作實時寫作輔助工具。APCG 系統自 2021 年 2 月開始在京東部署。截至 2021 年 9 月，它已生成 253 萬條產品描述，將整體平均點擊率（CTR）和轉化率（CVR）提高了 5 倍。與基線相比，同比分別增長 4.22% 和 3.61%。與 2021 年 2 月相比，系統的累計總商品交易量（GMV）提高了 213.42%。

如上圖所示，APCG 系統旨在服務于京東電子商務平臺中的各種應用，包括“好貨”產品推薦平臺、京東圖書、搜索、 全球購物、“窩者”平臺和直播銷售平臺等。

如上圖所示，整個系統由以下步驟組成:

1. NLG 模型訓練：收集數據，包括產品信息和描述，用于訓練 NLG 模型。根據不同的場景選擇不同的模型。在這 個階段應用了 transformer-pointer 網絡和預訓練的語言模型。transformer-pointer 網絡的結構如下圖所示：

2. 后評價供客戶直接使用：這里采用后處理模型來過濾掉不符合要求的內容。在基于模型的過濾之后進行人工篩選。此處生成的內容直接供京東客戶的產品推薦平臺使用。

3. 賣家實時寫作助手工具:除了基于提議的產品廣告生成和過濾內容外，還為京東賣家開發了基于 APCG 的實時寫作助手工具。通過這個工具，京東賣家可以輸入他們想要的產品，它會自動生成產品描述。然后賣家可以編輯生成的內容，并將它們展示給客戶。?

4. 每日更新的自動程序：每天訓練 APCG，以滿足基于最新更新數據的最新寫作偏好。

作者在原文中還進一步介紹了評估 APCG 系統的一些指標以及維護系統的成本，值得進一步閱讀。

2.3?RST

論文標題：

Predicting Above-Sentence Discourse Structure using Distant Supervision from Topic Segmentation

論文鏈接：

https://arxiv.org/abs/2112.06196

RST（Rhetorical Structure Theory, 修辭結構理論）風格的話語解析在許多 NLP 任務中發揮著至關重要的作用，揭示了潛在復雜和多樣化文檔的潛在語義/語用結構。盡管它很重要，但現代話語解析中最普遍的限制之一是缺乏大規模數據集。為了克服數據稀疏性問題，最近提出了來自情緒分析和總結等任務的遠程監督方法。

這篇文字的作者通過利用來自主題分割的遠程監督來擴展這一研究方向，這可以為高級話語結構提供強大且互補的信號。在兩個人工注釋的話語樹庫上的實驗證實，本文的提議在句子和段落級別上生成了準確的樹結構，在句子到文檔的任務上始終優于以前的遠程監督模型，并且偶爾在句子到文檔的任務上達到更高的分數。

上圖是本文提出的從遠程主題分割監督生成句子到文檔級別的高級話語結構的方法示意圖。在頂部，我們可視化了一個自然組織的文檔，其中單詞被聚合成從句（或 EDU），這些子句又被連接成句子。然后將句子進一步組合成段落，形成完整的文檔。在這里，我們將句子聚合為原子單元以獲得高級話語樹。作者使用自上而下的貪婪方法來生成樹。

上圖是實驗結果，可以看出，使用監督的 RST 風格 parser 取得了較好的結果。

2.4?FinerFact

論文標題：

Towards Fine-Grained Reasoning for Fake News Detection

論文鏈接：

https://arxiv.org/abs/2110.15064

在這篇文章中，作者通過遵循人類的信息處理模型提出了一個細粒度的推理框架，引入了一種基于相互強化的方法來整合人類關于哪些證據更重要的知識，并設計了一個先驗感知的雙通道核圖網絡對證據之間的細微差異進行建模。大量實驗表明，本文的模型優于最先進的方法，作者還證明了方法的可解釋性。

當人類對一篇新聞文章的真實性進行推理時，他們有能力進行細粒度分析以識別細微的線索，并且可以將不同類型的線索聯系起來得出結論。如上圖所示，盡管四組證據在語義上不同，但人類可以根據“property”一詞等微妙線索在邏輯上將它們聯系起來，從而得出更自信的結論。現有方法缺乏這種細粒度推理的能力：它們要么不對不同類型證據之間的交互進行建模，要么在粗粒度（例如，句子或帖子）級別對它們進行建模。

作者提出了一個用于假新聞檢測的細粒度推理框架（Fine-grained reasoning framework for Fake news detection, FinerFact）。如上圖所示，框架由兩個主要模塊組成：

第一個模塊，斷言證據圖構建，對應于人類信息處理模型的存儲子過程。在這個過程中，人們選擇最重要的信息片段并建立它們之間的關聯以將它們存儲在內存中。至于假新聞檢測，它對應于人們搜索關鍵信息的過程，例如主要觀點、意見領袖和最重要的帖子，這使他們能夠了解關鍵主張及其作為——相關證據（例如，支持的帖子和用戶）。這一步對于過濾噪聲、組織事實和加速后期的細粒度推理過程至關重要。它還使我們能夠整合關于哪些信息很重要的人類知識。

第二個模塊，基于圖的細粒度推理，對應于人類信息處理模型的檢索子過程，其中人們根據他們的關聯重新激活特定的信息以進行決策。在假新聞檢測中，該模塊通過考慮細微的線索來實現證據關系的細粒度建模。

實驗結果如上圖所示，可以看出，FinerFact 在各方面都實現了較好的性能。?

上圖是用 FinerFact 推理的示意圖。（a）互強化圖 M 的關鍵詞層，顯著性 R 由字體大小表示；（b）對斷言證據圖 G 的細粒度推理。每種顏色編碼一個主題。

2.5 Twitter User Representation

論文標題：

Twitter User Representation using Weakly Supervised Graph Embedding

論文鏈接：

https://arxiv.org/abs/2108.08988

這篇文章的作者提出了一種基于弱監督圖嵌入的框架來理解用戶類型。作者評估使用對來自 Twitter 的健康相關推文的弱監督學習的用戶嵌入，重點是“瑜伽”、“生酮飲食”。在真實世界數據集上的實驗表明，所提出的框架在檢測用戶類型方面優于 baseline。最后，作者從數據集中說明了對不同類型用戶（例如，從業者與促銷者）的數據分析，便于本文的方法推廣到其他領域。

上圖顯示了兩個不同的 Twitter 用戶的個人資料描述和關注酮飲食的推文。盡管用戶 susan 和 keto collab 都發布了關于生酮飲食的推文，但他們有不同的意圖。用戶 susan 是一位“keto 愛好者”，而 keto collab 專注于從各種酮渠道收集信息，并每天推廣酮食譜和生酮飲食。除了推文的內容外，蘇珊的個人資料描述表明她是一名從業者。另一方面，keto collab 的個人資料描述和推文表明它是一個促銷帳戶。我們的目標是從相關的推文中自動分類用戶類型并分析他們的文本內容。

上圖表示用戶、描述、用戶類型之間的關系。為了通過信息圖捕獲更多表征用戶類型的隱藏關系，作者建議迭代應用推理函數。用戶 u1 和 u3 具有弱標簽，分別通過使用特定關鍵字的標簽映射從他們的個人資料描述 d1 和 d3 中獲得。u2 的配置文件描述最初沒有標簽。推理函數推斷用戶 u2 和 u2 的描述標簽，d2 為“從業者”，因為 u1 和 u2 具有相似的推文。

從技術角度來看，我們將用戶類型檢測定義為信息圖上的推理問題，該問題創建由圖結構上下文化的節點的分布式表示，允許我們將信息從觀察到的節點傳輸到未知節點。我們使用基于學習圖嵌入定義的相似性度量的推理函數來增加連接兩種節點類型的邊數。我們建議使用期望最大化（EM）方法來完成這兩個步驟。

上圖是實驗結果。作者構建用戶信息圖的方法值得參考。

2.6?ProSLU

論文標題：

Text is no more Enough! A Benchmark for Profile-based Spoken Language Understanding

論文鏈接：

https://arxiv.org/abs/2112.11953

項目地址：

https://github.com/LooperXX/ProSLU

當前對又語理解（spoken language understanding, SLU）的研究局限于一個簡單的設置：基于純文本的 SLU，它將用戶話語作為輸入并生成其相應的語義框架（例如意圖和槽）。不幸的是，當話語在語義上模棱兩可時，這種簡單 的設置可能無法在復雜的現實世界場景中工作，而基于文本的 SLU 模型無法實現這一點。

這篇文章來自車萬翔老師的團隊，作者首先介紹了一項新的重要任務，即基于配置文件的又語理解（Profile-based Spoken Language Understanding, PROSLU），它要求模型不僅依賴純文本，還需要支持配置文件信息來預測正確的意圖和槽。為此，作者進一步引入了一個具有超過 5K 話語的大規模人工注釋中文數據集及其相應的支持配置文件信息（知識圖（Knowledge Graph, KG）、用戶配置文件（User Profile, UP）、上下文感知（Context Awareness, CA））。

此外，作者評估了幾個最先進的 baseline 模型，并探索了一個多層次的知識適配器，以有效地整合個人資料信息。實驗結果表明，當話語在語義上不明確時，所有現有的基于文本的 SLU 模型都無法工作，作者提出的框架可以有效地融合句子級意圖檢測和 token 級槽填充的支持信息。

上圖是 PROSLU 的任務以及數據集的示例。

上圖是數據、構建以及人工標注的流程。

上圖是通用 SLU 模型和多級知識適配器的示意圖，可分別用于句子級意圖檢測和單詞級槽填充。

上圖是作者在 PROSLU 數據集上意圖檢測和槽填充的實驗結果。

作者在附錄中還詳細介紹了通用 SLU 模型的細節以及消融實驗的結果，值得進一步閱讀。

2.7 GNN

論文標題：

Sparse Structure Learning via Graph Neural Networks for Inductive Document Classification

論文鏈接：

https://arxiv.org/abs/2112.06386

這篇文章的作者提出了一種基于 GNN 的稀疏結構學習模型，用于歸納文檔分類。具體來說，文檔級圖最初是由句子級單詞共現圖的不相交并集生成的。模型收集了一組連接句子之間不相交單詞的可訓練邊，并采用結構學習來稀疏地選擇具有動態上下文依賴關系的邊。具有稀疏結構的圖可以通過 GNN 共同利用文檔中的局部和全局上下文信息。對于歸納學習，將細化的文檔圖進一步輸入通用讀出函數，以端到端的方式進行圖級分類和優化。實驗表明，作者提出的模型優于大多數最先進的結果，并揭示了為每個文檔學習稀疏結構的必要性。

上圖是模型的概覽：（a）模型框架（b）GNN：局部和全局聯合消息傳遞。（c） SSL：稀疏結構學習包含（c.1）動態上下文依賴分數，（c.2）稀疏結構的自適應采樣，和（c.3）重構稀疏圖。

模型由三個主要部分組成。我們首先構建句子圖，其中節點嵌入是通過局部和全局消息傳遞操作來學習的。基于節點嵌入，我們提出了一種用于圖結構細化的稀疏結構學習。最后，我們正則化圖結構以保持原始句法信息的一致性。

上圖是在五個基準數據集上測試各種模型的準確性。可以看出，本文提出的模型在多個方面取得了不錯的性能。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的最终篇！AAAI 2022值得读的NLP论文盘点的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。