合適的數(shù)據(jù)集或者語料是優(yōu)秀的自然語言研究工作的基礎(chǔ)，然而找尋合適的數(shù)據(jù)集通常是一件耗時耗力的工作。這時候一份優(yōu)質(zhì)的數(shù)據(jù)集匯總就能幫助科研人員，在研究開始的時候事半功倍。這篇文章就向你介紹一份優(yōu)質(zhì)的數(shù)據(jù)集匯總，幫助你的研究工作輕松選擇一片合適的用武之地。

本文主要介紹由我研究中心博士生侯宇泰收集整理的一個任務(wù)型對話數(shù)據(jù)集大全。

圖1. 數(shù)據(jù)集匯總項目

這份數(shù)據(jù)集大全涵蓋了到目前在任務(wù)型對話領(lǐng)域的所有常用數(shù)據(jù)集的主要信息。此外，為了幫助研究者更好的把握領(lǐng)域進展的脈絡(luò)，我們以Leaderboard的形式給出了幾個數(shù)據(jù)集上的State-of-the-art實驗結(jié)果。

數(shù)據(jù)集的地址如下：

https://github.com/AtmaHou/Task-Oriented-Dialogue-Dataset-Survey

一．背景介紹：什么是任務(wù)型對話?

我們收集的數(shù)據(jù)集主要針對任務(wù)型對話研究（Task-oriented Dialogue）。

任務(wù)型對話系統(tǒng)指在特定的情境下幫助用戶完成特定任務(wù)的對話服務(wù)系統(tǒng)，例如幫助用戶訂餐、訂酒店的對話系統(tǒng)。近年來，隨著亞馬遜Alex，微軟小娜，蘋果Siri等個人語音助理業(yè)務(wù)的興起，基于對話的人機交互方式得到了廣泛的關(guān)注，相關(guān)的研究也越來越多，儼然成為一個富有潛力的研究方向。

圖2. 語音助手

目前任務(wù)型對話的研究可以大體分為兩類：基于流程的任務(wù)型對話（Pipeline）以及端到端的任務(wù)型對話（End-to-End）。

基于流程的任務(wù)型對話是相對較為傳統(tǒng)的方法。這種任務(wù)型對話的系統(tǒng)通過一套Pipeline流程實現(xiàn)。如圖3所示， 任務(wù)型對話系統(tǒng)的流程依次包括：自然語言理解、對話狀態(tài)跟蹤、對話策略學(xué)習(xí)，自然語言生成模塊。具體的，用戶輸入自然語言，對話系統(tǒng)按流程依次完成：分析用戶意圖，更新對話狀態(tài)，根據(jù)對話策略做出動作，生成最終的自然語言回復(fù)。

圖3. Pipeline任務(wù)型對話

然而，Pipeline流程式的對話系統(tǒng)存在錯誤級聯(lián)和標(biāo)注開銷大的問題，為此最近有一部分研究嘗試通過直接進行端到端的任務(wù)型對話學(xué)習(xí)來規(guī)避這些問題。端到端式對話系統(tǒng)根據(jù)用戶輸入句子直接給出自然語言回復(fù)。

二．為什么要做數(shù)據(jù)集匯總？

任務(wù)型對話任務(wù)并不是新課題，但是針對任務(wù)型對話的廣泛研究在最近幾年才興起。任務(wù)型對話研究的方興未艾反映在數(shù)據(jù)和語料上，就是目前現(xiàn)有的任務(wù)型對話數(shù)據(jù)集數(shù)量少，且其他成熟的任務(wù)已有的數(shù)據(jù)集在數(shù)據(jù)量上要少的多。 在這種情況下，盡可能多找到并有效的利用已有的數(shù)據(jù)資源就成為開展研究的關(guān)鍵之一。然而，搜羅并全面的尋找合適的數(shù)據(jù)集是一個費時費力的工作，所以整理統(tǒng)計目前已有的任務(wù)型對話領(lǐng)域的數(shù)據(jù)集的信息是有必要的，可以極大地為相關(guān)研究工作提供便利，讓研究工作得以地快速開始。

除了數(shù)據(jù)本身的信息有價值之外，在重要數(shù)據(jù)集上的實驗結(jié)果提升過程，可以很大程度上反映自然語言研究的前進脈絡(luò)。所以，簡單的數(shù)據(jù)集信息羅列并不能讓我們滿意，我們還計劃提供一些常用數(shù)據(jù)上的實驗結(jié)果和對應(yīng)論文的信息。從而幫助研究人員了解和把握任務(wù)型對話領(lǐng)域研究的推進脈絡(luò)。我們選擇以Leaderboard的形式呈現(xiàn)數(shù)據(jù)集上的部分實驗結(jié)果。

三．數(shù)據(jù)匯總的內(nèi)容介紹

1．數(shù)據(jù)集信息

針對每個數(shù)據(jù)集，我們統(tǒng)計并總結(jié)了如下幾個方面的內(nèi)容。

表1. 數(shù)據(jù)集內(nèi)容及說明

內(nèi)容說明

Name	數(shù)據(jù)集名稱
Introduction	數(shù)據(jù)集簡介
Link (Download & Paper)	數(shù)據(jù)下載鏈接和對應(yīng)論文的鏈接
Multi or single turn	對話數(shù)據(jù)是多輪還是單輪
Task	對話數(shù)據(jù)是否為任務(wù)型對話
Task detail	對話數(shù)據(jù)取自什么應(yīng)用情景，如訂餐，導(dǎo)航等
Whether Public Accessible	是否可以免費下載
Size & Stats	數(shù)據(jù)量、標(biāo)注量統(tǒng)計
Included Label	數(shù)據(jù)包括的標(biāo)注類型
Missing Label	數(shù)據(jù)缺失的標(biāo)注類型

類似其他常見數(shù)據(jù)集匯總工作，我們?yōu)槊總€數(shù)據(jù)集提供了名稱，下載鏈接，簡介，數(shù)據(jù)量等信息。除了這些基本信息，我們還涵蓋了一些任務(wù)型對話數(shù)據(jù)的特有的研究內(nèi)容，例如：

• Multi or single turn：對話數(shù)據(jù)是多輪還是單輪是任務(wù)型對話數(shù)據(jù)的重要屬性，單輪對話數(shù)據(jù)往往用于自然語言理解任務(wù)，多輪對話數(shù)據(jù)往往用于端到端任務(wù)、對話策略學(xué)習(xí)、對話狀態(tài)跟蹤。

• Task detail：數(shù)據(jù)適用于什么應(yīng)用情景也是一個獨特的關(guān)鍵信息，通過這個信息，研究者可以快速理解數(shù)據(jù)，開展Multi-domain 或Domain-transfer研究。

2. 實驗結(jié)果Leaderboard

對于一些研究常用數(shù)據(jù)，我們提供了上面的一些State-of-the-art實驗結(jié)果，并以Leaderboard的形式呈現(xiàn)，具體包括內(nèi)容如下：

表2. Leaderboard內(nèi)容及說明

內(nèi)容說明

Model	模型的名稱
Score	主要實驗結(jié)果，F1分數(shù)，準確率等
Paper/Source	模型對應(yīng)論文的名稱和鏈接

其中我們的模型名稱采用出處論文中的表述，分數(shù)的評價指標(biāo)以具體的任務(wù)而定。實驗結(jié)果列表配合上論文鏈接，可以讓讀者快速地了解一個任務(wù)。

此項信息內(nèi)容仍在完善中。

四．數(shù)據(jù)集匯總內(nèi)容樣例

1. 數(shù)據(jù)集介紹樣例

數(shù)據(jù)集的匯總目前以表格的形式，收錄了17個數(shù)據(jù)的細節(jié)信息。讀者可以在github項目中Excel文件或者Readme中直接查看。數(shù)據(jù)的格式如圖4所示。

圖4. 數(shù)據(jù)細節(jié)樣例

2. Leaderboard 樣例

我們以Leaderboard 的形式展示了語義槽抽取（Slot filling），用戶意圖識別（Intent detection），對話狀態(tài)跟蹤（Dialogue state tracking）三個任務(wù)上的一些領(lǐng)先結(jié)果。具體形式如圖5所示。

圖5. Leaderboard的樣例

五．關(guān)于內(nèi)容補充的邀請

我們歡迎各種形式的內(nèi)容完善，包括但不限于：

• 直接提交Pull Request

• 向我們發(fā)送新數(shù)據(jù)

• 向我們發(fā)送新的實驗結(jié)果（已發(fā)表論文）

六．其他

數(shù)據(jù)集匯總地址如下：

https://github.com/AtmaHou/Task-Oriented-Dialogue-Dataset-Survey

總結(jié)

以上是生活随笔為你收集整理的最新任务型对话数据集大全的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。