本篇是專欄中介紹聊天機(jī)器人的第一篇，會大概介紹聊天機(jī)器人的歷史、特點(diǎn)、分類以及技術(shù)框架，讓大家對聊天機(jī)器人有一個(gè)大致的了解。

作者&編輯 | 小Dream哥

1 chatbot概述

關(guān)于對話機(jī)器人的研究，可以追溯到上個(gè)世紀(jì)50年代，Alan M. Turing提出了“機(jī)器可以思考嗎？”的圖靈測試問題來衡量人工智能發(fā)展的程度。圖靈測試簡單來說，就是讓測試者分別與機(jī)器人和人進(jìn)行對話，看測試者能否將機(jī)器人辨別出來。該領(lǐng)域接下來就變成了人工智能領(lǐng)域中一個(gè)十分有趣又具有挑戰(zhàn)性的研究問題：如何設(shè)計(jì)及開發(fā)智能聊天機(jī)器人。

從應(yīng)用上來說，智能聊天機(jī)器人實(shí)際上是為了應(yīng)對信息爆炸的今天存在的信息過載問題。早期，人們是把智能聊天機(jī)器人當(dāng)作搜索引擎的終極形態(tài)來進(jìn)行設(shè)計(jì)和開發(fā)的。具體來說，其需要解決的問題是，人們對于簡單的搜索引擎僅僅返回一個(gè)網(wǎng)頁集合的不是特別滿意。通常，現(xiàn)有的搜索引擎需要逐個(gè)瀏覽和仔細(xì)閱讀搜索引擎返回的每個(gè)鏈接網(wǎng)址中的信息，再剔除冗余信息后才能得到期望的答案。

更好的用戶體驗(yàn)是，用戶在向智能對話系統(tǒng)用自然語言提出一個(gè)問題之后，且智能對話系統(tǒng)也能夠自然又通順地回答問題，且回答內(nèi)容與問題緊湊相關(guān)又答案精準(zhǔn)，為用戶節(jié)約了更多的時(shí)間。

到目前為止，智能聊天機(jī)器人在產(chǎn)業(yè)界已經(jīng)有了一些初步成功的應(yīng)用，在智能客服、個(gè)人助理等場景中，在電商、保險(xiǎn)等行業(yè)中已經(jīng)能夠替代大量的人工客服，進(jìn)行簡單的業(yè)務(wù)處理和客戶支持。

基于聊天機(jī)器人的應(yīng)用場景，聊天機(jī)器人主要分為3種類型，即問答系統(tǒng)(QA)，對話系統(tǒng)，閑聊機(jī)器人，下面大致介紹三種類型的聊天機(jī)器人的特點(diǎn)。

2 問答系統(tǒng)(QA)

問答系統(tǒng)是基于用戶的問題，給定一個(gè)回答，不涉及到多輪對話。通常用于智能搜索，智能家居中的家電控制等場景。問答系統(tǒng)往往不需要調(diào)用業(yè)務(wù)能力，只需要完成對用戶問題的匹配及回答。

下面介紹下問答系統(tǒng)中最常用的技術(shù)方案，如下圖所示：

抽象的看，問答系統(tǒng)的任務(wù)其實(shí)就是，對用戶的輸入進(jìn)行相似度或者相關(guān)性計(jì)算，然后在相應(yīng)的FAQ的庫里，尋找該用戶輸入對應(yīng)的答案，并返回給用戶。

所以，通常來講，QA系統(tǒng)一般是針對某一個(gè)領(lǐng)域的，通常用于某一個(gè)領(lǐng)域的客戶支持和服務(wù)。

那么，要構(gòu)建一個(gè)QA系統(tǒng)，第一步就是要構(gòu)建一個(gè)高質(zhì)量的FAQ語料集。語料集中應(yīng)包含大量高質(zhì)量的問題-答案（Q-A）對。

模型的訓(xùn)練過程，就是讓模型能夠?qū)W習(xí)到問題-答案（Q-A）對之間的聯(lián)系，或者Query集的特征。所以，目前QA系統(tǒng)的實(shí)現(xiàn)，只要以下三種方式：

1.計(jì)算用戶輸入Query和Question的相似度。通過計(jì)算用戶輸入Query與FAQ語料集中Question之間的相似度，選出相似度最高的Question，再通過Q-A map找到相應(yīng)的答案返回給用戶。

2.計(jì)算用戶輸入Query和Answer之間的相關(guān)性。通過計(jì)算用戶輸入Query與FAQ語料集中Answer之間的相關(guān)度，選出相關(guān)度最高的Answer，返回給用戶。

3.結(jié)合用戶輸入Query和Answer之間的相關(guān)性以及用戶輸入Query和Question的相似度。通過結(jié)合相關(guān)性和相似度，選出最匹配的Answer，返回給用戶。

3 對話系統(tǒng)

對話系統(tǒng)（Dialogue System）通常是面向某一個(gè)任務(wù)，機(jī)器人需要同用戶交互，甚至交互多輪。最后，還需要調(diào)用業(yè)務(wù)資源，以完成某一項(xiàng)任務(wù)。例如，查天氣的機(jī)器人，根據(jù)用戶的輸入，判斷是否能夠查詢到某時(shí)某地的天氣，如果條件不足，需要主動向用戶問詢，最后再調(diào)用類似“中國天氣網(wǎng)”獲得天氣數(shù)據(jù)。

對話系統(tǒng)的應(yīng)用場景很豐富，像客服機(jī)器人，銷售機(jī)器人等都是對話系統(tǒng)的代表。

如下圖所示，展示了一個(gè)對話系統(tǒng)的技術(shù)架構(gòu)圖：

通常，對話系統(tǒng)包含自然語言理解（NLU），對話管理（DM），自然語言生產(chǎn)（NLG）等部分。

NLU部分負(fù)責(zé)對用戶輸入進(jìn)行理解，主要包括意圖識別和實(shí)體識別；DM部分是對整個(gè)用戶的對話狀態(tài)進(jìn)行管理，包括槽位管理，行為決策，數(shù)據(jù)獲取等功能；NLG主要負(fù)責(zé)答案的生成。

4 閑聊式機(jī)器人

閑聊就是一種開放域的聊天場景，就像兩個(gè)朋友之間聊天，不限制主題和內(nèi)容。閑聊式的機(jī)器人主要用于私人助理、娛樂等場景，典型的代表如微軟小冰、蘋果Siri等。

閑聊式的機(jī)器人，開發(fā)難度非常的大，需要巨量的數(shù)據(jù)集以及能兼顧靈活度和準(zhǔn)確度的算法模型。目前，閑聊式的機(jī)器人效果都差強(qiáng)人意，個(gè)人認(rèn)為后續(xù)需要結(jié)合優(yōu)質(zhì)的知識圖譜網(wǎng)絡(luò)以及強(qiáng)大的增強(qiáng)學(xué)習(xí)算法。

這里介紹一種比較流行的生成式的閑聊機(jī)器人的技術(shù)架構(gòu)，讓大家熟悉下閑聊式機(jī)器人最基礎(chǔ)的實(shí)現(xiàn)方式。

如上圖所示，生成式的閑聊機(jī)器人通常基于seq2seq架構(gòu)，利用模型自動生成答案，結(jié)合Attention等技術(shù)進(jìn)行優(yōu)化。目前，為了實(shí)現(xiàn)對用戶輸入更好的編碼，會引入Attention等技術(shù)；為了實(shí)現(xiàn)模型對用戶前后文輸入的理解能力，會引入用戶歷史記錄的編碼等。這種方式完全基于數(shù)據(jù)，優(yōu)點(diǎn)是比較靈活，不需要做復(fù)雜的對話管理；缺點(diǎn)是可控性不強(qiáng)，生成的答案往往比較短，很多無意義的答案返回，需要大量的訓(xùn)練數(shù)據(jù)。

總結(jié)

聊天機(jī)器人是目前NLP領(lǐng)域非常重要的一個(gè)應(yīng)用場景，綜合了各種NLP技術(shù)，非常具有挑戰(zhàn)性。后面我們會深入各個(gè)類型機(jī)器人，做較為詳細(xì)的介紹，敬請關(guān)注。

我們會在知識星球討論代碼的具體實(shí)現(xiàn)和優(yōu)化，感興趣掃描下面的二維碼了解。

讀者們可以留言，或者加入我們的NLP群進(jìn)行討論。感興趣的同學(xué)可以微信搜索jen104，備注"加入有三AI NLP群"。

下期預(yù)告：聊天機(jī)器人-QA介紹

知識星球推薦

掃描上面的二維碼，就可以加入我們的星球，助你成長為一名合格的自然語言處理算法工程師。

知識星球主要有以下內(nèi)容：

(1) 聊天機(jī)器人。考慮到聊天機(jī)器人是一個(gè)非常復(fù)雜的NLP應(yīng)用場景，幾乎涵蓋了所有的NLP任務(wù)及應(yīng)用。所以小Dream哥計(jì)劃以聊天機(jī)器人作為切入點(diǎn)，通過介紹聊天機(jī)器人的原理和實(shí)踐，逐步系統(tǒng)的更新到大部分NLP的知識，會包括語義匹配，文本分類，意圖識別，語義匹配命名實(shí)體識別、對話管理以及分詞等。

(2) 知識圖譜。知識圖譜對于NLP各項(xiàng)任務(wù)效果好壞的重要性，就好比基礎(chǔ)知識對于一個(gè)學(xué)生成績好壞的重要性。他是NLP最重要的基礎(chǔ)設(shè)施，目前各大公司都在著力打造知識圖譜，作為一個(gè)NLP工程師，必須要熟悉和了解他。

(3) NLP預(yù)訓(xùn)練模型。基于海量數(shù)據(jù)，進(jìn)行超大規(guī)模網(wǎng)絡(luò)的無監(jiān)督預(yù)訓(xùn)練。具體的任務(wù)再通過少量的樣本進(jìn)行Fine-Tune。這樣模式是目前NLP領(lǐng)域最火熱的模式，很有可能引領(lǐng)NLP進(jìn)入一個(gè)全新發(fā)展高度。你怎么不深入的了解？

轉(zhuǎn)載文章請后臺聯(lián)系

侵權(quán)必究

往期精選

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的【NLP-ChatBot】我们熟悉的聊天机器人都有哪几类？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。