「AI Drive」是由 PaperWeekly 和 biendata 共同發(fā)起的學(xué)術(shù)直播間，旨在幫助更多的青年學(xué)者宣傳其最新科研成果。我們一直認(rèn)為，單向地輸出知識并不是一個(gè)最好的方式，而有效地反饋和交流可能會讓知識的傳播更加有意義，從而產(chǎn)生更大的價(jià)值。

本期 AI Drive，我們邀請到上海科技大學(xué)博士生王新宇，為大家在線解讀其發(fā)表在 ACL 2021 的最新研究成果：Automated Concatenation of Embeddings for Structured Prediction。對本期主題感興趣的小伙伴，7 月 29?日（周四）晚 7 點(diǎn)，我們準(zhǔn)時(shí)相約 PaperWeekly B 站直播間。

直播信息

最近的工作發(fā)現(xiàn)通過拼接不同類型的詞嵌入可以獲得更好的詞特征，從而進(jìn)一步提高自然語言處理中結(jié)構(gòu)預(yù)測問題的效果。但找到最佳的詞嵌入拼接組合往往與具體的任務(wù)和可候選的詞嵌入種類有關(guān)。同時(shí)，隨著基于上下文信息的預(yù)訓(xùn)練語言模型的種類增加，讓這個(gè)問題變得更加困難。

受神經(jīng)架構(gòu)搜索的最新進(jìn)展所啟發(fā)，本研究提出了自動(dòng)化拼接嵌入 (ACE) 的方法，為結(jié)構(gòu)化預(yù)測任務(wù)尋找更好的嵌入拼接。該方法使用一個(gè)控制器來對嵌入的拼接進(jìn)行采樣，根據(jù)任務(wù)模型基于嵌入拼接的準(zhǔn)確度計(jì)算獎(jiǎng)勵(lì)，通過強(qiáng)化學(xué)習(xí)來優(yōu)化控制器的參數(shù)。實(shí)驗(yàn)結(jié)果表明該方法在 6 個(gè)任務(wù)的 21 個(gè)數(shù)據(jù)集達(dá)到了 state-of-the-art。目前代碼已公開。

論文鏈接：

https://arxiv.org/abs/2010.05006

代碼鏈接：

https://github.com/Alibaba-NLP/ACE

本次分享的具體內(nèi)容有：?

• 背景介紹：結(jié)構(gòu)預(yù)測問題背景的基本介紹

• 研究動(dòng)機(jī)：介紹為什么要使用 ACE 來進(jìn)行自動(dòng)化拼接詞嵌入的搜索

• 具體方法：介紹 ACE 的基本架構(gòu)和方式

• 實(shí)驗(yàn)結(jié)果：多個(gè)公開的結(jié)構(gòu)預(yù)測問題的數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果與分析

• 工作總結(jié)：總結(jié)與展望

嘉賓介紹

?王新宇?/ 上海科技大學(xué)博士生?

王新宇，上海科技大學(xué)博士生，導(dǎo)師為屠可偉教授。主要研究方向?yàn)樽匀徽Z言處理中結(jié)構(gòu)預(yù)測問題。目前以第一作者身份已在 ACL、EMNLP 等國際會議發(fā)表十余篇論文，其中 ACL 2021 有三篇一作長文被主會接收。

直播地址?& 交流群

本次直播將在 PaperWeekly B 站直播間進(jìn)行，掃描下方海報(bào)二維碼或點(diǎn)擊閱讀原文即可免費(fèi)觀看。線上分享結(jié)束后，嘉賓還將在直播交流群內(nèi)實(shí)時(shí) QA，在 PaperWeekly 微信公眾號后臺回復(fù)「AI Drive」，即可獲取入群通道。

B 站直播間：

https://live.bilibili.com/14884511

合作伙伴

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的直播 | ACL 2021论文解读：为结构预测问题自动寻找更强的词嵌入拼接方式的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。