「AI Drive」是由 PaperWeekly 和 biendata 共同發(fā)起的學(xué)術(shù)直播間，旨在幫助更多的青年學(xué)者宣傳其最新科研成果。我們一直認(rèn)為，單向地輸出知識并不是一個(gè)最好的方式，而有效地反饋和交流可能會讓知識的傳播更加有意義，從而產(chǎn)生更大的價(jià)值。

本期 AI Drive，我們邀請到北京大學(xué)計(jì)算語言所碩士生許潤昕，為大家在線解讀其發(fā)表在 AAAI 2022 的最新研究成果：From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression。對本期主題感興趣的小伙伴，1 月 20 日（本周四）晚 7 點(diǎn)，我們準(zhǔn)時(shí)相約 PaperWeekly 直播間。

直播信息

近年來，預(yù)訓(xùn)練語言模型迅速發(fā)展，模型參數(shù)量也不斷增加。為了提高模型效率，各種各樣的模型壓縮方法被提出，其中就包括模型剪枝。然而，現(xiàn)有的模型剪枝方法大多只聚焦于保留任務(wù)相關(guān)知識，而忽略了任務(wù)無關(guān)的通用知識的保留。對此，我們提出了一種基于對比學(xué)習(xí)的新的剪枝框架，適用于各種結(jié)構(gòu)化剪枝與非結(jié)構(gòu)化剪枝方法，在各種壓縮比下都提升了壓縮后模型的表現(xiàn)。

論文標(biāo)題：

From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression

論文鏈接：

https://arxiv.org/abs/2112.07198

本次分享的具體內(nèi)容有：?

• 預(yù)訓(xùn)練語言模型發(fā)展與模型壓縮

• 模型剪枝壓縮中存在的問題

• 基于對比學(xué)習(xí)的預(yù)訓(xùn)練語言模型剪枝壓縮

• 實(shí)驗(yàn)分析與結(jié)論

嘉賓介紹

?許潤昕?/ 北京大學(xué)計(jì)算語言所碩士生?

許潤昕，北京大學(xué)計(jì)算語言所二年級碩士生，導(dǎo)師為常寶寶老師。主要研究興趣為自然語言處理中的關(guān)系抽取，事件抽取，以及預(yù)訓(xùn)練模型的應(yīng)用與加速等方向。在ACL、EMNLP、AAAI、CIKM等國際會議上發(fā)表論文。

直播地址?& 交流群

本次直播將在 PaperWeekly 視頻號和 B 站直播間進(jìn)行，掃描下方海報(bào)二維碼或點(diǎn)擊閱讀原文即可免費(fèi)觀看。線上分享結(jié)束后，嘉賓還將在直播交流群內(nèi)實(shí)時(shí) QA，在 PaperWeekly 微信公眾號后臺回復(fù)「AI Drive」，即可獲取入群通道。

視頻號直播間：

掃描下方二維碼關(guān)注 PaperWeekly 視頻號，第一時(shí)間獲取開播提醒。

B 站直播間：

https://live.bilibili.com/14884511

合作伙伴

🔍

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的直播预告 | AAAI 2022论文解读：基于对比学习的预训练语言模型剪枝压缩的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。