了解《诗歌生成》必看的6篇论文【附打包下载地址】
論文推薦
“?《SFFAI 66期-詩歌生成專場》來自清華大學的矣曉沅同學推薦的文章主要關注于自然語言處理領域,你可以認真閱讀講者推薦的論文,來與講者及同行線上交流哦。”
關注文章公眾號
回復"SFFAI66"獲取本主題精選論文
領域基礎
推薦理由:這是篇論文第一次將統(tǒng)計機器翻譯模型用于中文對聯(lián)的自動生成。文中定義了多個統(tǒng)計翻譯的feature,部分feature在后續(xù)的一些工作中也可以用于后處理,作為神經(jīng)網(wǎng)絡模型的補足。此外,該篇model比較了人工評分和BLEU值的相關性,表明BLEU在一定程度上也可以用于自動評價文學文本的生成。
—— 矣曉沅
推薦理由:這篇論文是上一篇的延續(xù),同樣是MSRA周明老師組當年的工作。在對聯(lián)之后,他們將統(tǒng)計機器翻譯模型進一步應用到了絕句生成上。該文確定了詩歌生成line to line的生成模式,并且提出了利用古籍《詩學含英》來自動構(gòu)建多個BLEU reference的方法。
—— 矣曉沅
推薦理由:這篇論文是將循環(huán)神經(jīng)網(wǎng)絡(RNN)應用到中文詩歌生成的第一篇工作,在詩歌自動生成領域具有奠基性的意義。文中提出的很多方法,如上下文的建模思路等,都直接啟發(fā)了后續(xù)的一系列相關工作。對詩歌生成有興趣的朋友建議優(yōu)先讀一下這篇文論。
—— 矣曉沅
領域前沿
推薦理由:這是我們九歌團隊的另一篇工作。該篇論文中我們提出了一種無監(jiān)督的風格詩歌生成方法。通過最大化互信息的方式,我們直接將詩歌空間,而非隱空間,解耦為任意設定的K個風格空間。該模型完全基于無監(jiān)督的方法進行訓練,在風格的區(qū)分度和詩歌的多樣性上,效果要略差于MixPoet。但是該模型的優(yōu)勢在于,無需標注語料,簡單易用并且可以任意設置風格的數(shù)量。有興趣的朋友可以閱讀一下并和MixPoet作對比。
—— 矣曉沅
推薦理由:文學文本的生成往往對多樣性有較高的要求。一般我們使用beam search進行解碼,然而beam search容易產(chǎn)生雷同乏味的生成結(jié)果。這篇論文是Max welling組的工作。該方法利用Gumbel分布定義了新的Beam Score,從而將隨機性自然地引入到Beam Search算法中,并在數(shù)學上證明了所提出的Stochastic Beam Search算法能夠和原Beam Search一樣搜索到局部最優(yōu)解。該方法比較適合于對多樣性和創(chuàng)新性有要求的文本生成任務。?
—— 矣曉沅
推薦理由:這篇論文同樣發(fā)表于AAAI,其首次將預訓練的Masked Language Model (MLM)用在了中文詩歌生成任務上。該論文先用一個基礎的sequence-to-sequence模型生成詩歌的草稿,然后利用BERT對草稿詩中質(zhì)量較差的字進行mask,而后重新生成,不斷迭代,以達到潤色的效果。雖然對詩歌進行Iterative Polishing的思路最早應該是I, Poet 模型 (Yan, IJCAI 2016)中提出的,但該篇論文設計了更為有效的mask和prediction的方法,同時也整合了目前強大的BERT模型,值得認真閱讀。
—— 矣曉沅
參會須知
會議主題
詩歌生成專場
會議簡介
清華大學自然語言處理與社會人文計算實驗室(THUNLP)開發(fā)的人工智能詩歌寫作系統(tǒng)“九歌”在2017年上線后立即就產(chǎn)生了巨大的轟動。九歌能夠產(chǎn)生集句詩、近體詩、藏頭詩等不同體裁的詩歌,融合了現(xiàn)代技術和中國古典文化,在推動自然語言處理技術發(fā)展,弘揚中華優(yōu)秀傳統(tǒng)文化等方面都有所幫助。本期論壇我們邀請到了九歌系統(tǒng)的主要研發(fā)成員矣曉沅,為大家介紹他的最新研究成果。
會議時間
2020年5月31日(周日)
20:00 -- 21:00
報名方式
公眾號二維碼
請同學們掃碼關注本公眾號,對話框回復“SFFAI66”,獲取入群二維碼。
SFFAI的介紹
現(xiàn)代科學技術高度社會化,在科學理論與技術方法上更加趨向綜合與統(tǒng)一,為了滿足人工智能不同領域研究者相互交流、彼此啟發(fā)的需求,我們發(fā)起了人工智能前沿學生論壇SFFAI,邀請一線科研人員分享、討論人工智能各個領域的前沿思想和最新成果,使專注于各個細分領域的研究者開拓視野、觸類旁通。SFFAI目前主要關注機器學習、計算機視覺、自然語言處理等各個人工智能垂直領域及交叉領域的前沿進展,進行學術傳播,同時為講者塑造個人影響力。
SFFAI還在構(gòu)建人工智能領域的知識森林—AI Knowledge Forest。通過匯總各位參與者貢獻的領域知識,沉淀人工智能前沿精華,使AI Knowledge Tree枝繁葉茂,為人工智能社區(qū)做出貢獻。SFFAI自2018年9月16日舉辦第一期,每周一期學術分享交流,截止目前已舉辦65期學術交流活動,共有100+位講者分享了他們的真知灼見,來自100多家單位的同學參與了現(xiàn)場交流,通過線上推文、網(wǎng)絡直播等形式,50000+人次參與了人工智能前沿學生論壇。SFFAI自發(fā)起以來,迅速成長壯大,已經(jīng)成為人工智能學生交流的第一品牌,有志同道合的論壇核心志愿者團隊、樂于學術分享的講者伙伴,還有許多認可活動價值、多次報名參加現(xiàn)場交流的觀眾,大家通過參與人工智能前沿學生論壇,收獲了寶貴的知識和友誼,SFFAI致力于幫助大家解決在學術中遇到的相關問題,拓展學術人脈,為大家營造專業(yè)、開放的學術交流環(huán)境!
歷史文章推薦
牛廣林:規(guī)則引導的知識圖譜組合式表示學習
王玫:自然環(huán)境下的多種族人臉:利用信息最大化自適應網(wǎng)絡去減少種族偏差
傅朝友:Domain-Aware Diverse Face Manipulation
申磊:多輪對話中的上下文信息建模
方杰民:Recent Advances and Highlights of NAS
張志鵬:SiamDW Real-Time Visual Tracking
周龍:同步雙向文本生成
王亦寧:Multilingual Neural Machine Translation
呼奮宇:深度層次化圖卷積神經(jīng)網(wǎng)絡
崔澤宇:套裝搭配推薦在圖神經(jīng)網(wǎng)絡上的應用
張文:Recent Advances in NMT
若您覺得此篇推文不錯,麻煩點點在看↓↓
總結(jié)
以上是生活随笔為你收集整理的了解《诗歌生成》必看的6篇论文【附打包下载地址】的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 由海天瑞声支持,全球最大多领域英语开源数
- 下一篇: 日文つ的浊音怎样打