目錄

• [1] SQuINTing at VQA Models: Introspecting VQA Models with Sub-Questions
• [2] Iterative Answer Prediction with Pointer-Augmented Multimodal Transformers for Text VQA
• [3] Syntax-Aware Action Targeting for Video Captioning
• [4] Modality Shifting Attention Network for Multi-modal Video Question Answering
• [5] Graph-Structured Referring Expression Reasoning in The Wild
• [6] Say As You Wish: Fine-grained Control of Image Caption Generation with Abstract Scene Graphs
• 總結(jié)

[1] SQuINTing at VQA Models: Introspecting VQA Models with Sub-Questions

• oral
• motivation：模型答對(duì)了問(wèn)題，但是可能并沒(méi)有理解圖像，這體現(xiàn)在對(duì)問(wèn)題的回答存在不一致性（eg：圖中香蕉是什么顏色的？綠色。這個(gè)香蕉熟了嗎？熟了。）。
• method：本文提出一個(gè)數(shù)據(jù)集，將VQA任務(wù)中的問(wèn)題分為兩類：Reasoning、Perception。其中，Perception類問(wèn)題是Reasoning類問(wèn)題的子問(wèn)題（前提）。

[2] Iterative Answer Prediction with Pointer-Augmented Multimodal Transformers for Text VQA

• oral，出自UCB + FaceBook
• motivation：傳統(tǒng)方法使用pairwise機(jī)制（對(duì)每?jī)煞N模態(tài)進(jìn)行融合、以此類推），且預(yù)測(cè)時(shí)使用分類方法，無(wú)法生成多個(gè)單詞的答案。
• method：多模態(tài)Transformer，多步指針增強(qiáng)decoder。
• 訓(xùn)練時(shí)：teacher forcing，給定真值，預(yù)測(cè)下一個(gè)值。

[3] Syntax-Aware Action Targeting for Video Captioning

• poster，出自陶大程老師的小組
• motivation：video captioning應(yīng)更注重action（interaction）
• method：語(yǔ)法感知模塊 + 動(dòng)作引導(dǎo)Captioner

[4] Modality Shifting Attention Network for Multi-modal Video Question Answering

• poster
• task：視頻帶有字幕，回答問(wèn)題需要同時(shí)參考視頻和字幕。可以分割為兩個(gè)sub-task：①. video grounding；②. VQA。
• challenge：①. 找出所有異質(zhì)模態(tài)中有利于回答這個(gè)問(wèn)題的關(guān)鍵時(shí)刻；②. 基于異質(zhì)模態(tài)進(jìn)行問(wèn)答；
• method：給我的感覺(jué)，和video grounding、VQA中的方法差不多。

[5] Graph-Structured Referring Expression Reasoning in The Wild

• oral
• 參考鏈接

[6] Say As You Wish: Fine-grained Control of Image Caption Generation with Abstract Scene Graphs

• oral
• 參考鏈接

總結(jié)

• [2] 在V&L中使用了Transformer，但是使用方法有些簡(jiǎn)單，感覺(jué)沒(méi)有發(fā)揮出Transformer的優(yōu)勢(shì)。
• [1][5][6] 三篇文章分別針對(duì)VQA、RE、ImageCaptioning三個(gè)任務(wù)，提出了具有推理能力的方法。[1]從sub-question的一致性出發(fā)，將question分為兩類，并提出了特定數(shù)據(jù)集。[5]中考慮referring expression的語(yǔ)言結(jié)構(gòu)，作為reasoing的order。[6]提出了抽象場(chǎng)景圖的概念，并適用抽象場(chǎng)景圖作為reasoning的order（當(dāng)然，這篇文章的重點(diǎn)在于抽象場(chǎng)景圖帶來(lái)的細(xì)粒度可控性）。由此可見(jiàn)，進(jìn)行reasoning的形式和方法有很多，應(yīng)多思考。

總結(jié)

以上是生活随笔為你收集整理的2020-07-16 CVPR2020 VL论文讨论（5） 笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。