?作者丨h(huán)appy
編輯丨極市平臺(tái)
本文原創(chuàng)首發(fā)于極市平臺(tái)，轉(zhuǎn)載請(qǐng)獲得授權(quán)并標(biāo)明出處。

原文鏈接：https://arXiv.org/abs/2109.10852

語言模型與目標(biāo)檢測(cè)這種八竿子打不著的領(lǐng)域之間會(huì)存在關(guān)聯(lián)性嗎 ？Hinton團(tuán)隊(duì)的最新工作Pix2Seq對(duì)此進(jìn)行了探索，它將目標(biāo)檢測(cè)問題轉(zhuǎn)換成了語言模型問題，并在COCO數(shù)據(jù)集上取得了與DETR相當(dāng)甚至更優(yōu)性能 。好大的腦洞！

Abstract

本文提出了一種簡(jiǎn)單而通用框架Pix2Seq用于目標(biāo)檢測(cè)，不同于已有顯式集成先驗(yàn)知識(shí)的方案，我們將目標(biāo)檢測(cè)任務(wù)轉(zhuǎn)換成了基于觀測(cè)像素輸入的語言模型任務(wù) 。關(guān)于目標(biāo)的描述(比如邊框、類別)將被描述為離散token序列，我們訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)去感知圖像并生成期望的序列。

該方法主要基于這樣的直覺：如果神經(jīng)網(wǎng)絡(luò)知道目標(biāo)在哪、目標(biāo)是什么，那么我們僅需要教它如何進(jìn)行解析 。除了實(shí)用任務(wù)相關(guān)數(shù)據(jù)增廣外，該方法對(duì)任務(wù)做了最小假設(shè)，相比高度優(yōu)化的檢測(cè)方案，所提方法在COCO數(shù)據(jù)集上取得了極具競(jìng)爭(zhēng)力的結(jié)果。

原文地址：去除冗余token的DETR效果怎么樣？NUS顏水成團(tuán)隊(duì)提出端到端的PnP-DETR結(jié)構(gòu)

總結(jié)

以上是生活随笔為你收集整理的去除冗余token的DETR效果怎么样？NUS颜水成团队提出端到端的PnP-DETR结构的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。