目錄

• [1] Multi-Scale Fusion Subspace Clustering Using Similarity Constraint
• [2] Non-Local Neural Networks with Grouped Bilinear Attentional Transforms
• [3] Neural Networks Are More Productive Teachers Than Human Raters
• [4] Search to Distill Pearls are Everywhere but not the Eyes
• [5] iTAML An Incremental Task-Agnostic Meta-learning Approach
• [6] Learning to Segment the Tail
• 總結(jié)

[1] Multi-Scale Fusion Subspace Clustering Using Similarity Constraint

• baseline (NIPS2017)：親和矩陣 -> 譜聚類。已有方法的親和矩陣是計(jì)算得到（如余弦相似度、核方法），baseline中是學(xué)出來的（pre-train自編碼器 + fine-tune，學(xué)習(xí)自表達(dá)矩陣）。
• motivation：baseline只用到了deep encoder的深層信息，忽略了淺層信息。
• method：使用自編碼器的每一層學(xué)得一個(gè)自表達(dá)矩陣，再將它們?nèi)诤稀?/li>

[2] Non-Local Neural Networks with Grouped Bilinear Attentional Transforms

• baseline (CVPR2018 Non-Local Neural Networks)：baseline中提出了一種block，用于捕獲長范圍依賴關(guān)系（擴(kuò)大感受野）。
• motivation：baseline的復(fù)雜度是$N^2$
• 作者提出：block應(yīng)具有足夠強(qiáng)的建模能力，并能夠即插即用端到端。
• contribution1：減少了參數(shù)量和復(fù)雜度
• contribution2：通過bilinear達(dá)到了強(qiáng)大的建模能力。

[3] Neural Networks Are More Productive Teachers Than Human Raters

• oral
• motivation：減少query teacher model的次數(shù)（通過active learning解決）。
• method：共分為三步，①. 構(gòu)造侯選池；②. 選擇不確定性最大的侯選池子集；③. 對黑盒的teacher model進(jìn)行query。

[4] Search to Distill Pearls are Everywhere but not the Eyes

• oral
• motivation：對于每個(gè)student model，都應(yīng)該存在與其對應(yīng)的最好的teacher model architecture。
• method：使用neural network search解決。

[5] iTAML An Incremental Task-Agnostic Meta-learning Approach

• task：Incremental Learning，在不同的任務(wù)上進(jìn)行增量學(xué)習(xí)。
• task challenge：塑料性（不能“喜新厭舊”，學(xué)會(huì)了新任務(wù)，忘了老任務(wù)）、穩(wěn)定性（學(xué)不會(huì)新任務(wù)）。
• motivation：不同task上，用同一個(gè)model進(jìn)行學(xué)習(xí)是很困難的。
• method：提出一個(gè)通用的模型，快速適用于多個(gè)任務(wù)。本質(zhì)是，對不同的task用不同的model。
• challenge of this paper：①. task challenge ；②. 不指定task時(shí)，meta learning不好訓(xùn)練；③. 現(xiàn)有方法都是用固定的內(nèi)存（顯存），本文方法不可以。
  

[6] Learning to Segment the Tail

• 出自南洋理工張含望老師組
• task：長尾分布
• motivation：解決長尾分布。已有方法分為兩類：采樣 or 加權(quán)
• 長尾分布帶來兩個(gè)問題：①. 類別不平衡；②. few shot問題（尾部數(shù)據(jù)比較少）。
• method：divide & conquer（分割、逐漸占領(lǐng)）。按頻率從高到低對類別進(jìn)行劃分，先使用頻率最高的第一部分進(jìn)行訓(xùn)練，再使用第二部分進(jìn)行finetune，finetune的過程在第一部分進(jìn)行采樣，使第一部分和第二部分平衡，以此類推。
• 本質(zhì)：增量學(xué)習(xí)。
• GAN的模式崩塌：生成器沒有很好的約束，只會(huì)去擬合最容易擬合的部分，造成生成的結(jié)果都差不多。

總結(jié)

• [1][2] 兩篇文章都是基于baseline進(jìn)行改進(jìn)，都是用老方法解決老問題。
• [3][4] 兩篇文章都是對于Teacher-Student模型進(jìn)行優(yōu)化，聽下來的感覺，兩篇文章都是提出了領(lǐng)域中的一個(gè)新問題，沒有其他學(xué)者研究過，文章的novelty屬于最高層次，這應(yīng)該是中oral的原因。
• [5][6] 兩篇都是poster，兩篇文章都是在已有問題探索了新方法，達(dá)到了更好的效果，novelty屬于第二層次。
• novelty的層次劃分：①. 最高層次：發(fā)現(xiàn)新問題；②. 第二層次：已有問題發(fā)現(xiàn)新解法；③. 第三層次：新的insight，有better understanding；④.最低層次：better results。
• 從目前我的理解來看，文章的novelty達(dá)到最高層次，基本就是頂會(huì)的oral。novelty達(dá)到第二層次，文章能夠發(fā)表在頂會(huì)的poster。第三、第四兩個(gè)層次都是前兩個(gè)層次的輔助，如果文章的novelty只能達(dá)到后兩個(gè)層次，很難中頂會(huì)頂刊。

總結(jié)

以上是生活随笔為你收集整理的2020-07-15 CVPR2020 表示学习论文讨论（4） 笔记的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。