AI視野·今日CS.CV 計算機視覺論文速覽
Fri, 1 Jan 2021
Totally 98 papers
👉上期速覽?更多精彩請移步主頁

Interesting:

****📚FPCC-Net, 用于實例分割的高速點云聚類算法，主要用于機器人抓取問題，處理多個同種物體的實例分割。 bin-picking 場景的應用。(from 東北大學 日本Tohoku)
在機器人抓取的場景中，互相遮擋的同類物體區分十分復雜，所以需要高效的三維實例分割算法。其中主要包含兩個模塊，一個用于推理出特征中心，另一個用于描述每個點的特征。

dataset:Fraunhofer IPA Bin-Picking dataset (IPA) [35] ,XA Bin-Picking dataset (XA) [37]

**📚DeepSurfels,一種用于幾何與外觀的混合場景表示方法，使用了顯式和神經網絡方式來對幾何特征與外觀信息進行聯合編碼，對高頻特征表示較好，同時適用于在線更新與融合。Scene Representations (from ETH Zurich)

幾何擬合過程：

兩個模塊的具體構成：

3D models from free3d.com and turbosquid.com

*📚DEEPSPHERE, 一種基于圖的球卷積。(from 洛桑理工)
一些球空間的數據示例：

https://github.com/deepsphere

📚OSTeC, 單樣本人臉紋理補全，將側臉轉為正臉(from 帝國理工)

https://github.com/barisgecer/OSTeC

📚DUT-LFSaliency多功能的光場數據集, 可實現RGB，RGBD和光場的顯著性檢測，并提出了聚焦流和RGB流兩種光場表示的模型，分別用于臺式機和移動端。(from 大連理工)
本文提出的雙信息流檢測算法：

現有的光場數據集比較



code:https://github.com/OIPLab-DUT/DUTLF-V2

**📚快速高光譜圖像重建算法,編碼孔徑快照光譜成像技術，雙目相機壓縮的圖像中快速重建/ (from RIKEN)
Coded aperture snapshot spectral imaging (CASSI)可利用2D測量來捕獲高光譜圖像。RGB用于估計稀疏，CASSI測量用于提供正交光譜信息。(ref:https://www.doc88.com/p-0711464143433.html)



高光譜數據集dataset:
https://www.usgs.gov/ http://icvl.cs.bgu.ac.il/hyperspectral/ http://www1.cs.columbia.edu/CAVE/databases/multispectral/
一種高光譜相機：https://www.specim.fi/spectral-cameras/
DeSCI：https://github.com/liuyang12/DeSCI
SCI將多幀壓縮成一幀的方法 Snapshot compressive imaging：https://arxiv.org/pdf/1807.07837.pdf

*📚NeuralMagicEye, 魔眼算法autostereogram，看到隱藏在圖像后的物體(from 密歇根大學安娜堡分校)

📚CorrNet3D, 一種非監督方法用于稠密點云間特征匹配。(from 香港城市大學)。
這一模型除了特征抽取模塊外，還包括對應指示器和對稱變形模塊組成。它們可以生成對應矩陣并將輸入的兩個點云進行相互轉換，用于無監督的方式驅動模型學習出兩個點云間的特征。

對應指示器用于生成兩個點云特征間的對應矩陣，轉換器用于點云間的互相轉換：

對應的顏色顯示了點云每部分的對應程度：

non-rigid: Surreal [13] as the training dataset, test on the SHREC dataset [10]
rigid shape: Surreal dataset [13]
related methods:DeepGFM [10], DCP [47] and RPMNet [50]

📚SparsePipe用于點云的并行計算框架, 多GPU支持點云這類稀疏數據計算，構建了稀疏張量表示(from 弗羅里達大學)

稀疏卷積庫:https://github.com/traveller59/spconv

**📚視頻處理教學系統,包括詳實的教材和真實世界的樣本，以及交互式的課程組織。 (from 德克薩斯大學奧斯丁分校)



課程：EE381V

📚光照估計相關工作總結與綜述, (from Institute for Information Transmission Problems 俄羅斯)

SpyderCube calibration object Cube+ dataset that was used in IEC#1

📚利用攝像頭的心率檢測, (from VicarVision)

dataset:: www.vicarvision.nl/datasets/vicarppg2

📚直接在邊緣設備上利用視頻壓縮編碼來進行深度學習, (from Universidade Federal de S?ao Paulo巴西)

📚多媒體仇恨言論檢測, (from Abhishek Das)

📚腸鏡的息肉檢測和分割, (from SimulaMet UiT The Arctic University of Norway)

MediaEval 2020 dataset：Kvasir-SEG
https://multimediaeval.github.io/editions/2020/tasks/medico/

📚什么樣的視頻令人印象深刻, (from University of Essex, UK)

MediaEval 2020
dataset:TRECVid 2019 Video-to-Text dataset

📚FLAME森林火警數據集, (from Northern Arizona University, US)




https://ieee-dataport.org/open-access/flame-dataset-aerial-imagery-pile-burn-detection-using-drones-uavs

Daily Computer Vision Papers

Real-time Webcam Heart-Rate and Variability Estimation with Clean Ground Truth for Evaluation Authors Amogh Gudi, Marian Bittner, Jan van Gemert 遠程體積容積描記法rPPG使用相機估計人的心率HR。類似于心率如何提供有關人的生命體征的有用信息，可以從心率變異性HRV獲得有關潛在生理心理狀況的見解。 HRV是心跳間隔中細微波動的量度。但是，該措施需要高精度地臨時定位心跳。我們引入了一種經過改進的高效實時rPPG管道，該管道具有新穎的濾波和運動抑制功能，不僅可以估算心率，還可以提取脈搏波形以計時心跳并測量心率變異性。這種不受監督的方法不需要rPPG專門培訓，并且能夠實時運行。我們還將介紹一個新的多模態視頻數據集VicarPPG 2，該數據集專門用于評估HR和HRV估計上的rPPG算法。我們在各種條件下，在廣泛的公共和自記錄數據集上驗證和研究了我們的方法，顯示了最新的結果并提供了對某些獨特方面的有用見解。最后，我們提供CleanerPPG，它是現有rPPG數據集的經過人工驗證的地面真實峰值心跳注釋的集合。這些經過驗證的注釋應使rPPG算法的未來評估和基準測試更加準確，標準化和公平。

Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers Authors Sixiao Zheng, Jiachen Lu, Hengshuang Zhao, Xiatian Zhu, Zekun Luo, Yabiao Wang, Yanwei Fu, Jianfeng Feng, Tao Xiang, Philip H.S. Torr, Li Zhang 最新的語義分段方法采用具有編碼器解碼器體系結構的全卷積網絡FCN。編碼器逐漸降低空間分辨率，并學習具有更大接收域的更多抽象語義視覺概念。由于上下文建模對于分割至關重要，因此，最新的工作集中在通過擴大的無聲卷積或插入注意模塊來增加接受域。但是，基于編碼器解碼器的FCN體系結構保持不變。在本文中，我們旨在通過將語義分割視為序列預測任務的序列來提供替代觀點。具體來說，我們部署了一個純變換器，即不進行卷積和分辨率降低，而是將圖像編碼為補丁序列。通過在變壓器的每一層中建模全局上下文，該編碼器可以與簡單的解碼器組合以提供功能強大的分段模型，稱為SEgmentation TRANSformer SETR。廣泛的實驗表明，SETR在ADE20K 50.28 mIoU，Pascal Context 55.83 mIoU和Cityscapes的競爭結果方面達到了新的水平。特別是，我們在競爭激烈的ADE20K測試服務器排行榜中獲得了第一個44.42 mIoU的位置。

Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans Authors Sida Peng, Yuanqing Zhang, Yinghao Xu, Qianqian Wang, Qing Shuai, Hujun Bao, Xiaowei Zhou 本文從非常稀疏的攝像機視圖集中解決了人類表演者新穎的視圖合成所面臨的挑戰。最近的一些工作表明，在密集的輸入視圖下，學習3D場景的隱式神經表示可實現非凡的視圖合成質量。但是，如果視圖非常稀疏，則表示學習將不適當。為了解決這個不適的問題，我們的關鍵思想是整合對視頻幀的觀察。為此，我們提出了一種新的人體表示形式“神經體”，它假設在不同框架上學習到的神經表示共享錨定在可變形網格上的同一組潛在代碼，從而可以自然地整合跨框架的觀察結果。可變形網格還為網絡提供了幾何指導，以更有效地學習3D表示。在新收集的多視圖數據集上進行的實驗表明，在視圖合成質量方面，我們的方法大大優于以前的工作。我們還展示了我們的方法從People Snapshot數據集上的單目視頻中重建移動的人的能力。代碼和數據集將在以下位置提供

A CNN Approach to Simultaneously Count Plants and Detect Plantation-Rows from UAV Imagery Authors Lucas Prado Osco, Mauro dos Santos de Arruda, Diogo Nunes Gon alves, Alexandre Dias, Juliana Batistoti, Mauricio de Souza, Felipe David Georges Gomes, Ana Paula Marques Ramos, L cio Andr de Castro Jorge, Veraldo Liesenberg, Jonathan Li, Lingfei Ma, Jos Marcato Junior, Wesley Nunes Gon alves 在本文中，我們提出了一種基于卷積神經網絡CNN的新穎的深度學習方法，該方法可以同時檢測并定位人工林行，同時考慮到高度密集的人工林配置對其植物進行計數。在具有不同生長階段的玉米田和柑橘園中評估了實驗設置。這兩個數據集都表征了不同的植物密度情景，位置，農作物類型，傳感器和日期。在我們的CNN方法中實現了兩個分支的體系結構，其中，在種植行中獲得的信息被更新為植物檢測分支，并向行分支進行逆向輸入，然后通過多階段優化方法對其進行優化。在具有成年和成熟兩個生長階段的玉米種植數據集中，我們的方法返回的每個圖像斑塊的平均絕對誤差MAE為6.224株，平均相對誤差MRE為0.1038，精確度和召回率分別為0.856和0.905，并且F度量等于0.876。這些結果優于使用相同任務和數據集評估的其他深度網絡HRNet，Faster R CNN和RetinaNet的結果。對于人工林行檢測，我們的方法分別返回0.913、0.941和0.925的精度，召回率和F量度分數。為了測試模型在不同農業類型下的穩健性，我們在柑桔園數據集中執行了相同的任務。它返回的MAE等于每個補丁1.409棵柑橘樹，MRE為0.0615，精度為0.922，召回率為0.911，F值為0.965。對于柑橘種植園行檢測，我們的方法得出的精確度，召回率和F度量值分別等于0.965、0.970和0.964。所提出的方法實現了對來自不同類型農作物的無人機圖像中的植物和植物行進行計數和地理定位的最新技術性能。

iGOS++: Integrated Gradient Optimized Saliency by Bilateral Perturbations Authors Saeed Khorram, Tyler Lawson, Fuxin Li 深度網絡的黑匣子性質解釋了為什么他們做出某些預測極具挑戰性。顯著圖是緩解此問題的最廣泛使用的本地解釋工具之一。生成顯著性圖的主要方法之一是通過在輸入維度上優化掩碼，以使網絡的輸出受到掩碼的影響最大。但是，先前的工作僅通過從輸入中刪除證據來研究這種影響。在本文中，我們介紹了iGOS，它是生成顯著圖的框架，該顯著圖經過優化，可以通過刪除或保留一小部分輸入來更改黑盒系統的輸出。此外，我們建議在優化中添加一個雙邊總變化項，以提高顯著性圖的連續性，尤其是在高分辨率和薄物體部分的情況下。通過將iGOS與最新的顯著性圖方法進行比較得出的評估結果顯示，在定位人類可以直接解釋的顯著區域方面，有了顯著的改進。我們將iGOS用于從X射線圖像中對19例COVID病例進行分類的任務中，發現在進行分類時，有時CNN網絡會過度適合打印在X射線圖像上的字符。通過數據清理解決此問題，大大提高了分類器的準確性和召回率。

Illumination Estimation Challenge: experience of past two years Authors Egor Ershov, Alex Savchik, Ilya Semenkov, Nikola Bani , Karlo Koscevi , Marko Suba i , Alexander Belokopytov, Zhihao Li, Arseniy Terekhin, Daria Senshina, Artem Nikonorov, Yanlin Qian, Marco Buzzelli, Riccardo Riva, Simone Bianco, Raimondo Schettini, Sven Lon ari , Dmitry Nikolaev 照明估計是計算色彩恒定性的必要步驟，它是現代數碼相機各種圖像處理管道的核心部分之一。具有準確而可靠的照度估算對于減少照度對圖像顏色的影響很重要。為了激勵這一領域的新思想的產生和新算法的發展，進行了第二次照明估計挑戰IEC 2。與在某些已知數據集上進行測試相比，對挑戰進行測試的主要優勢在于，直到提交結果之前，挑戰測試圖像的地面真相照明都是未知的，這可以防止可能進行的任何超參數調整有偏見。

SelectScale: Mining More Patterns from Images via Selective and Soft Dropout Authors Zhengsu Chen, Jianwei Niu, Xuefeng Liu, Shaojie Tang 卷積神經網絡CNN在圖像識別方面取得了顯著成功。盡管CNN有效地學習了輸入圖像的內部模式，但是這些模式僅構成輸入圖像中包含的有用模式的一小部分。這可以歸因于這樣一個事實，即如果所學習的模式足以進行正確的分類，則CNN將停止學習。諸如dropout和SpatialDropout之類的網絡正則化方法可以緩解此問題。在訓練期間，他們會隨機刪除這些功能。從本質上講，這些輟學方法會改變網絡學習的模式，進而迫使網絡學習其他模式以進行正確的分類。然而，上述方法具有重要的缺點。隨機丟棄特征通常效率低下，并且會引入不必要的噪聲。為了解決這個問題，我們建議使用SelectScale。 SelectScale可以隨機選擇網絡中的重要功能，并在訓練過程中對其進行調整，而不是隨機丟棄它們。使用SelectScale，我們可以提高CIFAR和ImageNet上CNN的性能。

Voxel R-CNN: Towards High Performance Voxel-based 3D Object Detection Authors Jiajun Deng, Shaoshuai Shi, Peiwei Li, Wengang Zhou, Yanyong Zhang, Houqiang Li 3D對象檢測的最新進展在很大程度上取決于如何表示3D數據，即基于體素或基于點的表示。許多現有的高性能3D檢測器都是基于點的，因為這種結構可以更好地保留精確的點位置。然而，由于無序存儲，點級功能導致高計算開銷。相反，基于體素的結構更適合于特征提取，但由于輸入數據被劃分為網格，因此通常產生較低的精度。在本文中，我們采取略有不同的觀點，我們發現原始點的精確定位對于高性能3D對象檢測不是必不可少的，并且粗體素粒度還可以提供足夠的檢測精度。牢記這一觀點，我們設計了一個簡單但有效的基于體素的框架，名為Voxel R CNN。通過在兩階段方法中充分利用體素功能，我們的方法可實現與基于點的最新模型可比的檢測精度，但計算成本卻很小。 Voxel R CNN由3D骨干網絡，2D鳥瞰BEV區域提議網絡和檢測頭組成。設計了體素RoI池以直接從體素特征中提取RoI特征，以進行進一步優化。在廣泛使用的KITTI數據集和最新的Waymo Open數據集上進行了廣泛的實驗。我們的結果表明，與現有的基于體素的方法相比，Voxel R CNN可以提供更高的檢測精度，同時在NVIDIA RTX 2080 Ti GPU上以25 FPS的速度保持實時幀處理速率（emph）。該代碼將很快發布。

NeuralMagicEye: Learning to See and Understand the Scene Behind an Autostereogram Authors Zhengxia Zou, Tianyang Shi, Yi Yuan, Zhenwei Shi 自動立體圖，又稱魔術眼圖像，是可以從2D紋理創建3D場景的視覺幻覺的單個圖像立體圖。本文研究了一個有趣的問題，即能否訓練深層的CNN來恢復自動立體圖背后的深度并理解其內容。自動立體圖魔術的關鍵在于解決這種問題的立體視覺，模型必須學會發現和估計準周期性紋理的差異。我們展示了嵌入視差卷積的深CNN，這是本文提出的一種新穎的卷積層，可以模擬立體視點并編碼視差，在以自我監督的方式在大型3D對象數據集上經過充分訓練后，可以很好地解決此類問題。我們將我們的方法稱為NeuralMagicEye。實驗表明，該方法可以準確地恢復自動立體圖背后的深度，并具有豐富的細節和漸變平滑度。實驗還顯示了神經網絡和人眼之間自動立體圖感知的完全不同的工作機制。我們希望這項研究可以幫助有視覺障礙的人和查看自動立體圖有困難的人。我們的代碼可從url獲得

CNN-based Single Image Crowd Counting: Network Design, Loss Function and Supervisory Signal Authors Haoyue Bai, S. H. Gary Chan 單圖像人群計數是一個具有挑戰性的計算機視覺問題，在公共安全，城市規劃，交通管理等方面具有廣泛的應用。本次調查旨在通過密度圖估計，對基于卷積神經網絡CNN的最新高級人群計數技術進行全面總結。我們的目標是提供有關最新方法的最新評論，并教育該領域的新研究人員設計原則和權衡取舍。在介紹了公開可用的數據集和評估指標之后，我們將對三個主要設計模塊進行詳細比較，以對最新進展進行回顧，以對深度神經網絡設計，損失函數和監督信號進行人群計數。我們以一些未來的方向來結束調查。

Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes Authors Ay a Takmaz, Danda Pani Paudel, Thomas Probst, Ajad Chhatkuli, Martin R. Oswald, Luc Van Gool 復雜和動態場景的單眼深度重建是一個極具挑戰性的問題。盡管對于剛性場景，基于學習的方法即使在無人監督的情況下也已提供了令人鼓舞的結果，但幾乎沒有文獻針對動態和可變形場景解決同樣的問題。在這項工作中，我們提出了一種用于動態場景密集深度估計的無監督單目框架，該框架可以聯合重建剛性和非剛性零件，而無需顯式建模攝像機運動。使用密集的對應關系，我們得出了一個訓練目標，旨在機會性地保留重建的3D點之間的成對距離。在此過程中，使用盡可能嚴格的假設隱式地學習密集深度圖。我們的方法提供了令人鼓舞的結果，證明了其從非剛性場景的具有挑戰性的視頻中重建3D的能力。此外，所提出的方法還提供了無監督的運動分割結果作為輔助輸出。

CorrNet3D: Unsupervised End-to-end Learning of Dense Correspondence for 3D Point Clouds Authors Yiming Zeng, Yue Qian, Zhiyu Zhu, Junhui Hou, Hui Yuan, Ying He 本文解決了以點云的形式計算3D形狀之間的密集對應關系的問題，這是計算機視覺和數字幾何處理中具有挑戰性和根本的問題。常規方法通常以監督方式解決該問題，需要大量帶注釋的數據，這很難獲得或昂貴。出于這樣的直覺，即人們可以比未對齊的對更容易，更有意義地將兩個對齊的點云彼此轉換，因此我們提出了CorrNet3D，這是第一個無監督的，端到端的深度學習框架，通過像重建以克服對帶注釋數據的需求。具體來說，CorrNet3D包含一個深層特征嵌入模塊和兩個名為對應指示器和對稱變形的新穎模塊。饋入一對原始點云，我們的模型首先學習點狀特征，并將其傳遞到指標中，以生成用于對輸入對進行置換的可學習的對應矩陣。具有附加正則損失的對稱變形器將兩個置換的點云彼此轉換，以驅動對對應關系的無監督學習。在剛性和非剛性3D形狀的合成數據集和真實世界數據集上進行的廣泛實驗表明，我們的CorrNet3D在很大程度上優于最新方法，包括那些以網格為輸入的方法。 CorrNet3D是一個靈活的框架，如果有注釋的數據可用，它可以輕松地適應監督學習。

A Deep Retinal Image Quality Assessment Network with Salient Structure Priors Authors Ziwen Xu, beiji Zou, Qing Liu 視網膜圖像質量評估是診斷視網膜疾病的必要前提。它的目的是識別清晰清晰地顯示出吸引眼科醫生關注的解剖結構和病變的視網膜圖像，同時剔除劣質眼底圖像。因此，我們模仿了眼科醫生評估視網膜圖像質量的方法，并提出了一種稱為SalStructuIQA的方法。首先，兩個重要的結構用于自動視網膜質量評估。一種是大尺寸的突出結構，包括視盤區域和大尺寸的滲出液。另一個是微小的顯著結構，主要包括血管。然后，我們將提出的兩個顯著結構先驗與深度卷積神經網絡CNN合并，以將CNN的重點轉移到顯著結構上。因此，我們開發了兩種CNN架構：雙分支SalStructIQA和單分支SalStructIQA。雙分支SalStructIQA包含兩個CNN分支，一個分支由大尺寸的突出結構引導，而另一個分支由小尺寸的突出結構引導。單個分支SalStructIQA包含一個CNN分支，該分支由大小和大小均顯著的結構的串聯引導。在Eye Quality數據集上的實驗結果表明，我們提出的雙分支SalStructIQA優于目前用于視網膜圖像質量評估的方法，而Single Branch SalStructIQA與最先進的深度視網膜圖像質量評估方法相比重量輕，并且仍具有競爭優勢。

Patch-wise++ Perturbation for Adversarial Targeted Attacks Authors Lianli Gao, Qilong Zhang, Jingkuan Song, Heng Tao Shen 盡管在針對深度神經網絡DNN的對抗攻擊方面已取得了巨大進展，但其可傳遞性仍然不盡人意，尤其是針對有針對性的攻擊。有兩個長期以來被忽視的問題：1傳統的T迭代設置具有epsilon T的步長以符合epsilon約束。在這種情況下，大多數像素都可以添加非常小的噪聲，這比epsilon和2通常要處理的像素噪聲要少得多。然而，由DNN提取的像素的特征受其周圍區域的影響，并且不同的DNN通常在識別中著重于不同的區分區域。為了解決這些問題，我們提出了一種補丁式迭代方法PIM，旨在制作具有高可移植性的對抗示例。具體來說，我們在每次迭代中為步長引入一個放大因子，并且溢出一個epsilon約束的一個像素s的整體坡度由項目內核適當地分配給其周圍區域。但是有針對性的攻擊旨在將對抗性示例推入特定類別的領域，并且放大系數可能會導致擬合不足。因此，我們介紹了溫度，并提出了一種逐塊迭代方法PIM，以在不顯著犧牲白盒攻擊性能的情況下進一步提高可傳遞性。我們的方法通常可以集成到任何基于梯度的攻擊方法中。與當前最先進的攻擊方法相比，我們將防御模型的成功率平均提高了35.9，對于經過常規訓練的模型，則平均提高了32.7。

Incremental Embedding Learning via Zero-Shot Translation Authors Kun Wei, Cheng Deng, Xu Yang, Maosen Li 通過學習一組預定義的數據集，現代深度學習方法在機器學習和計算機視覺領域取得了巨大的成功。但是，當將這些方法應用于現實世界時，它們的性能不能令人滿意。這種現象的原因是，學習新任務導致訓練有素的模型很快忘記了舊任務的知識，這被稱為災難性的忘記。當前最先進的增量學習方法可解決傳統分類網絡中的災難性遺忘問題，而忽略了嵌入網絡中存在的問題，后者是圖像檢索，人臉識別，零鏡頭學習等的基本網絡。與傳統的增量分類網絡不同，在相鄰學習環境下，嵌入網絡是兩個相鄰任務的嵌入空間之間的語義鴻溝。因此，我們提出了一種新型的嵌入網絡類增量方法，稱為零鏡頭翻譯類增量方法ZSTCI，它利用零鏡頭翻譯來估計和補償語義間隙而沒有任何示例。然后，我們嘗試在順序學習過程中為兩個相鄰任務學習統一的表示形式，從而準確地捕獲先前課程和當前課程的關系。此外，ZSTCI可以輕松地與現有的基于正則化的增量學習方法結合使用，以進一步提高嵌入網絡的性能。我們對CUB 200 2011和CIFAR100進行了廣泛的實驗，實驗結果證明了該方法的有效性。我們的方法代碼已發布。

Audio-Visual Floorplan Reconstruction Authors Senthil Purushwalkam, Sebastian Vicenc Amengual Gari, Vamsi Krishna Ithapu, Carl Schissler, Philip Robinson, Abhinav Gupta, Kristen Grauman 僅需看一眼環境，我們就可以推斷出整個平面圖的多少。現有方法只能映射從上下文可見或立即可見的內容，因此需要在空間中進行大量移動才能完全映射它。我們探討了音頻和視覺傳感如何共同從有限的角度提供快速的平面圖重建。音頻不僅有助于感知相機視野之外的幾何形狀，而且還揭示了遠方自由空間的存在，例如，狗在另一個房間里吠叫，并暗示了相機看不見的房間的存在，例如，洗碗機在嗡嗡聲中嗡嗡作響是左邊的廚房。我們介紹了AV Map，這是一種新穎的多模式編碼器解碼器框架，該框架共同針對音頻和視覺進行推理，以從短輸入視頻序列中重建平面圖。我們訓練模型來預測環境的內部結構和相關房間的語義標簽。我們在85個大型現實環境中獲得的結果僅顯示了一個區域26個區域的幾處瞥見，因此，我們可以以66個精度估算整個區域，其效果明顯優于現有的可視化地圖推斷方法。

Learned Multi-Resolution Variable-Rate Image Compression with Octave-based Residual Blocks Authors Mohammad Akbari, Jie Liang, Jingning Han, Chengjie Tu 最近，基于深度學習的圖像壓縮已顯示出超越傳統編解碼器的潛力。然而，大多數現有方法針對多個比特率訓練多個網絡，這增加了實現復雜性。在本文中，我們提出了一個新的可變速率圖像壓縮框架，該框架使用廣義八度音階卷積GoConv和廣義八度音階轉置卷積GoTConv，并內置了廣義除數歸一化GDN和逆GDN IGDN層。在編碼器和解碼器網絡中，還開發了基于GoConv和GoTConv的新型殘差塊。我們的方案還使用基于隨機舍入的標量量化。為了進一步提高性能，我們將來自解碼器網絡的輸入和重建圖像之間的殘差編碼為增強層。為了使單個模型能夠以不同的比特率運行并學習多速率圖像特征，引入了新的目標函數。實驗結果表明，所提出的采用可變速率目標函數訓練的框架優于標準編解碼器，例如基于H.265 HEVC的BPG和基于最新技術的可變速率方法。

TransTrack: Multiple-Object Tracking with Transformer Authors Peize Sun, Yi Jiang, Rufeng Zhang, Enze Xie, Jinkun Cao, Xinting Hu, Tao Kong, Zehuan Yuan, Changhu Wang, Ping Luo 多目標跟蹤MOT主要由檢測算法進行的復雜和多步跟蹤控制，該算法分別執行目標檢測，特征提取和時間關聯。單目標跟蹤SOT中的查詢關鍵機制通過前一幀的目標特征來跟蹤當前幀的目標，具有建立簡單的聯合檢測和跟蹤MOT范式的巨大潛力。但是，由于查詢鍵方法無法檢測新出現的對象，因此很少進行研究。在這項工作中，我們提出了TransTrack，這是使用Transformer進行MOT的基準。它利用查詢鍵機制，并將一組學習到的對象查詢引入管道中，以檢測新的即將到來的對象。 TransTrack具有三個主要優點：1是基于查詢鍵機制的在線聯合檢測和跟蹤管道。簡化了先前方法中的復雜步驟和多步驟組件。 2這是基于Transformer的全新體系結構。學習的對象查詢將檢測當前幀中的對象。來自上一幀的對象特征查詢將那些當前對象與先前的對象相關聯。 3我們首次展示了一種基于查詢鍵機制的簡單有效的方法，而Transformer體系結構可以在MOT17挑戰數據集上實現具有競爭力的65.8 MOTA。我們希望TransTrack可以為多對象跟蹤提供新的視角。該代碼位于url

SID: Incremental Learning for Anchor-Free Object Detection via Selective and Inter-Related Distillation Authors Can Peng, Kun Zhao, Sam Maksoud, Meng Li, Brian C. Lovell 增量學習需要一個模型來從流數據中不斷學習新任務。但是，在新任務上對訓練有素的深度神經網絡進行傳統的微調會極大地降低舊任務的性能，這是一個災難性的遺忘問題。在本文中，我們在無錨對象檢測的背景下解決了這個問題，這是計算機視覺的一種新趨勢，因為它簡單，快速且靈活。由于缺乏對特定模型結構的考慮，在這些無錨檢測器上簡單地采用當前的增量學習策略是失敗的。為了應對無錨對象檢測器上增量學習的挑戰，我們提出了一種新型的增量學習范例，稱為選擇性和相互相關的蒸餾SID。此外，提出了一種新穎的評估指標，以更好地評估增量學習條件下檢測器的性能。通過在適當的位置進行選擇性蒸餾并進一步轉移其他實例關系知識，我們的方法在基準數據集PASCAL VOC和COCO上顯示出顯著的優勢。

SharpGAN: Receptive Field Block Net for Dynamic Scene Deblurring Authors Hui Feng, Jundong Guo, Sam Shuzhi Ge 當在海上航行時，智能船不可避免地會由于風，浪和電流的作用而產生搖擺運動，這使得視覺傳感器收集的圖像顯得運動模糊。這將對基于視覺傳感器的物體檢測算法產生不利影響，從而影響智能船的航行安全。為了消除智能船航行過程中圖像的運動模糊，我們提出了一種基于生成對抗網絡的新型圖像去模糊方法SharpGAN。首先，將接收場塊網絡RFBNet引入去模糊網絡，以增強網絡提取模糊圖像特征的能力。其次，我們提出了一種特征損失，該特征損失結合了不同級別的圖像特征，以指導網絡執行更高質量的去模糊，并改善還原圖像和清晰圖像之間的特征相似度。最后，我們建議使用輕量級的RFB模塊來提高去模糊網絡的實時性能。與大規模真實海圖數據集和大規模去模糊數據集上的去模糊方法相比，該方法不僅在視覺感知和定量標準上具有更好的去模糊性能，而且具有更高的去模糊效率。

Beating Attackers At Their Own Games: Adversarial Example Detection Using Adversarial Gradient Directions Authors Yuhang Wu, Sunpreet S. Arora, Yanhong Wu, Hao Yang 對抗示例是專門為欺騙機器學習分類器而設計的輸入示例。現有技術的對抗示例檢測方法通過量化多個擾動下特征變化的幅度或通過測量其與估計的良性示例分布的距離來將輸入示例表征為對抗。代替使用這種度量，所提出的方法基于以下觀察：在制作新的對抗示例時，對抗梯度的方向在表征對抗空間中起關鍵作用。與使用多個擾動的檢測方法相比，該方法是有效的，因為它僅對輸入示例應用單個隨機擾動。在兩個不同的數據庫CIFAR 10和ImageNet上進行的實驗表明，所提出的檢測方法在五種不同的對抗攻擊下平均分別達到97.9和98.6 AUC ROC，并且優于多種先進的檢測方法。結果證明了使用對抗梯度方向進行對抗示例檢測的有效性。

3D Human motion anticipation and classification Authors Emad Barsoum, John Kender, Zicheng Liu 人體運動的預測和理解是一個具有挑戰性的問題。由于人類運動的復雜動態和未來預測的不確定性。我們提出了一種新的序列到序列模型，用于人類運動預測和特征學習，并使用生成的對抗網絡的修改版進行了訓練，并具有自定義損失函數，該函數從人類運動動畫中汲取靈感，并可以控制來自同一運動的多個預測運動之間的差異輸入姿勢。

Provident Vehicle Detection at Night: The PVDN Dataset Authors Lars Ohnemus, Lukas Ewecker, Ebubekir Asan, Stefan Roos, Simon Isele, Jakob Ketterer, Leopold M ller, Sascha Saralajew 對于高級駕駛員輔助系統，至關重要的是盡早獲得有關迎面駛來的車輛的信息。在夜間，由于光線不足，此任務特別困難。為此，在夜間，每輛車都使用大燈來改善視線，從而確保安全行駛。作為人類，我們通過檢測前照燈引起的光反射，直觀地假設即將迎面駛來的車輛在實際物理上可見之前。在本文中，我們提出了一個新穎的數據集，其中包含夜晚農村環境中349個不同場景中的54659個帶注釋的灰度圖像。在這些圖像中，標記了所有迎面駛來的車輛，其相應的照明對象（例如前照燈）以及它們各自的光反射（例如護欄上的光反射）。這伴隨著對數據集特征的深入分析。有了這些，我們將為第一個開源數據集提供全面的地面真實數據，從而使人們能夠研究基于即將到來的車輛的光檢測方法，這些方法將在車輛直接可見之前對其進行光反射。我們認為這是進一步縮小當前先進的駕駛員輔助系統與人類行為之間的性能差距所必不可少的步驟。

OSTeC: One-Shot Texture Completion Authors Baris Gecer, Jiankang Deng, Stefanos Zafeiriou 最近幾年見證了非線性生成模型在合成高質量逼真的面部圖像方面的巨大成功。最近許多來自單一圖像方法的3D面部紋理重建和姿勢操縱仍然依賴于大型且干凈的面部數據集，以將圖像訓練為圖像生成對抗網絡GAN。然而，如此大規模的高分辨率3D紋理數據集的收集仍然非常昂貴并且難以維持年齡種族平衡。此外，基于回歸的方法在野外條件下普遍存在，無法微調至目標圖像。在這項工作中，我們提出了一種無需監督的3D面部紋理補全方法，該方法不需要大規模的紋理數據集，而是可以利用存儲在2D面部生成器中的知識。所提出的方法基于可見部分，通過在2D人臉生成器中重建旋轉后的圖像，以3D旋轉輸入圖像并填充看不見的區域。最后，我們在UV圖像平面中以不同角度縫合最可見的紋理。此外，我們通過將完成的紋理投影到生成器中來使目標圖像正面化。定性和定量實驗表明，完整的UV紋理和正面圖像質量很高，類似于原始標識，可用于訓練用于3DMM擬合的紋理GAN模型并改善姿勢不變的面部識別。

Knowledge Distillation with Adaptive Asymmetric Label Sharpening for Semi-supervised Fracture Detection in Chest X-rays Authors Yirui Wang, Kang Zheng, Chi Tung Chang, Xiao Yun Zhou, Zhilin Zheng, Lingyun Huang, Jing Xiao, Le Lu, Chien Hung Liao, Shun Miao 通過半監督學習SSL設置來利用可用的病歷來訓練高性能的計算機輔助診斷CAD模型正在興起，以解決大規模醫學圖像注釋所涉及的過高的人工成本。盡管SSL受到了廣泛關注，但以前的方法未能1解釋病歷中疾病的低發生率，而2利用病歷中指示的圖像水平診斷。這兩個問題都是SSL對于CAD模型所特有的。在這項工作中，我們提出了一種新的知識蒸餾方法，該方法可以有效地利用從病歷中提取的大規模圖像級標簽，并添加有限的專家注釋區域級標簽，以訓練胸部X射線CXR的肋骨和鎖骨骨折CAD模型。我們的方法利用了師生模型范例，并采用了一種新穎的自適應不對稱標簽銳化AALS算法來解決醫療領域中特別存在的標簽不平衡問題。我們的方法已在2008年至2016年的9年中，在匿名醫院的創傷登記處對所有CXR N 65,845進行了最廣泛的評估，涉及最常見的肋骨和鎖骨骨折。實驗結果表明，我們的方法達到了最先進的骨折檢測性能，即在肋骨骨折上的接收器工作特性曲線AUROC下的面積為0.9318，自由響應接收器工作特性FROC得分為0.8914，大大優于以前的方法。 AUROC缺口為1.63，FROC改善為3.74。在鎖骨骨折檢測中也觀察到一致的性能提升。

Active Annotation of Informative Overlapping Frames in Video Mosaicking Applications Authors Loic Peter, Marcel Tella Amo, Dzhoshkun Ismail Shakir, Jan Deprest, Sebastien Ourselin, Juan Eugenio Iglesias, Tom Vercauteren 視頻鑲嵌需要注冊序列中位于遙遠時間點的重疊幀，以確保重建場景的全局一致性。然而，當圖像本身的注冊很困難時，這種長距離對的全自動配準是一個挑戰，并且由于要注冊的候選對數量眾多，因此對于長序列而??言在計算上是昂貴的。在本文中，我們為序列中的長距離成對對應關系的有效注釋引入了一種有效的框架。我們的框架提出了一些圖像對，這些圖像對Oracle代理（例如人類用戶）或在每個建議對上提供視覺對應關系的可靠匹配算法都具有參考價值。信息對是根據迭代策略檢索的，該策略基于原則上的注釋獎勵以及兩個互補且在線自適應的幀重疊模型。除了有效地構建鑲嵌圖之外，我們的框架還提供了可用于評估或學習目的的地面真實地標對應物作為副產品。我們通過在合成序列上進行的實驗，在航空影像學上可公開獲得的數據集以及在胎兒手術過程中用于胎盤鑲嵌的臨床數據集上的實驗來評估我們在自動化和互動場景中的方法。

Temporally-Transferable Perturbations: Efficient, One-Shot Adversarial Attacks for Online Visual Object Trackers Authors Krishna Kanth Nakka, Mathieu Salzmann 近年來，基于暹羅網絡的跟蹤器已經成為視覺對象跟蹤VOT的高效工具。盡管這些方法很容易受到對抗攻擊，但作為大多數用于視覺識別任務的深層網絡，針對VOT跟蹤器的現有攻擊都需要擾動每個輸入幀的搜索區域才能有效，考慮到這是不可忽略的代價VOT是一項實時任務。在本文中，我們提出了一個僅從對象模板圖像生成單個可在時間上轉移的對抗性擾動的框架。然后可以將此干擾添加到每個搜索圖像中，這幾乎是免費的，并且仍然成功地使跟蹤器蒙騙。我們的實驗證明，在無目標的情況下，我們的方法優于對標準VOT基準的最新攻擊。此外，我們表明，形式主義自然可以擴展到針對性攻擊，這些攻擊通過預先計算各種方向性擾動來迫使跟蹤器遵循任何給定的軌跡。

Rethinking the Heatmap Regression for Bottom-up Human Pose Estimation Authors Zhengxiong Luo, Zhicheng Wang, Yan Huang, Tieniu Tan, Erjin Zhou 熱圖回歸已成為當今人體姿勢估計方法中最普遍的選擇。地面真相熱圖通常是通過2D高斯核覆蓋所有骨骼關鍵點來構造的。這些內核的標準偏差是固定的。但是，對于自下而上的方法，需要處理很大范圍的人類比例和標簽模糊性，當前的做法似乎是不合理的。為了更好地解決這些問題，我們提出了比例自適應熱圖回歸SAHR方法，該方法可以自適應地調整每個關鍵點的標準差。這樣，SAHR更能容忍各種人類規模和標簽的歧義。但是，SAHR可能會加劇背景樣本之間的不平衡，從而有可能損害SAHR的提高。因此，我們進一步介紹了權重自適應熱圖回歸WAHR，以幫助平衡前面的背景樣本。大量實驗表明，SAHR和WAHR一起可以大大提高自下而上的人體姿勢估計的準確性。結果，我們最終以1.5AP的性能跑贏了最先進的模型，并在COCO測試dev2017上達到了72.0 AP，這與大多數自頂向下方法的性能相當。

MM-FSOD: Meta and metric integrated few-shot object detection Authors Yuewen Li, Wenquan Feng, Shuchang Lyu, Qi Zhao, Xuliang Li 在目標檢測任務中，CNN卷積神經網絡模型在訓練過程中始終需要大量帶注釋的示例。為了減少昂貴注解的依賴性，幾乎沒有鏡頭物體檢測已成為越來越多的研究焦點。在本文中，我們提出了一個有效的目標檢測框架MM FSOD，該框架集成了度量學習和元學習，可以解決少數鏡頭目標檢測任務。我們的模型是可與類別無關的檢測模型，可以準確地識別訓練樣本中未出現的新類別。具體來說，為了快速學習新類別的特征而無需微調過程，我們提出了一種元表示模塊MR模塊來學習類內均值原型。 MR模塊通過元學習方法進行訓練，以獲得重建高級特征的能力。為了進一步實現支持原型與查詢RoIs特征之間的相似性，我們提出了一個用作分類器的Pearson度量模塊PR模塊。與以前常用的度量方法相比，余弦距離度量。 PR模塊使模型能夠將特征對齊到判別性嵌入空間中。我們對基準數據集FSOD，MS COCO和PASCAL VOC進行了廣泛的實驗，以證明該模型的可行性和效率。與先前的方法相比，MM FSOD獲得了最新的SOTA結果。

DUT-LFSaliency: Versatile Dataset and Light Field-to-RGB Saliency Detection Authors Yongri Piao, Zhengkun Rong, Shuang Xu, Miao Zhang, Huchuan Lu 光場數據表現出有利于顯著性檢測的有利特性。基于學習的光場顯著性檢測的成功在很大程度上取決于如何構建全面的數據集以提高模型的通用性，如何有效利用高維光場數據以及如何設計靈活的模型以實現臺式機的多功能性電腦和移動設備。為了回答這些問題，我們首先引入一個大規模數據集，以支持RGB，RGB D和光場顯著性檢測的通用應用程序，其中包含102個類別和4204個樣本。其次，我們提出了由Focal流和RGB流組成的非對稱兩流模型。 Focal流被設計為在臺式計算機上實現更高的性能，并依靠兩個定制模塊將焦點知識轉移到RGB流。 RGB流通過三種蒸餾方案保證了移動設備的靈活性和內存計算效率。實驗表明，我們的Focal流可實現最先進的性能。 RGB流在DUTLF V2上達到了Top 2 F度量，與性能最佳的方法相比，該模型極大地減小了模型尺寸83％，將FPS提升了5倍。此外，我們提出的蒸餾方案適用于RGB顯著性模型，在確保靈活性的同時實現了令人印象深刻的性能提升。

RTS3D: Real-time Stereo 3D Detection from 4D Feature-Consistency Embedding Space for Autonomous Driving Authors Peixuan Li, Shun Su, Huaici Zhao 盡管最近使用偽LiDAR表示的基于圖像的3D對象檢測方法已顯示出強大的功能，但與基于LiDAR的方法相比，效率和準確性仍然存在明顯差距。此外，由于過度依賴獨立的深度估計器，在訓練階段需要大量的像素級注釋，并且在推理階段需要更多的計算，因此限制了實際應用中的縮放比例。

Bidirectional Mapping Coupled GAN for Generalized Zero-Shot Learning Authors Tasfia Shermin, Shyh Wei Teng, Ferdous Sohel, Manzur Murshed, Guojun Lu 基于雙向映射的生成模型通過學習從類語義構造視覺特征并從生成的視覺特征重新構造類語義，從而在廣義零鏡頭學習GZSL識別方面取得了卓越的性能。這些模型的性能取決于綜合特征的質量。這取決于模型通過關聯語義視覺空間，學習判別信息以及重新定位學習的分布以識別看不見的數據來捕獲潛在的可見數據分布的能力。這意味著學習可見的看不見的域聯合分布對于GZSL任務至關重要。但是，由于無法訪問看不見的數據，因此現有模型僅學習可見域的基礎分布。在這項工作中，我們建議利用可用的看不見的類語義以及所見的類語義，并通過強大的視覺語義耦合來學習雙域聯合分布。因此，通過將耦合生成對抗網絡CoGAN擴展到雙域學習雙向映射模型，我們提出了雙向映射耦合生成對抗網絡BMCoGAN。我們進一步集成了Wasserstein生成對抗性優化，以監督聯合分布學習。為了在合成的視覺空間中保留獨特的信息并減少對可見類的偏見，我們設計了一種優化方法，將合成的可見特征推向真實的可見特征，并將合成的看不見的特征從真實可見的特征中拉出。我們根據當代方法在幾個基準數據集上評估了BMCoGAN，并顯示了其卓越的性能。此外，我們提供了燒蝕分析，以證明BMCoGAN中不同組件的重要性。

SkiNet: A Deep Learning Solution for Skin Lesion Diagnosis with Uncertainty Estimation and Explainability Authors Rajeev Kumar Singh, Rohan Gorantla, Sai Giridhar Allada, Narra Pratap 皮膚癌被認為是人類最常見的惡性腫瘤。每年在美國記錄約500萬新的皮膚癌病例。皮膚病灶的早期識別和評估具有重要的臨床意義，但是在大多數發展中國家，不成比例的皮膚科醫生患者比例構成了重大問題。因此，提出了一種基于深度學習的架構，稱為SkiNet，其目的是在臨床診斷過程中為新近訓練的醫師提供更快的篩選解決方案并提供幫助。 Skinet的設計和開發背后的主要動機是提供白盒解決方案，以解決信任和可解釋性這一關鍵問題，這對于醫療從業人員廣泛采用計算機輔助診斷系統至關重要。 SkiNet是一個兩階段的管道，其中病變分割之后是病變分類。在我們的SkiNet方法中，蒙特卡洛輟學和測試時間增加技術已被用于估計認知和無意識不確定性，同時探索了基于顯著性的方法來為深度學習模型提供事后解釋。公開可用的數據集ISIC 2018用于執行實驗和消融研究。結果建立了模型在傳統基準上的魯棒性，同時解決了此類模型的黑匣子性質，通過將透明性和置信度納入模型的預測中，從而減輕了醫生的懷疑態度。

Damaged Fingerprint Recognition by Convolutional Long Short-Term Memory Networks for Forensic Purposes Authors Jaouhar Fattahi, Mohamed Mejri 指紋識別通常是改變犯罪分子證據的游戲規則。但是，我們越來越多地發現，犯罪分子故意以各種方式更改其指紋，從而使技術人員和自動傳感器難以識別其指紋，這使調查人員在法醫程序中針對他們建立強有力的證據變得乏味。從這個意義上講，深度學習是幫助識別受損指紋的主要候選方法。特別是卷積算法。在本文中，我們重點研究卷積長短期記憶網絡對受損指紋的識別。我們介紹了模型的架構，并演示了其性能超過95精度，99精度，并達到95召回率和99 AUC。

NBNet: Noise Basis Learning for Image Denoising with Subspace Projection Authors Shen Cheng, Yuzhi Wang, Haibin Huang, Donghao Liu, Haoqiang Fan, Shuaicheng Liu 在本文中，我們介紹了NBNet，這是一種用于圖像去噪的新穎框架。與以前的作品不同，我們建議從新的角度通過圖像自適應投影降低噪聲來解決這一難題。具體而言，我們建議通過學習特征空間中的一組重建基礎來訓練可以分離信號和噪聲的網絡。隨后，可以通過選擇信號子空間的相應基礎并將輸入投影到這種空間中來實現圖像去噪。我們的主要見識在于，投影可以自然地保持輸入信號的局部結構，尤其是在光線較弱或紋理較弱的區域。為此，我們提出了SSA，這是一個非本地子空間注意模塊，專門設計用于學習基礎生成以及子空間投影。我們進一步將SSA與NBNet結合在一起，NBNet是一種為端到端圖像去噪設計的UNet結構化網絡。我們對包括SIDD和DND在內的基準進行評估，并且NBNet在PSNR和SSIM上達到了最先進的性能，而計算成本卻大大降低了。

Towards Unsupervised Deep Image Enhancement with Generative Adversarial Network Authors Zhangkai Ni, Wenhan Yang, Shiqi Wang, Lin Ma, Sam Kwong 對于公眾而言，提高圖像的美學質量是充滿挑戰和渴望的。為了解決這個問題，大多數現有算法都是基于監督學習方法來學習用于配對數據的自動照片增強器，該照片增強器由低質量的照片和相應的專家修飾版本組成。但是，專家修飾的照片的樣式和特征可能無法滿足一般用戶的需求或偏好。在本文中，我們提出了一種無監督的圖像增強生成對抗網絡UEGAN，該網絡以無監督的方式從一組具有所需特征的圖像中學習對應的圖像到圖像的映射，而不是學習大量的配對圖像。所提出的模型基于單個深度GAN，它嵌入了調制和注意機制以捕獲更豐富的全局和局部特征。基于提出的模型，我們引入了兩種損失來處理無監督的圖像增強1保真度損失，其定義為預訓練VGG網絡的特征域中的L2正則化，以確保增強圖像和輸入圖像之間的內容相同，并且2質量損失被表示為相對論鉸鏈對抗損失，以賦予輸入圖像所需的特性。定量和定性結果均表明，該模型有效地提高了圖像的美學質量。我們的代碼位于

2D or not 2D? Adaptive 3D Convolution Selection for Efficient Video Recognition Authors Hengduo Li, Zuxuan Wu, Abhinav Shrivastava, Larry S. Davis 3D卷積網絡普遍用于視頻識別。在標準基準上獲得出色的識別性能的同時，它們在具有3D卷積的幀序列上運行，因此對計算的要求很高。利用不同視頻之間的巨大差異，我們引入了Ada3D，這是一個條件計算框架，可學習實例特定的3D使用策略來確定要在3D網絡中使用的幀和卷積層。這些策略是通過以每個輸入視頻剪輯為條件的兩頭輕型選擇網絡得出的。然后，在3D模型中僅使用由選擇網絡選擇的幀和卷積來生成預測。選擇網絡使用策略梯度方法進行了優化，以最大化獎勵，從而鼓勵以有限的計算來做出正確的預測。我們在三個視頻識別基準上進行了實驗，并證明了我們的方法具有與最新3D模型相似的準確性，同時在不同數據集上所需的計算量減少了20 50。我們還顯示，學習到的策略是可轉讓的，并且Ada3D與不同的主干和現代剪輯選擇方法兼容。我們的定性分析表明，我們的方法為靜態輸入分配了較少的3D卷積和幀，但為運動密集型剪輯分配了更多的3D卷積和幀。

SALA: Soft Assignment Local Aggregation for 3D Semantic Segmentation Authors Hani Itani, Silvio Giancola, Ali Thabet, Bernard Ghanem 我們介紹了在基于網格的聚合函數中使用可學習的鄰居對網格進行軟分配的想法，以實現3D語義分割的任務。文獻中的先前方法在預定的幾何網格上運行，例如局部體積分區或不規則的核點。這些方法使用幾何函數將局部鄰居分配給其相應的網格。對于語義分段的最終任務，這種幾何啟發式方法可能是次優的。此外，它們在網絡的整個深度上均被均勻地應用。一個更通用的替代方法將允許網絡學習最適合最終任務的自己的鄰居到網格分配功能。由于它是可學習的，因此該映射具有靈活性，每層可以不同。本文利用學習到的鄰居到網格的軟分配來定義一個聚合函數，以平衡效率和性能。我們通過在S3DIS上達到最先進的SOTA性能（參數比當前的統治方法少近10倍）來證明我們方法的有效性。與更大的SOTA模型相比，我們還展示了ScanNet和PartNet上的競爭性能。

Detecting Hate Speech in Multi-modal Memes Authors Abhishek Das, Japsimar Singh Wahi, Siyao Li 在過去的幾年中，對多模式問題的興趣激增，從圖像字幕到視覺問題解答等等。在本文中，我們專注于多模態模因中的仇恨語音檢測，其中模因構成了一個有趣的多模態融合問題。我們旨在解決Facebook Meme Challenge引用kiela2020hateful的問題，該目標旨在解決預測模因是否令人討厭的二元分類問題。挑戰的關鍵特征是它包括良性混雜因素，以應對利用單峰先驗模型的可能性。挑戰指出，與人類相比，現有模型的性能較差。在數據集的分析過程中，我們意識到，原來是可恨的大多數數據點只是在描述模因的圖像時才變成良性的。而且，大多數多模式基線更偏愛仇恨語音語言模式。為了解決這些問題，我們使用對象檢測和圖像字幕模型來探索視覺模態以獲取實際的字幕，然后將其與多模態表示相結合以執行二進制分類。這種方法解決了數據集中存在的良性文本混雜因素，以提高性能。我們嘗試的另一種方法是通過情感分析來改善預測。不僅僅使用從訓練有素的神經網絡獲得的多模式表示，我們還包括單峰情感以豐富功能。我們對以上兩種方法進行了詳細的分析，提供了令人信服的理由來支持所使用的方法。

Learning a Dynamic Map of Visual Appearance Authors Tawfiq Salem, Scott Workman, Nathan Jacobs 世界的外觀不僅在不同的地方有很大的不同，而且在每個小時，一個月和一個月中也是如此。每天都有數十億張圖像捕獲這種復雜的關系，其中許多與精確的時間和位置元數據相關聯。我們建議使用這些圖像來構建全局的視覺外觀屬性動態地圖。這樣的地圖使您可以在任何地理位置和時間都對預期的外觀有細微的了解。我們的方法將密集的開銷圖像與位置和時間元數據集成到一個能夠映射各種視覺屬性的通用框架中。我們方法的主要特點是不需要手動數據注釋。我們演示了這種方法如何支持各種應用程序，包括圖像驅動的映射，圖像地理定位和元數據驗證。

Object sorting using faster R-CNN Authors Pengchang Chen, Vinayak Elangovan 在工廠生產線中，需要對不同的行業零件進行快速區分和分類以進行進一步處理。零件可以具有不同的顏色和形狀。對于人類來說，將這些物體區分并分類為適當的類別是一件很繁瑣的事情。使該過程自動化將節省更多的時間和成本。在自動化過程中，根據特定功能選擇合適的模型來檢測和分類不同的對象更具挑戰性。在本文中，將三種不同的神經網絡模型與對象分類系統進行了比較。它們分別是CNN，Fast R CNN和Faster R CNN。測試了這些模型，并分析了它們的性能。此外，對于對象分類系統，對Arduino控制的5 DoF自由度機器人手臂進行了編程，可以將對稱對象抓取并放到目標區域。根據顏色，有缺陷和無缺陷的對象將對象分為幾類。

Visual-Thermal Camera Dataset Release and Multi-Modal Alignment without Calibration Information Authors Frank Mascarich, Kostas Alexis 該報告隨附了有關視覺和熱像儀數據的數據集發布，并詳細介紹了對齊此類多模式照像機框的過程，以便在不使用內部或外部校準信息的情況下提供兩者之間的像素級對應。為了實現這一目標，我們受益于多模式圖像對齊領域的進步，并特別采用了Mattes Mutual Information Metric來指導注冊過程。在發布的數據集中，我們發布原始的視覺和熱像儀數據以及對齊的幀以及校準參數，目的是更好地促進跨此類多模態圖像流研究共同的局部全局特征。

Graph-based non-linear least squares optimization for visual place recognition in changing environments Authors Stefan Schubert, Peer Neubert, Peter Protzel 視覺位置識別是移動機器人本地化的重要子問題。由于這是圖像檢索的特例，因此基本信息源是圖像描述符的成對相似性。但是，將圖像檢索問題嵌入該機器人任務中提供了可以利用的附加結構，例如，時空一致性。存在幾種利用該結構的算法，例如用于變化環境的序列處理方法或描述符標準化方法。在本文中，我們提出了一個基于圖的框架來系統地利用不同類型的附加結構和信息。圖形模型用于制定可以用標準工具優化的非線性最小二乘問題。除了序列和標準化之外，我們建議在數據庫和/或查詢圖像集中使用內部集相似性作為其他信息源。如果可以的話，我們的方法還可以無縫集成有關數據庫映像姿勢的其他知識。我們在各種標準的位置識別數據集上評估該系統，并展示了針對大量不同配置（包括不同的信息源，不同類型的約束以及在線或離線位置識別設置）的性能改進。

Deep Hashing for Secure Multimodal Biometrics Authors Veeru Talreja, Matthew Valenti, Nasser Nasrabadi 與單峰系統相比，多峰生物識別系統具有多個優勢，包括更低的錯誤率，更高的準確性和更大的人口覆蓋率。但是，由于多模式系統必須存儲與每個用戶相關的多個生物特征，因此對完整性和隱私性的需求增加。在本文中，我們提出了一種用于特征級融合的深度學習框架，該框架從每個用戶的面部和虹膜生物特征生成安全的多峰模板。我們將深度哈希二值化技術集成到融合體系結構中，以生成健壯的二進制多峰共享潛在表示。此外，我們通過將可取消的生物特征與安全草圖技術相結合并采用深度哈希框架來采用混合安全體系結構，這在計算上難以偽造通過身份驗證的多個生物特征的組合。使用面部和虹膜的多峰數據庫顯示了該方法的有效性，并觀察到由于多種生物識別技術的融合，匹配性能得到了改善。此外，所提出的方法還提供了模板的可取消性和不可鏈接性以及生物統計數據的改進的隱私性。此外，我們還使用基準數據集測試了針對圖像檢索應用程序提出的哈希函數。本文的主要目的是開發一種集成多模式融合，深度哈希和生物識別安全性的方法，重點是來自面部和虹膜等模式的結構數據。所提出的方法絕不是可應用于所有生物特征形式的通用生物特征安全框架，因為需要進一步的研究以將所提出的框架擴展到其他不受約束的生物特征形式。

Chasing the Tail in Monocular 3D Human Reconstruction with Prototype Memory Authors Yu Rong, Ziwei Liu, Chen Change Loy 深度神經網絡在單圖像3D人體重建中取得了長足的進步。但是，現有方法仍不足以預測稀有姿勢。原因是當前大多數模型都基于單個人體原型執行回歸，這與常見姿勢相似，而與稀有姿勢相差甚遠。在這項工作中，我們1識別并分析了這種學習障礙，2提出了原型記憶增強網絡PM Net，該網絡有效地提高了預測稀有姿勢的性能。我們框架的核心是一個內存模塊，用于學習和存儲一組3D人體原型，以捕獲常見姿勢或稀有姿勢的局部分布。使用這種公式，回歸從更好的初始化開始，這相對容易收斂。與其他現有方法相比，在幾個廣泛使用的數據集上的大量實驗證明了所提出框架的有效性。值得注意的是，我們的方法大大改善了模型在稀有姿勢下的性能，同時在其他樣本上產生了可比的結果。

Advances in deep learning methods for pavement surface crack detection and identification with visible light visual images Authors Kailiang Lu 與無損檢測和工程結構裂縫健康監測方法相比，基于可見光圖像的表面裂縫檢測或識別是非接觸式的，具有速度快，成本低，精度高的優點。首先，收集了典型的路面混凝土和裂縫公共數據集，總結了樣本圖像的特征以及環境，噪聲和干擾等隨機變量因素。隨后，比較了三種主要裂紋識別方法的優缺點，即手工特征工程，機器學習和深度學習。最后，從模型架構，測試性能和預測有效性的角度，回顧了可輕松部署在嵌入式平臺上的典型深度學習模型（包括自建的CNN，傳遞學習TL和編碼器解碼器ED）的發展和進展。基準測試表明1使用ED方法（即FPCNet或TL方法），可以在嵌入式平臺上實現實時的像素級裂紋識別，整個圖像樣本的裂紋檢測平均時間成本小于100ms。在InceptionV3上。利用基于MobileNet的輕量級骨干基網絡的TL方法，可以將其減少到10ms以下。 2就準確性而言，CCIC可以達到99.8以上，人眼可以輕松識別。在SDNET2018上，其中一些樣本難以識別，FPCNet可以達到97.5，而TL方法接近96.1。

Image-to-Image Retrieval by Learning Similarity between Scene Graphs Authors Sangwoong Yoon, Woo Young Kang, Sungwook Jeon, SeongEun Lee, Changjin Han, Jonghun Park, Eun Sol Kim 當場景圖以結構化和象征性的方式緊湊地概括了圖像的高級內容時，兩個圖像的場景圖之間的相似性反映了它們內容的相關性。基于此思想，我們提出了一種新的方法，用于使用由圖神經網絡測量的場景圖相似度來進行圖像到圖像的檢索。在我們的方法中，訓練圖神經網絡來預測代理圖像相關性度量，該度量是使用預先訓練的句子相似性模型從人注釋字幕計算得出的。我們收集并發布人類注釋者測量的圖像相關性數據集，以評估檢索算法。收集的數據集表明，與其他競爭基準相比，我們的方法與人類對圖像相似性的感知非常吻合。

COIN: Contrastive Identifier Network for Breast Mass Diagnosis in Mammography Authors Heyi Li, Dongdong Chen, William H. Nailon, Mike E. Davies, David Laurenson 乳腺攝影中計算機輔助乳腺癌的診斷是一個具有挑戰性的問題，這源于乳腺攝影數據的稀缺性和數據糾纏。特別地，數據稀缺性歸因于隱私和昂貴的注釋。數據糾纏是由于良性和惡性腫塊之間的高度相似性所致，其中歧管位于較低維空間中且邊緣很小。為了解決這兩個挑戰，我們提出了一個名為Contrastive Identifier Network textsc COIN的深度學習框架，該框架集成了對抗增強和基于流形的對比學習。首先，我們采用對抗性學習來創建包含大量投資回報的在線和離線分布。在那之后，我們提出了一個帶有建立的Signed圖的新穎的對比損失。最后，以對比學習的方式對神經網絡進行了優化，目的是提高擴展數據集上的深度模型的判別力。特別是，通過使用COIN，可以將來自同一類別的數據樣本拉近，而將具有不同標簽的數據樣本推入更深的潛在空間。此外，COIN在解決乳腺癌診斷問題方面的表現優于現有的相關算法，可達到93.4的準確度和95.0的AUC評分。該代碼將在上發布。

Towards Reducing Severe Defocus Spread Effects for Multi-Focus Image Fusion via an Optimization Based Strategy Authors Shuang Xu, Lizhen Ji, Zhe Wang, Pengfei Li, Kai Sun, Chunxia Zhang, Jiangshe Zhang 多焦點圖像融合MFF是一種流行的技術，可以生成場景中所有對象都清晰的全焦點圖像。但是，現有方法很少關注現實世界多焦點圖像的散焦散布效果。因此，大多數方法在聚焦圖邊界附近的區域中效果不佳。根據融合圖像中每個局部區域都應與源圖像中最清晰的區域相似的想法，本文提出了一種基于優化的方法來減少散焦散布效果。首先，結合結構相似性原理和檢測到的焦點圖，提出了一種新的MFF評估指標。然后，將MFF問題轉化為最大化該指標。優化是通過梯度上升來解決的。在現實世界數據集上進行的實驗證明了該模型的優越性。可以在以下位置找到代碼

Tips and Tricks for Webly-Supervised Fine-Grained Recognition: Learning from the WebFG 2020 Challenge Authors Xiu Shen Wei, Yu Yan Xu, Yazhou Yao, Jia Wei, Si Xi, Wenyuan Xu, Weidong Zhang, Xiaoxin Lv, Dengpan Fu, Qing Li, Baoying Chen, Haojie Guo, Taolue Xue, Haipeng Jing, Zhiheng Wang, Tianming Zhang, Mingwen Zhang WebFG 2020是由南京科技大學，愛丁堡大學，南京大學，阿德萊德大學，早稻田大學等主辦的國際挑戰。這一挑戰主要關注網絡監督的細粒度識別問題。在文獻中，現有的深度學習方法高度依賴于大規模和高質量的帶標簽的訓練數據，這限制了它們在實際應用中的實用性和可擴展性。特別是，對于細粒度的識別（一種視覺任務，需要專業知識進行標記），獲取標記訓練數據的成本非常高。要獲得大量高質量的培訓數據，將帶來極大的困難。因此，利用免費的網絡數據來訓練細粒度識別模型已經引起了細粒度社區研究人員的越來越多的關注。這項挑戰預計參與者將開發網絡監督的細粒度識別方法，該方法可利用網絡圖像訓練細粒度識別模型，以緩解深度學習方法對大規模手動標記的數據集的極端依賴，并增強其實用性和可擴展性。在此技術報告中，我們匯總了總共54個參賽團隊中的頂級WebFG 2020解決方案，并討論了哪些方法在整個獲勝團隊中效果最好，而哪些方法卻無濟于事。

TrustMAE: A Noise-Resilient Defect Classification Framework using Memory-Augmented Auto-Encoders with Trust Regions Authors Daniel Stanley Tan, Yi Chun Chen, Trista Pei Chun Chen, Wei Chao Chen 在本文中，我們提出了一個稱為TrustMAE的框架來解決產品缺陷分類的問題。我們的框架可以接受帶有未標記圖像的數據集，而不必依賴于難以收集且難以標記的缺陷圖像。而且，與大多數異常檢測方法不同，我們的方法對于訓練數據集中的噪聲或缺陷圖像具有魯棒性。我們的框架使用具有稀疏存儲尋址方案的內存增強型自動編碼器，以避免過度泛化自動編碼器，并使用新穎的信任區域內存更新方案，以使噪聲遠離內存插槽。結果是可以使用感知距離網絡重建無缺陷圖像并識別缺陷區域的框架。當與各種最新基準進行比較時，我們的方法在無噪聲的MVTec數據集下具有競爭優勢。更重要的是，它在高達40的噪聲水平下仍然有效，同時明顯優于其他基準。

The VIP Gallery for Video Processing Education Authors Todd Goodall, Alan C. Bovik 數字視頻遍布日常生活。移動視頻，數字電視和數字電影現在無處不在，因此，數字視頻處理DVP領域經歷了巨大的增長。數字視頻系統也滲透到科學和工程學科中，包括但不限于天文學，通信，監視，娛樂，視頻編碼，計算機視覺和視覺研究。結果，DVP的教育工具必須迎合大量不同的學生群體。為了加強DVP教育，我們創建了精心構建的教育工具庫，旨在通過提供有關真實世界內容的DVP實例以及可組織許多重要DVP主題（從模擬到模擬）的用戶友好界面，來補充全面的在線講座集視頻，人類視覺處理，現代視頻編解碼器等。該演示庫目前在德克薩斯大學奧斯汀分校的數字視頻研究生班中得到有效使用。通過在視覺效果極強的講座中學習理論，以及在畫廊中觀看具體實例，學生可以更深入地了解概念，從而捕捉到現代視頻處理的基本原理之美。為了更好地了解這些工具的教育價值，我們進行了兩次基于問卷的調查，以評估學生的背景，期望和結果。調查結果支持了這種新的教學視頻工具集的教學效果。

MS-GWNN:multi-scale graph wavelet neural network for breast cancer diagnosis Authors Mo Zhang, Quanzheng Li 乳腺癌是全世界女性中最常見的癌癥之一，早期發現可以顯著降低乳腺癌的死亡率。在檢測乳腺癌時，必須考慮組織結構的多尺度信息。因此，設計精確的計算機輔助檢測CAD系統以捕獲癌組織中的多尺度上下文特征是關鍵。在這項工作中，我們提出了一種用于乳腺癌的組織病理學圖像分類的新型圖卷積神經網絡。該新方法名為多尺度圖小波神經網絡MS GWNN，它利用頻譜圖小波的定位特性來進行多尺度分析。通過聚合不同尺度的特征，MS GWNN可以對整個病理幻燈片中的多尺度上下文交互進行編碼。在兩個公共數據集上的實驗結果證明了該方法的優越性。此外，通過消融研究，我們發現多尺度分析對癌癥診斷的準確性有重大影響。

FPCC-Net: Fast Point Cloud Clustering for Instance Segmentation Authors Yajun Xu, Shogo Arai, Diyi Liu, Fangzhou Lin, Kazuhiro Kosuge 在許多現實世界的應用程序中，例如機器人技術，自動駕駛汽車和人機交互，實例分割是一項重要的預處理任務。但是，對于將相同類別的多個對象堆疊在一起的bin拾取場景的3D點云實例分割的研究很少。與二維2D圖像任務深度學習的快速發展相比，基于深度學習的3D點云分割仍然有很大的發展空間。在這種情況下，區分大量相同類別的被遮擋物體是一個極富挑戰性的問題。在通常的垃圾收集場景中，對象模型是已知的，并且對象類型的數量是一個。因此，可以代替地忽略語義信息，將重點放在實例的分割上。基于此任務要求，我們提出了一個網絡FPCC網絡，該網絡可以推斷每個實例的特征中心，然后將其余點聚類到特征嵌入空間中最近的特征中心。 FPCC網絡包括兩個子網，一個子網用于推斷要素中心以進行聚類，另一個子網用于描述每個點的要素。將該方法與現有的3D點云和2D分割方法進行了比較。結果表明，FPCC Net的性能優于SGPN約40個平均精度AP，并且可以在約0.8 s的時間內處理約60,000個點

Hierarchical Representation via Message Propagation for Robust Model Fitting Authors Shuyuan Lin, Xing Wang, Guobao Xiao, Yan Yan, Hanzi Wang 在本文中，我們提出了一種通過消息傳播HRMP方法進行魯棒模型擬合的新層次表示方法，該方法同時利用共識分析和偏好分析的優勢從異常值破壞的數據中估計多個模型實例的參數，從而獲得魯棒模型配件。代替獨立地分析每個數據點或每個模型假設的信息，我們將共識信息和偏好信息表述為分層表示形式，以減輕對總體異常值的敏感性。具體來說，我們首先構造一個層次表示，它由模型假設層和數據點層組成。模型假設層用于刪除無關緊要的模型假設，數據點層用于刪除總體異常值。然后，基于分層表示，我們提出了一種有效的分層消息傳播HMP算法和改進的親和力傳播IAP算法，分別修剪無關緊要的頂點并聚類其余數據點。提出的HRMP不僅可以準確地估計多個模型實例的數量和參數，而且還可以處理受大量異常值污染的多結構數據。在合成數據和真實圖像上的實驗結果表明，在擬合精度和速度方面，提出的HRMP明顯優于幾種最新的模型擬合方法。

AU-Expression Knowledge Constrained Representation Learning for Facial Expression Recognition Authors Tao Pu, Tianshui Chen, Yuan Xie, Hefeng Wu, Liang Lin 自動識別人的情緒表達是智能機器人技術的一項預期功能，因為它可以促進與人之間更好的溝通和合作。當前的基于深度學習的算法在某些實驗室控制的環境中可能會實現令人印象深刻的性能，但是對于在野外情況下不受控制的表達式，它們始終無法準確識別這些表達式。幸運的是，面部動作單元AU可以描述微妙的面部行為，并且可以幫助區分不確定和模棱兩可的表情。在這項工作中，我們探索了動作單元和面部表情之間的相關性，并設計了一個AU表達式知識約束表示學習AUE CRL框架來學習沒有AU注釋的AU表示，并自適應地使用表示來促進面部表情識別。具體來說，它利用AU表達式相關性來指導AU分類器的學習，因此它可以在不招致任何AU注釋的情況下獲得AU表示。然后，介紹了一種知識指導的注意力機制，該機制在AU表達相關性的約束下挖掘有用的AU表示。以這種方式，框架可以捕獲局部判別和互補特征，以增強用于面部表情識別的面部表示。我們對具有挑戰性的不受控制的數據集進行了實驗，以證明所提出的框架相對于當前最新方法的優越性。

MGML: Multi-Granularity Multi-Level Feature Ensemble Network for Remote Sensing Scene Classification Authors Qi Zhao, Shuchang Lyu, Yuewen Li, Yujing Ma, Lijiang Chen 遙感RS場景分類對于預測RS圖像的場景類別是一項艱巨的任務。 RS圖像具有兩個主要特征，這是由于較大的分辨率差異和來自較大地理覆蓋區域的混亂信息而導致的類內差異較大。為了減輕上述兩個字符的負面影響。本文提出了一種多粒度多層次特征集合網絡MGML FENet，以有效解決RS場景分類任務。具體而言，我們提出了多粒度多級特征融合分支MGML FFB，以通過通道分離特征生成器CS FG提取不同級別網絡中的多粒度特征。為了避免混淆信息的干擾，我們提出了多粒度多層次特征集合模塊MGML FEM，它可以通過全通道特征生成器FC FG提供各種預測。與以前的方法相比，我們提出的網絡具有使用結構信息的能力和豐富的細粒度特征。此外，通過集成學習方法，我們提出的MGML FENets可以獲得更令人信服的最終預測。在多個RS數據集AID，NWPU RESISC45，UC Merced和VGoogle上進行的廣泛分類實驗表明，我們提出的網絡比以前最先進的SOTA網絡具有更好的性能。可視化分析還顯示了MGML FENet的良好解釋性。

Visual Probing and Correction of Object Recognition Models with Interactive user feedback Authors Viny Saajan Victor, Pramod Vadiraja, Jan Tobias Sohns, Heike Leitte 隨著最先進的機器學習和深度學習技術的出現，一些行業正在向該領域發展。從自然語言處理到計算機視覺，此類技術的應用范圍非常廣泛。對象識別是計算機視覺領域中的此類領域之一。盡管已被證明具有很高的精度，但仍存在可以改進此類模型的領域。實際上，這在高度敏感的現實世界用例（如自動駕駛或癌癥檢測）中非常重要，并期望此類技術幾乎沒有不確定性。在本文中，我們嘗試可視化對象識別模型中的不確定性，并通過用戶反饋提出校正過程。我們將根據VAST 2020 Mini Challenge 2提供的數據進一步展示我們的方法。

Enhancing Handwritten Text Recognition with N-gram sequence decomposition and Multitask Learning Authors Vasiliki Tassopoulou, George Retsinas, Petros Maragos 手寫文本識別領域中的當前最先進的方法主要是具有unigram字符級目標單元的單個任務。在我們的工作中，我們使用多任務學習方案，訓練模型以使用不同粒度（從精細到粗糙）的目標單位分解目標序列。我們認為此方法是在訓練過程中隱式利用n gram信息的一種方法，而最終識別僅使用unigram輸出進行。為了強調內部Unigram解碼的差異，這種多任務方法強調了學習的內部表示的能力，這種能力是由訓練步驟中不同的n克強加的。我們選擇n克作為目標單位，然后從unigram到Fourgram進行實驗，即子詞級粒度。這些多重分解是從具有特定任務CTC損失的網絡中獲悉的。關于網絡體系結構，我們提出了兩種選擇，即“分層”任務和“塊多任務”。總體而言，我們提出的模型即使僅在unigram任務上進行了評估，但在貪婪解碼中的絕對2.52 WER和1.02 CER優于其相對應的單個任務，在推理過程中沒有任何計算開銷，這暗示著成功實施了隱式語言模型。

Color Channel Perturbation Attacks for Fooling Convolutional Neural Networks and A Defense Against Such Attacks Authors Jayendra Kantipudi, Shiv Ram Dubey, Soumendu Chakraborty 卷積神經網絡CNN已經成為一種非常強大的數據相關分層特征提取方法。它被廣泛用于一些計算機視覺問題。 CNN會從訓練樣本中自動學習重要的視覺功能。可以看出，網絡非常容易擬合訓練樣本。已經提出了幾種正則化方法來避免過度擬合。盡管如此，網絡對圖像內的顏色分布很敏感，而現有方法忽略了它。在本文中，我們通過提出“顏色通道擾動CCP”攻擊來欺騙CNN，從而發現了CNN的顏色健壯性問題。在CCP攻擊中，將通過將原始通道與隨機權重結合在一起創建的新通道生成新圖像。在圖像分類框架中，對廣泛使用的CIFAR10，Caltech256和TinyImageNet數據集進行了實驗。 VGG，ResNet和DenseNet模型用于測試提議的攻擊的影響。可以看出，在提出的CCP攻擊下，CNN的性能急劇下降。結果顯示了所提出的簡單CCP攻擊對CNN訓練模型的魯棒性的影響。還將結果與現有的CNN欺騙方法進行比較，以評估準確性下降。我們還通過使用建議的CCP攻擊擴充訓練數據集，提出了針對此問題的主要防御機制。在實驗中觀察到了使用提出的解決方案在CCP攻擊下CNN魯棒性方面的最新技術水平。該代碼在url上公開可用

Deep Learning Towards Edge Computing: Neural Networks Straight from Compressed Data Authors Samuel Felipe dos Santos, Jurandy Almeida 由于手機的計算能力的普及和增長以及人工智能的進步，已經開發了許多智能應用程序，從而有意義地豐富了人們的生活。因此，邊緣智能領域的興趣日益濃厚，其目的是將數據計算推向網絡的邊緣，以使這些應用程序更高效，更安全。許多智能應用程序都依賴于深度學習模型，例如卷積神經網絡CNN。在過去的十年中，他們在許多計算機視覺任務中都取得了最先進的性能。為了提高這些方法的性能，趨勢是使用越來越深的架構和更多的參數，從而導致較高的計算成本。實際上，這是深度架構所面臨的主要問題之一，從而限制了它們在計算資源有限的領域（如邊緣設備）中的適用性。為了減輕計算的復雜性，我們提出了一種深度神經網絡，該網絡能夠直接從與視覺內容有關的相關信息中學習，這些視覺內容在用于圖像和視頻存儲和傳輸的壓縮表示中容易獲得。我們的方法的新穎性在于它被設計為直接在頻域數據上運行，使用DCT系數而不是RGB像素進行學習。這使得在對數據流進行完全解碼時可以節省高計算量，從而大大加快了處理時間，這已成為深度學習的一大瓶頸。我們在兩個具有挑戰性的任務上評估了我們的網絡：在ImageNet數據集上進行圖像分類，在UCF 101和HMDB 51數據集上進行2視頻分類。我們的結果在準確性方面證明了與現有技術方法可比的有效性，并且具有更高的計算效率。

EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs Authors Ayaan Haque 半監督學習已獲得關注，因為它允許執行圖像分析任務，例如使用有限的標記數據進行分類。一些使用生成對抗網絡GAN進行半監督分類的流行算法共享一種用于分類和區分的架構。但是，這可能需要模型收斂到每個任務的單獨數據分布，這可能會降低總體性能。雖然半監督學習取得了進展，但較少解決的是小型，完全監督的任務，即使沒有標簽的數據也無法獲得。因此，我們提出了一種新穎的GAN模型，即外部分類器GAN EC GAN，該模型利用GAN和半監督算法來改進完全監督體制中的分類。我們的方法利用GAN生成用于補充監督分類的人工數據。更具體地說，我們將外部分類器（即名稱EC GAN）附加到GAN的生成器，而不是與鑒別器共享體系結構。我們的實驗表明，EC GAN的性能可與共享體系結構方法相媲美，遠遠優于基于標準數據擴充和正則化的方法，并且對小型，現實的數據集有效。

Language-Mediated, Object-Centric Representation Learning Authors Ruocheng Wang, Jiayuan Mao, Samuel J. Gershman, Jiajun Wu 我們介紹語言介導的以對象為中心的表示學習LORL，這是一種從視覺和語言中學習解開，以對象為中心的場景表示的范例。 LORL建立在無監督對象分割的最新進展的基礎上，尤其是MONet和Slot Attention。盡管這些算法僅通過重構輸入圖像來學習以對象為中心的表示，但LORL使他們能夠進一步學習將學習到的表示與來自語言輸入的概念（即用于對象類別，屬性和空間關系的詞）相關聯。這些源自語言的以對象為中心的概念有助于學習以對象為中心的表示形式。 LORL可以與語言無關的各種無監督分割算法集成。實驗表明，通過語言的幫助，LORL的集成不斷提高了兩個數據集上的MONet和Slot Attention對象分割性能。我們還表明，由LORL學習的概念與諸如MONet之類的分段算法相結合，有助于下游任務，例如引用表達式理解。

Estimating Uncertainty in Neural Networks for Cardiac MRI Segmentation: A Benchmark Study Authors Matthew Ng, Fumin Guo, Labonny Biswas, Steffen E. Petersen, Stefan K. Piechnik, Stefan Neubauer, Graham Wright 卷積神經網絡CNN在自動心臟磁共振成像分割中已顯示出希望。但是，在大型現實數據集中使用CNN時，量化分段不確定性很重要，這樣才能知道哪些分段可能會出現問題。在這項工作中，我們進行了貝葉斯和非貝葉斯方法的系統研究，以估計分段神經網絡中的不確定性。我們使用Backprop BBB，Monte Carlo MC Dropout和Deep Ensembles評估了貝葉斯的分割精度，概率校準，分布圖像不確定性以及分割質量控制。我們在具有各種畸變的數據集上測試了這些算法，并觀察到Deep Ensembles的表現優于其他方法，除了具有嚴重噪聲畸變的圖像。對于分割質量控制，我們表明分割不確定性與分割精度相關。通過合并不確定性估計，我們可以通過標記31至48個最不確定的圖像以進行手動檢查，將分割不佳的比例降低到5，這比不使用神經網絡不確定性的結果的隨機檢查要低得多。

Overview of MediaEval 2020 Predicting Media Memorability Task: What Makes a Video Memorable? Authors Alba Garc a Seco De Herrera, Rukiye Savran Kiziltepe, Jon Chamberlain, Mihai Gabriel Constantin, Claire H l ne Demarty, Faiyaz Doctor, Bogdan Ionescu, Alan F. Smeaton 本文介紹MediaEval 2020 textit預測媒體可存儲性任務。在MediaEval 2018上首次提出之后，預測媒體可存儲性任務將在今年的第三版中發布，因為短期和長期視頻可存儲性VM的預測仍然是一項艱巨的任務。 2020年，格式與以前的版本相同。今年的視頻是TRECVid 2019視頻到文本數據集的子集，與2019任務相比，包含更多的動作豐富視頻內容。在本文中，提供了此任務某些方面的描述，包括其主要特征，集合的描述，地面真相數據集，評估指標以及參與者運行提交的要求。

Investigating Memorability of Dynamic Media Authors Phuc H. Le Khac, Ayush K. Rai, Graham Healy, Alan F. Smeaton, Noel E. O Connor 與往年相比，MediaEval 20中的“預測媒體可存儲性”任務具有一些挑戰性的方面。在本文中，我們將視頻和有限大小的數據集中的高動態內容確定為該任務的核心挑戰，我們提出了克服這些挑戰的方向，并在這些方向上提出了初步結果。

Leveraging Audio Gestalt to Predict Media Memorability Authors Lorin Sweeney, Graham Healy, Alan F. Smeaton 記憶力決定了什么是對空虛的回避，以及是什么蠕蟲進入了我們最深的溝壑。當我們每天都在瀏覽數字洪流時，這是策劃更有意義的媒體內容的關鍵。 MediaEval 2020中的“預測媒體可存儲性”任務旨在通過設置自動預測視頻可存儲性的任務來解決媒體可存儲性的問題。我們的方法是基于多模式深度學習的后期融合，結合了視覺，語義和聽覺功能。我們使用了音頻格式塔來估計音頻模態對整體視頻記憶力的影響，并據此告知哪些功能組合最能預測給定視頻的記憶力得分。

Searching a Raw Video Database using Natural Language Queries Authors Sriram Krishna, Siddarth Vinay, Srinivas K S 隨著時間的流逝，正在生成并因此存儲在視頻流平臺數據庫中的視頻數量呈指數級增長。這個龐大的數據庫應該易于索引，以找到必要的剪輯或視頻以匹配給定的搜索規范，最好以文本查詢的形式。這項工作旨在提供端到端管道，以最終用戶的語音查詢來搜索視頻數據庫。該管道利用循環神經網絡與卷積神經網絡相結合來生成數據庫中存在的視頻剪輯的字幕。

Exploiting Shared Knowledge from Non-COVID Lesions for Annotation-Efficient COVID-19 CT Lung Infection Segmentation Authors Yichi Zhang, Qingcheng Liao, Lin Yuan, He Zhu, Jiezhen Xing, Jicong Zhang 新型冠狀病毒病COVID 19是一種高度傳染性的病毒，已遍及世界各地，對所有國家構成了極為嚴重的威脅。來自計算機斷層掃描CT的自動肺部感染分割在COVID 19的定量分析中起著重要作用。但是，主要挑戰在于帶注釋的COVID 19數據集的不足。當前，有幾個公開的非COVID肺部病變分割數據集，為將有用信息概括為相關的COVID 19分割任務提供了潛力。在本文中，我們提出了一種新的關系驅動協作學習模型，用于注釋有效的COVID 19 CT肺部感染分割。該網絡由具有相同架構的編碼器和共享的解碼器組成。采用通用編碼器來捕獲基于多個非COVID病變的一般肺部病變特征，而采用目標編碼器來專注于COVID 19感染的任務特定特征。從兩個并行編碼器中提取的特征被串聯起來用于后續的解碼器部分。為了徹底利用COVID和非COVID病變之間的共享知識，我們開發了一種協作學習方案來規范化給定輸入的提取特征之間的關系一致性。除了現有的基于一致性的方法可以簡單地增強各個預測的一致性之外，我們的方法還可以增強樣本之間特征關系的一致性，從而鼓勵模型探索來自COVID 19和非COVID案例的語義信息。在一個公共COVID 19數據集和兩個公共非COVID數據集上進行的大量實驗表明，與現有方法相比，在沒有足夠高質量COVID 19注釋的情況下，我們的方法具有更高的分割效果。

Colonoscopy Polyp Detection: Domain Adaptation From Medical Report Images to Real-time Videos Authors Zhi Qin Zhan, Huazhu Fu, Yan Yao Yang, Jingjing Chen, Jie Liu, Yu Gang Jiang 結腸鏡檢查視頻中結腸直腸息肉的自動檢測是一項基本任務，受到了廣泛的關注。在大型視頻數據集中手動注釋息肉區域既費時又昂貴，這限制了深度學習技術的發展。一種折衷方案是通過使用標記的圖像來訓練目標模型，并在結腸鏡檢查視頻中進行推斷。但是，基于圖像的訓練和基于視頻的推理之間存在幾個問題，包括域差異，缺少正樣本和時間平滑度。為了解決這些問題，我們提出了圖像視頻聯合息肉檢測網絡Ivy Net，以解決歷史醫學報告和實時視頻中結腸鏡檢查圖像之間的領域差距。在我們的常春藤網絡中，通過在像素級別上組合正圖像和負視頻幀，利用改進的混合生成訓練數據，從而可以學習域自適應表示并增加正樣本。同時，提出了時間相干正則化TCR，以在相鄰幀中引入對特征水平的平滑約束，并通過未標記的結腸鏡檢查視頻改善息肉檢測。為了進行評估，收集了一個新的大型結腸鏡檢查息肉數據集，其中包含889例陽性患者的歷史醫學報告中的3056張圖像以及69例28例陽性患者的7.5小時視頻。對收集到的數據集進行的實驗表明，我們的Ivy Net在結腸鏡檢查視頻上達到了最先進的結果。

Text-Free Image-to-Speech Synthesis Using Learned Segmental Units Authors Wei Ning Hsu, David Harwath, Christopher Song, James Glass 在本文中，我們提出了第一個模型，該模型可以直接合成不需要自然語言文本作為中間表示或監督來源的圖像的流利，自然聽起來的語音字幕。取而代之的是，我們將圖像字幕模塊和語音合成模塊與一組離散的子單詞語音單元連接，這些單元是通過自我監督的視覺接地任務發現的。除了針對流行的MSCOCO數據集收集的新穎的語音字幕集之外，我們還對Flickr8k語音字幕集進行了實驗，這表明我們生成的字幕還捕獲了所描述圖像的多種視覺語義。我們研究了幾種不同的中間語音表示形式，并從經驗上發現，該表示形式必須滿足幾個重要的屬性才能用作替代文本。

Survey of the Detection and Classification of Pulmonary Lesions via CT and X-Ray Authors Yixuan Sun, Chengyao Li, Qian Zhang, Aimin Zhou, Guixu Zhang 近年來，幾種肺部疾病的流行，尤其是2019年冠狀病毒病COVID 19大流行，引起了全世界的關注。這些疾病可以借助肺部成像得到有效診斷和治療。隨著深度學習技術的發展以及許多公共醫學圖像數據集的出現，通過醫學成像對肺部疾病的診斷得到了進一步的改善。本文回顧了近十年來肺部CT和X射線圖像的檢測和分類。它還根據各種病變的影像學特征概述了肺結節，肺炎和其他常見肺病變的檢測。此外，本綜述介紹了26種常用的公共醫學圖像數據集，總結了最新技術，并討論了當前的挑戰和未來的研究方向。

New Bag of Deep Visual Words based features to classify chest x-ray images for COVID-19 diagnosis Authors Chiranjibi Sitaula, Sunil Aryal 由于嚴重急性呼吸系統綜合癥冠狀病毒2 COVID 19的感染會引起肺炎，如肺炎，因此胸部X線檢查可以幫助診斷疾病。對于圖像的自動分析，它們在機器中由一組語義特征表示。深度學習DL模型被廣泛用于從圖像中提取特征。一般的深部特征可能不適合表示胸部X射線，因為它們具有一些語義區域。盡管顯示的基于詞袋的BoVW功能更適合用于X射線類型的圖像，但是現有的BoVW功能可能無法捕獲足夠的信息來區分COVID 19感染和其他與肺炎相關的感染。在本文中，我們通過刪除特征圖歸一化步驟并在原始特征圖上添加了深度特征歸一化步驟，提出了一種針對深度特征的新BoVW方法，稱為“深視覺詞袋BoDVW”。這有助于保留每個特征圖的語義，這些語義圖可能具有區分COVID 19和肺炎的重要線索。我們使用支持向量機SVM評估建議的BoDVW功能在胸部X射線分類中診斷COVID 19的有效性。我們在公開可用的COVID 19 x射線數據集上的結果顯示，我們的特征可產生穩定且突出的分類準確性，尤其是區分COVID 19與現有技術水平相比，可在更短的計算時間內從其他肺炎感染。因此，我們的方法對于大規模診斷COVID 19患者可能是非常有用的工具。

FREA-Unet: Frequency-aware U-net for Modality Transfer Authors Hajar Emami, Qiong Liu, Ming Dong 正電子發射斷層掃描PET成像已被廣泛用于多種疾病的診斷，但它的獲取過程成本很高，涉及對患者的輻射暴露。但是，磁共振成像MRI是一種更安全的成像方式，它不涉及患者的放射線暴露。因此，需要從MRI數據高效且自動化的PET圖像生成。在本文中，我們提出了一種用于生成合成PET圖像的新的頻率感知注意力U net。具體來說，我們將注意力機制整合到不同的U網絡層中，這些網絡層負責估計圖像的低高頻比例。我們的頻率感知注意力Unet計算低頻層中特征圖的注意力得分，并使用它來幫助模型將注意力更多地集中在最重要的區域上，從而獲得更逼真的輸出圖像。來自阿爾茨海默氏病神經影像計劃ADNI數據集的30位受試者的實驗結果表明，所提出的模型在PET圖像合成中表現良好，在定性和定量方面均優于當前技術水平。

Model-Based Visual Planning with Self-Supervised Functional Distances Authors Stephen Tian, Suraj Nair, Frederik Ebert, Sudeep Dasari, Benjamin Eysenbach, Chelsea Finn, Sergey Levine 通才機器人必須能夠在其環境中完成各種任務。指定每個任務的一種有吸引力的方法是觀察目標。但是，通過強化學習達到學習目標的策略仍然是一個具有挑戰性的問題，尤其是在沒有手工設計的獎勵功能時。學習的動力學模型是一種無償學習環境的有前途的方法，但是沒有獎勵或任務導向的數據，但是要計劃使用這種模型實現目標，則需要在觀察值和目標狀態之間保持功能相似的概念。我們提出了一種基于模型的視覺目標達成的自我監督方法，該方法同時使用了視覺動力學模型以及使用無模型強化學習而獲得的動力學距離函數。我們的方法完全使用離線的，未標記的數據來學習，因此可以擴展到大型且多樣化的數據集。在我們的實驗中，我們發現我們的方法可以成功地學習在測試時執行各種任務的模型，使用模擬的機械臂在牽引器中移動對象，甚至使用真實世界的機器人學習如何打開和關閉抽屜。相比之下，我們發現這種方法大大優于無模型方法和基于模型的現有方法。視頻和可視化效果在這里

H2NF-Net for Brain Tumor Segmentation using Multimodal MR Imaging: 2nd Place Solution to BraTS Challenge 2020 Segmentation Task Authors Haozhe Jia, Weidong Cai, Heng Huang, Yong Xia 在本文中，我們提出了一種混合高分辨率和非局部特征網絡H2NF網絡來分割多模式MR圖像中的腦腫瘤。我們的H2NF網絡使用單個和級聯的HNF網絡來分割不同的腦腫瘤亞區域，并將預測結果組合在一起作為最終分割。我們在多模式腦腫瘤分割挑戰BraTS 2020數據集上訓練和評估了我們的模型。測試集上的結果表明，單個模型和級聯模型的組合在增強腫瘤，整個腫瘤和腫瘤的平均Dice得分分別為0.78751、0.91290和0.85461，以及Hausdorff距離95為26.57525、4.18422和4.97162。分別為腫瘤核心。我們的方法在BraTS 2020挑戰細分任務中贏得了近80名參與者的第二名。

MRI brain tumor segmentation and uncertainty estimation using 3D-UNet architectures Authors Laura Mora Ballestar, Veronica Vilaplana 3D磁共振圖像中腦腫瘤分割的自動化MRI是評估疾病診斷和治療的關鍵。近年來，卷積神經網絡的CNN在任務中顯示出了改進的結果。但是，高內存消耗在3D CNN中仍然是一個問題。而且，大多數方法不包括不確定性信息，這在醫學診斷中尤其重要。這項工作研究了采用基于補丁的技術訓練的3D編碼器解碼器體系結構，以減少內存消耗并減少不平衡數據的影響。然后使用不同的訓練模型來創建一個集合，該集合利用每個模型的屬性，從而提高性能。我們還分別使用測試時間丟失TTD和數據增強TTA引入了體素和不確定的體素明智不確定性信息。此外，提出了一種混合方法，可幫助提高分割的準確性。在這項工作中提出的模型和不確定性估計測量已在BraTS 20挑戰賽中用于任務1和3，涉及腫瘤分割和不確定性估計。

Some Algorithms on Exact, Approximate and Error-Tolerant Graph Matching Authors Shri Prakash Dwivedi 由于它的表示能力和證明對象之間關系的固有能力，因此它是工程和科學中使用最廣泛的數學結構之一。這項工作的目的是使用圖的表示能力介紹新穎的圖匹配技術，并將其應用于結構模式識別應用程序。我們對各種精確和不精確的圖形匹配技術進行了廣泛的調查。提出了使用同胚概念的圖匹配。提出了一種圖匹配算法，該算法通過使用某種相關性度量刪除不太重要的節點來減小圖的大小。我們提出一種使用節點收縮的容錯圖匹配方法，其中通過收縮較小度的節點將給定圖轉換為另一個圖。我們使用這種方案來擴展圖形編輯距離的概念，可以在執行時間和準確性之間進行權衡。我們描述了一種利用各種節點中心性信息進行圖形匹配的方法，該方法通過基于給定的中心性度量從兩個圖形中刪除一部分節點來減小圖形大小。圖匹配問題固有地與圖的幾何形狀和拓撲有關。我們介紹了一種使用幾何圖來測量圖相似度的新穎方法。我們使用兩個幾何圖形的頂點位置定義它們之間的頂點距離，并將其表示為僅包含頂點的所有圖形集的度量。我們基于邊緣的角度方向，長度和位置定義兩個圖形之間的邊緣距離。然后，我們結合頂點距離和邊緣距離的概念來定義兩個幾何圖形之間的圖形距離，并將其顯示為度量。最后，我們使用提出的圖相似性框架執行精確和容錯的圖匹配。

Automatic Polyp Segmentation using U-Net-ResNet50 Authors Saruar Alam, Nikhil Kumar Tomar, Aarati Thakur, Debesh Jha, Ashish Rauniyar 息肉是大腸癌的前身，大腸癌被認為是世界范圍內與癌癥相關的死亡的主要原因之一。結腸鏡檢查是識別，定位和去除結腸直腸息肉的標準程序。由于形狀，大小和周圍組織相似性的差異，臨床醫生在結腸鏡檢查時常常會錯過大腸息肉。通過在結腸鏡檢查過程中使用自動，準確和快速的息肉分割方法，可以輕松地檢測和去除許多結直腸息肉。 Medico自動息肉分割挑戰提供了研究息肉分割并建立有效且準確的分割算法的機會。我們使用帶有預先訓練的ResNet50的U Net作為息肉分割的編碼器。該模型在針對挑戰提供的Kvasir SEG數據集上進行了訓練，并在組織者的數據集上進行了測試，其骰子系數為0.8154，Jaccard為0.7396，召回率為0.8533，精度為0.8532，精度為0.9506，F2得分為0.8272，表明我們模型的泛化能力。

DDANet: Dual Decoder Attention Network for Automatic Polyp Segmentation Authors Nikhil Kumar Tomar, Debesh Jha, Sharib Ali, H vard D. Johansen, Dag Johansen, Michael A. Riegler, P l Halvorsen 結腸鏡檢查是檢查和檢測大腸息肉的金標準。息肉的定位和輪廓在治療例如外科手術計劃和預后決策中起著至關重要的作用。息肉分割可為臨床分析提供詳細的邊界信息。卷積神經網絡提高了結腸鏡檢查的性能。但是，息肉通常面臨各種挑戰，例如類內和類間變異和噪音。人工標記息肉評估需要專家的時間并且容易發生人為錯誤，例如遺漏的病變，而自動，準確和快速的分割可以改善所描繪的病變邊界的質量并降低遺漏率。 Endotect挑戰通過在公開可用的Hyperkvasir上進行培訓并在單獨的看不見的數據集上進行測試，提供了基準計算機視覺方法的機會。在本文中，我們提出了一種基于雙解碼器注意網絡的新穎架構DDANet。我們的實驗表明，在Kvasir SEG數據集上訓練并在看不見的數據集上進行測試的模型實現了0.7874的骰子系數，0.7010的mIoU，0.7987的召回率和0.8577的精度，證明了我們模型的泛化能力。

Medico Multimedia Task at MediaEval 2020: Automatic Polyp Segmentation Authors Debesh Jha, Steven A. Hicks, Krister Emanuelsen, H vard Johansen, Dag Johansen, Thomas de Lange, Michael A. Riegler, P l Halvorsen 大腸癌是全球第三大常見癌癥。根據《 2018年全球癌癥統計》，無論是發展中國家還是發達國家，大腸癌的發病率都在增加。早期發現結腸息肉（例如息肉）對于預防癌癥很重要，而自動息肉分割對此起關鍵作用。不管早期發現和治療選擇的最新進展如何，估計的息肉漏診率仍為20左右。通過自動計算機輔助診斷系統的支持可能是被忽視的息肉的潛在解決方案之一。這種檢測系統可以幫助提供低成本的設計解決方案，并節省醫生的時間，例如，他們可以將其用于執行更多的患者檢查。在本文中，我們介紹了2020 Medico挑戰賽，提供了有關工作和數據集的一些信息，描述了任務和評估指標，并討論了組織Medico挑戰賽的必要性。

Exploring Large Context for Cerebral Aneurysm Segmentation Authors Jun Ma, Ziwei Nie 從3D CT自動分割動脈瘤對于腦動脈瘤疾病的診斷，監測和治療計劃很重要。這篇簡短的文章簡要介紹了MICCAI 2020 CADA挑戰中動脈瘤分割方法的主要技術細節。主要貢獻在于，我們將3D U Net配置為具有較大的補丁程序大小，從而可以獲得較大的上下文。我們的方法在MICCAI 2020 CADA測試數據集上排名第二，平均Jaccard為0.7593。我們的代碼和訓練有素的模型可在url上公開獲得

Fast Hyperspectral Image Recovery via Non-iterative Fusion of Dual-Camera Compressive Hyperspectral Imaging Authors Wei He, Naoto Yokoya, Xin Yuan 編碼孔徑快照光譜成像CASSI是一種有前途的技術，可使用單次編碼二維2D測量來捕獲三維高光譜圖像HSI，其中使用算法來執行反問題。由于不適的性質，已利用各種調節器從2D測量中重建3D數據。不幸的是，準確性和計算復雜性不令人滿意。一種可行的解決方案是利用附加信息，例如CASSI中的RGB測量。考慮到CASSI和RGB的組合測量，我們提出了一種用于HSI重建的新融合模型。我們研究了由頻譜基礎和空間系數組成的HSI的頻譜低秩特性。具體地，利用RGB測量來估計系數，同時采用CASSI測量來提供正交光譜基礎。我們進一步提出了一種補丁處理策略來增強HSI的頻譜低秩特性。提出的模型既不需要非本地處理或迭代，也不需要RGB檢測器的光譜感應矩陣。在模擬和真實HSI數據集上進行的大量實驗表明，我們提出的方法不僅在質量上優于以前的技術水平，而且還加快了5000倍的重建速度。

Accurate Word Representations with Universal Visual Guidance Authors Zhuosheng Zhang, Haojie Yu, Hai Zhao, Rui Wang, Masao Utiyama 單詞表示是神經語言理解模型的基本組成部分。最近，預訓練的語言模型PrLM通過利用序列級上下文進行建模，提供了一種新型的上下文化單詞表示的高效方法。盡管PrLM通常比非上下文化模型提供更準確的上下文化單詞表示，但是它們仍然受到一系列文本上下文的約束，而沒有來自多模態的單詞表示的不同提示。因此，本文提出了一種視覺表示方法，以從視覺指導中顯著增強具有多個方面感的常規單詞嵌入。詳細地，我們從多峰種子數據集中構建一個小規模的單詞圖像字典，其中每個單詞對應于各種相關圖像。文本和成對的圖像被并行編碼，隨后是注意層以集成多模式表示。我們表明該方法大大提高了消除歧義的準確性。對12種自然語言理解和機器翻譯任務的實驗進一步驗證了該方法的有效性和泛化能力。

Unpaired Image Enhancement with Quality-Attention Generative Adversarial Network Authors Zhangkai Ni, Wenhan Yang, Shiqi Wang, Lin Ma, Sam Kwong 在這項工作中，我們旨在學習一種不成對的圖像增強模型，該模型可以利用用戶提供的高質量圖像的特征豐富低質量的圖像。我們提出了一個基于未配對數據訓練的質量注意生成對抗網絡QAGAN，該網絡基于嵌入了質量注意模塊QAM的雙向生成對抗網絡GAN。提出的QAGAN的關鍵新穎之處在于為生成器注入的QAM，這樣它就可以直接從兩個域中學習與域相關的質量注意事項。更具體地，所提出的QAM允許生成器從空間方面有效地選擇語義相關的特征，并分別從信道方面有效地合并樣式相關的屬性。因此，在我們提出的QAGAN中，不僅鑒別器而且生成器也可以直接訪問兩個域，這極大地促進了生成器學習映射功能。大量的實驗結果表明，與基于不成對學習的最新方法相比，我們提出的方法在客觀和主觀評估方面均具有更好的性能。

A Review of Machine Learning Techniques for Applied Eye Fundus and Tongue Digital Image Processing with Diabetes Management System Authors Wei Xiang Lim, Zhiyuan Chen, Amr Ahmed, Tissa Chandesa, Iman Liao 糖尿病是一種全球流行病，并且正在以驚人的速度增長。國際糖尿病聯合會IDF預測，全球糖尿病患者總數可能會增加48，從2017年的4.25億增加到2045年的6.29億。此外，糖尿病已經導致數百萬的死亡，并且這個數字還在急劇增加。因此，本文探討了糖尿病及其并發癥的背景。此外，本文通過應用眼底和舌頭數字圖像，研究了糖尿病管理系統領域的創新應用和過去的研究。市場上已有各種類型的現有糖尿病眼管理系統和已應用的眼底和舌頭數字圖像處理技術，以及來自先前文獻的最新機器學習技術進行了綜述。本文的含義是對糖尿病研究進行概述，以及可以提出什么新的機器學習技術來解決這一全球性流行病。

DeepSphere: a graph-based spherical CNN Authors Micha l Defferrard, Martino Milani, Fr d rick Gusset, Nathana l Perraudin 為球面神經網絡設計卷積需要在效率和旋轉等方差之間進行微妙的權衡。 DeepSphere是一種基于采樣球體圖形表示的方法，它在這兩個目標之間取得了可控的平衡。這一貢獻是雙重的。首先，我們在理論和經驗上都研究了基礎圖相對于頂點和鄰居數如何影響等方差。其次，我們在相關問題上評估DeepSphere。實驗顯示了最先進的性能，并證明了這種配方的效率和靈活性。也許令人驚訝的是，與以前的工作進行比較表明，各向異性濾波器可能是不必要的代價。我們的代碼位于

Semi-supervised Cardiac Image Segmentation via Label Propagation and Style Transfer Authors Yao Zhang, Jiawei Yang, Feng Hou, Yang Liu, Yixin Wang, Jiang Tian, Cheng Zhong, Yang Zhang, Zhiqiang He 正確分割心臟結構可以幫助醫生診斷疾病，并改善治療計劃，這在臨床實踐中是非常需要的。但是，注釋的不足以及不同供應商和醫療中心之間數據的差異限制了高級深度學習方法的性能。在這項工作中，我們提出了一種自動的方法，可以對包括左LV和右心室RV血池以及左心室心肌MYO在內的心臟結構進行MRI分割。具體來說，我們設計了一種半監督學習方法，通過標簽傳播來利用未標記的MRI序列時間范圍。然后，我們利用樣式轉換來減少不同中心和供應商之間的差異，以實現更可靠的心臟圖像分割。我們在M女士挑戰賽7中評估了我們的方法，在14支競爭團隊中排名第二。

Parzen Window Approximation on Riemannian Manifold Authors Abhishek, Shekhar Verma 在圖驅動學習中，標簽傳播很大程度上取決于表示為連接數據點之間的邊緣的數據親和力。相似性分配隱式假定數據在流形上均勻分布。由于向高密度區域的漂移，此假設可能不成立，并可能導致度量分配不正確。漂移影響的基于熱核的親和力與全局固定的Parzen窗口一起丟棄真正的鄰居，或迫使遙遠的數據點成為鄰居的成員。這產生了偏倚的親和度矩陣。在本文中，由于可變的Parzen窗口可解決因在黎曼流形上數據采樣不均勻而引起的偏差，該變量被確定為鄰域大小，環境尺寸，平坦度范圍等的函數。此外，還使用了親和力調整來抵消抽樣不均是造成偏差的原因。提出了一種親和力度量，該度量考慮了不規則采樣效應以產生準確的標簽傳播。在合成和現實世界數據集上進行的大量實驗證實，該方法顯著提高了分類準確性，并且優于圖拉普拉斯流形正則化方法中現有的Parzen窗口估計量。

AILearn: An Adaptive Incremental Learning Model for Spoof Fingerprint Detection Authors Shivang Agarwal, Ajita Rattani, C. Ravindranath Chowdary 增量學習使學習者無需重新訓練現有模型即可適應新知識。這是一項艱巨的任務，需要從新數據中學習以及保留從先前訪問的數據中提取的知識。這一挑戰被稱為穩定性可塑性難題。我們提出AILearn，這是一種用于增量學習的通用模型，它通過將在新數據上訓練的基礎分類器的集合與當前集合進行仔細集成，從而克服了穩定性可塑性難題，??而無需使用整個數據從頭開始重新訓練模型。我們演示了擬議的AILearn模型在欺騙指紋檢測應用程序中的功效。與欺騙指紋檢測相關的重大挑戰之一是使用新的制造材料生成的欺騙的性能下降。 AILearn是一種自適應增量學習模型，可適應實時和欺騙指紋圖像的特征，并在新數據可用時有效地識別新的欺騙指紋以及已知的欺騙指紋。據我們所知，AILearn是增量學習算法中的首次嘗試，該算法適應于數據的屬性以生成各種基礎分類器。從對標準高維數據集LivDet 2011，LivDet 2013和LivDet 2015進行的實驗中，我們表明，在新型假材料上的性能提升顯著。平均而言，我們在連續學習階段之間的準確性提高了49.57。

Annotation-Efficient Learning for Medical Image Segmentation based on Noisy Pseudo Labels and Adversarial Learning Authors Lu Wang, Dong Guo, Guotai Wang, Shaoting Zhang 盡管深度學習已實現了醫學圖像分割的最先進性能，但其成功仍依賴于大量的手動注釋圖像進行訓練，這些圖像獲取成本很高。在本文中，我們提出了一種用于分割任務的注釋高效學習框架，該框架避免了訓練圖像的注釋，在此我們使用改進的周期一致生成對抗網絡GAN來從一組未配對的醫學圖像和從形狀模型獲得的輔助蒙版中學習或公共數據集。我們首先使用GAN在輔助掩模的幫助下，在基于變分自動編碼器基于VAE的鑒別器所代表的隱含的高級形狀約束下，為訓練圖像生成偽標簽，然后構建采用鑒別器的發生器通道校準DGCC模塊鑒別器的反饋，以校準發生器，以獲得更好的偽標簽。為了從嘈雜的偽標簽中學習，我們進一步介紹了一種使用噪聲加權Dice損失的魯棒迭代學習方法。我們用兩個情況對象驗證了我們的框架，這些對象具有簡單的形狀模型，例如眼底圖像中的視盤和超聲圖像中的胎兒頭，以及復雜的結構，例如X射線圖像中的肺和CT圖像中的肝。實驗結果表明1我們基于VAE的鑒別器和DGCC模塊有助于獲得高質量的偽標簽。 2我們提出的噪聲魯棒學習方法可以有效地克服噪聲偽標簽的影響。 3我們的方法在不使用訓練圖像注釋的情況下的分割性能與從人類注釋中學習的方法相近甚至可比。

Ensembled ResUnet for Anatomical Brain Barriers Segmentation Authors Munan Ning, Cheng Bian, Chenglang Yuan, Yefeng Zheng 腦結構的準確分割可能對神經膠質瘤和放射治療計劃有幫助。然而，由于不同模態之間在視覺和解剖上的差異，大腦結構的準確分割變得具有挑戰性。為了解決這個問題，我們首先構造一個具有深度編碼器和淺層解碼器的基于殘差塊的U型網絡，這可以權衡框架的性能和效率。然后，我們引入Tversky損失，以解決不同前景類和背景類之間的類不平衡問題。最后，模型集成策略用于消除異常值并進一步提高性能。

Myocardial Segmentation of Cardiac MRI Sequences with Temporal Consistency for Coronary Artery Disease Diagnosis Authors Yutian Chen, Xiaowei Xu, Dewen Zeng, Yiyu Shi, Haiyun Yuan, Jian Zhuang, Yuhao Dong, Qianjun Jia, Meiping Huang 冠狀動脈疾病CAD是全球最常見的死亡原因，其診斷通常基于磁共振成像MRI序列的手動心肌分割。由于手動分割繁瑣，耗時且適用性低，因此最近廣泛研究了使用機器學習技術進行的自動心肌分割。然而，幾乎所有現有方法都獨立地處理輸入的MRI序列，這不能捕獲序列之間的時間信息，例如，沿時間序列的心肌的形狀和位置信息。在本文中，我們為左心室腔，右心室腔和心肌的心臟MRI CMR掃描序列提出了一種心肌分割框架。具體來說，我們建議將常規網絡和遞歸網絡相結合，以在序列之間合并時間信息，以確保時間上的一致性。我們在自動心臟診斷挑戰ACDC數據集上評估了我們的框架。實驗結果表明，我們的框架可以將Dice系數的分割精度提高2倍。

Cascaded Framework for Automatic Evaluation of Myocardial Infarction from Delayed-Enhancement Cardiac MRI Authors Jun Ma 心肌和病理的自動評估在定量分析心肌梗死患者中起著重要作用。在本文中，我們提出了用于延遲增強心臟MRI的心肌梗塞分割和分類的級聯卷積神經網絡框架。具體來說，我們首先使用2D U Net分割整個心臟，包括左心室和心肌。然后，我們將整個心臟裁剪為感興趣的ROI區域。最后，使用新的2D U Net分割整個心臟ROI中的梗阻區域和無回流區域。可以將分割方法應用于分類任務，在該分類任務中，將具有違規或無回流區域的分割結果分類為病理病例。我們的方法在MICCAI 2020 EMIDEC分割任務中排名第二，心肌，梗死和無回流區域的Dice得分分別為86.28、62.24和77.76，在分類任務中排名第一，準確度為92。

Comparison of different CNNs for breast tumor classification from ultrasound images Authors Jorge F. Lazo, Sara Moccia, Emanuele Frontoni, Elena De Momi 乳腺癌是世界上最致命的癌癥之一。及時發現可以降低死亡率。在臨床常規中，根據超聲US成像對良性和惡性腫瘤進行分類是一項至關重要但具有挑戰性的任務。因此，需要一種能夠處理數據可變性的自動化方法。

SASSI -- Super-Pixelated Adaptive Spatio-Spectral Imaging Authors Vishwanath Saragadam, Michael DeZeeuw, Richard Baraniuk, Ashok Veeraraghavan, Aswin Sankaranarayanan 我們介紹一種具有高空間和時間分辨率的新型視頻速率高光譜成像儀。我們的主要假設是，過度分割圖像的超像素中像素的光譜輪廓往往非常相似。因此，在高光譜場景的超像素分割圖像的引導下，場景自適應空間采樣能夠獲得高質量的重建。為此，我們獲取場景的RGB圖像，計算其超像素，然后從中生成測量高分辨率光譜的位置的空間遮罩。隨后通過使用可學習的引導濾波方法將RGB圖像和光譜測量值融合來估計高光譜圖像。由于超像素估計步驟的計算復雜度低，因此我們的設置可以捕獲場景的高光譜圖像，而傳統快照高光譜相機的開銷很小，但是空間和光譜分辨率卻更高。我們通過廣泛的仿真以及實驗室原型驗證了提出的技術，該實驗室原型以600倍900像素的空間分辨率，在可見波段上的10 nm光譜分辨率測量高光譜視頻，并實現18 fps的幀頻。

Classification of Pathological and Normal Gait: A Survey Authors Ryan C. Saxe, Samantha Kappagoda, David K.A. Mordecai 步態識別是計算機科學領域內通常被稱為識別問題的術語。有多種方法和模型能夠根據他們的步行運動模式來識別他們。通過調查有關步態識別的最新文獻，本文力圖確定適當的指標，設備和算法，以收集和分析有關跨人群走動模式和方式的數據。此外，該調查旨在激發對跨狀態（即生理狀態，情緒狀態或認知狀態）的步態擾動的更廣泛的縱向分析的興趣。更廣泛地說，基于縱向和非縱向分類形式，可以歸因于正常步態與病理步態的推斷。這可能表明有希望的研究方向和實驗設計，例如創建用于量化疲勞的算法指標或用于預測突發性疾病的模型。此外，結合生理和環境條件的其他測量結果，病理步態分類可能適用于對傳染病狀態或認知障礙進行綜合監測的推斷。

Evaluation and Comparison of Edge-Preserving Filters Authors Sarah Gingichashvili, Dani Lischinski 邊緣保留濾鏡在計算攝影的一些最基本任務中起著至關重要的作用，例如抽象，色調映射，細節增強和紋理去除等。平滑運算符的豐富性和多樣性，以及缺乏評估輸出質量和/或在它們之間進行不偏不倚的比較的方法，可能會導致對此類方法的誤解和潛在濫用。本文介紹了一種評估和比較此類算子的系統方法，并在一系列已發布的邊緣保留濾波器上進行了演示。此外，我們提出了一個共同的基線，通過該基線可以實現對不同運算符的比較，并使用它來確定方法之間的等效參數映射。最后，我們提出一些客觀比較和評估邊緣保留濾波器的準則。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩請移步主頁

---

pic from pexels.com

總結

以上是生活随笔為你收集整理的【AI视野·今日CV 计算机视觉论文速览 第189期】Fri, 1 Jan 2021的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。