點云PCL免費知識星球，點云論文速讀。

文章：TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo

作者：Lukas Koestler Nan Yang y Niclas Zeller Daniel Cremers

編譯：點云PCL

代碼：https://github.com/tum-vision/tandem.git

歡迎各位加入免費知識星球，獲取PDF論文，歡迎轉(zhuǎn)發(fā)朋友圈。文章僅做學(xué)術(shù)分享，如有侵權(quán)聯(lián)系刪文。未經(jīng)博主同意請勿擅自轉(zhuǎn)載。

論文閱讀模塊將分享點云處理，SLAM，三維視覺，高精地圖相關(guān)的文章。公眾號致力于理解三維視覺領(lǐng)域相關(guān)內(nèi)容的干貨分享，歡迎各位加入我，我們一起每天一篇文章閱讀，開啟分享之旅,有興趣的可聯(lián)系微信dianyunpcl@163.com。

摘要

本文提出了一個實時單目跟蹤和稠密建圖框架， 對于姿態(tài)估計，TANDEM基于關(guān)鍵幀的滑動窗口進行BA(bundle adjustment)， 為了增強魯棒性，提出了一種新的跟蹤前端，該前端使用由稠密深度預(yù)測增量構(gòu)建的全局模型渲染的深度圖，來執(zhí)行稠密直接圖像對齊， 為了預(yù)測稠密的深度圖，提出了級聯(lián)視圖聚合MVSNet (CVA-MVSNet)，它利用整個活動關(guān)鍵幀窗口，通過分層構(gòu)造具有自適應(yīng)視圖聚合的3D成本量來平衡關(guān)鍵幀之間的不同立體基線， 最后，將預(yù)測的深度圖融合為一致的全局圖，以截斷的帶符號距離函數(shù)(TSDF)體素網(wǎng)格表示，?最終的實驗結(jié)果表明，TANDEM在相機跟蹤方面優(yōu)于其他先進的傳統(tǒng)和基于學(xué)習(xí)的單目視覺里程計(VO)方法， 此外，TANDEM還展示了最先進的實時三維重建性能。

主頁：https://go.vision.in.tum.de/tandem

圖1:TANDEM是一種單目密集SLAM方法，用于估計相機姿勢并實時重建3D環(huán)境

主要貢獻

（1）提出一種新穎的實時單目密集SLAM框架，無縫結(jié)合了經(jīng)典的直接法VO和基于學(xué)習(xí)的MVS三維重構(gòu)；

（2）據(jù)我們所知，第一個利用全局TSDF模型渲染的深度的單目稠密跟蹤前端；

（3）一種新穎的MVS網(wǎng)絡(luò)，CVA-MVSnet，它能夠通過利用視圖聚合和多級深度預(yù)測來利用整個關(guān)鍵幀窗口；

（4）在合成和真實的數(shù)據(jù)上，達到了最先進的跟蹤和重建結(jié)果。

主要內(nèi)容

方案主要有三部分組成：單目視覺里程計、CVA MVSNet稠密深度估計和體積建圖。圖2a顯示了系統(tǒng)的概述，視覺里程計利用單目視頻流和3D TSDF模型渲染的密集深度，以滑動窗口方式估計攝像機姿勢。給定關(guān)鍵幀及其估計姿勢，提出的CVA MVSNet預(yù)測參考關(guān)鍵幀的稠密深度貼圖，為了重建環(huán)境的完整且全局一致的3D模型，深度貼圖隨后通過體素散列融合到TSDF體素網(wǎng)格中，通過無縫集成這些組件，最終的system TANDEM能夠從單目相機實現(xiàn)實時跟蹤和高質(zhì)量稠密貼圖。

圖2：（a）使用視覺里程計優(yōu)化的稀疏點和3D模型渲染的稠密深度圖跟蹤每幀，關(guān)鍵幀的姿態(tài)通過滑動窗口光度束調(diào)整進行估計，并輸入CVA MVSNet進行稠密的深度預(yù)測，深度貼圖融合為全局一致的TSDF體積，（b） CVA MVSNet構(gòu)建級聯(lián)成本量并分層估計深度圖，視圖聚合模塊通過預(yù)測自適應(yīng)權(quán)重，有效地聚合多視圖圖像的特征

實驗

圖3 DeepFactors、Atlas和未知序列上的TANDEM深度比較，TANDEM產(chǎn)生更精細(xì)的比例細(xì)節(jié)，例如第二排的設(shè)備或第三排的梯子，對于EuRoC，只有稀疏的地面真實深度可用。

圖4:Atlas和TANDEM在未知序列上的定性比較，Atlas不構(gòu)建紋理網(wǎng)格，這里還從TANDEM渲染純幾何體以進行比較

表1:EuRoC的位姿評估，所有的方法都是模擬對齊的w.r.t.真值軌跡，顯示了五次運行期間的平均絕對姿態(tài)誤差和標(biāo)準(zhǔn)偏差

表2:在VO窗口中使用所有關(guān)鍵幀不會改善基線，然而，將Win與視圖聚合（VA）相結(jié)合會以增加推理運行時間和內(nèi)存為代價產(chǎn)生更準(zhǔn)確的結(jié)果

三維重建的實驗對比

總結(jié)

我們介紹了TANDEM，一種實時稠密的單目SLAM系統(tǒng)，該系統(tǒng)采用了一種新穎的設(shè)計，將直接光度視覺里程計與深度多視角立體視覺相結(jié)合，特別是提出了CVA MVSNet，它有效地利用了整個關(guān)鍵幀窗口并預(yù)測高質(zhì)量的深度貼圖，此外，提出的密集跟蹤方案通過跟蹤TSDF融合生成的全局3D模型，將攝像機姿態(tài)估計和密集3D重建聯(lián)系起來，定量和定性實驗表明，在合成數(shù)據(jù)和真實數(shù)據(jù)的三維重建和視覺里程測量方面，TANDEM方法比其他最先進的方法取得了更好的結(jié)果。我們認(rèn)為，TANDEM三維重建的效果進一步縮小了RGB-D重建之間的差距。

資源

三維點云論文及相關(guān)應(yīng)用分享

【點云論文速讀】基于激光雷達的里程計及3D點云地圖中的定位方法

3D目標(biāo)檢測：MV3D-Net

三維點云分割綜述（上）

3D-MiniNet: 從點云中學(xué)習(xí)2D表示以實現(xiàn)快速有效的3D LIDAR語義分割（2020）

win下使用QT添加VTK插件實現(xiàn)點云可視化GUI

JSNet：3D點云的聯(lián)合實例和語義分割

大場景三維點云的語義分割綜述

PCL中outofcore模塊---基于核外八叉樹的大規(guī)模點云的顯示

基于局部凹凸性進行目標(biāo)分割

基于三維卷積神經(jīng)網(wǎng)絡(luò)的點云標(biāo)記

點云的超體素(SuperVoxel)

基于超點圖的大規(guī)模點云分割

更多文章可查看：點云學(xué)習(xí)歷史文章大匯總

SLAM及AR相關(guān)分享

【開源方案共享】ORB-SLAM3開源啦！

【論文速讀】AVP-SLAM：自動泊車系統(tǒng)中的語義SLAM

【點云論文速讀】StructSLAM:結(jié)構(gòu)化線特征SLAM

SLAM和AR綜述

常用的3D深度相機

AR設(shè)備單目視覺慣導(dǎo)SLAM算法綜述與評價

SLAM綜述(4)激光與視覺融合SLAM

Kimera實時重建的語義SLAM系統(tǒng)

SLAM綜述(3)-視覺與慣導(dǎo)，視覺與深度學(xué)習(xí)SLAM

易擴展的SLAM框架-OpenVSLAM

高翔：非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM綜述之Lidar SLAM

基于魚眼相機的SLAM方法介紹

掃描下方微信視頻號二維碼可查看最新研究成果及相關(guān)開源方案的演示：

如果你對本文感興趣，請點擊“原文閱讀”獲取知識星球二維碼，務(wù)必按照“姓名+學(xué)校/公司+研究方向”備注加入免費知識星球，免費下載pdf文檔，和更多熱愛分享的小伙伴一起交流吧！

以上內(nèi)容如有錯誤請留言評論，歡迎指正交流。如有侵權(quán)，請聯(lián)系刪除

掃描二維碼

? ? ? ? ? ? ? ? ? ?關(guān)注我們

讓我們一起分享一起學(xué)習(xí)吧！期待有想法，樂于分享的小伙伴加入免費星球注入愛分享的新鮮活力。分享的主題包含但不限于三維視覺，點云，高精地圖，自動駕駛，以及機器人等相關(guān)的領(lǐng)域。

分享及合作：群主微信“920177957”（需要按要求備注） 聯(lián)系郵箱：dianyunpcl@163.com，歡迎企業(yè)來聯(lián)系公眾號展開合作。

點一下“在看”你會更好看耶

總結(jié)

以上是生活随笔為你收集整理的TANDEM 基于深度多视图立体视觉的实时跟踪和稠密建图的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。