將激光雷達與相機結合，再通過深度學習的方式獲得場景的3D模型——Ouster首席執行官在博客中介紹了相機OS-1，并裝有激光雷達。LiveVideoStack對原文進行了摘譯。

文 / Angus Pacala. Ouster?

譯 / 王月美

技術審校 / 田棟

原文 https://medium.com/ouster/the-camera-is-in-the-lidar-6fcf77e7dfa6

很明顯，當Ouster三年前開始開發OS-1時，相機的深度學習研究就超過了激光雷達研究。激光雷達數據具有突出的獨特優勢，——簡舉二例，如空間信息豐富、環境光照不敏感，——然而它缺乏類似于傳統相機圖像的原始（高）分辨率和高效的陣列存儲結構，因而3D點云在神經網絡學習或處理中迄今缺乏高效快速的硬件算法及實現。

考慮到兩種傳感模式之間的權衡，我們從一開始就將激光雷達和相機的優勢集中在一個設備中。今天，我們發布了固件升級并更新到了我們的開源驅動程序中來實現這一目標。我們的OS-1激光雷達現在可以實時的輸出固定分辨率的深度圖像、信號圖像和環境圖像，而所有這些都不需要攝像頭的參與。數據層在空間上完全相關，具有零時間失配或快門效應，并且每個像素具有16位和線性光響應。

讓我們一探究竟：

同時從OS-1輸出的實時圖像層。你從上到下看到的是環境、強度、范圍和點云——這些所有來自我們的激光雷達。請注意，環境圖像捕獲了多云的天空和樹木及車輛的陰影。

相比大多數數碼單反相機，OS-1的光學系統具有更大的光圈，并且我們開發的光子計數ASIC具有極低的光敏度，因此即使在低光照條件下也能夠收集環境圖像。OS-1捕獲近紅外信號和環境數據，因此數據非常類似于相同場景的可見光圖像，這使得數據具有自然的外觀，且為攝像機開發的算法很好地轉換為數據提供了更高的可能性。未來，我們將努力從這些環境圖像中去除固定模式噪聲，但與此同時我們希望可以讓客戶獲得數據！

另外，還更新了我們的開源驅動程序，將這些數據層輸出為固定分辨率的360°全景幀，以便客戶能夠立即開始使用新的功能。而且，我們將提供基于VTK構建的新的跨平臺可視化工具，用于查看、記錄 、并在Linux，Mac和Windows上并排播放圖像和點云。傳感器輸出的數據不需要后期處理即可實現此功能——該神奇之處是在于硬件，而驅動程序只是將流數據包組裝成圖像幀。

我們的新開源可視化工具。完整未經編輯的視頻：https://www.youtube.com/watch?v=LcnbOCBMiQM

獲得早期訪問更新權的客戶已經被打動了，我們鼓勵任何對OS-1感興趣的人在線觀看我們未經編輯的視頻，或者下載我們的原始數據并使用可視化工具自行播放。

固件更新頁面：https：//www.ouster.io/downloads

Github和樣本數據：www.github.com/ouster-LIDAR

這不是噱頭

我們已經看到多家激光雷達公司推出激光雷達/相機融合解決方案。通過將一個單獨的相機與一個激光雷達聯合安裝，執行偽劣的外部校準，并為最終無用的產品推出了新聞稿。但是，我們沒有這樣做。為了證明這一點，我們想要分享一些證明OS-1傳感器數據有多么強大的例子，這將讓我們回到深度學習。

由于傳感器在每個像素處輸出具有深度，信號和環境數據的固定分辨率圖像幀，因此我們能夠將這些圖像直接饋送到最初為相機開發的深度學習算法中去。我們在矢量中編碼深度，強度和環境信息，這很像彩色圖像的網絡將編碼輸入層的紅色，綠色和藍色通道。當然，我們訓練過的網絡已經非常適用于新的激光雷達數據類型。

作為一個示例，我們訓練了每像素語義分類器，以識別來自舊金山周圍的一系列深度和強度幀中的可駕駛道路，車輛，行人和騎自行車的人。我們能夠在NVIDIA GTX 1060上實時運行生成的網絡，并取得了可喜的成果，特別是考慮到其實這是我們嘗試的第一個實現。請查閱：

完整視頻: https://www.youtube.com/watch?v=JxR9MasA9Yc

因為每個像素都提供了所有的數據，所以我們能夠無縫地將2D掩碼轉換為3D幀，以進行額外的實時處理，如邊界框估計和跟蹤。

在其他情況下，我們選擇將深度，信號和環境圖像分開，并將它們獨立地傳遞到同一網絡中去。例如，我們從DeTone等人的SuperPoint項目中獲取了預先訓練好的網絡，并直接在我們的強度和深度圖像上運行它。網絡在大量通用RGB圖像上進行訓練，且從未見過深度/激光雷達數據，但強度和深度圖像的結果卻令人驚嘆：

完整視頻: https://www.youtube.com/watch?v=igsJxrbaejw

仔細檢查后，很明顯地發現，網絡正在拾取每個圖像中的不同關鍵點。任何從事激光雷達和視覺測距的人都會掌握這個結果中所體現的冗余的價值。激光雷達測距儀只在隧道和高速公路等幾何均勻的環境中使用，而視覺測距儀則在無紋理和光線不足的環境中使用。而OS-1的相機/激光雷達融合將為這個長期存在的問題提供多模式解決方案。

以上這些結果令我們相信，融合的激光雷達和相機數據遠遠超過其各部分的單純總和，我們期望未來激光雷達和相機之間能夠有進一步融合。

總結

以上是生活随笔為你收集整理的相机+激光雷达重绘3D场景的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。