作者丨水管工張師傅@知乎

來源丨https://zhuanlan.zhihu.com/p/488024649

編輯丨3D視覺工坊

記錄自己對劉蘭個川大神文章的理解。

原文為：（貌似要翻墻）

https://link.zhihu.com/?target=https%3A//towardsdatascience.com/deep-learning-in-mapping-for-autonomous-driving-9e33ee951a44

1.離線地圖vs在線地圖：

離線地圖：

離線地圖的數據源可以是衛星圖像，也可以是由相機或激光雷達等車載傳感器收集的數據。它可能來自同一輛車通過同一地點的多次通行，也可能來自眾多車輛的拼接。地圖的渲染（rending）是離線構建的，需要人工注釋者在地圖上注釋語義信息并查看最終結果。傳統的地圖服務是以這種離線方式工作的，然后注釋和策劃的地圖被提供給道路上的車輛。

在線地圖：

在線地圖是實時在車上或機器人上進行的。典型的例子SLAM（但是SLAM實時建圖過于稀疏？）。最近，語義SLAM（semantic SLAM）專注于道路上表面標記的幾何和語義，作為一種輕量級的建圖方法進行了探索。此外，單目相機實時建立語義地圖（monoSOM）是一個熱門話題，它使用神經網絡將來自多個攝像頭的單目圖像的時間序列融合到語義鳥瞰圖中。（在其他文章中寫）

2.SD Maps vs HD Maps

根據傳入數據分辨率的的不同，分為兩種地圖。

拓撲地圖（SD Maps），例如道路網絡，通常不包含車道級別的信息。它們只需要相對低分辨率的圖像，精度大約為米級（圖左）。

高清地圖（HD Maps），：側重于提取車道級別的信息，例如車道線、路面箭頭和其他語義標記。這需要分辨率更高、精度達到厘米級的圖像。相應地，這兩種類型的地圖在本文的其余部分將被松散地稱為SD地圖和HD地圖（圖右上）。

附：HD MAP 的文章：HDMapNet: An Online HD Map Construction and Evaluation Framework
是清華大學趙行老師的文章，非常強的一個組！

1.SD映射（Road Topology Discovery）

深度學習在地圖繪制上的早期應用側重于從相對低分辨率的航拍圖像中提取道路級拓撲。深度學習為 SD Map創建了一種經濟實惠的解決方案，覆蓋范圍廣。SD Map中生成的道路拓撲的主要目的在自動駕駛環境中相對有限——用于路由和導航。然而，其中一些研究中提出的方法與后來的高清地圖工作高度相關，因此在這里進行了回顧。

1.DeepRoadMapper (ICCV 2017)

接收從衛星獲得的航拍圖像并創建結構化的道路網絡。它首先執行語義分割，并在生成的道路圖上運行細化和修剪算法。由于語義分割的不準確（樹木、建筑物等的遮擋），許多道路都處于斷開狀態。為了解決這個問題，DeepRoadMapper 使用 A* 搜索算法生成連接假設以縮小差距。

2.RoadTracer (CVPR 2018)

注意到不可靠的語義分割結果，并將其作為中間表示消除。它使用迭代圖構造來直接獲得道路的拓撲結構。該算法需要做出決定，朝著某個方向邁出一定的距離，類似于強化學習環境中的問題。

3.PolyMapper（ICCV 2019）

靈感可能來自RoadTracer，它還消除了中間表示。它明確地統一了不同類型對象（包括道路和建筑街區）的形狀表示，并將它們表示為閉合多邊形。該公式是非常聰明和干凈的，遵循迷宮墻追隨者算法。
PolyMapper 使用 Mask RCNN 架構來提取建筑物和道路的邊界掩碼。基于掩碼，它提取頂點，找到起始頂點，并使用 RNN 對所有頂點進行自回歸迭代以形成閉合多邊形。

PolyMapper的網絡結構

RoadTracer 和 PolyMapper 中地圖結構化表示的自回歸生成與HD Map中使用的非常相似。

2.HD Mapping (Lane Level Information Extraction)

為什么需要：
SD 地圖缺乏自動駕駛汽車安全定位和運動規劃所需的精細細節和準確性。高清地圖對于自動駕駛是必要的。高清地圖生成通常采用更高分辨率的鳥瞰 (BEV) 圖像，通過拼接車載攝像頭圖像和/或激光雷達掃描生成。

1.HRAN?(Hierarchical Recurrent Attention Networks for Structured Online Maps, CVPR 2018)

對道路進行稀疏點云掃描，并輸出包含車道邊界實例的道路網絡的結構化表示。它首先迭代地找到每條車道線的起點，然后對于每條車道線，迭代地沿著這條線繪制下一個頂點。這兩個 RNN 以分層方式組織，因此命名為 HRAN——分層循環注意網絡。

Hierarchical recurrent attention networks

它提出了polyline loss（折線損失)的思想，以鼓勵神經網絡輸出結構化的折線。折線損失測量地面實況折線邊緣的偏差及其預測。這比頂點上的距離更合適，因為存在許多繪制等效折線的方法。

Polyline loss (又叫 Chamfer distance loss) 更注意形狀而不是頂點位置

HRAN 使用每像素 5 厘米的分辨率，并在 20 厘米精度內實現 0.91 次recall。主要故障模式來自錯過或額外的車道線。請注意，100% 的準確率不一定是最終目標，因為注釋者仍需要手動查看這些圖像并修復它們。這些失敗案例可以相對容易地修復。在后來的工作 Deep Boundary Extractor 中使用的高度梯度圖可能能夠修復護欄被誤認為車道線的 FP 情況。

HRAN的分辨情況

2.Deep Structured Crosswalk（End-to-End Deep Structured Models for Drawing Crosswalks, ECCV 2018）

從激光雷達點和相機圖像（激光雷達 + RGB = 4 通道）生成的 BEV 圖像中提取結構化人行橫道。該網絡生成三個不同的特征圖——語義分割、輪廓檢測以及直接監督定義人行橫道方向的角度。

這項工作在某種意義上并不完全是端到端的，因為流程的最終目標是生成兩個結構化的、定向的人行橫道邊界。為了獲得結構化的邊界，三個中間特征圖以及一個粗略的地圖（OpenStreetMaps，它提供道路中心線和交叉路口多邊形）被輸入到能量最大化管道中，以找到人行橫道的最佳邊界和方向角。

Deep Structured Crosswalk 流程圖

注：上述結果是通過多次駕駛產生的輸入離線獲得的。該模型還可以通過同一位置單次在線運行，并可以實現類似的性能，但在線生成的圖像質量差的附加故障模式。

3.Deep Boundary Extractor(Convolutional Recurrent Network for Road Boundary Extraction, CVPR 2019)

使用折線提取道路邊界。它受到 Deep Structured Crosswalk 的啟發，并使用卷積 RNN（卷積 Snake，或 cSnake）以自回歸方式進行預測。輸入通過添加一個額外的激光雷達高度梯度通道來擴展深度結構化人行橫道的輸入，該通道是通過采用 Sobel 過濾的激光雷達 BEV 地圖的幅度生成的。cSnake 網絡迭代地處理旋轉的 ROI，并輸出對應于道路邊界的折線的頂點。它首先預測端點。基于每個端點，它以端點為中心裁剪和旋轉特征圖塊并定位下一個點。上述過程自回歸運行。

Deep Boundary Extractore的網絡結構

Deep Boundary Extractor 以 4 cm/pixel 的輸入分辨率運行，實現了 ~0.90 的逐點 F1 分數和 0.993 的拓撲精度。

4.DAGMapper?(Learning to Map by Discovering Lane Topology, ICCV 2019)

將HRAN的結構型車道線提取工作更進一步，并專注于像岔路口和匯集等更復雜的情況。它采用激光雷達強度地圖并輸出DAG（定向非循環圖），而不是HRAN中的簡單折線。

在DAGMapper的核心中，也是一個recurrent的卷積頭，可迭代地參加圍繞最后一個預測點以圍繞最后一個預測點為中心的裁剪特征地圖補丁，并預測下一個點的位置。變化的是它還可以預測要匯集，岔路或繼續的點的狀態。

DAGMapper 網路結構

總結：

1.離線地圖的深度學習要有人的參與。深度學習的結果需要結構化，以便于自動駕駛堆棧使用，并便于人類注釋者修改。（這句不太懂什么意思）

原文：Deep learning for offline mapping has a human in the loop. The results of deep learning need to be structured to be readily consumable by an autonomous driving stack and easily modifiable by the human annotator.

2.當前的高清地圖應用主要集中在提取道路邊界、車道線（包括合并和分叉）和人行橫道邊界。

3.所有HD地圖研究的核心構建塊是一個循環卷積網絡，該網絡迭代地獲取以當前注釋點為中心的裁剪特征地圖，并預測下一個注釋點。

本文僅做學術分享，如有侵權，請聯系刪文。

3D視覺工坊精品課程官網：3dcver.com

1.面向自動駕駛領域的多傳感器數據融合技術

2.面向自動駕駛領域的3D點云目標檢測全棧學習路線！(單模態+多模態/數據+代碼)
3.徹底搞透視覺三維重建：原理剖析、代碼講解、及優化改進
4.國內首個面向工業級實戰的點云處理課程
5.激光-視覺-IMU-GPS融合SLAM算法梳理和代碼講解
6.徹底搞懂視覺-慣性SLAM：基于VINS-Fusion正式開課啦
7.徹底搞懂基于LOAM框架的3D激光SLAM: 源碼剖析到算法優化
8.徹底剖析室內、室外激光SLAM關鍵算法原理、代碼和實戰(cartographer+LOAM +LIO-SAM)

9.從零搭建一套結構光3D重建系統[理論+源碼+實踐]

10.單目深度估計方法：算法梳理與代碼實現

11.自動駕駛中的深度學習模型部署實戰

12.相機模型與標定(單目+雙目+魚眼）

13.重磅！四旋翼飛行器：算法與實戰

14.ROS2從入門到精通：理論與實戰

15.國內首個3D缺陷檢測教程：理論、源碼與實戰

重磅！3DCVer-學術論文寫作投稿?交流群已成立

掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿?微信交流群，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。

同時也可申請加入我們的細分方向交流群，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點云后處理、自動駕駛、多傳感器融合、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流、ORB-SLAM系列源碼交流、深度估計等微信群。

一定要備注：研究方向+學校/公司+昵稱，例如：”3D視覺?+ 上海交大 + 靜靜“。請按照格式備注，可快速被通過且邀請進群。原創投稿也請聯系。

▲長按加微信群或投稿

▲長按關注公眾號

3D視覺從入門到精通知識星球：針對3D視覺領域的視頻課程（三維重建系列、三維點云系列、結構光系列、手眼標定、相機標定、激光/視覺SLAM、自動駕駛等）、知識點匯總、入門進階學習路線、最新paper分享、疑問解答五個方面進行深耕，更有各類大廠的算法工程人員進行技術指導。與此同時，星球將聯合知名企業發布3D視覺相關算法開發崗位以及項目對接信息，打造成集技術與就業為一體的鐵桿粉絲聚集區，近4000星球成員為創造更好的AI世界共同進步，知識星球入口：

學習3D視覺核心技術，掃描查看介紹，3天內無條件退款

?圈里有高質量教程資料、答疑解惑、助你高效解決問題

覺得有用，麻煩給個贊和在看~??

總結

以上是生活随笔為你收集整理的自动驾驶地图中的深度学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。