多传感器融合（一）
多傳感器融合（一）
一．概述
“傳感器融合技術”號稱自動駕駛中的核心技術。
傳感器是汽車感知周圍的環境的硬件基礎，在實現自動駕駛的各個階段都必不可少。
自動駕駛離不開感知層、控制層和執行層的相互配合。攝像頭、雷達等傳感器獲取圖像、距離、速度等信息，扮演眼睛、耳朵的角色。
控制模塊分析處理信息，并進行判斷、下達指令，扮演大腦的角色。車身各部件負責執行指令，扮演手腳的角色。而環境感知是這一切的基礎，
因此傳感器對于自動駕駛不可或缺。
二．多傳感器融合的必要性
為什么一定要多傳感器融合呢？主要是揚長避短、冗余設計，提高整車安全系數。多傳感器融合系統所實現的功能要遠超這些獨立系統能夠實現的功能總和。使用不同的傳感器種類可以在某一種傳感器全都出現故障的環境條件下，額外提供一定冗余度。這種錯誤或故障可能是由自然原因（諸如一團濃霧）或是人為現象（例如對攝像頭或雷達的電子干擾或人為干擾）導致。各傳感器優缺點如下：
·
相機：對目標的顏色和紋理比較敏感，可以完成目標分類、檢測、分割、識別等任務，但是不能得到精確的探測距離，而且易受光照、天氣條件的影響。
·
LiDAR：可以獲得目標精確的3D信息，檢測范圍也能夠到達150米。對光照不敏感，晚上也可以正常工作。但是角分辨率大，目標稀疏，無法獲得目標紋理，分類不準，而且在雨、霧、雪等惡劣天氣中，性能會下降。對揚塵、水霧也比較敏感，易產生噪點。
·
radar：可以提供精確的距離和速度信息，探測距離也比較遠，可以全天候工作，但分辨率較低，無法提供物體高度信息。
相關傳感器對比如下表：
三．多傳感器融合的先決條件
眾多的傳感器裝在同一輛車上，如nuscenes中使用了6個camera、1個lidar、5個radar，使用同一個系統來采集并處理數據，為了將他們規范，我們需要對這些傳感器統一坐標系和時鐘，目的就是為了實現三同一不同：同一個目標在同一個時刻出現在不同類別的傳感器的同一個世界坐標處。
統一時鐘
在這里要做的就是同步不同傳感器的時間戳：
GPS時間戳的時間同步方法: 這個需要看傳感的硬件是否支持該種方法，如果支持則傳感器給出的數據包會有全局的時間戳，這些時間戳以GPS為基準，這樣就使用了相同的時鐘，而非各自傳感器的時鐘了。
但是還有一個問題，不同傳感器的數據頻率是不同的，如lidar為10Hz，camera為25/30Hz，那不同傳感器之間的數據還是存在延遲，如下圖所示。雖然可以通過找相鄰時間戳的方法找到最近幀，但是如果兩個時間戳差距較大，障礙物又在移動，最終會導致較大的同步誤差。
如圖：在 T1 時刻，sensor2產生了一個數據，如果要進行時間同步，我們需要查找對應時刻的sensor 1和sensor 3的數據，而實際查找的方式就是找出與sensr 2時間差最近的傳感器數據包。
硬同步方法：這種方法可以緩解查找時間戳造成的誤差現象。該方法可以以激光雷達作為觸發其它傳感器的源頭，當激光雷達轉到某個角度時，才觸發該角度的攝像頭，這可以大大減少時間差的問題。這套時間同步方案可以做到硬件中，這樣可以大大降低同步誤差，提高數據對齊效果。
統一坐標系
統一坐標系有兩步，一是運動補償，二是傳感器標定。
運動補償主要針對長周期的傳感器，如lidar，周期為100ms。由于所有的傳感器都裝在車上，車是運動的剛體。因此傳感器在采集數據時，周期開始的時間點和結束時間點車輛是處于不同位置的，導致不同時刻采集的數據所處坐標系不同，因此需要根據車體的運動對傳感器采集的數據進行運動補償。如下圖所示：虛線部分可以認為是世界坐標系，紅色點代表一個靜態的障礙物，在坐標系中有一個穩定的坐標（5，5）。藍色部分代表自動駕駛車自己的局部坐標系，也就是說世界坐標系的（4，0）為局部坐標系的原點。在T+1時刻，這個局部坐標系移動到了（6，0）的位置，也就是自動駕駛車沿著X方向向前移動了2。也就是說，在T時刻，障礙物的在局部坐標系下的坐標是（1，5），而在T+1時刻，它的坐標變為了（-1，5）。
這個問題解決起來比較簡單，因為自動駕駛車擁有比較準確的實時定位信息，它可提供T和T+1兩個時刻內，車本身的姿態差距，利用姿態差，我們就可以比較容易補償自身移動了多少。
傳感器標定分為內參標定和外參標定，內參標定，解決的是單獨的每個傳感器與世界坐標系間的變換；外參標定是在世界坐標系下，解決的不同傳感器間的變換。傳感器外參校準依賴于傳感器的精確內參校準。
四. 融合方法
經常可以看到的不同的融合方法，這里僅做簡單介紹，后續會專門介紹相關方法。
經過以上幾步，可以拿到的信息有：做好運動補償及時間同步的傳感器源數據、傳感器內參、傳感器外參，有了這些信息后，我們可以做相應的融合方法了。到底如何做呢？下面舉兩個例子：
相機和lidar融合：激光雷達數據是包含了明確的(x，y，z)數據的3D觀測，通過標定參數與照相機本身的內參，多傳感器深度融合可以實現把3D點投到圖像上，圖像上的某些像素也就打上了深度信息，幫助感知系統進行基于圖像的分割或者訓練深度學習模型。
毫米波雷達和激光雷達融合：毫米波雷達和激光雷達的融合方式比較簡單。在笛卡爾坐標系下，它們擁有完整的(
x，y )方向的信息。因此在笛卡爾坐標系下，激光雷達和毫米波雷達可以實現基于距離的融合。另外，毫米波雷達還可以探測到障礙物速度，而激光雷達通過位置的追蹤，也會得到對障礙物速度的估計，對這些速度的信息進行融合，更能幫助篩選錯誤的匹配候選集。
根據數據在整個流程中融合的不同位置，可以分為前融合和后融合。
前融合
如上圖所示，在原始層把數據都融合在一起，融合好的數據就好比是一個Super傳感器，而且這個傳感器不僅有能力可以看到radar，還有能力可以看到攝像頭或者RGB，也有能力看到LiDAR的三維信息，就好比是一雙超級眼睛。方法上只有一個感知的算法，對融合后的多維綜合數據進行感知。
后融合
如上圖所示，每個傳感器各自獨立處理生成的目標數據；每個傳感器都有自己獨立的感知，比如激光雷達有激光雷達的感知，攝像頭有攝像頭的感知，毫米波雷達也會做出自己的感知。當所有傳感器完成目標數據（如目標檢測、目標速度預測）生成后，再使用一些傳統方法融合所有傳感器的結果，得到最終結果。
前融合，還是后融合？
到底哪種融合方式好呢？這里舉個例子：假設在你手上有一個手機，激光雷達只能看到手機的一個角，攝像頭只能看到第二個角，而毫米波雷達可以看到第三個角，那么大家可以想象，如果使用后融合算法，由于每個傳感器只能看到它的一部分，這個物體非常有可能不被識別到，最終會被濾掉。而在前融合中，由于它是集合了所有的數據，也就相當于可以看到這個手機的三個角，那對于前融合來說，是非常容易能夠識別出這是一臺手機的。
五．解決GPS誤差多等問題
傳感器融合技術就是給汽車導航的，用來解決GPS導航誤差多的問題。
GPS誤差多，傳感器融合技術來幫忙
都知道GPS是當前行車定位不可或缺的技術，但是由于GPS的誤差、多路徑，以及更新頻率低等問題，不可以只依賴于GPS進行定位。相反，民用傳感器擁有很高的更新頻率，可以跟GPS形成很好的互補。使用傳感器融合技術，可以融合GPS與慣性傳感器數據，各取所長，以達到較好的定位效果。
簡單的傳感器融合技術
簡單地說，傳感器融合就是將多個傳感器獲取的數據、信息集中在一起綜合分析以便更加準確可靠地描述外界環境，從而提高系統決策的正確性。
傳感器各有優劣，難以互相替代，未來要實現自動駕駛，是一定需要多個傳感器相互配合共同構成汽車的感知系統的。不同傳感器的原理、功能各不相同，在不同的使用場景里可以發揮各自優勢。
多傳感器融合是人工智能未來趨勢
多個同類或不同類傳感器分別獲得不同局部和類別的信息，這些信息之間可能相互補充，也可能存在冗余和矛盾，而控制中心最終只能下達唯一正確的指令，這就要求控制中心必須對多個傳感器所得到的信息進行融合，綜合判斷。
隨著機器人技術的不斷發展，智能化已成為機器人技術的發展趨勢，而傳感器技術則是實現智能化的基礎之一。
多傳感器融合技術理念
由于單一傳感器獲得的信息有限，且還要受到自身品質和性能的影響，因此智能機器人通常配有數量眾多的不同類型的傳感器，以滿足探測和數據采集的需要。
若對各傳感器采集的信息進行單獨、孤立地處理，不僅會導致信息處理工作量的增加，而且，割斷了各傳感器信息間的內在聯系，丟失了信息經有機組合后可能蘊含的有關環境特征，造成信息資源的浪費，甚至可能導致決策失誤。為了解決上述問題人們提出了多傳感器融合技術。
多傳感器融合又稱多傳感器信息融合，有時也稱作多傳感器數據融合，于1973年在美國國防部資助開發的聲納信號處理系統中被首次提出，它是對多種信息的獲取、表示及其內在聯系進行綜合處理和優化的技術。它從多信息的視角進行處理及綜合，得到各種信息的內在聯系和規律，從而剔除無用的和錯誤的信息，保留正確的和有用的成分，最終實現信息的優化，也為智能信息處理技術的研究提供了新的觀念。
六．到底有多精確
多傳感器融合技術有多精確
簡單的傳感器融合不外乎就是每個傳感器的數據能大致在空間跟時間上能得到對齊。而整個多傳感器融合技術的核心就在于高精度的時間以及空間同步。精度到什么量級呢？
舉個例子，比如時間上能得到10的-6次方，空間上能得到在一百米外3到5厘米的誤差，這是一個典型的技術指標。
當然，多傳感器同步技術的難度與時間和空間的要求是一個指數級的增加。在百米外能得到3cm的空間精度，換算成角度是0.015度左右。
大家也知道在無人駕駛當中，毫米波雷達、相機、激光雷達和超聲波都是完全不同的傳感器，讓他們在時域跟空域上得到這樣的精度是非常難的，需要對機器人技術以及機器學習優化技術有非常深的理解。
自動泊車、公路巡航控制和自動緊急制動等自動駕駛汽車功能在很大程度上也是依靠傳感器來實現的。
多傳感器融合技術使用方式
重要的不僅僅是傳感器的數量或種類，它們的使用方式也同樣重要。目前，大多數路面上行駛車輛內的ADAS都是獨立工作的，這意味著它們彼此之間幾乎不交換信息。只有把多個傳感器信息融合起來，才是實現自動駕駛的關鍵。
現在路面上的很多汽車，甚至是展廳內的很多新車，內部都配備有基于攝像頭、雷達、超聲波或LIDAR等不同傳感器的先進駕駛員輔助系統（ADAS）。
這些系統的數量將會隨著新法案的通過而不斷增加，例如在美國，就有強制要求安裝后視攝像頭的法案。此外，諸如車險打折優惠和美國公路交通安全管理局（NHTSA）、歐洲新車安全評鑒協會（Euro-NCAP）等機構做出的汽車安全評級正在使某些系統成為汽車的強制功能；另一方面，這也助長了消費者對它們的需求。
ADAS如何實現突破限制
目前，大多數路面上行駛車輛內的ADAS都是獨立工作的，這意味著它們彼此之間幾乎不交換信息。（沒錯，某些高端車輛具有非常先進的自動駕駛功能，不過這些功能還未普及）。后視攝像頭、環視系統、雷達和前方攝像頭都有它們各自的用途。通過將這些獨立的系統添加到車輛當中，可以為駕駛員提供更多信息，并且實現自動駕駛功能。不過，你還可以突破限制，實現更多功能——參見圖1。
ADAS以汽車內單個、獨立的功能存在。
僅僅通過多次使用相同種類的傳感器無法克服每種傳感器的缺點。反之，需要將來自不同種類傳感器的信息組合在一起。工作在可見光譜范圍內的攝像頭CMOS芯片在濃霧、下雨、刺眼陽光和光照不足的情況下會遇到麻煩。而雷達缺少目前成像傳感器所具有的高分辨率。可以在每種傳感器中找到諸如此類的優缺點。
總結
