（五）carla中世界坐標系與相機坐標系、像素坐標系變換

由于實驗需要將 $carla$ 中世界坐標系下的坐標點畫到相機采集的前視圖上，故需要進行坐標系之間的轉(zhuǎn)換。

轉(zhuǎn)換中遇到的問題

參考這篇博客中給出的方法: link

發(fā)現(xiàn)將世界坐標系轉(zhuǎn)到像素坐標系下顯示的不對。因此仔細從頭到尾仔細分析一下，原來是 $carla$ 中 $get\_transform().get\_matrix()$ 函數(shù)的問題。具體解釋如下。

轉(zhuǎn)換過程

1.世界坐標系到相機坐標系

首先，車輛在 $carla$ 中運行時可以獲取實時的世界坐標，例如下圖所示 $location$ 中的 $x,y$ 坐標。
獲取方式為:

#創(chuàng)建了一輛車my_vehicle t = my_vehicle.get_transform() global_location_x = t.location.x global_location_y = t.location.y global_location_z = t.location.z global_rotation_yaw = t.rotation.yaw global_rotation_pitch = t.rotation.pitch global_rotation_roll = t.rotation.roll

獲取到世界坐標系后，首先需要轉(zhuǎn)到相機坐標系下。
這篇博客 link 中說相機的外參矩陣直接可以通過下方函數(shù)來獲得。

camera.get_transform().get_matrix()

但是，經(jīng)過測試發(fā)現(xiàn)不是。
$carla$ 官方文檔：

文檔中說 $transform$ 計算以當(dāng)前點為原點的坐標系 $A$ 與世界坐標系 $B$ 之間的變換。

$get\_matrix()$ 函數(shù)獲取從當(dāng)前點為原點的坐標系 $A$ 到世界坐標系 $B$ 之間的變換矩陣。
重點： 但是，$get\_matrix()$ 默認相機位置為原點的這個坐標系的 $x,y,z$ 軸與世界坐標系的 $x,y,z$ 軸是相同方向的，沒有考慮軸旋轉(zhuǎn)。
而實際上，相機坐標系是相機的正前方，光心方向總是 $z$ 軸方向。

世界坐標系是這樣的:

這兩個坐標系軸的關(guān)系存在一個旋轉(zhuǎn)矩陣。
$camera.get\_transform().get\_matrix()$ 獲得的是不考慮軸旋轉(zhuǎn)的局部到全局的變換矩陣。
將 $camera.get\_transform().get\_matrix()$ 獲得的矩陣取逆得到的是不考慮軸旋轉(zhuǎn)的全局到局部的變換矩陣。
而世界坐標系到相機局部坐標系考慮軸旋轉(zhuǎn)關(guān)系的對應(yīng)矩陣為:
$$?\begin{array}{ccc}0& 1& 0\\ 0& 0& 1\\ 1& 0& 0\end{array}?$$
因此將 $camera.get\_transform().get\_matrix()$ 獲得的矩陣取逆再乘以世界坐標系軸與相機坐標系軸之間的旋轉(zhuǎn)矩陣，就真正得到世界坐標系到相機坐標系的變換矩陣。
得到變換矩陣 $R$ 后，假設(shè)世界坐標系下點的坐標是 $P_w=(x_w,y_w,z_w{)}^T$，
$$P_c=R.P_w$$
注:如果使用上面世界坐標系到相機局部坐標系考慮軸旋轉(zhuǎn)關(guān)系的對應(yīng)矩陣發(fā)現(xiàn)效果不對時，可能是由于光軸是朝向相機正后方。

世界坐標系到相機局部坐標系考慮軸旋轉(zhuǎn)關(guān)系的對應(yīng)矩陣為:
$$?\begin{array}{ccc}0& ?1& 0\\ 0& 0& 1\\ ?1& 0& 0\end{array}?$$

2.相機坐標系到像素坐標系

參考這篇博客鏈接 link

參考這篇博客 link

在 $carla$ 中沒有找到內(nèi)參獲取函數(shù)，但是根據(jù)上述兩篇博客中的解釋，內(nèi)參可以估計得到。
在參考文檔中 $Sensorsrefernece/RGBcamera/Advancedcameraattributes$ 中，可以得到相機的焦距。

光心一般是相機采集圖片的中心。根據(jù)這些信息可以估計出相機內(nèi)參。
假設(shè)相機坐標系下點的坐標是 $P_c=(x_c,y_c,z_c{)}^T$，相機內(nèi)參是 $K$，
$$P_p=K.P_c$$

轉(zhuǎn)換效果

首先記錄車輛行駛過程中的軌跡點，然后將當(dāng)前位置后20幀車輛的世界坐標系下坐標轉(zhuǎn)化到當(dāng)前圖像坐標系下，轉(zhuǎn)換結(jié)果如下：

程序后續(xù)整理上傳到我的 $github$ 中。

總結(jié)

以上是生活随笔為你收集整理的（五）carla中世界坐标系与相机坐标系、像素坐标系变换的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。