OpenCV 校正過程中，calibrateCamera函數的ret和重投影誤差的分析

OpenCV對相機進行校正的過程中，校正返回值retval和重投影誤差的計算公式表示和分析。

• OpenCV 校正過程中，calibrateCamera函數的ret和重投影誤差的分析
• 一、前言
• 二、calibrateCamera( )函數分析
• 三、projectPoints()函數分析
• 四、具體實驗和算法對比
• 五、參考附錄

---

一、前言

本文主要是講解Python利用OpenCV進行相機校正過程中，幾個重點參數的分析。標定的過程就不再一一贅述了，很多博客和網站都在講解怎么進行標定。本文章主要分析，標定過程中的誤差計算公式，和對calibrateCamera( ) 和 projectPoints( ) 兩個函數得到的誤差不同的原因進行分析。

本文重點分析重投影誤差的計算方式。準確描述OpenCV自帶的函數，和各個文檔，教程里面所說的重投影誤差計算的流程進行分析和對比，描述官方的重投影誤差和教程實現重投影誤差的差別。 我認為OpenCV官方和其他大多數地方的教程，給的重新計算重投影誤差的結果，其計算的表達式，也是不準確的。

正確的方法是相機校正的方法輸出的重投影誤差ret。使用的是RMS均方根誤差。另外教程和博客，給的是MSE均方誤差

二、calibrateCamera( )函數分析

ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(x_world, y_voltage, (224, 224), None, None)

這里，ret表示的是重投影誤差；mtx是相機的內參矩陣；dist表述的相機畸變參數；rvecs表示標定棋盤格世界坐標系到相機坐標系的旋轉參數：rotation vectors，需要進行羅德里格斯轉換；tvecs表示translation vectors，主要是平移參數。
其他幾個參數，OpenCV的官網都進行了仔細分析，在這個網站上去仔細的看，每個參數對應的數學公式。https://docs.opencv.org/3.4/dc/dbb/tutorial_py_calibration.html

主要分析ret這個值，也就是retval，這個是重投影誤差。

import numpy as np
import cv2 as cv2
import glob
# termination criteria
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)
objp = np.zeros((6*7,3), np.float32)
objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2)
# Arrays to store object points and image points from all the images.
objpoints = [] # 3d point in real world space
imgpoints = [] # 2d points in image plane.
images = glob.glob('*.jpg')
for fname in images:img = cv2.imread(fname)gray = cv2.cvtColor(img, cv.COLOR_BGR2GRAY)# Find the chess board cornersret, corners = cv2.findChessboardCorners(gray, (7,6), None)# If found, add object points, image points (after refining them)if ret == True:objpoints.append(objp)corners2 = cv2.cornerSubPix(gray,corners, (11,11), (-1,-1), criteria)imgpoints.append(corners)# Draw and display the cornerscv2.drawChessboardCorners(img, (7,6), corners2, ret)cv2.imshow('img', img)cv2.waitKey(500)
cv2.destroyAllWindows()# Calibration, Now that we have our object points and image points, we are ready to go for 
# calibration. We can use the function, cv.calibrateCamera() which returns the camera matrix, 
# distortion coefficients, rotation and translation vectors etc.
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)
print("ret:", ret)
print("Camera matrix : \n")
print(mtx)
print("dist : \n")
print(dist)
print("rvecs : \n")
print(rvecs)
print("tvecs : \n")
print(tvecs)

其中，這個ret也就是retval，表示的是重投影誤差，是算法自動返回的，其表達式為：
$$Reppoints{x}^{\prime }=k[R|T]X.$$
其中，Reppoints x’是[Nx2]，表示的圖像像素平面的2維坐標點，X是[Nx3]表示的3D世界坐標系下的3維坐標點。也就是棋盤格所構造的3D坐標系的大小。
$$ret=repro\_error=\sqrt{\frac{||x^{\prime }?x|{|}_2^2}{total\_points}}=\frac{||x^{\prime }?x|{|}_2}{\sqrt{total\_points}}$$
這就是cv2.calibrateCamera()返回的值中，ret也就是重投影誤差的計算公式。求的是RMS均方根誤差，對所有的點，求二范數，然后求平均再開根號，得到RMS誤差。

其中，二范數用的是：cv2.norm(data1, data2, cv2.NORM_L2)計算得到:
$$norm(x,x^{\prime })=||x?x^{\prime }|{|}_2=\sqrt{||x?x^{\prime }|{|}_2^2}=\sqrt{(x_1?x_1^{\prime }{)}^2+...+(x_n?x_n^{\prime }{)}^2}$$

三、projectPoints()函數分析

imgpoints2, _ = cv.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)

1. 原始的計算方法，大多數教程和博客，以及OpenCV文檔，給出的重投影誤差計算方法。

對相機標定得到的參數，帶回原始的投影公式，重新計算從3D世界坐標系投影到2D圖像平面坐標系的新的圖像像素值，然后計算重投影誤差。其中，objpoints表示世界坐標系的坐標，也就是棋盤格的坐標系，rvecs，tvecs，mtx，dist就是相機標定得到的那些參數。

mean_error = 0
for i in range(len(objpoints)):imgpoints2, _ = cv.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)error = cv.norm(imgpoints[i], imgpoints2, cv.NORM_L2)/len(imgpoints2)mean_error += error
print( "total error: {}".format(mean_error/len(objpoints)) )

這里計算誤差的方式，我們將得到的值和上面相機校正返回的值ret，不一樣。因此，需要考慮，將這個官方給定的計算方式，進行重新計算。如果你不在意準確的值，就不用進行優化。

本文是準確的探索，重投影誤差的計算方式。按照上面的算法流程，我們可以得到以下的計算重投影誤差的公式：
$$repro\_error=\frac{||x^{\prime }?x|{|}_2}{total\_points}$$
很明顯，均方誤差的計算，按照上述的表達式，是不準確的。誤差開根號，然后除以點數多少，只能說是每個點的平均歐式誤差。MSE誤差。

2. 校正之后的重投影誤差計算方法或者代碼。

因此，需要求得準確的均方根誤差，我們應該是先求平方，求平均，在開根號。因此，需要將代碼改為：

mean_error = 0
for i in range(len(objpoints)):imgpoints2, _ = cv.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)error = cv.norm(imgpoints[i], imgpoints2, cv.NORM_L2)total_error += error*error
print( "rms error: {}".format(np.sqrt(total_error/(len(objpoints)*len(imgpoints2))))

上述的流程才是：
$$repro\_error=\sqrt{\frac{(||x?x^{\prime }|{|}_2^2}{total\_points}}$$

• 與我們的cv2.calibrateCamera()返回的值是一樣的。

四、具體實驗和算法對比

1. 相機校正返回的值
   

2. 函數的返回值
   其中的返回的誤差項，真實值：ret 為 ret: 0.008683449668964258
   

3. 使用大多數教程和博客的算法來計算的誤差值，是有差別的：
   

4. 參考代碼給出的輸出誤差結果
   total error: 0.0018512112930950482

5. 按照自己修正的代碼，來進行重投影誤差計算：
   
   輸出的重投影誤差為：total error: 0.008683459017710442。

因此，和我們相機校正輸出的=重投影誤差是一樣的。

五、參考附錄

下面是原始C++函數，計算重投影誤差的流程，我上面的公式就是按照這個算法來解釋的：

static double computeReprojectionErrors(const vector<vector<Point3f> >& objectPoints,const vector<vector<Point2f> >& imagePoints,const vector<Mat>& rvecs, const vector<Mat>& tvecs,const Mat& cameraMatrix, const Mat& distCoeffs,vector<float>& perViewErrors )
{vector<Point2f> imagePoints2;int i, totalPoints = 0;double totalErr = 0, err;perViewErrors.resize(objectPoints.size());for( i = 0; i < (int)objectPoints.size(); i++ ){projectPoints(Mat(objectPoints[i]), rvecs[i], tvecs[i],cameraMatrix, distCoeffs, imagePoints2);err = norm(Mat(imagePoints[i]), Mat(imagePoints2), NORM_L2);int n = (int)objectPoints[i].size();perViewErrors[i] = (float)std::sqrt(err*err/n);totalErr += err*err;totalPoints += n;}return std::sqrt(totalErr/totalPoints);
}

需要準確描述如何計算重投影誤差的同學，需要仔細修改你的代碼，因為RMS誤差來描述的，是需要求平方差，然后求平均，再求平方根。

正確的方法是相機校正的方法輸出的重投影誤差，而不是大多數，包括OpenCV官方，給出的，都是不一樣的，或者是不準確的重投影誤差的計算函數。

參考網站：

1. https://stackoverflow.com/questions/29628445/meaning-of-the-retval-return-value-in-cv2-calibratecamera
2. https://docs.opencv.org/master/dc/dbb/tutorial_py_calibration.html

如果有用，記得點贊👍加收藏哦。！！！！

總結

以上是生活随笔為你收集整理的OpenCV 相机校正过程中，calibrateCamera函数projectPoints函数的重投影误差的分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。