基于结构光扫描的生物芯片快速彩色质量监管
基于結構光掃描的生物芯片快速彩色質量監管
摘 要?
三維數字化技術是智能制造領域的重要研究內容,由于三維光學掃描快速性、非接觸性使其在三維測量、逆向工程以及文物保護等方面得以廣泛應用。因此如何快速且高精度的重建真實物體模型是研究的關鍵。本文研究基于線結構光掃描的真彩色三維檢測技術,充分利用視覺傳感器的非接觸測量優勢以及基于光強的顏色三通道標定原理,快速獲取物體表面坐標數據以及顏色信息,最終實現物體真彩色模型的重建以及三維形貌的測量。
由于疫情的襲擾,病毒檢測手段愈發受人們重視。目前主流的檢測方法是熒光聚合酶鏈反應技術,該法是基于熒光標記的核酸學檢測方法,需要使用熒光顯微鏡進行結果檢測。本文希望能夠利用結構光三維掃描完成對生物芯片的質量檢測。首先本文通過對常規的三維測量技術進行分析,建立了攝像機平面與線結構光平面之間的轉換關系。同時針對普通線結構光檢測無法獲取表面真實檢測信息的缺點,提出基于光強變化的顏色三通道標記原理,實現了物體表面顏色信息轉換。最后建立了以結構光顏色掃描為測量原理的檢測系統。
關鍵詞?三維成像;結構光掃描;顏色識別;生物芯片
A study on fast color quality control of biochip based on structured light scanning
Abstract ?
Three-dimensional digital technology is an important research content in the field of intelligent manufacturing.? Because of the fast and non-contact characteristic of three-dimensional optical scanning, it is widely used in 3D measurement, reverse engineering and heritage preservation.? Therefore, how to reconstruct the real object model quickly and accurately is the key to the research. In this paper, based on structure light scanning true color 3D detection technology,? making full use of the advantages of vision sensor non-contact measurement and color three-channel calibration principle based on light intensity, the coordinate data and color? information? of object surface are obtained quickly, and the reconstruction of object true color model and the measurement of 3D topography are finally realized.
Because of the epidemic situation, people pay more and more attention to virus detection. At present, the main detection method is fluorescence polymerase chain reaction, which is based on fluorescence labeling nucleic acid detection method, needs to use fluorescence microscope to detect the results. In this paper, we hope to use structured light 3D scanning to complete the quality detection of biochip. First of all, through the analysis of the conventional three-dimensional measurement technology, the conversion relationship between the camera plane and the line structured light plane is established. At the same time, in view of the shortcomings of the common line structured light detection which can not obtain the real surface detection information, a color three channel marking principle based on the change of light intensity is proposed to realize the color information conversion of the object surface. Finally, a detection system based on the county level color scanning is established.
Key words Three -dimensional imaging; structured light scanning; color recognition; biochip
1 引? 言
結構光法是一種將已知圖案投影到物體表面,通過視覺系統獲取圖像,并計算物體的深度信息和表面信息的測量方法。基本原理為利用攝像機從另外某一角度拍攝帶有結構光信息的被測物圖像,根據攝像機平面與結構光之間的幾何關系,求解出被測物表面三維坐標。按光源類型以及掃描方式的不同,可將結構光分為下面幾類:點結構光、線結構光、多線結構光及編碼結構光等。隨著科學技術的發展,結構光應用十分廣泛:在工業生產領域例如微電子原件表面特征測量[1-2],自由表面形變測量[3-4],表面粗糙度分析[5-6]等;在生物醫學領域例如3D口內牙科測量[7],非侵入式的3D成像[8],用于形狀引導放射治療的人體形狀測量[9-10]等;生物識別應用例如人臉成像[11-12];以及其他各種領域例如遺跡恢復[13-14]等等。生物芯片具有高度并行性,多樣性,微型化和自動化的優點,近年來,以基因芯片為代表的生物芯片技術得到了迅猛發展。鑒于生物芯片的陣列式微結構,其適合使用線結構光進行三維掃描,可兼顧快捷性和可靠性,本文使用結構光照明進行生物芯片快速三維彩色質量監控。
2 研究現狀
生物芯片近年來得到巨大的發展,由于其在藥物篩選,基因的檢測鑒定,基因分型腫瘤的早期診斷與監測,食品安全,生物檢測等方面的巨大應用前景及市場需求,芯片相關產業發展已經成為研究重點。目前生物芯片在生物檢測方面具有巨大的應用市場,其制造工藝多依賴于微系統技術。在生物芯片進一步走入大眾生活之際,作為一種疾病檢測手段,生物芯片的質量管控已是重中之重。
文中所涉及的生物芯片為蛋白質芯片,目前市場上最主要的蛋白質芯片產品是用機械點樣方法制備的。點樣是在生物芯片上如玻片、硅片及纖維膜等固定載體上用點樣針點上微量樣品。生物芯片批量生產后, 需要對生物芯片點樣質量進行檢測, 以確定其符合生產要求標準,質量合格的產品才能準確地檢測出生物信息。生物芯片點樣質量檢測包括點樣點的半徑檢測和點樣點是否合格2部分,目前國內針對生物芯片點樣質量的檢測通常是對生物芯片點樣質量進行人工識別,雖然適用性強,但人為因素很容易造成漏檢和誤檢,效率相對較低,勞動強度大,甚至某些指標的檢測不能依靠人工目檢來完成。通過結構光掃描與計算機的處理和識別結合得到的檢測與分類結果比人工操作更精確、客觀、高效,因此進行基于結構光掃描的生物芯片點樣質量檢測方法的研究,對實現產品質量檢測自動化,推動工業加工和包裝流程自動化,提高企業生產效率和產品合格率具有現實意義。
3 線結構光掃描獲取顏色信息
3.1? 線結構光掃描數學模型
假設線結構光平面位于世界坐標系的Ow-ywzw平面上,借助一維線性位移平臺,實現物體與結構光之間的相對運動。可以得到簡化掃描系統模型如圖1所示。
圖1 線結構光掃描模型
Fig. 1 Line structured light scanning model
結構光所在平面垂直于底座,建立測量坐標系Ow-xwywzw。其中,Ow-xwyw平面與線位移平平行,Ow-xwzw平面與結構光平面重合,Owyw軸則與結構光平面垂直,指向位移平臺的正向移動方向。由于被測點P(xw,yw,zw)位于光平面上,所以yw=0,可以得到p'(u,v)與P(xw,0,zw )的關系如下。
在掃描過程中,通過提取圖像中條紋的二維坐標即可由上式求解出對應的三維點坐標(xw,zw),而yw坐標則由位移平臺每次移動的步長決定。
3.2 顏色信息獲取
現有結構光掃描檢測提供的是物體表面的三維點云數據,僅能夠表達物體表面形貌信息,但是缺乏真實顏色信息,難以對特征信息為顏色的生物芯片進行辨別。為在掃描過程中同時獲取表面坐標信息和對應點顏色信息,需要對相機進行顏色標定,實時地將低照度下顏色信息轉換為環境光照下物體表面反射的顏色信息。
由同一CCD相機在不同照度下拍攝兩張圖片,兩次拍攝時相機的參數設置相同:相機的RGB三通道參數響應比例調節為1:1:1,模擬增益倍數設置為3。由于環境光照的不均勻性以及物體表面光照度數值無法準確獲取,因此將被測物放置于相同照度環境中,調節CCD相機的模擬增益倍數,對CCD輸出信號進行不同程度的放大,代替不同光照度下拍攝的圖像亮度變化。在不同增益倍數下,從圖像中獲取的物體表面顏色信息對應于RGB空間中不同的RGB值。若在低增益倍數下相機獲取某一點P1顏色信息RGB值為(R1,G1,B1),高增益倍數下該點的對應點P2顏色信息 RGB值為(R2,G2,B2),由于不同增益倍數CCD輸出信號的放大作用,兩組對應的RGB值存在線性關系:
因此需要對兩種增益倍數對應RGB數值之間的關系進行標定。色彩標定步驟如下:
1、在不同模擬增益倍數情況下,使用同一相機分別采集24色彩標定板的圖像,得到圖像A與圖像B。
2、分別在色彩標定板圖像A與B每個色塊上均勻選取10個點組成點集PA和PB,在點集中尋找對應點,計算每個色塊中對應點之間各個顏色分量之間的關系,通過擬合得到兩個增益倍數下圖像各點之間的轉換關系。通過計算k1,k2,k3的平均值,偏差平均值和方差,可以選擇出一個最具代表性的參數k,來進行顏色標定。
圖2 三通道分量系數折線圖
Fig. 2 Three channel component coefficient line chart
掃描過程中,被測物處于光照度恒定的環境中,僅通過攝像機增益倍數對獲取的圖像進行亮度增強,若將攝像機在某一增益倍數下獲取的圖片包含的顏色信息作為環境光照下的真實顏色信息,通過標定確定將該情況下拍攝的顏色信息與掃描過程中顏色信息的轉換關系。相機讀取被測物表面顏色后,即可通過色彩轉換關系轉換為真實顏色信息。
4 掃描系統
4.1 系統總體設計
系統總體結構如圖3所示,系統由硬件系統和軟件系統組成。硬件系統主要由線結構光系統、步進電機位移平臺以及計算機和顯示器組成。軟件系統由攝像機標定模塊、視頻采集模塊、步進電機控制模塊、彩色圖像處理模塊以及點云數據處理模塊組成。
圖3 系統結構圖
Fig. 3 System structure diagram
利用精密電控平移臺3帶動被測蛋白質芯片沿z軸方向移動,在掃描過程中,線結構光發射器1固定,被測物體在移動臺的帶動下,在傳感器前方移動使激光平面掃過被測表面,攝像機4獲取激光光條信息,完成對被測物表面的測量。通過圖像采集裝置將信息傳輸到控制中心。這種掃描方式量程大,精度高,適用性強,被測物體姿態控制靈活,根據被測物體表面輪廓,可以采用物體旋轉運動,或將平移和旋轉運動相結合的掃描方式,克服測量死角問題。
在使用前,需要對攝像機內外部參數進行標定。在內外部參數確定的基礎上,對結構光平面加以標定得到光平面的坐標系表達方式。選取測量標準塊檢驗系統精度,線結構光投射在標準塊表面測量相關參數。在完成標定后,將滴加樣本后的生物芯片放置在電控平移臺上,控制系統開始掃描,結構光檢測裝置獲取光條圖像,提取光條中心及對應點顏色信息,通過計算機模型可將二維圖像轉化為三維點彩色圖像,并進一步對生物芯片圖像進行分析,得到待測生物芯片的質量結果。
4.2 基于交比不變的結構光平面標定
根據透視投影原理,長度與長度之間的比率是可以變化的,但兩個關于長度的比率之間的比值具有不變性。直線上三個點A,B為基礎點,C為分點,由分點與基礎點所確定的兩個有向線段之間的比稱為簡比,記作:
一條直線上的四個點中兩個簡單比的比值稱為交比。直線L上四個點A,B,C,D的交比為:
點A,B為基礎點對,點C,D為分隔點對。可以證明存在如下關系:
即為透視投影的交比不變性質。
圖4 較比不變原理
Fig. 4 Comparison invariance principle
結構光平面標定時,靶標平面上特征點A,B,C(棋盤格角點)對應的圖像點為a,b,c。結構光平面與靶標平面相交形成一條直線F1即結構光條紋,且直線F1與直線E1相交,即特征點D,其對應的圖像點為d。如圖5所示。
圖5 相機標定中的交比不變原理
Fig. 5 The principle of constant cross ratio in camera calibration
設A(Xa,Ya,Za),B(Xb,Yb,Zb),C(Xc,Yc,Zc),D(Xd,Yd,Zd)為特征點世界坐標,則有特征點圖像坐標 a(xa,yb),b(xb,yb),c(xc,yc),d(xd,yd)。特征點圖像坐標a,b,c可以通過棋盤格角點檢測獲得,d 點的圖像坐標可以通過擬合直線E1和F1直線并求其交點獲得。由于棋盤格上每個小方格的刻度已知,所以可以自定義A,B,C三點的世界坐標,具體交比不變求解公式如下:
通過以上計算可以求得標定點D的世界坐標,直線F1與靶標平面上平行直線E2,E3等相交,可以獲取多組標定點。由于在同一靶標平面上獲取的多組標定點在同一平面內,且至少三個不共線的標定點才能確定光平面,所以通過沿著光平面的方向(前后)移動靶標的位置,攝像機和激光器的位置不變。如圖5所示,靶標平面從π1移動到π2,可以獲得不共線的特征點。
4.3 誤差分析
由于測量過程中存在的誤差有多種,如機械誤差、標定誤差、圖像處理誤差以及拼接誤差等,以及顏色重建、色彩標定誤差、環境光照誤差等。就上述誤差對系統測量結果的影響作簡要分析。
(1)機械誤差:在掃描位移系統持續前進的過程中,因機械制造存在誤差,隨著移動次數逐漸增加,誤差會累積被放大。另外,線結構光平面不能保證與位移平臺處于絕對垂直的位置,在掃描過程中由于平臺振動也會使線結構光發生偏移,影響測量精度。
(2)圖像處理誤差:采用的梯度重心法能夠快速提取亞像素條紋中心,處理帶有噪聲、畸變或光強分布誤差的圖像,會受干擾點影響偏離線結構光條紋中心,產生較大的誤差。
(3)色彩標定誤差:在掃描過程中物體處于光強較暗的環境下,直接讀取物體表面顏色會產生嚴重失真,不能反映出物體表面真實顏色信息,而在色彩標定過程中,色塊的顏色選取會受周圍光強影響,使得被測物表面光強分布不均,導致同一色塊中顏色信息相差較大,提取的顏色與真實顏色有一定的偏差。
4.4 可實現分析
對于蛋白質芯片的抗體點樣,需將相關蛋白點樣液分別制成合適濃度的抗體固定液;用蛋白芯片點樣儀的點樣針在蛋白質芯片上進行點樣。點樣結束后置于芯片固定盒中,恒溫固定一段時間。固定結束后,PBST溶液清洗、氮氣吹干封閉一段時間,最后用PBST溶液清洗、氮氣吹干,即可獲得探針包被的蛋白質芯片。
圖6 點樣效果圖
Fig. 6 Point sample rendering
在芯片制作過程中,雖對基片表面進行了封閉處理,但基片非樣點處仍常與檢測靶標產生非特異性結合,造成較高的背景值,降低檢測靈敏度;基片樣點處在產生光學信號時,常會出現“咖啡環”現象,使得無法對信號強度進行精確測量,限制了蛋白芯片定量檢測的發展,所以對生產的蛋白質芯片需要進行質量檢測。選擇如下設備進行檢測。
4 結 ?論
本文基于結構光掃描對生物芯片進行掃描,建立了線結構光掃描模型,并對掃描結果進行顏色信息提取,搭建了識別系統。利用精密平移臺使生物芯片進行一維運動,對生物芯片產品進行掃描,得到其相應的三維形貌信息及顏色信息,在此基礎上進行數據的集合與處理,并最終獲得生物芯片的質量情況,進行質量管控。
總結
以上是生活随笔為你收集整理的基于结构光扫描的生物芯片快速彩色质量监管的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: ReplicaSet
- 下一篇: 三极管简介及其使用注意事项