采用结构光,TOF传感器的立体成像系统,系统架构,设备采购调研
1.TOF結構光 ?[1]丁津津. TOF三維攝像機的誤差分析及補償方法研究[D].合肥工業大學,2011.
2.3D視頻系統框圖
| [2]楊剛. 基于深度融合和曲面演變的多視點三維重建及其應用[D].浙江大學,2012. |
? 傳輸技術包括視頻的編碼與傳輸。由于實現的系統中傳輸的視頻實質仍然為傳統的視頻,這里就不對視頻的編碼作專門介紹。結合系統實際,這里只介紹組合兩路平面視頻的方法。常見的有三種方案
雙拼高清模式
先將左右兩路高清視頻拼接成一路高清視頻兩路視頻各降低一半分辨率,可以是左右拼接、上下拼接和場拼接等,再按照正常的視頻進行編碼,其碼率相當于一路視頻。編碼器針對這種雙拼視頻進行優化,碼率可以比常規平面視頻碼率更低。
全高清同播模式
兩路視頻分別編碼,其碼率相當于一路視頻碼率的兩倍。這種方案也不需要改變視頻標準,但是編碼復雜度、傳輸帶寬和解碼復雜度都提高一倍,需要重新設計新的編碼設備和解碼設備。
全高清增強模式
一路視頻通常是左視進行獨立編碼,另一路參考已編碼的視頻編碼,由于左右兩視點視頻具備一定的相關性,其碼率只相當于一路視頻碼率的約一倍左右。但這種模式需要擴展現有編碼標準,實質為視頻編碼,需要重新設計編碼器和解碼芯片。帶來的好處是能夠向前兼容平面電視可以解碼獨立編碼,編碼效率較全高清同播模式節省左右。結合具體實際,應用中我們選用雙拼高清方案作為傳輸方案,可以直接利用現有的設備和系統,并可與視頻兼容。
? ? 整體上可以看成視頻采集與生成系統、視頻傳輸系統、視頻顯示系統三部分組成。其中采集與生成系統包括前述攝像機陣列系統和算法,雙視點視頻的生成與合成。首先根據重建的三維場景信息生成兩個視點的視頻數據,并按照節所述的雙拼高清模式將兩路視頻合成為一路視頻輸出。傳輸系統則是基于中國電信的全球眼平臺和視頻服務器,視頻傳輸基于網絡實現,傳輸協議為實時傳輸協議,為接入全球眼平臺的服務器,需要專門制訂的對視頻編碼。顯示系統由機客戶端、顯示器與眼鏡三部分組成。客戶端實現對全球眼平臺服務器的訪問,獲取視頻數據,對視頻解碼及拆分插值等處理,并按照的要求實現顯示。
3.內窺鏡結構 ? ? ? ?[1]張驍. 基于結構光的多視場三維圖像采集系統設計[D].江蘇大學,2016.
將激光結構光加入到內窺鏡內部,有效地實現了結構光發生器的小型化。內窺鏡主體由 5 個微型 CMOS 組成,考慮到體積的因素,所選的 CMOS 為 30W 像素的彩色傳感器,鏡頭設計物距為80mm,通過調整攝像頭的角度,使 5 個攝像頭的公共區域盡量大,為之后的匹配提供良好的條件。?
4.
| [4]張翼揚. 基于FPGA的無線網絡傳輸3D視頻的系統設計[D].深圳大學,2016. |
雙攝像頭無線傳輸左右格式3D視頻系統
NTSC(National Television Standards Committee)幀頻為?30Hz(60?場),每一幀圖像用?525?行來傳輸,偶場在前,奇場在后,采用?720×480?標準分辨率,24?位的色彩深度,畫面的寬高比為?4:3?或?16:9,其標準主要應用于日本和北美等國家。
PAL(Phase Alternate Line)幀頻為?25Hz(50?場),每一幀圖像用?625?行來傳輸,奇場在前,偶場在后,采用?720×576?標準分辨率,24?位的色彩深度,畫面的寬高比為4:3,其標準主要應用于中國、歐洲等國家和地區。
ITU-BT.656?的視頻標準規定了?NTSC?制式和?PAL?制式的傳輸標準,BT.656?數據寬度為?8?位或?10?位,傳輸時只需要?9?根線,具有傳輸帶寬小、抗干擾性強以及支持傳統彩色電視信號等優點。
基于?FPGA?的無線網絡傳輸?3D?視頻的系統設計所需要的硬件基礎如圖?5.1?所示。有?CCD?攝像頭、DE2?開發板(用于單攝像頭無線傳輸系統中。支持?PAL、NTSC制式的TV解碼器?ADV7181以及數模轉換器ADV7123,還有VGA輸出等外圍接口)、Alinx?開發板(Alinx開發板選用的是Altera公司的Cyclone IV系列的EP4CE30F23C6N芯片,其中DDR2的讀寫時鐘頻率為200M,DDR2內部時鐘頻率為400M,充分滿足了兩路視頻處理的要求。)、Wi Fi?模塊、智能手機和紅藍?3D?眼鏡以及左右視頻3D眼鏡。本次設計所采用的攝像頭是CCD圖像傳感攝像頭,該攝像頭是?PAL制式,其輸出的像素分辨率為?720×600,可視角度高達?150?度,具有?LED?夜視功能。
通過兩路攝像頭采集圖像,連接上電源運行Quartus II 12.0進行編寫,反復編譯、仿真和調試,然后將調試好的程序下載到FPGA中,雙攝像頭采集畫面后經過FPGA處理后合成紅左右格式3D圖像再經過Wi Fi傳輸到手機客戶端。觀看者把手機嵌入在左右格式3D眼鏡中戴在頭上,這樣不論人眼怎樣晃動,屏幕也跟隨移動,使觀眾在觀看時更加方便,3D效果更加明顯。其FPGA處理結果圖以及系統實物效果圖如圖5.9和圖5.10所示。
5.[5]方挺. 基于數字微鏡器件的3D信息獲取系統設計與實現[D].華東師范大學,2016.
其中對于投影光學模組和結構光產生模組設備,目前的結構光3D信息獲取系統一般采用商用的投影儀,一個明顯的缺陷就是作為圖像和視頻投影顯示設備,商用投影儀刷新率低,控制接口少,難以完成較高頻率的結構光圖案切換。本文采用以數字微鏡器件為核心,獨立設計的FPGA配合MCU的硬件電路為控制驅動設備的結構光產生模組,對比商用投影儀具有結構光圖案切換快,刷新率高,輸入輸出控制接口豐富等優勢。
圖像捕獲設備在高速或實時3D信息獲取領域采用具有硬件同步觸發輸入接口和實時圖像數據輸出功能的高速工業相機;系統控制和圖像處理模組需要強大的編程控制能力和圖像處理能力,因此PC作為工程領域常用的信號控制與數據處理設備成為該模組的首選。
采用BPA算法的開源軟件Meshlab也被廣泛運用在需要3D重構的各個領域。
總結
以上是生活随笔為你收集整理的采用结构光,TOF传感器的立体成像系统,系统架构,设备采购调研的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 计算出当天零分零点对应时间戳的方法分享
- 下一篇: 深圳大学算法实验总结2020(实验1~6