遥感影像目标检测
摘 要
高分辨率遙感影像具有包含信息大廈,自然場景復雜等特點,一副遙感影像中往往包含大量的建筑物、場地、植被、農田等多類別地物和地貌要素信息,如何利用高干影響來實施精準快速的地物要素自動化檢測提取,一直以來是熱點的研究內容,隨著深度學習技術的快速發展,許多基于卷積神經網絡的目標檢測模型被應用到了遙感影像目標檢測任務中,取得了不錯的成果。到目前為止,現有遙感影像目標檢測模型大多有著深層次的結構以及復雜的連接通道,這類模型通常在占用較大內存的同時,運行過程中會也會產生大量的計算冗余量和額外參數,限制了模型在許多計算資源有限的場景下部署和使用。
關鍵詞 遙感影像;目標檢測;卷積神經網絡;特征學習
引言
遙感影像中飛機、船只以及近海海灘和島嶼的檢 測不僅在海洋軍事信息研究領域是一個重要的應用方 向, 在民用工業領域也同樣發揮著重要的作用. 對于這 類目標, 主要的任務需求是在海面、湖面或地面背景 下對圖像中的船只、海灘、島嶼以及機場中的飛機進 行位置標注和掩膜分割. 而飛機和船只圖像在尺度、 分辨率上與自然圖像存在差異, 海灘和島嶼也會因為 崎嶇的輪廓使得識別效果不明顯. 針對高分辨率遙感圖像中目標太小、識別掩碼不 清晰、輸入影像模糊等問題, 本文提出了一種基于注 意力機制和生成對抗網絡的模型 Attention-GAN-Mask R-CNN 簡稱 AG-Mask R-CNN, 將注意力、生成對抗 網絡[1] 和 Mask R-CNN[2] 結合起來. 本文的主要研究工 作為: (1) 針對數據中目標尺度不同, 開展多尺度特征 融合研究. 針對多尺度的輸入, 在主干網絡中添加特征 金字塔網絡 (FPN)[3] . (2) 針對遙感圖像中對象占比較 小, 容易被漏檢的問題, 開展注意力機制算法研究. 引 入注意力機制, 嵌入在卷積層網絡中, 產生注意力感知 的特征, 使得網絡關注更重要的區域, 以提升網絡檢測的精度. (3) 在 Mask (掩碼) 分支中引入生成對抗網絡. 由于 Mask 分支生成器與生成對抗網絡中的生成器定 義相同, 因此利用單獨的生成對抗網絡對 Mask 分支的 Mask 生成網絡進行預訓練, 從而提升原始 Mask 分支 中生成器的精度. (4) 模型的訓練與評估. 針對模型的 訓練結果進行驗證分析, 并與初始 Mask R-CNN 網絡 等其他主流網絡進行對比來說明模型的可行性和高效性.
1 數據預處理
遙感影像采集與人工標記是建立牡丹花品種識別模型的基礎。本節主要介紹遙感影像圖像數據集的構建過程。
1.1 數據采集
UCAS-AOD Dataset 是一個遙感影像數據集,其包含汽車和飛機兩類目標以及背景負樣本。該數據集由國科大于 2014 年首次發布,并于 2015 年補充,相關論文有《Orientation Robust Object Detection in Aerial Images Using Deep Convolutional Neural Network》。
不同圖層要素的性能如表1所示。
表1 不同圖層要素的性能
(a) 汽車影像
(b) 飛機影像
圖1. 汽車和飛機遙感影像的示例圖像
1.2 圖像分割
圖像預處理——圖像分割
所采用的深度卷積神經網絡(AlexNet)的結構。我們使用 POOL5、FC6 和 FC7 圖層特征,其尺寸分別為 9216、4096 和 4096。
為了提高深度卷積神經網絡模型的泛化能力,對每幅遙感影像圖像通過旋轉、平移、扭曲、縮放、翻轉等傳統數字圖像處理方法進行隨機變換以擴充樣本個數。針對車輛和飛機的圖像進行數據增強后的部分樣本如圖2所示,通過圖像分割對遙感圖像進項圖像預處理,對平面方向的分布程度進行統計,泛化后續需要的圖像集。
圖 2 車輛和飛機平面方向的分布程度
2 網絡模型
2.1 網絡結構
AG-Mask R-CNN 模型的網絡結構如圖 1 所示. (1) 對遙感數據進行預處理作為輸入. (2) 骨干網絡采用 ResNet101[4] , 并且在 ResNet 卷 積層之間嵌入注意力模塊以及特征金字塔網絡, 以此 來增強對小目標的語義提取和檢測精度. 注意力模塊如 圖 2 所示, 采用先加入通道域注意力再加入空間域注 意力的方式, 在卷積層的每一層網絡之間都嵌入一個 封裝好的注意力模塊. (3) 沿用 Mask R-CNN 的模型架構, 針對 Mask 分 支進行改進, 對 Mask 生成器進行生成對抗的生成器預 訓練. 初始操作是對輸入圖像中物體的信息進行表達 和融合, 這個過程中 CNN[5] 模塊充當特征提取網絡, 對輸入圖像進行特征提取, 生成特征圖. FPN 主要是減 少尺度變換誤差. 之后候選區域生成網絡 (RPN) 根據 預設框進行候選區域的推薦, 輸出經過篩選的正樣本 回歸框和特征圖.
3 實驗
遙感圖像飛機目標檢測與識別是一個非常值得研究的課題,同時也是一項復雜的工作,其關鍵技術是影響識別算法優劣的基石。本章首先闡述識別算法中的預處理;然后詳細介紹飛機識別的特征和識別方法;最后分析影響算法優劣的影響因素和評價識別算法性能的常用指標。
3.1 實驗設置
在完成飛機識別時,并不意味著研究工作已經結束,還需要對算法的整個效果與性能進行分析。分析有定性和定量分析兩種方式,定性分析只能粗略的揭示算法的性能,定量分析能準確的給出算法效果的具體數值,因此對算法定量分析極為重要,同時也是和前人的方法對比的重要標準和依據。考慮現有算法自身的局限性和遙感圖像的干擾因素眾多等主觀因素和客觀原因,本文利用遙感圖像飛機識別中常用的比例評價標準來進行算法的定量分析,這些指標包括:1)檢測率;2)識別率;3)虛警率。另外根據現在的實際需求,時間也是一個考慮的因素,這里的時間即為完成飛機識別消耗的時間。在保證識別率的同時,當然是消耗的時間越少越好,這樣離實時性的要求才能越來越近。
3.2 實驗結果
3.2.1 最佳實驗結果
飛機識別算法的性能包括飛機的檢測率、識別率、虛警率、綜合評價指標z和消耗時間。檢測率和識別率采用文獻[21]的方法計算,虛警率采用文獻[20]的方法計算。Z是根據檢測率和識別率定義的一個綜合評價指標,,它綜合評價了飛機識別算法的性能。消耗時間是指從遙感圖像中識別出所有飛機目標所花費的時間。目標識別評價指標來衡量飛機識別算法的性能,評價指標如上所述。實驗圖像來自Google Earth 7.0.2,分辨率為0.61m。樣本圖像是從谷歌地圖獲取的不同地區的民用和軍用機場的遙感圖像中的適量飛機目標圖像和背景圖像,首先建立了8種飛機類型共300幅飛機圖像庫和40幅背景圖片,并用Photoshop 處理8種圖像的灰度變換以人工來模擬光照變化的影響,最終得到160幅圖片。
表3. 算法比較
圖4 不同樣本對識別結果的影響
圖5 文本識別飛機型
圖6 飛機識別過程
3.2.2 優化算法對神經網絡的影響
本算法可以識別8種飛機目標,以下是不同機場、不同背景的飛機檢測結果,新算法可以識別出不同機場的不同的飛機機型,同時能克服不同背景和和光照變化的影響。
圖7 軍用機場圖片 圖8 軍用機場圖片
圖9 光線較好圖片 圖10 光線較暗圖片
圖11 復雜背景圖像 圖12 簡單背景圖像
圖13不同機型圖像 圖14 不同顏色圖像
在粗定位階段,首先利用改進的顯著圖算法快速提取遙感圖像中存在的顯著目標,然后用基于區域增長和線標記的新方法來確定顯著目標的大小和位置,并將這些顯著目標作為候選目標,為后續識別做好準備。在精識別階段,首先提取候選目標和樣本圖像的MSA、Pseudo-Zernike矩和 Harris-Laplace特征描述子,提取的這三種特征可以全面描述飛機目標的多種信息,在一定程度上克服了單一特征描述目標信息不足的缺點;然后進行特征評估和融合;最后使用SVM進行訓練識別,判斷該候選目標是否為飛機目標以及飛機目標的種類。
2 結論
遙感圖像飛機目標檢測與識別無論是對軍用還是對民用領域都有著非常重要的意義,因此已成為計算機視覺領域研究的熱點和重點。本文以航天科技創新基金項目和省教育廳科研項目“基于尺度空間特征的多機動目標識別與跟蹤關鍵技術研究”為研究目標,查閱國內外相關文獻后,針對現有算法耗時長,不能滿足快速以及實時性的要求等技術難題﹐提出了基于顯著圖和多特征結合的飛機識別算法來提高識別精度、同時減少耗時等技術難題,另外也克服了光照變化的影響
參 考 文 獻
[1] .https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFDAUTO&filename=XTYY202206020&uniplatform=NZKPT&v=Jzk-Nu39AISiDTc9Nf7pyFivQafsAq17eQ5OHaGlluc3M37PPKz5oeQl0ewP_G-B
[2]https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname= CJFDLAST2022&filename=BJCH202202014&uniplatform=NZKPT&v=Jzkab8RbFN0tzLyzdoO3JNbQwjpbCmX8EOzVjm08oTCQFI9P895A-HoBB6o0-L8e
歡迎大家加我微信交流討論(請備注csdn上添加)
總結
- 上一篇: my_动态规划
- 下一篇: 微信小程序 使用TGit 实现版本控制