18M 超轻量系统开源
圖像識別作為深度學習算法的主流實踐應用方向,早已在生活的各個領域發揮作用,如安全檢查和身份核驗時的人臉識別、無人貨架和智能零售柜中的商品識別,這些任務背后的關鍵技術都在于此。
圖1 PP-ShiTu應用于商品識別效果示意(開發者應用展示)
然而實現理想的識別效果并不是一件簡單的事:
-
針對海量數據問題而言,如何實現一個通用的方法在不同的數據集中都有很好的表征能力?
-
不同物體間的差別可能極其微小,即使是同種物體,也會受到外界干擾呈現不同形態,究竟如何進行有效區分?
-
識別需求更新頻繁,使用單一的分類或者檢測模型只能不斷增加訓練集重訓模型,怎樣才能降低開發成本,快速跟上迭代步伐?
PP-ShiTu核心技術解讀
針對以上技術難點,PaddleClas推出的通用圖像識別系統PP-ShiTu均可以完美解決,它不僅有高水平的特征學習能力,對新出現的類別也可以在不用重新訓練算法的情況下,直接通過配置檢索庫的方式實現識別。
? 項目鏈接 ?
https://github.com/PaddlePaddle/PaddleClas
PaddleClas所有源碼及教程均已開源,歡迎大家使用,并Star鼓勵~
這樣的特殊能力,得益于PP-ShiTu引入目標檢測、度量學習、圖像檢索等技術,并將每個模塊性能最大化,才構建成了統一、通用的圖像識別系統:
圖2 PP-ShiTu架構示意圖
-
主體檢測:不同于一般的目標檢測,主體檢測是將目標物體和背景區分開來,能夠有效減少干擾特征。PP-ShiTu中所采用的是目標檢測模型PP-PicoDet,不僅預測速度超快,精度上也達到了SOTA,為后續的準確識別打下堅實基礎;
圖3 PP-PicoDet在 COCO2017-val上的 mAP 對比
-
特征提取:作為圖像識別系統的重點工作,PP-ShiTu是采用CPU級輕量化骨干網絡PP-LCNet,并結合度量學習arcmargin算法,對高相似物體的區分效果遠超單一模型,不僅準確率超越大模型ResNet50,預測速度還能快3倍!再加上經過18w類數據集打磨的預訓練權重,不用再費心選擇,一個模型就可以實現多場景覆蓋。
圖4 訓練數據及部分測試數據示例
-
向量檢索:不同于單一模型直接輸出類別信息,對于未知類別只有模型重訓一個選擇,耗時又耗力。PP-ShiTu引入向量檢索,通過計算目標物體和檢索庫中圖像的相似度來輸出類別信息,一次訓練長期使用,高效又便捷。
圖5 端側新類別建立索引流程(開發者應用展示)
升級版PP-ShiTu歡迎使用
時隔數月,PaddleClas 新版本v2.3.1為大家帶來了更加輕量化的圖像識別系統PP-ShiTu。核心功能點如下:
-
升級版PP-ShiTu大小僅18M,完美支持移動端需求
-
支持基于C++的服務化部署,部署效率大幅提升
-
支持移動端Paddle Lite部署教程,手機上也能輕松實現圖像識別
圖6 手機識別效果展示(開發者應用展示)
PP-ShiTu的使用也是十分簡單、方便,在完成環境配置后只需三步即可完成快速體驗:
第一步:下載 Inference 模型
第二步:構建索引
第三步:完成單張/批量圖像識別
詳細文檔,請參考:
https://github.com/PaddlePaddle/PaddleClas/blob/release/2.3/docs/zh_CN/quick_start/quick_start_recognition.md
更有完整流程演示,可參考AI Studio項目:https://aistudio.baidu.com/aistudio/projectdetail/3445604
共建開源生態
自PP-ShiTu發布以來,引起了眾多開發者的廣泛關注。華東理工大學的高材生顏鑫,也是飛槳領航團的團長,帶領團隊基于PP-ShiTu開發了一套智能購物平臺系統:通過圖像即可精準識別顧客購買的商品,并返回完整的購物清單及應付價格,為智能貨柜提供了非常好的視覺化解決方案。
鏈接指路:
https://github.com/thomas-yanxin/Smart_container
圖7 智能結算平臺架構示意圖
與此同時,我們也力求為開源社區的繁榮作出貢獻,希望PP-ShiTu的算法本身以及優化思路,可以在給業界開發者帶來更好網絡的同時,也帶來更多的算法優化啟發,為中國的開源發展貢獻一份力量。
如果您想詳細了解更多飛槳的相關內容,請參閱以下文檔。
官網地址:
https://www.paddlepaddle.org.cn
PaddleClas項目地址:
GitHub:?
https://github.com/PaddlePaddle/PaddleClas/tree/develop
Gitee:?
https://gitee.com/paddlepaddle/PaddleClas
總結
以上是生活随笔為你收集整理的18M 超轻量系统开源的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 《数智碳中和》白皮书发布以数智技术助力关
- 下一篇: 百度希壤元宇宙平台上线首个汽车数字展厅