ARKIT/ARCore对比分析(一)
ARKit簡介
ARkit是什么??蘋果為什么發布ARkit?(6月5日的蘋果WWDC 2017全球開發者大會上,蘋果發布了AR開發平臺ARkit)
1.概述:ARkit應用平臺是蘋果的首個 AR 產品。iOS 11引入了ARKit應用平臺,這是一個新框架,可讓您輕松創建無與倫比的iPhone和iPad增強現實體驗。
通過將數字對象和信息與您周圍的環境融合,ARKit將應用程序超越屏幕,釋放它們以全新的方式與現實世界進行交互。ARkit 把 iPhone 相機、動作傳感器以及圖形處理器等硬件特性與深度感應、人造光渲染等精密算法結合在了一起。可以讓開發者們將更多 AR 應用代入到 iOS 設備。
2.優勢
第一,快速穩定的運動定位,這個是最基本的AR功能,從演示中可以發現整個定位非常穩定且準確,說明精度很不錯(原因是基于SLAM的框架的應用與IMU的有效融合與后期優化),桌面的特征并不算豐富,說明魯棒性很好,最后渲染的Demo模型很復雜,但是感覺很流暢,說明實時性和算法能耗都深度優化過。從發布會的整個演示來看,ARkit的水準應該是業內頂級的。
第二,平面和邊界的估計,平面估計在單目SLAM上并不稀奇,只是從演示中很難判斷是基于三維點云擬合還是IMU數據,初始化的方式看起來更像是基于IMU的。邊界估計這個之前不常見,演示中唯一可以看出來的是那個虛擬小人掉到桌子外,說明ARkit可能不是像snapchat那樣簡單的VIO類算法,(從放出來的文檔看就是VIO...)點云構建的部分是有一定輸出的。
第三,光照估計,這個不好說,單目做光照估計的需求很可能和算法本身的架構有關,以什么形式輸出不看到接口很難判斷,大部分的AR應用是不需要這類數據的,除非是要基于實際光照做高還原的真實渲染。
第四,尺度估計,這個就非常厲害了,做單目SLAM的同學都有了解,單目是無法解決尺度問題的,雖然視頻里沒有展示,但是如果真的解決了尺度問題,說明蘋果在IMU和視覺融合方面做了非常先進的工作,而且工程化的非常好,很期待這個功能的實際體驗。
第五,對各個開發平臺或引擎的支持,這點說明蘋果做AR絕對是“蓄謀已久”的,并且野心很大,不給其他對手留余地,一上來就要建立一個完整且廣泛的AR內容開發生態。
總體來說,ARkit基本實現了單目+IMU的SLAM算法可以提供的大部分功能,并且質量很高,我相信蘋果是嚴格檢查過機型覆蓋率,實時性和能耗的,那么毫無疑問,憑借廣泛的硬件覆蓋率,iOS會成為最有活力的AR內容發布平臺,PMGO的體驗肯定有質的飛躍,一大波真AR游戲應用將會到來。[1]
3.不足
第一個不足是三維重建的能力,無論從文字解釋還是Demo演示來看,目前的ARkit僅僅支持平面的“重建”。
這里姑且先算做重建,因為是否支持垂直面,任意角度的平面,甚至多個平面目前都還不確定(從目前發出來的文檔看只支持水平面,說明平面的擬合可能是依賴于IMU的,僅用部分點云判斷深度信息)。就算ARkit包含完整的平面重建能力,對于AR應用來說依然還是不足夠的。
增強現實最基礎的要求是對現實世界的理解,比如幾何體的重建,這方面缺失帶來的問題就是無法和真實世界的物體發生合理的物理碰撞,比如演示中看到一個虛擬小人掉下桌子,我們是看不到這個小人掉落到地面的效果的。另外就是虛實遮擋,假設桌面上有一個水杯,那么如果無法重建水杯的Mesh,我們就看不到水杯遮擋住虛擬模型的效果,而會看到虛擬模型“疊加”在水杯之上,這個會比較影響整個AR的體驗。當然我相信以蘋果的實力,想做重建并不是沒有辦法可想。
這里我有兩個猜測,一個可能是三維重建的流程,交互和接口蘋果還在優化中,目前AR基本的功能接口已經足夠發布了,蘋果想慢慢來。另一個可能是蘋果想依托于硬件來解決三維重建的問題,眾所周知單目做實時三維重建是非常有難度的,而基于雙目或深度攝像頭則可以相對簡單的解決這個問題,順便蘋果還可以展現9月份即將發布的iPhone8的“特殊”,兩全其美。
第二個不足,就是識別的能力,目前AR最火爆的應用場景其實不是游戲而是線下營銷,而線下AR營銷非常依托于識別算法和定位算法的對接。
蘋果可以在移動端單目設備上做出這樣成熟的SLAM算法,單純的識別和定位應該都不是問題,難點可能在于定位算法如何跟識別算法對接,如果依賴于端上的識別算法,那么按照現有的蘋果更新審核機制,AR內容的更新會非常麻煩,蘋果可能需要提供專門的編輯器;但是如果基于云端識別,則蘋果的用戶群體過于龐大,到時候云識別的QPS會很驚人,是否蘋果還沒有準備好接受這樣的考驗?
此外,服務于AR的單目SLAM可以說是目前業界沒有很好解決的一個課題,所以蘋果在這方面做出了很大的推進。而如果我們限定于二維圖像的識別和跟蹤,則有非常多成熟的SDK可以使用,就連Hololens也可以兼容使用Vuforia,也許蘋果并不準備自己承擔這和識別算法對接的需求。
總結
以上是生活随笔為你收集整理的ARKIT/ARCore对比分析(一)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: “只自取勤苦”下一句是什么
- 下一篇: 假如男司机上去只是打了这个女的几巴掌,然