(转载)大数据实战:站在JMP分析平台上的FIT足迹识别技术
http://www.csdn.net/article/2014-03-16/2818786-interview-jmp-fit
摘要:
1、作為公益性動物保護組織,WildTrack是如何在JMP統計分析軟件上開發出自己的技術——FIT(Footprints Identification Technology,足跡識別技術)。?
2、FIT,足跡識別技術,實際上是基于JMP軟件的數據分析方法創造出來的“APP或工具包”(我們更傾向認為這是一種SaaS)。其原理是通過動物腳印的分析、追蹤、比較來進行數據分析,確定整個生物種群的生存、生活規律和發展的狀況,為動物保護有關方面的決策打下基礎。FIT已經在非洲大象、黑犀牛、白犀牛、獅子、獵豹、犰狳、北極熊等動物追蹤和分析中都有所應用。更有意思的是,Jewell和Alibhai已經與國家林業局貓科動物研究中心一起,在東北虎基地里面做了很多野外工作,并與四川臥龍和雅安一起,共同為大熊貓的保護和野生大熊貓種群的調查、探尋做著基礎的培訓工作。
3、一步步構建起他們的足跡識別技術。當然,問題很多:
- 如何辨識腳印?用數碼攝像機或者普通照相機來拍攝。
- 如何辨識其中的區別模式?來確保能夠準確地將兩組看起來很相似的腳印中辨別出這是兩只不同的犀牛。這需要找到一套簡單的統計方法來建立模型。事實上,正常人眼中一樣的腳印,在統計學中是有顯著差異的。其目標是,通過模型將腳印還原回犀牛的世界,區分究竟是一只犀牛還是兩只完全不同的犀牛。
- 如何辨識出如動物性別這樣更深層次的需求?也就是說,除了辨識它是屬于不同的犀牛之外,還要能夠辨認出它到底是屬于雌性犀牛還是雄性犀牛。
4、通過JMP中復雜的數學原理和方法開發FIT工具包,實現在辨別動物身份的同時,辨別性別、年齡等目標都已經實現。而通過對區域內動物腳印分析,可以確認動物數量和活動范圍,進而為制定動物保護策劃提供依據。這些FIT已經做到,是“非常了不起的突破”。
5、FIT在JMP軟件里附加的一個工具包,菜單中有不同生物種群的組合。每個物種都有很獨特腳印的模式和特征,有些物種有高度的相似性,比如貓科動物里的老虎、獅子、豹、山貓等等,它們的腳印模式都是四個腳趾頭在前,后面一個大的腳掌的印子,不僅長相一樣,模式也有高度的相似性。對于那些生物來說,只要調整里面一些關鍵的參數就可以。對于其他的一些物種來說,就要開發出一些完全不同的新的工具包或模塊來做,比如大熊貓,大熊貓和貓科動物不一樣的地方在于,大熊貓的前面有五個腳趾,在側面還有一個專門用于抓握東西的另外的小趾頭,在底下還有一塊類似于小腳掌的東西,所以它的模式、結構長相和其他動物是不一樣的。而以大象來舉例,所有大象的腳印都是一樣,都是一個巨大的橢圓形,沒有太多的細節可以參考,所以它辨識的難度自然要增加一些。所以專門為大象這樣的物種,開發出完全全新的模塊,去適應它的腳掌。
6、FIT都是用JMP的腳本語言開發出來的。現在還在持續開發,增加更多功能和特征,讓它變成對于野外工作的人來說更加容易使用和辨識,而不需要懂太多統計學原理和技術。舉個例子,從操作層面看,只要將圖片的信息拉入菜單,就可以自動計算圖形特征,并自由設置圖像點,來對圖形圖像進行旋轉和重新處理,確保與標準化樣本一致。這樣就不需要對野外取證人員有太苛刻的要求才可以拍照,因為標尺度已經設置在系統中,只要簡單操作就可以完成。除此以外,還可以通過不同的參數設置,如雪的厚度會影響腳印,很深的雪和很淺的雪,出來的效果有可能是不一樣的。所以系統允許輸入不同參數,即取照時雪的厚度是怎樣,系統就會自動調整圖形的關鍵位置的參考點。
7、東北虎的腳印分析過程是怎么樣的?
Jewell:首先通過圈養或者捕獲的東北虎進行樣本的對照,通過反復校驗模型和嚴密的測試,最終保證了近乎100%準確度。而后,通過圖像分析和數據處理,將野生東北虎的腳印變成一組組的X坐標和Y坐標的數據。對一張腳印圖形而言,需要130個測量值。我們對比分析了600張腳印數據,得出44頭東北虎的結論。并通過進一步的設定,判斷這是哪種類型的東北虎(雄性或雌性),以及是年輕或年老的。而這些結論,都可以通過圖形分析展現出來。
8、“數據分析不僅在中國,即使在全球也還沒有進入一個主流應用的領域。很多大型企業內部報表還是Excel,商業智能軟件都還沒有。BI是數據展示,當發現其中有些項目或者業績出現變化時,就需要進行統計分析了。而目前現狀是,即使是行業領先企業,數據分析也沒有落實到這些層面,比如銀行,對于風險、市場營銷、運營、財務、績效管理、網點設置等關鍵領域導入數據進行分析的意識還不足。”
“值得高興的是,現在很多大的廠商都構建了獨立的數據分析團隊,嘗試性的做交叉銷售、提升銷售、交易關聯性分析。企業數據應用深度、市場競爭力、整體環境的變化都使得這兩年數據分析熱了起來。相信未來,在統計分析的平臺上,應用分析將會百花齊放。”
總結
以上是生活随笔為你收集整理的(转载)大数据实战:站在JMP分析平台上的FIT足迹识别技术的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: “池哥昼”的一件趣事
- 下一篇: (转载)Google Analytics