论大数据视角下的地球空间信息学的机遇与挑战
論大數據視角下的地球空間信息學的機遇與挑戰
李德仁1,2,?張過2,?蔣永華1,?沈欣2,?劉偉玲2
1?武漢大學遙感信息工程學院,湖北 武漢 430079
2?武漢大學測繪遙感信息工程國家重點實驗室,湖北 武漢 430079
?摘要:大數據時代已經到來,并且已經深入人類生活的方方面面。作為地球科學與信息科學交叉融合催生出的地球空間信息學,大數據時代的來臨在為其提供更豐富的數據保障的同時,也帶來數據存儲、管理、分析和挖掘方面的新挑戰,甚至造成了某種程度上的“數據爆炸”。從大數據視角,梳理了當前地球空間信息學涉及的地理信息系統、智慧城市、遙感大數據和空間數據挖掘4個核心領域的瓶頸和挑戰;指出在大數據時代,地球空間信息學可為地球科學研究提供更加精準、實時的空間信息框架和更加智能高效的信息處理手段,從而服務于智慧城市、智慧地球建設和人類社會的可持續發展。而且,大數據時代下,地球空間信息學的發展面臨著軟件和硬件水平的雙重考驗。
關鍵詞:大數據 ; 地理信息系統 ; 智慧城市 ; 遙感大數據 ; 空間數據挖掘
論文引用格式:
李德仁, 張過, 蔣永華, 等. 論大數據視角下的地球空間信息學的機遇與挑戰[J]. 大數據, 2022, 8(2): 3-14.
LI D R, ZHANG G, JIANG Y H, et al. Opportunities and challenges of geo-spatial information science from the perspective of big data[J]. Big Data Research, 2022, 8(2): 3-14.
1 大數據時代的特征和挑戰
1.1 大數據時代的特征
近年來,隨著信息科技和網絡技術的發展,人類在網絡上交換的數據、傳達的信息使得全球每日產生的數據超乎想象,全球的數據規模呈爆發式增長。2008年9月, Nature發表“big data”專刊文章,這標志著大數據概念的產生。2011年Science發表對大數據進行探討的專刊,這預示著大數據時代的到來。在2012年,美國正式開啟了“大數據研究和發展倡議”計劃。
2013年國家自然科學基金委員會專門開設了“大數據”項目群。大數據涵蓋人類社會生活的方方面面,隱含著巨大的社會、經濟、科研價值,學者們常以未來世界的“石油”來表達它的重要性,它也早已成為企業界、科技界以及政界關注的熱點領域。而在生活中,人類早已踏入了大數據時代。在互聯網方面,Google在1 min內能收到200萬次搜索查詢請求,Facebook在1 min內能收到68萬次搜索請求,百度每天需要處理的網頁總數達到了1萬億,騰訊QQ和微信注冊用戶數分別高達8億和5億;在視頻數據方面,我國攝像頭總數超過2 000萬,每個攝像頭每小時可產生3.6 GB數據,數據量達到PB級甚至EB級;在交通出行方面,民航飛機單個引擎在1 h內產生20 TB數據,北京市政交通一卡通每天的使用量約為4 000萬次,產生30 GB的存儲量;在用電量方面,國家電網年均產生數據約510 TB(不含視頻),累計產生數據約5 PB;在醫療方面,單個病人的計算機斷層掃描(computed tomography,CT)影像數據量達到了數十GB。各行各業的數據量都在不斷地飛速增長。據國際數據公司(International Data Corporation,IDC)發布的《數據時代2025》預測,2025年人類的數據量將達到163 ZB,與2016年相比,數據量增加了近10倍,并且涵蓋結構化數據和非結構化數據,其中95%的數據是不精確的、非結構化的數據。
國際上針對大數據的工程技術研究走在科學研究的前面。如上所述,大數據最大的特征是數據量巨大,而它的價值重在其本身的隱含價值。現在對大數據特征的描述已經從3V、4V到5V,甚至新的3V。大數據的特征可總結為以下幾點。
● 體量大(volume):各行各業每天生產的數據的量達到EB甚至ZB級。
● 速度快(velocity):對數據實時性要求高,要求數據響應速度快。
● 模態多樣(variety):數據種類眾多。
● 真偽難辨(veracity):數據來源較廣,數據類型多樣,數據存在缺失、歧義以及噪聲等問題。
● 價值巨大(value):大數據作為未來世界的“石油”,對于社會發展具有巨大的隱藏價值。
1.2 大數據時代帶來的挑戰
大數據體量大、速度快、模態多樣等特征給當前各行各業應對大數據的存儲、讀取、處理、應用以及隱含規律的挖掘帶來了嚴峻的挑戰。當前的問題是,面對如今體量大、速度快、模態多樣和真偽難辨的數據增長模式,如何有效地挖掘出大數據的巨大價值。地球科學方面的研究涉及政治、經濟和文化發展,大數據時代也給地學研究帶來了嚴峻的挑戰,尤其是地球科學空間數據存儲和潛在價值挖掘方面。下面從大數據時代的地理信息系統(geographic information system, GIS)、智慧城市、遙感大數據和空間數據挖掘等方面總結當今大數據時代下地球空間信息學的發展。
2 大數據時代的GIS
2.1 大數據GIS的機遇
GIS具有空間數據管理能力、空間分析能力以及地圖數據可視化能力。雖然大數據時代給GIS的發展及應用帶來了巨大的挑戰,但大數據沒有改變GIS的特征,而是對GIS進行了擴展,促使其進一步順應時代的發展,這也是GIS進一步發展的機遇。在大數據時代,GIS應具有以下基本特征。
(1)可擴展的動態數據管理模式
傳統GIS的靜態關系型數據存儲模式已無法滿足大數據時代GIS的需求,因此,在架構層面,大數據GIS需要滿足擴展性,以實現動態無限增長的存儲和查詢的目標。目前,人們比較熟知的MapReduce框架為當前動態數據管理模式的發展提供了很好的范例。
(2)實現結構化數據和非結構化數據存儲
關系型數據庫難以滿足大數據中非結構化數據的存儲需求。近些年發展起來的鍵-值數據庫(key-value store)是非關系型數據庫的代表,該數據庫可自由添加字段,滿足非結構化數據的存儲需求,但存在數據冗余的現象。雖然非關系型數據庫在數據存儲方面存在冗余問題,但非關系型數據庫依然是空間數據庫管理和存儲的重要方式。為了滿足數據存儲的需求,未來將會出現兼顧關系型數據庫和非關系型數據庫的統一數據管理模型,實現結構化數據和非結構化數據的存儲功能。
(3)滿足可視化分析
在“3S(包括遙感(remote sensing, RS)、GIS、全球定位系統(global positioning system,GPS))”中,GIS更注重數據的分析以及數據的可視化表達。在大數據時代,地球空間信息科學的內涵沒有發生改變,但它的內容和形式變得更加豐富。目前,GPS數據可被理解為任何可以標識空間位置的數據,RS數據可被理解為多源傳感器數據,GIS則將這些與空間相關的數據映射到空間基準下進行統一的管理、分析和顯示。傳統GIS可視化更加注重符號、尺度和三維等問題的可視化表達,但對于大數據時代下的GIS,若不對信息進行提煉和綜合而直接以點、線、面等符號表達出來,不僅達不到信息傳遞的效果,反而會因為有效特征得不到表達而適得其反。在大數據時代,不同分辨率用于數字孿生的真三維室內外地上地下一體化實景模型將導致GIS數據的數據量和復雜度的提高,從而給數據探索、分析、理解和呈現帶來巨大的挑戰,這使得數據可視化基礎逐漸成為大數據時代的顯學。
2.2 大數據時代傳統GIS的挑戰
大數據時代傳統GIS面臨的挑戰可總結為以下幾點。
(1)大數據體量大帶來的挑戰
海量的數據問題一直是GIS研究的一個重要課題,在從海量數據跨越到大數據的時代背景下,GIS發展也遇到了數據的問題,尤其是海量數據如何存儲以及如何高效利用。GIS一般采用關系型數據庫來存儲數據,但是關系型數據庫在海量數據存儲方面未能解決可擴展性問題,因此,GIS的應用受到了限制。云計算和云存儲以及云端服務模式的出現,為GIS解決大數據存儲以及管理等問題帶來了曙光。在云服務模式下,數據可以按照需求存儲在不同的磁盤、不同的機器甚至不同的地點,但是這種模式在解決大數據體量大帶來的存儲問題的同時,也因為現有的存儲模式帶來了數據索引和數據查詢方面的問題。因此,針對空間大數據的數據劃分,基于內存的索引,歷史、當前及未來時空索引的并發控制,以及基于多線程的并發連續查詢等,也是亟須深入研究的方向。
(2)大數據流質性帶來的挑戰
傳統GIS的空間數據庫存儲的數據以靜態數據為主,而大數據時代下GIS面臨的是流數據(streaming data)的需求。流數據是由基于時間序列動態增加的數據觀測值組成的序列,具有連續性和無限增長性的特征。如傳統的ArcGIS文件型數據庫,其存儲量一般為2 GB,遠遠不能滿足大數據的流質性特征。此外,現在的空間數據庫的存儲方式是靜態的關系型數據,需要具有數據結構的詳細定義以及限定的數據大小,并且數據的查詢方式也是針對靜態數據的查詢,因此,現有GIS空間數據的存儲以及管理方式都不再適用于大數據時代的空間流數據。
(3)大數據模態多樣帶來的挑戰
在大數據時代,采集的數據通常包括結構化數據和非結構化數據,如圖片、視頻、文本、音頻、3D模型、實景圖片等,類型多樣,且數據內容也千差萬別,數據格式的多樣性給數據存儲帶來了巨大的挑戰。傳統GIS數據結構一般包括柵格數據和矢量數據,很少涉及非結構化數據,而在大數據時代,非結構化數據的比重越來越大,如3D模型和實景圖片等為人類的出行帶來了極大的便利,卻也給GIS分析和應用帶來了一定的挑戰。目前,常用的關系型數據庫在面對非結構化數據時也難以進行有效管理,因此,如何實現對結構化數據和非結構化數據的統一管理、分析和利用也是GIS面臨的一個重大挑戰。
(4)大數據難以挖掘的隱含價值帶來的挑戰
在大數據時代,流質性是導致大數據數據量龐大的原因,龐大的數據量給大數據帶來了真實性以及多樣性的挑戰。大數據真正的價值在于其蘊含的潛在規律和知識。現實中的空間是一個復雜的系統,其具有4個方面的特征:非線性、多參數、不穩定性和不確定性。這對現有的統計方法提出了更高的要求,統計的本質是通過對樣本進行描述來推出整體,進而陳述事實,最終進行確定性分析。而在大數據時代,數據本身的復雜性、不確定性和存在的噪聲使得通過現有的統計學方法發掘數據隱含的規律和知識的難度加大。目前,數據挖掘技術的不斷發展使得數據分析更加注重的是價值的發現而不是預期的描述,但對于大數據存在的不確定性問題,數據挖掘也無法解決。因此,對于大數據GIS,空間統計模型的選擇、參數的訓練至關重要,可進一步探索基于人工智能方法的空間數據挖掘算法。
2.3 大數據GIS的未來展望
在大數據時代,大數據的特征給GIS帶來了挑戰,未來GIS需要解決以下幾個問題:一是面對超大規模的數據,如何進行高效的管理、查詢和使用等;二是面對大數據的不確定性、非線性等,如何選擇高效正確的統計模型等;三是如何發展出高效的空間數據挖掘算法,以快速發現大數據中隱含的價值;四是如何高效地實現超大規模時空數據的可視化分析等。目前,大數據GIS亟須一整套科學的、系統的理論和方法來應對大數據背景帶來的挑戰。
3 大數據時代的智慧城市
3.1 智慧城市的概念和發展
1993年美國啟動的“信息高速公路”計劃和“九五”期間中國啟動的“八金”工程標志著城市信息化建設的起步。1998年,時任美國副總統戈爾提出了“數字地球”的概念,這標志著城市信息化逐漸進入數字城市建設的新階段。而我國的國家地理信息公共服務平臺“天地圖”代表了我國300多個城市初步建成數字城市的縮影,為數億網民提供了高效的服務。2008年IBM公司提出了“智慧城市”新理念。2009年,IBM公司的彭明盛向美國政府提出了智慧城市建設的意見,它標志著智慧城市從數字階段邁進智慧階段。至此,智慧城市的概念逐步完善,智慧城市的基礎設施建設也取得了理論和技術上的進步。與早期的信息基礎設施和數字城市建設相比,智慧城市更加注重信息資源的集成、共享、整合和服務,也更加強調城市管理方面的統籌與協調。智慧城市建立在數字城市的基礎框架上,通過無所不在的傳感器將它與現實城市關聯起來,將海量數據存儲、計算、分析和決策交由云計算平臺處理,并按照分析決策結果對各種設施進行自動化的控制。智慧城市通過物聯網將數字城市和現實城市進行有機的融合,形成虛實一體化的空間,達到數字型孿生城市的水平。為了便于理解,可用如下表達式理解智慧城市:
智慧城市=數字城市+物聯網+云計算(1)
3.2 智慧城市中大數據帶來的挑戰
智慧城市是基于數字城市、物聯網和云計算建立的現實世界與數字世界的融合,以實現對人和物的感知、控制和智能服務。它借助物聯網將現實城市和數字城市連接在一起,并借助由海量傳感器組成的物聯網不斷地采集城市中的人、車、物、水、電、氣等海量數據,通過對數據進行存儲、處理、查詢和分析,為城市提供智慧服務的實時反饋。智慧城市對智慧的需求使得對大數據存儲、處理、查詢以及分析的實時性需求也越來越高,進而導致大數據時代下的智慧城市面臨諸多挑戰。
(1)大數據存儲的問題
目前來看,存儲技術成本的下降速度與數據增長速度的差距仍較大,尤其在當下,海量數據的存儲帶來了巨大的成本障礙。例如天津市的安防系統,在理想情況下數據存儲需要的空間是4.6 EB,需要投入500億元的資金,由此可見大數據帶來的存儲成本之大。為了解決數據存儲帶來的巨大成本問題,我國采用兩種方式來降低成本,分別是縮短數據保存的時限和降低數據的存儲質量。
(2)大數據檢索、信息提取的問題
在大數據時代,數據的檢索和信息的提取不再是對數據進行簡單的數據存儲和采集,而是對行為等關鍵信息一并進行提取和分析。隨著衛星傳感器的發送,各種類型的遙感衛星每天可產生高達PB級的數據,城市中攝像頭每天可采集EB級的數據,并且城市采集的數據包括一些異常信息,如交通事故、盜竊等行為,可針對這些異常現象進行預警以及及時出警處理,從而全方位地保障人民的生命財產安全。但是如何實現信息的高效檢索和語義信息提取,是當前信息系統在大數據時代下面臨的重要難題,為此需尋求更好的解決方法。
(3)大數據隱含知識挖掘問題
大數據中往往隱含著豐富的知識和規律,但這些知識和規律需要不斷地挖掘才能發現,并且這些知識通常不是簡單地通過統計分析、回歸處理便可以得出。此外,大數據還具有難以實現自動化、難以實現繼承管理等問題,尤其是面對空間數據時,這種問題更加突出,導致想要在空間大數據中有效地挖掘知識和規律變得異常困難。因此,對于智慧城市,如何挖掘這些有效信息一直是大數據面臨的重要挑戰。
3.3 大數據時代智慧城市的未來展望
云計算和數據挖掘等技術的發展為智慧城市有效應對大數據時代的挑戰帶來了技術支撐。智慧城市在面對各類龐大的數據量時,尤其是面對空間和視頻等非結構化數據時,應充分發揮云計算的優勢對數據進行有效的存儲和管理以及快速檢索。在數據存儲層面,基于云計算基數,構建基于時空信息云平臺的云存儲與智能壓縮算法,以解決數據存儲問題。在數據檢索和信息提取層面,基于云計算技術,建立從基礎設施、數據、平臺到服務的一體化時空信息云平臺,實現對空間大數據、視頻大數據的有效管理。在數據挖掘層面,應用機器學習和人工智能方法構建神經網絡以及決策樹、遺傳算法等方法,揭示數據間的內在關系,發現深層次的模式、規則和知識。智慧城市建設過程中產生的大數據問題既是下一代的科學前沿問題,也是推進智慧城市發展的源動力。
4 大數據時代的遙感大數據
4.1 大數據時代遙感大數據的發展
在遙感以及對地觀測研究領域,對地觀測技術的不斷進步使得人類對地球的綜合觀測能力達到了空前的水平。并且,隨著不同的波段、不同的成像方式以及不同分辨率數據的不斷出現,遙感數據也逐漸實現了多元化。目前,遙感數據的數據量也在顯著增加,甚至呈現出指數級的增長模式。獲取數據的速度得到提高,時效性也得到了有效的提高。遙感數據也呈現出了明顯的“大數據”特征。但現在存在的重要問題是,遙感信息處理能力仍舊十分低下,現有的遙感數據處理和分析仍未實現普適性,也仍未實現多源異構數據的處理。遙感信息處理技術與數據獲取能力之間出現了嚴重失衡的現象,導致遙感信息的處理仍舊處于“數據到數據”的階段,遙感信息知識獲取能力不足,致使遙感信息得不到充分的應用,形成了“大數據,小知識”的悖論。更嚴重的現象是,由于海量遙感數據的堆積,遙感大數據占用了大量的存儲空間,造成了某種程度上的“數據災難”。
遙感大數據的價值與大數據的價值相符,重在數據隱藏的規律和知識,而不是其數據量大。同樣,遙感大數據的目標也和大數據一樣,在于從數據中挖掘隱藏的知識以及對數據進行智能化和自動化分析,實現從遙感數據到知識的轉變,突破“大數據,小知識”的瓶頸。遙感大數據的自動分析是進行遙感大數據信息挖掘、實現遙感觀測數據向知識轉化的前提,其主要目的是能夠建立統一、緊湊、語義的遙感大數據標識,以便為后續的數據挖掘奠定基礎。遙感大數據的自動分析主要包含數據的表達、檢索和理解等方面。
4.2 大數據時代遙感大數據挖掘面臨的挑戰
數據挖掘的含義是從大量數據中搜索出隱藏的信息,數據挖掘是現階段大數據處理的有效方法和重要手段。而針對遙感大數據的挖掘,數據挖掘指從遙感大數據中發現地表的變化規律,探索自然和社會的變化趨勢。遙感大數據的挖掘可總結為以下幾個步驟:數據獲取、數據存儲、數據處理和分析、數據可視化及數據挖掘。其中,耗費成本最大的是數據存儲過程,這是目前數據存儲技術的發展遠遠跟不上數據量增長的速度導致的。難度最大的是數據挖掘過程,這是因為它依賴于基于大數據和知識庫的智能推理等理論和技術的支撐。數據挖掘過程中常用的方法有人工神經網絡模型、決策樹模型、云模型和深度學習方法等。
天空地傳感技術的發展促進了遙感大數據的發展,新一代算力基礎設施為遙感大數據的發展帶來了基礎支撐,如云計算平臺,但同時也對遙感大數據的發展提出了新的挑戰,一是面對每天生產出來的海量數據,如何對數據進行有效的存儲;二是如何構建更高效的數據檢索和存儲模型,這對于數據應用來說至關重要;三是如何進行高效的數據挖掘,挖掘潛在的地學規律和知識。因此,目前亟須尋求自動化的數據智能處理和挖掘方法,發展可以對空間地理分布的視頻數據、影像數據進行數據融合和時空數據挖掘的新理論和新算法。
4.3 大數據時代遙感大數據挖掘的潛在應用
遙感大數據挖掘可實現地球各位置、各尺度變化規律的發掘,還可實現未知地球規律的發掘,如夜光遙感技術在社會科學方面、經濟發展方面的應用等。未來10年,我國遙感數據的種類和數量將呈現飛速增長的趨勢,而對地觀測的深度和廣度也會快速發展,因此,亟須開展遙感大數據的進一步深入研究,以使我國的遙感數據物盡其用。衛星成功發射和數據收集是遙感對地觀測的第一步,而更大的挑戰是如何實現高效地存儲、分析和利用數據,為國家發展政策的制定、經濟的發展提供支撐。目前,將遙感大數據轉化成知識是主要的理論挑戰和技術瓶頸,如果可以突破這一瓶頸,就可以提高遙感數據的利用效率,加強遙感在環境遙感、城市規劃、地形圖更新、精準農業和智慧城市等方面的應用。因此,重視和抓緊遙感大數據的研究不僅具有非常重要的學術價值,而且具有重要的現實意義。
5 大數據時代的空間數據挖掘
5.1 空間大數據挖掘的由來
1989年,從數據庫中發現知識(knowledge discovery from database, KDD)的概念在美國底特律召開的國際人工智能聯合會議(IJCAI)上被提出。1994年,LI D R等人在加拿大渥太華舉行的GIS國際學術會議上提出了從GIS數據庫中發現知識(knowledge discovery from GIS,KDG)的概念。自此人們逐漸認識到,很多知識原來就隱藏在大量的數據之中。經過不斷的努力,KDG已經發展成系統的空間數據挖掘理論。王樹良率先從GIS空間數據中發現了用于指導GIS空間分析的知識,這進一步引導了地球空間信息從狹義向廣義發展。1995年,在加拿大召開的第一屆知識發現和數據挖掘國際學術會議上,數據挖掘的概念被提出。由于數據挖掘經常被認為是KDD的一部分,通常將其聯合稱為數據挖掘和知識發現(data mining and knowledge discovery)。李德仁等人把KDG概念進一步發展為空間數據挖掘和知識發現(spatial data mining and knowledge discovery),以克服空間災難,用知識指導數據利用,奠定了空間數據挖掘和知識發現在地球空間信息學中的學科位置。此外,在不引起歧義的情況下,空間數據挖掘和知識發現可被簡稱為空間數據挖掘(spatial data mining,SDM )。
目前,空間數據挖掘已經滲入數據挖掘、知識發現以及地球空間信息學等相關學科的學術活動中。1997年,亞太地區、歐洲相繼召開數據挖掘學術會議。2005年,現代數據挖掘及其應用國際學術會議召開,該會議現在被學者們列為數據挖掘領域的旗艦會議。空間數據挖掘的概念起源于國際GIS會議,空間數據挖掘后續逐漸成為各種GIS會議、國際攝影測量與遙感學會(International Society for Photogrammetry and Remote Sensing, ISPRS)等會議的主題,也逐漸成為SCI、EI等數據庫的收錄期刊的重要刊載內容。現在,空間數據挖掘已在人們認識和改造自然中發揮了重要的作用,也得到了國內外眾多學者的青睞。
5.2 大數據時代空間數據挖掘價值
空間數據挖掘是從空間數據集中提取事先未知卻潛在有用的一般規則的過程。空間數據挖掘可以為基于空間數據的應用提供有價值的知識,帶來巨大的收益,是人類認識復雜系統的新思維、新手段,促進經濟轉型增長的新引擎,提升國家綜合能力和保障國家安全的新利器,提升政府治理能力的新途徑。
空間數據挖掘的價值可總結為以下幾個方面。
(1)助力提升數據競爭力
目前數據利用能力已成為對比各國綜合國力和技術力量的重要指標。尤其在全球化時代,基于數據利用能力的數據流,能夠在社會分工協作中引領技術流、物質流、資源流和人才流,增強空間數據的主權保護能力。空間數據挖掘可以實現數據資源的潛在價值,揭示新的知識發現,盡可能發揮數據資源的戰略作用,全面提升數據的規模、質量和應用水平,進而提升國家競爭力,推動社會進步和可持續發展。
(2)助推社會生產力發展
空間數據挖掘是一種空間決策支持技術,注重從數據中挖取未知卻有用的知識,最大限度地提升數據資源的有效利用能力,實現更準確的監測、分析、預警、預測,為決策者提供極有價值的知識,提高決策的針對性、科學性和可靠性。數據挖掘已經滲透到社會經濟活動中,以數據流推動社會生產要素的網絡化共享、集約化整合、協作化開發和高效化利用,將影響社會分工協作的未來產業格局。高端智能的數據挖掘產業新生態,能夠促進傳統產業轉型升級,培育新的經濟增長點,驅動業務增值,提升經濟運行水平和效率。
(3)助力可持續發展
空間數據既有社會公益性,又有綜合價值,是解決人口、環境、資源和災害等重大社會可持續發展問題的基礎資源。人類社會的可持續發展取決于合理利用資源和保護生態資源,有效地開發和利用數據資源能夠幫助人類降低對物質和能量資源的巨量消耗。而空間數據挖掘即可實現以上需求。空間數據挖掘還能輔助發現新空間對象、瀏覽空間數據庫、輔助空間決策、理解空間數據、發現空間聯系以及空間數據與非空間數據之間的關系,優化空間查詢。
5.3 大數據時代空間數據挖掘的未來展望
面對每天增長的海量數據,空間數據挖掘由于空間數據庫缺乏“誰(who)”“什么(what)”“時間(when)”“地點(where)”“原因(why)”“如何(how)”的信息和元數據,導致數據難理解、難組織、難整合、難遷移等問題,限制了空間數據挖掘的能力。目前,由于數據庫技術的限制,多源高維數據給空間數據挖掘帶來機遇的同時,也帶來了挑戰,尤其在大數據時代,空間數據挖掘已經滲透到國家安全、經濟發展等各個層面,是保證在全球化時代海量空間數據得到有效利用的重要技術支持,未來也應投入更多的人力、財力以促進空間數據挖掘的發展。
6 總結
6.1 大數據時代地球空間信息學面臨的挑戰
大數據已經滲透到生活的方方面面,人類也早已接觸到大數據。人類社會每天以EB甚至PB的數據級別產生數據,但數據的實際利用率卻很低,長時間的數據堆積甚至造成了某種程度上的“數據爆炸”。大數據時代下的GIS、智慧城市、遙感大數據、空間數據挖掘在面臨EB甚至PB級的數據量時,都表現出了海量數據存儲成本高、數據管理分析難、數據使用效率低、數據挖掘難等問題,其中最重要的是在海量數據下如何用好大數據這份科學界的“石油”。大數據時代下地球空間信息學面臨的是軟件水平、硬件水平的雙重考驗。
6.2 大數據時代地球空間信息學的發展展望
本文從大數據時代的GIS、智慧城市、遙感大數據和空間數據挖掘的發展、瓶頸等維度總結了大數據時代地球空間信息學的發展以及面臨的問題。首先面臨的是數據存儲的問題,但這一問題的解決不僅依賴硬件水平的提高,也依賴數據存儲算法以及云計算的發展;其次是數據檢索提取,由于數據結構復雜,高效提取需要的數據是難題;最后是數據潛在信息挖掘,這是發揮大數據這份科學界的“石油”的重中之重。在多學科交叉的推動下,大數據時代地球空間信息學的發展模式要求軟硬件必須同時發展。
作者簡介
李德仁(1939-),男,博士,中國科學院院士,中國工程院院士,武漢大學教授、博士生導師,國際歐亞科學院院士,國際宇航科學院院士,國際著名測繪遙感學家,主要研究方向為地球空間信息科學。
張過(1976-),男,博士,武漢大學測繪遙感信息工程國家重點實驗室教授,主要研究方向為航天攝影測量處理與應用。
蔣永華(1987-),男,博士,武漢大學遙感信息工程學院副教授,主要研究方向為星載光學衛星高精度處理、衛星在軌智能處理。
沈欣(1981-),男,博士,武漢大學測繪遙感信息工程國家重點實驗室副研究員,主要研究方向為遙感衛星任務規劃。
劉偉玲(1990-),女,武漢大學測繪遙感信息工程國家重點實驗室博士生,主要研究方向為基于深度學習的遙感影像云檢測。
聯系我們:
Tel:010-81055448
? ? ? ?010-81055490
? ? ? ?010-81055534
E-mail:bdr@bjxintong.com.cn?
http://www.infocomm-journal.com/bdr
http://www.j-bigdataresearch.com.cn/
轉載、合作:010-81055307
大數據期刊
《大數據(Big Data Research,BDR)》雙月刊是由中華人民共和國工業和信息化部主管,人民郵電出版社主辦,中國計算機學會大數據專家委員會學術指導,北京信通傳媒有限責任公司出版的期刊,已成功入選中國科技核心期刊、中國計算機學會會刊、中國計算機學會推薦中文科技期刊,以及信息通信領域高質量科技期刊分級目錄、計算領域高質量科技期刊分級目錄,并多次被評為國家哲學社會科學文獻中心學術期刊數據庫“綜合性人文社會科學”學科最受歡迎期刊。
關注《大數據》期刊微信公眾號,獲取更多內容
總結
以上是生活随笔為你收集整理的论大数据视角下的地球空间信息学的机遇与挑战的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: windows Docker Deskt
- 下一篇: tar: Error opening a