阿里云HBase Ganos全新升级,推空间、时空、遥感一体化基础云服务
1、HBase Ganos是什么
Ganos是阿里云時空PaaS服務的自研核心引擎。Ganos已作為云數據庫時空引擎與數據庫平臺融合,建立了以自研云原生數據庫POALRDB為基礎,聯合NoSQL大數據平臺(Ali-HBASE和X-Pack Spark)的完整時空地理信息云化管理解決方案。
HBase Ganos是為PB級分布式、大規(guī)模時空數據管理而生,主打NoSQL時空大數據處理能力,兼容HBase、Spark、GeoMesa、GeoServer等廣泛開源生態(tài),內置了高效的時空索引算法、空間拓撲幾何算法、遙感影像處理算法等,可廣泛應用于空間/時空/遙感大數據存儲、查詢、分析與數據挖掘場景。
2、新版本重要特性
全球首發(fā)時空柵格引擎云服務,支撐航天航空遙感云計算與智能化發(fā)展
對地觀測技術的快速發(fā)展正促使遙感應用走向在線化和服務化。全新的云上時空柵格數據引擎面向未來遙感大數據云端智能分析計算需求而設計,采用了極為靈活的時空數據組織方式,在保留多時相、多分辨率且每一寸像素光譜信息的同時,兼顧傳統遙感應用的快速瀏覽需求。引擎內置的ETL工具可以打通OSS、HBase、POLARDB/PG等數據存儲產品,支持柵格數據的全自動化快速入庫,包含投影轉換、數據分塊和索引創(chuàng)建等。柵格數據存儲組織支持多種模式,常用的包括全球標準格網剖分和本地坐標系格網剖分(見下圖)。
此外,2.5版本發(fā)布全新的時空Cover數據模型。Cover模型物理上維護每一幅遙感影像的獨立性,同時支持海量遙感影像基于時相和空間條件的動態(tài)拼接,邏輯上實時生成時空動態(tài)一張圖,為遙感智能化分析計算應用提供強大數據模型支撐。
與X-Pack Spark、 GeoTools集成,提供兼容OGC標準的空間數據訪問接口
2.5版本提供了更全面的訪問方式,包括基于GeoTools API的訪問、支持GeoJson作為時空數據結構的REST API、以及空間GeoSQL支持,可最大程度兼容不同用戶需求。其中,Ganos Spark模塊提供了一系列UDF空間算子實現了基于OGC標準的GeoSQL的空間數據查詢,例如:
這些空間算子主要包括Geometry Constructors函數、Geometry Accessors函數、Geometry Cast函數、Geometry Editors函數、Geometry Outputs函數、Spatial Relationships函數以及Geometry Processing函數等,算子功能將按需擴展。
支持時空幾何、時空軌跡數據建模,成本、性能獲得綜合優(yōu)化
2.5版本支持豐富的時空幾何數據、時空軌跡數據建模,數據類型包括點、線、面等時空對象。在此基礎上,還提供了完備的時空模型操作能力,既可以支持空間范圍查詢,也支持“時間+空間”的多維查詢。?
在性能優(yōu)化方面,采用了空間謂詞下推技術,查詢時可將空間過濾條件下推到存儲層執(zhí)行,從而減少I/O開銷,降低查詢時延。另外,結合阿里云X-Pack可構建強大的時空分析平臺,借助空間分區(qū)、分區(qū)索引、基于內存索引以及Fast Spatial Jion等性能優(yōu)化手段,可大幅提高查詢分析性能。
在成本控制方面,針對時空數據寫入膨脹的問題,新版本在索引生成、時空模型編碼、冷熱分離存儲等方面進行了全面優(yōu)化。在索引生成階段,對索引的控制力度更細,可按需建立索引;在時空編碼方面,使用了TWKB編碼,同時用戶可指定寫入數據的精度,減少數據的存儲長度;在冷熱分離存儲方面,借助阿里云OSS存儲,可使得存儲成本下降70%以上。
3、典型應用場景
航天航空遙感應用
對地觀測、商業(yè)航天、無人機測繪等快速發(fā)展,積累了大量的遙感影像數據。數據規(guī)模的不斷擴大給數據時空化組織以及大數據和智能化應用帶來了極大挑戰(zhàn)。未來需要探索數據在線、應用能力在線、用戶購買服務模式。Ganos可以為云平臺商、衛(wèi)星數據廠商、平臺服務商等構建遙感智能化大數據云平臺提供時空云基礎設施支撐,解決最底層關鍵技術,并在傳統編目化管理和切片化應用基礎上獲得全新架構的快速演進,從而在遙感智能化浪潮中聚焦業(yè)務并獲得先機。
互聯網出行
互聯網出行涉及到運力的調度、拼車、供需預測、熱力圖等業(yè)務。以供需預測為例,基于對歷史軌跡數據的分析,并結合實時訂單數據,預測當前訂單密集區(qū)域的分布,提高接單概率并減少司機空駛時間。這背后涉及到大量時空型數據和業(yè)務信息的快速讀取,并結合業(yè)務算法進行預測,利用HBase Ganos可有力支持該業(yè)務場景。
傳感網與實時GIS
在環(huán)保、氣象、水利、航海航空監(jiān)測等領域,需要通過各種傳感器獲取天、空、地、海不同地理現象、事件、要素的全生命周期多尺度監(jiān)測指標,比如污染監(jiān)測、水位監(jiān)測、降雨量監(jiān)測、航標監(jiān)測等。HBase Ganos可以為構建實時GIS大數據應用提供穩(wěn)定、可靠、彈性、免運維的PaaS服務,為地理國情常態(tài)化監(jiān)測和智慧城市建設提供基礎平臺。
車聯網
海量的車輛終端在不斷地產生軌跡數據,軌跡數據包含了時間和空間位置。利用HBase Ganos,實時監(jiān)測車輛的行駛軌跡、是否偏航、是否進入某個限制區(qū)域等。除了實時監(jiān)控外,還可以進行時空查詢,如查詢某段時間的軌跡,某段時間進入該區(qū)域的車輛等。結合大數據分析框架(如Spark)還可以進行穿越分析、區(qū)域分布熱力圖等。
智慧物流與外賣遞送
在物流與外賣等領域,需要實時監(jiān)控車輛、騎手的位置,以便進行可靠的時間預測等服務。車輛和騎手的位置需要實時上報,云端需要處理高并發(fā)寫入并進行實時路徑規(guī)劃、偏航監(jiān)測等計算,背后都需要大量的時空計算。
4、典型案例&架構
航海船舶大數據平臺
場景:全球AIS船舶實時位置數據,每天上億條軌跡寫入,要求軌跡時空/時序查詢秒級響應,具體包括:
? 監(jiān)管區(qū)域實時地理圍欄判斷;
? 軌跡區(qū)域回放(指定區(qū)域+指定時間段);
? 軌跡回放(指定時間段查詢)。
架構說明:
? AIS等數據經過Spark平臺清洗、融合完成后,構建數倉;
? 對外提供查詢的數據存儲到HBase Ganos中,可供前端各類應用進行時空查詢(如地理圍欄、軌跡回放等);
? 整體系統的查詢時間在毫秒級,數據清洗在分鐘級。
位置服務平臺
場景:實時采集車輛設備軌跡,40萬+終端設備,3萬+軌跡點/秒峰值;對外提供實時位置查詢、地理圍欄、軌跡相似度判斷等服務;
架構說明:
? 利用POLARDB Ganos的MOD移動對象數據庫保存業(yè)務、GIS和行程軌跡現勢數據,而HBase Ganos保留所有歷史軌跡庫;
? 當歷史數據量較大時,可通過冷數據自動轉儲功能,將數據存放到OSS中,減少70%以上的成本;
? 百億量級的軌跡查詢(比如查詢某段時間、某空間范圍內經過的軌跡)只需亞秒級;
與X-Pack Spark平臺無縫銜接,可以提供類似軌跡相似度、OD分析等強大功能。
遙感大數據管理與智能服務平臺
場景:完全在線化大規(guī)模遙感影像數據入庫、查詢、分析和AI智能服務。
痛點:
? 遙感影像數據體量大且增量快,存儲、計算擴展不靈活;
? 以原始文件為單位管理模式粗放,數據結構不統一,上層調用復雜;
? 傳統靜態(tài)切片方式管理顯示速度快,但光譜信息丟失,無法有效支撐實時分析場景和AI場景;
? 多源空間數據融合查詢分析困難。
架構說明:
? 原始數據采用OSS高性價比存儲,冷熱分離;
? 影像數據庫采用SQL+NoSQL構建時空序列影像,容量無上限,存儲與計算分離,極致彈性;
? 數據完全結構化存儲和組織,保留原始像元信息,有效支撐各類分析計算場景;
? 與X-Pack Spark集成,ETL與多源空間數據分析處理更便捷,可進一步集成阿里天巡平臺,實現遙感AI能力集成。
原文鏈接
本文為云棲社區(qū)原創(chuàng)內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的阿里云HBase Ganos全新升级,推空间、时空、遥感一体化基础云服务的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 对话阿里敏捷教练 | 成功辅导过淘宝、闲
- 下一篇: 谁顶住双11的世界级流量洪峰?神龙架构负