大数据 >> Presto >> 基础
生活随笔
收集整理的這篇文章主要介紹了
大数据 >> Presto >> 基础
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
一、概述
1、什么是Presto
2012年,FaceBook團隊為交互式查詢分析設計了Presto,可快速處理PB級別數據。
- Apache Presto是分布式并行查詢執行引擎,針對低延遲和交互式查詢分析進行了優化。Presto可以輕松運行查詢并且無需停機即可擴展,甚至可以從GB級別擴展至PB級別。
- 單個Presto查詢可以處理來自多個來源的數據,如HDFS、MySql、Cassandra、Hive等。
- Presto使用Java構建。存在一個對Hadoop友好的連接器架構,允許輕松插入文件系統。
- Presto支持標準的ANSI SQL(美國國家標準化組織)。
2、Presto架構
- 采用了經典MPP(大規模并行處理)的DBMS(數據庫管理系統)架構。
- 如下,Presto各個組件描述。
工作流程
- Presto客戶端(CLI)將SQL語句提交給住守護進程協調器。
- 調度器通過執行pipline連接。
- 調度程序將工作分配給最接近數據的節點并監控進度;
- 協調器將任務分配給多個工作節點,最后工作節點將結果返回給客戶端;
- 客戶端從輸出過程中提取數據。
- 所有處理都在內存中,并通過網絡在不同階段之間進行流水線處理,避免了不必要的I/O延遲開銷。
總結
以上是生活随笔為你收集整理的大数据 >> Presto >> 基础的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 一些写英文简历的词汇吧
- 下一篇: 为什么超三成制造企业上市公司选择用友U9