华为开源框架
阿里云優(yōu)惠:最高¥2000云產(chǎn)品通用代金券
https://promotion.aliyun.com/ntms/yunparter/invite.html?userCode=dansrwg4
世界 500 強的華為,旗下設(shè)有華為開源軟件能力中心。是基于華為開源戰(zhàn)略新成立的部門。承擔(dān)開源新技術(shù)掃描與規(guī)劃、開源技術(shù)研究、開源開發(fā)方法探索、開源社區(qū)運營和開源能力構(gòu)建及管理等相關(guān)工作。本期,就為大家整理了華為的開源項目:
1、HBase 二級索引 hindex
https://github.com/Huawei-Hadoop/hindex
Stars 435
hindex
是華為公司開發(fā)的純
Java 編寫的 HBase 二級索引,兼容 Apache
HBase 0.94.8。當(dāng)前的特性如下:
● 多個表索引
● 多個列索引
● 基于部分列值的索
● 使用索引掃描等于和范圍條件
● 批量加載數(shù)據(jù)來索引表(索引完成批量加載)
工作原理如下:
2、華為物聯(lián)網(wǎng)操作系統(tǒng) LiteOS
https://github.com/Huawei/Huawei_LiteOS_Kernel
Stars 372
Huawei
LiteOS 是華為面向 IoT 領(lǐng)域,構(gòu)建的"統(tǒng)一物聯(lián)網(wǎng)操作系統(tǒng)和中間件軟件平臺",以輕量級(內(nèi)核小于 10 k)、低功耗(1 節(jié) 5 號電池最多可以工作 5 年),快速啟動,互聯(lián)互通,安全等關(guān)鍵能力,為開發(fā)者提供 “一站式” 完整軟件平臺,有效降低開發(fā)門檻、縮短開發(fā)周期。
Huawei
LiteOS 目前主要應(yīng)用于智能家居、穿戴式、車聯(lián)網(wǎng)、智能抄表、工業(yè)互聯(lián)網(wǎng)等 IoT 領(lǐng)域的智能硬件上。
3、流處理平臺查詢語言 StreamCQL
https://github.com/HuaweiBigData/StreamCQL
Stars 320
StreamCQL
作為華為
FusionInsight 產(chǎn)品的重要組件,提供了在分布式流處理平臺上的類SQL查詢能力,包括窗口計算等高級特性,在開源之前已經(jīng)在電信、金融等多個行業(yè)成功應(yīng)用,簡化開發(fā)工作量數(shù)倍。
在架構(gòu)上,除了支持主流的流處理平臺 Storm,它支持?jǐn)U展到多種流處理引擎之上,如Flink。在功能上,StreamCQL 彌補了傳統(tǒng)流處理平臺上一些基本業(yè)務(wù)功能的缺失,除了過濾、轉(zhuǎn)換等基本
SQL 能力之外, 還引入基于內(nèi)存窗口的計算、統(tǒng)計、關(guān)聯(lián)等能力,以及流數(shù)據(jù)的拆分、合并等功能。后期 StreamCQL 的發(fā)展方向包括:模式匹配、CQLServer(CQL遠(yuǎn)程提交,多語言接口,JDBC接口)、可靠性增強等。
4、Spark Streaming 數(shù)據(jù)挖掘 streamDM
https://github.com/huawei-noah/streamDM
Stars277
streamDM,是由華為諾亞方舟實驗室開源的使用 Spark
Streaming 挖掘大數(shù)據(jù)的開源軟件。Spark Streaming 是核心 Spark API 的一個擴展,它能讓多個源的數(shù)據(jù)流處理成為可能。Spark 是一個可擴展可編程的框架,用于大規(guī)模分布式數(shù)據(jù)集(也稱為彈性分布式數(shù)據(jù)集(RDD))處理。Spark Streaming 接收輸入的數(shù)據(jù)流后將數(shù)據(jù)分批,再由 Spark 引擎處理,生成結(jié)果。Spark Streaming 數(shù)據(jù)被編成一個 DStreams 序列,內(nèi)在地表示成一個 RDD 序列。
5、大數(shù)據(jù)存儲解決方案 CarbonData
https://github.com/HuaweiBigData/carbondata
Stars 209
CarbonData
是由華為開源貢獻(xiàn)的大數(shù)據(jù)高效存儲格式解決方案。針對當(dāng)前大數(shù)據(jù)領(lǐng)域分析場景需求各異而導(dǎo)致的存儲冗余問題,CarbonData 提供了一種新的融合數(shù)據(jù)存儲方案,以一份數(shù)據(jù)同時支持“交互式分析、詳單查詢、任意維度組合的過濾查詢等”多種大數(shù)據(jù)應(yīng)用場景,并通過豐富的索引技術(shù)、字典編碼、列存等特性提升了IO掃描和計算性能,實現(xiàn)百億數(shù)據(jù)級秒級響應(yīng),與大數(shù)據(jù)生態(tài) Apache Hadoop、Apache Spark 等無縫集成。
6、HBase 的 Spark SQL Astro
https://github.com/HuaweiBigData/astro
Stars 198
華為 2015 年 7 月 20 日在 O’Reilly Open Source Convention (OSCON) 上宣布
Spark SQL on HBase package 正式開源。Spark SQL on HBase
package 項目又名 Astro,端到端整合了 Spark,Spark SQL和HBase的能力,有助于推動幫助Spark進(jìn)入NoSQL的廣泛客戶群,并提供強大的在線查詢和分析以及在垂直企業(yè)大規(guī)模數(shù)據(jù)處理能力。當(dāng)前的 Astro 1.0 依賴于 Spark 1.4.0,HBase 0.98。
7、多功能微服務(wù)框架 ServiceComb
https://github.com/ServiceComb/ServiceComb-Java-Chassis
Stars 152
ServiceComb
是華為開源的一套包含代碼框架生成,服務(wù)注冊發(fā)現(xiàn),負(fù)載均衡,服務(wù)可靠性(容錯熔斷,限流降級,調(diào)用鏈追蹤)等功能的微服務(wù)框架。ServiceComb 包括應(yīng)用框架代碼生成,服務(wù)注冊發(fā)現(xiàn)、服務(wù)配置管理、服務(wù)監(jiān)控、服務(wù)調(diào)用追蹤、多通信協(xié)議支持等功能,具有服務(wù)化契約增強、響應(yīng)式編程范式及多語言 SDK 支持等優(yōu)勢特性。ServiceComb 基于開放的架構(gòu),不僅可以支持開發(fā)者根據(jù)自身業(yè)務(wù)需求定制業(yè)務(wù)插件,而且還兼容多種業(yè)界流行的微服務(wù)框架。
8、OpenFlow控制器 POFController
https://github.com/ProtocolObliviousForwarding/POFController
POFController
是由華為公司采用
BSD/ Apache 授權(quán)基于 Java 語言實現(xiàn)的
OpenFlow 控制器,提供了一個 GUI 管理界面,用于交換機的控制和配置。POF 主要包含控制器和交換機兩個 原型文件,旨在提高OpenFlow的規(guī)范及支持無感知轉(zhuǎn)發(fā)協(xié)議和數(shù)據(jù)包格式。
9、Cloud Foundry-Mesos
https://github.com/mesos/cloudfoundry-mesos
Stars 98
Cloud
Foundry-Mesos 框架由華為與 Mesosphere 的工程師合作完成,能夠為應(yīng)用提供安全可靠的、可伸縮、可擴展的云端運行環(huán)境,并且應(yīng)用能夠享用 Cloud Foundry 生態(tài)圈內(nèi)各類豐富的服務(wù)資源。企業(yè)能夠通過 Cloud
Foundry 開發(fā)云應(yīng)用,并通過 Cloud Foundry-Mesos 將應(yīng)用部署到 DCOS上,使應(yīng)用能夠與 DCOS 上安裝的其他服務(wù)及應(yīng)用框架共享資源,實現(xiàn)資源利用率最大化,能夠大幅降低企業(yè)數(shù)據(jù)中心運營成本。DCOS 能夠運行在虛擬和物理環(huán)境上,能夠支持 Linux(以及很快支持 Windows),并可適用于私有云、公有云及混合云環(huán)境。
阿里云優(yōu)惠:最高¥2000云產(chǎn)品通用代金券
https://promotion.aliyun.com/ntms/yunparter/invite.html?userCode=dansrwg4
總結(jié)
- 上一篇: c#的Marshal
- 下一篇: 随笔汇总_索取资料请进入