作者：不周 關(guān)鍵詞：Kafka ETL，高彈性、免運(yùn)維、低成本

阿里云消息隊(duì)列 Kafka 版提供兼容 Apache Kafka 生態(tài)的全托管服務(wù)，徹底解決開(kāi)源產(chǎn)品長(zhǎng)期的痛點(diǎn)，是大數(shù)據(jù)生態(tài)中不可或缺的產(chǎn)品之一。隨著 Kafka 越來(lái)越流行，最初只是作為簡(jiǎn)單的消息總線，后來(lái)逐漸成為數(shù)據(jù)集成系統(tǒng)，Kafka 可靠的傳遞能力讓它成為流式處理系統(tǒng)完美的數(shù)據(jù)來(lái)源。在大數(shù)據(jù)工程領(lǐng)域，Kafka 在承接上下游、串聯(lián)數(shù)據(jù)流管道方面發(fā)揮了重要作用，Kafka 應(yīng)用流式框架處理消息也逐漸成為趨勢(shì)。

說(shuō)到流計(jì)算，常用的便是 Storm、Spark Streaming、Flink 和 Kafka Streams，目前這些框架都相對(duì)成熟，并且都有相應(yīng)的使用案例，但這些框架使用起來(lái)門檻較高，首先要學(xué)習(xí)框架和各種技術(shù)、規(guī)范的使用，然后要將業(yè)務(wù)遷移到這些框架中，最后線上使用并運(yùn)維這些流計(jì)算框架。尤其在面對(duì) 70% 以上簡(jiǎn)單流處理場(chǎng)景的需求，傳統(tǒng)方案的弊端會(huì)被不斷放大，客戶仍然需要投入較大的人力成本和較高的資源，同時(shí)整個(gè)架構(gòu)也比較復(fù)雜。總結(jié)來(lái)說(shuō)，主要遇到的問(wèn)題包含以下四個(gè)方面：

一是運(yùn)維成本較高，研發(fā)團(tuán)隊(duì)自行編寫代碼，后期需要持續(xù)維護(hù)，會(huì)帶來(lái)較大的運(yùn)維成本； 二是技術(shù)成本較大，對(duì)于很多輕量或簡(jiǎn)單計(jì)算需求，需要進(jìn)行技術(shù)選型，而引入一個(gè)全新的組件會(huì)帶來(lái)較高的技術(shù)成本； 三是學(xué)習(xí)成本不可預(yù)期，在某組件選定后，需要研發(fā)團(tuán)隊(duì)進(jìn)行學(xué)習(xí)并持續(xù)維護(hù)，這就帶來(lái)了不可預(yù)期的學(xué)習(xí)成本； 四是開(kāi)發(fā)人員自行選用開(kāi)源組件之后，可靠性和可用性并不能得到很好的保障。

為了更好的解決傳統(tǒng)流式計(jì)算在面對(duì)簡(jiǎn)單流處理場(chǎng)景需求時(shí)遇到的種種問(wèn)題，阿里云消息隊(duì)列 Kafka 版也推出了相應(yīng)的解決方案：Kafka ETL。

那么阿里云 Kafka ETL 具體是如何解決以上問(wèn)題的呢？

2 月 18 日下午 14:00，云計(jì)算情報(bào)局直播間將為您答疑解惑。

點(diǎn)擊此處，立即前往云計(jì)算情報(bào)局直播間！

發(fā)布云原生技術(shù)最新資訊、匯集云原生技術(shù)最全內(nèi)容，定期舉辦云原生活動(dòng)、直播，阿里產(chǎn)品及用戶最佳實(shí)踐發(fā)布。與你并肩探索云原生技術(shù)點(diǎn)滴，分享你需要的云原生內(nèi)容。

關(guān)注【阿里巴巴云原生】公眾號(hào)，獲取更多云原生實(shí)時(shí)資訊！

總結(jié)

以上是生活随笔為你收集整理的云计算情报局预告｜告别 Kafka Streams，让轻量级流处理更加简单的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。