在 Knative 中已經(jīng)提供了對 Kafka 事件源的支持，那么如何在阿里云上基于 Kafka 實現(xiàn)消息推送，本文給大家解鎖這一新的姿勢。

背景

消息隊列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可擴(kuò)展的消息隊列服務(wù)。消息隊列 for Apache Kafka 廣泛用于日志收集、監(jiān)控數(shù)據(jù)聚合、流式數(shù)據(jù)處理、在線和離線分析等大數(shù)據(jù)領(lǐng)域，已成為大數(shù)據(jù)生態(tài)中不可或缺的部分。
另外 Knative 中提供了KafkaSource事件源的支持，通過這個事件源可以方便的對接 Kafka 消息服務(wù)。

在阿里云上創(chuàng)建 Kafka 實例

創(chuàng)建 Kafka 實例

登錄消息隊列Kafka控制臺, 選擇【購買實例】。由于當(dāng)前Knative中Kafka事件源支持2.0.0及以上版本，在阿里云上創(chuàng)建 Kafka 實例需要選擇包年包月、專業(yè)版本進(jìn)行購買，購買之后升級到 2.0.0 即可。

部署實例并綁定 VPC

購買完成之后，進(jìn)行部署，部署時設(shè)置 Knative 集群所在的 VPC 即可：

創(chuàng)建 Topic 和 Consumer Group

接下來我們創(chuàng)建 Topic 和消費(fèi)組。
進(jìn)入【Topic 管理】，點(diǎn)擊創(chuàng)建Topic, 這里我們創(chuàng)建名稱為demo的topic:

進(jìn)入【Consumer Group 管理】,點(diǎn)擊創(chuàng)建 Consumer Group, 這里我們創(chuàng)建名稱為demo-consumer的消費(fèi)組:

部署 Kafka 數(shù)據(jù)源

部署 Kafka addon 組件

登錄容器服務(wù)控制臺，進(jìn)入【Knative 組件管理】，部署 Kafka addon 組件。

創(chuàng)建 KafkaSource 實例

首先創(chuàng)建用于接收事件的服務(wù) event-display:

apiVersion: serving.knative.dev/v1 kind: Service metadata:name: event-display spec:template:spec:containers:- image: registry.cn-hangzhou.aliyuncs.com/knative-sample/eventing-sources-cmd-event_display:bf45b3eb1e7fc4cb63d6a5a6416cf696295484a7662e0cf9ccdf5c080542c21d

接下來創(chuàng)建KafkaSource

apiVersion: sources.eventing.knative.dev/v1alpha1 kind: KafkaSource metadata:name: alikafka-source spec:consumerGroup: demo-consumer# Broker URL. Replace this with the URLs for your kafka cluster,# which is in the format of my-cluster-kafka-bootstrap.my-kafka-namespace:9092.bootstrapServers: 192.168.0.6x:9092,192.168.0.7x:9092,192.168.0.8x:9092topics: demosink:apiVersion: serving.knative.dev/v1alpha1kind: Servicename: event-display

說明：

• bootstrapServers: Kafka VPC訪問地址
• consumerGroup： 設(shè)置消費(fèi)組
• topics：設(shè)置Topic

創(chuàng)建完成之后，我們可以查看對應(yīng)的實例已經(jīng)運(yùn)行：

[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl get pods NAME READY STATUS RESTARTS AGE alikafka-source-k22vz-db44cc7f8-879pj 1/1 Running 0 8h

驗證

在Kafka 控制臺，選擇 topic 發(fā)送消息，注意這里的消息格式必須是 json：

我們可以看到已經(jīng)接收到了發(fā)送過來的 Kafka 消息：

[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl logs event-display-zl6m5-deployment-6bf9596b4f-8psx4 user-container? CloudEvent: valid Context Attributes,SpecVersion: 0.2Type: dev.knative.kafka.eventSource: /apis/v1/namespaces/default/kafkasources/alikafka-source#demoID: partition:7/offset:1Time: 2019-10-18T08:50:32.492ZContentType: application/jsonExtensions: key: demo Transport Context,URI: /Host: event-display.default.svc.cluster.localMethod: POST Data,{"key": "test"}

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的Knative 实战：基于阿里云 Kafka 实现消息推送的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。