csv-＞Flink SQL-＞Clickhouse(纯DDL形式)
生活随笔
收集整理的這篇文章主要介紹了
csv-＞Flink SQL-＞Clickhouse(纯DDL形式)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
概述
本文是對[1]的復現
如果照搬[1]運行，會發現
①沒有報錯
②Clickhouse也沒有數據寫入，
提交阿里云工單，扯皮了半天也不愿意幫忙解決
?
今晚吃飯的時候，有了兩個想法:
①會不會是時區問題(檢查流程后，發現并不是流寫入，否定了這個猜想)
②SQL比較矯情，不如試試Flink SQL?
?
Flink寫入Clickhouse的方式
根據[1][2]
| ? | 支持的Flink版本 |
| flink-jdbc | ≤1.10.1? |
| flink-connector-jdbc | ≥1.11.0 |
| flink-connector-clickhouse | 我只測試了1.11的依賴包 與1.12的集群 混用的情況。 |
?
環境
| 組件 | 版本 |
| Ubuntu | 20.04 |
| Flink(HA) | 1.12.0 |
| Zookeeper | 3.6.0 |
| Clickhouse | 20.4.5.36 |
| 依賴包版本 (注意同步到Flink集群各個節點的$FLINK_HOME/lib下面) | flink-connector-clickhouse-1.11.0.jar |
?
流程
?
詳細實驗步驟
?
| 操作步驟 | 操作內容 | 實驗效果 |
| ① | 準備好csv | - |
| ② | Flink SQL Client中建立source | - |
| ③ | Flink SQL Client中建立sink | - |
| ④ | Clickhouse客戶端中建立d_sink_table | - |
| ⑤ | Flink SQL Client中 通過insert語句提交任務到flink集群 | |
| ⑥ | Clickhouse客戶端中查看flink寫入的數據 |
上述表格中的完整操作內容如下:
https://gitee.com/appleyuchi/Flink_Code/blob/master/FLINK讀寫各種數據源/寫入ClickHouse/csv_flink_clickhouse.sql
?
注意
①注意關閉防火墻，iptable/ufw/firewalld我不知道你用的哪種防火墻，請關掉。
②這個實驗在跑通前，其實我失敗了很多次，根據Exceptions中的信息來排查即可。
?
Reference:
[1]使用flink-connector-clickhouse寫入ClickHouse
[2]使用JDBC connector寫入ClickHouse
總結
以上是生活随笔為你收集整理的csv-＞Flink SQL-＞Clickhouse(纯DDL形式)的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 塞尔达耐火凤蝶哪里买 为什么游戏《塞尔达
- 下一篇： Flink的UDF写法整理