hadoop+hive+flink+hbase交互的版本兼容性
| 與Hive兼容的Hadoop版本[3] | Flink支持的Hive[1] |
| 1.x.y, 2.x.y |
|
| 1.x.y, 2.x.y |
|
| 1.x.y, 2.x.y |
|
| ?2.x.y |
|
| 2.x.y |
|
| 2.x.y |
|
| 2.x.y |
|
| 3.x.y |
|
?
Hadoop與Hbase兼容性([5]中搜索Hadoop version support matrix)
| hadoop版本 | hbase |
| Hadoop-2.7.1+ | HBase-1.4.x |
| Hadoop-2.8.5+ | HBase-1.6.x HBase-2.2.x |
| Hadoop-2.9.2+ | HBase-1.6.x HBase-2.2.x |
| Hadoop-2.10.x | HBase-1.6.x HBase-1.7.x HBase-2.3.x |
| Hadoop-3.1.1+ | HBase-2.2.x HBase-2.3.x |
| Hadoop-3.2.x | HBase-2.2.x HBase-2.3.x |
?
其他版本都和hadoop不兼容,不要去下載。
hadoop和hbase肯定是屬於同一個集羣的
?
Flink版本至少需要1.9或者以上[2],否則是不可能進行各種實驗操作的
因爲從1.9開始flink官方才開始出現(xiàn)beta版本
根據(jù)[6][7]可知,Flink1.12對hbase當前最高支持版本是2.2.x
補充:
關于Hbase和hadoop,即使參考了官方兼容列表,也會出現(xiàn)兼容性的問題,
此時需要參考[8]解決(盡量采用自己在gitee上編譯的hbase版本)
?
Reference:
[1]Hive
[2]Hive Integration Beta-1.9
[3]Hive-Downloads
[4]Hadoop、Hbase、Hive版本兼容性
[5]Apache HBase ? Reference Guide
[6]HBase SQL Connector
[7]https://repo1.maven.org/maven2/org/apache/flink/
[8]The procedure WAL relies on the ability to hsync for proper operation during component failures
總結
以上是生活随笔為你收集整理的hadoop+hive+flink+hbase交互的版本兼容性的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 如何查找 iPhone、iPad、Mac
- 下一篇: nba2k19手机版存档位置