前言

系統開發中，數據庫是非常重要的一個點。除了程序的本身的優化，如：SQL語句優化、代碼優化，數據庫的處理本身優化也是非常重要的。主從、熱備、分表分庫等都是系統發展遲早會遇到的技術問題問題。Mycat是一個廣受好評的數據庫中間件，已經在很多產品上進行使用了。下面就針對Mycat的基礎知識和應用做一總結性梳理。

一、MyCat簡單介紹

MyCat是一個開源的分布式數據庫系統，是一個實現了MySQL協議的服務器，前端用戶可以把它看作是一個數據庫代理(類似于Mysql Proxy)，用MySQL客戶端工具和命令行訪問，而其后端可以用MySQL原生協議與多個MySQL服務器通信，也可以用JDBC協議與大多數主流數據庫服務器通信，其核心功能是分表分庫，即將一個大表水平分割為N個小表，存儲在后端MySQL服務器里或者其他數據庫里。

MyCat發展到目前的版本，已經不是一個單純的MySQL代理了，它的后端可以支持MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流數據庫，也支持MongoDB這種新型NoSQL方式的存儲，未來還會支持更多類型的存儲。而在最終用戶看來，無論是哪種存儲方式，在MyCat里，都是一個傳統的數據庫表，支持標準的SQL語句進行數據的操作，這樣一來，對前端業務系統來說，可以大幅降低開發難度，提升開發速度。

Mycat可以簡單概括為

• 一個徹底開源的，面向企業應用開發的大數據庫集群
• 支持事務、ACID、可以替代MySQL的加強版數據庫
• 一個可以視為MySQL集群的企業級數據庫，用來替代昂貴的Oracle集群
• 一個融合內存緩存技術、NoSQL技術、HDFS大數據的新型SQL Server
• 結合傳統數據庫和新型分布式數據倉庫的新一代企業級數據庫產品
• 一個新穎的數據庫中間件產品

Mycat關鍵特性

• 支持SQL92標準
• 遵守Mysql原生協議，跨語言，跨平臺，跨數據庫的通用中間件代理
• 基于心跳的自動故障切換，支持讀寫分離，支持MySQL主從，以及galera cluster集群
• 支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster
• 基于Nio實現，有效管理線程，高并發問題
• 支持數據的多片自動路由與聚合，支持sum,count,max等常用的聚合函數,支持跨庫分頁
• 支持單庫內部任意join，支持跨庫2表join，甚至基于caltlet的多表join
• 支持通過全局表，ER關系的分片策略，實現了高效的多表join查詢
• 支持多租戶方案
• 支持分布式事務(弱xa)
• 支持全局序列號，解決分布式下的主鍵生成問題
• 分片規則豐富，插件化開發，易于擴展
• 強大的web，命令行監控
• 支持前端作為mysq通用代理，后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉
• 支持密碼加密
• 支持服務降級
• 支持IP白名單
• 支持SQL黑名單、sql注入攻擊攔截
• 支持分表(1.6)
• 集群基于ZooKeeper管理，在線升級，擴容，智能優化，大數據處理(2.0開發版)

二、為什么要用MyCat

這里要先搞清楚Mycat和MySQL的區別(Mycat的核心作用)。我們可以把上層看作是對下層的抽象，例如操作系統是對各類計算機硬件的抽象。那么我們什么時候需要抽象？假如只有一種硬件的時候，我們需要開發一個操作系統嗎？再比如一個項目只需要一個人完成的時候不需要leader，但是當需要幾十人完成時，就應該有一個管理者，發揮溝通協調等作用，而這個管理者對于他的上層來說就是對項目組的抽象。

同樣的，當我們的應用只需要一臺數據庫服務器的時候我們并不需要Mycat，而如果你需要分庫甚至分表，這時候應用要面對很多個數據庫的時候，這個時候就需要對數據庫層做一個抽象，來管理這些數據庫，而最上面的應用只需要面對一個數據庫層的抽象或者說數據庫中間件就好了，這就是Mycat的核心作用。所以可以這樣理解：數據庫是對底層存儲文件的抽象，而Mycat是對數據庫的抽象。

三、Mycat工作原理

Mycat的原理并不復雜，復雜的是代碼。Mycat的原理中最重要的一個動詞是“攔截”，它攔截了用戶發送過來的SQL語句，首先對SQL語句做了一些特定的分析：如分
片分析、路由分析、讀寫分離分析、緩存分析等，然后將此SQL發往后端的真實數據庫，并將返回的結果做適當的處理，最終再返回給用戶。

上述圖片里，Orders表被分為三個分片datanode(簡稱dn)，這三個分片是分布在兩臺MySQL Server上(DataHost)，即datanode=database@datahost方式，因此你可以用一臺到N臺服務器來分片，分片規則為(sharding rule)典型的字符串枚舉分片規則，一個規則的定義是分片字段(sharding column)+分片函數(rule function)，這里的分片字段為prov而分片函數為字符串枚舉方式。

當Mycat收到一個SQL時，會先解析這個SQL，查找涉及到的表，然后看此表的定義，如果有分片規則，則獲取到SQL里分片字段的值，并匹配分片函數，得到該SQL對應的分片列表，然后將SQL發往這些分片去執行，最后收集和處理所有分片返回的結果數據，并輸出到客戶端。以select * from Orders where prov=?語句為例，查到prov=wuhan，按照分片函數，wuhan返回dn1，于是SQL就發給了MySQL1，去取DB1上的查詢結果，并返回給用戶。

如果上述SQL改為select * from Orders where prov in (‘wuhan’,‘beijing’)，那么，SQL就會發給MySQL1與MySQL2去執行，然后結果集合并后輸出給用戶。但通常業務中我們的SQL會有Order By 以及Limit翻頁語法，此時就涉及到結果集在Mycat端的二次處理，這部分的代碼也比較復雜，而最復雜的則屬兩個表的Jion問題，為此，Mycat提出了創新性的ER分片、全局表、HBT(Human Brain Tech)人工智能的Catlet、以及結合Storm/Spark引擎等十八般武藝的解決辦法，從而成為目前業界最強大的方案，這就是開源的力量！

四、Mycat應用場景

• Mycat發展到現在，適用的場景已經很豐富，而且不斷有新用戶給出新的創新性的方案，以下是幾個典型的應用場景：
• 單純的讀寫分離，此時配置最為簡單，支持讀寫分離，主從切換；
• 分表分庫，對于超過1000萬的表進行分片，最大支持1000億的單表分片；
• 多租戶應用，每個應用一個庫，但應用程序只連接Mycat，從而不改造程序本身，實現多租戶化；
• 報表系統，借助于Mycat的分表能力，處理大規模報表的統計；
• 替代Hbase，分析大數據；
• 作為海量數據實時查詢的一種簡單有效方案，比如100億條頻繁查詢的記錄需要在3秒內查詢出來結果，除了基于主鍵的查詢，還可能存在范圍查詢或其他屬性查詢，此時Mycat可能是最簡單有效的選擇；
• Mycat長期路線圖；
• 強化分布式數據庫中間件的方面的功能，使之具備豐富的插件、強大的數據庫智能優化功能、全面的系統監控能力、以及方便的數據運維工具，實現在線數據擴容、遷移等高級功能；
• 進一步挺進大數據計算領域，深度結合Spark Stream和Storm等分布式實時流引擎，能夠完成快速的聚表關聯、排序、分組聚合等 OLAP方向的能力，并集成一些熱門常用的實時分析算法，讓工程師以及DBA們更容易用Mycat實現一些高級數據分析處理功能。
• 不斷強化Mycat開源社區的技術水平，吸引更多的IT技術專家，使得Mycat社區成為中國的Apache，并將Mycat推到Apache基金會，成為國內頂尖開源項目，最終能夠讓一部分志愿者成為專職的Mycat開發者，榮耀跟實力一起提升。

五、Mycat不適合的應用場景

• 設計使用Mycat時有非分片字段查詢，請慎重使用Mycat，可以考慮放棄！
• 設計使用Mycat時有分頁排序，請慎重使用Mycat，可以考慮放棄！
• 設計使用Mycat時如果要進行表JOIN操作，要確保兩個表的關聯字段具有相同的數據分布，否則請慎重使用Mycat，可以考慮放棄！
• 設計使用Mycat時如果有分布式事務，得先看是否得保證事務得強一致性，否則請慎重使用Mycat，可以考慮放棄！

需要注意: 在生產環境中, Mycat節點最好使用雙節點, 即雙機熱備環境, 防止Mycat這一層出現單點故障. 可以使用的高可用集群方式有: Keepalived+Mycat+Mysql, Keepalived+LVS+Mycat+Mysql, Keepalived+Haproxy+Mycat+Mysql

六：使用mycat配置mysql讀寫分離

1、準備工作

(1)mysql節點的及mycat節點的準備

(2)拓撲結構

2、配置主從同步

(1)配置主庫

# 在主庫上創建用于復制的用戶mysql> CREATE USER 'repl'@'192.168.16.%' IDENTIFIED BY 'replication';?? mysql> GRANT REPLICATION SLAVE ON *.* TO 'repl'@'192.168.16.%';??????? # 配置主庫的server-id及開啟binglog,配置完成后需要重啟mysql[mysqld]log-bin=mysql-bin server-id=1# mysql操作表時不區分大小寫，不配置使用mycat時可能會報錯lower_case_table_names=1? ??# 設置字符集及需要同步的庫replicate-do-db=coursecharacter-set-server=utf8init_connect='SET AUTOCOMMIT=0;set names utf8'# 鎖定所有的表，防止寫入mysql> FLUSH TABLES WITH READ LOCK;# 獲取當前日志信息mysql> SHOW MASTER STATUSG*************************** 1. row ***************************???????????? File: mysql-bin.000001???????? Position: 1594# 將主庫上的數據導出并傳到從庫~]# mysqldump --all-databases --master-data -u root -p > dbdump.db~]# scp dbdump.db root@192.168.16.152:/data/mysql/data# 釋放主庫鎖mysql> unlock tables;

(2)配置從庫

# 配置從庫的server-id并重啟重庫[mysqld]server-id=2# 設置字符集及需要同步的庫replicate-do-db=coursecharacter-set-server=utf8init_connect='SET AUTOCOMMIT=0;set names utf8'# mysql操作表時不區分大小寫，不配置使用mycat時可能會報錯lower_case_table_names=1? ?# 在從庫上導入主庫導出的數據~]# mysql -uroot -p reset slave;mysql> CHANGE MASTER TO??? -> MASTER_HOST='192.168.16.151',??? -> MASTER_PORT=3306,??? -> MASTER_USER='repl',??? -> MASTER_PASSWORD='replication',??? -> MASTER_LOG_FILE='mysql-bin.000003',??? -> MASTER_LOG_POS=194;mysql> start slave;

3、配置mycat

(1)配置schema.xml文件

Schema.xml文件的配置內容如下

<?xml version="1.0"?>? ??? ? ? ??? ??? ??? ????????? ??????? select user()??????? ??????? ??????????? ??????????? ??????? ???

(2)配置server.xml

通過server.xml定義登錄mycat的庫以及登錄用戶，定義的邏輯庫名與schema.xml中schema標簽中的name字段定義的庫名要相同。添加定義一個登錄用戶的配置文件如下：

??? ????????? ???????? dayi123????????? ??????? testdb???

(3)使用mycat

由于沒有使用分片功能所以不用配置rule.xml，配置完成后重啟mycat后即可使用。

# 重啟mycat]# ./mycat restart# 登錄mycat[root@MYCAT bin]# mysql -h192.168.16.155 -uroot -p -P8066?? # 通過mycat操作數據庫mysql> use TESTDBDatabase changedmysql> show tables;+------------------+| Tables_in_course |+------------------+| course?????????? || dept???????????? || score?????? ?????|| student????????? |

七、管理mycat

Mycat安裝完成后默認會監聽兩個端口，8066為數據端口，9066為管理端口登錄方式同mysal登錄方式類似。

# 登錄mycat管理端口]# mysql -h127.0.0.1 -uuser -puser -P9066

Mycat的主要管理命令如下：

• show @@help; 查看所有的命令
• reload @@config_all; 該命令用于更新配置文件
• show @@database; 該命令用于顯示MyCAT的數據庫的列表，對應schema.xml配置文件的schema子節點。
• show @@datanode; 該命令用于顯示MyCAT的數據節點的列表，對應schema.xml配置文件的dataNode節點
• show @@heartbeat：該命令用于報告心跳狀態
• show @@connection：該命令用于獲取Mycat的前端連接狀態，即應用與mycat的連接
• kill @@connection id,id,id ：用于殺掉連接。
• show @@cache; 查看mycat緩存；SQLRouteCache為sql路由緩存。 TableID2DataNodeCache為緩存表主鍵與分片對應關系。 ER_SQL2PARENTID ：為緩存ER分片中子表與父表關系。
• show @@datasource; 查看數據源狀態，如果配置了主從，或者多主可以切換。
• switch @@datasource name:index：切換數據源，name為schema中配置的dataHost 中name。index為schema中配置的dataHost 的writeHost index 位標(按照配置順序從上到下的一次順序，從0開始)。

以上就是小編整理的MyCat簡介，只是個人的想法，有哪里不準確的地方，還請各位大佬多多指出，咱們共同學習進步~~~

感覺文章整理的對自己有幫助的朋友，請關注小編，你們的支持就是小編最大的動力~~~

總結

以上是生活随笔為你收集整理的mycat 分表子查询_还不懂MyCat？一文带你深入剖析，实现MySQL读写分离的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。