dblink查询_分库数据如何查询统计
分庫后的計算不能直接使用SQL;異構(gòu)庫 SQL 函數(shù)不盡相同;JAVA 硬編碼實施難度大;即使借助透明網(wǎng)關(guān)訪問遠程數(shù)據(jù)庫,分庫性能優(yōu)化也是頭疼問題。
一般常規(guī)辦法:
方法1:java硬編碼
簡單的跨庫count運算,Java部分代碼大概要寫成這樣:
…
public Connection getConnection(String drivername,String url, String username, String password) {
try {
Class.forName(drivername);
conn = DriverManager.getConnection(url, username, password);
} catch (Exception e) {
System.out.println("DBUtils.getConnection_FAILED!");
e.printStackTrace();
}
return conn;
}
…
…
Connection conn1 = DBUtils.getConnection(URL1, USER1, PASSWORD1);
Connection conn2 = DBUtils.getConnection(URL2, USER2, PASSWORD2);
…
String sql = "select count(*) c from sales";
PreparedStatement ptmt1 = conn1.prepareStatement(sql);
PreparedStatement ptmt2 = conn1.prepareStatement(sql);
…
ResultSet rs1 = ptmt1.executeQuery();
ResultSet rs2 = ptmt2.executeQuery();
…
return rs1.getInt("c") + rs2.getInt("c");
…
方法2:透明網(wǎng)關(guān)
例如oracle的dblink
帶有DBLINK的SQL,優(yōu)化起來很復雜。可以通過分析執(zhí)行計劃,利用collocated inline view,driving_site hint 等手段,來優(yōu)化這些帶有DBLINK的SQL。但這即使對于一名經(jīng)驗豐富的DBA來說,也是件很頭疼、很費勁的事。
這種情況下,如果有集算器就簡單很多,看下面這個例子:
n個庫的count運算。該運算需要在各分庫中分別進行 count,對各分庫的結(jié)果,在匯總階段要用sum求和,集算器(SPL)僅4行就可以搞定了。
AB1=n.(connect("mysql"+string(~)))//獲取n個分庫的連接2=SQL="select count(*) c from sales"//需要在分庫中執(zhí)行的SQL3=A1.(~.cursor(SQL))//在n個分庫中執(zhí)行 SQL4=A3.conjx().total(sum(c))//將各分庫算出的count值進行匯總
即使分庫數(shù)據(jù)庫為異構(gòu)的情況,集算器也可以通過SQL翻譯功能方便地進行SQL轉(zhuǎn)化,為不同數(shù)據(jù)庫提供可執(zhí)行的SQL。
利用集算器還可根據(jù)數(shù)據(jù)特征,輕松寫出具有針對性的高性能代碼,無需大量硬編碼,即可實現(xiàn)高效的算法 。諸如排序、top、分組、去重、連接等各類分庫運算,都可以輕松實現(xiàn),感興趣可以參考:分庫后的查詢統(tǒng)計
集算器還很容易嵌入到Java應(yīng)用程序中,Java如何調(diào)用SPL腳本有使用和獲得它的方法。
關(guān)于集算器安裝使用、獲得免費授權(quán)和相關(guān)技術(shù)資料,可以參見如何使用集算器。
總結(jié)
以上是生活随笔為你收集整理的dblink查询_分库数据如何查询统计的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 推荐一个小工具 -- 微信QQ防撤回
- 下一篇: vim 操作命令大全