倒序查询_mysql大表分页查询翻页优化方案
mysql分頁查詢是先查詢出來所有數據,然后跳過offset,取limit條記錄,造成了越往后的頁數,查詢時間越長
一般優化思路是轉換offset,讓offset盡可能的小,最好能每次查詢都是第一頁,也就是offset為0
查詢按id排序的情況
一、如果查詢是根據id排序的,并且id是連續的
這種網上介紹比較多,根據要查的頁數直接算出來id的范圍
比如offset=40, limit=10, 表示查詢第5頁數據,那么第5頁開始的id是41,增加查詢條件:id>40 limit 10
二、如果查詢是根據id排序的,但是id不是連續的
通常翻頁頁數跳轉都不會很大,那我們可以根據上一次查詢的記錄,算出來下一次分頁查詢對應的新的 offset和 limit,也就是離上一次查詢記錄的offset
分頁查詢一般會有兩個參數:offset和limit,limit一般是固定,假設limit=10
那為了優化offset太大的情況,每次查詢需要提供兩個額外的參數
參數lastEndId: 上一次查詢的最后一條記錄的id
參數lastEndOffset: 上一次查詢的最后一條記錄對應的offset,也就是上一次查詢的offset+limit
三,如果查詢是根據其他字段,比如一般使用的創建時間(createTime)排序
這種跟第二種情況差不多,區別是createTime不是唯一的,所以不能確定上一次最后一條記錄對應的創建時間,哪些是下一頁的,哪些是上一頁的
這時候,增加一個請求參數lastEndCount:表示上一次查詢最后一條記錄對應的創建時間,有多少條是這同一時間的,這個根據上一次的數據統計
根據第二種情況下計算出來的newOffset加上lastEndCount,就是新的offset,其他的處理方式和第二種一致
java 示例:
/**
* 如果是根據創建時間排序的分頁,根據上一條記錄的創建時間優化分布查詢
*
* @see 將會自動添加createTime排序
* @param lastEndCreateTime
* 上一次查詢的最后一條記錄的創建時間
* @param lastEndCount 上一次查詢的時間為lastEndCreateTime的數量
* @param lastEndOffset 上一次查詢的最后一條記錄對應的偏移量 offset+limit
**/
public Page page(QueryBuilder queryBuilder, Date lastEndCreateTime, Integer lastEndCount, Integer lastEndOffset,
int offset, int limit) {
FromBuilder fromBuilder = queryBuilder.from(getModelClass());
Page page = new Page<>();
int count = dao.count(fromBuilder);
page.setTotal(count);
if (count == 0) {
return page;
}
if (offset == 0 || lastEndCreateTime == null || lastEndCount == null || lastEndOffset == null) {
List list = dao.find(
SelectBuilder.selectFrom(fromBuilder.offsetLimit(offset, limit).order().desc("createTime").end()));
page.setData(list);
return page;
}
boolean isForward = offset >= lastEndOffset;
if (isForward) {
int calcOffset = offset - lastEndOffset + lastEndCount;
int calcOffsetFormEnd = count - offset - limit;
if (calcOffsetFormEnd <= calcOffset) {
isForward = false;
if (calcOffsetFormEnd > 0) {
fromBuilder.order().asc("createTime").end().offsetLimit(calcOffsetFormEnd, limit);
} else {
fromBuilder.order().asc("createTime").end().offsetLimit(0, calcOffsetFormEnd + limit);
}
} else {
fromBuilder.where().andLe("createTime
總結
以上是生活随笔為你收集整理的倒序查询_mysql大表分页查询翻页优化方案的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 应用程序_Blazor VS 传统Web
- 下一篇: 变频器怎么设置_如何利用串口调试软件与变