?

MongoDB · 引擎特性 · MongoDB索引原理
數據庫內核月報
原文鏈接 http://mysql.taobao.org/monthly/2018/09/06/

為什么需要索引？
當你抱怨MongoDB集合查詢效率低的時候，可能你就需要考慮使用索引了，為了方便后續介紹，先科普下MongoDB里的索引機制（同樣適用于其他的數據庫比如mysql）。

mongo-9552:PRIMARY> db.person.find()
{ "_id" : ObjectId("571b5da31b0d530a03b3ce82"), "name" : "jack", "age" : 19 }
{ "_id" : ObjectId("571b5dae1b0d530a03b3ce83"), "name" : "rose", "age" : 20 }
{ "_id" : ObjectId("571b5db81b0d530a03b3ce84"), "name" : "jack", "age" : 18 }
{ "_id" : ObjectId("571b5dc21b0d530a03b3ce85"), "name" : "tony", "age" : 21 }
{ "_id" : ObjectId("571b5dc21b0d530a03b3ce86"), "name" : "adam", "age" : 18 }
當你往某各個集合插入多個文檔后，每個文檔在經過底層的存儲引擎持久化后，會有一個位置信息，通過這個位置信息，就能從存儲引擎里讀出該文檔。
比如mmapv1引擎里，位置信息是『文件id + 文件內offset 』， 在wiredtiger存儲引擎（一個KV存儲引擎）里，位置信息是wiredtiger在存儲文檔
時生成的一個key，通過這個key能訪問到對應的文檔；為方便介紹，統一用pos(position的縮寫)來代表位置信息。

比如上面的例子里，person集合里包含插入了4個文檔，假設其存儲后位置信息如下(為方便描述，文檔省去_id字段)

位置信息 文檔
pos1 {“name” : “jack”, “age” : 19 }
pos2 {“name” : “rose”, “age” : 20 }
pos3 {“name” : “jack”, “age” : 18 }
pos4 {“name” : “tony”, “age” : 21}
pos5 {“name” : “adam”, “age” : 18}
假設現在有個查詢 db.person.find( {age: 18} ), 查詢所有年齡為18歲的人，這時需要遍歷所有的文檔（『全表掃描』），根據位置信息讀出文檔，
對比age字段是否為18。當然如果只有4個文檔，全表掃描的開銷并不大，但如果集合文檔數量到百萬、甚至千萬上億的時候，對集合進行全表掃描開銷
是非常大的，一個查詢耗費數十秒甚至幾分鐘都有可能。

如果想加速 db.person.find( {age: 18} ），就可以考慮對person表的age字段建立索引。

db.person.createIndex( {age: 1} ) // 按age字段創建升序索引
建立索引后，MongoDB會額外存儲一份按age字段升序排序的索引數據，索引結構類似如下，索引通常采用類似btree的結構持久化存儲，以保證從索引里快速
（O(logN)的時間復雜度）找出某個age值對應的位置信息，然后根據位置信息就能讀取出對應的文檔。

age 位置信息
18 pos3
18 pos5
19 pos1
20 pos2
21 pos4
簡單的說，索引就是將文檔按照某個（或某些）字段順序組織起來，以便能根據該字段高效的查詢。有了索引，至少能優化如下場景的效率：

查詢，比如查詢年齡為18的所有人
更新/刪除，將年齡為18的所有人的信息更新或刪除，因為更新或刪除時，需要根據條件先查詢出所有符合條件的文檔，所以本質上還是在優化查詢
排序，將所有人的信息按年齡排序，如果沒有索引，需要全表掃描文檔，然后再對掃描的結果進行排序
眾所周知，MongoDB默認會為插入的文檔生成_id字段（如果應用本身沒有指定該字段），_id是文檔唯一的標識，為了保證能根據文檔id快遞查詢文檔，
MongoDB默認會為集合創建_id字段的索引。

mongo-9552:PRIMARY> db.person.getIndexes() // 查詢集合的索引信息
[
{
"ns" : "test.person", // 集合名
"v" : 1, // 索引版本
"key" : { // 索引的字段及排序方向
"_id" : 1 // 根據_id字段升序索引
},
"name" : "_id_" // 索引的名稱
}
]
MongoDB索引類型
MongoDB支持多種類型的索引，包括單字段索引、復合索引、多key索引、文本索引等，每種類型的索引有不同的使用場合。

單字段索引 （Single Field Index）
db.person.createIndex( {age: 1} )?
上述語句針對age創建了單字段索引，其能加速對age字段的各種查詢請求，是最常見的索引形式，MongoDB默認創建的id索引也是這種類型。

{age: 1} 代表升序索引，也可以通過{age: -1}來指定降序索引，對于單字段索引，升序/降序效果是一樣的。

復合索引 (Compound Index)
復合索引是Single Field Index的升級版本，它針對多個字段聯合創建索引，先按第一個字段排序，第一個字段相同的文檔按第二個字段排序，
依次類推，如下針對age, name這2個字段創建一個復合索引。

db.person.createIndex( {age: 1, name: 1} )?
上述索引對應的數據組織類似下表，與{age: 1}索引不同的時，當age字段相同時，在根據name字段進行排序，所以pos5對應的文檔排在pos3之前。

age,name 位置信息
18,adam pos5
18,jack pos3
19,jack pos1
20,rose pos2
21,tony pos4
復合索引能滿足的查詢場景比單字段索引更豐富，不光能滿足多個字段組合起來的查詢，比如db.person.find( {age： 18， name: "jack"} )，也能滿
足所以能匹配符合索引前綴的查詢，這里{age: 1}即為{age: 1, name: 1}的前綴，所以類似db.person.find( {age： 18} )的查詢也能通過該索引來加速；
但db.person.find( {name: "jack"} )則無法使用該復合索引。如果經常需要根據『name字段』以及『name和age字段組合』來查詢，則應該創建如下的復合索引

db.person.createIndex( {name: 1, age: 1} )?
除了查詢的需求能夠影響索引的順序，字段的值分布也是一個重要的考量因素，即使person集合所有的查詢都是『name和age字段組合』（指定特定的name和age），字段的順序也是有影響的。

age字段的取值很有限，即擁有相同age字段的文檔會有很多；而name字段的取值則豐富很多，擁有相同name字段的文檔很少；顯然先按name字段查找，再在
相同name的文檔里查找age字段更為高效。

多key索引 （Multikey Index）
當索引的字段為數組時，創建出的索引稱為多key索引，多key索引會為數組的每個元素建立一條索引，比如person表加入一個habbit字段（數組）用于描述
興趣愛好，需要查詢有相同興趣愛好的人就可以利用habbit字段的多key索引。

{"name" : "jack", "age" : 19, habbit: ["football, runnning"]}
db.person.createIndex( {habbit: 1} ) // 自動創建多key索引
db.person.find( {habbit: "football"} )
其他類型索引
哈希索引（Hashed Index）是指按照某個字段的hash值來建立索引，目前主要用于MongoDB Sharded Cluster的Hash分片，hash索引只能滿足字段完全匹配的查詢，不能滿足范圍查詢等。

地理位置索引（Geospatial Index）能很好的解決O2O的應用場景，比如『查找附近的美食』、『查找某個區域內的車站』等。

文本索引（Text Index）能解決快速文本查找的需求，比如有一個博客文章集合，需要根據博客的內容來快速查找，則可以針對博客內容建立文本索引。

索引額外屬性
MongoDB除了支持多種不同類型的索引，還能對索引定制一些特殊的屬性。

唯一索引 (unique index)：保證索引對應的字段不會出現相同的值，比如_id索引就是唯一索引
TTL索引：可以針對某個時間字段，指定文檔的過期時間（經過指定時間后過期 或 在某個時間點過期）
部分索引 (partial index): 只針對符合某個特定條件的文檔建立索引，3.2版本才支持該特性
稀疏索引(sparse index): 只針對存在索引字段的文檔建立索引，可看做是部分索引的一種特殊情況
索引優化
db profiling
MongoDB支持對DB的請求進行profiling，目前支持3種級別的profiling。

0： 不開啟profiling
1： 將處理時間超過某個閾值(默認100ms)的請求都記錄到DB下的system.profile集合 （類似于mysql、redis的slowlog）
2： 將所有的請求都記錄到DB下的system.profile集合（生產環境慎用）
通常，生產環境建議使用1級別的profiling，并根據自身需求配置合理的閾值，用于監測慢請求的情況，并及時的做索引優化。

如果能在集合創建的時候就能『根據業務查詢需求決定應該創建哪些索引』，當然是最佳的選擇；但由于業務需求多變，要根據實際情況不斷的進行優化。索引并不是越多越好，集合的索引太多，會影響寫入、更新的性能，每次寫入都需要更新所有索引的數據；所以你system.profile里的慢請求可能是索引建立的不夠導致，也可能是索引過多導致。

查詢計劃
索引已經建立了，但查詢還是很慢怎么破？這時就得深入的分析下索引的使用情況了，可通過查看下詳細的查詢計劃來決定如何優化。通過執行計劃可以看出如下問題

根據某個/些字段查詢，但沒有建立索引
根據某個/些字段查詢，但建立了多個索引，執行查詢時沒有使用預期的索引。
建立索引前，db.person.find( {age： 18} )必須執行COLLSCAN，即全表掃描。

mongo-9552:PRIMARY> db.person.find({age: 18}).explain()
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "test.person",
"indexFilterSet" : false,
"parsedQuery" : {
"age" : {
"$eq" : 18
}
},
"winningPlan" : {
"stage" : "COLLSCAN",
"filter" : {
"age" : {
"$eq" : 18
}
},
"direction" : "forward"
},
"rejectedPlans" : [ ]
},
"serverInfo" : {
"host" : "localhost",
"port" : 9552,
"version" : "3.2.3",
"gitVersion" : "b326ba837cf6f49d65c2f85e1b70f6f31ece7937"
},
"ok" : 1
}
建立索引后，通過查詢計劃可以看出，先進行[IXSCAN]((https://docs.mongodb.org/manual/reference/explain-results/#queryplanner)(從索引中查找)，然后FETCH，讀取出滿足條件的文檔。

mongo-9552:PRIMARY> db.person.find({age: 18}).explain()
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "test.person",
"indexFilterSet" : false,
"parsedQuery" : {
"age" : {
"$eq" : 18
}
},
"winningPlan" : {
"stage" : "FETCH",
"inputStage" : {
"stage" : "IXSCAN",
"keyPattern" : {
"age" : 1
},
"indexName" : "age_1",
"isMultiKey" : false,
"isUnique" : false,
"isSparse" : false,
"isPartial" : false,
"indexVersion" : 1,
"direction" : "forward",
"indexBounds" : {
"age" : [
"[18.0, 18.0]"
]
}
}
},
"rejectedPlans" : [ ]
},
"serverInfo" : {
"host" : "localhost",
"port" : 9552,
"version" : "3.2.3",
"gitVersion" : "b326ba837cf6f49d65c2f85e1b70f6f31ece7937"
},
"ok" : 1
}

轉載于:https://www.cnblogs.com/williamjie/p/10119402.html

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的MongoDB · 引擎特性 · MongoDB索引原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。