GitHub：https://github.com/milvus-io/milvus

Milvus 能夠幫助用戶輕松應對海量非結(jié)構(gòu)化數(shù)據(jù)（圖片/視頻/語音/文本）檢索。單節(jié)點 Milvus 可以在秒內(nèi)完成十億級的向量搜索，分布式架構(gòu)亦能滿足用戶的水平擴展需求。

18位貢獻者；3,600次commit；5個release迭代；近一年的深入調(diào)研與密集開發(fā)；以及無數(shù)根頭發(fā)，共同見證了Milvus的研發(fā)歷程。

我們將 Milvus 全面開源，希望幫助更多的用戶應對非結(jié)構(gòu)數(shù)據(jù)和AI帶來的機遇與挑戰(zhàn)。

數(shù)據(jù)智能的挑戰(zhàn)

隨著信息化技術(shù)的不斷進步，人們正經(jīng)歷爆炸式的數(shù)據(jù)增長。非結(jié)構(gòu)數(shù)據(jù)（如圖片、視頻、語音和文字）比傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)增長更快，數(shù)據(jù)量更大。之所以稱其為非結(jié)構(gòu)數(shù)據(jù)，是因為這些數(shù)據(jù)無法以傳統(tǒng)方式進行處理與價值挖掘。如何從非結(jié)構(gòu)數(shù)據(jù)中提取有價值的內(nèi)容與信息，已經(jīng)逐漸成為企業(yè)進一步挖掘數(shù)據(jù)價值的關(guān)鍵。

非結(jié)構(gòu)數(shù)據(jù)的向量化

深度學習目前被認為是最有效的非結(jié)構(gòu)數(shù)據(jù)處理方式之一。非結(jié)構(gòu)數(shù)據(jù)經(jīng)過深度學習模型的處理，會被向量化。于是，海量非結(jié)構(gòu)數(shù)據(jù)的分析處理被轉(zhuǎn)化為對海量向量的近似搜索。雖然處理圖片，視頻，語音和文字的深度學習模型各不相同，但最終的向量處理需求卻是相同的。因此，向量搜索引擎是AI應用的基石之一。

AI時代非結(jié)構(gòu)數(shù)據(jù)分析處理平臺

Milvus，開源AI基礎(chǔ)組件

Milvus是一個開源的分布式向量搜索引擎。Milvus不但集成了業(yè)界成熟的向量相似度搜索技術(shù)，更在此基礎(chǔ)上對高性能計算框架進行了大幅度優(yōu)化。Milvus為AI應用開發(fā)者帶來了如下價值：

高性能

Milvus為海量向量搜索場景而設(shè)計。Milvus不但集成了業(yè)界成熟的向量搜索技術(shù)如Faiss和SPTAG，Milvus也實現(xiàn)了高效的NSG圖索引。同時，Milvus團隊針對Faiss IVF索引進行了深度優(yōu)化，實現(xiàn)了CPU與多GPU的融合計算，大幅提高了向量搜索性能。Milvus可以在單機環(huán)境下完成SIFT1b十億級向量搜索任務。 更多信息請參考 GitHub 文檔：https://github.com/milvus-io/bootcamp/blob/master/docs/milvus101/hardware_platform.md

智能索引

針對不同應用場景，Milvus提供多種向量相似度計算方式和索引類型。Milvus目前支持主流的歐式距離、點積、余弦相似度（未來Milvus會集成更多的相似度計算方式）。同時，Milvus提供適用于n:N查詢的量化索引，適用于1:N查詢的圖索引或樹圖混合索引。

易于開發(fā)

Milvus為用戶提供向量數(shù)據(jù)管理服務，以及集成的應用開發(fā)SDK（Java/Python/C++/RESTful API）。相比直接調(diào)用Faiss和SPTAG那樣的程序庫，Milvus上的應用開發(fā)更便捷，數(shù)據(jù)管理更簡單。

計算成本可控

Milvus不僅提供傳統(tǒng)的CPU計算方案，通過引入GPU等高算力ASIC，Milvus可以有效降低大規(guī)模向量搜索所需的硬件規(guī)模，從而降低系統(tǒng)的成本。

應用場景廣泛

Milvus向量搜索引擎可以對接包括圖片識別，視頻處理，聲音識別，自然語言處理等深度學習模型。為向量化后的非結(jié)構(gòu)數(shù)據(jù)提供搜索分析服務。

Milvus整體架構(gòu)

Milvus索引類型：

• IVF：Faiss IVF（CPU計算，或GPU計算），Milvus深度優(yōu)化的IVF（CPU/GPU混合計算）
• Graph：Milvus實現(xiàn)的NSG索引
• Tree & Graph：集成微軟SPTAG
• IVF & Graph：Milvus實現(xiàn)中

歡迎加入Milvus社區(qū)

• 主頁：https://milvus.io/
• Github：https://github.com/milvus-io/milvus
• 知乎：https://zhuanlan.zhihu.com/milvus
• Slack：https://milvusio.slack.com
• Twitter：https://twitter.com/milvusio
• Facebook：https://www.facebook.com/io.milvus.5

總結(jié)

以上是生活随笔為你收集整理的向量距离计算 java_Milvus 向量搜索引擎开源了！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。