6 月 19 日消息，月之暗面官宣 Kimi 開放平臺 Context Caching 功能將啟動內(nèi)測，屆時將支持長文本大模型，可實現(xiàn)上下文緩存功能。

據(jù)介紹，Context Caching（上下文緩存）是由 Kimi 開放平臺提供的一項高級功能，可通過緩存重復的 Tokens 內(nèi)容，降低用戶在請求相同內(nèi)容時的成本，原理如下：

官方表示，Context Caching 可提升 API 的接口響應速度（或首字返回速度）。在規(guī)模化、重復度高的 prompt 場景，Context Caching 功能帶來的收益越大。

Context Caching 適合于用頻繁請求，重復引用大量初始上下文的情況，通過重用已緩存的內(nèi)容，可提高效率降低費用，適用業(yè)務場景如下：

• 提供大量預設內(nèi)容的 QA Bot，例如 Kimi API 小助手。

• 針對固定的文檔集合的頻繁查詢，例如上市公司信息披露問答工具。

• 對靜態(tài)代碼庫或知識庫的周期性分析，例如各類 Copilot Agent。

• 瞬時流量巨大的爆款 AI 應用，例如哄哄模擬器，LLM Riddles。

• 交互規(guī)則復雜的 Agent 類應用，例如什么值得買 Kimi+ 等。

官方后續(xù)將發(fā)布 Context Caching 功能的場景最佳實踐 / 計費方案 / 技術文檔，將保持關注，并在第一時間帶來相關報道。

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，所有文章均包含本聲明。

投訴水文 我要糾錯

總結(jié)

以上是生活随笔為你收集整理的月之暗面 Kimi 开放平台将启动 Context Caching 内测：提供预设内容 QA Bot、固定文档集合查询的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。