實(shí)現(xiàn)了使用docker運(yùn)行的ollama作為VSC或者其他IDE的編程助手,實(shí)現(xiàn)本地化的AI推理

環(huán)境

debian12

docker

ollama

環(huán)境配置

ollama

參考 ollama在docker中使用 可以實(shí)現(xiàn)在docker中使用ollama

• 支持GPU,但是需要配置Nvidia container toolkit

使用指令啟動服務(wù)

docker run --rm -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

如果出現(xiàn)端口被占用的情況,就更換一個(gè)端口

當(dāng)ollama在docker中啟動的時(shí)候,啟動指令就是ollama serve

我的11434端口處于占用,所以,使用了11432端口

測試ollama是否啟用

使用docker ps指令檢查容器的狀態(tài)

在瀏覽器中打開對于的IP+port可以檢查ollama serve是否啟動,處于可以被外部訪問的狀態(tài).

模型

參考 本地化部署codegeex4

模型下載

參考 ollama的codegeex4下載

ollama pull codegeex4

測試模型

終端訪問

使用docker exec -it ollama /bin/bash進(jìn)入容器內(nèi)部

在終端中運(yùn)行模型測試效果

ollama run codegeex4

效果如下

API調(diào)用

參考 API官方文檔

curl http://localhost:11434/api/chat -d '{

  "model": "codegeex4",

  "messages": [

    {

      "role": "user",

      "content": "寫一段JS代碼,輸出hello world!"

    }

  ]

}'

效果如圖

VSC設(shè)置

參考github的配置方式

我設(shè)置地址為http://192.168.1.106:11432/v1/chat/completions, 模型名字為codegeex4

之后會顯示已連接代表成功

測試效果

成功可以補(bǔ)全代碼了

• 對性能要求不高, 感覺很適合本地化部署和使用

總結(jié)

以上是生活随笔為你收集整理的docker部署codegeex4实现本地IDE编程助手的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。