Skip to content

Commit

Permalink
发布博客,时间:2024/11/08 14:09:03
Browse files Browse the repository at this point in the history
  • Loading branch information
whp98 committed Nov 8, 2024
1 parent 2d15a74 commit 402411e
Showing 1 changed file with 41 additions and 2 deletions.
43 changes: 41 additions & 2 deletions docs/AI相关/Docker中跑Ollama.md
Original file line number Diff line number Diff line change
Expand Up @@ -78,10 +78,49 @@ services:
```shell
docker-compose up -d
```
## 四、ollama 模型下载

## 四、访问服务
vscode code 找到容器ollama 选择attach shell

运行如下命令下载qwen2.5 7b模型 并运行测试

```shell
ollama pull qwen2.5:7b
ollama run qwen2.5:7b

#输入 /bye 结束测试
```

```text
root@6d7fdb9b0847:/# ollama pull qwen2.5:7b
pulling manifest
pulling 2bada8a74506... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 4.7 GB
pulling 66b9ea09bd5b... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 68 B
pulling eb4402837c78... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.5 KB
pulling 832dd9e00a68... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 11 KB
pulling 2f15b3218f05... 100% ▕█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
root@6d7fdb9b0847:/# ollama run qwen2.5:7b
>>> hello
Hello! How can I assist you today?
>>> 哈哈哈
哈哈,看来你很高兴!有什么有趣的事情想要和我分享吗?或者你需要帮助解决什么问题呢?
>>> exit
好的,再见!如果你需要任何帮助,随时欢迎回来咨询。祝你有一个愉快的一天!
>>> /bye
root@6d7fdb9b0847:/#
```


## 五、访问服务

浏览器访问 http://localhost:28899 访问openchatui

配置ollama api地址为 http://host.docker.internal:11434

ollama 服务地址 http://localhost:11434 访问ollama api
ollama 服务地址 http://localhost:11434 访问ollama api 可用于沉浸式翻译

0 comments on commit 402411e

Please sign in to comment.