|
1 2 |
ollama --version ollama version is 0.5.4 |
背景：
这几天试了一下腾讯的 cloudstudio ，每月免费1万分钟的 gpu算力，里面有不少现成的模版，用不了几下能开始使用 ollama + deepseek了，顺带试用一下vscode的continue插件扩展。
一些操作
首先看一下环境配置 gpu卡是 Tesla T4 , 显存16G， 和 google 的 Colab 一样，看来 T4 这个卡量大管饱。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
nvidia-smi Sun Jan 26 09:53:44 2025 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 525.105.17 Driver Version: 525.105.17 CUDA Version: 12.0 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |===============================+======================+======================| | 0 Tesla T4 On | 00000000:00:09.0 Off | 0 | | N/A 40C P0 27W / 70W | 6410MiB / 15360MiB | 0% Default | | | | N/A | +-------------------------------+----------------------+----------------------+ +-----------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=============================================================================| +-----------------------------------------------------------------------------+ |
关于 ollama 操作
- 看 ollama 版本
- 通过 ollama 部署本地 模型
ollama run deepseek-r1:8b
|
1 2 3 4 5 6 7 8 9 10 11 12 |
ollama run deepseek-r1:8b pulling manifest pulling manifest pulling manifest pulling 6340dc3229b0... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 4.9 GB pulling 369ca498f347... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 387 B pulling 6e4c38e1172f... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 1.1 KB pulling f4d24e9138dd... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 148 B pulling 0cb05c6e4e02... 100% ▕████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 487 B verifying sha256 digest writing manifest success |
- 和 deepseek 开聊
- 查看本地 ollama 镜像
顺便说一下，镜像仓库地址（ https://ollama.com/library）
|
1 2 3 4 |
ollama list NAME ID SIZE MODIFIED deepseek-r1:8b 28f8fd6cdc67 4.9 GB 33 minutes ago llama3:latest 365c0bd3c000 4.7 GB 2 weeks ago |
- 查看当前在跑的模型
|
1 2 3 |
ollama ps NAME ID SIZE PROCESSOR UNTIL deepseek-r1:8b 28f8fd6cdc67 6.9 GB 100% GPU 2 minutes from now |
- 试着ollama 升个级 （当前最新 0.5.7）
|
1 |
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.6 sh |
- 再次查看版本
|
1 2 3 |
ollama -v ollama version is 0.5.4 Warning: client version is 0.5.6 |
- 小坑
这里给自己挖了一个小坑，后来构建镜像时提示 ollama server 要升级，我还不会呀
|
1 2 3 |
ollama create teacher -f /workspace/img/teacher.Modelfile gathering model components Error: the ollama server must be updated to use `ollama create` with this client |
于是降级 ollama client ，保持一致后，构建镜像可以了。
- 构建镜像时用到的 modelfile 存档
|
1 2 3 4 |
FROM deepseek-r1:1.5b SYSTEM """ 你是一名小学老师，会以小学老师的方式回答7～12岁孩子提出的各种天马行空的问题。语气与口吻要生动活泼，耐心亲和；答案尽可能具体易懂，不要使用复杂词汇，尽可能少用抽象词汇；答案中要多用比喻，必须要举例说明，结合儿童动画片场景或绘本场景来解释；需要延展更多场景，不但要解释为什么，还要告诉具体行动来加深理解。 """ |
- 构建模型镜像过程
|
1 2 3 4 5 6 7 8 9 10 |
ollama create teacher -f /workspace/wj/img/teacher.Modelfile transferring model data using existing layer sha256:aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbc using existing layer sha256:369ca498f347f710d068cbb38bf0b8692dd3fa30f30ca2ff755e211c94768150 using existing layer sha256:6e4c38e1172f42fdbff13edf9a7a017679fb82b0fde415a3e8b3c31c6ed4a4e4 creating new layer sha256:5660e675707cb6d2f5c931a5ae8dc30b7b7a564d4b421bc978dcb070ec9bbc8e using existing layer sha256:f4d24e9138dd4603380add165d2b0d970bef471fac194b436ebd50e6147c6588 creating new layer sha256:6743e8b13e75b0d2601083e0feb2338e9c1bc0f65574aa7ed9ea35ca720ff05d writing manifest success |
- 试试 ollama 的 api
|
1 2 3 4 5 |
curl http://localhost:6399/api/generate -d '{ > "model": "deepseek-r1:8b", > "prompt": "为什么天空是蓝色的？", > "stream": false > }' |
输出类似如下
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
{"model":"deepseek-r1:8b","created_at":"2025-01-25T03:13:59.793308144Z","response":"\u003cthink\u003e\n 嗯，为什么天空是蓝色的呢？这个问题听起来好像很简单，但其实背后可能有很多科学原理在起作用。 首先，我应该回忆一下自己学过的关于光学和大气层的知识。\n\n 我记得阳光是由各种颜色的光组成的，分为红、橙、黄、绿、蓝、靛、紫这些颜色。 不同颜色的光波长不同，红光波长最长，紫光最短。我还记得大气层中存在一些小颗粒， 比如尘埃、水蒸气和其他气体，这些颗粒会对光的折射和散射产生影响。 \n\n当阳光进入大气层的时候，它们会与这些小颗粒发生摩尔斯反衍散射（Mie scattering）。 这种现象导致一些波长较短的蓝色光被大量散射到空气中的更高处， 而波长较长的红色光则被散射到了接近地面的区域。这样，天空看起来就呈现了蓝色。 \n\n此外，我还听说过 Rayleigh 散射，这种散射主要是由大气层中的分子 （\n\n综上所述，天空呈现蓝色是多种因素共同作用的结果，包括光的不同波长、散射类型、大气组成以及人眼敏感度等。 ","done":true,"done_reason":"stop","context":[128011, 超长的数字字段略,27479,50667,1811],"total_duration":40034950563, "load_duration":23261930,"prompt_eval_count":10," prompt_eval_duration":11000000,"eval_count":1358," eval_duration":39999000000}(base) |
- 复制模型
|
1 2 3 4 |
curl http://localhost:6399/api/copy -d '{ "source": "deepseek-r1:1.5b", "destination": "deepseek-r1:1.5b-backup" }' |
查看效果
|
1 2 3 4 5 6 |
ollama list NAME ID SIZE MODIFIED deepseek-r1:1.5b-backup a42b25d8c10a 1.1 GB 11 seconds ago deepseek-r1:1.5b a42b25d8c10a 1.1 GB 54 minutes ago deepseek-r1:8b 28f8fd6cdc67 4.9 GB 2 days ago llama3:latest 365c0bd3c000 4.7 GB 2 weeks ago |
其他还有推、拉，删除，等等。
关于vscode 扩展组件 continue
vscode插件里面直接安装好像失败了，通过 [email protected] 离线文件 安装通过。
- 修改配置
cat /root/.continue/config.json 改动了一下 api 地址，模型名等。注意⚠️ 这里的ollama 端口是6399，模型填你当前 运行的 模型名。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
{ "models": [ { "model": "deepseek-r1:8b", "provider": "deepseek", "apiBase": "http://127.0.0.1:6399/v1", "apiKey": "", "title": "deepseek-r1:8b" }, { "model": "AUTODETECT", "title": "Autodetect", "provider": "ollama" } ], "tabAutocompleteModel": { "title": "deepseek-r1:8b", "apiBase": "http://127.0.0.1:6399/v1", "provider": "deepseek", "model": "deepseek-r1:8b", "apiKey": "" }, .......... } |
- 检查一段代码，看看continue + deepseek 效果
其他，优化，检查，写评论也很方便。
文章评论