瑶瑶系列瑶瑶系列
💬本教程所用到的软件包+deepseek使用技术资源包赢得形状:
一、部署Ollama(多平台选拔装配)
Ollama 接济 Linux/macOS/Windows,需左证系统选拔装配形状。
1. Linux 系统部署适用系统:Ubuntu/Debian/CentOS 等
设施:
一键装配:
curl -fsSL https://ollama.com/install.sh | sh
权限确立(幸免 sudo 运行):
sudo usermod -aG ollama $USER # 将面前用户加入ollama组newgrp ollama # 刷新用户组
启动功绩:
systemctl start ollama # 启动功绩systemctl enable ollama # 开机自启
考证装配:
ollama --version # 输出书本号即生效2. macOS 系统部署
设施:
一键装配:
curl -fsSL https://ollama.com/install.sh | sh
启动功绩:
ollama serve # 前台运行(调试用)
或通过 Launchd 后台功绩:
brew services start ollama # 通过Homebrew科罚
3. Windows 系统部署
前置条款:
Windows 10/11 64位
已装配 WSL2(保举Ubuntu刊行版)
设施:
下载装配包:Ollama Windows Installer
下载后进行双击装配
考证装配:
ollama list # 检验已装配模子
图片瑶瑶系列
💬奈何确立云尔 Ollama 功绩?
默许情况下,Ollama 功绩仅在腹地运行,分离外提供功绩。要使 Ollama 功绩大略对外提供功绩,你需要诞生以下两个环境变量:
要是 Ollama 行为 systemd 功绩运行,应使用 systemctl 诞生环境变量:
调用 systemctl edit ollama.service 裁剪 systemd 功绩确立。这将翻开一个裁剪器。
在 [Service] 部分下为每个环境变量添加一溜 Environment:
国内2018自拍视频在线[Service]Environment="OLLAMA_HOST=0.0.0.0"Environment="OLLAMA_ORIGINS=*"
再行加载 systemd 并重启 Ollama:
systemctl daemon-reloadsystemctl restart ollama二、拉取并运行DeepSeek模子
官方模子库参考:Ollama DeepSeek-R1 页面
图片
1. 拉取模子ollama pull deepseek-r1 # 官方保举模子称呼
模子规格选项(按需选拔):
ollama pull deepseek-r1:7b # 7B参数基础版ollama pull deepseek-r1:33b # 33B参数进阶版(需更高显存)
图片
2. 运行模子ollama run deepseek-r1
考证交互:
>>> 你好,请用中语报告你好!我是DeepSeek-R1,很欢悦为您提供匡助!
三、不同硬件场景确立诠释
左证硬件资源选拔运行模式:
场景1:纯CPU运行适用情况:无寥寂显卡或显存不及
确立优化:
收尾线程数(幸免资源破钞):
OLLAMA_NUM_THREADS=4 ollama run deepseek-r1 # 收尾4线程
使用量化模子(减少内存占用):
ollama pull deepseek-r1:7b-q4_0 # 4-bit量化版
内存条款:
7B模子:至少8GB称心内存
33B模子:至少32GB称心内存
场景2:CPU+GPU夹杂运行
适用情况:有NVIDIA显卡(需CUDA接济)
确立设施:
装配驱动:
装配 NVIDIA驱动 和 CUDA Toolkit 12.x
启用GPU加快:
ollama run deepseek-r1 --gpu # 强制使用GPU
显存条款:
7B模子:至少6GB显存
33B模子:至少20GB显存
性能监控:
nvidia-smi # 检验GPU诈欺率
四、AI问宽宥用接入腹地大模子形状1:部署MaxKB并接入Ollama
图片
1. 通过Docker部署MaxKBdocker run -d \ --name=maxkb \ -p 8080:8080 \ -v ~/maxkb_data:/var/lib/postgresql/data \ 1panel/maxkb:latest
探访 http://localhost:8080,默许账号密码 admin/MaxKB@123..
2. 确立Ollama模子接入
参预MaxKB范畴台:模子科罚 > 添加模子
填写参数:
模子类型:Ollama
模子称呼:DeepSeek-r1
Base URL:http://ollama主机ip:11434(Docker内探访宿主机)
模子称呼:deepseek-r1(与Ollama拉取的模子名一致)
图片
3. 创建应用并测试问答功能图片
图片
形状2:腹地装配chatBox AI并接入腹地大模子1、下载装配包探访 GitHub Releases 页面:ChatBox Releases!ChatBox Releases页面
选拔 Windows 版块:
2、装配 ChatBox运行装配轨范:
双击下载的 .exe 文献,按辅导完成装配。
3、基础确立3.1. 贯穿 腹地模子确保 Ollama 功绩已运行。
在 ChatBox 诞生中选拔 **ollama api**,填写:
API Endpoint: http://localhost:11434
API Key: 留空
Model Name: deepseek-r1(与 Ollama 模子称呼一致)
图片
图片
3.2 不错自界说界面图片
3.3 考证使用图片
五、常用的故障排查设施1. Ollama功绩无法启动
日记检验:
journalctl -u ollama -f # Linux
端口打破:修改Ollama端口:
OLLAMA_HOST=0.0.0.0:11435 ollama serve # 指定新端口
2. 模子加载失败
再行开动化:
ollama rm deepseek-r1 && ollama pull deepseek-r1
3. MaxKB贯穿超时
查验网络:
curl http://ollama-ip:11434 # 阐发Ollama API可达
跨域问题:在Ollama启动时添加:
OLLAMA_ORIGINS="*" ollama serve
六、性能优化提出场景保举确立CPU模式使用GPU模式启用七、AI功绩器性能监控
我使用zabbix+grafana对功绩器作念了资源使用情况的监控,因为我的功绩器莫得GPU,一谈使用CPU去跑,当我运行大模子的时代,不错看到功绩器资源站哟比拟高(当今我测试用的的Deepseek-r1:7b)
图片
图片
图片
最近一年著作更新基本莫得什么收益,今天脱手每篇著作背面会给寰宇挂几个小游戏,寰宇看完著作难忘玩两把再退出去,感谢!同期文中也有一些视频告白,寰宇也襄理点开望望,望望即可,不消深度参与。 本站仅提供存储功绩,扫数履行均由用户发布,如发现存害或侵权履行,请点击举报。