开头说明
如果你想在自己的 Windows 电脑上搭建一个本地 AI 助手，可以用 Ollama 运行本地模型，再用 Open WebUI 提供类似 ChatGPT 的网页界面。这样家里电脑、手机、平板都可以在局域网里访问同一个 AI 助手。
这套方案适合旧电脑再利用、本地 AI 入门、学习大模型部署，也适合不想每次都把普通文本发到云端的用户。需要注意，本地 AI 的速度和效果取决于电脑配置和模型大小，不要期待一台很老的电脑直接达到云端旗舰模型效果。
项目地址
整体思路
- Windows 安装 Ollama，用来下载和运行本地 AI 模型。
- Windows 安装 Docker Desktop，用来部署 Open WebUI。
- Open WebUI 连接本机 Ollama。
- 浏览器打开 Open WebUI，像使用 ChatGPT 一样使用本地模型。
- 如果需要局域网访问，再配置 Windows 防火墙和固定 IP。
电脑配置建议
| 配置 | 建议 |
|---|---|
| CPU | 普通办公电脑也能跑小模型，核心越多越好 |
| 内存 | 8GB 可以体验小模型，16GB 更舒服，32GB 更适合多模型 |
| 显卡 | 不是必须，有 NVIDIA 显卡会更快 |
| 硬盘 | 建议预留 20GB 到 100GB，模型会占空间 |
| 系统 | Windows 10/11 |
没有显卡也可以跑，只是速度慢一些。新手建议先从小模型开始，不要一上来就下载几十 GB 的大模型。
第一步：安装 Ollama
打开 Ollama 官方网站，下载 Windows 安装包并安装。
安装完成后，打开 PowerShell，检查 Ollama 是否可用：
ollama --version第二步：下载并运行一个模型
新手可以先用体积适中的模型测试。下面命令会自动下载模型并运行：
ollama run llama3.1:8b如果电脑配置较低，也可以选择更小的模型，例如：
ollama run qwen2.5:3b进入对话后，随便问一句中文问题测试：
请用中文解释一下什么是本地大模型。如果能正常回答，说明 Ollama 已经可以运行。退出对话可以输入：
/bye第三步：查看已安装模型
ollama list如果以后想删除不用的模型，可以执行：
ollama rm 模型名称第四步：安装 Docker Desktop
Open WebUI 推荐用 Docker 部署。Windows 上可以安装 Docker Desktop。
https://www.docker.com/products/docker-desktop/
- 下载 Docker Desktop for Windows。
- 安装时保持 WSL 2 相关选项开启。
- 安装完成后重启电脑。
- 打开 Docker Desktop，等待 Docker 正常运行。
检查 Docker：
docker version
docker compose version第五步：用 Docker 部署 Open WebUI
如果 Ollama 安装在 Windows 本机，Open WebUI 用 Docker 运行，可以使用下面命令：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main命令说明：
- 3000:8080：把 Open WebUI 映射到本机 3000 端口。
- host.docker.internal：让 Docker 容器访问 Windows 本机上的 Ollama。
- open-webui:/app/backend/data：保存 Open WebUI 的用户和设置数据。
- –restart always：电脑重启后容器自动启动。
第六步：打开 Open WebUI
浏览器打开：
http://localhost:3000第一次打开需要创建管理员账号。创建完成后，Open WebUI 会连接 Ollama，你就可以在网页里选择本地模型对话。
第七步：局域网访问
如果你希望家里其他设备也能访问，比如手机、平板、另一台电脑，可以先查看 Windows 电脑的局域网 IP：
ipconfig假设 IPv4 地址是：
192.168.1.50那么其他设备访问：
http://192.168.1.50:3000如果打不开，通常是 Windows 防火墙拦截了 3000 端口，可以添加 TCP 3000 的入站规则。
第八步：推荐新手模型
| 模型 | 适合场景 |
|---|---|
| qwen2.5:3b | 低配置电脑体验中文对话 |
| qwen2.5:7b | 中文问答、写作、轻量办公 |
| llama3.1:8b | 通用英文和中文任务 |
| mistral:7b | 轻量通用模型体验 |
| gemma2:9b | 通用问答和写作测试 |
模型名称和版本会变化，下载前可以到 Ollama 模型库查看当前可用模型。
第九步：常用 Ollama 命令
| 命令 | 作用 |
|---|---|
| ollama run 模型名 | 下载并运行模型 |
| ollama list | 查看本机已有模型 |
| ollama rm 模型名 | 删除模型 |
| ollama ps | 查看正在运行的模型 |
| ollama pull 模型名 | 只下载模型，不进入对话 |
第十步：日常使用建议
- 低配置电脑先用 3B 或 7B 模型，不要一开始就上大模型。
- 本地模型适合草稿、总结、改写、简单代码，不适合盲目信任事实答案。
- 重要答案仍然需要自己核对来源。
- 不要把 Open WebUI 直接暴露到公网。
- 如果家里多人使用，建议每个人单独账号。
第十一步：外网访问要谨慎
Open WebUI 里可能保存对话记录和个人资料，不建议直接在路由器上开放端口。如果确实需要外网访问，可以考虑 Cloudflare Tunnel，并加上 Cloudflare Access 登录保护。
Cloudflare Tunnel 官方文档：https://developers.cloudflare.com/cloudflare-one/networks/connectors/cloudflare-tunnel/
外网访问安全建议：
- 不要开放裸奔端口。
- 不要使用简单密码。
- 不要把管理员账号分享给别人。
- 建议开启额外访问验证。
- 不需要外网访问时，只保留局域网访问。
常见问题
1. 没有显卡能用吗？
可以。没有显卡也能用 CPU 跑小模型，只是速度会慢。建议先试 qwen2.5:3b 这类小模型。
2. 为什么回答很慢？
本地 AI 速度取决于 CPU、内存、显卡和模型大小。模型越大，对电脑要求越高。
3. Open WebUI 打不开怎么办？
先检查 Docker Desktop 是否运行，再执行：
docker ps如果没有 open-webui 容器，重新执行 Docker 运行命令。
4. Open WebUI 连接不到 Ollama 怎么办？
确认 Ollama 已经安装并能在 PowerShell 里运行模型。Docker 命令里要保留 –add-host=host.docker.internal:host-gateway。
5. 模型占用空间太大怎么办？
用 ollama list 查看模型，再删除不用的模型：
ollama rm 模型名称总结
Windows 用 Ollama + Open WebUI 搭建本地 AI 助手并不复杂。Ollama 负责运行模型，Open WebUI 负责提供网页界面，Docker Desktop 负责部署和管理服务。
这套方案最适合本地 AI 入门、旧电脑再利用、局域网家庭使用和轻量办公测试。新手先跑通小模型，再慢慢尝试更大的模型和更复杂的工作流。