從零建立 Local AI
從「查自己的電腦規格」開始,依硬體選模型及軟體,再部署聊天介面與可引用來源的知識庫。不預設任何電腦配置。
涵蓋 Step 02–11;保留原先不含 Step 01 的要求。
先查電腦規格
不預設 GPU、RAM、CPU 或 Windows 版本。先確認實際硬體,再選軟體與模型。
Windows 與 CPU
Get-ComputerInfo | Select-Object WindowsProductName,OsBuildNumber,OsArchitecture,CsProcessors, CsTotalPhysicalMemory
部分欄位可能顯示較長內容;請以實際輸出為準。
GPU 與 VRAM
nvidia-smi
若指令不存在,可能未安裝 NVIDIA 驅動、不是 NVIDIA GPU,或工具不在 PATH。也可開啟「工作管理員 → 效能 → GPU」。
RAM 與磁碟
Get-CimInstance Win32_ComputerSystem | Select-Object @{Name="RAM_GB";Expression={[math]::Round($_.TotalPhysicalMemory/1GB,1)}}
Get-Volume | Select-Object DriveLetter,FileSystemLabel,@{Name="Free_GB";Expression={[math]::Round($_.SizeRemaining/1GB,1)}}建議優先使用 SSD;下載多個模型需預留足夠容量。
WSL 與虛擬化
wsl --status wsl --version Get-CimInstance Win32_Processor | Select-Object Name,VirtualizationFirmwareEnabled
Docker Desktop 的 WSL 2 後端需要符合系統要求;若未安裝 WSL,參照官方文件。
選擇軟體與模型
先看用途,再看 VRAM、RAM 與模型實際大小;以下是入門規劃區間,不是效能保證。
Ollama
模型執行引擎;適合 PowerShell 指令、API、本地模型管理。Windows 可直接安裝。
LM Studio(替代選項)
偏向圖形介面下載與試用模型。若採用本手冊的 Ollama + Open WebUI 架構,不必另外安裝。
Open WebUI
類 ChatGPT 聊天介面、文件知識庫與 RAG。透過 Docker 安裝方便管理。
Embedding 模型
用於文件檢索,不是聊天模型。可使用 embeddinggemma。
模型規格參考
| 專用 VRAM | 適合先測試 | 備註 |
|---|---|---|
| 沒有獨顯 / CPU | 1B–3B 量化模型 | 可使用系統 RAM,速度視 CPU 與 RAM 而定 |
| 4–6GB | 1B–4B 量化模型 | 7B 可能需部分卸載至 RAM |
| 8GB | 3B–8B 量化模型 | 8B 需視量化、上下文及額外開銷 |
| 12GB | 7B–14B 量化模型 | 14B 不保證完全放入 VRAM |
| 16GB | 8B–14B;可試 gpt-oss:20b | gpt-oss:20b 實際可用上下文受 KV cache 與 VRAM 影響 |
| 24GB 以上 | 14B–32B 量化模型 | 仍須核對模型檔案大小、量化與上下文 |
依你的硬體選擇建議
輸入電腦規格後按「產生初步建議」。
官方模型:Ollama Library ↗ · gpt-oss ↗ · Qwen3 ↗ · EmbeddingGemma ↗ · LM Studio ↗
安裝 Ollama
先安裝本地模型執行服務,再按硬體選擇模型。
ollama --version
ollama list
若無法連線,確認 Ollama 已啟動。
下載與測試模型
只需先下載一個聊天模型及一個 Embedding 模型;其他模型可選。
入門小模型(較低硬體需求)
ollama pull qwen3:4b
中階聊天模型
ollama pull qwen3:8b
較高硬體需求的聊天模型(可選)
ollama pull gpt-oss:20b
RAG 向量模型
ollama pull embeddinggemma
驗證
ollama list ollama run qwen3:4b ollama ps
測試模型請依實際下載名稱修改 ollama run。輸入 /bye 離開。ollama ps 可觀察 GPU/CPU 載入情況。
安裝 Docker Desktop
若只需命令列聊天,可跳過 Docker;若要使用本指南的 Open WebUI RAG,則安裝 Docker。
Docker Desktop 官方 Windows 安裝說明 ↗
選擇適用的 WSL 2 / Linux Containers 設定;等待 Engine running。公司使用時需核對 Docker Desktop 授權條款。
docker --version docker compose version docker info
docker info 無 Server 資訊,請先啟動 Docker Desktop。部署 Open WebUI
以下為全新安裝示範;若已有 Open WebUI,先檢查現有容器與資料卷,不要重複建立。
New-Item -ItemType Directory -Force -Path "$HOME\MSI-Local-AI" Set-Location "$HOME\MSI-Local-AI"
@'
services:
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
restart: unless-stopped
ports:
- '127.0.0.1:3000:8080'
environment:
OLLAMA_BASE_URL: http://host.docker.internal:11434
volumes:
- open-webui-data:/app/backend/data
volumes:
open-webui-data:
'@ | Set-Content -Path '.\compose.yaml' -Encoding UTF8docker compose up -d docker ps
瀏覽器開啟 http://localhost:3000,建立管理員帳戶。長期部署建議固定已測試的映像版本,並在更新前備份。
設定 Embedding 與 RAG
Open WebUI → Admin Panel → Settings → Documents。
| Embedding Engine | Ollama |
| API Base URL | http://host.docker.internal:11434 |
| Embedding Model | embeddinggemma:latest |
| API Key | 本機預設可留空 |
| Batch Size / Concurrent Requests | 1 / 1(保守起點) |
| Full Text Threshold | 0(強制使用檢索路徑作測試) |
| Always Use Full Text | OFF |
| Hybrid Search | ON |
| Top K | 5 |
按 Save。改變 Embedding 模型後,應重新建立受影響文件的索引。這些參數是測試起點,不保證最佳效果。
建立知識庫與匯入文件
Workspace → Knowledge → Create Knowledge;只匯入公開或已獲授權的資料。
例如命名 MSI EV Charger Knowledge Base,上傳產品手冊、技術規格、安裝說明與 FAQ,等待 Processing 完成。
MSI-Local-AI/
documents/
EV-Charger/
Product-Specifications/
User-Manuals/
Installation/
Troubleshooting/
Firmware/
FAQ/
Warranty/此目錄只是本機整理方式,並不代表 Open WebUI 會自動同步。
RAG 測試與故障排除
在聊天視窗選聊天模型,透過 # 附加知識庫,測試有來源與無來源兩種問題。
請只根據已附加的 MSI EV Charger Knowledge Base,回答 MS-C806 V2.0 的額定充電功率。請引用實際檢索到的文件名稱與內容;若無法確認,請回答「無法從知識庫確認」,不要猜測。
檢查回答是否符合文件、是否出現可核對的引用、是否回答無關內容。若工具出現紅色 X(如 Explored find_content),先查看錯誤詳情。
docker ps -a docker logs --tail 100 open-webui ollama ps Invoke-RestMethod http://localhost:11434/api/tags
docker run --rm curlimages/curl:latest -sS http://host.docker.internal:11434/api/tags
最後一行可測試容器是否能連到 Windows 上的 Ollama;若無法連線,先排查主機網路、Ollama 服務與防火牆。
維護與備份
在更新前先確認目前 Compose 專案及資料卷,備份知識庫資料。
docker ps -a docker volume ls ollama list
Set-Location "$HOME\MSI-Local-AI" docker compose pull docker compose up -d
docker compose down -v,以免刪除資料卷。