WINDOWS · HARDWARE · OLLAMA · RAG

從零建立 Local AI

從「查自己的電腦規格」開始,依硬體選模型及軟體,再部署聊天介面與可引用來源的知識庫。不預設任何電腦配置。

涵蓋 Step 02–11;保留原先不含 Step 01 的要求。

STEP 02

先查電腦規格

不預設 GPU、RAM、CPU 或 Windows 版本。先確認實際硬體,再選軟體與模型。

Windows 與 CPU

Get-ComputerInfo | Select-Object WindowsProductName,OsBuildNumber,OsArchitecture,CsProcessors, CsTotalPhysicalMemory

部分欄位可能顯示較長內容;請以實際輸出為準。

GPU 與 VRAM

nvidia-smi

若指令不存在,可能未安裝 NVIDIA 驅動、不是 NVIDIA GPU,或工具不在 PATH。也可開啟「工作管理員 → 效能 → GPU」。

RAM 與磁碟

Get-CimInstance Win32_ComputerSystem | Select-Object @{Name="RAM_GB";Expression={[math]::Round($_.TotalPhysicalMemory/1GB,1)}}
Get-Volume | Select-Object DriveLetter,FileSystemLabel,@{Name="Free_GB";Expression={[math]::Round($_.SizeRemaining/1GB,1)}}

建議優先使用 SSD;下載多個模型需預留足夠容量。

WSL 與虛擬化

wsl --status
wsl --version
Get-CimInstance Win32_Processor | Select-Object Name,VirtualizationFirmwareEnabled

Docker Desktop 的 WSL 2 後端需要符合系統要求;若未安裝 WSL,參照官方文件。

紀錄:GPU 型號、專用 VRAM(GB)、系統 RAM(GB)、CPU、Windows 版本、可用 SSD 空間。請勿把共享 GPU 記憶體當成專用 VRAM。

Microsoft WSL 安裝 ↗ · NVIDIA 驅動 ↗

STEP 03

選擇軟體與模型

先看用途,再看 VRAM、RAM 與模型實際大小;以下是入門規劃區間,不是效能保證。

Ollama

模型執行引擎;適合 PowerShell 指令、API、本地模型管理。Windows 可直接安裝。

LM Studio(替代選項)

偏向圖形介面下載與試用模型。若採用本手冊的 Ollama + Open WebUI 架構,不必另外安裝。

Open WebUI

類 ChatGPT 聊天介面、文件知識庫與 RAG。透過 Docker 安裝方便管理。

Embedding 模型

用於文件檢索,不是聊天模型。可使用 embeddinggemma。

模型規格參考

專用 VRAM適合先測試備註
沒有獨顯 / CPU1B–3B 量化模型可使用系統 RAM,速度視 CPU 與 RAM 而定
4–6GB1B–4B 量化模型7B 可能需部分卸載至 RAM
8GB3B–8B 量化模型8B 需視量化、上下文及額外開銷
12GB7B–14B 量化模型14B 不保證完全放入 VRAM
16GB8B–14B;可試 gpt-oss:20bgpt-oss:20b 實際可用上下文受 KV cache 與 VRAM 影響
24GB 以上14B–32B 量化模型仍須核對模型檔案大小、量化與上下文
這是粗略選型,不是硬體最低需求。模型參數量 ≠ 模型檔案大小;推論還需要 KV cache、運算緩衝與系統記憶體。RAG 使用較長上下文時可能增加記憶體需求。

依你的硬體選擇建議

輸入電腦規格後按「產生初步建議」。

官方模型:Ollama Library ↗ · gpt-oss ↗ · Qwen3 ↗ · EmbeddingGemma ↗ · LM Studio ↗

STEP 04

安裝 Ollama

先安裝本地模型執行服務,再按硬體選擇模型。

Ollama Windows 官方下載 ↗

ollama --version
ollama list

若無法連線,確認 Ollama 已啟動。

STEP 05

下載與測試模型

只需先下載一個聊天模型及一個 Embedding 模型;其他模型可選。

入門小模型(較低硬體需求)

ollama pull qwen3:4b

中階聊天模型

ollama pull qwen3:8b

較高硬體需求的聊天模型(可選)

ollama pull gpt-oss:20b

RAG 向量模型

ollama pull embeddinggemma

驗證

ollama list
ollama run qwen3:4b
ollama ps

測試模型請依實際下載名稱修改 ollama run。輸入 /bye 離開。ollama ps 可觀察 GPU/CPU 載入情況。

STEP 06

安裝 Docker Desktop

若只需命令列聊天,可跳過 Docker;若要使用本指南的 Open WebUI RAG,則安裝 Docker。

Docker Desktop 官方 Windows 安裝說明 ↗

選擇適用的 WSL 2 / Linux Containers 設定;等待 Engine running。公司使用時需核對 Docker Desktop 授權條款。

docker --version
docker compose version
docker info
若 docker info 無 Server 資訊,請先啟動 Docker Desktop。
STEP 07

部署 Open WebUI

以下為全新安裝示範;若已有 Open WebUI,先檢查現有容器與資料卷,不要重複建立。

Open WebUI 官方 Quick Start ↗

New-Item -ItemType Directory -Force -Path "$HOME\MSI-Local-AI"
Set-Location "$HOME\MSI-Local-AI"
@'
services:
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - '127.0.0.1:3000:8080'
    environment:
      OLLAMA_BASE_URL: http://host.docker.internal:11434
    volumes:
      - open-webui-data:/app/backend/data
volumes:
  open-webui-data:
'@ | Set-Content -Path '.\compose.yaml' -Encoding UTF8
docker compose up -d
docker ps

瀏覽器開啟 http://localhost:3000,建立管理員帳戶。長期部署建議固定已測試的映像版本,並在更新前備份。

STEP 08

設定 Embedding 與 RAG

Open WebUI → Admin Panel → Settings → Documents。

Embedding EngineOllama
API Base URLhttp://host.docker.internal:11434
Embedding Modelembeddinggemma:latest
API Key本機預設可留空
Batch Size / Concurrent Requests1 / 1(保守起點)
Full Text Threshold0(強制使用檢索路徑作測試)
Always Use Full TextOFF
Hybrid SearchON
Top K5

按 Save。改變 Embedding 模型後,應重新建立受影響文件的索引。這些參數是測試起點,不保證最佳效果。

官方 RAG 文件 ↗

STEP 09

建立知識庫與匯入文件

Workspace → Knowledge → Create Knowledge;只匯入公開或已獲授權的資料。

例如命名 MSI EV Charger Knowledge Base,上傳產品手冊、技術規格、安裝說明與 FAQ,等待 Processing 完成。

MSI-Local-AI/
  documents/
    EV-Charger/
      Product-Specifications/
      User-Manuals/
      Installation/
      Troubleshooting/
      Firmware/
      FAQ/
      Warranty/

此目錄只是本機整理方式,並不代表 Open WebUI 會自動同步。

Open WebUI Knowledge 官方文件 ↗

STEP 10

RAG 測試與故障排除

在聊天視窗選聊天模型,透過 # 附加知識庫,測試有來源與無來源兩種問題。

請只根據已附加的 MSI EV Charger Knowledge Base,回答 MS-C806 V2.0 的額定充電功率。請引用實際檢索到的文件名稱與內容;若無法確認,請回答「無法從知識庫確認」,不要猜測。

檢查回答是否符合文件、是否出現可核對的引用、是否回答無關內容。若工具出現紅色 X(如 Explored find_content),先查看錯誤詳情。

docker ps -a
docker logs --tail 100 open-webui
ollama ps
Invoke-RestMethod http://localhost:11434/api/tags
docker run --rm curlimages/curl:latest -sS http://host.docker.internal:11434/api/tags

最後一行可測試容器是否能連到 Windows 上的 Ollama;若無法連線,先排查主機網路、Ollama 服務與防火牆。

STEP 11

維護與備份

在更新前先確認目前 Compose 專案及資料卷,備份知識庫資料。

docker ps -a
docker volume ls
ollama list
Set-Location "$HOME\MSI-Local-AI"
docker compose pull
docker compose up -d
只有確定這個目錄是目前實際使用的 Compose 專案時才執行更新。切勿隨意執行 docker compose down -v,以免刪除資料卷。