Ollama 一键启动 Qwen3 — 最短路径本地跑通任意规格模型

为什么选 Ollama

Ollama 是目前最流行的本地大模型运行工具。它的优势：

一行命令启动：ollama run qwen3:8b 直接进入对话
自动量化：从模型仓库拉取的模型已经做了 GGUF 量化，开箱即用
跨平台：macOS、Linux、Windows 都支持
离线可用：模型下载一次后完全离线运行
OpenAI 兼容 API：内置本地 HTTP 服务，可以用 OpenAI 的调用方式

安装 Ollama

macOS

直接下载安装包：访问 Ollama 官方网站下载 .dmg 文件安装，或者用 Homebrew：

brew install ollama

安装后 Ollama 会自动作为后台服务运行。

Linux

curl -fsSL https://ollama.com/install.sh | sh

或者手动下载：

curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
chmod +x /usr/bin/ollama

Windows

访问 Ollama 官方网站下载 .exe 安装包，双击安装即可。安装完成后 Ollama 会自动在后台运行。

验证安装：

ollama --version
ollama list  # 空列表，还没下载模型

拉取 Qwen3 模型

Ollama 官方目前已经支持 Qwen3 的部分规格。社区也提供了更多版本。

官方仓库

# 查看有哪些 Qwen3 模型
ollama list | grep qwen3
# 或访问 ollama.com 搜索 qwen3

官方已支持的常见规格：

# 拉取（下载）模型
ollama pull qwen3:0.6b
ollama pull qwen3:1.7b
ollama pull qwen3:4b
ollama pull qwen3:8b
ollama pull qwen3:14b
ollama pull qwen3:32b

社区版本（含 MoE）

一些 Ollama 社区用户已经转换了 Qwen3 的 MoE 模型：

# 社区版本，激活参数约 3B
ollama pull atik/qwen3

# 或搜索更多
ollama search qwen3

模型大小参考（GGUF 量化后）

规格	预估大小	适用设备
qwen3:0.6b	~1GB	手机、低内存设备
qwen3:1.7b	~3GB	4GB 内存设备
qwen3:4b	~5GB	8GB 内存设备
qwen3:8b	~9GB	16GB 内存设备
qwen3:14b	~16GB	24GB 内存设备
qwen3:32b	~36GB	48GB+ 内存设备

运行模型

交互式对话

ollama run qwen3:8b

进入交互界面后直接开始对话：

>>> 你好，请介绍一下自己。
我是 Qwen3，阿里巴巴通义实验室发布的开源大语言模型...
>>> /bye

单轮调用

ollama run qwen3:8b "用一句话介绍量子计算。"

批处理 / 管道调用

echo "翻译这句话：Hello, world!" | ollama run qwen3:4b

控制思考模式

Ollama 目前对 Qwen3 思考模式的控制主要通过 prompt：

# 开启思考
ollama run qwen3:8b "/think 证明勾股定理。"

# 关闭思考
ollama run qwen3:8b "/no_think 1 + 1 = ?"

创建自定义 Modelfile

如果你想永久设置思考模式开关，可以创建一个 Modelfile：

# Modelfile
FROM qwen3:8b

# 默认关闭思考（快速响应）
SYSTEM You are a helpful assistant. /no_think

# 或默认开启思考
# SYSTEM You are a helpful assistant. /think

然后创建自定义模型：

ollama create qwen3-fast -f Modelfile
ollama run qwen3-fast "1 + 1 = ?"

OpenAI 兼容 API

Ollama 默认在 http://localhost:11434 提供 HTTP API，兼容 OpenAI 的格式。

Python 调用

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="EMPTY"  # Ollama 不需要真实 API key
)

response = client.chat.completions.create(
    model="qwen3:8b",
    messages=[
        {"role": "user", "content": "介绍一下 Qwen3。"}
    ],
    stream=True
)

for chunk in response:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

cURL 调用

curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3:8b",
    "messages": [{"role": "user", "content": "你好"}],
    "stream": false
  }'

启动 API 服务

Ollama 默认已经运行 API 服务。如果需要自定义端口：

# Linux / macOS
OLLAMA_HOST=0.0.0.0:11434 ollama serve

# Windows PowerShell
$env:OLLAMA_HOST = "0.0.0.0:11434"; ollama serve

GPU 加速

Ollama 会自动检测你的硬件并选择最优后端：

NVIDIA GPU：自动启用 CUDA，GPU 内存足够时整个模型加载到 GPU
AMD GPU：Linux 上支持 ROCm，Windows 上通过 DirectML
Apple Silicon：自动启用 Metal，统一内存架构下模型可以跨 CPU/GPU 加载
纯 CPU：没有 GPU 时退化为 CPU 推理

查看当前运行状态：

ollama ps        # 查看正在运行的模型
ollama show qwen3:8b  # 查看模型详情

模型管理

ollama list                 # 列出所有已下载模型
ollama show qwen3:8b        # 查看模型详情
ollama rm qwen3:1.7b        # 删除模型释放空间
ollama cp qwen3:8b my-model # 复制/重命名模型
ollama push my-model        # 推送到 Ollama 仓库

常见问题

模型太大显存不够

先尝试更小的规格：

ollama run qwen3:1.7b
ollama run qwen3:0.6b

如果仍然 OOM（Out of Memory），可以设置 Ollama 使用更多系统内存：

# Linux/macOS
OLLAMA_NUM_GPU_LAYERS=0 ollama run qwen3:8b  # 完全在 CPU 上跑

# Windows PowerShell
$env:OLLAMA_NUM_GPU_LAYERS = "0"; ollama run qwen3:8b

模型下载慢

Ollama 从自己的模型仓库拉取。如果网络受限，可以考虑：

配置代理：OLLAMA_PROXY=http://your-proxy:port
手动下载 GGUF 文件并用 ollama create 导入

思考模式不生效

确认你用的是 Ollama 已支持思考模式的 Qwen3 版本（较新的 tag）。旧版本可能只支持非思考模式。

进阶：创建自己的量化版本

如果你想量化 Hugging Face 上的 Qwen3 模型为 Ollama 格式：

# 1. 从 Hugging Face 下载原始权重
git lfs install
git clone https://huggingface.co/Qwen/Qwen3-8B

# 2. 用 llama.cpp 转换 + 量化
./convert.py Qwen3-8B --outfile qwen3-8b-f16.gguf --outtype f16
./quantize qwen3-8b-f16.gguf qwen3-8b-q4_0.gguf q4_0

# 3. 创建 Ollama 模型
# Modelfile: FROM ./qwen3-8b-q4_0.gguf
ollama create qwen3-custom -f Modelfile
ollama run qwen3-custom