Qwen3 GGUF 量化格式 — Ollama 和 LM Studio 的模型分发标准

GGUF 是什么

GGUF 是由 llama.cpp 社区推出的模型文件格式，特点：

跨平台：CPU、Apple Silicon、NVIDIA GPU、AMD GPU 都能跑
自包含：模型权重 + tokenizer + 参数配置都在一个文件里
多种量化：从 Q2_K 到 Q8_0 各种量化级别
生态广泛：Ollama、LM Studio、llama.cpp 都使用 GGUF

GGUF 量化类型

量化类型	大小比 FP16	精度	推荐场景
Q2_K	~11%	很差	极限省空间
Q3_K_S	~17%	差	低端设备
Q4_0	~25%	中	常用
Q4_K_M	~27%	中上	推荐
Q5_K_M	~33%	好	精度更好
Q6_K	~40%	很好	追求精度
Q8_0	~50%	非常好	接近原生

Ollama 和 LM Studio 用 GGUF

Ollama

Ollama 的模型仓库里的模型都是 GGUF 格式。你拉取的 qwen3:8b 底层就是 GGUF Q4_K_M 量化。

如果你有自己的 GGUF 文件，可以创建 Ollama 模型：

# Modelfile
FROM ./your-qwen3-8b-Q4_K_M.gguf

# 可选配置
PARAMETER temperature 0.7
PARAMETER num_ctx 8192
SYSTEM You are a helpful assistant. /no_think

ollama create my-qwen3 -f Modelfile
ollama run my-qwen3

LM Studio

LM Studio 能直接加载 GGUF 文件：

打开 LM Studio
Local Models → Import → 选择 GGUF 文件
或者直接从 Hugging Face 下载 GGUF 格式模型

转换 Qwen3 到 GGUF

用 llama.cpp 转换

# 1. 克隆 llama.cpp
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

# 2. 安装转换依赖
pip install -r requirements.txt

# 3. 从 Hugging Face 下载 Qwen3 原生权重
git lfs install
git clone https://huggingface.co/Qwen/Qwen3-8B

# 4. 转换为 FP16 GGUF
python convert_hf_to_gguf.py Qwen3-8B --outfile qwen3-8b-f16.gguf

# 5. 量化到 4bit Q4_K_M
./quantize qwen3-8b-f16.gguf qwen3-8b-Q4_K_M.gguf q4_k_m

量化命令参数

./quantize <输入> <输出> <量化类型>

# 常用量化类型：
# q2_k, q3_k_s, q4_0, q4_k_m, q5_k_m, q6_k, q8_0, f16

MoE 模型转换

Qwen3 的 MoE 模型也可以转换成 GGUF：

python convert_hf_to_gguf.py Qwen3-30B-A3B --outfile qwen3-30b-a3b-f16.gguf
./quantize qwen3-30b-a3b-f16.gguf qwen3-30b-a3b-Q4_K_M.gguf q4_k_m

注意 MoE 模型总参数大，转换需要足够磁盘空间。

GGUF 的思考模式

GGUF 格式本身不包含思考模式配置——思考模式的控制由推理框架（Ollama、LM Studio）通过 prompt 或 API 参数实现。

在 Ollama 中，通过 Modelfile 的 SYSTEM prompt 设置默认行为：

SYSTEM You are a helpful assistant. /no_think