各尺寸模型选型指南 — 从手机端 0.6B 到旗舰 235B-A22B 怎么选

选型三要素

选模型时通常需要权衡三个因素。按优先级排序：

显存预算：你的 GPU 有多少显存直接决定了能跑多大的模型——这是硬限制
任务复杂度：简单问答和数学证明需要的模型能力天差地别
推理延迟：聊天机器人需要低延迟，离线批处理可以等更久

按显存预算选

8GB 显存（入门级）

推荐：Qwen3-4B（AWQ 4bit 量化）

FP16 原生 4B 需要约 8GB 显存，刚好卡住
用 AWQ 4bit 量化后约 2.5GB，8GB 显存下还能留空间给 KV Cache
Qwen3-4B 在多项基准上接近前代 72B-Instruct 的水平，性价比很高

也可以选 Qwen3-8B 的重度量化版（GPTQ 2bit），但 8bit 量化刚好 8GB，没余量。

16GB 显存（中高端）

推荐：Qwen3-8B（AWQ 4bit 量化）

FP16 原生 8B 需要 16GB，刚刚装满
AWQ 4bit 后约 5GB，KV Cache 能多撑不少
8B 是 Qwen3 Dense 家族的"甜点规格"——128K 上下文，综合能力不错

24GB 显存（消费级旗舰，如 RTX 4090）

推荐：Qwen3-14B（AWQ 4bit 量化） 或 Qwen3-32B（GPTQ 3bit）

24GB 可以原生跑 Qwen3-8B 并加大量 KV Cache
量化后可以跑得动 14B 甚至 32B
MoE 30B-A3B 总参数 30B 即使量化也很难塞进 24GB（激活参数才 3B，但总参数还是要加载）

48GB+（工作站级）

推荐：Qwen3-32B（原生 FP16） 或 Qwen3-30B-A3B

48GB 原生跑 32B 约需 64GB，用 BF16 或 FP8 可以勉强
30B-A3B 的激活参数只有 3B，推理计算量和 8B 相当，但总参数 30B 需要约 60GB 才能原生加载，用 4bit 量化约 15GB
这里的关键是 MoE 总参数也要加载进显存，虽然只激活一部分，但路由器和所有专家的权重都常驻显存

多卡 / 集群

按任务复杂度选

简单问答、摘要、翻译

本地：Qwen3-4B 量化版就够了，甚至 1.7B 也能应付
云端：qwen3-flash 或 qwen-plus 的非思考模式
这类任务不需要深度推理，追求的是低延迟

代码生成、脚本编写

本地：至少 Qwen3-8B，推荐 14B 或 30B-A3B
云端：qwen3-max 的思考模式，或 qwen3-coder 专用模型
代码任务需要较强的逻辑推理和上下文理解能力

数学证明、复杂分析、Agent 任务

本地：32B 或 30B-A3B 以上
云端：qwen3-max（235B-A22B）的思考模式
这类任务的性能差异在不同规格之间非常明显——小模型根本做不了

多模态（图像/视频）

本地暂无开源权重，只能通过云端 API
云端：qwen3-vl-plus（256K 上下文，支持图像和视频）

按延迟要求选

实时对话（≤1 秒首 token）

关闭思考模式（/no_think）
用小模型或重度量化：Qwen3-4B AWQ 4bit
用 SGLang 或 vLLM 等高性能推理框架

交互式创作（1-5 秒首 token 可接受）

可以开思考模式但限制思考长度
用中等规格：8B / 14B / 30B-A3B

离线批处理（延迟不敏感）

可以用最大模型 + 全思考模式
用 235B-A22B 的 thinking mode 做高精度推理

实用选型对照表

你的场景	显存	推荐模型	量化	预估显存占用
手机端 App	6GB	Qwen3-1.7B	AWQ 4bit	~1GB
笔记本 8GB	8GB	Qwen3-4B	AWQ 4bit	~2.5GB
4060 Ti 16GB	16GB	Qwen3-8B	AWQ 4bit	~5GB
4090 24GB	24GB	Qwen3-14B	AWQ 4bit	~7GB
工作站 48GB	48GB	Qwen3-30B-A3B	AWQ 4bit	~15GB
多卡集群	480GB+	Qwen3-235B-A22B	FP16	~470GB

云端备选

如果硬件不够，直接用阿里云百炼的云端 API：

qwen3-max：相当于 235B-A22B 的 thinking mode 能力
qwen3-plus：性能接近 32B Dense
qwen3-flash：低延迟，适合简单任务
qwen3-vl-plus：多模态，支持图像和视频

云端 API 按 token 计费，小规模使用成本很低。