Dense 密集架构 vs MoE 混合专家 — Qwen3 两种架构的技术差异与选择

一句话区别

• Dense（密集架构）：每一层的所有参数在每次推理时都参与计算。参数规模 = 推理计算量。
• MoE（混合专家架构）：每一层有多个专家子网络，但每次推理只激活其中少数几个。总参数远大于激活参数，计算量只和激活参数相关。

Dense 架构工作原理

Dense 架构是目前绝大多数主流大模型的标准设计——包括 Llama 3、Mistral、Gemma，以及 Qwen 系列的前代产品。

一个典型的 Dense Transformer Layer 包含：

1. 多头自注意力（MHA）：对序列中每个 token 计算与其他 token 的关系
2. MLP 前馈网络：对每个 token 的特征进行非线性变换

每个 Layer 的参数在所有前向传播中都会被使用——无论输入内容是什么，计算路径都是固定的。

Dense 架构的特点：

• 推理稳定可预测：计算开销只和参数量、序列长度成正比，不受输入内容影响
• 实现简单：TensorRT、vLLM、SGLang 等主流推理框架都对 Dense 架构做了充分优化
• 微调方便：LoRA、QLoRA 等参数高效微调技术直接适用
• 扩展受限于显存：参数量 = 显存占用，24GB 显存的消费级 GPU 很难跑得动 70B 级别的 Dense 模型（除非用重度量化）

MoE 架构工作原理

MoE（Mixture-of-Experts）的核心思想是条件计算——不是所有参数都对所有输入起作用，而是根据输入内容选择性地激活部分参数。

MoE Layer 的结构

一个 MoE Layer 包含：

1. 一个路由器（Router/Gate）：接收输入 token，决定把它送到哪几个专家
2. N 个专家子网络（Experts）：每个专家是一个独立的 MLP 层，参数互不共享
3. 一个合并层：把被激活专家的输出加权合并

Qwen3 的 MoE 配置

Qwen3 的两个 MoE 模型（30B-A3B 和 235B-A22B）每层都有：

• 128 个专家：每个专家都是一个完整的 MLP 子网络
• Top-8 路由：每个 token 只激活 8 个专家（路由器分数最高的 8 个）

这意味着每一层只有 8/128 ≈ 6.25% 的参数参与计算。所以：

• 30B-A3B：总参数 300 亿，激活参数约 30 亿（计算量接近 Dense 8B）
• 235B-A22B：总参数 2350 亿，激活参数约 220 亿（计算量接近 Dense 32B）

MoE 的优势

更高的参数效率：相同计算预算下，MoE 可以训练更大的总参数量模型，学习更丰富的模式。30B-A3B 的激活参数只有 30 亿，但总参数是 QwQ-32B 的十分之一，却在多个基准测试上表现更优。

更大的模型容量：235B-A22B 的总参数达到 2350 亿，是当前 Qwen 家族最强大的模型，而推理成本只和 32B Dense 相当。

MoE 的代价

推理框架支持：MoE 的条件计算需要专门的推理优化。vLLM 0.6+ 和 SGLang 已支持 Qwen3 的 MoE 模型，但部分老框架或边缘设备上的推理引擎可能不支持。

显存占用不均：虽然计算量小，但总参数还是要加载进显存。以 FP16 为例，235B 总参数需要约 470GB 显存（但 22B 激活参数只需要 44GB 的计算量）。

微调需要 MoE 感知：LoRA 微调 MoE 模型时，需要注意专家路由的处理方式。

Qwen3 的架构选择建议

MoE 的历史

MoE 并不是新概念——Google 在 GShard（2020）中首次将 MoE 用于大规模语言模型训练。但早期 MoE 模型（如 Switch-Transformer、GLaM）大多没有完全开源，推理生态支持也不完善。

Qwen2.5 时期 Qwen 团队开源了 QwQ-32B，但那是一个纯推理模型（thinking-only）。Qwen3 首次同时开源了 MoE 和 Dense 两套完整规格，并且 MoE 模型同时支持思考和非思考两种模式，这在开源社区中是首次。

相关阅读

• 02-完整参数规格表：八个模型的详细参数对照
• 04-各尺寸模型选型建议：更细的选型指南
• 01-思考模式原理：混合推理模式技术解析