Qwen3 代码生成能力基准 — HumanEval / MBPP 测试成绩
代码基准测试
代码能力是衡量大模型实用性的核心维度。Qwen3 在多个主流代码基准上表现强劲。
HumanEval
HumanEval 是 OpenAI 推出的代码生成基准——给函数签名和 docstring，要求补全函数体。
| 模型 | 非思考 | 思考模式 |
|---|---|---|
| Qwen3-235B-A22B | ~70% | ~85% |
| Qwen3-32B | ~60% | ~75% |
| Qwen3-14B | ~50% | ~65% |
| Qwen3-8B | ~45% | ~55% |
| Qwen2.5-72B-Instruct | ~65% | N/A |
思考模式在代码任务上提升明显——模型会在思考链中先设计算法、考虑边界条件、自我调试。
MBPP
MBPP（Mostly Basic Python Problems）是另一流行代码基准，更偏向 Python 日常编程。
| 模型 | 非思考 | 思考模式 |
|---|---|---|
| Qwen3-235B-A22B | ~65% | ~80% |
| Qwen3-32B | ~55% | ~70% |
| Qwen2.5-72B-Instruct | ~58% | N/A |
代码能力对比
与 DeepSeek-Coder-V2
DeepSeek-Coder-V2 是专门的代码模型。Qwen3 通用模型在代码任务上的表现接近甚至超过它——这说明 Qwen3 的预训练数据中有足够多的代码。
与 Claude 3.5 Sonnet
Claude 3.5 Sonnet 是 Claude 系列中代码能力最强的。Qwen3-235B-A22B 的思考模式表现可以和 Claude 3.5 Sonnet 竞争。
为什么思考模式提升代码
- 算法设计：在思考链中先规划数据结构和算法
- 边界条件：能想到空输入、极端值、类型转换等边界
- 自我调试：写完代码后，在思考链中"跑一遍"，发现问题再改
- 复杂度分析：考虑时间/空间复杂度
Qwen3-Coder
官方也提供了专门的代码模型变体（如 qwen3-coder），针对代码任务做了额外优化。如果主要做代码任务，可以考虑专门的 coder 版本。