最强开源CodeLLM模型深夜来袭！320亿参数，Qwen2.5-Coder新模型超越GPT-4o

小明 发自 凹非寺

量子位 | 公众号 QbitAI

一夜之间，AI编程模型的开源王座易主了！

Qwen2.5-Coder-32B正式发布，霸气拿下多个主流基准测试SOTA，彻底登上全球最强开源编程模型宝座。

更重要的是，在代码能力的12个主流基准上，Qwen2.5-Coder-32B与GPT-4o对决，斩获9胜，一举掀翻闭源编程模型的绝对统治。

不用一行代码，只要输入最直接、够详细的自然语言prompt，它就能给你整全套.

哪怕是完全不懂编程的小白，也能轻松上手。比如我们体验了一把用一句大白话生成计算器：

很快就搞定了，计算器可以直接使用。

还有更多好玩又实用的应用，比如不到20秒生成一个音乐播放器。

做简历也易如反掌：

怪不得开发者们都说，太恐怖了，超越了4o，与Sonnet、o1都能掰手腕！

更让人惊喜的是，这次Qwen2.5-Coder上新，共开源0.5B/1.5B/3B/7B/14B/32B共6个尺寸的全系列模型，每种尺寸都取得同规模下SOTA。

而且大部分版本都是采用非常宽松的Apache 2.0许可。

要知道，自从CodeQwen1.5推出以来，该系列模型就成为开发者社区最关注的开源编程模型之一。

9月发布的Qwen2.5-Coder-7B版本，更是一骑绝尘，不少人表示它足以替代GPT-4和Sonnet 3.5成为日常主力工具。

当时还预告了32B的发布，从此，网友一直催更。

这次，32B和更多尺寸的全系列Qwen2.5-Coder如约而至，这个看起来能用code生万物的最强开源代码模型，到底厉害在哪儿呢？

超越GPT-4o，人人都能用

首先，我们为什么关注编程模型？因为代码能力对大模型的推理很重要，大模型对代码的理解通常被认为是其逻辑能力的基础来源之一。

代码思维链(program-of-thought) 将复杂问题分解为可执行的代码片段，并且利用代码执行器逐步解决子问题，可以较大程度提升基于大型语言模型的推理能力。

DeepMind斯坦福UC伯克利联手发表的一项研究中提到，使用代码链（Chain of Code），不仅可以提升模型基于代码的推理能力，也给模型自然语言任务、数学计算方面带来积极影响。

△https://arxiv.org/abs/2312.04474

Qwen2.5-Coder也采用了类似原理。它基于Qwen2.5基础大模型进行初始化，使用源代码、文本代码混合数据、合成数据等5.5T tokens的数据持续训练，实现了代码生成、代码推理、代码修复等核心任务性能的显著提升。

最新发布中，Qwen2.5-Coder全系列共开源6个尺寸模型，每个规模包含base和Instruct两个版本。

Base模型为开发者可以自行微调的基座模型，Instruct模型是可以直接聊天的官方对齐模型。

团队评估了不同尺寸Qwen2.5-Coder在所有数据集上的表现，不但均取得同等规模下最佳性能（无论开闭源），并且还验证了Scaling Law依旧奏效。

其中，Qwen2.5-Coder-32B-Instruct是本次开源的旗舰模型。

在编程大模型主要关注的5个方面上，它都实现了对GPT-4o的超越：

• 代码生成
• 代码修复
• 代码推理
• 多编程语言
• 人类偏好对齐

首先来看编程模型最核心的能力——代码生成。

Qwen2.5-Coder-32B-Instruct在多个流行的代码生成基准上都取得了开源SOTA。

而且在HumanEval、McEval、Spider、EvalPlus、BigCodeBench等基准上，都超越了闭源的GPT-4o和Claude 3.5 Sonnet。

其次，代码修复方面，在主流基准Aider上，Qwen2.5-Coder-32B-Instruct略胜GPT-4o。

第三，代码推理方面，在CRUXEval基准上，32B版本较7B版本有了明显提升，甚至达到了和GPT-4o、Claude 3 Opus相当的水平。

第四，在对多编程语言的掌握上，Qwen2.5-Coder支持92种编程语言。Qwen2.5-Coder-32B-Instruct在其中40多种语言上表现出色。

在Haskell、Racket等语言上表现格外突出，打败4o等闭源模型同时取得了超高分数。

通过在预训练阶段进行独特数据清洗和配比，它在McEval上取得65.9分，

在多编程语言的代码修复基准MdEval上，同样表现突出，取得75.2分，位列所有开源模型第一。

最后，为了检验Qwen2.5-Coder-32B-Instruct在人类偏好上的对齐表现。通义千问团队还构建了一个来自内部标注的代码偏好评估基准Code Arena，可以理解为编程大模型竞技场。

这一部分，Qwen2.5-Coder-32B-Instruct和闭源模型正面PK，通过让两个模型在同样问题下PK，计算最终胜负比，以此来评判模型表现。

实验结果显示，Claude 3.5 Sonnet战绩最好，Qwen2.5-Coder-32B-Instruct和GPT-4o水平相当，胜率为68.9%。

总的来看，Qwen2.5-Coder-32B-Instruct毫无疑问是开源最佳，并且真正拉平甚至部分超出了有最强代码能力的闭源模型。

在实际应用上，通义千问团队演示了基于Qwen2.5-Coder打造的智能代码助手，并上线了一个Artifacts应用。

目前智能代码助手领域主要以闭源模型为主，Qwen2.5-Coder为开发者提供了开源选择。

它在几个可以评估模型辅助编程的基准上（CrossCodeEval、CrossCodeEval、CrossCodeLongEval、RepoEval、SAFIM）都取得了SOTA。

新的Qwen2.5-Coder，对编程小白也很友好，一句话就能开发小应用/游戏。

比如现场自动做一个2048小游戏，几十秒搞定，立刻就能玩。

或者是生成一个图文并茂的英语单词卡页面，速度都非常快。

被全球开发者追捧的中国开源模型

Qwen2.5-Coder-32B的快速推出可以说是众望所归。

就在前段时间，Reddit还有帖子提问，怎么32B版本还不来？

毕竟，不少人都基于9月开源的Qwen2.5-Coder-1.5B和7B版本，打造出了热度颇高的应用。

比如Qwen Code Interpreter。这是一个类似于ChatGPT的代码解释器，可完全在本地/浏览器上运行，基于Qwen2.5-Coder-1.5B打造。

只用小模型还实现了非常好的效果，这立刻引发不少网友的关注，一个随手推荐帖就有近千人点赞。

还有人基于Qwen2.5-Coder打造了专门用于rust语言的编程助手。

说Qwen2.5-Coder是最受欢迎的开源编程大模型绝不为过，事实上，每一代Qwen编程模型，都代表了开源的最高水平，PK的永远是当时最厉害的闭源模型。

今年4月，CodeQwen1.5-7B发布，在基础代码生成能力上，它表现出超过更大尺寸模型的潜力，拉近了开源模型和GPT-4之间的编程能力差距。

之后在云栖大会上，Qwen2.5-Coder-1.5B/7B发布。作为Qwen2.5家族的一员，Qwen2.5-Coder-7B打败了当时比它尺寸更大的DeepSeek-Coder-V2-Lite和Codestral-20B，成为最强基础编程模型之一。

在此基础上，Qwen2.5-Coder-32B的推出，将规模提升一个数量级达到百亿参数，能力也进一步涌现，水平超越GPT-4o，逐渐逼近闭源模型王者Claude 3.5 Sonnet。

闭源模型山头几个月一换，而开源的Qwen却从来没有停下攀登的脚步，也进一步验证，开源模型和闭源模型之间的差距正在缩短，开源模型完全有机会、有能力取代闭源模型，为全球广大开发者用户提供更加低门槛、开放的AI能力。

随着AI应用趋势不断演进，越来越多领域和行业加入，对AI模型的性能、开发成本以及上手门槛都会提出更高要求。反之，易用的开源模型将成为推动这股趋势的重要动力。

Qwen系列的爆火就是这种正向循环最好的证明之一。截至9月底，全球基于Qwen系列二次开发的衍生模型数量9月底突破7.43万，超越Llama系列衍生模型的7.28万。

通义千问Qwen已成为全球最大的生成式语言模型族群。

而背靠阿里——全球云计算和AI的第一梯队玩家，一方面，深厚技术和资源支持为Qwen系列的持续开源、不断升级提供更可靠保障，另一方面，阿里自身业务及发展上的需要也构成了Qwen继续攀登高峰的内在闭环。

不过开源模型最大价值还是要回归开发者。

AI的到来，让天下没有难开发的应用。

Qwen作为中国开源大模型领军者，为全球开发者提供更丰富的选择，也代表中国创新力量在全球大模型竞技中登台亮相，并且正在得到更多人的认可。

嗯…比如前段时间Mistral发布的端侧模型没有和Qwen2.5做对比，还被小小吐槽了下（doge）。

值得一提的是，据透露Qwen3已经在路上，预计在几个月内和大家见面。可以期待一下~

关于Qwen2.5-Coder的更多信息，可直接通过下方链接了解。

GitHub地址：
https://github.com/QwenLM/Qwen2.5-Coder
技术报告：
https://arxiv.org/abs/2409.12186

---

号外：为了探索Qwen在不同场景下的应用，通义千问Qwen联合魔搭社区、阿里云开发者社区发起征文活动，围绕Agent应用、微调/部署、行业应用、Qwen-coder应用创作技术实践文章，就有机会参与瓜分10万元奖金！