Stability AI开年首个大模型：专写代码，支持18种编程语言，上下文100K，苹果笔记本离线就能跑
增加中间填补功能
西风 发自 凹非寺
量子位 | 公众号 QbitAI
Stability AI开年第一个大模型来了！
名为Stable Code 3B，参数27亿，专为写代码而生。
Stable Code 3B可理解处理18种不同的编程语言，上下文长度100K token。
且它对硬件要求也不高，用MacBook Air等普通笔记本电脑也能离线运行。
性能方面，Stable Code 3B规模比CodeLLaMA 7B小60%，但性能却大差不差。
BigCode评估中，在包含多种编程语言的MultiPL-E数据集上，Stable Code 3B与类似大小的模型相比，都拿下了SOTA性能。
Stable Code 3B刚上线，有网友反馈已经在插件中用上了：
效果非常好！体积小，兼容各种硬件且运行速度非常快。
Stable Code 3B长啥样？
在此之前，Stability AI去年8月份就已发布了一个初代版本Stable Code Alpha 3B，Stable Code 3B是其进化版。但开发团队表示，Stable Code 3B是首个主要版本，基于Stable LM 3B基础模型打造，并增加了多项附加功能。
其中就包括支持中间填补（FIM）等新功能，并使用RoPE（旋转位置嵌入）方法，将上下文长度从16000 token拉长至100000 token。
Stable Code 3B整体架构类似于LLaMA，是一个仅解码器模型，使用Flash Attention 2算法。
支持以下18种编程语言：
C、CPP、Java、JavaScript、CSS、Go、HTML、Ruby、Rust、Markdown、Shell、Php、Sql、R、Typescript、Python、Jupyter-Clean、RestructuredText
下面是对性能比较的补充。
面对比自己大两倍多的CodeLLama 7B，Stable Code 3B的性能也差不多能与其打个平手，在Python、CPP语言上甚至略胜一筹。
在类似大小的模型中，Stable Code 3B表现突出。
不过也有吐槽声
虽然Stable Code 3B收到了一波好评，但也有不少网友认为“没有太多新东西”、“没有那么好”。
此外，它仅支持英语和编程语言，也是让大家有些许失望。
对此，你怎么看？
参考链接：
[1]https://huggingface.co/stabilityai/stable-code-3b
[2]https://twitter.com/StabilityAI/status/1747348018884493623
- 杨植麟发布Kimi新模型：数学对标o1，中考高考考研成绩全第一2024-11-16
- 马斯克新官上任再起诉OpenAI！新证据称Ilya七年前就不放心奥特曼2024-11-16
- 量化能让大模型“恢复记忆”，删掉的隐私版权内容全回来了2024-11-16
- 大模型“取长补短”新思路入选NeurIPS’24，显著优于现有路由方法，南科大港科大出品2024-11-14
相关阅读
