谷歌开源系模型第二代免费开放！27B媲美Llama3 70B，单H100或TPU主机可跑
还有更轻的9B版本
西风 发自 凹非寺
量子位 | 公众号 QbitAI
谷歌开源模型Gemma 2开放了！
虽然前段时间Google I/O大会上，Gemma 2开源的消息就已经被放出，但谷歌还留了个小惊喜——
除27B模型外，还有一个更轻的9B版本。
DeepMind创始人哈萨比斯表示，27B参数规模下，Gemma 2提供了同类模型最强性能，甚至还能与其两倍大的模型竞争。
目前Gemma 2已入驻大模型竞技场（LMSYS Chatbot Arena），Gemma 2 27B排名与Llama3 70B相当：
而Gemma 2 9B的排名甚至比肩Qwen 2 72B：
该结果也让网友纷纷表示难以置信。
此外，VentureBeat表示，两种Gemma 2版本还不够，谷歌很快还将发布2.6B参数模型。
能打两倍大的模型
Gemma是谷歌的开源模型系列，采用Gemini同款技术架构，主打开源、轻量级、免费可商用。
今年二月份，Gemma系列正式上线第一代，共有2B和7B两个版本，笔记本可跑，性能全面超越当时的开源标杆Llama 2。
和羊驼家族一样，基于Gemma也有了很多变种，如CodeGemma、RecurrentGemma、PaliGemma等。
对于第二代Gemma 2，谷歌表示相比于Gemma，性能更高、推理效率更高，单个NVIDIA H100或TPU主机上可跑。
上下文长度方面，Gemma 2为8192 Tokens。
性能方面，Gemma 2与Llama 3、Grok-1基准测试结果对比如下：
Gemma 2 9B得分全面超越Llama 3 8B，Gemma 2 27B模型表现接近Llama 3 70B，且超越Grok-1和Qwen 1.5 32B：
与Mistral和Gemma 1的比较结果如下：
除此外，Gemma 2安全性相比前代也有显著提升：
技术报告中也有Gemma 2的更多信息。
基于Transformer解码器架构，与Gemma 1不同之处在于，Gemma 2每隔一层交替使用局部滑动窗口注意力和全局注意力机制，引入了分组查询注意力（GQA）以提高推理速度，相比Gemma 1也使用了更深的网络结构。
Gemma 2关键模型参数如下：
网友实测
目前，用户还可在Hugging Chat上与Gemma 27B聊天。
有网友上手测试了一番：
不过似乎是出Bug了，让Gemma 27B讲个故事，它愣是没刹住车，回复巨长。
我们也上手体验了一下，可能是有什么Bug……
这边还有网友使用苹果的MLX框架也在本地部署上了：
谷歌表示，从下个月开始，Google Cloud用户也可在Vertex AI上部署和管理Gemma 2。
One More Thing
谷歌刚刚官宣Gemma 2开放，国产大模型就来踢馆了。
智谱AI放出1个月前发布的开源模型GLM-4-9B的得分，和Gemma 2的对比是这样婶儿的：
HuggingFace：https://huggingface.co/chat/models/google/gemma-2-27b-it
参考链接：
[1]https://x.com/GoogleDeepMind/status/1806373224889954449
[2]https://x.com/demishassabis/status/1806417177496473966
[3]https://venturebeat.com/ai/googles-gemma-2-series-launches-with-not-one-but-two-lightweight-model-options-a-9b-and-27b/
[4]https://chat.lmsys.org/?leaderboard
[5]https://x.com/lmsysorg/status/1806369224895647757
- 马斯克新官上任再起诉OpenAI！新证据称Ilya七年前就不放心奥特曼2024-11-16
- 杨植麟发布Kimi新模型：数学对标o1，中考高考考研成绩全第一2024-11-16
- 量化能让大模型“恢复记忆”，删掉的隐私版权内容全回来了2024-11-16
- 大模型“取长补短”新思路入选NeurIPS’24，显著优于现有路由方法，南科大港科大出品2024-11-14
相关阅读
