谷歌开源系模型第二代免费开放!27B媲美Llama3 70B,单H100或TPU主机可跑
还有更轻的9B版本
西风 发自 凹非寺
量子位 | 公众号 QbitAI
谷歌开源模型Gemma 2开放了!
虽然前段时间Google I/O大会上,Gemma 2开源的消息就已经被放出,但谷歌还留了个小惊喜——
除27B模型外,还有一个更轻的9B版本。
DeepMind创始人哈萨比斯表示,27B参数规模下,Gemma 2提供了同类模型最强性能,甚至还能与其两倍大的模型竞争。
![谷歌开源系模型第二代免费开放!27B媲美LLaMA3 70B,单H100或TPU主机可跑](/wp-content/uploads/replace/cf9eabf8a0e8301ad0333a4d1e3cc56b.png)
目前Gemma 2已入驻大模型竞技场(LMSYS Chatbot Arena),Gemma 2 27B排名与Llama3 70B相当:
![谷歌开源系模型第二代免费开放!27B媲美Llama3 70B,单H100或TPU主机可跑](/wp-content/uploads/replace/c9018c41170b62da892eeba5b8e19aa7.png)
而Gemma 2 9B的排名甚至比肩Qwen 2 72B:
![谷歌开源系模型第二代免费开放!27B媲美Llama3 70B,单H100或TPU主机可跑](/wp-content/uploads/replace/73e35e9746ebb4c7b820f4583f528f51.png)
该结果也让网友纷纷表示难以置信。
![谷歌开源系模型第二代免费开放!27B媲美Llama3 70B,单H100或TPU主机可跑](/wp-content/uploads/replace/9c5c9ff7953d19264dbda74e3c790927.png)
此外,VentureBeat表示,两种Gemma 2版本还不够,谷歌很快还将发布2.6B参数模型。
能打两倍大的模型
Gemma是谷歌的开源模型系列,采用Gemini同款技术架构,主打开源、轻量级、免费可商用。
今年二月份,Gemma系列正式上线第一代,共有2B和7B两个版本,笔记本可跑,性能全面超越当时的开源标杆Llama 2。
和羊驼家族一样,基于Gemma也有了很多变种,如CodeGemma、RecurrentGemma、PaliGemma等。
对于第二代Gemma 2,谷歌表示相比于Gemma,性能更高、推理效率更高,单个NVIDIA H100或TPU主机上可跑。
上下文长度方面,Gemma 2为8192 Tokens。
性能方面,Gemma 2与Llama 3、Grok-1基准测试结果对比如下:
![谷歌开源系模型第二代免费开放!27B媲美Llama3 70B,单H100或TPU主机可跑](/wp-content/uploads/replace/75dff2f8a470e9a2ef4d7f3b7c1965fd.png)
Gemma 2 9B得分全面超越Llama 3 8B,Gemma 2 27B模型表现接近Llama 3 70B,且超越Grok-1和Qwen 1.5 32B:
![谷歌开源系模型第二代免费开放!27B媲美Llama3 70B,单H100或TPU主机可跑](/wp-content/uploads/replace/07919e83648bff9f652148ce5a2ab144.jpeg)
与Mistral和Gemma 1的比较结果如下:
![谷歌开源系模型第二代免费开放!27B媲美Llama3 70B,单H100或TPU主机可跑](/wp-content/uploads/replace/d7b54b13622f789dcf68af5d0a301e5e.png)
除此外,Gemma 2安全性相比前代也有显著提升:
![谷歌开源系模型第二代免费开放!27B媲美Llama3 70B,单H100或TPU主机可跑](/wp-content/uploads/replace/af013267a32999dd507c5276e7f88107.png)
技术报告中也有Gemma 2的更多信息。
基于Transformer解码器架构,与Gemma 1不同之处在于,Gemma 2每隔一层交替使用局部滑动窗口注意力和全局注意力机制,引入了分组查询注意力(GQA)以提高推理速度,相比Gemma 1也使用了更深的网络结构。
Gemma 2关键模型参数如下:
![谷歌开源系模型第二代免费开放!27B媲美Llama3 70B,单H100或TPU主机可跑](/wp-content/uploads/replace/d6e2e5d6b748b332829ac023a05f05db.png)
网友实测
目前,用户还可在Hugging Chat上与Gemma 27B聊天。
有网友上手测试了一番:
![谷歌开源系模型第二代免费开放!27B媲美Llama3 70B,单H100或TPU主机可跑](/wp-content/uploads/replace/b266952698f92c72dd34486494596c21.png)
不过似乎是出Bug了,让Gemma 27B讲个故事,它愣是没刹住车,回复巨长。
我们也上手体验了一下,可能是有什么Bug……
![谷歌开源系模型第二代免费开放!27B媲美Llama3 70B,单H100或TPU主机可跑](/wp-content/uploads/replace/623720062a81ab04b18dd7b39083bda1.gif)
这边还有网友使用苹果的MLX框架也在本地部署上了:
![谷歌开源系模型第二代免费开放!27B媲美Llama3 70B,单H100或TPU主机可跑](/wp-content/uploads/replace/3e0ac738213f14575f7ed195f92bb2a0.gif)
谷歌表示,从下个月开始,Google Cloud用户也可在Vertex AI上部署和管理Gemma 2。
One More Thing
谷歌刚刚官宣Gemma 2开放,国产大模型就来踢馆了。
智谱AI放出1个月前发布的开源模型GLM-4-9B的得分,和Gemma 2的对比是这样婶儿的:
![谷歌开源系模型第二代免费开放!27B媲美Llama3 70B,单H100或TPU主机可跑](/wp-content/uploads/replace/92e01c9187ccc871e54d6dbbc8f4181a.png)
HuggingFace:https://huggingface.co/chat/models/google/gemma-2-27b-it
参考链接:
[1]https://x.com/GoogleDeepMind/status/1806373224889954449
[2]https://x.com/demishassabis/status/1806417177496473966
[3]https://venturebeat.com/ai/googles-gemma-2-series-launches-with-not-one-but-two-lightweight-model-options-a-9b-and-27b/
[4]https://chat.lmsys.org/?leaderboard
[5]https://x.com/lmsysorg/status/1806369224895647757
- 刚刚,智谱又融了30亿!超200亿估值引领大模型创业赛道2024-12-17
- Kimi版o1实装上线,这里是我们的一手测试↑2024-12-16
- Gemini 2.0成P图神器,各种P图只需一句话的事儿,可把网友馋哭了2024-12-16
- 企业级Agent已进入生产力阶段|BetterYeah AI张毅@MEET2024-12-16