开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局
可在Windows本地运行
杨净 发自 凹非寺
量子位 | 公众号 QbitAI
一纸公告,“大模型市场格局变了”。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/ac7ed9d4c5cd944a7078e14f6ed80c78.png)
Meta与微软联手发布免费、可直接商用的LLaMA2。而作为首选合作伙伴,微软Windows可本地运行这一版本。
此外在AWS、Hugging Face上也可以获取,高通也官宣成为其合作伙伴。
这种背刺OpenAI的操作,让不少网友直呼刺激。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/ae06c7db64ce76b2ecd99d5e1691c733.jpeg)
还有人对这种开放程度表示惊叹,毕竟上个开源版本就已被产学研界广泛使用——LLaMA访问需求已超10万次,已经有小伙伴开发应用程序供大家免费测试了。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/c0ba809f947596fe6e31b57efc7b69ab.png)
但与此同时,质疑声随之而来:
- 核心作者已离开Meta,论文正文查无此人;
- 如此注重安全,以至于最终可能毫无用处;
- 虽说可商用,实际上有附加限制。
……
有人调侃小扎be Like:
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/78c0f54d343bb71166623158c57c976e.png)
核心作者已离开
此次LLaMA2的发布,从作者列表开始就已经透露不少玄机。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/15f33976d9726054c9dd1694ecf6187e.png)
首先,规模更大,团队集成到了GenAI部门。这是小扎专门应时而设的生成式AI产品部门。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/04fa88bb26831d535901230daa6403b0.png)
第二,昔日一些核心作者已经不见踪影。比如Armand Joulin, Edouard Grave, Guillaume Lample,Timothee Lacroix等。
其中一位在网上吐槽:
因为核心作者离开公司就将其从论文中删除,这是我很庆幸离开Meta的原因之一。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/bea8c6ec1eb991c0024a9c2150b09279.png)
事实上,在论文的附录上,还能看到他们的名字。不过正文部分已经查无此人。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/97912fabf5513fda90e10e54c5e52a1f.png)
据小扎和GPT-4介绍,此次LLaMA2共发布了从70亿、130亿、340亿以及700亿参数的预训练和微调模型,将免费提供用于研究和商业用途。
预训练过程,相较于上一代数据增长40%,上下文长度也增加了一倍,并采用分组查询注意力机制(GQA)来提升性能。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/26371359c6598c0a2ccfbc789fabb021.png)
微调阶段,其版本称为Llama 2-Chat,共收集了超100万条人工标注用于SFT(监督微调)和RLHF。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/edc13c8883c40593493c378b4760f9f3.png)
值得一提的是,此次还曝光了每个预训练模型GPU所需总时长。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/ff6440f544fd01c4fa2386e31e3999ae.png)
热心的网友测算了下总成本,如果以1.5美元/A100计算,那么700亿参数模型成本将为260万美元。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/ba69ea27125abd9ff053c015dca6e271.png)
感兴趣的朋友可进一步前往论文查看哦~(文末附上链接)
微软成LLaMA2首选伙伴
不过除了LLaMA2本身值得关注之外,其开放合作机制也引发了不少的热议。
公告中虽然强调“免费用于研究和商业用途”,但仍有不少限制。
因此有人直言:我不明白LLaMA2这次炒作!
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/c1e335f3f0cfe4b3e1015f1fe784ed7a.jpeg)
比如,可商用协议实际暗含附加限制。
有网友发现在GitHub许可证文件上发现,如果使用者利用LLaMA2提供产品或服务,月活跃用户超过7亿,那么必须向Meta申请许可。
而Meta可自行决定向其授予许可。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/690ff48754b8e30fff49283e43b15544.png)
还有就是可接受使用政策限制很多。这样一来,就可能导致“回答得很无聊,最终可能导致毫无用处”。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/5753bab006b8abbbb47d583a0ee5722d.jpeg)
在政策中可以看到,主要分为四个部分:违反法律或侵犯他人权利;参与、促进、煽动、促进或协助规划或开展对个人造成死亡或身体伤害风险的活动;故意欺骗或误导他人;未能适当向最终用户披露人工智能系统的任何已知危险。
因此有人认为相较ChatGPT而言,LLaMA2少了些灵活性。这可能就是开源与闭源之间的区别。
但不可否认的是,Meta坚定选择开放开源这条路径。
甚至于此次,还邀请了产学研界的伙伴高调地发表了一篇支持声明。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/8537bb86ed1c6bbb429ccf08deccb6bb.png)
包括英伟达、AMD、HuggingFace、YC、GitHub、 Databricks、Shopify、Zoom等公司的企业高管,还有UC伯克利、MIT等教授,比如CMU教授、MBZUAI大学校长邢波。
以及更多伙伴也顺势官宣与Meta合作,把LLaMA2集成到自己的产品中去,比如高通。
![开源大模型重击OpenAI!小扎放出LLaMA2炸裂科技圈,联手微软高通冲击市场格局](/wp-content/uploads/replace/14077be6436b5b881ea6eb913958cacf.png)
对此此番LLaMA2炸场,你怎么看?
而开源与闭源,在大模型时代,究竟谁才是更优解?
论文链接:
https://scontent-sjc3-1.xx.fbcdn.net/v/t39.2365-6/10000000_663429262362723_1696968207443577320_n.pdf?_nc_cat=101&ccb=1-7&_nc_sid=3c67a6&_nc_ohc=5ol-jUSglG4AX_QM_ym&_nc_ht=scontent-sjc3-1.xx&oh=00_AfAjtvFkEIu8MPpfQykAZosxwZrew4g_n0D_DKkTOuyIVA&oe=64BBB691
参考链接:
[1]https://about.fb.com/news/2023/07/llama-2-statement-of-support/
[2]https://about.fb.com/news/2023/07/llama-2/
[3]https://twitter.com/ylecun/status/1681336284453781505
[4]https://github.com/facebookresearch/llama/blob/main/LICENSE
[5]https://arxiv.org/abs/2302.13971
[6]https://twitter.com/moinnadeem/status/1681393075367841792
[7]https://twitter.com/GuillaumeLample/status/1681346701766934543?s=20
[8]https://chat.openai.com/share/c9868736-934f-40ce-a470-c0bb4359c260
[9]https://www.facebook.com/zuck/posts/pfbid02j7TCKZHRe1X4K3DA7EdA96q6Cx7DS3ZixKyrqsyx7NvUwx9X88V18nnqLF3BAsXjl
- 太火了!我在外滩大会玩Deepfake,想骗过机器人结果……2024-09-07
- 科学探索奖名单出炉:最年轻仅31岁,数学物理领域女性占半数2024-08-27
- 3分钟千人被裁,IBM中国大败退2024-08-27
- Midjourney地位不稳?AI绘图又一黑马出现,附4款产品一手实测2024-08-25