奥特曼招人查自家员工，“GPT-5”要来了：新旗舰模型曝光，“草莓”或将秋季上线
“草莓”给新旗舰生成训练数据
西风 发自 凹非寺
量子位 | 公众号 QbitAI
OpenAI新模型，怕是真的要来了。
神秘模型“草莓”被曝今年秋天可能就与大家见面！
顺带着GPT-4继任者也浮出水面。
The Information称，OpenAI已经悄摸展示过“草莓”，它还被用来改进代号“猎户座（Orion）” 的新模型。
“猎户座”定位是新旗舰，也就是GPT-4的下一代。
有意思的是，OpenAI目前正在专门招人调查自家员工，职位叫：技术内部风险调查员。
来看看这五条职责：
- 整合各种数据源检测、分析并缓解潜在的内部威胁
- 构建、保持并改进用于识别内部威胁的关键指标和实际应用场景
- 调查可疑行为，并与法律及人力资源部门协调
- 与跨学科团队合作，填补监控盲点并提高安全措施
- 确定并监管数据丢失预防控制的执行
好像句句都在透露加强对内控制，抓内鬼。
回想一下GPT-4o发布前，也有一波查内鬼的动作，当时方式是放各种假消息。
先是大张旗鼓给SearchGPT搜索引擎造势，路透社啊、彭博社啊这些权威媒体刚把消息放出去，OpenAI来了个出其不意。
宣布改成对ChatGPT和GPT-4的升级，也就是后来发布了GPT-4o。
对应OpenAI这波新的内紧，有新动作大概率是没跑了。
先具体来看看这次关于神秘新模型“草莓”和“猎户座”的新细节。
“草莓”用于生成合成数据
“草莓”模型第一次“泄露”是在一个月前。这次The Information曝出消息：
OpenAI目标是尽快秋天推出“草莓”，可能同样是以聊天机器人形式，集成在ChatGPT系中。
“草莓”能解决它之前未遇到过的数学推理问题，还专门针对编程问题受过训练，且能力不仅限于回答技术性问题。
给它更多时间“思考”，它还能回答更主观话题的问题，例如产品营销策略，像《纽约时报》游戏版块的Connections复杂文字谜题也难不倒它。
如刚刚提到的，“草莓”还将用于改进另一个新模型“猎户座”。
知情人表示，OpenAI用更大版本的“草莓”生成用于训练“猎户座”的数据，即“合成数据”。
也就是说“草莓”可能还不止一个版本。
聊天机器人版本是原始草莓模型的“蒸馏”简化的“小草莓”，它力求保持与更大型号相同的性能，同时操作更容易且成本更低。
除此外，“草莓”还可以为OpenAI即将推出的Agent提供帮助。
GitHub Copilot前首席架构师、初创公司Minion AI CEO Alex Graveley表示，使用“草莓”生成更高质量的训练数据可以帮助OpenAI减少其模型产生“幻觉”。
The Information还称，奥特曼曾在五月份的一次活动中表示“对于下一个模型来说，我们已经有足够数据了。我们进行了各种实验，包括生成合成数据”，这有可能就是在说猎户座。
OpenAI这边暂未对The Information的爆料发表评论。
网友讨论热烈，纷纷表示“猎户座”应该就是GPT-5。
有网友还翻出，知名OpenAI爆料账号Jimmy Apples去年曾发过一张“猎户座”照片，又“预言”了？
网友摩斯继续分析，OpenAI去年内斗，奥特曼11月17被解雇，11月22复职，Jimmy Apples发上面这个猎户座的帖子卡在11月25日。
难不成，Ilya看到的是这？
还有网友认为草莓/Q*更像是一种技术，而不是一个模型：
它可能生成100个假设或答案，然后对它们进行排名，选出最优解。虽然这一过程非常消耗计算资源，但它有可能显著减少错误信息并将推理能力提升5倍。
关于“草莓”的更多技术细节，之前爆料的说法是这样婶儿的：
“草莓”已经在非常大的数据集上完成预训练，并使用了一种专门的处理方法。
包括后训练（post-training）；或者在已经进行大规模训练后，再调整基础模型来“磨炼”性能。后训练部分包括常见的微调、人类反馈强化学习（RLHF）等。
而且“草莓”与斯坦福大学在2022年（当时ChatGPT还未发布）提出的一种名为自学推理（Self-Taught Reasoner，简称STaR）的方法很相似。
One More Thing
OpenAI团队这边还有更多新消息传出。
前OpenAI员工Daniel Kokotajlo爆料，曾专注于超强AI长期风险的安全团队员工近半数已离职。
参考链接：
[1]https://www.theinformation.com/articles/openai-shows-strawberry-ai-to-the-feds-and-uses-it-to-develop-orion
[2]https://www.reddit.com/r/singularity/comments/1f2iism/openai_shows_strawberry_ai_to_the_feds_and_uses/
[3]https://www.reddit.com/r/singularity/comments/1f25bha/exodus_at_openai_nearly_half_of_agi_safety/
[4]https://x.com/apples_jimmy/status/1728239862346903924
[5]https://www.businessinsider.com/openai-is-hiring-someone-to-investigate-its-own-employees-2024-8
[6]https://openai.com/careers/technical-insider-risk-investigator/
- 鹅厂版AI笔记悄悄上线，微信公众号优质内容秒变专属知识库，实测在此2024-10-29
- 什么会影响大模型安全？NeurIPS’24新研究提出大模型越狱攻击新基准与评估体系2024-10-31
- o1推理将用于图像理解，现场演示2分钟开发应用，OpenAI在伦敦捅了开发者窝2024-10-31
- GitHub把OpenAI当备胎，Copilot接入Claude+Gemini，网友：Cursor的商业模式没了2024-10-30
相关阅读
