奥特曼招人查自家员工,“GPT-5”要来了:新旗舰模型曝光,“草莓”或将秋季上线

“草莓”给新旗舰生成训练数据

西风 发自 凹非寺

量子位 | 公众号 QbitAI

OpenAI新模型,怕是真的要来了。

神秘模型“草莓”被曝今年秋天可能就与大家见面!

顺带着GPT-4继任者也浮出水面。

The Information称,OpenAI已经悄摸展示过“草莓”,它还被用来改进代号“猎户座(Orion)” 的新模型。

“猎户座”定位是新旗舰,也就是GPT-4的下一代。

奥特曼招人查自家员工,“GPT-5”要来了:新旗舰模型曝光,“草莓”或将秋季上线

有意思的是,OpenAI目前正在专门招人调查自家员工,职位叫:技术内部风险调查员

来看看这五条职责:

  • 整合各种数据源检测、分析并缓解潜在的内部威胁
  • 构建、保持并改进用于识别内部威胁的关键指标和实际应用场景
  • 调查可疑行为,并与法律及人力资源部门协调
  • 与跨学科团队合作,填补监控盲点并提高安全措施
  • 确定并监管数据丢失预防控制的执行

好像句句都在透露加强对内控制,抓内鬼

奥特曼招人查自家员工,“GPT-5”要来了:新旗舰模型曝光,“草莓”或将秋季上线
奥特曼招人查自家员工,“GPT-5”要来了:新旗舰模型曝光,“草莓”或将秋季上线

回想一下GPT-4o发布前,也有一波查内鬼的动作,当时方式是放各种假消息。

先是大张旗鼓给SearchGPT搜索引擎造势,路透社啊、彭博社啊这些权威媒体刚把消息放出去,OpenAI来了个出其不意。

宣布改成对ChatGPT和GPT-4的升级,也就是后来发布了GPT-4o。

奥特曼招人查自家员工,“GPT-5”要来了:新旗舰模型曝光,“草莓”或将秋季上线

对应OpenAI这波新的内紧,有新动作大概率是没跑了。

先具体来看看这次关于神秘新模型“草莓”和“猎户座”的新细节。

“草莓”用于生成合成数据

“草莓”模型第一次“泄露”是在一个月前。这次The Information曝出消息:

OpenAI目标是尽快秋天推出“草莓”,可能同样是以聊天机器人形式,集成在ChatGPT系中。

“草莓”能解决它之前未遇到过的数学推理问题,还专门针对编程问题受过训练,且能力不仅限于回答技术性问题。

给它更多时间“思考”,它还能回答更主观话题的问题,例如产品营销策略,像《纽约时报》游戏版块的Connections复杂文字谜题也难不倒它。

奥特曼招人查自家员工,“GPT-5”要来了:新旗舰模型曝光,“草莓”或将秋季上线

如刚刚提到的,“草莓”还将用于改进另一个新模型“猎户座”。

知情人表示,OpenAI用更大版本的“草莓”生成用于训练“猎户座”的数据,即“合成数据”。

也就是说“草莓”可能还不止一个版本。

聊天机器人版本是原始草莓模型的“蒸馏”简化的“小草莓”,它力求保持与更大型号相同的性能,同时操作更容易且成本更低。

除此外,“草莓”还可以为OpenAI即将推出的Agent提供帮助。

GitHub Copilot前首席架构师、初创公司Minion AI CEO Alex Graveley表示,使用“草莓”生成更高质量的训练数据可以帮助OpenAI减少其模型产生“幻觉”。

The Information还称,奥特曼曾在五月份的一次活动中表示“对于下一个模型来说,我们已经有足够数据了。我们进行了各种实验,包括生成合成数据”,这有可能就是在说猎户座。

OpenAI这边暂未对The Information的爆料发表评论。

网友讨论热烈,纷纷表示“猎户座”应该就是GPT-5。

有网友还翻出,知名OpenAI爆料账号Jimmy Apples去年曾发过一张“猎户座”照片,又“预言”了?

奥特曼招人查自家员工,“GPT-5”要来了:新旗舰模型曝光,“草莓”或将秋季上线

网友摩斯继续分析,OpenAI去年内斗,奥特曼11月17被解雇,11月22复职,Jimmy Apples发上面这个猎户座的帖子卡在11月25日。

难不成,Ilya看到的是这?

奥特曼招人查自家员工,“GPT-5”要来了:新旗舰模型曝光,“草莓”或将秋季上线
奥特曼招人查自家员工,“GPT-5”要来了:新旗舰模型曝光,“草莓”或将秋季上线

还有网友认为草莓/Q*更像是一种技术,而不是一个模型:

它可能生成100个假设或答案,然后对它们进行排名,选出最优解。虽然这一过程非常消耗计算资源,但它有可能显著减少错误信息并将推理能力提升5倍。

奥特曼招人查自家员工,“GPT-5”要来了:新旗舰模型曝光,“草莓”或将秋季上线

关于“草莓”的更多技术细节,之前爆料的说法是这样婶儿的:

“草莓”已经在非常大的数据集上完成预训练,并使用了一种专门的处理方法。

包括后训练(post-training);或者在已经进行大规模训练后,再调整基础模型来“磨炼”性能。后训练部分包括常见的微调、人类反馈强化学习(RLHF)等。

而且“草莓”与斯坦福大学在2022年(当时ChatGPT还未发布)提出的一种名为自学推理(Self-Taught Reasoner,简称STaR)的方法很相似。

One More Thing

OpenAI团队这边还有更多新消息传出。

前OpenAI员工Daniel Kokotajlo爆料,曾专注于超强AI长期风险的安全团队员工近半数已离职。

奥特曼招人查自家员工,“GPT-5”要来了:新旗舰模型曝光,“草莓”或将秋季上线

参考链接:
[1]https://www.theinformation.com/articles/openai-shows-strawberry-ai-to-the-feds-and-uses-it-to-develop-orion
[2]https://www.reddit.com/r/singularity/comments/1f2iism/openai_shows_strawberry_ai_to_the_feds_and_uses/
[3]https://www.reddit.com/r/singularity/comments/1f25bha/exodus_at_openai_nearly_half_of_agi_safety/
[4]https://x.com/apples_jimmy/status/1728239862346903924
[5]https://www.businessinsider.com/openai-is-hiring-someone-to-investigate-its-own-employees-2024-8
[6]https://openai.com/careers/technical-insider-risk-investigator/

版权所有,未经授权不得以任何形式转载及使用,违者必究。