马斯克机器人大进化！全新技能解锁，启用端到端神经网络
光子进，行为出
梦晨 发自 凹非寺
量子位 | 公众号 QbitAI
马斯克的机器人大进化。
一年前首次上台时动作还略显僵硬，现在居然成了瑜伽大师。
还用上了自动驾驶系统同款的端到端神经网络架构，无需任何规则代码就学会分拣物品。
用马斯克自己的话说：
光子进，行为出。
网友表示：动作如此优雅流畅，很难相信视频是真的。
马斯克回复：执行器、传感器和整体机械结构更多升级还在后面。
有人注意到机器人脖子后面有个红色按钮，“如果机器人要统治世界了，别忘了按这个”。
对此，马斯克表示会致力于最大限度地提高安全性，用遥控器或手机就能轻松暂停机器人。
马斯克发这个视频，除了公布进展，更大的目的在于为机器人团队招聘，也展示了平台的招聘功能。
这次特斯拉机器人团队招聘各类硬件工程师及机器学习工程师、实习生，总计51个职位。
年薪范围在8万美元到36万美元（约人民币60万元-260万元）。
更新拆解
这次特斯拉擎天柱官方号只放出1分钟视频，没有更多技术细节资料。
但特斯拉机器人团队资深主任工程师Julian Ibarz透露，现在擎天柱已经能完成长期任务。
并且只要收集更多数据，就可以训练新的复杂任务，无需更改任何代码。
第三方观点中，最详细的是英伟达科学家范麟熙纯基于视频的长篇逆向分析。
他推测：
- 流畅的手部动作几乎肯定是通过模仿人类（行为克隆）训练出来的。
另一种选择是模拟环境中的强化学习，但通常会导致抖动和不自然的手部姿势。
至少有4种方法可以收集人类演示数据，其中最有可能的是远程控制。
可以参考斯坦福开源的ALOHA系统，可以控制机械臂把AirPods放到充电盒里。
另外三种方法是电影游戏常用的动作捕捉、深度摄像头和计算机视觉、VR模拟。
四种方法并不相互排斥，可以结合使用兼顾不同的优缺点。
- 神经网络架构，很可能是多模态Transformer。
图像、视频、动作、语言（不确定有没有）统一表征，其中动作部分需要将连续的信号转为离散的token，
最终每次输入一个视频token（或可选的语言token），输出动作token。
最接近的系统可以参考Google RT-1以及英伟达的VIMA。
- 波士顿动力的Atlas机器人只有简单的抓手，而特斯拉擎天柱有5根灵巧的手指，将来在日常任务中表现会更加出色。
不过也有人批评视频其实有约2-3倍的加速，只有机器人的时候看不出来，人类一出镜就比较明显了。
端到端架构：机器人的ChatGPT
端到端神经网络架构，特斯拉首先在自动驾驶FSD上实现——
前不久马斯克自己直播演示了一把自动驾驶去小扎家，引发轰动。
具体说来，端到端架构用在自动驾驶系统上，可以减少30万行规则代码，让运行速度快了10倍。
负责该项目的工程师Dhaval Shroff曾对马斯克说：这相当于车上用的ChatGPT。
Shroff这次对机器人的评价是“端到端，FTW”。也不知道FTW是指“For the win”还是“F* the world”。
就在刚刚，还有一段特斯拉汽车无导航情况下在湖边自动驾驶的视频传出，不过不确定是否运行了最新端到端架构的FSDv12。
One More Thing
这个周末，旧金山街头也出现赛博皮卡的身影。
预计在9月底，特斯拉将召开一年一度的AI Day活动，我们也会持续关注。
不知道这次又将带来哪些惊喜。
参考链接：
[1]https://x.com/Tesla_Optimus/status/1705728820693668189
[2]https://x.com/DrJimFan/status/1705982525825503282
[3]https://x.com/AviSchiffmann/status/1705743064336384506
- 史上最严中文真实性评估：OpenAI o1第1豆包第2，其它全部不及格2024-11-21
- 智能交互创新赛落幕，哈工大AI智能背诵助手拿下特等奖｜OPPO智能体平台2024-11-19
- 不做Sora背后：百度的多模态路线是什么？2024-11-16
- 60%以上低空经济企业上钉钉，钉钉&生态伙伴发布低空行业解决方案2024-11-14
相关阅读
世界AI大会三马纵论：马云乐观、马斯克悲观，马化腾认为技术孤立主义有大危害
