用无人车硬件玩GTA 5,这个12岁孩子的外挂有点硬核
“我XXX没有开挂!”
晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
现在用TensorFlow玩GTA5,你可以自豪地说:“我XXX没有开挂!”
用物理外挂的事,怎么能叫开挂呢?我只是用摄像头拍摄游戏画面,然后把手柄操作交给AI操作而已。
不过这个外挂的硬件成本有点高,改装部件299美元,够买好几个GTA5了。本来这套硬件是给汽车的自动驾驶改装准备的,现在却被拿来玩游戏。
另外还要有一台能流畅运行GTA5的Windows电脑,和一台在Linux上流畅运行TensorFlow计算机视觉模型的电脑。
有钱有技术真的可以为所欲为。
你很难想象,这个给GTA5用来自动驾驶的外挂,竟是出自一位12岁少年Leon Hillmann之手,硬件则来自创业公司comma.ai的产品。
comma.ai你可能没听说过,这家公司的创始人是天才黑客George Hotz。
他曾是第一个破解iPhone的黑客,因为看不惯大公司作为,希望以一己之力改变自动驾驶行业,致力于通过低成本改装,给传统汽车加上自动驾驶功能。
既然comma.ai能用在汽车上,给GTA5加个物理外挂应该不是问题。
在GTA中开挂
comma.ai的自动驾驶软件叫做Openpilot,用TensorFlow实现,已经在GitHub上开源,支持本田、丰田等品牌的40多款汽车。
要把汽车上用的Openpilot移植到游戏里没那么容易。
和现实中的自动驾驶不同,GTA5中的汽车不会输出任何传感器数据,除了能看到周围路况,其余的信息也就是地图和车速了。
而comma.ai是给真实汽车准备的,没有汽车传感器的数据就不能正常工作,所以Leon花了两周的时间反向出方向盘、油门、刹车的输出。
到这里,Leon觉得应该差不多,他希望通过虚拟手柄实现对GTA的控制,最初用的是虚拟PS手柄,花了5天时间做了很多无用功,最后不得不转而使用Xbox手柄。(Xbox党的胜利!)
Leon的“行车记录仪”,用的是罗技C920摄像头,建议用1080p或更高清晰度。摄像头截获的视频传递给TensorFlow模型,算出反馈数据。
下面是根据实拍汽车视频得到的车道和轨迹输出数据,Leon稍加改造用在GTA5上。
外挂的整个流程是:
游戏画面 → Ubuntu笔记本电脑 → 模型预测 → 转换控制输出 → 通过本地网络发送到游戏机 → 模拟Xbox控制器输入 → 在GTA5中驾驶
试玩的输出画面像这样:
物理外挂背后的自动驾驶
前面已经说过,Openpilot由comma.ai开发,不寻常的是这款软件完全开源。
难道创始人George Hotz做软件不为赚钱,只为交个朋友,靠卖自动驾驶配件赚钱?
事实上是早在2016年,comma.ai已经开始销售999美元的自动驾驶配件Comma One。
然而,美国高速公路交通安全委员会(NHTSA)发出一封邮件警告,如果将未经测试的无人驾驶汽车投放至道路,那么将按天处以罚款。
因此,Hotz把自己的自动驾驶技术开源,自动驾驶配件仍按照999美元价格销售,现在已经升级到Comma Two。
Comma Two主要依靠面向前方的摄像头来观察道路,而驾驶员则需要后方红外摄像头。但除此之外,Comma Two没有什么特别之处。
为了控制真实的汽车,还需要通过特制线束在Openpilot和汽车之间建立物理接口。
除了传感器和汽车接口外,Openpilot另外还需要足够计算能力的Linux平台。
算下来,Openpilot比特斯拉的Autopilot便宜不少,只是如此简陋的硬件配置,真的有人敢给自己的车做改装吗?还是拿来做GTA外挂比较放心。
参考链接:
https://littlemountainman.github.io/2020/05/12/openpilot/
https://github.com/littlemountainman/modeld
https://medium.com/@comma_ai/self-driving-car-for-free-82e871fe0587
- 脑机接口走向现实,11张PPT看懂中国脑机接口产业现状|量子位智库2021-08-10
- 张朝阳开课手推E=mc²,李永乐现场狂做笔记2022-03-11
- 阿里数学竞赛可以报名了!奖金增加到400万元,题目面向大众公开征集2022-03-14
- 英伟达遭黑客最后通牒:今天必须开源GPU驱动,否则公布1TB机密数据2022-03-05