用无人车硬件玩GTA 5，这个12岁孩子的外挂有点硬核
“我XXX没有开挂！”
晓查 发自 凹非寺
量子位 报道 | 公众号 QbitAI
现在用TensorFlow玩GTA5，你可以自豪地说：“我XXX没有开挂！”
用物理外挂的事，怎么能叫开挂呢？我只是用摄像头拍摄游戏画面，然后把手柄操作交给AI操作而已。
不过这个外挂的硬件成本有点高，改装部件299美元，够买好几个GTA5了。本来这套硬件是给汽车的自动驾驶改装准备的，现在却被拿来玩游戏。
另外还要有一台能流畅运行GTA5的Windows电脑，和一台在Linux上流畅运行TensorFlow计算机视觉模型的电脑。
有钱有技术真的可以为所欲为。
你很难想象，这个给GTA5用来自动驾驶的外挂，竟是出自一位12岁少年Leon Hillmann之手，硬件则来自创业公司comma.ai的产品。
comma.ai你可能没听说过，这家公司的创始人是天才黑客George Hotz。
他曾是第一个破解iPhone的黑客，因为看不惯大公司作为，希望以一己之力改变自动驾驶行业，致力于通过低成本改装，给传统汽车加上自动驾驶功能。
既然comma.ai能用在汽车上，给GTA5加个物理外挂应该不是问题。
在GTA中开挂
comma.ai的自动驾驶软件叫做Openpilot，用TensorFlow实现，已经在GitHub上开源，支持本田、丰田等品牌的40多款汽车。
要把汽车上用的Openpilot移植到游戏里没那么容易。
和现实中的自动驾驶不同，GTA5中的汽车不会输出任何传感器数据，除了能看到周围路况，其余的信息也就是地图和车速了。
而comma.ai是给真实汽车准备的，没有汽车传感器的数据就不能正常工作，所以Leon花了两周的时间反向出方向盘、油门、刹车的输出。
到这里，Leon觉得应该差不多，他希望通过虚拟手柄实现对GTA的控制，最初用的是虚拟PS手柄，花了5天时间做了很多无用功，最后不得不转而使用Xbox手柄。（Xbox党的胜利！）
Leon的“行车记录仪”，用的是罗技C920摄像头，建议用1080p或更高清晰度。摄像头截获的视频传递给TensorFlow模型，算出反馈数据。
下面是根据实拍汽车视频得到的车道和轨迹输出数据，Leon稍加改造用在GTA5上。
外挂的整个流程是：
游戏画面 → Ubuntu笔记本电脑 → 模型预测 → 转换控制输出 → 通过本地网络发送到游戏机 → 模拟Xbox控制器输入 → 在GTA5中驾驶
试玩的输出画面像这样：
物理外挂背后的自动驾驶
前面已经说过，Openpilot由comma.ai开发，不寻常的是这款软件完全开源。
难道创始人George Hotz做软件不为赚钱，只为交个朋友，靠卖自动驾驶配件赚钱？
事实上是早在2016年，comma.ai已经开始销售999美元的自动驾驶配件Comma One。
然而，美国高速公路交通安全委员会（NHTSA）发出一封邮件警告，如果将未经测试的无人驾驶汽车投放至道路，那么将按天处以罚款。
因此，Hotz把自己的自动驾驶技术开源，自动驾驶配件仍按照999美元价格销售，现在已经升级到Comma Two。
Comma Two主要依靠面向前方的摄像头来观察道路，而驾驶员则需要后方红外摄像头。但除此之外，Comma Two没有什么特别之处。
为了控制真实的汽车，还需要通过特制线束在Openpilot和汽车之间建立物理接口。
除了传感器和汽车接口外，Openpilot另外还需要足够计算能力的Linux平台。
算下来，Openpilot比特斯拉的Autopilot便宜不少，只是如此简陋的硬件配置，真的有人敢给自己的车做改装吗？还是拿来做GTA外挂比较放心。
参考链接：
https://littlemountainman.github.io/2020/05/12/openpilot/
https://github.com/littlemountainman/modeld
https://medium.com/@comma_ai/self-driving-car-for-free-82e871fe0587
- 脑机接口走向现实，11张PPT看懂中国脑机接口产业现状｜量子位智库2021-08-10
- 张朝阳开课手推E=mc²，李永乐现场狂做笔记2022-03-11
- 阿里数学竞赛可以报名了！奖金增加到400万元，题目面向大众公开征集2022-03-14
- 英伟达遭黑客最后通牒：今天必须开源GPU驱动，否则公布1TB机密数据2022-03-05
