3张硬纸板DIY《节奏光剑》全身追踪器,免费开源可替代淘宝3000元套件
基于AprilTag实现
博雯 发自 凹非寺
量子位 报道 | 公众号 QbitAI
安上3张硬纸板后,不忍直视的壮汉撒娇立马对味儿了:
没错,就是这样平平无奇的纸板:
这样一个看上去分分钟就能DIY出来的纸板,居然能用来捕捉动作?
没错,不仅能,而且质量相当可以——通过这种全身跟踪技术生成的虚拟模型十分灵活,玩个《节奏光剑》毫无问题:
这就是基于视觉定位系统,AprilTag所实现的VR全身跟踪系统。
整个项目开源免费,设置流程也非常简单:
(基本所有的连接和校对工作,全都可以用GUI界面快速完成)
那么接下来,就来一起看看这款VR全身追踪器的使用方法吧。
Apriltag实现全身跟踪
首先,我们需要打印这样一张图片:
这张看上去像是简化版二维码的图片,其实是包含了不同ID的特定标签。
将这种Tag放在待检测对象身上后,Apriltag就能检测并返回其ID,再计算得到Tag与相机之间的相对位置,最终达到定位的目的。
所以,我们将这张Tag图片打印出来,并沿红线剪开,沿蓝线折叠,再粘贴在硬纸板上。
最终就制成了3个简易的跟踪器:
接下来安装SteamVR驱动程序:
安装完成后,先在电脑上运行Apriltag追踪器:Start _ apriltagtrackers.bat。
这时,根据你的需求设置特定的摄像头参数。
比如输入高度或宽度参数来控制摄像头窗口的大小,或设置相机的曝光度。
紧接着就是校准摄像机。
当摄像机窗口打开时,慢慢移动相机,使其每隔几秒就从不同角度拍摄一张图片:
在校对的圆点为紫色,并且网格也尽量稳定地分布在整个图像之上时,摄像机校对就完成了。
然后在两腿及臀部穿戴好设备,开始校对追踪器:
其中黄色表示正在添加,红色表示不能添加,绿色标记表示已经添加。
在确保自己穿戴的所有跟踪器都被以绿色标记后,准备连接到SteamVR:
连接完成,现在我们终于可以进入VR世界了!
Apriltag定位原理
那么,这个帮我们实现了全身跟踪的AprilTag到底是什么?
这是由密歇根州立大学的April实验室于2011年开发的一款视觉定位系统。
而名字中的Tag则是一种拥有单一ID的视觉定位标志符。
官方提供预先生成的Tag图像,用户也可以使用官方工具AprilTag-generation自己生成Tag。
而AprilTag算法的主要内容则包含边缘检测、四边形检测,以及对Tag的编解码:
对于这一系统,April实验室到目前为止共发表了4篇论文,其中最近的一篇发表在2019年的IROS上:
这篇论文描述了一种比AprilTag 2和ArUco更快的检测器,在保持精度的同时,还拥有更高的召回率。
同时也提出了一种允许非方形形状(如圆形、环形)的更加灵活的Tag布局。
现在,AprilTag正广泛应用于AR/VR、机器人、相机校准领域。
下载:
https://github.com/ju1ce/April-Tag-VR-FullBody-Tracker
演示:
https://www.youtubemy.com/watch?v=Akps-dH0EeA
教程:
https://www.youtube.com/watch?v=vhTF5ECTpKc
Apriltag官网:
https://april.eecs.umich.edu/software/apriltag.html
- 有道智能学习灯发布,通过“桌面学习分析引擎”实现全球最快指尖查词2022-04-08
- 科学证明:狗勾真的懂你有多累,听到声音0.25秒后就知道你是谁,对人比对狗更亲近2022-04-14
- 在M1芯片上跑原生Linux:编译速度比macOS还快40%2022-04-05
- 小学生们在B站讲算法,网友:我只会阿巴阿巴2022-03-28