神经拟态视觉传感器来了！手机和车都能用，李开复雷军纷纷投资

博雯 发自 凹非寺
量子位 报道 | 公众号 QbitAI

机器会怎样来看世界？

通过帧。

传统的图像传感器会通过每秒捕获多张静止图像来记录场景运动。

如果将这一系列图像通过足够快的速度连续展示，人类视觉就能产生“这是连续运动”的错觉。

但对于计算机来说，无论是多快的速率，帧与帧之间总会丢失某些运动信息。

那么，有没有办法让机器连续地“看”到运动场景或事件呢？

今天就来看看普诺飞思（Prophesee）公司给出的“神经拟态机器眼”。

来自人眼的启发

要了解这个“机器眼”，首先得看看它模仿的源头：

人眼。

我们是如何通过人眼来看世界的呢？

当眼睛中的视觉细胞感测到场景变化——即发生了某个事件时，它就会将相关信息通过视神经传到大脑皮层。

而收集到的数据也是持续的，是以事件为基础的。

因此，普诺飞思的研究者们以人眼为启发，提出了基于事件的视觉感知技术。

和传统图像传感器不同，在基于这种技术的传感器中，每个像素都是异步且独立的。

因此，图像信息并不是逐帧发送，而是通过连续的信息流捕获事件运动：

而如果从事件的角度来考虑，静止和场景并不会带来新的信息。

因此，这种技术也就不关注完全静止的场景：

只有场景中发生某个事件，产生了变化时，传感器才会产生输出：

如果是以帧为单位来获取这种图像信息的变化，那得一张一张固定频率发送，然后一个像素一个像素的比较。

而现在，只关注动态变化，也就剔除了很多冗余信息，减少了处理数据量。

这不仅加快了处理速度，也意味着对算力要求的减弱，成本也就随之降低。

普诺飞思的CEO兼创始人Luca Verre对此表示：

这是来自自然界的完美的解决方案。

现在，普诺飞思已将这种基于事件的视觉技术集成到已有系统中，加入了神经拟态计算，做到了了世界首个量产的基于事件的视觉传感器。

并且随着更新换代，传感器的性能越来越好，尺寸也越来越小了。

更清晰的拍照，更准确的驾驶

更小，也就意味着离我们的日常生活更近。

比如手机拍摄。

如果在按下快门的几毫秒内被拍对象恰好发生了移动，那么图像的一个点就会变成一条线。

这也就是我们在拍摄很多动态物体时常常产生模糊的原因。

但现在用基于事件的视觉技术，就能够在按快门的这段时间内一直观测这一点的移动，知道它的移动轨迹，再将这条线恢复成点。

可以看到，采用基于事件的视觉技术的右图明显比左图要清晰很多。

此外，这一技术也能提供更大的动态范围，让每一个像素都能按照不同的曝光值来曝光。

这样，即使在非常严苛的光线情景（如室内或夜景）下，拍摄图像也不会得到很大的损失。

然后就是提供更精准的座舱监控技术。

可以看到，这一监控能够追踪驾驶员的目光方向。

不仅如此，连眨眼速度也能监控，这可是传统的监控解决方案做不到的。

这就是普诺飞思联合Xperi开发的全球首个基于神经拟态视觉系统的驾驶员监控解决方案。

还有基于事件的高级驾驶辅助系统，增强了现有的雷达、激光雷达和摄像头系统，能够更快速、准确地理解周围的环境。

通过细胞实时无菌检测实现的下一代细胞疗法，用于减少医疗制品的生产成本：

也有失明患者借助将基因疗法、光刺激医疗设备、以及普诺飞思传感器结合起来的光遗传疗法恢复了部分视力。

除此之外，工业上也有这种传感器的应用：

比如对于一些不能直接接触的大型机械（如高压环境）可以做非接触性的振动检测。

在焊接上也可以做到引导和质检。

这是怎样的一个公司

普诺飞思（Prophesee）是一个7年前在巴黎创立的公司。

这家科技公司致力于神经拟态视觉系统的研发，其基于事件的视觉传感器已应用在摄影、自动驾驶、工业自动化、医疗等多个领域。

公司CEO兼联合创始人Luca Verre拥有米兰理工大学和巴黎中央理工学院的物理学、电子和工业工程双硕士学位。

还曾任丰田汽车公司和Altis半导体公司的工程师。

在7月6日这场发布会上，普诺飞思宣布C轮融资，由创新工场领投、小米及上海韦豪创芯跟投，数家老股东加码。

这也是今年继DeepMind之后，又一家能走进中国视野的欧洲AI创业公司。

创新工场董事长兼CEO李开复博士表示：

普诺飞思在神经拟态视觉领域的先进技术，将为AI和机器视觉技术的发展开创更多的可能性与机会，帮助更多行业实现自动化、安全以及效率方面的提升。

普诺飞思官网：
https://www.prophesee.ai/