基于事件的神经模拟视觉技术与传统图像传感器的工作模式

2022-05-30
关注

根据Yole在机器视觉和人工智能转型的早期阶段。根据YoleDelopment等市场研究机构的分析,预计到2030年,视觉技术将创造一个价值100亿美元的市场。这种技术将渗透到各个领域,包括自动驾驶、AR、可穿戴计算成像、机器人技术等。

机器视觉和人工智能领域一直与视觉技术BFC233626104密切相关。基于事件的神经模拟视觉是一种新的成像技术范式,可以大大提高机器感知周围环境的能力,从而做出智能决策。如何提高机器视觉和人工智能领域的现有应用性能,如何提高机器视觉和人工智能领域的新技术标准?

视觉技术与传统图像传感器基于事件的本质区别。

受生物原理的启发,基于事件的神经模拟视觉技术与传统图像传感器的工作模式有很大不同。与人眼视网膜类似,基于事件的神经模拟视觉技术传感器不会在固定时间产生图像,而是关注场景的动态变化。这种动态变化信息对机器视觉和人工智能非常重要。这种工作原理意味着基于该技术的传感器可以连续、连续地收集图像。每个传感器都是独立的,只对不断变化的事物做出反应,而不是一次又一次地收集静态的背景信息。

为了模拟这一生物学原理,我们需要通过智能像素嵌入式设计来设计智能像素。上图所示的模拟处理系统基于电平交叉采样电路,以减少冗余,提高数据传输率。

比如上中传感器可以精确到微秒级,数据收集速度非常快。更重要的是,每个像素都可以独立异步工作。因此,基于该技术的数据采集功能不会受到现场照明条件的影响。所以,这意味着传统图像传感器的动态范围超过120-130dB。

基于事件的异步自适应取样与基于帧的数据取样之间的差异也很明显。在一个固定的时间内获得的一系列图像将不可避免地导致信息冗余。虽然它产生的信息在时间上是连续的,但由于数据收集本身的不连续性,帧之间缺乏信息。基于事件的异步自适应取样只能获得不断变化的信息。换句话说,它在时间和空间范围内捕获了一个连续的信息流(像素级)。传感器只提供处理任务所需的必要信息,而不是生成原始数据。

隐藏信息在图像之间。

基于事件的传感器可以快速对场景变化做出反应,揭示到目前为止基于框架的传感器难以记录的信息。态范围极其依赖于光照条件,对新兴的人工智能和机器视觉不友好,基于框架捕获和采集的动态范围不可避免地受到限制。对于运动物体的理解来说,帧和帧之间没有信息记录,这对于整个运动来说是非常困难的,有时甚至是不可能的。基于事件传感的连续信息流使处理系统更容易跟踪,对动态信息有更深的理解。这也意味着它可以在本地进行更新和跟踪,并提高时间准确性。

基于事件的传感器可以记录相当于10000fps的时间和即时捕获的亚毫秒时间水平。系统需要处理的数据减少了10到1000倍,并且更准确地获键动态信息,因为没有冗余数据记录。同时,它具有很高的动态范围,可以捕捉隐藏在极端照明条件下的信息。

从机器学习的角度来看,这种对数学模型的连续信息流捕获和跟踪也相当简单。

传感器基于事件演进。

目前,基于事件的视觉技术传感器已发展到第四代。与第三代VGA传感器相比,由背面照片(BSI)3D堆栈工艺制成的硅面积减少了10倍以上。由于CIS层堆叠在CMOS层上,与上一代相比,该装置的光敏区域和逻辑电路也得到了优化。像素间距也减少到4.86微米,再加上80%以上的填充因子,传感器具有更高的光电性能。

基于传感器的机器学习可以在不使用图像的情况下训练神经网络识别对象。第二,使用时间编码的信息。这给机器学习带来了巨大的变化。首先,没有必要等待帧图像大大减少延迟。第二,它更容易总结。掌握主要事件的特点,减少数据集,最终减少计算量。

小结

一般来说,基于事件的视觉传感技术不受帧速率的限制,实现了更快的速度和更高的动态范围。与传统的图像传感器相比,它为机器视觉和人工智能提供了更具成本效益的视觉解决方案。


您觉得本篇内容如何
评分

评论

您需要登录才可以回复|注册

提交评论

提取码
复制提取码
点击跳转至百度网盘