低功耗图像传感器面向现代视觉系统 在更快的连接速度、更高的自动化程度和更智能的系统的推动下，工业4.0加快了视觉技术在制造业中的应用，并将智能引入了以往简单的数据采集系统。上一代视觉系统负责捕捉图像，包装传输，并为后续FPGA、ASIC或昂贵的SOC等设备提供图像数据进行处理。如今，通过将人工智能融入整个数据通道，工业5.0更进一步（AI）与机器学习（ML），实现大规模定制。相机变得智能化，具有在应用层面处理的图像数据，只输出元数据进行决策。这两代人之间的关键发展是关注边缘的变化。本质上，我们的世界主要是模拟，许多电子和机电有助于我们的日常生活（EEM）该系统由各种感知输入驱动。视觉（光）、温度（热）、音频（声）、系统边缘端的电子传感器，如距离和位置、压力（触觉），收集这些物理输入，并将其转换为处理后的数据，以实现智能和方便的决策。工业4.0对这种传感器的智能化和高效性提出了要求。如今，许多非工业和商业应用领域的传感器不断发展，从基本类型到符合工业自动化过程和标准的增强版本。在大规模使用传感器的同时，人们也在推广电池驱动智能设备的广泛应用，功耗更低。功耗给视觉系统带来了不同的挑战，如何以创新的方式解决这些挑战，提供卓越的性能，将成为视觉系统的差异化因素。图像传感器-视觉感知输入机制视觉感知已成为边缘收集数据的重要途径之一，收集到的图像数据可以快速有效地用于决策。例如，如果没有视觉传感器，场景中的物体需要无数具体的传感器来传达场景的组成。这将产生大量的数据，并且需要巨大的处理工作，也许还要靠好运，才能得到场景的真实呈现。此外，在高效的系统中，图像可以在一帧数据中传达场景中的所有信息。这种简单的数据表达形式加速了图像传感器的发展，支持智能手机等消费移动产品，其分辨率超过1亿像素。在硬件和软件的支持下，它为静态图像和视频流提供了优秀的细节特征。由于移动产品主要服务于娱乐和个人应用，其决策目标略有不同。然而，面向汽车、工业和商业应用的视觉系统服务于高度以目标为导向的需求。许多系统使用（传感器）输出来做出基于机器的决策，并要求在分辨率、帧率和功耗之间实现良好的平衡。随着边缘智能的日益重要性，这些应用必须满足不同用例的需要。目前，许多应用程序需要更高的分辨率和更好的整体性能来帮助计算机视觉、机器视觉和自动化决策系统。在许多情况下，人们渴望获得更多的细节，因为这些细节有助于减少错误的决策。随着分辨率的提高，图像传感器中的像素数量也会增加。相应地，传感器对图像信号处理器（ISP）或系统芯片（SoC）图像数据的数量也会增加。传感器生成的大量图像数据和ISP/SOC对这些数据的处理会导致高功耗，给视觉系统设计带来巨大负担。图1 图像传感器产生的数据随着分辨率和帧速率成指数的增加而增加。目前，设计师需要处理高功率电子元件带来的高功率传输、功耗和系统材料清单（BOM）成本等问题。虽然降低功耗是大势所趋，但热管理也是一个挑战，因为大多数视觉系统依靠对流气流来释放系统中产生的热量。图像传感器对热量非常敏感，如果不能选择适当的设计并有效地管理上述因素，就会产生不可靠的视觉系统。一切始于量子效率图像传感器的量子效率（QE）它是指光电二极管将入射光子转化为电子的能力。众所周知，QE 图像亮度越高越好。更高的 QE 在弱光条件下，使用更大的像素尺寸或在场景中添加可见光或不可见光是非常重要的。无论采用哪种方法，都会根据图像传感器的性能和场景条件，增加视觉系统必须支持的成本、功耗和空间，并可能呈指数级增长。图2 红外发光二极管通常用于比较不同波长下的归一化量子效率曲线（IR LED）不可见照明尤为严重，其光波长为850nm和940nm。图像传感器可以检测到这些波长，但人眼无法检测到。这通常在行业中被称为 "主动照明"。 红外发光二极管需要电源和功耗，占用大量空间，显著增加系统 BOM成本。在近红外光谱中，具有高量子效率的图像传感器可以减少其使用量，降低光强度和整体BOM成本，而不牺牲图像质量。图像质量更高，整体成本更低。确保图像传感器像素提供的高成本是很重要的 QE 不受数据通道其他部分噪声的影响，从而影响整体图像质量。例如，如果像素结构没有足够的像素间隔，像素间串扰将减少调制传递函数（MTF）对图像的对比度/清晰度最终会影响图像质量。另一个可能造成损坏的因素是读取电路性能差导致的高读取噪声。图像质量差会给ISP/SOC带来不必要的负担，使其需要处理更多的数据，从而降低视觉系统的整体帧率，或以更高的时钟频率运行来维持相同的端到端时间序列。在前一种情况下，视觉系统的效率会大大降低，无论如何，系统最终都会产生更多的功耗。ISP//可能需要配备更先进的资源来应对处理负担SoC，这将进一步增加整体BOM成本。优秀的图像输出质量可以缓解上述缺陷，降低视觉系统的整体所有权成本。安森美的子采样模式（onsemi）公司图像传感器(如Hyperluxtm) LP产品系列)已经意识到这些操作需求，并集成了多种子采样模式。这些模式，如合并（Binning）、裁剪（Cropping）和跳采（Skipping），它可以大大降低生成和传输所需的带宽。图3 Hyperlux安森美Hyper LP系列产品的这些功能使视觉系统非常智能，可以根据用例要求选择最佳功耗/性能配置。例如，在生物识别扫描仪中，配备500万像素传感器阵列的单个系统现在可以通过逐渐增强的扫描模式完成子采样模式下的单个指纹扫描到全分辨率面部扫描。最重要的是，ISP/SoC收到的数据量减少，从而降低了其自身和整个视觉系统的功耗。降低数据规模的高分辨率图像传感器会占用大量带宽来输出数据。例如，以60帧/秒的速度工作的2000万像素传感器将传输12 GBPS图像数据不仅需要在传感器内部的高速接口中妥善处理，还需要由ISP/SOC处理。处理如此庞大的数据需要在这些处理引擎中投入昂贵和特殊的资源和电力，这可能会导致大量的功耗/热管理问题。此外，界面速度的限制也增加了这一挑战。在大多数应用程序中，只有少数时间需要在全分辨率下全速运行，而其余时间只需要较低的分辨率。虽然子采样模式可以降低带宽并具有自身优势，但在分辨率选择或场景完整性方面会受到限制。传感器中的缩放器有助于克服这些限制，有效满足低分辨率操作的需要。它们可以在源头上控制带宽，而不是由 ISP/SoC 管理。它们能在保持完整视角的同时，最大限度地提供精细的粒度控制（FOV）。安森美 AR2020 图像传感器（Hyperlux LP 产品系列的 2000万像素成员)的图像缩放算法非常复杂，即使在分辨率大幅缩放的情况下，也能提供出色的图像质量。例如，虽然确实需要获得远程物体的细节 2000 万像素，但它可能只需要一个特定区域的图像，而不是整个图像。切割或缩放这个动态定义的区域可以获得 无需持续处理，2000万像素传感器的优点相当于 2000万像素的数据。图4 scaling产生的伪影比bining少，从而提高图像输出效果，尽可能休眠。按需唤醒传感器可以在大多数工作时间以低分辨率和最低帧速运行。当检测到运动时，它会切换到预定的配置——运动唤醒（WOM）模式。图像传感器能够处理这些变化，并允许图像传感器 ISP/SoC 将其切换到所需的模式/配置。它还可以进一步屏蔽与应用无关的运动区域，使传感器和视觉系统更加准确高效。以前，这个功能是在处理器中完成的，但是在传感器上实现这个功能可以降低系统的资源和功耗。图5 运动唤醒等功能使视觉系统具有高度的目标驱动力。我们可以看到这些功能在电池供电、智能门禁系统、零售扫描仪、医疗监控系统等类似应用中的深远影响。电池供电的应用从这些传感器中获得了最大的好处，因为它们可以最大限度地降低系统功耗。在4K视频门铃应用中，像安森美AR0830这样的800 万像素图像传感器在满载状态下传输6G数据，但现在它可以在WOM模式下运行98%以上的工作时间。在预检测阶段，它产生/传输的数据量非常低，整个视觉系统的运行功耗只是整个工作模式的一小部分。到目前为止，图像传感器作为数据捕获和数据传输器件一直表现良好。正如安森美 Hyperlux LP 上述趋势和进步使这些传感器成为内置智能应用的强大边缘设备，就像产品系列中所展示的那样。通过集成更好的像素技术、可配置的智能注意区、运动检测等功能，可以设计用于满足特定用例的需要，创建性能优异、功耗极低的差异化高效视觉系统。