随着人工智能的快速发展，无人驾驶和特定智能等无人系统在现实社会中不断推广和应用，引领了新一轮的科技革命和产业变革。在这些智能系统中，视觉感知作为获取信息的核心方式发挥着至关重要的作用。然而，在复杂、多变、不可预测的环境中，实现高效、准确、鲁棒的视觉感知仍然是一个艰巨的挑战。
在开放的世界里，智能系统不仅需要处理大量的数据，还需要处理各种极端事件，如驾驶中的紧急危险、隧道入口的剧烈光变化和夜间的强闪光干扰。由于“功耗墙”和“带宽墙”的限制，传统的视觉感知芯片在处理这些场景时经常面临扭曲、故障或高延迟，严重影响了系统的稳定性和安全性。
为了克服这些挑战，清华大学精密仪器系脑计算研究中心专注于脑视觉感知芯片技术，提出了基于视觉原语的互补双通道脑视觉感知新范式。该范式借鉴了人类视觉系统的基本原理，将开放世界的视觉信息分解为基于视觉原始语言的信息表达，模仿人类视觉系统的特征，形成两种互补优势和完整信息的视觉感知渠道。基于这一新范式，该团队进一步开发了世界上第一款脑互补视觉芯片“天眼芯片”，实现了高速、10bit的高精度和130dB的高动态范围视觉信息采集，每秒10000帧，极低的带宽（降低90%）和功耗成本。它不仅突破了传统视觉感知范式的性能瓶颈，而且能有效应对各种极端场景，保证系统的稳定性和安全性。基于“天眼芯”，团队还自主开发了高性能软件和算法，并在开放环境车载平台上进行了性能验证。在各种极端情况下，该系统实现了低延迟、高性能的实时感知推理，显示了其在智能无人系统领域的巨大应用潜力。
“天眼芯”的成功发展无疑是智能感知芯片领域的重大突破。它不仅为智能革命的发展提供了强有力的技术支持，也为自动驾驶、具体智能等重要应用开辟了新的道路。与团队在类脑计算芯片中的“天机芯”相结合、应用于类脑软件工具链和类脑机器人的技术积累，“天眼芯”的加入将进一步完善类脑智能生态，有效促进人工通用智能的发展。
5月30日，基于这一研究成果的论文“面向开放世界感知、互补通道的视觉芯片”(A Vision Chip with Complementary Pathways for Open-world Sensing)作为封面文章，登上《自然》(Nature)杂志。这是该团队第二次登上《自然》杂志的封面，这标志着中国在类脑计算和类脑感知两个重要方向上取得了基本突破。
类脑互补视觉感知芯片“天眼芯”
自动驾驶感知演示平台
清华大学精密仪器系施路平教授和赵蓉教授是本文的通讯作者，精密仪器系杨哲宇博士(现为北京灵汐科技有限公司R&D经理)、精密仪器系2020年博士生王涛毅和林逸涵是论文的第一作者。清华大学是第一个论文单位，包括北京灵溪科技有限公司。
该研究得到了2030年科技创新“脑科学与脑类研究”重大项目和国家自然科学基金委员会的支持，也得到了清华大学/IDG-支持麦戈文脑科学研究所。