人工智能机器视觉需求猛增,sensAI重塑深度情境感知

2023-03-31
关注

智能手机和各类物联网设备的指数级增长推动了网络边缘计算的发展,这些设备无处不在,但如果将其产生的全部数据都向云端发送,毫无疑问将为云端处理带来极大的负担。因此,基于网络边缘的处理十分必要,不仅可以降低云端的网络通信成本和云存储成本,还能避免云端数据通道过载。

目前,网络边缘产品和应用的开发人员越来越多地采用人工智能和机器学习(AI/ML)算法来匹配和识别复杂的模式,以帮助分析数据并据此做出决策。事实上,AI/ML技术的使用增长极其迅猛,ABI Research的数据显示,预计到2024年,设备端AI推理功能将覆盖60%的设备。

但许多可以利用AI/ML功能的网络边缘设备,往往需要在极其严苛的功耗限制下运行,充一次电或者仅依靠收集和存储能量就要工作几个月甚至几年。另一方面,近十年来AI模型快速发展,不断有新的实现方式产生,需要有更出色的硬件来承载,这就需要硬件和算法上的优化。

作为莱迪思推出的业界第一款用于网络边缘设备端AI处理的完整解决方案集合,SensAITM提供了供开发人员评估、开发和部署基于FPGA的机器学习/人工智能解决方案所需的全部资源,包括模块化硬件平台、演示示例、参考设计、神经网络IP核、软件开发工具和定制化设计服务,旨在解决系统对于日益严格的功耗和小尺寸(5mm2到100mm2)的要求,目前已演进到最新的6.0版本。

初识sensAI 6.0

增强对高性能机器视觉AI解决方案的支持,是此次sensAI 6.0版本推出的初衷。根据IoT Analytics报告,2020年,制造业和工业中的人工智能机器视觉市场规模约为41亿美元,预计到2025年将增加至152亿美元,年复合年增长率(GAGR)为30%,而传统机器视觉部署的年复合增长率仅为6.5%。

如此高的年复合增长率是因为下一代实时边缘人工智能机器视觉的应用,不仅限于质量保证和产品检测应用,还要帮助制造商和使用者获得更多的正常运行时间、获得预防性维护的能力、提高生产力和确保工人安全等诸多受益。

为顺应这一趋势,sensAI 6.0对硬件平台的支持从最初的iCE40/CrossLink-NX/ECP5/CertusPro-NX拓展到了Avant,这也是莱迪思新推出的低功耗中端FPGA平台。与此前的产品相比,Avant平台在性能和硬件资源方面得到了进一步的强化,例如逻辑单元容量达到了500K,相比以往100K-150K的配置,提升了5倍;带宽提升了10倍,计算性能提升30倍。它的面世不但意味着莱迪思迈入了中端FPGA供应商的行列,还打开了一扇通往30亿美元增量市场的新大门。

莱迪思sensAI 6.0解决方案集合

莱迪思sensAI 6.0解决方案集合中的IP核包括多种类型的卷积神经网络(CNN)加速器——CNN、CNN Plus、CNN Compact、Advanced CNN、以及一个CNN协处理器引擎,能让开发人员使用其他人发布的广泛使用的各类CNN,例如Mobilenet v1/v2、Resent、SSD、VGG、OpenCV和标准机器学习(ML)训练平台,或者根据需要自定义CNN模型,再依托莱迪思FPGA的并行处理能力、分布式存储器和DSP资源,极大简化了超低功耗AI设计的实现。

SensAI支持多种AI算法模型

软件工具层面,sensAI Studio设计环境是一种基于图形用户界面(GUI)的工具,拥有AI模型库,经过配置和训练可适用于各类主流应用场景,可帮助开发人员快速构建机器学习应用,此番在sensAI 6.0中与编译器工具一起获得更新,用以支持新的AI加速引擎。

Glance by Mirametrix®计算机视觉软件(V10.0)的更新,则主要集中在对用户界面、摄像头功能、外部用户界面(UI)模式的优化和低功耗FPGA的支持,是本次更新的重点内容之一。

Glance是由Mirametrix公司开发的注意力感应软件,软件配合IR Camera(红外摄像头)可捕捉用户的面部、眼睛和凝视动作,从而了解用户的意识和注意力。利用这项独特的技术开发的智能设备,能提供更自然和沉浸式的用户体验和设备交互。2021年,莱迪思通过全现金方式交易收购Mirametrix公司,将Mirametrix的专业知识与莱迪思创新的硬件和软件解决方案堆栈相结合,从而创建出了一个从硬件到应用层的端到端AI和计算机视觉解决方案。

塑造深度情境感知能力

莱迪思FPGA提供可编程I/O,经配置可支持传感器接口常用的多种电气接口标准,公司还提供许多硬核和软核IP模块以支持不同的传感器通信协议。由于FPGA长期以来在传感器融合方面具有显著优势,因此莱迪思sensAI 6.0解决方案集合包括许多参考设计示例,演示了多种智能传感器融合的应用案例,它们可以同时运行,实现深入的情景感知,例如:

● 人员侦测

该参考设计使用CMOS图像传感器持续检测人员的存在。基于此设计的AI系统可以使用深度学习框架(例如Caffe或Tensorflow)更新所提供的训练模型来检测和定位任何感兴趣的目标。该参考设计包括一个神经网络模型、一个训练数据集和可使用常用训练工具训练的脚本。

● 条形码检测和读取

条形码检测和读取是一种应用程序,通常使用混合了传统和基于AI/ML的算法的加速工业PC运行。由于设计者希望降低部署成本,具有内置条形码读取功能的摄像头可以更简单地实现应用程序。因此,此参考设计演示了使用CertusPro NX FPGA语音和视觉机器学习板的条形码检测,该板实现了基于Yolov5 NN模型的摄像头条形码检测功能。

资料显示,该参考设计允许640 x 480的图像分辨率输入,裁剪并缩小到160 x 120进行处理,检测结果可在FPGA内叠加至输入图像的顶部。同时,使用Yolov5型网络,实现了在小占地面积内提高精度的目标。

条形码检测和读取参考设计

● 目标检测、分类、追踪和计数

该参考设计提供了目标检测、分类、追踪和计数的示例,拥有完整的设计,包括用于莱迪思开发板的FPGA RTL、神经网络模型、示例训练数据集以及用于重新创建和更新设计的脚本。

目标分类参考设计

● 手势检测

该参考设计使用IR图像传感器,实现了一个基于AI的低功耗手势检测系统。该参考设计提供了一个训练数据集、可使用常用神经网络训练工具训练的脚本以及一个神经网络模型,方便用户进行修改。

● 人脸检测

该参考设计使用图像传感器实现基于CNN的人脸识别,并且可以通过修改训练数据库来识别其他类型的目标。

● 关键词检测

该参考设计使用数字MEMS麦克风持续检测关键词话语。设计人员可以使用深度学习框架(例如Caffe、Tensorflow或Keras)更新提供的训练数据集,为系统添加唤醒词功能。参考设计包括一个训练数据集、可使用常用神经网络训练工具训练的脚本以及一个神经网络模型,方便用户进行修改。

与此同时,莱迪思还正与合作伙伴和客户合作,利用多模式、智能传感器融合和AI/ML技术,不断提升PC/笔记本电脑用户的体验,并显著降低笔记本电脑的运行功耗,在某些应用中,电池使用时间最多提高了28%。

结语

此次更新的Automate™3.0和sensAI™6.0解决方案集合,均在莱迪思低功耗FPGA上运行,可实现高效、灵活和安全的工业应用开发,同时带来低功耗和小尺寸优势。设计人员可以在不依赖云端的情况下,快速为网络边缘设备提供更多计算资源,从而最大程度帮助客户实现最新的工厂自动化和工业机器视觉应用。

您觉得本篇内容如何
评分

相关产品

CSMS 中科微感 人工智能+嗅觉传感器(AI-Nose) 气体传感器

中科微感逐步攻克了制约人工嗅觉传感发展的核心材料、硬件、算法等技术,开发出了以新型纳米敏感材料为基础,以微纳加工技术为支撑,以人工智能算法为核心的第一代 MEMS 基金属氧化物半导体原理的人工嗅觉传感器产这一产品将解决当前制约人工智能嗅觉技术与市场应用发展的关键问题:提供量产化的高一致、低成本、微型化的嗅觉传感器阵列硬件,以及提供标准化的人工智能+嗅觉气味感知软件平台,使客户能够快速构建和应用气味数据模型

XKCON 祥控 弹药库环境温湿度异常报警与智能监控系统 温湿度变送器

济南祥控自动化设备有限公司自主研发的XKCON祥控弹药库环境温湿度异常报警与智能监控系统采用物联网、传感器、大数据、人工智能等先进技术,能够对弹药库环境温湿度信息实现数字化、可视化管理。

山东美安 矿山电机车防追尾道岔口报警器 控制器及系统

煤矿用机车防追尾保护装置 机车防追尾保护装置是一种矿用人工智能保护装置、具有防追尾保护、无线触发沿途弯道语言保护、输出控制并记录等功能可广泛的使用在矿山井下、井上的运输机车上。

KEYENCE 基恩士 AI-1000C 图像匹配传感器

因此,人工智能系列能够在模式匹配的基础上对物体进行稳定的检测和识别,而这是基于强度或距离的传感器难以实现的。 基于强度或距离的传感器难以实现。

云传物联 水质生态浮标浮台在线测系统 多参数监测系统

电子水质监测解决方案利用信息控制与处理、人工智能、自动化、物联网及多媒体等技术,集水质参数在线采集、无线传输、智能处理、超限报警、远程管理等功能于一体的水质监测解决方案。

DINSEE 鼎信智慧科技 DX-WPS100-SP2... CMOS图像传感器

针对传统配电线路人工巡检效率低、周期长等问题,鼎信智慧结合物联网、红外热成像、人工智能等技术,研发了配电线路图像视频双光球机在线监测装置。

大立科技 DM60-W3 红外体温快速筛检

红外热成像体温快速筛检系统DM60-W3系列为384*288/640*480像素,人工智能算法,远距离、大场景测温更精准。

Maike 迈科光电 MK-PB4023PS&ALS&VC-A01E 接近传感器

EM30918、STK3311-X、STK3321、APDS-9900 ,9901、TMD2772WA、RPR0521RS、VCNL4035X01 WH4530A),广泛应用于平板电脑、工控显示类产品、智能家居、AI人工智能等场景,联想笔记本电脑,九安医疗的测温仪,微步数码的平板等都应用了我们这颗传感器,已量产批量出货。

Handsome 翰德圣 HDSELM V1.1 安全传感器和系统

设备全生命周期管理平台融合的物联网、云计算、大数据、人工智能、优化制造、再制造六项主流技术,通过云端模块化的架构可为企业灵活管理设备,不仅可以随时随地了解设备运行状态、发现故障隐患,还能够通过大数据分析指导企业维修

评论

您需要登录才可以回复|注册

提交评论

提取码
复制提取码
点击跳转至百度网盘