索尼开发世界首款配备AI处理能力的图像传感器

2020-07-01
关注
摘要 索尼IMX500图像传感器是利用现有背面照明的图像传感器的逻辑延伸,它是第一款配备AI处理能力的图像传感器。

  对于商业应用的摄像机和边缘计算,有两种典型的策略:首先,使用一堆没有智能的傻瓜摄像机,将数据发送到本地化服务器进行预处理,然后再上传到云端进行存储和分析(或者跳过预处理直接发送到云端)。其次,使用智能摄像机,在本地完成所有处理,然后发送到云端存档。

  

索尼计划专注于在零售和工厂自动化中大规模部署支持AI的相机,以及为其AI图像传感器开发基本推理模型。

  两者都有权衡。廉价相机通常需要一个庞大而昂贵的IT基础设施,当处理发生在其他地方时,存在延迟问题。昂贵的相机耗电量大,可能需要一些网络功能。两者都需要安装专业知识。

  索尼负责商业和技术创新的副总裁马克·汉森说:“想象一下,一家拥有1000多台摄像头的零售店正在播放大量视频。如果摄像头订阅是预处理的,则必须安装多个服务器才能连接所有这些摄像头,如果将视频的100%流式传输到云端,则需要支付大量的回程和存储成本,此外还有延迟。这些问题,再加上日益增长的隐私问题,特别是在欧洲,要求限制个人图像在本地局域网之外分发的能力,让我们认为必须有更好的方法。”

  事实上,这是汉森集团对客户(尤其是零售业)在实施边缘计算解决方案时,所面临的固有挑战和真正的困难有了更深入的理解,其中许多是定制项目,导致他们开发了世界上第一个人工智能图像传感器IMX500。

  汉森说:“我们的想法是,如果我们能在边缘解决使流程复杂化的问题,我们将以较低的成本为客户缩短上市时间。”

  索尼IMX500图像传感器是利用现有背面照明的图像传感器的逻辑延伸,它是第一款配备AI处理能力的图像传感器。这一特性是通过将逻辑芯片历史性地放置在传感器的正面并将其重新定位到背面来实现的,从而使传感器有更多的像素来提高感光度,宽总线结构将数据从图像传感器传输到图像信号处理器(ISP)。

  

  在索尼新推出的IMX500上,像素芯片(约有1230万像素用于捕获信息)采集的信号同样通过ISP运行,AI处理在逻辑芯片的处理阶段完成。物体识别只需3.1毫秒,提取的数据作为元数据输出,减少了处理的数据量。

  IMX500的逻辑芯片有一个传统的图像传感器操作电路和一个专门用于AI信号处理的索尼数字信号处理器,以及用于AI模型的内存。图像识别的闪电般的速度,以及在数据到达网络前将所有无关数据抛出的能力为新的应用开辟了可能性,从检测面罩到区分人类还是机器人进入工厂的限制区域。

  索尼从4月份开始销售裸芯片,并预计将在6月份推出一款打包版(IMX501)。汉森说,为了让这项技术获得吸引力,他创造了一个“边缘图像平台”,它必须易于测试和大规模部署,而且成本不会让客户的底线爆炸。为了做到这一点,汉森设想了一套简单的硬件解决方案,其中有一系列选项或用例供客户选择,没有大规模定制或实现噩梦。

  实现这种简单程度的关键在于参考设计和与微软等拥有现有开发社区的组织、系统集成商和独立软件供应商的合作伙伴关系,这些公司拥有索尼所瞄准的应用程序的经验,除了在机器学习和面向微型机器语言的工程方面的专业知识外。年中,索尼宣布与微软Azure合作,利用微软的基础设施实施一些智能相机解决方案。

  虽然汉森说理论上没有任何东西可以阻止堆栈技术的增强,比如深度传感,但今天的主要焦点是开发IMX500的应用程序。最初,索尼计划将重点放在零售和工厂自动化领域大规模部署支持人工智能的摄像头,以及开发基本推理模型。

  汉森说:“我们是第一批这样做的公司,所以我们需要进行大量的学习,以了解如何最好地将这项技术商业化。策略的一部分是对概念进行验证,以便我们能够快速了解哪些有效,哪些无效,并将我们的发现反馈到工程过程中。”

  自新型冠状病毒肺炎疫情爆发以来,新利18国际娱乐一直密切关注疫情进展,根据国家及地方政府的最新调控与安排,为更好的服务相关企业,在疫情期间,新利18国际娱乐免费发布企业相关文章,免费成为新利18国际娱乐认证作者,请点击认证,大家同心协力,抗击疫情,为早日打赢这场防控攻坚战贡献自己的一份力量。

您觉得本篇内容如何
评分

相关产品

CSMS 中科微感 人工智能+嗅觉传感器(AI-Nose) 气体传感器

中科微感逐步攻克了制约人工嗅觉传感发展的核心材料、硬件、算法等技术,开发出了以新型纳米敏感材料为基础,以微纳加工技术为支撑,以人工智能算法为核心的第一代 MEMS 基金属氧化物半导体原理的人工嗅觉传感器产这一产品将解决当前制约人工智能嗅觉技术与市场应用发展的关键问题:提供量产化的高一致、低成本、微型化的嗅觉传感器阵列硬件,以及提供标准化的人工智能+嗅觉气味感知软件平台,使客户能够快速构建和应用气味数据模型

XKCON 祥控 弹药库环境温湿度异常报警与智能监控系统 温湿度变送器

济南祥控自动化设备有限公司自主研发的XKCON祥控弹药库环境温湿度异常报警与智能监控系统采用物联网、传感器、大数据、人工智能等先进技术,能够对弹药库环境温湿度信息实现数字化、可视化管理。

KEYENCE 基恩士 AI-1000C 图像匹配传感器

因此,人工智能系列能够在模式匹配的基础上对物体进行稳定的检测和识别,而这是基于强度或距离的传感器难以实现的。 基于强度或距离的传感器难以实现。

云传物联 水质生态浮标浮台在线测系统 多参数监测系统

水质监测浮标是化学分析仪器和各种水质传感器的集成,主要用于河口地带 、 排污口附近海域或海洋。电子水质监测解决方案利用信息控制与处理、人工智能、自动化、物联网及多媒体等技术,集水质参数在线采集、无线传输、智能处理、超限报警、远程管理等功能于一体的水质监测解决方案。

Maike 迈科光电 MK-PB4023PS&ALS&VC-A01E 接近传感器

三合一光电传感器,0-50CM接近(PS)-环境光强度检测(ALS)-RGB颜色检测三合一功能。EM30918、STK3311-X、STK3321、APDS-9900 ,9901、TMD2772WA、RPR0521RS、VCNL4035X01 WH4530A),广泛应用于平板电脑、工控显示类产品、智能家居、AI人工智能等场景,联想笔记本电脑,九安医疗的测温仪,微步数码的平板等都应用了我们这颗传感器,已量产批量出货。

KOBOLD 科宝 NEO - Ultrasonic Level Transmitter 料位开关

产品特点,KOBOLD EchoKing超声波变送器是一个功能齐全的液位传感系统,适用于监测液体和一些干散货的液位。该单位的先进的信号处理提供了一个准确性和可靠性是不可能与老技术。回声王的增强能力是由一个强大的内部微处理器实现的。该系统使用人工智能的形式来了解周围环境。一个持续的学习过程是用来帮助回声识别真正的回声,反射和只是简单的老背景噪音。同时,传感器不断适应现场条件的变化。在空气环境中,近地天体通过使用内部热传感器和补偿表来调节温度变化。内置继电器可用于控制油箱加注/排空操作,作为液位检测或故障检测的警报。量程、设定值限值和所有必要的信息都以数字形式存储在EchoKing的非易失性存储器中-没有灵敏的模拟电位计可调。尽管其技术复杂,该系统可通过板载触摸板轻松编程。所有工艺参数均可在安装现场轻松输入系统。

评论

您需要登录才可以回复|注册

提交评论

张帅说传感

解读传感器发展趋势,洞悉传感器产业背后发展逻辑,关注企业、技术、市场、产品等。

最近发布
查看更多
广告

张帅说传感

解读传感器发展趋势,洞悉传感器产业背后发展逻辑,关注企业、技术、市场、产品等。

关注

点击进入下一篇

智能压力传感器的特点

提取码
复制提取码
点击跳转至百度网盘