商汤发布白皮书:AI传感器不仅是影像利器,更是机器认知世界的基础设施

2022-07-06
关注
摘要 AI软件与CMOS图像传感器硬件的融合,将是智能手机影像能力持续提升的破题之道。

摄影圈里常说,“底大一级压死人”。

这一般是指数码相机的CMOS图像传感器的尺寸越大,成像效果越好。它是相机的关键成像部件,也是塑造影像竞争力的核心。

也因此,我们看到随着智能手机竞争越来越激烈,以及影像技术在手机中的地位越来越高,传感器技术成为很多手机厂商的必争之地,是差异化竞争所在。

然而手机往往追求轻薄和低功耗,使得手机图像传感器的尺寸天然存在物理限制。如何解决这一矛盾,成为业界的重要方向。

近日,商汤智能产业研究院发布《AI传感器:智能手机影像新核心》白皮书,提出在智能手机市场缓慢步入瓶颈期的趋势下,影像功能成为产业破局焦点,而AI软件与CMOS图像传感器硬件的融合,将是智能手机影像能力持续提升的破题之道。

图像传感器步入AI时代

过去几年,AI算法让手机的影像能力得到了不小的提升,但在这种方案中,图像传感和AI算法的运行,在不同的硬件上完成,图像传感器提供图像信号,处理器或者AI加速芯片执行AI算法。这会造成能耗资源的浪费,并且难以处理一些需要的及时响应的场景。

白皮书指出,融入了AI技术的CMOS图像传感器,可以最大化地发挥原始光信号的价值。

在设备获取视觉信号的伊始,AI传感器就可以进行优化和处理,增强真实世界感知、提高图像和视频的质量、丰富内容细节,同时最大限度地降低了设备功耗,并增强了数据安全性。

白皮书指出,自20世界50年代光学倍增管(Photo Multiplier Tube, PMT)出现以来,图像传感器便随着技术的发展而持续演进。

如今,随着AI技术的加持,CMOS图像传感器的发展开始进入AI软件定义的时代,将成像系统的整体能力推向新的高度。

让手机成为“个人智能影像工作室”

凭借领先的AI技术和软硬件整合能力,商汤已经在超分辨率、AI超画质、夜景影像、高动态范围、超清人像、影像虚化、RGB ToF 3D等关键影像场景,积累了大量算法能力。

同时早在2019年,商汤就与全球领先的图像传感器厂商开展紧密合作,将AI算法和传感器硬件直接融合。目前,商汤AI传感器已完成多款产品,并成功落地多款高端旗舰手机。

凭借AI算法、AI传感器和AI ISP的三位一体,商汤实现了AI技术对整个智能手机智能影像系统的一体化赋能。

一方面,通过AI技术充分挖掘镜头模组、各种新型传感器等硬件的潜力,最大化利用成像设备的底层特性,实现最优的成像质量。

另一方面,利用AI技术将成像系统中的各个独立部件有机结合在一起,充分联动,使原本独立运作的成像模块成为协同合作的成像平台。

从上至下分别为超分辨率、AI超画质、夜景影像效果对比,左边为传统方案拍摄效果,右边为商汤赋能后拍摄效果,图片均为原图的局部放大

商汤的解决方案,让手机摄影的质量得到了全面提升。

例如,通过AI对多种光源不同特性的学习,了解自然光谱特性,进而根据实际应用场景,带来AI降噪、AI超分辨率,提升成像质量;在特殊拍摄模式下,AI夜景增强、AI人像增强,更为智能手机赋予了多样的“魔幻场景”。

这些体验,让搭载了AI传感器的智能手机,成为每个人专属的“个人智能影像工作室”,消费者日常使用时,也能轻松拍出媲美专业影像器材的高质量作品。

机器“认知”世界的基础设施

面向未来,AI传感器的价值不仅在于提升智能手机的影像能力,它更将成为机器“认知”世界的基础设施,为更多物联网终端赋予智能感知与内容增强的能力。

在全球40亿手机用户的庞大基数下,AI传感器的广泛应用,将大幅降低世界建模成本,成为连接物理世界与虚拟世界的桥梁,加速“元宇宙”的构建。

在新兴应用场景中,AI传感器也将扮演重要角色。例如,在智能汽车领域,AI传感器将成为车辆感知世界的核心部件;在智慧城市领域,AI传感器更将为挖掘视频信息的价值发挥重要作用。

Gartner 数据显示,2022年CMOS图像传感器的出货量将会超84亿颗,到2026年则会超过107亿颗,成长为百亿出货量规模的半导体细分市场。

秉承在AI传感器技术领域的长期布局,商汤将紧密携手合作伙伴,加速AI传感器的市场渗透,共同以AI软件重新“定义”图像传感器趋势,赋予硬件更多创新可能性。

您觉得本篇内容如何
评分

相关产品

CSMS 中科微感 人工智能+嗅觉传感器(AI-Nose) 气体传感器

中科微感逐步攻克了制约人工嗅觉传感发展的核心材料、硬件、算法等技术,开发出了以新型纳米敏感材料为基础,以微纳加工技术为支撑,以人工智能算法为核心的第一代 MEMS 基金属氧化物半导体原理的人工嗅觉传感器产这一产品将解决当前制约人工智能嗅觉技术与市场应用发展的关键问题:提供量产化的高一致、低成本、微型化的嗅觉传感器阵列硬件,以及提供标准化的人工智能+嗅觉气味感知软件平台,使客户能够快速构建和应用气味数据模型

XKCON 祥控 弹药库环境温湿度异常报警与智能监控系统 温湿度变送器

济南祥控自动化设备有限公司自主研发的XKCON祥控弹药库环境温湿度异常报警与智能监控系统采用物联网、传感器、大数据、人工智能等先进技术,能够对弹药库环境温湿度信息实现数字化、可视化管理。

山东美安 矿山电机车防追尾道岔口报警器 控制器及系统

煤矿用机车防追尾保护装置 机车防追尾保护装置是一种矿用人工智能保护装置、具有防追尾保护、无线触发沿途弯道语言保护、输出控制并记录等功能可广泛的使用在矿山井下、井上的运输机车上。

KEYENCE 基恩士 AI-1000C 图像匹配传感器

因此,人工智能系列能够在模式匹配的基础上对物体进行稳定的检测和识别,而这是基于强度或距离的传感器难以实现的。 基于强度或距离的传感器难以实现。

云传物联 水质生态浮标浮台在线测系统 多参数监测系统

电子水质监测解决方案利用信息控制与处理、人工智能、自动化、物联网及多媒体等技术,集水质参数在线采集、无线传输、智能处理、超限报警、远程管理等功能于一体的水质监测解决方案。

DINSEE 鼎信智慧科技 DX-WPS100-SP2... CMOS图像传感器

针对传统配电线路人工巡检效率低、周期长等问题,鼎信智慧结合物联网、红外热成像、人工智能等技术,研发了配电线路图像视频双光球机在线监测装置。

大立科技 DM60-W3 红外体温快速筛检

红外热成像体温快速筛检系统DM60-W3系列为384*288/640*480像素,人工智能算法,远距离、大场景测温更精准。

Maike 迈科光电 MK-PB4023PS&ALS&VC-A01E 接近传感器

EM30918、STK3311-X、STK3321、APDS-9900 ,9901、TMD2772WA、RPR0521RS、VCNL4035X01 WH4530A),广泛应用于平板电脑、工控显示类产品、智能家居、AI人工智能等场景,联想笔记本电脑,九安医疗的测温仪,微步数码的平板等都应用了我们这颗传感器,已量产批量出货。

Handsome 翰德圣 HDSELM V1.1 安全传感器和系统

设备全生命周期管理平台融合的物联网、云计算、大数据、人工智能、优化制造、再制造六项主流技术,通过云端模块化的架构可为企业灵活管理设备,不仅可以随时随地了解设备运行状态、发现故障隐患,还能够通过大数据分析指导企业维修

评论

您需要登录才可以回复|注册

提交评论

提取码
复制提取码
点击跳转至百度网盘