Arm 日前宣布推出全新 Arm Mali-C55 图像信号处理器 (ISP)，这是 Arm 迄今为止面积最小且可配置性最高的 ISP 产品，并已获得合作伙伴的青睐，包括首家公开授权许可客户瑞萨电子 (Renesas)。Mali-C55 提供更卓越的图像质量功能，可在各种不同的照明和天气条件下运作，专为在面积和功率受限的应用中实现最佳性能和功能而打造，是智能摄像头和边缘人工智能 (AI) 视觉用例的理想之选。
Arm 物联网兼嵌入式事业部副总裁 Mohamed Awad 表示：“ISP 仍是最重要的信息生成设备之一，可支持商用、工业或家用智能摄像头及无人机等众多物联网视觉系统应用。随着对未来设备中更多、更高质量图像处理需求的不断增长，Arm 也将持续投资于 ISP 技术路线图。”
Arm 物联网兼嵌入式事业部业务拓展副总裁马健表示，智能摄像头的市场潜力巨大。一个典型的例子是安全摄像头和监控市场，目前其市场总容量约为250亿美元。到 2025 年，将以 13% 的复合年增长率增长至450亿美元，其中大约四分之一来自消费类智能家居摄像头。目前全球安装了大约十亿台摄像机。据估计，下一个十亿目标将在短短 4 年内完成。
也正因此，Arm推出了Mali-C55系列产品，马健详细解读了Mali-C55的三大主要特色。
面积最小、成本最低的图像信号处理器
新的 Mali-C55 图像信号处理器以一流的 Mali-C52 ISP 为基础，在性能方面，Mali-C55 的吞吐量高达1.2Gpix/sec，支持高达 8 路的多流处理。在图像处理品质方面，Mali-C55 不仅可以轻松处理 8K 高清，高达 4800 万像素分辨率，而且还显著提高了色调映射和降噪能力。同时，马健强调相比于Mali-C52，Mali-C55的面积仅为一半，这意味着更低的功耗和更少的成本。
Mali-C55 增强了包括Iridix 局部色调映射、Temper 时间降噪、Sinter 空间降噪以及高动态范围 (HDR) 传感器的支持。
其中，Iridix局部色调映射是通过使用从图像中的局部区域收集的信息将强度变换应用于图像以实现更好的可视化的过程。 Iridix 将图像中的这些局部区域定义为大小相等的网格。它从每个网格中提取统计数据，以将收集到的统计数据应用于图像中相应的局部区域。与 Mali-C52相比，Mali-C55 通过平滑每个局部色调曲线改进了 Iridix 局部色调映射算法，因此可以在明亮光源周围实现更自然的衰减。
Temper是一种时间降噪算法，通过组合连续帧来提高低光照条件下的图像质量。 Mali-C55 不仅通过更新的降噪算法提高了图像质量，而且与 Mali-C52 相比，内存带宽减少了高达 50%。
Sinter 2.6是一种改进的空间降噪技术，可改善颜色通道中的细节和噪声平衡。与 Mali-C52 相比，Mali-C55 的 Sinter 通过为每个颜色通道使用特定的寄存器来实现更好的细节平衡。
Temper 和 Sinter 功能块旨在通过在模块之间共享信息以在各个区域应用更强的降噪功能，从而显着提高图像质量。与之前的 ISP 设计相比，Temper 和 Sinter 块顺序在流水线中切换。这样，来自 Temper 的输入运动掩码提高了整体运动自适应降噪性能，同时提供了每个平面的噪声分析。
可配置性支持灵活多变的市场
鉴于需要更先进的视觉系统的应用相当广泛，因此成像技术需适应特定的市场需求。举例而言，低成本的家用摄像头系统可能仅需一组简单且有限的功能，而商用摄像头则需要高分辨率、降噪、更强的安全性等更为复杂的功能。
马健表示，一般的 ISP系统是流水线式的处理结构，从传感器中得到原始数据，会经过一系列的处理，包括时间降噪、空间降噪、色调映射等。此前ISP在设计上的流水线比较固定，客户很难去配置或去掉某个步骤，而Mali-C55可以通过启用或禁用各种功能块来配置 Mali-C55 ISP，以满足对吞吐量和延迟等级要求不同的计算机视觉应用中。这种可配置性有助于在最小的区域内提供最大的性能和功能，使其成为各种用例的理想选择。
马健举例道，比如在安防监控领域，室外的摄像头成像经常会受到光线、天气和物体移动速度等因素的影响。借助 Mali-C55 增强的色调映射和降噪能力，人脸和物体识别就会更加精确，并且在车辆以时速 120.7 公里的速度行驶的情况下，也能做到比较准确的车牌识别。在智能家居领域，可视门铃经常是电池供电，所以对能耗的要求特别高，Mali-C55 的低面积、低能耗特性，使智能可视门铃产品更耐用，并且能够更准确地根据人脸识别的结果进行开锁。
“每个高速发展的市场都会经过一段百花齐放的阶段，随着市场渐趋成熟，会变得愈发整合。目前智能视觉市场上主要的差异化在于不同的算法和用例上做到不同的优化，智能视觉领域可以细分成几个市场，在每个市场有一些基本模块，各个厂商非常相似，所以 Arm 推出了物联网全面解决方案 (Total Solutions for IoT)，希望给芯片及系统合作伙伴提供没有差异的子系统，使其可以在这个基础上更聚焦在各自差异化方面进行创新，比如一些比较特殊的算法适配或者是针对某一些特殊用例，如针对工业智能制造等方面的用例做出优化，并帮助芯片及生态系统合作伙伴更快地将整个智能视觉系统推向市场。”她说道。
在Arm IoT全面解决方案中，Corstone-1000已经增加了Mali-C55 ISP
与机器学习等功能的无缝集成
马健表示，更多的人工智能功能，比如人脸识别、物体识别等的部署正在往边缘发展，自然而然地就把图像处理也拉到了端侧，图像处理输出的图像就可以直接送到机器学习 (ML) 加速器来做推理，加上现有的高清摄像头和多摄像头的逐步普及，都对视觉技术性能提出了更高的新要求。
Mali-C55在图像处理的流水线过程中，可以加入 ML 加速、调用 NPU 的功能并运用大数据对数据进行分析，来增强 ISP 的功能，比如可以利用 ML 的功能使一些时间、空间方面的降噪效果做得更明显。
由于对更高分辨率的需求不断增长，预计内存带宽将成为即将推出的面向视觉的 SoC 的关键瓶颈。为这样的 SoC 添加机器学习加速器会进一步增加带宽要求，从而加剧这一问题。 Mali-C55 支持与 Arm 帧缓冲压缩 (AFBC) 等其他产品集成，可解决此类带宽问题并在系统级提供巨大优势。此外，Mali-C55还支持与Mali-C10几何失真校正 (GDC)功能。
如今，随着机器学习算力的提高，SoC可处理的摄像头总数也在增长。Mali-C55 支持多达 8 个输入的多摄像头处理，可支持高达 48Mpixel / 8K 的分辨率。上一代Mali C-52单接口最多支持4个摄像头，最大支持16Mpixel。
除了ML加速器集成与多摄像头支持之外，Mali-C55 还配备了行业标准的 AXI 和 AHB 接口，以便与基于 Cortex®-A 或 Cortex-M 的 SoC 轻松进行集成。
Arm 同时也为开发者提供可用于控制 ISP 的完整软件包以及一整套调整和校准工具，以帮助合作伙伴为其应用实现所需的图像质量。
总结
“软件定义的摄像机”是Arm Mali-C55希望促成的目标，而支持 ML和其他硬件扩展则是这一目标的关键。
采用创新计算机视觉技术增强的物联网设备可以改善城市、家庭及工厂的运作方式，帮助优化资源、增加流动性并为居民提供健康和安全利益。
Arm 正在通过计算、图像处理、安全和机器学习 (ML) 功能方面的重大进步，推动智能相机的不断发展。
“Mali-C55 ISP，是 Arm 在深耕多年图像技术演进的下一步延展。Mali-C55 IP 所能带来的主要提升在于其性能增强下芯片的面积更小，高度灵活地可配置以及与 ML 完美结合三大技术优势。”马健总结道。