苹果入局人形机器人，先做感知系统！还一次性用了40个激光雷达！
关于苹果涉足人形机器人领域的传闻早已甚嚣尘上。近日，该公司确实有新动作——研发了一套名为ARMOR的新型以自我为中心的机器人感知系统。ARMOR系统的创新之处在于采用分布式感知方案。研究团队在机器人的手臂和手掌上战略性地布置了40个小型ToF激光雷达传感器，每边手臂20个。这些传感器体积小巧、成本低廉、功耗低，让机器人获得了类似人类皮肤般的全方位感知能力，最大程度减少了盲区，大大提升了运动规划和避障效果。
软件方面，苹果开发了一个基于Transformer的AI驱动ARMOR-Policy，能够从人类动作中学习，帮助机器人动态规划行动。
研究结果令人惊喜。与使用四个头戴式及外部安装的深度摄像头（外心感知）的传统法案相比，ARMOR系统使碰撞降低了63.7%，成功率提高了 78.7%。与基于采样的运动规划专家系统cuRobo相比，ARMOR-Policy让碰撞减少31.6%，成功率提高16.9%，计算延迟降低26倍，大大提高了机器人的机动性。
研究团队还通过在傅利叶GR-1人形机器人上部署28个ToF激光雷达，实现了15Hz的实时轨迹规划和避障控制，实际验证了ARMOR系统在真实环境中的应用可行性。
当前，传统人形机器人通常依赖头部或躯干安装的集中式摄像头和激光雷达进行环境感知，这种方式虽然易于集成且能提供较好的视野范围，但在手臂和手部区域常常存在严重的遮挡问题。
ARMOR系统，提供了一种创新的硬件和软件整合设计。
与集中式RGBD摄像头一次性捕捉密集帧中的全部细节不同，研究团队选择了SparkFun VL53L5CX飞行时间（ToF）激光雷达作为基础传感单元，将稀疏感知分布在多个传感器上，形成“以自我为中心的感知”。
该激光雷达传感器尺寸仅6.4×3.0×1.5毫米。单个激光雷达可以以15Hz的频率(特定配置下最高30Hz)采集8×8分辨率的深度图像，对角视场角63°，探测范围4000毫米。
研究团队在机器人的每个手臂上布置了20个这样的激光雷达，共计40个激光雷达形成分布式感知网络。
每4个激光雷达连接到一个XIAO ESP微控制器，通过I2C总线进行数据读取，再通过USB传输到机器人的板载计算机（Jetson Xavier NX），最后无线传输到配备NVIDIA GeForce RTX 4090 GPU的Linux主机进行处理，确保整个系统能够维持15Hz的刷新率。
ARMOR不仅在硬件上实现了创新，其基于深度学习的避障策略同样亮眼。研究团队基于Transformer架构开发了ARMOR-Policy，让机器人能够快速高效地规划无碰撞轨迹。
该策略的核心是一个条件生成模型，它可以基于当前关节状态、目标位置、ToF激光雷达观测值以及潜变量z来预测未来的动作序列。网络采用了类似ACT(Action Chunking Transformers)的编码器-解码器结构。
为了训练智能避障策略，研究团队使用了AMASS数据集中的311922个人类真实运动序列（约86.6小时），这些数据包含了各种相关的人类姿态，如操作、舞蹈和社交行为等。
研究团队将这些人类动作轨迹重定向到机器人的关节配置上，并在轨迹周围生成紧凑的障碍物，确保轨迹本身不发生碰撞。
训练数据的生成采用了三种策略：避障运动、紧急停止和无碰撞运动。
ARMOR-Policy的网络架构设计考虑到了运动规划可能存在多个有效解的特点。通过引入额外的编码器层来推断潜在变量z，使策略能够通过调整z生成不同的运动轨迹候选。
在推理阶段，系统会并行计算N个候选轨迹，并通过最小化机器人与点云之间的距离来选择最优路径。网络输入包括潜在变量z、当前和目标关节位置（28维向量），以及40个ToF激光雷达传感器的深度图像数据。
深度图像通过修改后的单通道ResNet18骨干网络处理，提取512维特征。整个网络架构包含约84M参数。
实验验证显示，ARMOR系统在多个方面都优于现有方案。
据彭博社爆料，苹果正在寻找其“下一个重大项目”，机器人正是其关注的领域之一。
研究团队计划在后续工作中进一步拓展ARMOR的应用场景。特别是在复杂的灵巧操作任务中，分布式的近距离感知有望帮助机器人实现更精确的动作控制。此外，这种类似人类皮肤的感知方式，也为实现更自然的人机交互开辟了新的可能。
ARMOR也为人形机器人的发展提供了新的思路。它展示了分布式感知和深度学习结合的潜力，也证明了从人类生物特征中汲取灵感的价值。通过模仿人类皮肤的分布式感知方式，ARMOR让机器人获得了更全面的环境感知能力，为实现更智能灵活的机器人控制奠定了基础。
参考来源：https://arxiv.org/pdf/2412.00396v1；https://x.com/Dr_Singularity/status/1873374876867723435；量子位；机器人大讲堂。