DIGIT / GelSight

联系信息

分享

公司简介


传感专家


Meta 和 Gelsight 合作商业化的 Digit 机器人视触觉传感器

在 Facebook Connect 2021 线上大会中,Facebook 更名Meta元宇宙。此处的元宇宙本质上是一个虚拟现实平台,人们可以在这个平台上的数字环境中聚集、交流。实现这一愿景,当然离不开技术的加持。就像改名一样始料未及,几年前扎克伯格曾认为 Facebook 没有理由要进行机器人方面的研究,但现在机器手上的触觉感知已经是 Meta 一个重要的新兴研究方向。Meta 概述了其在开发硬件、模拟器、库、基准测试和数据集方面的进展。触觉感知生态系统对于构建 AI 系统至关重要,通过触觉感知,AI 系统才具有理解和交互的功能。‍


传感专家


触觉感知旨在理解和复制物理世界中人类的触摸技能,使机器人更有效地与周围世界互动。触觉感知的进步将导致 AI 可以学习和使用自己的触觉以及与其他感知方式(如视觉和音频)结合使用,就像人类一样。此外,提高机器人的触觉将使它们更有能力,也更温和、更安全。


传感专家


作为 Meta AI 的合作伙伴,MIT 的衍生公司 GelSight 拥有独特的数字触觉传感技术和产品,现在将商业化制造 DIGIT视触觉传感器。


传感专家


相比于其他同类传感器,DIGIT具有如下优点:1)体积小巧且模块化,可做到即插即用。2)低成本并开源。3)稳定可靠,寿命长。4)高分辨率触觉-可以测量有关被触摸对象的丰富信息,例如表面特征、接触力以及通过接触可识别的其他对象属性 。


传感专家


Digit采用RGB LED模组以及相机模块,由于手指在不同压力下会影响形变,而也会直接影响相机拍摄到颜色的变化,通过这个变化来判断触觉。


传感专家


将Digit结合机器人手掌进行试验,将Digit放置于指尖,它可以轻松地识别到抓握、捏合等等动作。例如:通过两个手指来拟合玻璃球的动作,而这个似乎还需要更多的训练,来让整套操作变得体验更优秀,尤其是面对这种复杂、变化的场景。


传感专家


DIGIT设计与Allegrohand灵巧手兼容,也可通过转换法兰用于各种机器人夹爪末端如Robotiq,Onrobot等二指夹爪。


传感专家


Meta 触觉AI系统平台

DIGIT高分辨率触觉传感器+ TACTO模拟器+PyTouch模型和功能库

Meta 开发并开源了 TACTO,这是一种基于视觉的高分辨率触觉传感器模拟器,即使在没有硬件的情况下,也可实现更快的实验平台并支持机器学习研究。模拟器在机器人技术的原型设计、调试和基准测试中发挥着重要作用,因为模拟器使我们能够测试和验证假设,而无需在现实世界中进行耗时的实验。


传感专家


TACTO 能够以每秒数百帧的速度呈现逼真的高分辨率触摸读数,通过简单设置来模拟基于视觉的触觉传感器,其中包括 DIGIT、OmniTact。TACTO 使研究人员能够模拟基于视觉的触觉传感器,这些传感器具有不同的形状,可以安装在不同的机器人上。TACTO 和 DIGIT 通过提供低成本的参考实施,使研究者能够快速原型化多模态机器人操作策略,从而实现基于视觉的触觉感知。‍

DIGIT触觉传感器可以处理高维和触觉感知数据,这是传统分析方法难以处理的。机器学习 (ML) 模型可以简化模型的设计和实现,这些模型可以将原始传感器读数转换为高级属性(例如,检测滑动和识别材料)。但是,如果没有 ML 背景,训练一个模型来处理触觉数据是极具挑战性的。为了提高代码的复用率并减少部署时间,Meta 创建了一个名为 PyTouch 的触觉感应ML模型和功能库。


传感专家


研究人员通过 PyTouch 可以跨不同传感器训练和部署模型。它目前提供了一些诸如检测触摸、滑动(slip)、估计物体姿态等基本功能。最终,PyTouch 将与现实世界的传感器和触觉传感模拟器集成,以实现模型的快速验证以及 Sim2Real 功能(能够将在模拟中训练的概念转化为实际应用。)