创新背景

橡皮泥自1956年问世以来就成为了孩子们喜爱的玩具。对于孩子们来说，操纵橡皮泥很有趣也很容易，但机器人很难处理这些不成形的软面团。机器在处理刚性物体方面已经变得越来越可靠，但想要操作柔软、可变形的物体仍然是一大技术挑战。

创新过程

来自麻省理工学院计算机科学和人工智能实验室(CSAIL)和斯坦福大学的科学家们建立了一个名为 RoboCraft 的新系统。这种新系统直接从视觉输入中学习，让一个有两个手指抓手的机器人看到、模拟并塑造松软的物体。

对于橡皮泥这种未定义的平滑材质，首先需要考虑整个结构，然后才能能进行各种类型的高效建模和规划。通过将图像转换成小粒子的图形，再加上算法，RoboCraft利用图形神经网络作为动力学模型，可以更准确地预测材料的形状变化。

在这项研究中，研究人员使用复杂的物理模拟器来模拟和理解施加在物体上的力和动力学，但RoboCraft只使用视觉数据。该系统的内部工作依赖于三个部分来塑造橡皮泥的形状，比如说将它塑造成“r”字型。

首先机器人需要通过感知进行观察和学习。它使用相机从环境中收集原始的视觉传感器数据，这些数据被转化成小颗粒云来表示形状。然后，基于图形的神经网络使用这些粒子数据来学习“模拟”物体的动态或移动方式。接下来，算法帮助规划机器人的行为，让它学会“塑造”一团面团，并存储来自这些捏合动作的训练数据。虽然字母有点松散，但它们无疑具有代表性。

实验证明，RoboCraft可以可靠地计划一个机器人的行为，通过捏合和释放的动作将橡皮泥塑造成各种字母的形状，包括它从未见过的字母。只用了10分钟的数据，这只两根手指的手就可以与遥控机器的人类对手相匹敌——在测试任务中的表现与对手相当，有时甚至更好。

对具有高度自由度的物体建模和操作是机器人学习如何实现复杂的工业和家庭交互任务的基本能力，比如饺子、寿司和制作陶器。通过使用RoboCraft，机器人可以直接从高维感官数据中学习动力学模型，这为执行有效规划提供了一个有希望的数据驱动途径。研究团队希望未来可以使用RoboCraft来让机器人做家务，这可能对老年人或行动不便的人特别有帮助。

创新关键点

研究团队建立的RoboCraft 新系统，可以通过视觉传感器“看见”，然后利用基于图形的神经网络进行学习，再通过算法规划机器人的行为。这个新系统可以让机器人处理类似于橡皮泥的柔软材质，为机器人学习如何实现复杂的家庭或工业任务奠定了基础。