创新背景

完全透明的液体可以提供的唯一视觉信号就是光线穿过液体时的折射，即使对人类来说，有时也无法准确地确定水和空气的边界，因此透明液体在图像中很难被感知出来。此外，获得液体的深度测量同样不容易，因为液体会折射所投射的红外光。

如果机器人可以识别透明的液体，便可以帮助人们完成倒水，烹饪，给植物浇水等工作。以往在对机器人的研究工作中已经探索了机器人该如何在各种环境下倒水，但那些已有的方法都需要在环境或数据收集方法上做出重大妥协。透明液体细分的方法需要在训练期间加热液体，以在热成像仪观察下获得真值标签。然而，训练加热液体是一个单调乏味的过程，对可以轻松收集多少训练数据有限制。其他方法需要从多视角、背景、重量测量或液体运动等方面观察液体，这些施加在环境上的要求限制了这些方法的适用性。

创新过程

在卡内基·梅隆大学（CMU）和圣母大学的一篇论文中，研究者提出了一种在透明容器中感知透明液体（如水）的方法。该研究由 LG Electronics 和美国国家科学基金会提供资助，并于 5 月份发表在 IEEE 国际机器人和自动化会议上。该论文已被机器人领域国际顶会 ICRA 2022 接收。

研究者通过训练一个将有色液体图像转换为透明液体图像的模型，使得机器人能够理解透明液体。下图为通过研究者训练的模型，图中上半部分为真实世界有色液体的图像，下半部分为机器人生成的透明液体的图像。这种在单个图像上进行操作的方法，不需要液体运动或多帧，也不需要在训练期间进行手动注释或加热液体。与以往方法相比，本研究提出的方法减轻了对操作域的限制。

在这项研究中，透明液体细分是非常重要的一步，研究者使用生成器 G 将 D_color 的图像转换为透明图像，并通过背景减除从有色液体中生成伪真值的细分掩膜 M_i。最后，研究者使用标准的二进制交叉熵损失在这个合成数据集上训练一个透明液体细分模型 S。

为了使机器人能够在不同的背景下分辨透明液体，研究者在装满水的透明玻璃杯后播放 YouTube 视频。通过这种方式训练系统，使得机器人可以在现实世界的不同背景下倒水，无论它处于何处。

值得注意的是，研究者在透明和有色液体的未配对图像数据集上训练转换模型，也就是说，这种新方法不需要有色和透明图像之间的标签对应来学习有色到透明转换模型，实现了自动和高效的数据集收集。由于很容易获得有色液体的细分标签，研究者可以直接使用一张有色液体图像的细分标签作为同一张图像的真值细分标签，只要它已经转换成了透明液体。

为了证明这种数据集转换方法在现实世界系统中的实用性，研究者构建了一个机器人倒水系统，它利用一个透明液体细分模型来完成倒水任务。在一个由机器人工作区中转换模型生成的透明液体合成图像的小型数据集上，他们对该细分模型进行训练。最后，研究者还进行了几个数据集扩增实验，以证明他们的方法有潜力训练可以泛化至多样化场景的透明液体细分模型。

通过这种新方法，机器人能够准确识别透明的液体，并将液体倒入玻璃杯中的指定高度。研究者指出，这种方法还有一定的改善和发展空间，添加不同的光线条件，让机器人挑战将水从一个容器倒进另一个，或者不只估计水的高度还有体积。

创新关键点

该研究提出了在透明和有色液体的未配对图像数据集上训练转换模型，从而使机器人能够准确感知透明液体的方法。与以往的方法相比，这种方式不需要液体运动或多帧，也不需要在训练期间进行手动注释或加热液体，是一种更准确、适用性更强的方法。