人工智能时代通过什么看世界

麻省理工学院计算机科学及人工智能实验室（CSAIL）的研究人员表示，在不久的将来机器人将能够通过触觉来感知物体。近日一篇最新的相关论文将于下周在加利福尼亚长滩市的计算机视觉与模式识别会议上公开，这篇论文描述了一种人工智能系统，它可以通过触觉信号生成触摸物的视觉形象，还能根据视觉数据来预测物体的触感。

“通过观察物体的表面，我们的模型可以预测某个平面或棱角的触感。通过触摸物体，我们的人工智能模型可以根据触感来构建感知到的环境。将这两种感知数据相结合，机器人的性能就会得到优化，它在搬运或抓取某个物体时所需的数据就更少，”CSAIL博士生李昀烛说道，他与他的导师Russ Tedrake、Antonio Torralba以及另一位博士后朱俊彦一起撰写了本篇论文。

这篇论文的核心干货到底是什么？

这项跨域建模任务的主要挑战在于两者之间显著的比例差异：当我们的眼睛同时感知整个视觉场景时，只能感受到物体的一小部分。为了将视觉和触觉联系起来，研究人员引入了两个跨模态任务：

1）从视觉输入中合成可信的触觉信号；

2）从视觉输入中直接预测哪个物体和哪个部分正在被触摸；

为了完成此目标，研究人员构建了一个机器人系统来自动化收集大规模视觉、触觉对的过程。

如图 1a 所示，机器人手臂装有一个触觉传感器，称为 GelSight，该传感器由CSAIL的Ted Adelson小组创建。然后，GelSight收集的信息被输入AI，以便了解视觉和触觉信息之间的关系。

为了教AI如何通过触摸识别物体，研究人员总共记录了对 195 个不同物体的 12000 次触摸。每个触摸动作包含 250 帧的视频序列，如织物，工具和被触摸的家用物品。最后产生了 300 万个视觉和触觉对图像，AI使用此数据集连接触觉和视觉数据用以总结和完善实验结果。

CSAIL博士学生和主要作者李昀烛在一篇关于该系统的新论文中说。“通过盲目地触摸，我们的模型可以纯粹通过触觉来预测与环境的相互作用。将这两种感官结合在一起可以增强机器人的能力并减少我们在涉及 *** 纵和抓取物体的任务时可能需要的数据。”

目前，机器人只能识别受控环境中的物体，这些研究人员指出，目前的数据集还非常有限，对于现有的系统而言，物体的颜色、柔软度等细节还很难预测。但很显然他们的研究会为更多的人机一体化打下基础，尤其是针对光线昏暗甚至黑暗密闭空间中的任务。下一步则将是如何构建更大的数据集，以便机器人可以在更多样化的环境中工作。