MIT研发新AI系统，触觉与视觉信号可双向转化 - 安防知识网

这个人工智能系统能够通过触觉信息生成视觉信息，也可以根据视觉片段预测触觉。

　　近日麻省理工学院（MIT）计算机科学和人工智能实验室(CSAIL)的研究人员研发出了一个新的人工智能系统，这个人工智能系统能够通过触觉信息生成视觉信息，也可以根据视觉片段预测触觉。

　　相关论文将在下周的计算机视觉和模式识别会议上将发表一篇新的论文，这篇论文由CSAIL博士生Yun Zhu Li、MIT教授Russ Tedrake、Antonio Torralba和MIT博士后Jun Yan Zhu共同创作。

　　一、这个AI可以将视觉信息和触觉信息相互进行转换

　　该小组的系统使用了GANs（生成对抗网络）把触觉数据拼凑出视觉图像。其中GANs的神经系统被应用在两个部分，包括产生样本的发生器和能够区分产生样本和真实样本的鉴别器的两部分神经网络。

　　样本的获取来源于一个名为visgel的数据集，visgel拥有超过300万个视觉/触觉数据对，其中包括12000个视频剪辑，剪辑中包含了近200个物体（如工具、织物和家用产品）。

　　这一人工智能系统首先将识别机器人所接触物体区域的形状和材质，并在参考的数据集中进行比对，最终生成所接触部位的图像信息。

　　例如：如果给出鞋子上完整的触觉数据，这个模型就可以确定鞋子上最有可能被触摸的位置。

　　数据集中参考照片有助于对环境的详细信息进行编码，从而使机器学习模型能够自我改进。在这个研究中，他们在库卡机器人手臂上安装了一个触觉式凝胶视觉传感器，这个传感器由麻省理工学院的另一个小组设计，可以将当前的图像与参考图像进行比较，以确定触摸的位置和比例。

　　二、这个系统可以帮助机器人进行自我学习

　　“通过观察这个场景，我们的模型可以想象到触摸到一个平坦的表面或锋利的边缘的感觉。”CSAIL博士生 Yun Zhu Li表示。

　　“在黑暗中进行接触的时候，仅从触觉上，我们的人工智能模型就可以预测与环境的交互作用，把视觉和触觉这两种感觉结合在一起就可以强化机器人的能力，减少我们在处理和抓取物体的任务中可能需要的数据。”

　　研究人员注意到，当前的数据集只有在受控环境中交互的例子，但是其中一些细节，比如物体的颜色和柔软度，仍然难以被系统推断出来。

　　不过，他们说，他们的方法可以在生产环境中为集成人类机器人无缝衔接地打下基础，尤其是在缺少视觉数据的任务上。比如：当灯熄灭或工人必须盲目地接触容器时。