人的手指VS本文提出的OmniTact新型触觉传感器
触觉对于机器人的灵巧操作十分重要，近年来凝胶观测（GelSight）传感器由于低成本和丰富的触觉信号吸引了基于学习的机器人领域研究人员的大量关注。GelSight被用于USB线缆插入、掷骰子、物体抓取等领域的研究。
GelSight传感器在基于学习的方法下工作良好主要是由于它可以输入高分辨率的触觉图像，从中可以获取包括目标几何外形、表面纹理、法向量、剪切力等丰富的特征，这些信息对于机器人的控制十分重要。
触觉图像可以利用标准的计算机视觉卷积网络进行处理，由此出现了一系列广泛的研究成果：Calandra等人基于GelSight数据利用自监督的方法训练了抓取成功分类器的模型；Tian等人则提出了基于视频预测的控制算法Visual Foresight，使得机器人可以基于纯粹触觉图像来掷骰子；Lambeta等人还提出了一种基于GelSight图像的强化学习算法应用于手工操作。
但将GelSight传感器应用于实际工作中还受限于尺寸和视场问题。目前的GelSight传感器都只有单个方向具有传感能力，同时尺寸较大不方便在实际操作中使用。在这篇文章中，研究人员提出了一种更为紧致的全向传感器，可以实现像人类手指一样的全方位感知，为感知运动学习提供了新的思路。
GelSight传感器
下图显示了先前的触觉传感器和目前的新型传感器对比图，左图是标准的GelSight传感器，基于webcam来捕捉硅胶外壳形变的高分辨率图像，内部由不同颜色的光照射，为触觉提供了丰富的彩色图像。可以看到其视野只有朝向外部的一个方向，并且传感器的尺寸较大表面较为平滑，感受野较小，分辨率较低（～400x400 pixels），不适宜较小物体的触觉感知。而商用的OptoForce力传感器则只能提供比较单一的力矢量，无法满足精细化的操作要求。
GelSight标准传感器和本文提出的OmniTact传感器的比较
OmniTact Sensor
而OmniTact的设计则克服了这些确定，它配备了多个方向摄像头和高分辨率的感知结果，同时弯曲硅胶曲面包裹的传感器更为紧凑适应性更好（上图中右侧灰色矩形代表了摄像头，橙色线则表示感知视野）。与GelSight相似，OmniTact也利用了嵌入在硅胶外壳内的摄像头来捕捉形变信息，可以提供包括剪切－法向力、目标位姿、几何形状、材料特性等丰富的信息。
OmniTact的特点在于使用了多个相机同时实现高分辨率和多方向感知能力，制作成像手指一样小巧外形的传感器可以被集成到夹爪或者机器手上。OmniTact利用了内窥镜中的微型相机来保证了传感器的小型化，并将硅胶直接灌注在了相机表面。下图显示了传感器获取的接触图案：
上图显示了不同目标的触觉图样，下图显示了不同角度在齿条上的触觉图样。
