触觉是感知和操作之间的桥梁。触觉信息对于手部行为反馈和规划具有重要意义。软体手的柔性特性在人机交互、生物医学设备和假肢等方面具有潜在应用的优势。本文提出了一种名为 PaLmTac的嵌入软体手手掌的视触觉传感器(vision-based tactile sensor, VBTS)。采用分布式模态设计取代功能层叠加设计。一方面,解决了不相关模态集成(纹理和温度)的问题; 另一方面,结合层次-区域识别机制可以避免不相关模态的混合干扰。
一、结构
软手由五个手指、手掌和一个VBTS组成。软体手采用层阻塞结构实现可变刚度,在真空压力下,夹层的相互挤压促进硬度增加。
图1(左)(a) PaLmTac 的结构和分布式模态设计。(b)集成视触觉传感器的软体手。© 涂层用于阻挡外界光线干扰。(右)软手结构。1 )手掌表面;2 )支撑板;3) 手掌壳;4 掌背;5 )软体手指。
二、弹性体和涂层的制造
图2 分布式模态制备流程
制备流程如下:①定制了一套金属和树脂模具。石英块具有较高的耐热性来满足加热要求。②将石英块嵌入树脂模具中,用金属模具组装。③将调配好的硅胶溶液倒入模具中。④将模具放入真空烤箱中。弹性体通过真空加热来固化。⑤将热致变粉末和硅胶的混合物倒入模具的右下角。⑥进行了第二次真空加热处理。⑦在模具上进行金属溅射。⑧带有涂层的弹性体与模具分离。
三、LRFE-Net 的结构
- 区域识别机制(初始特征提取)包含特征映射、区域卷积和区域矢量化,其目的是并行识别不相关模态。
2.层次识别机制(深度特征提取)提供了调整网络深度的灵活性,以平衡各模态特征的学习难度。
图3 层次-区域识别机制。
四、实验
柔性/变刚度状态下软体手的负载测试:
图4 软体手负载测试
软体手的抓握测试:
图5 软体手多模式抓取测试
感知测试:
图 6 交叉学习测试。一方面,区域识别机制实现了并行识别;另一方面,层次识别机制提升了网络对复杂特征的学习能力
五、总结
论文提出了一种新型的视触觉传感器,采用分布式模态设计和层次-区域特征提取机制。传感器结构简单,兼容性高,可安装到手掌中,提供多模态感知,同时不影响手指的灵活性和操作空间。实验结果验证了层次-区域特征提取机制在不相关模态识别中对融合误差控制的有效性。