关注 约 3 分钟 原文

Token卷到触觉了

Token卷到触觉了
配图来自 原站
首次出现
2026-11-10 19:14:05
独立来源
1 个

最近有个团队做了个实验,他们在Sharpa Wave灵巧手的五个手指上都装上了触觉传感器,任务是让它把一个袋子的拉链拉上。

他们选用的动作模型是π0.5,在只靠摄像头的情况下,成功率来到了39%。

然后团队再把指尖传感器的读数原封不动地喂给它,按理来说,机器人多了一种感官,应当是拉拉链会更得心应手一些。

同样是Sharpa Wave灵巧手和π0.5这个组合,接上原始触觉后去做交接盒子的任务,成功率从57%掉到48%。

即便是把灵巧手换成XHand,6项任务平均下来,成功率也从49.71%降到了48%。

那么机器人多了一种感官,反倒变得笨手笨脚的原因到底是什么?

因为触觉数据和其它数据还不太一样,机器人的手指大部分时间是不接触物体的,所以读数差不多就是一大片“0”;即使开始接触物体,信号也是稀疏且带噪声的那种。

加之不同的传感器还各司其职,视触觉负责拍指尖软胶的形变,磁触觉负责测磁场,压阻式触觉负责记电阻……数据,不尽相同。

例如对于捏住一个瓶盖这个任务来说,三种传感器能给出的是三种完全不一样的数字,动作模型看不懂不说,还得硬用……可以说在帮倒忙了。

蚂蚁灵波给出了一种解法——在传感器和动作模型中间加一个“翻译”。

简单来说,就是先把各种传感器读到的数据,翻译成动作模型能看懂的那种,例如手指碰在哪儿、用了多大劲、力往哪边偏、有没有打滑,然后再交给它。

还是那个π0.5,还是那个拉拉链的任务,如此操作下来,成功率便直接飙升到了59%,甚至比完全不用触觉还高20个百分点;交接盒子这个任务的成功率,也从48%回到了63%。

而这个“翻译”,便是蚂蚁灵波今天最新开源的触觉预训练基础模型LingBot-Touch。

在它的加持之下,刚才我们提到的拧瓶盖的动作,就变得非常丝滑了:

视频地址: https://mp.weixin.qq.com/s/b7PNN5A3W8e1bZDVNTd5tg

要知道,拧瓶盖很容易翻车的地方,恰恰在指腹和瓶盖贴在一起的那一小块:捏得稍微松一点,指腹就会在盖面上打滑,手腕转了半圈,盖子却纹丝不动。而这一幕,正是摄像头看不清的。

那么,LingBot-Touch这个“翻译”,究竟是怎么做到的?

我们先来把LingBot-Touch干的活儿给讲清楚。

简单来说,它负责接收磁触觉、视触觉、压阻式触觉这三类传感器的信号,再把它们统一编码成一种触觉Token,从中读出接触位置、受力大小,以及力的方向是怎么随时间变化的。

它的位置刚好卡在中间,往下能接上不同的传感器和灵巧手,往上则把这些Token交给不同的动作模型。

如此一来,不管各家传感器的信号如何五花八门,到了动作模型这里,都能被统一理解,可谓殊途同归。

△LingBot-Touch连接多种触觉传感器与真实灵巧操作

而且LingBot-Touch的轻量版Li

据 量子位 报道(摘录,版权归原站)

摘录完 阅读原文