它石智航联合多机构发布TacForeSight：机器人学会用腕部力觉超前200毫秒预判接触

事件概述

它石智航联合新加坡国立大学、上海交通大学、中科院自动化所、复旦大学发布论文《TacForeSight: Force-Guided Tactile World Model for Contact-Rich Manipulation》，提出一种力条件触觉世界模型，使机器人能够基于腕部力觉信号提前预测未来触觉变化，克服传统触觉反馈滞后的局限。

核心方法

• TacForceWM模块：将双指触觉场编码为紧凑的触觉潜变量，利用高频腕部力/力矩信号预测短时未来触觉演化，避免直接重建高维触觉图像带来的计算开销。
• 两阶段框架：第一阶段通过力条件触觉世界模型预测触觉动态；第二阶段将预测结果作为接触先验，经Cross-Attention机制指导轻量级动作策略生成。同时引入触觉驱动的自适应门控，在接触密集阶段侧重触觉，远离接触阶段侧重视觉。
• 提前200毫秒：在灯泡锁紧和花瓶擦拭任务中，预测触觉潜变量比当前触觉潜变量提前约200毫秒出现接触相关变化，证明模型学到了接触状态的演化趋势。

实验结果

实验平台包含机械臂、夹爪、六维力/力矩传感器、双指触觉传感器，覆盖五类接触密集型任务：

• 标准任务：花瓶擦拭、卡片滑动、管件插入、灯泡锁紧、柔性线束插入，平均完成率近80%，明显优于纯视觉模型及KineDex、FoAR、RDP等基线方法。
• 动态扰动任务：在高强度、角度、姿态扰动下平均完成率86.7%（高度扰动90%、角度扰动85%、姿态扰动85%），展现出较强鲁棒性。
• 实时性：支持20Hz实时推理，可嵌入机器人闭环控制。

意义与背景

TacForeSight关键在于利用力觉与触觉的时间先后关系（腕部力觉提供先导信号，触觉提供局部细节），实现从“反应式反馈（碰后才反馈）”到“主动式预见（提前预测接触变化）”的范式转变。该工作是它石智航在精细化操作领域的延续——此前其发布的OmniVTA视触觉框架使机器人“看见并摸到世界”，而TacForeSight进一步补上“提前预判”的能力。