TouchWGNN: Spatio-Temporal Tactile Perception For Multimodal Dexterous Manipulation
独立第一作者 Frontiers in Robotics and AI 已接收
- 论文状态:独立第一作者 (First Author),发表于
Frontiers in Robotics and AI(已接收)
- 感知层设计:针对五指灵巧手手内触觉特征提取难题,提出分层图神经网络
(Hierarchical GNN) 捕捉触觉信号的空间拓扑特征;同时设计了高频/低频双分支 Transformer 架构,分别建模触觉信号的瞬态微震动与稳态接触力,实现深度的时空特征建模。
- 多模态融合:针对「视觉在线感知、触觉高速伺服」的异构异步需求,构建基于交叉注意力 (Cross-Attention) 与频域门控融合机制的视触觉融合网络。
- 强化学习与 Sim2Real:在 Isaac Gym 中搭建大规模并行仿真环境,采用
PPO 算法进行复杂手内操控策略学习;通过网格搜索真实执行器关节响应并对齐系统辨识参数,结合域随机化 (Domain Randomization)显著缩小 Sim2Real Gap。
- 实机部署:基于 ROS2 Humble 独立构建触觉信号实时采集、滤波及力学标定系统,引入
Linux RT 内核确保高频控制/采集的实时性,策略成功在真实五指灵巧手硬件上完成闭环部署。