宁予

具身智能 · 灵巧操作 · 视触觉融合

宁予

教育背景

大连理工大学(985)· 计算机科学与技术 · 硕士在读

2024.09 — 至今
  • 研究方向:具身智能 (Embodied AI)、灵巧手触觉感知与操作、强化学习与模仿学习
  • 学术成果:以独立第一作者身份发表国际期刊论文 1 篇(已接收)

河北工业大学(211)· 物联网工程 · 学士

2020.09 — 2024.06
  • 荣誉奖项:全国大学生数学竞赛省级一等奖、全国大学生英语竞赛国家级三等奖、校学习优秀奖学金、校三好学生

科研经历

TouchWGNN: Spatio-Temporal Tactile Perception For Multimodal Dexterous Manipulation

独立第一作者 Frontiers in Robotics and AI 已接收
  • 论文状态独立第一作者 (First Author),发表于 Frontiers in Robotics and AI已接收
  • 感知层设计:针对五指灵巧手手内触觉特征提取难题,提出分层图神经网络 (Hierarchical GNN) 捕捉触觉信号的空间拓扑特征;同时设计了高频/低频双分支 Transformer 架构,分别建模触觉信号的瞬态微震动与稳态接触力,实现深度的时空特征建模
  • 多模态融合:针对「视觉在线感知、触觉高速伺服」的异构异步需求,构建基于交叉注意力 (Cross-Attention) 与频域门控融合机制的视触觉融合网络。
  • 强化学习与 Sim2Real:在 Isaac Gym 中搭建大规模并行仿真环境,采用 PPO 算法进行复杂手内操控策略学习;通过网格搜索真实执行器关节响应并对齐系统辨识参数,结合域随机化 (Domain Randomization)显著缩小 Sim2Real Gap。
  • 实机部署:基于 ROS2 Humble 独立构建触觉信号实时采集、滤波及力学标定系统,引入 Linux RT 内核确保高频控制/采集的实时性,策略成功在真实五指灵巧手硬件上完成闭环部署。

项目经历

基于 MuJoCo 仿真器的具身遥操作与环境建模

2026.03 — 至今
  • 数字孪生环境构建:在 MuJoCo 仿真器中,搭建基于现实的物理环境与机器人运动学模型,配置键盘遥操作接口,构建高效的高质量演示轨迹采集流水线。
  • 微调与性能验证:基于仿真环境采集的演示轨迹,使用 LoRA 技术对基座策略进行微调,并开展成功率与跨种子实验的闭环性能验证。

多 VLA 算法策略微调与实机闭环部署

2025.03 — 至今
  • 端到端链路搭建:独立搭建国产 AUBO I10 机械臂 + 夹爪 + 多视角相机 的多模态具身数据采集流水线,实现多路视频流与机器人状态的高同步落盘,记录 LeRobot Dataset V3.0 格式数据集。
  • 多算法微调:对齐 LeRobot 生态,实现 ACT (Action Chunking with Transformers)Diffusion Policy 及 VLA 基座策略 Pi0、Pi0.5 的复现与高效 LoRA 微调;针对采集过程中的异常轨迹展开清洗,实现算法在仿真与真实环境下的性能评测。
  • 跨协议低延迟推理:分别基于 ZMQ(用于实机本地低延迟通信)与 WebSocket(用于仿真/云端双向异步通信)构建高性能推理架构,将「状态输入 → 模型推理 → 硬件执行」的全链路时延控制在工业级控制需求内,完成高效实机/仿真闭环验证。

技术概览

  • 核心优势具备独立构建「数据采集 - 仿真/实机遥操作 - 具身大模型/策略微调 - 低延迟推理 - 真实环境 Sim2Real 部署」全流程的闭环落地能力
  • 研究方向:灵巧操作、触觉感知、视触觉融合、模仿学习 (IL)、强化学习 (RL)、视觉-语言-动作模型 (VLA)。
  • 工具与环境:熟练使用 PyTorchROS / ROS2ZeroMQ (zmq)WebSocket;深入掌握 Isaac GymMuJoCoIsaac Sim 等主流物理仿真引擎。
  • 算法与模型:熟悉 PPOSACDQN 等强化学习算法;深入理解 ACTDiffusion PolicyFlow Matching 等生成式行为克隆模型原理;紧跟前沿,熟悉 Pi 系列 (Pi0、Pi0.5)OpenVLA 等主流 VLA 范式。
  • 数据与工程:熟练掌握 rosbag 工具链、LeRobot 具身数据格式转换、大规模并行仿真训练及 Sim2Real 域随机化调优技术。
  • 研究热情:关注触觉感知、灵巧手操控与具身智能,坚信具身智能会带来生产力的跨越式提升,希望为这个理想贡献自己的力量。