403 words
2 minutes
worklog
转多圈
目前进度：
- 首先修改奖励函数，增加目标圈数这一项，并设置了每步的奖励配置。若是 hold 模式，则在整个 episode 前 5/6 完成指定旋转度数，之后时间去学 hold 动作。
- 已在仿真中进行了 simple（只管转）、hard（转指定圈数后 hold）模式的 seeds 实验。
- 现实中正在部署。
真机强化学习
目前进度：
-
Sim 中已闭环完毕
遇到的问题与解决方案：
- 尺度过拟合 / 鱼眼相机的适配
根据 Scale-aware Data Augmentation for Sim-to-Real Transfer 引入 RSA 数据增强。 - 控制器的适配
与 Franka 不同，我用的机械臂只有位置控制、没有力矩控制，所以复用了一部分之前 sim 中的控制器部分，同时对齐 HIL-SERL 的末端 TCP 坐标系控制要求。
- 尺度过拟合 / 鱼眼相机的适配
-
真机
遇到的问题与解决方案：
- 机器之前的通讯问题 — HIL-SERL 模型侧运行在服务器上，无法与真机直接连接
- 机械臂控制：真机与个人主机相连，运行在 8899 端口，使用 SSH 隧道端口转发到服务器上。
- 图像获取：相机一个是 ZED2i、一个是鱼眼，和 Franka 不一样（RS）；为不安装 ROS2 环境，使用 OpenCV 将图像压成字节流，用 TCP 传输。
- 6.23 机械臂故障 — 急停之后恢复，没有任何力，机械臂直接掉下来，把夹爪砸坏了，真机实验暂停。
- 机器之前的通讯问题 — HIL-SERL 模型侧运行在服务器上，无法与真机直接连接
触觉分层模块化
目前进度：
- AT-VLA 论文学习中。