SERL：样本高效机器人强化学习软件套件
2026-06-22
SERL 把样本高效的离策略 RL（[[RLPD]]）、基于分类器与 [[VICE]] 的奖励设定、由[[Forward-Backward Controller]]驱动的无重置训练，以及一个带「实时层参考限幅」的[[Impedance Control]]器，精心整合为一个开箱即用的全栈软件套件，论证了一个核心命题——真实世界机器人 RL 的瓶颈往往在工程实现而非算法创新：在单张 RTX 4090 上、每个策略 15~60 分钟训练内，即可在 PCB 插装、线缆布线、物体重定位等富接触任务上取得近乎完美的成功率。
3943 words
|
20 minutes
Pi 0.5 VLA Policy
2026-06-12
π0.5 可以理解为在 [[π0]] 基础上，把 [[FAST]] action tokenization、[[Flow Matching]] action expert、[[Knowledge Insulation]]、以及 [[System 1 and System 2]] 式的分层机器人控制统一到一个 VLA 框架中：VLM 负责视觉-语言理解和任务分解，action expert 负责从噪声中生成连续动作 chunk，从而让机器人在开放家庭环境中执行更长、更复杂、更具泛化性的任务。
7462 words
|
37 minutes
HER
2026-06-09
Hindsight Experience Replay 论文阅读笔记：一种将失败轨迹重标注为 achieved goal 训练数据的稀疏奖励强化学习方法。
5653 words
|
28 minutes