π0.5: Vision-Language-Action Policy with FAST, Knowledge Insulation, System 1/2 and Real-Time Action Chunking - Physical Intelligence 2025#

一句话总结#

π0.5 可以理解为在 [[π0]] 基础上，把 [[FAST]] action tokenization、[[Flow Matching]] action expert、[[Knowledge Insulation]]、以及 [[System 1 and System 2]] 式的分层机器人控制统一到一个 VLA 框架中：VLM 负责视觉-语言理解和任务分解，action expert 负责从噪声中生成连续动作 chunk，从而让机器人在开放家庭环境中执行更长、更复杂、更具泛化性的任务。

论文元信息#

研究问题#

这篇工作的核心问题是：如何把一个已经具备视觉-语言理解能力的 VLM，扩展成可以直接控制真实机器人的通用 VLA policy，并且让它不仅能完成短程 manipulation，还能在真实家庭环境中处理更长程、更开放、更依赖语义理解的任务。

传统机器人策略通常受限于任务、场景或 embodiment。一个策略可能只适合一个机器人、一个实验台、一个任务分布，换到新家庭、新物体、新布局就容易失败。π0.5 试图回答的是：如果我们使用互联网规模预训练 VLM 作为 backbone，再用大规模机器人数据训练 action expert，能否得到一个既懂语言和图像、又能输出连续控制动作的通用机器人策略。

更具体地说，它关心三个层面的难题。第一，动作应该如何表示，才能既适合 LLM/VLM 的 token 化训练，又能保留连续机器人动作的精细性。第二，如何训练 action expert，而不破坏 VLM 原本从大规模视觉-语言数据中学到的常识和语义知识。第三，如何让机器人执行长程任务，而不是只对一个短指令输出一小段动作。

背景与动机#

π0.5 建立在 [[π0]] 的架构基础上。视频中提到，π0 的 VLM 部分由语言模型 Gemma 和视觉 backbone SigLIP 构成；在动作生成侧，一条路线是让 VLM 自回归地产生 [[FAST]] action tokens，另一条路线是使用 [[Flow Matching]] action expert 从噪声中生成连续 action chunks。π0.5 在高层架构上没有彻底改变 π0，而是把 π0 之后释放出来的几个关键组件组合起来：FAST、OpenPI、Hi Robot、Knowledge Insulation，以及后续的 Real-Time Action Chunking。

动机之一是动作表示问题。机器人动作是连续的、高维的、时间相关的序列。如果直接让 LLM 像预测文字 token 一样预测动作，很容易遇到两个问题：一是动作之间高度相关，不像自然语言 token 那样具有明显离散语义；二是连续动作离散化后可能损失精度，尤其在灵巧操作、接触丰富任务中会影响控制质量。

动机之二是训练稳定性问题。VLM 已经在大规模视觉-语言数据上学到了物体、场景、语言、常识和视觉语义。如果直接把一个随机初始化的 action expert 接到 VLM 上，并让 flow matching action loss 的梯度回传到 VLM，那么训练早期的 noisy gradient 可能会破坏 VLM 的旧知识，导致 catastrophic forgetting。[[Knowledge Insulation]] 正是为了解决这个问题而引入。

动机之三是长程任务问题。一个机器人要“打扫房间”或“整理厨房”，并不是一步动作能完成的任务。它需要先理解场景，再把任务拆成多个子任务，例如拿起袜子、移动到垃圾桶、放入垃圾桶、再寻找下一个物体。π0.5 引入 System 1 / System 2 式的组织方式，让同一个 VLM 既可以作为高层规划器，也可以作为底层 VLA policy 的条件输入来源。

核心直觉#

π0.5 的核心直觉是：机器人通用性不应该只来自更大的 action model，而应该来自一个已经具备强视觉-语言语义能力的 VLM backbone，再用适合机器人动作的数据表示和训练机制把它连接到连续控制上。

在这个框架里，VLM 不只是“看图编码器”，而是机器人策略的语义中枢。它负责把图像、语言、场景、任务目标压缩成对 action expert 有用的条件表示。action expert 则不需要重新学习所有视觉和语言知识，它只需要学会在这些条件表示下生成合理的动作轨迹。

[[FAST]] 的直觉是：真实机器人动作轨迹通常是平滑的，因此可以像 JPEG 压缩图像那样，把动作序列分解到频率空间。低频成分往往已经足够表示动作的大体形状，高频成分很多时候接近零，因此可以通过 DCT、量化和 BPE 得到更紧凑、更适合 token 预测的动作表示。

[[Flow Matching]] 的直觉是：不要直接预测最终动作，而是学习一个从随机噪声流向真实动作的速度场。训练时给模型一个 noisy action 和时间 ，让它预测此时应该朝哪个方向移动，才能最终到达真实 action chunk。这样 action expert 学到的是条件化的动作生成动力学，而不是简单的 point regression。

[[Knowledge Insulation]] 的直觉是：VLM 的旧知识是宝贵资产，不应该被 action expert 训练早期的随机噪声梯度污染。因此，让 FAST token loss 或文本/机器人任务继续更新 VLM，但阻断 flow matching action loss 对 VLM 的反向传播，只让它更新 action expert。

方法机制#

π0.5 的模型可以分成三个主要部分：视觉编码器、语言/多模态 backbone、动作生成模块。

视觉侧使用 [[SigLIP]] 作为 visual backbone。视频只明确说 π0/π0.5 的 VLM 部分包含 Gemma 和 SigLIP，没有展开为什么选择 SigLIP。结合外部资料，一个合理解释是：π0/π0.5 继承了 PaliGemma 式的 VLM 路线，即 SigLIP 负责视觉编码，Gemma 负责语言建模。SigLIP 的优势在于它经过图文对齐训练，输出的视觉表示天然更适合被语言模型消费。对于 VLA 来说，这比纯视觉 encoder 更方便，因为机器人指令本身就是 language-conditioned 的，例如“拿起红色杯子”或“把袜子放进篮子”。

动作侧有两种互补机制。第一种是 FAST token prediction。FAST 先对 action chunk 做归一化，再做离散余弦变换，将时间序列动作转成 cosine coefficients。随后进行量化，并按频率和动作维度重新排列，使主要低频成分靠前，高频接近零的成分靠后。最后使用 BPE 把常见 token pattern 合并，从而得到紧凑的 action token 序列。这样，动作可以像语言 token 一样由 VLM 自回归预测。

第二种是 flow matching action expert。它是一个与 LLM/VLM 相连的额外 transformer 模块，用 flow matching 从噪声中生成连续 action chunk。它不是直接预测动作值，而是预测 flow process 的 velocity。训练时真实动作记为 ，初始噪声记为 ，随机采样时间 ，构造中间 noisy action：

如果路径是线性插值，那么真实速度目标就是：

action expert 预测：

flow matching loss 可以写成：

这里的 context 来自 VLM，包括图像、语言指令、机器人状态等条件信息。推理时，模型从随机噪声开始，经过若干 flow integration / denoising steps，逐步生成最终 action chunk。

Knowledge Insulation 改变的是梯度路径，而不是前向结构。正常情况下，flow matching loss 的梯度会同时更新 action expert 和 VLM/LLM。Knowledge Insulation 则阻断 action expert loss 到 VLM 的梯度，只让该 loss 更新 action expert。与此同时，VLM 仍可通过 FAST token loss、机器人文本任务、任务分解数据等继续训练。

算法流程#

训练阶段可以理解为多个目标并行发生。首先，输入包括多视角图像、自然语言指令、机器人状态，以及真实 action chunk。图像经 SigLIP 编码后形成视觉 token，语言指令和机器人状态进入 VLM/LLM backbone，形成条件表示。

对于 FAST 路线，真实 action chunk 被归一化、DCT、量化、重排并 BPE tokenized，得到 ground-truth FAST tokens。VLM 自回归预测这些 FAST tokens，并通过 token-level cross entropy 等目标更新 VLM。这一路径类似语言模型训练，因此对 VLM 来说比较自然。

对于 flow matching 路线，训练时采样噪声 和时间 ，构造 noisy action 。action expert 读取 VLM context、noisy action 和时间条件，预测 velocity。模型将预测 velocity 与 比较，计算 flow matching loss。在 Knowledge Insulation 设置下，这个 loss 的梯度只更新 action expert，不回传污染 VLM。

对于 System 2 路线，VLM 还会被训练成高层任务分解器。给定复杂自然语言任务和当前视觉观察，它生成更低层的语言命令或子任务。例如，面对“clean the room”，System 2 可能生成“pick up the white sock from the floor”“move to the bin”“put the sock into the bin”等子步骤。每个子步骤再作为 System 1 VLA policy 的输入，由底层 action expert 执行。

推理阶段，System 2 不需要像底层控制一样高频运行。它可以每隔几秒、每个子任务完成后、或用户干预时运行一次，产生新的低层指令。System 1 则高频运行，视频中提到可以以约 50 Hz 的频率预测动作，用 action chunks 控制机器人。

实验设计#

根据视频讲解，π0.5 的实验重点不是单一 benchmark 上的离线指标，而是展示真实家庭环境中的泛化能力。模型被带到新房屋、新场景中执行任务，例如洗碗、清理卧室、整理房间等。这类任务需要机器人理解开放环境中的物体、家具、容器和任务语义，也需要能执行多个连续子任务。

FAST 的实验或展示重点在于动作压缩和训练效率。视频中用一维 action chunk 的 DCT 示例说明：如果轨迹足够平滑，前几个 cosine components 就能恢复大部分动作形状，后面的高频系数接近零，量化和 BPE 后可以获得很高压缩率。视频还提到，在从头训练 VLA 时，FAST 相比 flow matching 训练可以带来明显速度优势，但在 fine-tune 已经预训练好的 VLA 时，作者个人经验中未必看到同样加速。

Knowledge Insulation 的实验重点是比较是否阻断 action expert gradient 对 VLM 的影响。视频转述的核心结论是：action expert 初始化为随机权重，flow matching 早期产生 noisy prediction 和 noisy gradient，如果这些梯度回传到 VLM，会导致 VLM 遗忘预训练知识。Knowledge Insulation 可以缓解这种遗忘，并据称带来明显训练加速。

System 1 / System 2 的实验重点是长程任务分解和人机交互。系统可以根据用户的高层请求生成 verbal response 和 low-level language command，再由 VLA policy 根据图像、机器人 joint positions 和低层命令生成动作。用户也可以在任务执行过程中插入新信息，System 2 根据最新观察更新计划。

主要实验结论#

π0.5 的主要结论可以概括为：π0、FAST 和 Hi Robot 的组合能够形成一个更强的通用 VLA policy，使机器人在新环境中完成更开放、更长程的家务任务。它不是简单地把短程 manipulation policy 扩大，而是把高层语义分解和底层连续控制连接起来。

FAST 的结论是：对于平滑机器人动作，DCT + quantization + BPE 可以得到紧凑而有意义的 action token representation。动作 token 不再只是单个时间步的离散值，而可以隐含表示一段动作曲线的 cosine shape。这样既降低 token 序列复杂度，也让 VLM 更容易学习 action prediction。不过，FAST 的推理是自回归生成 token，因此推理速度可能慢于 flow matching。

Flow matching action expert 的结论是：连续动作生成更适合通过生成式 vector field 来建模。模型从噪声开始，经若干步流动生成 action chunk，这比简单离散化动作更适合高维连续控制，也更符合灵巧操作中对平滑轨迹和连续值的需求。

Knowledge Insulation 的结论是：训练 VLA 时，VLM 和 action expert 的优化目标需要隔离一部分。VLM 可以通过 FAST token loss 和机器人语言任务学习机器人相关语义，但 action expert 的 noisy flow matching gradient 不应直接破坏 VLM。这个机制使 VLM 保留旧知识，同时让 action expert 学会 attend to VLM representations 并生成动作。

System 1 / System 2 的结论是：长程机器人任务需要慢速推理和快速控制并存。System 2 负责理解复杂请求、分解任务、根据用户反馈调整计划；System 1 负责高频执行短程子任务。π0.5 的特点是同一个 VLM 可以在两个角色中复用，只是在高层规划和底层控制时运行频率、输入输出形式不同。

对机器人研究的启发#

π0.5 对机器人研究的最大启发是：通用机器人策略的核心瓶颈可能不只是控制算法，而是如何把互联网规模的语义知识、真实机器人动作数据和高频闭环控制统一到一个可训练系统中。

对于机器人 scientist 来说，这提示我们不要把 perception、planning、control 完全割裂。传统 pipeline 中，感知模块输出检测框或位姿，规划模块生成轨迹，控制模块执行动作。VLA 路线则倾向于用一个统一 representation 把这些层次粘合起来。虽然这并不意味着传统模块化方法过时，但它说明，在开放环境和语言指令场景中，强语义 backbone 可以显著提升任务泛化。

第二个启发是动作表示非常关键。很多机器人学习失败并不只是模型容量不够，而是动作空间表示不适合学习。FAST 把动作序列看成平滑信号，利用频域压缩和 BPE 形成 token；flow matching 则把动作生成看成从噪声到真实轨迹的条件生成过程。这两种方法都不是简单地回归 action，而是在重新设计“什么是可学习的动作表示”。

第三个启发是梯度路径本身也是架构设计的一部分。Knowledge Insulation 说明，在大型预训练模型接入随机初始化模块时，是否让某一路 loss 回传到 backbone，是一个非常重要的训练策略。对于机器人模型，这一点尤其关键，因为 action loss 可能非常 noisy，而 VLM 的语义知识又很脆弱、很难通过机器人数据重新学回来。

第四个启发是长程任务需要层级时间尺度。System 2 每秒或每几秒运行一次，System 1 以几十 Hz 运行，这比试图让一个模型在同一频率下既做高层推理又做底层控制更合理。机器人系统天然具有多时间尺度：语义任务、子目标、轨迹、控制指令的频率不同，模型架构也应尊重这种差异。

方法的适用条件#

FAST 适用于动作轨迹相对平滑的场景。如果真实动作中主要信息集中在低频成分，DCT 后高频系数接近零，那么 FAST 可以获得很好的压缩效果。典型遥操作数据往往满足这个条件，因为人类不会以极高频率做剧烈决策，机器人轨迹通常具有连续性和平滑性。

FAST 不适合被破坏平滑性的预处理。如果对每个 timestep 单独做 normalization，或者引入逐步震荡、高频噪声，就会导致 DCT 后高频成分变大，尾部不再接近零，BPE 也难以把长串零合并。视频中特别强调，per-timestep normalization 可能破坏 FAST 的压缩优势。

Knowledge Insulation 更适用于从 general-purpose VLM 开始训练 VLA 的场景。如果 action expert 是随机初始化，而 VLM 已经拥有大量预训练知识，那么阻断 action expert gradient 可以保护 VLM。如果模型已经是机器人预训练模型，只是在新机器人或新任务上 fine-tune，Knowledge Insulation 带来的训练加速可能没那么明显。

Flow matching 适合需要连续动作、高频控制和 action chunk 生成的机器人任务。它比离散 action token 更自然地表示连续动作，也比逐 token 自回归生成更适合实时控制。但它也引入了额外推理步骤，例如多步 flow integration，因此工程上要权衡 action quality 和 latency。

System 1 / System 2 适合长程、多子任务、可交互任务。如果任务只是一个短程 pick-and-place，System 2 的优势可能不明显；但如果任务需要开放环境理解、动态修正、用户介入和任务分解，那么高层 VLM planner 的价值就会显著增加。

局限性#

π0.5 仍然依赖大量高质量机器人数据。虽然它借助 VLM 继承了互联网规模的视觉-语言知识，但动作生成能力仍需要真实或高质量机器人轨迹训练。对于新 embodiment、新末端执行器、新传感器配置，仍然可能需要额外 fine-tuning。

SigLIP 作为视觉 backbone 的优势主要是图文语义对齐，但它未必是最强的空间/几何编码器。机器人 manipulation 常常需要精确理解物体位姿、遮挡、接触点、深度和局部几何。相比 DINOv2、depth encoder、3D encoder 或 point cloud encoder，SigLIP 可能在 fine-grained spatial grounding 上存在短板。OpenVLA 等路线使用 SigLIP + DINOv2 的双 encoder，正是为了同时获得语义和空间特征。

FAST 的压缩能力依赖轨迹平滑假设。如果任务包含高频震荡、快速接触切换、复杂动态操作，或者数据预处理破坏了时间连续性，FAST 的优势会下降。它的自回归推理也可能比 flow matching 慢。

Knowledge Insulation 虽然优雅，但视频作者也提出一个重要疑问：论文是否充分比较了更传统的多阶段训练方案。例如，第一阶段只训练 FAST tokens，第二阶段冻结 VLM 训练 action expert，第三阶段再联合微调。缺少这类 ablation 时，很难判断 Knowledge Insulation 相比 staged training 的真实优势来自哪里。

System 1 / System 2 的长程任务分解依赖高层 VLM 的可靠性。如果 System 2 生成错误子任务，System 1 即使执行得很好，也可能把错误计划执行到底。开放环境中的任务完成检测、失败恢复、状态估计和安全约束仍然是难题。

和相关概念的关系#

π0.5 与 [[π0]] 的关系是增量式增强，而不是彻底重构。视频中明确说，从高层 schema 看，π0.5 与 π0 基本相同，仍然是 VLM backbone + action generation。区别在于 π0.5 结合了 π0 之后发展出的 FAST、Hi Robot、Knowledge Insulation 等组件，并在训练和长程任务能力上更完整。

π0.5 与 [[FAST]] 的关系是动作 tokenization。FAST 让机器人动作可以被 VLM 当作 token 序列预测，从而复用语言模型训练机制。它把连续动作转成频域系数，再量化和 BPE，使动作序列更短、更稳定、更适合自回归训练。

π0.5 与 [[Flow Matching]] 的关系是连续动作生成。Flow matching action expert 不预测离散 token，而是预测从噪声到真实动作的速度场。它使模型可以生成连续 action chunk，更适合高频控制和灵巧 manipulation。

π0.5 与 [[Knowledge Insulation]] 的关系是训练稳定性。Knowledge Insulation 通过阻断 action expert loss 到 VLM 的梯度，防止随机初始化 action expert 的 noisy gradient 破坏 VLM 的预训练知识。

π0.5 与 [[System 1 and System 2]] 的关系是层级控制。System 2 负责慢速推理和任务分解，System 1 负责快速动作生成。π0.5 中同一个 VLM 可以承担高层分解角色，同时也为底层 action expert 提供条件表示。

π0.5 与 [[PaliGemma]] / [[Gemma]] / [[SigLIP]] 的关系是 VLM backbone。SigLIP 提供视觉编码，Gemma 提供语言建模。这个组合让模型拥有较强的图文语义对齐能力，但也可能不如专门的空间视觉 encoder 适合精细几何理解。

π0.5 与 [[OpenVLA]] 的关系是同属 VLA 路线，但动作生成范式不同。OpenVLA 类方法常把动作离散化成 token 并自回归预测，而 π0/π0.5 强调 flow matching 连续 action expert。OpenVLA/Prismatic 还常用 SigLIP + DINOv2 双视觉 encoder，而 π0/π0.5 主要沿用 PaliGemma/SigLIP 单视觉 backbone。

可复现线索#

复现 π0.5 需要先明确模型组成。视觉侧需要 SigLIP 或 PaliGemma-compatible visual encoder，语言侧需要 Gemma 类 decoder-only LLM，多模态连接方式需要遵循 PaliGemma / OpenPI 的输入 token 组织方式。动作侧需要实现 flow matching action expert，并让它能够 attend to 或连接到 LLM/VLM 的层级表示。

数据侧至少需要包含多视角图像、语言指令、机器人状态和 action chunk。对于 FAST，需要对 action chunk 做归一化、DCT、量化、维度-频率重排和 BPE tokenizer 训练。复现时必须特别注意 normalization 方式，避免 per-timestep normalization 破坏轨迹平滑性。

训练侧需要同时实现两个 loss。FAST token loss 用于训练 VLM 预测 action tokens；flow matching loss 用于训练 action expert 预测 velocity。若使用 Knowledge Insulation，需要在计算 flow matching loss 后阻断其到 VLM 的梯度，只保留 action expert 参数更新。工程上可以通过 detach VLM context、stop-gradient 或更明确的参数分组实现。

推理侧需要实现 action chunk generation。FAST 路线需要自回归生成 FAST tokens，再 decode 回连续动作。Flow matching 路线需要从噪声初始化 action chunk，通过若干 integration steps 使用 action expert 预测 velocity 并更新动作。实时部署还需要 action chunk scheduling、receding horizon execution、以及可能的 real-time chunking 机制。

系统侧需要实现 System 2 到 System 1 的接口。System 2 输入当前图像和高层用户指令，输出低层语言命令或子任务；System 1 输入低层命令、图像、机器人状态，输出连续 action chunk。长程任务还需要任务完成判定、用户干预接口和失败恢复策略。

我的思考#

我认为 π0.5 最值得关注的不是某一个单点技术，而是它对 VLA 系统边界的重新划分。它没有把机器人控制看成单纯的 policy learning，而是把语言理解、视觉语义、动作生成、任务分解和训练稳定性统一考虑。这个方向很符合真实机器人系统的需求，因为真实任务从来不是单一模块能解决的。

FAST 的设计很有启发。把 action chunk 当作时间信号，并利用 DCT 压缩，是一个非常自然但容易被忽略的思路。机器人动作通常不是任意序列，而是有物理连续性和人类操作平滑性的信号。这个先验如果用得好，可以显著降低学习难度。但我也会担心它对复杂 contact-rich manipulation 的适应性。例如，在接触瞬间，动作或力控信号可能出现高频变化，此时 FAST 是否仍然保持优势需要具体实验验证。

Knowledge Insulation 是一个很漂亮的工程化训练思想。大模型时代的机器人学习不再只是设计网络结构，还要设计梯度如何流动。action expert 早期随机、VLM 已经有知识，这两者的训练状态并不对称。如果把所有 loss 都无差别地反传到所有参数，反而可能破坏最有价值的部分。这个想法可以推广到其他机器人 foundation model，例如 tactile encoder、world model、language planner 和 low-level controller 的联合训练。

关于 SigLIP，我的判断是它是一个非常合理的默认选择，但不是机器人视觉的最终答案。SigLIP 强在语义对齐，适合语言指令驱动的任务；但机器人还需要 3D、几何、接触和局部精细空间关系。未来更强的 VLA 很可能不是单一 SigLIP，而是语义 encoder、空间 encoder、depth/3D encoder、多尺度局部特征的组合，同时通过 token pruning 或 sparse attention 控制计算成本。

我也认为 System 1 / System 2 的分工非常重要。很多失败案例可能不是 action expert 不会抓，而是高层任务分解不可靠、状态更新不及时、失败后不会恢复。真实家务场景中，任务是动态的，环境是不完整可观测的，人也可能随时插入新要求。因此，VLA policy 必须从“单次 instruction following”走向“持续交互式任务执行”。

后续问题#

1. π0.5 原论文中是否有 SigLIP 与其他视觉 encoder 的 ablation？如果没有，使用 SigLIP 主要是继承 PaliGemma 架构，还是在内部实验中验证过？
2. Knowledge Insulation 与传统 staged training 相比，是否真的更优？例如先训练 FAST，再冻结 VLM 训练 action expert，最后联合微调的 baseline 表现如何？
3. FAST 在 contact-rich、高频控制、力控或动态操作任务上是否仍然有效？高频动作成分是否会被压缩过程损失？
4. Flow matching action expert 的 integration steps 数量如何影响实时性和成功率？是否存在任务相关的 adaptive step scheduling？
5. System 2 的子任务完成检测是如何实现的？是 VLM 自己判断，还是依赖外部 termination classifier？
6. π0.5 在新 embodiment 上 fine-tune 时，需要多少 demonstration？哪些层应该冻结，哪些层应该 LoRA 或全量更新？
7. 多相机输入在 SigLIP token 中如何组织？不同 camera view 之间是否显式建模空间关系？
8. Knowledge Insulation 是否会限制 action expert 对 VLM 表示的反向塑形能力？完全阻断梯度是否可能让 VLM 缺少低层控制相关 grounding？
9. Real-Time Action Chunking 与普通 receding horizon control 的关键区别是什么？它如何处理 chunk 边界不连续问题？
10. π0.5 的失败模式主要来自视觉识别、任务分解、动作生成，还是闭环反馈不足？

可以拆出的永久笔记#

• [[Vision-Language-Action Model]]
• [[π0]]
• [[π0.5]]
• [[OpenPI]]
• [[FAST Action Tokenization]]
• [[Discrete Cosine Transform for Robot Actions]]
• [[Flow Matching for Action Generation]]
• [[Knowledge Insulation]]
• [[System 1 and System 2 in Robotics]]
• [[Action Chunking]]
• [[Real-Time Action Chunking]]
• [[SigLIP]]
• [[PaliGemma]]
• [[Gemma]]
• [[VLM Backbone for Robotics]]
• [[Gradient Isolation in Foundation Model Fine-tuning]]
• [[Robot Action Representation]]
• [[Language-Conditioned Robot Control]]
• [[Hierarchical Robot Policy]]
• [[Catastrophic Forgetting in VLA Training]]
• [[DINOv2 vs SigLIP for Robotics]]

相关双链#

[[Robotics Foundation Models]]

[[Embodied AI]]

[[Robot Learning]]

[[Imitation Learning]]

[[Behavior Cloning]]

[[Diffusion Policy]]

[[Flow Matching]]

[[Action Chunking with Transformers]]

[[Open X-Embodiment]]

[[DROID Dataset]]

[[Language Conditioned Manipulation]]

[[Long-Horizon Manipulation]]

[[Task and Motion Planning]]

[[Visual Grounding]]

[[Multimodal Representation Learning]]

后续阅读#

• Physical Intelligence
• OpenPI GitHub
• SigLIP: Sigmoid Loss for Language Image Pre-Training
• OpenVLA
• DINOv2
• PaliGemma
• Vision-Language-Action Models in Robotic Manipulation: A Systematic Review

原始对话索引#

本轮 Tabbit 侧边栏阅读围绕 YouTube 视频《Controlling the robot with VLA policy: Pi0.5 explained (FAST, System 1/2, KI, RTC) (VLA Series Ep.3)》展开，主要讨论了 π0.5 与 π0 的关系、FAST tokenization、flow matching action expert、Knowledge Insulation、System 1 / System 2、以及为什么视觉 backbone 使用 SigLIP。

关于 flow matching loss 的讨论中，已明确：action expert 不直接预测最终动作，而是预测 flow process 的 velocity。训练时将模型预测速度与真实速度目标 比较，得到 loss。这个 loss 原本会产生回传到 action expert 和 LLM/VLM 的梯度，因此后续引出 Knowledge Insulation。

关于 Knowledge Insulation 的讨论中，已明确：action expert 初始通常是随机权重，flow matching 训练早期会产生 noisy gradients。如果这些梯度传回预训练 VLM，会导致 VLM 遗忘原有知识。Knowledge Insulation 的做法是阻断 action expert loss 到 VLM 的梯度，让 flow matching action loss 只更新 action expert，而 VLM 仍可通过 FAST token loss 或机器人文本任务继续训练。

关于 FAST 的讨论中，已明确：FAST 使用 DCT 将动作 chunk 分解为 cosine coefficients，再量化并通过 BPE 压缩。其有效性依赖机器人动作轨迹的平滑性。如果人为引入高频震荡或 per-timestep normalization，会破坏尾部系数接近零的结构，从而降低压缩率。

关于 SigLIP 的讨论中，已明确：视频只提到 π0/π0.5 的 VLM 由 Gemma 和 SigLIP 组成，没有说明为什么不用其他视觉 encoder。外部资料补充后，较合理的判断是：SigLIP 是 PaliGemma/Gemma VLM 路线的自然组成部分，强在图文语义对齐和工程复用；但它不一定是机器人空间几何表示的最优选择。DINOv2 等 encoder 可能在空间细节上更强，OpenVLA 等路线使用 SigLIP + DINOv2 的双 encoder 也体现了语义与空间特征互补的趋势。

我的一句话评价#

π0.5 的价值不只是提出一个更强的机器人策略，而是展示了一条清晰路线：用 VLM 保存开放世界语义，用 FAST 和 flow matching 解决动作表示与连续控制，用 Knowledge Insulation 保护预训练知识，再用 System 1 / System 2 把短程控制扩展到长程任务执行。