近日，上海交通大学、百度（BIDU）智能云、地瓜机器人（D-Robotics）联合发布机器人 Foundation Model 最新研究成果 dVLA-RL，首次打通经典 PPO 算法与离散扩散 Vision-Language-Action（dVLA）的强化学习训练路径，使离散扩散 VLA 首次具备持续强化学习能力，为机器人 Foundation Model 建立起从预训练、监督微调（SFT）到强化学习（RL）的完整技术链路，推动机器人从依赖人类示范学习，迈向持续自主学习与自主进化。
此次研究全部实验均基于百度（BIDU）百舸 AI 计算平台完成。针对机器人强化学习训练场景，百度（BIDU）百舸团队围绕 RLInf 开展 AI Infra 工程优化，提升了强化学习阶段的训练效率、资源利用率和模型收敛效果，为 dVLA-RL 提供了稳定、高效的训练支撑。
近年来，以 Vision-Language-Action（VLA）为代表的机器人 Foundation Model 正成为具身智能的重要技术路线。通过融合视觉、语言和机器人动作，VLA 模型能够完成抓取、搬运、装配等复杂任务，并不断拓展机器人在制造、物流、服务等场景中的应用能力。
当前，大多数机器人 Foundation Model 主要依赖监督微调（SFT）学习人类示范数据，能够快速掌握基础技能，但面对开放环境和复杂任务时，仅依靠模仿学习容易达到能力瓶颈。强化学习（RL）则通过自主交互、持续试错和奖励反馈不断优化策略，被普遍认为是机器人 Foundation Model 持续演进的重要方向。
然而，离散扩散 VLA 由于采用多轮去噪生成动作，传统 PPO 难以直接适配其完整生成过程，强化学习训练路径长期缺失，也成为制约这一技术路线进一步发展的关键瓶颈。
针对这一挑战，研究团队提出 dVLA-RL 强化学习训练框架，将离散扩散模型完整的去噪过程视为连续决策轨迹，重新定义 PPO 的优化对象，使经典强化学习算法首次能够直接应用于离散扩散 VLA，为这一技术路线建立起完整的强化学习训练体系。同时，团队进一步提出 Hybrid Denoising Steps 动态去噪策略，可根据不同任务复杂度动态调整去噪步数，在保证模型性能的同时兼顾推理效率。
实验结果显示，dVLA-RL 在多个机器人主流基准测试中取得显著提升。在 LIBERO Benchmark（BHE） 上，模型平均任务成功率达到 99.7%；在 RoboTwin 2.0 基准测试中，模型成功率由监督微调阶段的 61.4% 提升至 92.0%，绝对提升 30.6 个百分点。与此同时，Hybrid Denoising Steps 将平均推理时延由 728.92 ms 降低至 387.24 ms，强化学习训练耗时由 845.95 秒缩短至 607.89 秒，实现模型性能与运行效率同步提升。
作为本项研究的重要基础设施支撑，百度（BIDU）百舸 AI 计算平台为机器人 Foundation Model 强化学习提供了覆盖训练框架、算力调度和 AI Infra 优化的一体化能力。随着机器人 Foundation Model 加速迈向强化学习阶段，高质量 AI 基础设施正成为支撑模型持续迭代和产业落地的重要底座。依托持续升级的 AI Infra 能力，百度（BIDU）百舸正在为大模型、智能体及机器人 Foundation Model 提供更加稳定、高效的训练支撑。
此次 dVLA-RL 的发布，不仅首次打通了离散扩散 VLA 的强化学习路径，也进一步完善了机器人 Foundation Model 从预训练、监督微调到强化学习的完整技术链路，为机器人持续自主进化奠定了基础。未来，随着强化学习、大模型与具身智能持续融合，机器人将从 " 学会执行任务 " 进一步走向 " 持续自主学习 "，加速智能制造、物流、服务机器人等场景规模化落地。百度（BIDU）智能云也将持续携手科研机构和产业伙伴，依托百舸 AI 计算平台和 AI Infra 能力，推动机器人 Foundation Model 技术创新，加速具身智能产业发展。
