据无问芯穹消息，无问芯穹与清华大学、北京大学等机构联合发表的两篇论文被国际顶级会议OSDI 2026录用，为解决大规模强化学习中异构组件协同与动态瓶颈两大核心挑战提供了系统性方案。两篇成果分别从“静态执行”与“动态调度”两个维度，勾勒出下一代强化学习系统的发展方向。
其中，RLinf通过“宏观到微观流程转换”范式，让同一工作流自动选择最优执行方式，在具身强化学习场景中最高实现143%的性能加速。DynaRL则解决了训练过程中瓶颈不断变化时的动态资源调整问题，实测吞吐量最高提升98%，且优化收益随模型参数与集群扩容持续放大。OSDI是计算机系统领域顶级会议，本届论文录用率为19.9%。
论文一：RLinf实现执行方式自动变换，性能加速最高达143%
随着大模型进入后训练时代，强化学习工作流由LLM生成、推理、训练、奖励模型、外部工具及仿真环境等多个异构组件构成，资源使用特征差异巨大。现有系统只提供单一执行模式，导致在数学推理RL场景中，生成阶段的长尾请求使大部分GPU闲置等待；在具身RL中，模拟器GPU利用率不足24%，各组件对资源的需求矛盾突出。
RLinf的核心思想是将“逻辑上应该发生什么”与“物理上应该如何执行”解耦，提出M2Flow范式。开发者只需用不到100行代码描述组件间的数据与同步关系，系统便会自动在空间和时间维度上探索时分复用、空间流水与混合调度的完整空间，生成最优微观执行流。该系统通过弹性流水实现空间调度，让数据粒度自由切换；通过感知数据依赖的自动上下文切换实现时间调度，使组件间GPU接力完全自动化，无需修改工作流代码。
评测结果显示，在数学推理RL中，RLinf端到端吞吐相比veRL和Slime提升1.07倍至1.70倍，且不同RL设定确实选出了不同的最优执行模式。在智能体RL的检索增强工作流上，吞吐达到官方实现的2.2倍。在具身RL场景中，ManiSkill上混合模式比单一模式最高快1.87倍，而LIBERO上共享模式更优，印证了不存在普适最优模式，自动调度是根本出路。RLinf训练的1.5B/7B数学模型在AIME24/25、GPQA-diamond上取得同规模最佳平均分，OpenVLA-OFT在LIBERO上的平均成功率从34.33%提升至97.83%。
论文二：DynaRL动态调度资源，吞吐提升最高达1.98倍
尽管RLinf能自动找到静态最优执行方案，但训练过程的动态性带来了新问题。量化分析发现，数学推理RL中请求完成时间呈长尾分布，当未完成请求不足30%时，98%的引擎仍在空转等待最后一两条长请求，浪费60%的可用算力。智能体RL中不规则的多轮工具交互与FIFO调度导致KV Cache被频繁驱逐，大量算力耗费在重复计算上。
DynaRL以“资源过配”作为调度信号，持续将过配组件的闲置GPU迁移给当前瓶颈阶段。系统将迁移抽象为统一接口，遵循interrupt–schedule–migrate模式，并针对组件状态性提炼出多种策略，其中p2pMigration遵循create-before-destroy原则，在线改变分布式训练器的并行布局仅需亚秒到数秒级暂停。同时，DynaRL引入上下文感知数据路由，优先调度快完成的短请求以最大化复用KV Cache。所有调度决策基于自动构建的动态超图，无需人工标注。实验证实，动态调度下的reward曲线与静态基线完全重合，不改变训练语义。
评测显示，在数学推理RL中，DynaRL吞吐相比verl、RLinf等提升1.27倍至1.98倍，模型和集群越大收益越明显。在多轮智能体RL中，动态分配叠加优先级调度后，相比RLinf提速1.27倍至1.64倍。调度决策开销小于200毫秒，单次迁移耗时0.5至5秒，总开销不足端到端训练时间的1%。
这两项工作共同确立了动态调度在RL系统中的核心地位，被视为迈向“AI操作系统”的关键一步。目前，RLinf已完整开源，原生支持GRPO、PPO、DAPO、SAC等算法与多种异构硬件，DynaRL代码也即将开源。
原文：一文拆解无问芯穹 OSDI 2026 两篇录用成果：大规模强化学习如何兼得“灵活”与“动态”？（来源：无问芯穹）
