据腾讯混元消息，腾讯混元团队正式开源全链路投机解码框架AngelSpec，并同步开放新一代drafter DFly、MTP drafter权重及训练代码。该框架覆盖drafter训练、架构设计到线上部署，其DFly drafter在4至64全并发档位及六大基准测试中均取得更高吞吐，相对自回归基线平均加速1.98至2.40倍，代码与数学场景峰值加速达2.86倍，较DFlash再快10.5%至11.8%。
DFly采用并行draft架构，通过混合target条件注入、隐状态校正自回归头及面向接受率的训练目标三项改进，解决了此前方案中Block（XYZ）内token不可见、后段接受率衰减等问题。其平均接受长度达4.79，明显高于DFlash的3.69和MTP的3.00，在Math500和HumanEval等结构性强的场景中优势更为突出。
针对高并发下target验证成为瓶颈的难题，AngelSpec引入D-cut机制，将验证视为batch级共享资源，通过drafter逐token置信度估计各请求的期望推进量，并跨请求全局排序，结合预先测好的延迟表选择最优验证比例。在Hy3线上流量回放中，并发48、56、64时相对DFly分别提升3.0%、9.2%和15.7%的吞吐。
为应对通用对话场景，AngelSpec采用双drafter路线，由DFly负责代码与数学，MTP负责高熵对话。原始MTP存在训练与推理不一致的问题，团队通过TTT（训练时对共享MTP块做同策略自回归展开）修复该缺陷，配合target模型rollout生成的训练数据，使平均接受率从52.8%提升至66.4%，平均接受长度从2.58提升至2.99。
AngelSpec框架基于TorchSpec构建，采用分离式设计，推理引擎与训练进程通过Mooncake RDMA流式传输隐状态，两侧可独立扩缩。框架提供TTT与长上下文训练、真实接受率评估、插件化配置等全链路扩展能力，支持128k长上下文训练，并内置评估服务器可直接报告serving侧的平均接受长度与逐位置接受率。
实验数据显示，在Hy3-A21B及主流开源模型上，DFly平均接受长度分别达4.79和5.41，较DFlash提升约30%，约为MTP的1.6倍。DFly-8在全部并发档位取得平均加速1.98至2.40倍，叠加D-cut后高并发下额外提升15.7%。相关权重、框架及技术报告已全面开源。
原文：腾讯混元开源 AngelSpec：支持投机解码训练及部署，推理加速最高2.4倍（来源：腾讯混元）
