苹果、英伟达强强联手：LLM 推理加速利器 ReDrafter 开源，AI 性能提升 2.7 倍
2024-12-19 07:57:12
来源：
IT之家
IT之家 12 月 19 日消息，苹果公司昨日（12 月 18 日）发布博文，宣布和英伟达（Nvidia）合作，通过开源 Recurrent Drafter（ReDrafter）推测解码方法，显著提升了 AI 大语言模型（LLM）的推理速度。
苹果公司表示 ReDrafter 已集成到 NVIDIA TensorRT-LLM 推理加速框架中，在 NVIDIA GPU 上，每秒生成 tokens 速度最高提升 2.7 倍，有效降低了用户延迟和计算成本。
苹果的机器学习研究人员指出，LLM 越来越多地用于驱动生产应用程序，提高推理效率对降低计算成本和用户延迟至关重要。
IT之家援引苹果官方博文，ReDrafter 使用 RNN 草稿模型，结合波束搜索（beam search）与动态树注意力（dynamic tree attention），可以让开源模型每步生成最多 3.5 个 tokens，超越了先前推测性解码技术的性能。
为将 ReDrafter 应用于生产环境，苹果与 NVIDIA 展开合作，将其集成到 NVIDIA TensorRT-LLM 框架中。
英伟达为此添加了新的运算符并公开了现有运算符，增强了 TensorRT-LLM 对复杂模型和解码方法的适应性。
基准测试结果显示，在 NVIDIA GPU 上使用集成了 ReDrafter 的 TensorRT-LLM 框架，数百亿参数规模的生产模型的解码速度提升了 2.7 倍。这不仅降低了用户体验延迟，还减少了 GPU 使用数量和功耗。
0人
- 每日推荐
- 股票频道
- 要闻频道
- 港股频道
微信小店热度延续 新型消费场景催生新机遇
供需两端显著增长 算力产业迸发澎湃动能
- 国常会：促进资本市场健康稳定发展
- 重大违法强制退市！这家公司四连跌停，明天停牌
- 硅料龙头终止IPO，光伏上市融资寒意十足
- 多家公司披露人形机器人业务布局情况
- 国资委部署：树牢科学市值管理理念
- 74家公司本月公布派息预案 合计拟分红超230亿元
- Meta智能眼镜相关应用下载量激增 国内外大厂争相布局AI眼镜赛道
- 新武汉造”跑出首批“骏马” 35项“明星”产品获评首届“武汉精品
- A股年终策划之重组：109股构成重大资产重组，10股交易总价超百亿
工信部：进一步深化电信基础设施共建共享
低利率环境下 银行理财探寻破局之道
光伏融资寒意不减 新特能源终止A股IPO
如祺出行上线无人Robotaxi服务
