DeepSeek又一次开源了自己最重要的商业机密之一。
10月20日,深度求索公司宣布,将内部推理框架“DeepInfer”全面开源,并同步开放生产级Token编解码组件deepseek-recipe。
这意味着,云厂商可以使用DeepSeek原生推理框架部署DeepSeek模型,实现接近DeepSeek官方调用的性能和成本——并且在负载调度合理的情况下,大规模云厂商部署非原生DeepSeek的调用成本甚至存在低于官方原生的可能性。
有报道称,相关代码已在GitHub等开发者社区发布。
据记者了解,在全球头部大模型企业中,DeepSeek是首个开放原生实际运行推理框架的企业。
公开信息显示,DeepInfer集成高性能算子与深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力,并兼容英伟达(NVDA)与华为昇腾(886058)算力平台。配套开源的deepseek-recipe,功能是与DeepSeek官方API的Token处理逻辑对齐,使社区部署获得与官方线上服务一致的编解码体验。
DeepSeek方面表示,基于DeepInfer,其已实现DeepSeek V4.1Flash的高吞吐、低延迟大规模推理服务,后续新模型的推理代码及优化也将在该框架内持续更新。
“大模型的能力边界由模型本身划定,但如何以合理成本提供超大规模的模型服务,还取决于一个长期未被公众了解的中间层:推理框架……面对如今海量的用户调用,推理框架负责统筹调度庞大的算力集群,其效率直接决定了AI服务的算力成本与电力消耗。”DeepSeek在公告中表示。
值得注意的是,在此之前,官方推理框架和编码组件被认为是导致原生部署与社区部署(即非原生部署)成本差异最大的系统层原因。从商业模式的角度,MaaS企业开放模型权重,但不开放推理框架在一定程度上维系了官方Token API的收入水平。
“我们希望通过分享内部的部署经验,帮助开发者与企业组织优化大规模推理的吞吐与延迟,从而高效构建私有化及公有云部署,降低算力成本、减少能源(850101)消耗,让智能以更低的价格触达更广泛的人群,实现真正的大模型普惠。”公告还指出。
A股方面,今日AI概念股集体拉升,其中吉大正元(003029)4连板,凡拓数创(301313)、福莱新材(605488)、宁波动力、科森科技(603626)等多股垂直涨停斩获2连板,博汇科技(688004)、赛摩智能(300466)、迪安诊断(300244)等20%涨停,润建股份(002929)、日海智能(002313)、美格智能(002881)、博通集成(603068)、南威软件(603636)等10多只个股10%涨停。
消息面上,工信部总工程师王卫明10月20日在国新办发布会上表示,目前,工信部正在研究起草新一代智能制造有关政策措施,加快推动人工智能(885728)与制造业深度融合。
华创证券表示,开源模型与Agent工具链的持续完善,有望降低应用开发成本,推动AICoding向游戏(881275)开发、3D内容制作、企业软件及自动化工(850102)作流等场景扩展,具备开发者入口和应用生态的平台有望优先受益。
