阿里通义千问发布 Qwen2.5-Turbo 开源 AI 模型:支持 100 万 tokens 上下文,处理时间缩短至 68 秒
IT之家 11 月 19 日消息,阿里通义千问昨日(11 月 18 日)发布博文,宣布在经过数月的优化和打磨后,针对社区中对更长上下文长度(Context Length)的要求,推出了 Qwen2.5-Turbo 开源 AI 模型。
Qwen2.5-Turbo 将上下文长度从 12.8 万个扩展至 100 万个 tokens,这一改进相当于约 100 万英语单词或 150 万汉字,可以容纳 10 部完整小说、150 小时的演讲稿或 30000 行代码。
IT之家注:上下文长度(Context Length)是指在自然语言处理(NLP)中的大型语言模型(LLM)在一次处理过程中能够考虑和生成的文本的最大长度。
该模型在 1M-token 的 Passkey 检索任务中实现了 100% 准确率,RULER 长文本评估得分为 93.1,超越了 GPT-4 和 GLM4-9B-1M。
团队通过整合稀疏注意力机制(sparse attention mechanisms),将处理 100 万 tokens 到输出第一个 tokens 的时间,从 4.9 分钟缩短至 68 秒,速度提升达 4.3 倍,这一进步显著提高了模型的响应效率,使其在处理长文本时更加迅速。
Qwen2.5-Turbo 的处理成本保持在每百万个 tokens 0.3 元,能够处理 3.6 倍于 GPT-4o-mini 的 token 数量。这让 Qwen2.5-Turbo 在经济性上具备了更强的竞争力,成为高效、经济的长上下文处理解决方案。
尽管 Qwen2.5-Turbo 在多个基准测试中表现优异,团队仍然意识到在真实场景中的长序列任务表现可能不够稳定,且大型模型的推理成本需要进一步优化。
团队承诺将继续优化人类偏好、提高推理效率,并探索更强大的长上下文模型。
0人
- 每日推荐
- 股票频道
- 要闻频道
- 港股频道
- “机构举报游资”?传闻求证:不实
- 国家统计局:10月份国民经济运行稳中有进,主要经济指标回升明显
- 宁德时代自研机器人并接触多家外部公司
- 机构论市:AI催化下影视、游戏板块或迎业绩+估值双重修复
- 鲍威尔放鹰:美联储无需急于降息!
- 中信证券:资产保值增值为股市客户核心痛点 高客与大众需求明显分化
- 腾讯推出AI搜索ima 机构看好科技产业围绕AI展开(附概念股)
- 11月15日盘前停复牌汇总
- 大模型祛魅 AI应用时代脚步临近