今天,文心5.5 Flash Base正式开源

2026-11-05 20:33:32
来源:百度官微
分享
文章提及标的

今天,百度正式开源最新基座模型

文心5.5 Flash Base ERNIE 5.5 Flash Base采用MoE架构,总参数量2800亿,每个Token激活140亿参数,使用33.5万亿个Token完成预训练,预训练上下文长度最高达128K,微调与推理阶段支持最长100万Token上下文。

在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型SOTA表现。

Benchmark评测结果

探索大模型效率优化路径

文心5.5 Flash Base围绕“效率”这一设计主线,在注意力机制、专家路由及训练目标等关键环节进行系统性优化,并实现了多项算法创新。

文心5.5 Flash Base架构图

在注意力机制上,文心提出Latent-Gated Sparse Attention,将混合稀疏注意力、低秩门控注意力与虚拟头注意力结合起来。

其中,模型通过组合HCA与MLA,让不同注意力层分别承担压缩历史信息和细粒度访问历史位置的任务;低秩门控注意力(Low-Rank Gated Attention)则改用注意力层本就会生成的低秩query latent来计算输出门,门控投影参数量减少75%,模型效果也有所提升。

此外,虚拟头注意力(Virtual Head Attention,VHA)可提升模型表达力与训练质量,推理时融合进注意力算子,开销极小。这些设计降低了长上下文处理的资源开销,同时保留模型对关键信息的处理能力。

在专家路由上,模型采用Multi-Router Latent MoE,由多个独立路由器共同参与专家选择,改善路由评分与专家实际效用之间的相关性。

相比依赖单一路由器的传统方案,该设计旨在降低单一评分偏差对专家选择的影响,同时保持激活专家数量、专家计算量和通信量不变。

在训练目标上,模型引入ECHO,无需额外增加MTP(Multi-TokenPrediction)模块,而是复用主干最后一层,让主干自身学习预测后续Token,从而提前规划序列走向,有效提升推理与代码能力。

文心5.5 Flash仅采用单步ECHO预训练,复用的最后一层还可作为投机解码的草稿模型,展现出多步外推能力:同样只训练一步,多步起草质量大幅优于辅助MTP模块。

除模型架构外,大模型基建创新也十分重要。文心改进了分布式Muon优化器,并推出面向大head dim的注意力算子FlashMask-4,改善大规模训练中的通信、显存利用与计算效率。模型能力的提升不仅依赖算法本身,也与训练系统能否高效支撑这些设计密切相关。

基座模型不仅承载着预训练阶段形成的通用能力,也是下游模型开发与应用创新的重要基础。Base模型为开发者和企业提供了进一步微调与定制的空间,可基于自身业务需求构建适应不同场景的专业模型与应用。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME