蚂蚁集团推出两款不同规模MoE大语言模型 使用国产AI芯片训练成本进一步降低

2025-03-24 14:34:19 来源: 同花顺7x24快讯

  近日,蚂蚁集团Ling团队发表了一篇技术成果论文。论文显示,蚂蚁集团推出了两款不同规模的MoE大语言模型——百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),前者参数规模为168亿(激活参数27.5亿),Plus基座模型参数规模高达2900亿(激活参数288亿),两者性能均达到行业领先水平。除了自研性能领先的大模型以外,该技术论文最大的突破在于提出了一系列创新方法,以提升资源受限环境下AI开发的效率与可及性。实验表明,其3000亿参数的MoE(混合专家)大模型可在使用国产GPU的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及MoE模型相当。(证券时报)

关注同花顺财经(ths518),获取更多机会 返回首页举报 >

655

+1
advert
advert
advert
advert
  • 三德科技
  • 沃尔核材
  • 电光科技
  • 钧崴电子
  • 金安国纪
  • 长盛轴承
  • 广和通
  • 科泰电源
  • advert
    advert
    advert
    advert