阿里巴巴开源 1100 亿参数 Qwen1.5-110B 模型,与 Meta Llama3-70B 相媲美
4 月 27 日消息,阿里巴巴日前宣布,开源 Qwen1.5 系列首个千亿参数模型 Qwen1.5-110B,该模型在基础能力评估中与 Meta-Llama3-70B 相媲美,在 Chat 评估中表现出色,包括 MT-Bench 和 AlpacaEval 2.0。
汇总主要内容:
据介绍,Qwen1.5-110B 与其他 Qwen1.5 模型相似,采用了相同的 Transformer 解码器架构。它包含了分组查询注意力(GQA),在模型推理时更加高效。该模型支持 32K tokens 的上下文长度,同时它仍然是多语言的,支持英、中、法、西、德、俄、日、韩、越、阿等多种语言。
阿里 Qwen1.5-110B 模型与最近的 SOTA 语言模型 Meta-Llama3-70B 以及 Mixtral-8x22B 进行了比较,结果如下:
上述结果显示,新的 110B 模型在基础能力方面至少与 Llama-3-70B 模型相媲美。在这个模型中,阿里巴巴没有对预训练的方法进行大幅改变,因此他们认为与 72B 相比的性能提升主要来自于增加模型规模。
阿里还在 MT-Bench 和 AlpacaEval 2.0 上进行了 Chat 评估,结果如下:
阿里巴巴表示,与之前发布的 72B 模型相比,在两个 Chat 模型的基准评估中,110B 表现显著更好。评估结果的持续改善表明,即使在没有大幅改变后训练方法的情况下,更强大、更大规模的基础语言模型也可以带来更好的 Chat 模型。
最后,阿里方面表示,Qwen1.5-110B 是 Qwen1.5 系列中规模最大的模型,也是该系列中首个拥有超过 1000 亿参数的模型。它在与最近发布的 SOTA 模型 Llama-3-70B 的性能上表现出色,并且明显优于 72B 模型。
0人
- 每日推荐
- 股票频道
- 要闻频道
- 港股频道
- 多地密集优化楼市政策 统筹消化存量
- 周末重磅!央行、住建部、金融监管总局、证监会密集出手
- Kimi开始试探用户付费可能性
- 周一机构一致最看好的10金股
- 医药巨头放大招!最高超60亿美元
- 周末爆雷
- 险资加码权益投资 长城人寿连续举牌两家上市公司
- 沪市主板公司高质量发展提速 龙头公司充当“头雁”,“新生”企业加速跃升
- 向稳向好向新,深市先进制造业企业一季度以“质”致远蓄势未来