浪潮信息联合英特尔发布 AI 通用服务器,可运行千亿参数大模型
4 月 17 日,浪潮信息(000977)与 Intel 联合发布 AI 通用服务器,可支持千亿参数大模型运行,灵活满足基于大模型的 AI 应用及云计算、数据库等通用场景,为企业大模型应用落地提供更高效的 AI 通用算力。
在北京举行的浪潮信息生态伙伴大会 (IPF2024) 上,浪潮信息服务器产品线总经理赵帅表示,浪潮信息与 Intel 联合发布 AI 通用服务器 NF8260G7, 在业界首次实现服务器基于通用处理器支持千亿参数大模型的运行。这为 AI 大模型在通用服务器的推理部署提供了很好的示范,这也使得大模型 AI 应用可以与云、大数据、数据库等通用场景实现更为紧密高效的结合,从而充分释放 AI 在各行业场景落地的广泛活力和强大能力。
当前,生成式人工智能技术迅猛发展,AI 大模型在各行各业加速落地,推动智能化的发展和创新。未来所有的计算设备都需具备 AI 的能力,一切计算皆 AI, 面对多元化的 AI 大模型训练、推理、云、数据库等业务负载,需要更加智能的通用算力。而且在大量模型落地应用过程中,千亿级参数是智能涌现的基础,企业需要更高计算性能、更高内存带宽、更高扩展性的通用算力,以加速千行百业探索智能涌现。
AI 通用服务器 NF8260G7 在 2U 空间支持 4 颗英特尔至强处理器,具有 AMX (高级矩阵扩展) 的 AI 加速功能,内存带宽 1200GB / S, 全链路 UPI 总线互连,传输速率高达 16GT/s, 能够更好满足千亿大模型低延时要求。英特尔至强处理器最新 AMX 功能可以让 CPU 运行用于 AI 的矩阵乘法计算,从而优化深度学习 (DL) 训练和推理工作负载,为 int8、BF16 等不同精度的大模型运行提供更加智能的通用算力。例如在 LLM 推理过程中,可以大幅提升模型响应速度,吞吐速度最高提升 2.7 倍。
作为一款 2U4 路服务器,NF8260G7 采用高密度设计,支持 16TB 大内存容量,并支持 12 个 PCIe5.0 扩展,2 张高性能 AI 加速卡,支持 Multi-host 网络,避免业务跨 CPU 访问,网络性能提升 20% 以上,为生成式 AI 提供更大参数量模型的推理和微调能力。框架和算法方面,NF8260G7 支持 PyTorch、TensorFlow 等主流 AI 框架和 DeepSpeed 等流行开发工具,满足用户更成熟、易部署、更便捷的开放生态需求。同时,浪潮信息与英特尔的算法工程师团队紧密协作,实现在精度几乎无损情况下,将 1026 亿参数的源 2.0 大模型进行 NF4 归一化数据量化,模型容量缩小至 1/4, 同时通过 DeepSpeed 张量并行,并将卷积算子进行张量切分,提升 4 倍计算效率,业界首次实现单机通用服务器,即可运行千亿参数大模型。
浪潮信息服务器产品线总经理赵帅表示:“千亿参数,是大模型是否具备智能涌现能力的门槛。浪潮信息与英特尔经过大量的系统优化,联合设计 AI 通用服务器 NF8260G7, 在业界首次实现基于通用处理器支撑千亿参数大模型运行,具备非常重要的标杆示范意义。”
英特尔市场营销集团副总裁、中国区数据中心销售总经理兼中国区运营商销售总经理庄秉翰表示:“我很兴奋看到 NF8260G7 可以把处理器的性能发挥到极致。在蓬勃发展的智能时代,企业大模型落地将加速千行百业的创新。英特尔提供了涵盖 XPU、软件在内的广泛技术栈,通过与浪潮信息的合作,我们能够为开发者和企业用户提供灵活、无缝、高效的平台,助力用户部署和加速其 AI 应用,推动用户业务的智能化变革。”
0人
- 每日推荐
- 股票频道
- 要闻频道
- 港股频道
- 特斯拉股价狂飙!FSD或将进入中国
- 超优质,资源股50强名单出炉!机构密集关注
- 近万亿元巨无霸基金出手!全球巨头,增持茅台
- 券商4月重点调研了这些股
- A股十大“盈利王”“分红王”出炉
- 多重利好叠加,北上资金大幅加仓这个行业!8股4月获净流入超10亿,“宁王”持股比例接近历史高位
- 五一出游“含AI率”狂飙 文心一言APP旅游智能体用户首日暴增12倍
- 超优质,资源股50强名单出炉!现金流支撑高比例分红,社保、险资等多路资金同时重仓,机构密集关注
- 多家公司出问题!或将退市……