长江证券：英伟达发布Project Digits桌面AI超算有望重塑端侧推理范式

2025-01-13 15:41:10 来源：财中社

　　财中社1月13日电长江证券发布软件与服务行业报告称，1月7日国际消费电子展（CES 2025）开幕前夕，英伟达创始人兼CEO黄仁勋发表主题演讲，发布Project Digits桌面端AI超算硬件。Project Digits整体只有一本字典大小，可使用标准家用电源插座供电。Project Digits能让全世界开发者能够在自己的办公桌上，运行超大规模的AI模型，补充了现有的云计算资源，极大地降低了端侧AI落地的算力门槛。ProjectDigits将于今年5月正式推出，起售价为3000美元。

　　Project Digits允许用户在端侧运行LLaMA 3级别的大模型。Project Digits桌面级系统可以处理高达2000亿参数的AI模型；同时，对于需要更强大算力的应用，用户可以通过ConnectX网络芯片将2台Project Digits超级计算机互联，获得足以处理高达4050亿参数模型的性能，在本地运行LLaMA 3.1405B模型。

　　英伟达为Project Digits完善了生态适配，降低了使用门槛。Project Digits预装了Nvidia DGX基础操作系统（基于Ubuntu Linux）和Nvidia AI软件栈，为开发者提供了一个开箱即用的AI开发环境。英伟达还为Project Digits用户提供了各种AI软件，包括开发工具包、编排工具，以及通过英伟达NGC目录提供的预训练模型，并支持PyTorch、Python和Jupyter等主流框架。用户可以在Project Digits上本地开发和测试AI模型，然后使用相同的Grace Blackwell架构和Nvidia AIEnterprise软件平台将其部署到云服务或数据中心基础设施。

　　Project Digits的核心是新一代GB10芯片。GB10芯片基于Grace Blackwell架构，在FP4精度下可以提供1 PFlops的AI性能。在CPU部分，Project Digits采用英伟达自家的Grace CPU，采用定制20核心ARM架构。在信息传输方面，GB10通过NVLink-C2C芯片到芯片互连连接到高性能Grace CPU。在存储方面，每台系统配备了128GB的统一内存以及高达4TB的NVMe存储空间。

　　Project Digits有望重塑端侧AI推理范式。随着AI应用的陆续落地，端侧算力需求在持续增长，因此算力已成为端侧AI落地的核心瓶颈。为解决问题，AI应用厂商一方面蒸馏端侧模型，降低端侧模型参数量；一方面把部分推理需求传导至云端。本次Project Digits推出有望颠覆端侧AI推理范式，重塑端侧AI落地思路。

关注同花顺财经（ths518），获取更多机会

0人