【导读】小鹏汽车正在研发720亿参数自动驾驶大模型，将应用于汽车、机器人、飞行汽车

　　汽车行业开始进入全新的大模型研发浪潮。

　　4月14日，小鹏汽车召开AI技术分享会，首次透露正在研发720亿参数规模自动驾驶大模型，即小鹏世界基座模型。

　　来源：小鹏汽车

　　“初步验证规模法则在自动驾驶领域持续生效。”小鹏汽车自动驾驶负责人李力耘表示，小鹏世界基座模型是小鹏自动驾驶技术走向L3、L4级别的基础，也是未来小鹏汽车所有物理AI终端的通用模型。

　　据悉，小鹏汽车将通过云端蒸馏小模型的方式，将小鹏世界基座模型部署到车端，给“AI汽车”配备全新的大脑，同时，该模型也将应用于AI机器人、飞行汽车等业务。

　　初步验证规模法则在自动驾驶领域持续生效

　　在AI技术分享会上，小鹏汽车披露了小鹏世界基座模型研发的阶段性成果，包括初步验证规模法则在自动驾驶领域持续生效。

　　规模法则被视为“AI领域的摩尔定律”，揭示了大模型性能如何随着模型计算量、训练数据量和参数量的提升而提升。

　　目前，规模法则在大语言模型领域被充分验证，但自动驾驶基座模型更为复杂。利用驾驶数据训练基座模型，尤其是参数规模逐步扩大到百亿级别后，规模法则是否持续生效，此前没有得到业内的充分验证。

　　据悉，自动驾驶基座模型的训练数据，除了单模态的文本数据，还包括摄像头信息、导航信息等物理世界的多模态数据，本质上要求模型对物理世界形成认知和理解。

　　小鹏世界基座模型相关负责人表示：“过去一年，我们做了大量实验，在10亿、30亿、70亿、720亿参数的模型上，都看到了明显的规模法则效应。”

　　小鹏汽车介绍，小鹏世界基座模型的优势是具备链式推理能力，在充分理解现实世界的基础上，能够像人类一样进行复杂的常识推理，并将推理结果转化为行动，例如输出方向盘、刹车等控制信号，实现和物理世界的交互。

　　建成国内汽车行业首个万卡智算集群

　　2024年是汽车行业的“端到端”之年。李力耘透露，为了研发小鹏世界基座模型，小鹏汽车在2024年就开始布局AI基础设施。

　　目前，小鹏汽车已经建成国内汽车行业首个万卡智算集群，用以支持基座模型的预训练、后训练、模型蒸馏、车端模型训练等任务。

　　来源：小鹏汽车

　　小鹏汽车将上述从云到端的生产流程称为“云端模型工厂”。目前，小鹏“云端模型工厂”拥有10 EFLOPS（每秒浮点运算次数）的算力，集群运行效率常年保持在90%以上，从云到端的全链路迭代周期可达平均5天一次。

　　“云端模型工厂”采用强化学习、模型蒸馏的技术路线，能够高效生产“小身材、大智商”的端侧模型，甚至为不同需求的汽车定制不同的“大脑”，让“千人千面”的模型研发成为可能。

　　小鹏世界基座模型相关负责人介绍，多模态模型训练的主要瓶颈包括GPU（图形处理器），以及数据访问的效率问题。

　　小鹏汽车介绍，公司自主开发底层数据基础设施，使数据上传规模提升22倍，训练中数据带宽提升15倍，并通过联合优化GPU/CPU（中央处理器）以及网络I/O（输入/输出），最终使模型训练速度提升5倍。

　　目前，小鹏汽车用于训练基座模型的视频数据量达2000万clips（数据样本）。小鹏世界基座模型相关负责人表示，2025年，小鹏汽车用于训练基座模型的视频数据量将增至2亿clips。