据智源FlagOpen消息，面壁智能联合OpenBMB于9月7日正式开源新一代端侧模型MiniCPM5-2B，该模型以2B参数规模在权威榜单Artificial Analysis中位居全球4B以下模型榜首。众智FlagOS社区同步完成其跨芯片适配与推理验证Day0发布，覆盖平头哥、英伟达（NVDA）、华为昇腾（886058）、海光、昆仑芯、沐曦、摩尔线程（688795）、清微智能、天数智芯（HK9903）、曦望、苹果（AAPL）M5、此芯P1共12款AI芯片，并首次将Day0适配延伸至ARM端侧平台，实现“一套代码、跨架构运行”。
MiniCPM5-2B在多个权威基准评测中平均分54.26，显著领先同量级的Qwen3.5-2B（41.66）、Qwen3-1.7B（40.89）与Gemma-4-E2B-it（37.62）。模型原生支持混合思考，可在快速响应与深度推理间灵活切换，提供512K超长上下文窗口，原生具备工具调用、深度搜索、代码生成等智能体核心能力，可直接作为手机、PC、智能座舱（886059）等设备的端侧智能体基座。
在ARM端侧支持方面，FlagOS将MiniCPM5-2B的推理能力扩展到苹果（AAPL）Mac笔记本平台并使用CPU模式完成推理，支持W4A8、W8A8等多种精度路径。通过对Arm64量化计算路径、Prefill任务组织及Decode热路径的重构优化，在Apple M5 Pro、单并发、512 token输入和128 token输出的测试中，相比llama.cpp Q4_0/Q8_0基线，FlagOS W4A8/W8A8的Prefill性能分别提升约19%和32%，Decode性能分别提升约9%和7%，端到端吞吐均提升约12%。
开发者可通过vLLM-plugin-FL与SGLang-plugin-FL推理插件实现多芯片统一推理部署。这两款插件基于FlagOS统一多芯片后端开发，兼容原生框架接口，开发者使用标准API即可完成模型加载与推理服务部署，无需修改已有代码。经评测验证，FlagOS适配后的MiniCPM5-2B在已评测芯片上的推理精度与NVIDIA原生版本对齐。开发者可通过源码安装部署，或直接拉取FlagRelease发布的迁移后模型文件、代码和镜像，开箱即用。
此次跨芯适配依托FlagOS统一多芯片系统软件栈的全链路能力支撑，包括：高性能算子库FlagGems，拥有超过500个大模型常用算子，本次适配中NVIDIA平台经unified attention算子优化后总吞吐达到原生CUDA路径的98%；统一AI编译器FlagTree，可将大模型核心算子编译为十多种不同AI芯片后端可识别的指令；多芯片量化压缩工具FlagOS-Compress；模型跨芯迁移发布工具FlagRelease，已发布覆盖10余家芯片厂商、12款以上硬件、70余个开源模型实例的跨芯适配版本；以及统一多芯片接入插件vLLM-plugin-FL与SGLang-plugin-FL。
FlagOS社区始终坚持开源开放，已形成完整的开源技术体系，所有核心组件均已开源，并开放了数十款主流基础大模型、十多款AI芯片的适配方案与最佳实践。社区为不同技术方向的开发者设计了多路径的共建方式，包括提交Issue、参与算子开发与优化、开发面向国产芯片的AI Agent专业技能等。
原文：从云到ARM端侧：FlagOS Day0适配 MiniCPM5-2B 12款芯片（来源：智源FlagOpen）
