据澜舟科技消息,由北京航空航天大学、IQuest Research、澜舟科技、中国人民大学联合研发的工业代码基座模型InCoder-32B正式开源。该模型拥有320亿参数,是首个将芯片设计、GPU内核优化、嵌入式系统、编译器优化和3D建模五大工业领域统一到单一框架下的代码大模型。在SWE-bench Verified上,它以74.8%的得分位居所有开源权重模型第一,并在9项工业基准上全面超越开源对手,部分任务甚至超越闭源模型。
什么是InCoder-32B
InCoder-32B是一个320亿参数的稠密解码器模型,其核心设计理念是工业代码的正确性只能通过真实执行环境来验证。为此,团队在数据合成与后训练中构建了与生产环境一致的模拟/仿真工具链,确保训练信号来自真实的编译、仿真和执行反馈。
三阶段训练
1. 预训练与退火
从15T token的通用代码与工业代码数据起步,采用三重召回策略(规则过滤、FastText分类、语义检索)提升Verilog、CUDA、Triton、嵌入式C等稀缺语料覆盖率,并使用Fill-in-the-Middle目标学习代码结构。
2. 中期训练
上下文窗口从8K扩展至32K再到128K,使模型能够处理大型硬件项目。同时引入工业推理问答合成、代理轨迹(捕获“思考-行动-观察”闭环,包含仿真器、编译器、验证工具的反馈)以及SystemVerilog/UVM测试台、SDC时序约束、GPU剖析日志等工业工件。
3. 后训练
构建250万条基于真实工业任务且经过执行验证的SFT样本。通过反馈驱动修复,对失败候选方案捕获完整错误上下文,生成“失败-反馈-修复”闭环轨迹,教会模型像资深工程师一样调试。
评测表现
通用代码基准(14项):在HumanEval、MBPP、BigCodeBench、LiveCodeBench等主流基准上,InCoder-32B以320亿参数与更大体量的MoE模型同台竞技。其中,SWE-bench Verified得分74.8%,开源权重模型排名第一;HumanEval得分94.5%,与Kimi-K2-Instruct持平;BFCL(多轮函数调用)得分60.99%,领先同尺寸模型。
工业代码基准(9项,覆盖4大领域):在芯片设计(VeriScope、RealBench、ArchXBench、VeriRepair)、GPU优化(KernelBench、TritonBench)、代码优化(EmbedCGen、SuperCoder)及3D建模(CAD-Coder)等任务上,InCoder-32B全面碾压开源对手,并在多个任务上超越闭源模型Claude-Sonnet-4.6。
错误分析
团队对1882个失败案例进行人工分类,发现三大类问题:
- 语法/编译错误:占比最高,例如Triton中API误用导致的NameError(33%)和TypeError(24%)。
- 功能逻辑错误:编译通过但测试不通过,在VeriRepair中占比达79%,表明有状态机、时序约束场景下推理深度仍不足。
- 性能优化失败:KernelBench中33%的生成核函数正确但不够快;SuperCoder中83%仅复制原始汇编,未做任何优化。
开发者价值
统一基座,减少碎片化:一个模型覆盖芯片设计、GPU编程、嵌入式开发等多个领域,降低工程切换成本。
开源可用:模型已在HuggingFace和GitHub开源,支持商用和研究,采用BF16精度,支持最大128K上下文。
验证接地,减少幻觉:训练数据来自真实执行环境,生成的代码可编译、可仿真、可运行。
推理能力增强:中期训练中的代理轨迹和链式思考数据,使模型具备“诊断-修复-优化”的工程思维。
开源地址
HuggingFace:https://huggingface.co/Multilingual-Multimodal-NLP/IndustrialCoder
GitHub:https://github.com/CSJianYang/Industrial-Coder
InCoder-32B首次系统性地将工业级硬件与系统编程纳入大语言模型的核心能力范畴,证明了通过精心设计的数据管道、执行接地训练和渐进式上下文扩展,单一模型可以同时胜任通用软件开发(881272)与高可靠性工业编程。这为工业界提供了一个强有力的开源起点,推动大模型从“聊天写代码”走向“造芯片、调内核、控硬件”的硬核世界。
原文:校企联手造硬核代码底座!InCoder-32B 登顶 SWE-bench,工业代码能力碾压同行(来源:澜舟科技)
