IT之家11月18日消息,商汤科技昨日晚间正式发布SenseNova Loop-9B模型。
寒武纪(688256)官方宣布,已完成对商汤新发布模型日日新SenseNova Loop-9B的Day0适配。
据介绍,该模型通过Loop结构复用模型层的参数,并结合流形约束超连接(mHC),在有限的参数规模下扩展计算深度,面向复杂推理、代码、工具调用和多模态任务,进一步优化模型在Agent、代码与数据分析任务中的表现,持续探索循环计算的能力边界。
寒武纪(688256)表示,针对SenseNova Loop-9B的架构特点,寒武纪(688256)基于vllm_mlu完成Day0适配,打通模型在MLU平台上的推理链路。本次适配主要围绕Loop循环结构、MLU算子适配、mHC路由优化三个方向展开。IT之家附三大方向具体适配内容如下:1.Loop循环层展开:静态展开计算,复用标准推理机制
Loop循环结构是SenseNova Loop-9B模型适配的核心技术点之一。SenseNova Loop-9B使用约9B的模型参数,通过循环执行共享的中间层,将32个物理解码层扩展为56次层计算。
正是得益于Loop的高效循环结构,模型官方4bit量化后权重仅约4.9GB,部署显存需求低至10GB内,能显著拓宽可部署的硬件范围,有助于降低本地与私有化部署门槛。
为了兼容vLLM现有的模型执行与调度机制,寒武纪(688256)采用静态展开方案,将循环计算转换为56个顺序执行的层,使模型能够复用vLLM标准调度和KV cache机制。在实现过程中,不同执行槽位的循环层共享同一份权重存储,显存占用与32层模型相同。2.MLU算子适配:复用成熟算子实现,支持多模态推理
针对模型中的Attention、Linear Attention和MLP等核心计算模块,寒武纪(688256)将其替换为vllm_mlu中已有的Qwen3-Next系列MLU算子实现,复用现有算子能力,从而快速实现模型适配。
在多模态部分,复用Qwen3.5-VL的MLUQwen3_VisionTransformer和多模态Processor,实现图像输入处理及视觉特征提取,打通文本与图像输入场景下的推理链路。3.mHC路由性能优化:融合归一化计算,降低Kernel Launch开销
mHC是模型循环计算中的重要组成部分,其双流信息路由涉及归一化及Sinkhorn迭代计算,对算子执行效率提出了要求。
针对mHC路由计算,寒武纪(688256)进行了专项优化:
归一化优化:通过TMO融合接口实现归一化计算,减少算子执行开销。
Sinkhorn优化:使用CNAgent Triton Skill自动生成Triton融合算子,将Sinkhorn计算整合为单个Triton Kernel,减少多次Kernel Launch带来的调度开销。
