据龙猫LongCat消息,美团LongCat团队近日发布了首个面向开放世界长程任务的评测基准MineExplorer,系统性地评估了多模态大模型在动态环境中的真实能力。研究发现,即便在Claude、GPT等顶级模型上,面对需要长程规划与隐藏前置条件的任务时,其成功率也出现显著下滑,揭示了当前模型“感知强、探索弱”的能力断层。
MineExplorer核心看点包括:一个包含813个人工验证高质量实例的评测基准;一套可自动合成任务的多智能体数据合成方法论;以及一个基于《我的世界》(Minecraft)构建的可扩展训练环境。该基准不再局限于静态图像问答,而是构建了一个具备完整物理规则、会动态演化的3D沙盒世界进行评测。
创新点一:构建动态演化的世界
模型在评测中面对的是一个实时运行的3D世界。每个任务实例运行1800个环境步(约3分钟),环境状态随模型动作持续变化,要求模型根据最新画面动态调整策略。
创新点二:隐藏前置条件的长程多跳任务
任务按“跳数”分级,代表完成最终目标所需的隐藏前置步骤数量。简单任务为单跳,困难任务则由2-4跳任务组成,模型需自行推断并完成指令中未说明的前置子任务。
创新点三:知识解耦——评测“通用探索”能力
基准主动剥离了《我的世界》专有知识,通过过滤主要依赖游戏(881275)专有机制的任务,确保评测的是模型在动态物理世界中的通用探索能力,而非特定游戏(881275)知识。
基准通过多智能体协作流程自动构建任务,该流程将任务生成有效率提升了约30个百分点,质量分提升约0.5分,最终保留了813个高质量复合任务实例。
MineExplorer将开放世界探索能力拆解为感知、推理、行动三大维度共14项细粒度能力进行评估。评测涵盖了Claude、GPT、Gemini等18个顶级模型。
结果显示,即便是表现最好的Claude-Opus-4.6模型,整体任务成功率也仅为41%。其成功率从1跳任务的77%骤降至4跳任务的12%。模型在感知、推理、行动三个维度上的得分呈现“感知分数 >行动分数 >推理分数”的规律,以Claude-Opus-4.6为例,其感知分61.91,推理分54.71,表明瓶颈在于无法将信息串联成有效策略。
对失败案例的归因分析显示,导航失败是主要错误来源,占比近60%。进一步的消融实验表明,模型失败并非由于步数或记忆资源不足,核心瓶颈在于模型无法将已有信息与当前世界状态有效对齐。
该研究指出,当前多模态大模型已具备较好的感知力,但严重缺乏在动态世界中持续行动的探索力。这为具身智能领域带来启示:感知层已基本就绪,规划层是主要瓶颈;行业需要更接近真实复杂度的评测标准。
MineExplorer已全面开源,提供了评测基准、自动任务合成方法和训练环境,旨在为AI在动态世界中持续探索的能力建立一条可量化的基线。
原文:从“静态看图”到“动态探索”:MineExplorer揭示顶级多模态大模型被忽视的能力断层(来源:龙猫LongCat)
