谷歌发布Gemini 4 Carbon后,模型综合评测排名与普通用户何时能用,成为同一条消息里的两个关注点。据网易(NTES)科技报道,谷歌于10月28日推出这款新旗舰模型;在评测机构Artificial Analysis的最新综合智能指数中,Carbon获得59分,超过上一代Argon的50分,暂列第一。不过,谷歌计划先向部分网络安全(885459)防御人员开放,面向大众的具体时间尚未公布。榜单成绩已经出现,真实使用体验仍需等待更多人验证。
综合指数的排名提供了横向比较的信号,却不是所有任务的通用成绩单。不同评测考查的工作类型、操作工具和计分方式并不相同:处理复杂推理表现突出,不代表写代码、操作电脑或完成网页任务也必然领先。报道提到,Carbon在若干具体任务评测中并未拿下第一。对普通用户来说,这意味着看模型排名时,还要看它测的究竟是哪类工作,是否接近日常要用的场景。
谷歌此次重点强调的,不只是答题能力,也包括模型能否按要求办事。官方称,Carbon遇到资料不足时会说明缺少什么,遇到指令含混或材料彼此冲突时会指出问题,并减少擅自扩大任务范围的情况。内部测试还显示,模型无依据陈述有所减少。对用户而言,这些改进对应着很具体的体验:发现答案有误后,模型能不能依据补充信息修正,而不是绕着错误解释,往往决定了后续工作要不要重新来过。
但可靠性不能只由模型开发方的内部测试来判断。报道援引的第三方知识评测显示,Carbon的幻觉率从Argon的4%升至11%。这里的幻觉率不是“所有回答中有多少是编造的”,而是在答错、部分正确和拒答等非满分回答中,胡编乱造的错误答案所占比例。不同测试口径也不能直接与谷歌内部所说的无依据陈述变化互相抵消。几组结果放在一起看,Carbon在某些能力上进步,并不等于它在所有知识问题上都更稳妥。
谷歌把网络安全(885459)作为此次重点展示的场景,也让模型能力的评价落到更长的任务链条上。发现疑似漏洞之后,还要验证它是否能被利用,再判断如何修复;模型若要参与其中,不能只给出一段看似合理的文字,还要持续跟进、核对线索并完成后续步骤。谷歌称,内部团队已让Carbon在大型软件项目中连续工作数日,排查问题并尝试修补。这是企业披露的内部使用情况,能说明产品瞄准的任务类型,但不能替代外部用户在实际环境中的检验。
因此,Carbon登上综合指数榜首,是一次重要的评测结果,却不是对所有使用场景的最终结论。模型能力、指令遵循、错误处理、响应效率以及可用范围,都关系到一项任务能否真正完成。对目前尚未开放给大众的Carbon,榜单可以提供观察入口,具体表现仍要放回任务类型和评测条件中判断。
