汉得企业级大模型训练与管理平台（中文名灵炼，英文名 H-AI TrainHub，以下简称灵炼），旨在提供企业级一站式模型训练与管理平台，覆盖数据集管理、精调、推理部署与评测等端到端能力，专注性能与安全保障，全面支撑企业 AI 模型开发与落地。
本文将带你快速了解灵炼模型评估引擎融合 NVIDIA NeMo Evaluator 的完整使用流程，涵盖自动评估、基准评估，以及任务执行与多维结果分析，融合规则指标、模型裁判两类评分方式及同时支持公开/专有评测集，助力企业构建更全面、更客观、更高效的行业垂类模型评估体系。
大模型加速进入企业业务场景，如何客观、全面地衡量公有/私有模型能力，已成为模型选型、效果优化和上线验证的重要环节。
单一的评估数据或评分方式，往往难以覆盖准确性、内容质量、逻辑推理、场景适配等多维能力，也难以支撑不同模型之间的有效对比。
灵炼模型评估引擎现融合 NVIDIA NeMo Evaluator，在保留原有评估能力的基础上，新增自动评估与基准评估两种评估模式：
支持使用企业私有数据集开展业务场景垂类模型评估；
支持基于内置的公开评测集进行通用能力测评。
同时提供规则指标与模型裁判两类评分方法，满足不同评估场景下的模型能力评价需求。
核心能力包括：
两种评估模式：同时支持自动评估与基准评估，覆盖企业业务场景行业垂类模型验证与通用能力测评。
两类评测数据：既支持使用企业私有数据集进行针对性评估，也支持选择内置公开评测集进行标准化能力测评。
多元评分方式：同时支持规则指标与模型裁判两类评分方式。
内置规则指标：提供等值匹配、关键词匹配、F1、ROUGE、BLEU、格式遵从性等基于固定规则算法的评分指标。
模型裁判评分：引入裁判员模型，通过评分 Prompt 对模型输出进行评价，支持逻辑推理、语义理解、知识问答等复杂能力评估。
多层结果分析：支持从模型、数据集、评估明细等层级查看评估得分、指标表现及生成耗时。
任务闭环管理：支持开始评估、重新评估及失败任务继续评估，统一跟踪任务执行状态与评估结果。
从评估模式、评测数据到评分方式，灵炼持续完善模型评估能力，覆盖业务场景与通用能力，让模型效果有据可评、结果清晰可见，为企业模型选型、优化与应用提供更可靠的评估依据。
选择 NVIDIA NeMo Evaluator
模型评估引擎
新建模型评估任务时，在“评估引擎”中选择 NeMo Evaluator，即可进一步选择自动评估或基准评估。
两种评估模式
自动评估
组合多种评分方式
自动评估面向企业自有业务数据集，支持 Prompt+Response、多轮对话等多种评估数据，并提供灵活的评分组合能力。
用户可按需选择自动规则打分、自动裁判员打分，或组合多种评分方式，实现从客观指标到主观质量的多维评估：
自动规则打分：适用于答案可直接比对、结果客观可量化的评估场景。
自动裁判员打分：适用于逻辑推理、语义理解、内容质量等复杂能力的评估。
组合评分：支持在同一任务中组合多种评分指标，从多个维度综合评价模型表现。
启用自动裁判员打分后，用户可选择裁判员模型和评分 Prompt。系统将展示裁判员设定及评分指标，并支持根据当前评估任务灵活调整指标内容，最多维护10条评分指标。
任务内的调整仅对当前评估生效，不会影响原始模板，既便于模板复用，也能满足不同业务场景下的个性化评价需求。
基准评估
快速衡量通用能力
基准评估现已支持从内置公开评测集中选择数据。评测集按领域与分类组织，支持自定义采样比例，并实时预估样本数量，帮助你在评估覆盖度与执行成本之间灵活平衡。
若所选评测集需要模型裁判，系统会自动展示对应的裁判模型配置，减少无关操作，让评估流程更高效。
评估任务闭环管理
配置完成后，可一键发起 NVIDIA NeMo Evaluator 评估任务。系统统一跟踪任务执行状态，并支持重新评估和失败任务续评，减少重复配置与人工处理成本。
多层级结果洞察
评估完成后，结果页按四个层级呈现模型表现：
模型汇总：查看各模型的综合得分、分项指标与生成耗时。
指标可视化：以指标为横轴、模型为系列，直观对比模型能力差异。
评测集维度：按模型和评测集查看得分；基准评估还支持按领域分析。
评估明细：逐条查看问题、标准答案、模型答案、耗时及各项指标得分。
自动评估结果：
基准评估结果：
