英国机构呼吁加强前沿AI安全管理

英国人工智能（885728）安全研究所12日发表文章说，随着前沿人工智能（885728）(AI)能力快速提升，安全风险正前移至模型开发阶段，而现有安全评估方法难以跟上技术发展，有必要探索新的技术安全实践，以确保前沿AI开发活动安全进行。文章指出，此前AI模型安全评估主要着眼于确保公开发布时的安全性，但如今部分AI系统自主能力增强，尤其在网络安全（885459）领域，即使模型尚未公开发布，也可能在训练、内部部署和评估过程中带来风险。与此同时，AI能力快速演化，使得评估AI能力的测试基准往往很快失去区分度。而由于需要涉及越来越复杂的任务、多智能体环境、持续多天运行和更严格的安全控制等，建立新的评估体系需耗费一定时间。此外，现有AI对齐(对齐即确保AI行为符合人类意图)和控制方面的评估手段仍处起步阶段，这意味着不能确保自主性日益增强的AI智能体（886099）完全按预期行事，或安全监控措施能可靠捕捉其不当行为。为应对这些挑战，人工智能（885728）安全研究所提出八项技术安全实践重点，包括开发全过程风险评估与记录、AI系统全生命周期（883436）监督、维护和评估监督机制、AI智能体（886099）安全事件响应和报告、共享有关AI发展速度的信息、独立审查与评估、安全相关领域能力评估以及对AI对齐方面情况的评估。(新华社)