联合国人工智能小组评估美国智能体“越界”事件

联合国“人工智能（885728）独立国际科学小组”21日发表专题简报，评估美国开放人工智能（885728）研究中心(OpenAI)的人工智能（885728）体今年7月在测试中“越界”，侵入美国“抱抱脸”公司系统的事件。7月下旬，OpenAI承认，其网络安全（885459）训练与评估场景中的人工智能（885728）体绕过网络限制，侵入“抱抱脸”公司的部分系统。简报说，AI系统能力提升固然可帮助用户实现目标，但当AI的目标和用户意图发生“对齐失效”时，就可能产生危害。更强的能力让AI更容易找到意外的漏洞、突破安全防护屏障，并在人类监督下隐藏自身行为。一旦智能体之间开展规划与协同，造成的损害还会进一步放大。尽管OpenAI终止了此次异常活动，但这并不代表运营方能够管控未来那些规划能力更强，可在无监督条件下长时间运行，或是更擅长识别并突破安全防护机制的智能体。(新华社)