智源研究院:大语言模型智能体可能带来生物安全风险

2026-07-22 20:24:28
分享
AIME

问财摘要

1、智源研究院认为,大语言模型智能体可能带来生物安全风险。其大模型安全研究团队近日与北京大学围绕AI智能体可能带来的生物安全风险开展端到端评估,重点考察大语言模型智能体是否会降低非专业人员理解和执行部分高风险生物实验相关任务的知识门槛。 2、评估结果显示,参与测试的11个模型均能生成通过计算校验的方案,部分前沿模型还能给出较完整的逐步实验指导。研究团队认为,这表明AI智能体可能同时降低计算设计和实验操作两个环节的专业门槛,使现有DNA合成筛查体系面临AI辅助规避策略带来的新挑战。 3、为避免将风险评估本身变成风险扩散,团队介绍,本次评估遵循负责任披露原则,不展示制造危险物质的方法;湿实验在严格安全约束下进行,使用经过安全处理、失去有害功能的良性代理序列,仅验证组装流程,不产生具有功能活性的危险产物。 4、研究团队建议从模型、系统、筛查和政策协同等层面建立多层防线。
免责声明 内容由AI生成
文章提及标的

上证报中国证券网讯(记者窦世平)当大语言模型从单轮问答工具转向能够调用工具、规划任务的智能体,其在生命科学场景中的安全边界正在受到关注。智源研究院认为,大语言模型智能体可能带来生物安全风险。

据介绍,其大模型安全研究团队近日与北京大学围绕AI智能体(886099)可能带来的生物安全风险开展端到端评估,重点考察大语言模型智能体是否会降低非专业人员理解和执行部分高风险生物实验相关任务的知识门槛。

这项评估聚焦DNA合成筛查环节。DNA合成服务是生命科学研究的重要基础设施,合成服务商通常通过序列筛查识别潜在风险订单。随着合成成本下降、实验流程标准化程度提升,筛查机制在生物安全体系中的作用更受重视。不过,在AI智能体(886099)能够组合公开知识库、搜索工具、文件读写和程序化校验等能力后,单纯基于问答的安全评测已难以完整反映潜在风险链条。

据团队介绍,评估采用更接近真实风险链条的设置:在非专业背景用户的威胁模型下,智能体需要完成任务规划、方案设计和实验指导生成等环节,研究团队再通过程序化计算校验和受控湿实验验证相关方案的物理可执行性。评估覆盖11个商用大语言模型,并以IBBIS发布的Common Mechanism作为公开筛查基线。

评估结果显示,参与测试的11个模型均能生成通过计算校验的方案,部分前沿模型还能给出较完整的逐步实验指导。研究团队认为,这表明AI智能体(886099)可能同时降低计算设计和实验操作两个环节的专业门槛,使现有DNA合成筛查体系面临AI辅助规避策略带来的新挑战。

为避免将风险评估本身变成风险扩散,团队介绍,本次评估遵循负责任披露原则,不展示制造危险物质的方法;湿实验在严格安全约束下进行,使用经过安全处理、失去有害功能的良性代理序列,仅验证组装流程,不产生具有功能活性的危险产物。

围绕后续治理,研究团队建议从模型、系统、筛查和政策协同等层面建立多层防线。模型开发者应在部署前纳入高风险生物安全任务能力评估,并针对相关查询建立检测与防护机制;在智能体系统层面,安全边界也需从输入输出扩展至权限控制、过程监测和任务链风险识别。合成筛查环节则需要增强对AI辅助规避策略的识别能力,并推动国际标准和信息共享机制落地。

免责声明:风险提示:本文内容仅供参考,不代表同花顺观点。同花顺各类信息服务基于人工智能算法,如有出入请以证监会指定上市公司信息披露平台为准。如有投资者据此操作,风险自担,同花顺对此不承担任何责任。
homeBack返回首页
不良信息举报与个人信息保护咨询专线:10100571违法和不良信息涉企侵权举报涉算法推荐举报专区涉青少年不良信息举报专区

浙江同花顺互联信息技术有限公司版权所有

网站备案号:浙ICP备18032105号
证券投资咨询服务提供:浙江同花顺云软件有限公司 (中国证监会核发证书编号:ZX0050)
AIME