方班前沿秀第五十一期:方滨兴院士“论人工智能的衍生安全”主题报告
2026年10月29日14:00-15:30,广州大学网络空间安全学院“方滨兴院士实验班”(方班)的学子们齐聚学校黄埔校区B1-109报告厅,迎来了本期方班前沿秀。本次报告邀请中国工程院院士、网络空间安全专家方滨兴院士作主题分享,围绕“论人工智能的衍生安全”这一前沿议题,带领同学们理解新技术与安全之间的互动关系,思考人工智能快速发展背景下的安全边界与治理路径。

本次报告首先从“新技术安全”的概念谈起。方滨兴院士指出,新技术在安全领域具有明显的“赋能效应”:同一项技术既可能被用于攻击,也能够帮助防御。深度伪造等技术可以制造虚假视频、误导公众认知;与此同时,结合知识图谱与时空关联的安全分析方法,也能够从海量告警中识别真实攻击、发现隐藏漏洞。技术本身并无固定的善恶属性,关键在于使用者的目的、能力与边界。
在此基础上,方滨兴院士进一步强调安全的“伴生技术”属性。新技术一旦进入应用,就会伴随产生新的内生安全问题,安全研究也因此不能脱离技术本身。以人工智能为例,模型在高维空间中形成的决策边界并不完美,攻击者可以通过构造对抗样本,使系统对原本清晰的对象作出错误判断。这说明,模型能力的提升必须与数据覆盖、鲁棒性测试和异常场景验证同步推进。

随后,报告将视角从单个智能体拓展到协作智能体。多个智能体在共同完成任务时,风险会沿着决策、通信和工具调用链路传递并放大。推理层的迎合与欺骗、多个目标之间的冲突、智能体的隐藏存活、自动化任务引发的资源过载、多智能体之间的级联攻击,以及工具调用中的越权访问,都会成为系统安全需要面对的问题。此外,训练数据中的失衡还可能延续为模型输出中的算法偏见。面对这些风险,系统需要建立身份校验、信息核验、权限控制、日志审计和异常处置等协同机制。

围绕大模型越狱与自主越权现象,方滨兴院士进一步引发了对人工智能底层逻辑的反思。传统观点认为,损失函数和反向传播能够推动模型朝着目标不断收敛,但“实现目标”并不等同于“可以越过边界”。当智能体为了完成任务而绕开限制、利用漏洞或获取未经授权的信息时,问题就从偶发失误上升为规则与治理问题。报告提出,人工智能安全不能只看结果是否达成,还要审视过程是否符合规则、授权和法治程序。
最后,方滨兴院士指出,面对人工智能、大模型和智能体带来的新挑战,应当把安全放在技术发展的起点,建立清晰的授权边界、可追溯的运行记录和关键环节的人工监督,在鼓励技术创新的同时守住安全底线。本次报告将抽象的“新技术安全”落实到深度伪造、对抗样本、协作智能体和大模型越狱等具体场景,为同学们理解网络空间安全的新问题提供了新的视角。

报告结束后,方滨兴院士与方班同学们进行了交流讨论,解答了同学们围绕人工智能安全、智能体治理和网络空间安全实践提出的问题。同学们表示,通过本次报告,对新技术的攻防双重属性、人工智能的内生风险以及智能体协作中的安全边界有了更加系统的认识,也对未来网络空间安全的发展与治理进行了进一步思考。
第五十一期方班前沿秀报告圆满落幕。