2025年10月16日，广州大学网络空间安全学院“方滨兴院士班”（方班）2025级学子齐聚广州大学黄埔校区B1栋109报告厅，迎来本学期第三十七期方班前沿秀。本次报告特邀中国科学院院士、西安交通大学教授管晓宏院士担任主讲嘉宾，以“人工智能系统安全”为主题，给在场老师和同学们带来一场兼具深度与广度的学术报告。

报告围绕“人工智能系统安全”的背景、挑战与治理框架展开。管院士首先强调，人工智能系统安全关注的是“系统”而非仅限于算法本身，尤其聚焦于工业等关键领域的实际应用。他指出，人工智能系统安全是网络空间安全体系的重要组成部分，涵盖网络安全、软硬件系统安全、信息安全、内容安全、工业控制系统安全以及数据安全六大维度。在此基础上，管院士系统梳理了人工智能系统在构建过程（数据层、模型层、框架层）和应用过程（滥用与失控）中面临的核心安全风险：包括数据投毒、隐私泄露、模型后门、幻觉生成、提示注入攻击、越狱行为以及深度伪造等问题。

针对这些挑战，管院士介绍了其团队在多个方向的前沿研究成果，如基于梯度还原的隐私泄露防御、全周期后门检测技术、对抗提示注入的动态沙箱机制、多模态深度伪造内容识别方法等。此外，他还特别强调，当前人工智能安全本质上仍是“矛与盾”的持续博弈，目前并没有一劳永逸的解决方案。同时，管院士还深入探讨了信息物理融合系统（CPS）的安全隐患，并以伊朗核电站“震网”病毒事件为例，揭示网络攻击是如何导致物理系统瘫痪，这个案例警示了我们网络空间安全是国家安全的重要组成部分，所幸基于国产安全管控芯片构建“云-边-端”一体化纵深防御体系的技术路径，已在工业互联网、车联网和无人机等领域开展应用探索。

在治理层面，管院士主张采取“技术+管理”双轮驱动策略，呼吁既要完善相关法律法规、伦理规范与分级分类监管体系，也要加强国际上的协作，推动标准建设与落地。他特别指出，未来人工智能系统安全需覆盖全生命周期，应该重点提升对数据投毒、模型滥用和框架漏洞的防御能力，并发展可溯源、可追责的深度伪造检测与反制技术。同时，管院士也勉励方班学子要勇担使命，在人工智能安全这一“默默无闻却惊天动地”的事业中贡献出自己的力量。

   最后，管院士总结了整个讲座讲授的内容，梳理了从研究动机到挑战，再根据挑战讲解了具体研究。此过程由浅入深，讲解的即清楚又有趣，让在场的师生感到受益匪浅。此外，管院士也提出了一些非常前沿和专业的展望，涉及到超大规模协作、动态开放环境协作、非合作环境下可引导协作、群体智能安全与隐私保护等。面对管院士生动且精彩的讲解，在场的老师和同学们都发自内心的为管院士鼓掌。

报告结束后，管院士与现场同学就人工智能安全未来重点方向、开源框架风险、手机终端后门、关联数据隐私保护等热点问题展开热烈互动。同学们纷纷表示，此次报告不仅加深了自己对人工智能系统安全复杂性的理解，也激发了自身对投身国家网络空间安全事业的责任感与使命感。

第三十七期方班前沿秀在热烈掌声中圆满落幕。

整理：叶哲 戴楠俊

校对：王乐老师 鲁辉老师 殷丽华老师

责任编辑：鲁辉老师