方班前沿秀第二十七期:香港科技大学郭嵩教授作“边缘原生的大模型”主题报告
2024年12月19日8:30-10:15,广州大学网络空间安全学院“方滨兴院士班”(方班)2024级的学子们齐聚广州大学黄埔校区B1栋109报告厅,参加第二十六期方班前沿秀。本次活动邀请了加拿大工程院院士、欧洲科学院外籍院士、香港科技大学郭嵩教授担任主讲嘉宾。郭嵩教授以“边缘原生的大模型”为主题,为在场的学子带来了一场深入浅出、精彩纷呈的学术盛宴。

报告以“边缘原生的大模型”为主题,围绕该主题,郭嵩教授从三个方面展开讲授:1、边缘计算与大模型的发展背景及结合点。2、大模型在边缘计算环境下的构建、部署和治理。3、未来边缘大模型的应用方向与前景。
第一部分:边缘计算与大模型的结合背景
从集中式计算(大型机)到分布式计算(个人电脑与互联网),再到云计算(高算力资源池的分布式并行计算),计算模式逐步多样化。随着AI应用的普及,如何将大模型“下沉”到边缘设备,实现云边端协同,是当前学术界与工业界的重要课题。

第二部分:边缘大模型的技术突破
在大模型的构建与微调上,郭嵩教授提出基于互联网上的海量公共数据预训练模型,具有通用知识和语言能力,但行业领域表现有限。通过少量高质量数据对大模型优化,可采用全量微调或参数高效微调,微调技术在边缘场景中尤为重要。

第三部分:边缘大模型的治理与普惠应用
郭嵩教授提出了几点治理方法,在模型推理阶段,通过对输入数据、中间数据和外部数据库接口进行控制,规避不合规内容生成。引入法律法规知识图谱,嵌套到生成过程,自动调整或过滤不合法内容。在未来应用上,教授指出AI不仅提升生活质量,更能助力科学研究,如气象大模型、地球物理建模等,为未知领域的探索提供强大支持。

最后,教授详细回答了同学们提出的几点问题,并总结道通过云边端协同、大模型轻量化与治理创新,边缘原生大模型正逐步成为普惠智能的重要载体。它不仅为智能应用提供了新的技术路径,也为学术研究和产业落地创造了更多可能性。未来,我们将共同见证AI技术如何深刻影响每个人的生活方式。
第二十七期方班前沿秀报告圆满落幕。
整理:袁杉杉 朱艺峰
校对:王乐老师 鲁辉老师 殷丽华老师
责任编辑:鲁辉老师