YOCSEF广州举办“AGI初现曙光：安全进化的路径与抉择”技术论坛

YOCSEF广州举办“AGI初现曙光：安全进化的路径与抉择”技术论坛

科创时讯 2024年8月15日，媒体爆出马斯克旗下x-AI公司的大语言模型Grok存在严重的数据泄露和模型滥用问题，迅速引发了全球对AI安全的高度警觉。这一事件再次敲响警钟，AGI的自适应性和多功能性，虽然为技术进步带来了巨大潜力，但也带来了数据隐私泄露、恶意攻击等严峻挑战。为此，中国计算机学会（CCF）青年计算机科技论坛（YOCSEF）广州分论坛于2024年12月7日举办了“AGI初现曙光：安全进化的路径与抉择”技术论坛。论坛聚焦AGI安全的挑战与应对策略，探索技术发展与安全防护如何协同进化，实现创新与安全的平衡。

本次论坛由CCF主办，YOCSEF广州学术委员会、广东外语外贸大学信息科学与技术学院(网络空间安全学院)、广州大学网络空间安全学院以及《网络空间安全科学学报》联合承办，由CCF YOCSEF广州学术秘书姜思羽（广东外语外贸大学）和YOCSEF广州副主席苏申（广州大学）共同担任执行主席，并得到了杭州安恒信息技术股份有限公司的支持。论坛邀请了广州大学教授齐佳音、中山大学教授卢伟、华南理工大学教授杨晓伟、哈尔滨工业大学（深圳）教授花忠云作为引导发言嘉宾，中山大学副教授毛明志、西安电子科技大学（广州）副教授赵搏文、奇安信科技集团股份有限公司专家李吉祥、杭州安恒信息技术股份有限公司副总裁符春辉作为思辨嘉宾。广东外语外贸大学院长王常吉，广东外语外贸大学副院长李霞，广东外语外贸大学副院长王连喜，YOCSEF广州往届主席谭台哲（广东工业大学)、黄栋（华南农业大学），优秀AC刘雷（广东科技报社），现任主席李冠彬（中山大学），现任副主席黄培涛（广州唐邦信息科技有限公司），现任AC朱鉴（广东工业大学）、胡建芳（中山大学）、李雯霖（广东财经大学）、吴国凯（荔峰科技），YOCSEF哈尔滨现任主席李洋，YOCSEF福州现任副主席尤玮婧（福建师范大学），珠澳青年工作组陈建国（中山大学）、应作斌（澳门城市大学）、张凯歌（深信服科技股份有限公司)，CCF粤港澳大湾区办事处（筹）蓝维维，以及郭建军（仲恺农业工程学院）、李宇翔（头歌平台）、吴贺丰（中山大学）、张菁菁（广东外语外贸大学）、彭丽超（广州唐邦信息科技有限公司）、王甜甜（广东朝元信息科技有限公司）等来自多所高校及多家企业事业单位的代表共50多人参加本次论坛。

论坛首先由论坛执行主席姜思羽介绍论坛背景等相关情况。广东外语外贸大学信息科学与技术学院(网络空间安全学院)王常吉院长代表承办单位致辞。王常吉院长首先对线下与线上的参会嘉宾表示由衷欢迎，对广东外语外贸大学信息科学与技术学院（网络空间安全学院）的基本情况以及学科建设等领域的特色研究工作进行了介绍，期待论坛围绕“AGI初现曙光：安全进化的路径与抉择”进行深入思辨，并预祝论坛取得圆满成功。

论坛执行主席姜思羽介绍论坛背景等情况

由《网络空间安全科学学报》编委会副主任、中国科学技术大学网络空间安全学院执行院长、教育部高等学校网络空间安全专业教指委副主任俞能海教授代表《网络空间安全科学学报》致辞，对出席活动的嘉宾表示感谢和欢迎。指出论坛围绕 AGI 技术安全挑战与应对策略展开，推动学术界与产业界合作，为 AGI 安全发展提供支撑参考，介绍了《网络空间安全科学学报》，期待更多专家支持。最后预祝论坛成功，期待各方推动 AGI 安全健康发展。

王常吉院长致辞

俞能海教授致辞

由CCF YOCSEF现任主席李冠彬对YOCSEF文化进行介绍，最后预祝本次论坛圆满成功。李冠彬介绍本次论坛所设立的环境背景，讨论的主要内容的同时也说明了YOCSEF的含义、理念、分论坛、YOCSEF广州的特色文化、思辨论坛的平等性，自由性及发言规则，最后对支持单位表达了感谢。

CCF YOCSEF现任主席李冠彬介绍YOCSEF文化

广州大学齐佳音教授以“大模型保险箍：大模型防护栏的一种模式”为题作引导报告，概述大模型安全合规的风险与挑战，详细介绍了大模型保险箍的设想与实践，并表达了对大模型多语言安全问题的思考。中山大学卢伟教授以“人工智能生成媒体的被动取证和主动防御 ”为题作引导报告，分享了在单模态和多模态智能媒体检测及主动防御成果，介绍了制定智能媒体检测的技术规范与行业应用情况。华南理工大学杨晓伟教授以“可解释跨域迁移学习算法初探--从统计学习理论的基本假设说起 ”为题作引导报告，概述了领域自适应问题的来源与关键，详细介绍了领域自适应的误差界估计、建模和算法设计的最新进展。哈尔滨工业大学（深圳）花忠云教授以“IBD-PSC: 基于参数缩放一致性的输入级后门检测”作引导报告，分享了一项针对深度神经网络中后门攻击的防御工作，具有实际应用价值，并指出了未来在其他任务和模态上可以进一步探索。

齐佳音教授作引导报告

卢伟教授作引导报告

杨晓伟教授作引导报告

花忠云教授作引导报告

在四位引导发言嘉宾作报告后，由论坛执行主席姜思羽、苏申主持论坛思辨环节。思辨嘉宾中山大学副教授毛明志、西安电子科技大学（广州）副教授赵搏文、奇安信科技集团股份有限公司专家李吉祥、杭州安恒信息技术股份有限公司副总裁符春辉以及与会嘉宾围绕“尚未拨开迷雾的AGI，是否已经到了考虑其安全的时候？”、“AGI带来哪些新的安全挑战，怎么解决？”、““通用”人工智能了，“通用”安全是否也有可能？”三个议题展开了深入思辨，总结得出以下观点。

颁发引导嘉宾感谢牌

思辨议题一：尚未拨开迷雾的AGI，是否已经到了考虑其安全的时候？

关于考虑AGI 安全是否尚早问题，存在不同观点。毛明志教授认为尽管 AGI 技术尚未成熟，但为保障其健康发展和安全应用，提前研究并制定相应的安全治理框架、安全防护体系及管理措施很关键，并以医疗领域为例指出 AGI 存在如隐私数据泄露、算法黑箱等诸多潜在风险，一旦失控后果严重。且在 AGI 初期嵌入安全防护措施，不仅能避免后期修复漏洞的风险，还可降低修复成本。AGI技术安全性一定会影响研发，但这种影响是正向的、是积极的。有嘉宾指出 AGI 在不同发展阶段都要考虑安全，只是各阶段考虑的重点和方向不同。有嘉宾担心 AGI 最大的安全威胁是可能脱离人类控制，所以对于像失控等根本性影响的情况应尽早考虑，如在制造 AGI 时要应对极端情况。同时，提到关注机器生成内容的规范标准。还有嘉宾强调人工智能初衷是协助人类解决复杂任务、让人类生活更美好，所以不管是AGI还是大模型，在发展过程中都要保证数据、系统、算法等方面的可靠性、可信性，所以更要考虑其安全问题。除此之外，也有与会嘉宾认为，现在就行动制定法规等去遏制还未出现的事物可能有负面作用。应先让产业充分发展，安全问题可等到产业发展到一定规模时再设计相应安全解决方案，过早考虑安全会限制资本投入和工业应用价值兑现。

思辨议题二：AGI带来哪些新的安全挑战，怎么解决？

针对此议题，有嘉宾认为AGI 虽尚未完全到来，但假定其到来后，会使网络安全、数据安全等方面面临新挑战，比如可能让攻击行为更易实施、攻击人群增多，还会使数据安全等问题变得更为复杂。AGI 多任务执行会因资源共享、任务相互依赖而增加系统漏洞，导致安全问题增多，像大模型存在提示词攻击等漏洞情况。并提出了可通过提升可解释性、进行价值规划或价值对齐等方式来应对恶意利用情况。工业界代表介绍了在大模型领域相关实践，一是对大模型输入输出进行安全防护，确保其输入无异常数据、输出合理合规；二是利用大模型等人工智能技术为传统安全行业赋能，提升效率，如对大量报警信息先降噪再做风险排查。还有嘉宾提出了从大语言模型的价值观、偏见角度考虑AGI 安全问题，并以青少年使用大模型可能受不良价值观影响为例，强调提前关注 AGI 安全的重要性，还提出AGI更需要专用的、全方位的安全策略和方法。

思辨议题三：“通用”人工智能了，“通用”安全是否也有可能？

有嘉宾认为，具有可能性，提出可设计类似通用安全主线的协议，将网络各层面（网络层、应用层、数据层等）的安全需求兼容进去。鉴于 AGI 的多功能性、跨领域性使其成为高度复杂系统，难以建立全球统一的防护标准，但在国内可设立底线要求，各行业（金融、物流等）再根据自身安全诉求制定相应标准，将通用的底线要求与各行业标准相结合。同时，在大范围建立统一防护标准较难，因 AGI 应用扩展会使受攻击点增多、系统依赖关系复杂，一旦某点出问题容易导致整个生态或系统瘫痪，不过在小范围可建立统一标准。还有嘉宾提出从技术和政策两个层面考虑AGI通用安全，政策层面规定安全下限，技术层面实现安全上限。但通用安全在不同语境下情况不同，且面对细分的如数据、网络等安全领域时需加以限制来探讨。还有嘉宾认为虽然理论上可设计通用安全系统，但从实际出发，考虑成本及实际需求，专用的安全系统或许更能深入解决问题。

思辨现场热烈讨论

颁发思辨特邀嘉宾感谢牌

此次论坛历时四个多小时。最后，CCF YOCSEF现任主席李冠彬对此次论坛进行了总结。

与会嘉宾合影留念

此次论坛对AGI安全进化的路径与抉择进行了深入思辨，相信可以为相关领域从业人员提供重要的参考。最后，论坛在线下会场与线上云会场热烈的氛围中圆满结束。

• 通讯员/苏申 姜思羽 王甜甜
• 责任编辑/丁香