中山大学软件工程学院院长、IEEE(电气电子工程学会)会士、国际计算机学会科学家、联合实验室专家郑子彬
“以多方协同机制实现监管与发展的双向平衡,构建多场景全链条防护体系,创新AI监管模式,粤港澳大湾区生成式人工智能安全发展联合实验室,将为大湾区提供兼具国际视野与本地化适配的AI安全发展范式。”中山大学软件工程学院院长、IEEE(电气电子工程学会)会士、国际计算机学会科学家、联合实验室专家郑子彬接受访谈时表示,将探索“AI评测AI”的工作思路,提升安全评测的效率和覆盖范围,应对生成式AI快速迭代带来的新型风险。
谈优势
亟待增强大模型可信性
南方都市报(以下简称“南都”):应对AI安全风险,大湾区最迫切需要解决的问题是什么?联合实验室在解决这些问题上有哪些资源和优势?
郑子彬:粤港澳大湾区在迎接生成式人工智能高速发展浪潮的同时,也首当其冲地面临新型安全风险。在这些风险中,最迫切的“牛鼻子”问题,就是如何科学、精准、高效地评测并持续增强大模型输出内容的可信性。比如,要降低幻觉程度,防止大模型凭空捏造事实、误导用户;又如,要持续提升大模型输出内容合规水准,确保输出结果符合法律法规、社会伦理及行业监管红线。只有把“可信性”短板补齐,才能让生成式AI在大湾区的金融、医疗、政务、教育等高敏感场景真正落地。联合实验室在解决这些问题上的独特的资源和优势在于其独一无二的“资源拼图”。既有政府主导,将顶层政策导向、监管需求与一线研发丝滑衔接;也有腾讯等头部企业提供实战场景与算力支持;还有中山大学等高校提供安全可信与量化评级科研能力。各方资源在同一平台上高频碰撞、快速迭代,为破解大模型幻觉与合规等难题提供了别处无法复制的“大湾区方案”。
谈产业
全面升级大模型可信能力评测
南都:科学精准高效的人工智能安全评测是应对AI安全风险的一条路径,目前粤港澳大湾区在这方面已有哪些基础?
郑子彬:建立覆盖各类安全风险的百万级安全测试题库,训练大模型安全智能评测引擎等工作,都将分阶段开展。在此过程中,我们将探索一种“技术对抗技术”“AI评测AI”的工作思路,这一思路能显著提升安全评测的效率和覆盖范围,尤其适用于应对生成式AI快速迭代带来的新型风险。
联合实验室以《人工智能安全治理框架》中“包容审慎、确保安全,风险导向、敏捷治理,技管结合、协同应对,开放合作、共治共享”的原则为核心,融合技术防护与治理规范双重举措,将研究制定对标该框架的大模型安全可信及量化评级评测体系。该体系进一步结合《生成式人工智能服务管理暂行办法》《生成式人工智能服务安全基本要求》两大法规标准,从价值对齐、安全可控、能力可靠三大核心方向切入,实现对大模型生成内容及行为的全场景、多维度全面评估。
此外,联合实验室还将发布“大模型可信能力评测排行榜2.0”,在前期评测框架的基础上进行了全面升级,从评测大类、细分维度、行业适配性等多个方面优化,形成更科学、更动态、更具实践指导意义的评测体系。
南都:除了评测体系,标准的建立亦是联合实验室的工作规划之一。人工智能行业安全发展标准体系应涵盖哪些核心内容?
郑子彬:联合实验室将制定行业安全发展标准,形成属地化安全标准体系。一个健全的标准体系应至少涵盖数据安全与隐私、内容安全可信与伦理合规、模型透明度与可解释性以及安全应急响应等核心维度。
具体而言,可以对金融、医疗、自动驾驶等高危领域执行强制性标准;对大量创新应用则提供安全的测试空间,允许其在可控环境中试错和迭代,实现发展与安全的动态平衡。这符合大湾区多元、活跃的产业特点。
谈趋势
高校对人才培养模式做了系统性革新
南都:在AI治理过程中,协调各方资源形成合力是趋势所在,您觉得各方角色如何定义?
郑子彬:在AI治理过程中,政府部门应发挥引导和监管作用,比如出台相关政策鼓励AI安全技术研发,对不合规行为进行监督管理;高校和科研机构负责理论研究和专业人才培育,为AI安全发展提供智力支撑;企业作为技术研发和应用主体,需要将科研成果转化为实际产品和服务,并在实践中不断反馈问题,以帮助科研优化;行业协会等组织可以搭建交流平台,组织各方进行技术研讨和经验分享,促进信息互通。建议各方定期开展合作会议,共同制定发展规划和解决方案,以此来协调资源形成治理合力。而联合实验室的成立对于协调各方资源形成治理合力能起到重要的作用。
南都:高校在课程设置、实践教学等方面做了哪些调整和创新,以确保人才能够满足大湾区日益增长的AI安全发展需求?
郑子彬:在大湾区的AI产业浪潮中,高校对人才培养模式做了系统性革新。一方面,在课程体系中深度融入AI伦理、法律与治理模块,开设《可信人工智能》等核心课程,让学生既掌握技术又理解技术背后的社会责任。同时,高校积极组织学生参与全国性AI安全竞赛,通过以赛促学的方式,在对抗演练中提升实战能力。另一方面,鼓励高校与腾讯等企业建立联合实训基地,让学生直面产业一线的安全挑战,使他们在校期间就能积累前沿的实战经验。
南都:展望未来,您对联合实验室的建设运行有哪些期待?
郑子彬:一是希望联合实验室能成为国家级AI安全评测标杆平台,推动中国AI治理模式走向国际;二是希望构建可持续演进的可信生态,不仅评测模型,更推动模型迭代与产业优化;三是希望联合实验室能输出湾区经验,为全球AI治理提供“大湾区方案”,真正实现“以人为本、向善而行”的AI发展愿景。
聚焦
联合实验室能发挥哪些独特作用
粤港澳大湾区生成式人工智能安全发展联合实验室具备顶层设计优势,整合企业、高校、科研机构及媒体资源,形成“政产学研用”协同机制,实现监管与发展的双向平衡;另一方面,具有技术生态优势,依托腾讯等企业的产业引擎能力和中山大学等高校的科研积累,构建多场景的全链条防护体系;此外,还有模式创新优势,通过建立安全标准等监管新模式,为大湾区提供兼具国际视野与本地化适配的AI安全发展范式,强化跨境数据流动治理与安全可控能力。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.