奋进者｜马卓：为AI模型筑安全防线

科技日报记者 王禹涵 通讯员 白毅鹏

“凌晨的高速公路上，自动驾驶汽车的AI系统突然失灵。明明前方没有障碍物，它却误判出现行人，紧急刹车引发后车追尾。引发这场事故的，并非硬件故障，而是藏在AI模型里的‘隐形炸弹’——攻击者植入的‘后门’……”

课堂上，西安电子科技大学教授马卓正对着台下的学生分析AI安全案例，PPT上事故模拟动画与数据图表交替出现。

如今，金融风控、智能家居、自动驾驶等领域的AI模型，每天都在处理海量数据，面临着类似风险。而马卓带领团队，用一项日前获得2024年度中国电子学会自然科学奖二等奖的成果，为AI模型筑安全防线。

揪出藏在模型中的“卧底”

走进马卓的实验室，屏幕上跳动的数据流、白板上密密麻麻的算法，都在诉说着这里的科研日常。“AI模型就像一个个不停运转的‘大脑’，但它们的数据来源太复杂了，很容易被钻空子。”马卓指着一组AI模型测试数据说。

他口中的“空子”，便是攻击者植入的“后门”。“它们就像藏在AI模型里的‘卧底’，平时安安静静，一旦遇到特定指令，就会让模型‘犯糊涂’。”马卓的话语中带着一丝担忧。而这份担忧，正是他带领团队开展科研攻关的起点。

传统的防御方法，在马卓看来如同“大海捞针”。“以往，要在包含亿万参数的AI模型里找出‘后门’，得把所有数据一个个过一遍。这种方式不仅效率低，而且成本高，根本不适合实际应用。”他说。

面对难题，马卓没有陷入常规思路，而是提出了一个大胆的想法。“我们训练AI模型是为让它‘记住’某些数据，那能不能反着来，让它‘遗忘’有害数据？”他说。

这个想法成了破解难题的关键。他和团队从训练模型常用的梯度下降法中寻找灵感，经过无数次实验，首创基于梯度上升的模型遗忘技术。

马卓用熟悉的生活场景给记者解释。“你可以把AI模型想象成一个专门存放‘数据书’的书架。训练模型的过程，相当于我们按特定顺序把一本本‘数据书’摆到书架上。现在要让AI‘遗忘’有害数据，就要沿着当初摆书时的路线倒回去，把那本‘有害的书’抽出来。”他顿了顿说，“删除记忆操作必须精准，多忘一点有用的，AI模型就会‘变笨’，少忘一点有害的，‘后门’还在。”

这项技术大幅提升查找“后门”的效率。“以前处理同样的任务可能需要100小时，现在1小时就能完成。”马卓说。

打造产学研融合团队

“创新技术不能‘躺’在实验室里，要到产业中去解决真问题。”这是马卓挂在嘴边的话。而他带领的团队，正是在产学研融合的土壤中茁壮成长起来的。

“我们很多科研思路都是在和企业的交流中得来的。”马卓回忆道，为了找到真正的行业“痛点”，团队骨干经常深入头部科技企业和金融机构。

在一次与自动驾驶企业的交流中，企业工程师们提到的“AI模型易受恶意数据攻击”问题，让团队找到了新的攻关方向。“我们把产业一线的难题带回来，从中找到科研方向，让产出的成果更有价值。”马卓说。

在人才培养上，马卓更是不遗余力。他开设新生研讨课，用生动的科研案例将低年级本科生带入AI世界。“我要让他们早点明白，科研不是枯燥的公式，而是能解决实际问题的工具。”他说。

对待团队里的年轻科研人员，马卓严格却不苛刻。他会根据他们的特点为其规划发展方向：如果擅长理论研究，他就鼓励其深耕算法领域；如果教学能力突出，他就支持其在讲台绽放光彩；如果对市场敏感，他便引导其成为技术与产业之间的“桥梁”。“每位年轻人都是独特的，要发现每个人的闪光点，让他们发挥最大的价值。”他说。

如今，马卓带领的团队不仅产出了多项具有自主知识产权的成果，而且让相关技术在金融风控、自动驾驶等场景中落地应用。

从带领团队攻克技术难题，到培养新一代创新人才，马卓用行动诠释着科技工作者的初心。他和团队仍在不断探索，只为给智能时代装上更坚固的“安全锁”，让AI更好地服务人类。

来源：科技日报