如果衡量模型的尺子本身会变化,结论还可靠吗?
杨智勇的科研主线,起于对这把“尺子”的追问。模型参数没有改变,测试阶段的阈值一变,评估结果便随之改变。如何在变化的决策条件下找到稳定标尺,成为他持续多年的研究方向。
今天的AI研究者也置身于更大的变化。从统计学习到深度学习,从大模型到智能体,技术范式和研究节奏持续改写。一项工作三个月前刚完成,三个月后或许已失去继续推进的空间。
怎样找到值得长期投入的方向?过去学过的知识还能发挥什么作用?当AI能够辅助检索、写作与方案探索,人还需要守住哪些能力?
本期「CCF 优博之路」邀请到的嘉宾是中国科学院大学副教授、博士生导师杨智勇——研究方向聚焦高效可信机器学习,在CCF-A类期刊及会议共发表论文70余篇,其中TPAMI 20余篇,ICML/NeurIPS 20余篇,其中8篇论文为亮点/口头报告论文,并获得6项CCF-A类会议国际竞赛冠军。先后获得:吴文俊人工智能青年科技奖、CCF优博、CSIG自然科学奖一等奖、吴文俊人工智能科技进步二等奖、首届百度AI全球华人新星百强、首届亚洲可信机器学习奖励金、小米青年学者、中国科学院百篇优博论文、百度奖学金全球20强等荣誉奖励。担任Pattern Recognition/Information Fusion / Neural Networks等JCR 1区期刊编委,机器学习领域顶级会议ICML/ICLR/NeurIPS领域主席。
本次分享中,杨智勇回顾了从零散探索、聚焦AUC,到围绕模型评估与优化中的“不变量”持续延拓的过程,也谈到广阔的视野、知识骨架、独立判断、人的主体性,以及支撑长期研究的身体与心力。技术、问题与工具持续变化,求真、独立、耐心,仍是研究者辨认方向的坐标。
️ 这是回顾内容。将门编辑部将 8 月 31 日直播提炼成文,保留核心精粹,希望这份深度整理能为每一位读者带来新的启迪。
嘉宾:杨智勇|中国科学院大学副教授、博士生导师
主持:邰颖|南京大学副教授、博士生导师
01|从零散探索到长期主线:
一次负反馈带来的转向
早期的广泛尝试积累了能力,也让研究主线的缺失逐渐显现。
杨智勇:我的研究经历大致可以分成三个阶段。最开始是零散探索,当时觉得论文多一些、做过的方向多一些,总归是好事,于是围绕机器学习尝试了属性学习、长尾学习、子空间聚类等不同问题。
这些经历确实带来了正反馈。属性学习让我接触多任务学习,长尾学习需要理解统计学习和泛化理论,子空间聚类则涉及结构学习、复杂优化、线性代数与谱图理论。问题也随之出现:工作彼此分散,很难被组织成一条清晰主线,我也说不清自己的学术标签是什么。直到一次重要答辩,我需要把此前成果放进同一个故事里,才意识到这些工作无法形成完整叙事,也难以回答一个更长远的问题——接下来沿着哪条路走?
这次负反馈促使我重新审视已有积累。我发现,过去多项工作都与AUC有关。于是我开始追问:围绕这个指标继续往前,能否找到一个更有辨识度、也更值得长期投入的研究方向?
![]()
02|聚焦AUC:
在变化的决策条件中寻找不变量
能够穿过技术周期的问题,往往扎根于更深层的矛盾。
杨智勇:AUC即ROC曲线下面积,可以刻画分类模型在不同阈值下的整体表现。我真正关注的,是这个指标背后的“不变量”思想。
模型输出连续分数,落到实际应用时,还要借助阈值等决策参数形成判断。阈值一变,误报率、漏报率等结果也会随之变化。模型本身没有变,评估它的“尺子刻度”却变了,比较结果就可能产生偏差。
在违禁物品识别、金融欺诈、疾病诊断等高风险场景中,阈值承载着风险与效率的权衡。阈值较低,风险控制更严格,人工复核量也会增加;阈值较高,效率提升,漏检风险随之上升。真实场景里的风险偏好不断变化,训练阶段很难提前给出长期有效的最优值。
![]()
沿着这一矛盾,我把模型性能写成决策参数的函数,再通过性能曲线及其面积,对不同决策条件下的表现进行平均,尽量消除特定阈值对评估结果的影响。研究也由此从一个具体指标,延展到更一般的X-Curve评估与优化框架。
![]()
此后,这条主线继续向外生长:从全局AUC拓展到聚焦高误报、高漏检区域的双路偏AUC;从固定阈值分布走向任意非均匀分布;再进入多分类、开放世界、知识蒸馏等任务。到了大模型与智能体时代,测试阶段出现更多参数,单一曲线甚至会扩展成复杂的性能曲面。模型越复杂,如何稳定刻画其内在性能,研究价值越突出。
03|回头看,也向外看:
给科研打开更宽的视野
当正面道路变窄,历史与邻近学科常会提供新的入口。
杨智勇:科研视野不能只朝着“最新”延伸。一个领域走到今天,背后有漫长的思想史。回看经典问题的形成过程,常常能发现当下研究忽略的不足,也能重新辨认值得长期投入的问题。
今天的AI看起来发展迅猛,底层仍缺少能够被广泛共享的统一定律。物理、统计与传统工程学科都有深厚的理论基础;AI领域经验性成果快速涌现,也更需要研究者回到概念、原理和科学问题本身。
跨学科视角,是拓宽视野的另一条路径。我本科阶段学习生物化学,这段经历塑造了我的思考习惯:面对上层现象,会自然追问底层机制;进入人工智能领域后,我也更愿意跳出纯计算机框架,从心理学、神经科学等方向寻找启发。
![]()
AUC研究的关键起点,便来自一次“向后追溯”。它的思想源头可以回到信号检测与心理物理学:雷达操作员在战时警戒和日常值守中,对同一信号会采用不同判断阈值,因此很难用某一个固定条件评价其整体辨识能力。人的信号感知与机器分类由此建立起联系,也让“消除决策条件变化,衡量内在能力”成为可持续延展的主线。
当一条路走不通时,可以暂时离开当前视角,回到问题的历史源头,或者去其他学科寻找相通的结构。
![]()
04|理论极小值:
在信息爆炸中搭一副知识骨架
技术名词可以不断增加,能够迁移的原理才是知识体系的承重梁。
杨智勇:开始给不同专业的学生讲授机器学习课程后,我一直在思考:面对快速迭代的技术,课堂究竟应该留下什么?
物理学家Leonard Susskind提出的“Theoretical Minimum”给了我启发。“理论极小值”强调以精炼的工具集串起领域中最重要、最具迁移性的原理。
![]()
沿着这个思路,我尝试把传统机器学习与深度学习放进同一条演进脉络,寻找贯穿多个技术阶段的常青原则。比如,损失函数的设计准则从小模型延续到大模型与智能体;模型集成从AdaBoost、GBDT走到MoE,背后的组合思想始终存在;SVM中的间隔理论,也持续影响泛化、度量学习与对抗训练。
在课程中,我会先讲线性代数的几何直观与概率统计,再从分类、回归、优化、决策展开,继续讨论归纳偏置、模型集成、间隔、对比与重构。PCA、自编码器、VAE、GAN和扩散模型看起来相距很远,沿着“重构数据或分布”这条线索,又能被放进同一副知识骨架里。
初学者可以借助较新的教材建立全局框架,再通过习题和讲授加深理解。我们也会让低年级学生轮流站上讲台。能够把一个概念讲清楚,往往说明背后的逻辑已经想清楚了。
![]()
05|给每篇论文加一个问号:
独立判断从哪里来
读懂文献只是起点,能够看出问题,才有机会创造新的知识。
杨智勇:我观察到,一些年轻学生阅读论文时可以理解方法与实验,读完后却觉得作者已经把一切做得很完善,找不到继续推进的空间。知识学到了,研究入口仍然没有出现。
可以把“问号”带进阅读过程:指标设计合理吗?它是否准确反映了真正关心的能力?算法效率足够高吗,能否进入更复杂的模型?核心想法经得起推敲吗,有没有改进或推翻的空间?论文采用的任务设定与数据条件,和真实场景之间是否存在距离?
带着这些问题看文献,阅读会从单向接收转为同行之间的交流。研究者既理解作者解决了什么,也持续辨认其假设与边界,并在这个过程中逐步形成自己的判断。
科研工作的本质是创造新知识。想要创造,首先要发现已有知识中还没有被回答好的问题。
![]()
06|与AI共舞:把关键判断留在自己手中
AI可以扩展搜索和表达的边界,选什么、信什么、舍弃什么,仍要由研究者决定。
杨智勇:AI已经成为科研工作的重要协作者。它可以辅助写作、补充检索、枚举方案,也可以扮演审稿人,暴露逻辑漏洞。研究者需要先明确自己要表达什么、解决什么,再让工具放大已有能力。
写论文时,我会要求学生先整理claim-evidence对照表:每一个核心结论由哪些理论、实验或现象支撑,全文如何围绕同一条主线展开。框架明确后,再让AI检查段落衔接、术语统一、图表与正文呼应,或模拟不同立场的审稿人。
![]()
在idea探索阶段,AI擅长枚举反例、失败模式、相邻方向和替代设定,能够扩大搜索范围、加快排除过程。最终该押注哪个问题,仍取决于人的学术品味与长期判断。
![]()
信息获取成本越低,判断力越显稀缺。研究者每天接触的内容大幅增加,其中既有有效线索,也有错误与噪声。缺少扎实基础时,甚至可能无法判断模型生成的内容是否成立,更谈不上掌控研究走向。
大模型时代对研究者的要求其实更高了。会提问题、能审查输出、懂得取舍,才能让AI成为能力放大器,形成“1+1>2”:人的洞察力,乘上机器的展开力。
![]()
07|写作之道:
让成果沿着一条线索抵达读者
论文写作的首要任务,是让读者看懂问题、跟上推理,并记住核心发现。
杨智勇:“写作是写给人看的。”许多论文写成了技术实验报告,结果和公式一项接一项,核心发现反而模糊。
一篇文章需要有明确线索。动机、方法、理论与实验都围绕这条线索展开,并形成呼应。句子、段落与章节之间也要建立清楚的连接,避免前后突兀。
我鼓励学生适当呈现思考过程。朴素方案为什么失效?失败暴露了什么机制?新的方法怎样顺着这个原因产生?这些内容会让算法更可信,也能呈现工作背后的推理。
对于理论文章,可以先用直观方式讲清算法及其意义,再引出理论机制,给读者保留理解和发现的节奏。复杂公式无需一开始密集铺陈,先讲清核心insight,再逐层递进,把细节推导放入附录。句式尽量简洁,主动语态更能传递作者的判断与信心。
![]()
08|科研马拉松:身心、知行与节奏
长期科研依赖稳定的体力、心力与行动节奏,单次冲刺很难走到远处。
杨智勇:科研是一场漫长的马拉松。成果反馈往往迟到,脑力与体力消耗却持续发生。每周保持两到三次锻炼,兼顾有氧与无氧运动,可以维持体能,也给压力一个出口。疲惫时可以放空大脑;遇到难以排解的压力,要及时和导师、同学沟通。
![]()
年轻学生还要处理好“知”与“行”的关系。有些人总觉得基础还没学够,迟迟不愿开始研究;有些人不停跑实验,结果一个接一个,却说不清为什么有效。更理想的节奏,是在实践中暴露问题,再带着问题回到知识中寻找解释。学习与行动相互推动,形成螺旋式上升。
![]()
大局与细节同样需要把握时机。读论文时过早陷入超参数和实现细节,容易忽略工作背后的高层思路;写论文时只改语法,不处理整体逻辑,文章质量也很难提升。我的建议是先大改、再小改,先把问题、主线和结构理顺。
![]()
09|面对失败与焦虑:把注意力放回自己
同辈比较放大的是一时快慢,缓解焦虑需要做好当下、看向长线,也给生活留下科研之外的支点。
邰颖:现在很多年轻研究者都会面临同辈竞争的压力。看到身边的人发文章更快、拿项目更早,似乎总有人跑在自己前面。当经历低谷或失败时,应该怎样调整状态?
杨智勇:我自己也还属于年轻人的群体,更像是一个局中人,很难以过来人的身份给出答案。焦虑或多或少都会存在,我们能做的,是尽量找到缓解它的方法。
首先,要多看当下,也多看自己能够控制的事情。焦虑的时候,人很容易反复想着别人取得了什么、自己还缺少什么。与其把精力耗费在这些比较上,不如回到手头的工作,想一想能不能把正在做的事情完成得更好。工作真正向前推进以后,通常会得到一个比较及时的正反馈,这种具体的进展本身,就能化解一部分焦虑。
其次,可以把眼光放得更远一些,多关注长线收益。和同年级、同阶段的人比较,看到的往往只是某一个时间点的结果。有人每一年都很顺利,持续有论文和成果产出;也有人早期进展并不顺,却因为一次负反馈重新调整方向,沉下心把自己的问题做深,后来才拿出亮眼的工作。
顺利与否只是阶段状态,一次负反馈有时会让人更早看清下一步的改进方向。杨智勇在现场以何恺明为例,想说明一个人早期是否领先,很难决定其长期能够抵达的高度。与其紧盯今天和明天的同辈排序,不如把时间尺度拉长,把注意力放回自己的积累。
最后,还要想办法从科研的“局中”暂时走出来。可以读书、健身、跳舞,也可以培养任何自己真正感兴趣、能够长期坚持的爱好。科研之外的活动既能帮助人排解压力,也会提醒我们:生活中还有许多值得投入和感受的事,不必把所有成败都系在同一个坐标上。
邰颖随后将这段回答概括为四点:关注自己正在做的工作,从实际进展中获得正反馈;把目光投向长期目标,不被局部挫折困住;理解负反馈对个人成长的促进作用;培养科研之外的兴趣,主动拥抱生活。
![]()
10|如何找到自己的北极星
方向的延展性决定能走多远,个人的定力决定能否走过无人喝彩的阶段。
邰颖:在快速变化的时代,年轻研究者怎样判断一个问题是否值得长期投入?
杨智勇:我更建议把选择落在一条具有延展性的技术思路上,尽量避免把全部研究押在过于特殊的任务上。好的技术问题会在不同时代出现新的形态。模型越复杂,原有矛盾往往还会衍生出新的研究内容。
长期研究也意味着接受一段时间内缺少关注。很多有价值的方向都需要坐得住冷板凳,外界反馈也会反复摇摆。方向本身要有生长空间,研究者也要保有定力,能够在没有掌声时继续推进。
分享最后,杨智勇把“北极星”送给每一位仍在寻找方向的年轻研究者:围绕一个真正重要的问题持续深耕,守住求真、独立与耐心,在AI变革的喧嚣中静下来做科研。
Illustration From IconScout By IconScout Store
5 位不同来路的具身创业研究者闭门聊天局
北京时间9月8日(周二) 晚20:00截止报名
详情点击图片跳转
9月28日晚@美国匹兹堡
「IROS 2026 群星闪耀 精英晚宴」
免费报名,期待线下见面!
北京时间9月25日(周五) 12:00截止报名
-The End-
本周上新!
扫码观看!
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章,并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励
投稿方式
发送邮件到
yimingzhang@thejiangmen.com
或添加工作人员微信(aceyiming)投稿,沟通投稿详情
关于我“门”
将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。
将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。
如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:
bp@thejiangmen.com
![]()
点击右上角,把文章分享到朋友圈
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.