「paper 它本身其实并不是为了让他中稿,而是说我做了一个很有意思的研究。」小米 MiMo 大模型后训练研究员、香港大学 NLP 方向在读博士李磊,在十字路口的一场对谈里,把这句话摆在了最前面。
![]()
他复盘了自己从西电本科、北大计算语言学研究所硕士到港大读博的路径,也把 AI 时代读 PhD 的十个关键问题拆开讲了一遍。核心方法论只有四个字:难而正确。
难而正确,拆成两个维度
李磊把「难而正确」拆成 importance 与 difficulty 两个维度。在重要且难的问题上,微小进步也能带来远超比例的影响力,外界苛责反而更少。
他的判断很直接:不够难的问题一定会被大量 competitors 迅速 beat 掉;而大家公认难的问题,只要找到好的切入点、把一部分解释或实验做扎实,就能成为后续研究者的 milestone。
配合高强度快速迭代,并及时向社区、peers 和资深老师获取反馈,这套打法能显著降低 PhD 阶段的焦虑。他还强调要亲自 coding、跑数据、看模型真实表现,而不是被 social media 上的 hype 震住。
灌水正在压垮审稿系统
AI 论文灌水是这场对谈里最尖锐的一段。李磊说,批量用 SOTA 模型生成几十上百篇投稿,本质是对系统的 DDoS 攻击。
他本人既是审稿人也是 area chair,工作量从每人两三篇涨到十篇量级。DDL 战士情境下,决策随机性变大。社区在尝试的解法包括:限制投稿数、让资深 SPC 共同决策、引入 AI 辅助审稿。
与此同时,publication 体系正在被弱化。招聘时 paper 变成 nice to have,没有论文反而可能说明候选人选择不玩这个已经坏掉的游戏。
评价体系正从论文转向真实世界影响力:开源代码与数据、HuggingFace 下载量、社交媒体声量都在成为新指标。但李磊提醒,任何指标都会被 reward hacking,所以更该看代码与数据是否开源、issues 是否维护、下载成本与真实性如何。
他引用「大粉理论」——PhD 的小红书或推特粉丝量超过论文引用数。在他看来,这是 attention is all you need 的显化:顶会一年四五千篇,没人看得过来,分发权转移到推荐系统,声量大的工作更容易被看到。
他运营小红书的三条经验是利他、坚持、做自己,最终目的是找到同频的人,而非追粉丝数。
选导师优先于选学校
李磊把 PhD 分成三个阶段:独立做好一个有影响力的工作;从 generator 变成 critic,带教 junior;完成学界到工业界的转换。
第一阶段要补 ML、统计等 basics,最好 from scratch 实现基础算法,并学会 paper writing 与实验设计。带教要 case by case,self-motivated 的学生只需少量引导。
冷启动靠三件事:勇敢 cold email、可复现小项目、高质量 research blog。他大三发十封 cold email 只收到一封回复,却打开了大门。他还以苏剑林早期博客推导最终推出 RoPE 为例,说明博客与小实验可以替代算力。
选导师的优先级远高于选学校。他建议看课题组 alumni 的成果与精神状态,并私下问在读和已毕业学生;最可靠的方式是先做 RA 或实习半年再判断双向匹配——他本人就是在上海 AI Lab 实习时认识现在的导师。
所谓「慢研究」,他的解读是选题慢、执行快。对 100 多位老师发起的慢研究倡议,他认为那是在呼吁大家不要为简历灌水 sloppy 论文,而不是反对做科研。
至于读 PhD 的价值,他的说法是脱产满足好奇心与系统训练,而不是进大厂的门槛:「如果说你希望读一个 PHD,以此来进入这些所谓的大公司,那我觉得他是没有必要的。」
行业侧的几个判断
谈到 MiMo-V2.6 Pro/Flash 的后训练直播,李磊说这是对国内大模型形象的正向引导。直播把训练过程和费用公开,国内观众最关心成本,国外观众则震惊于首次工业级训练直播与 tensorboard 细节。
数据公司的高估值能否持续,取决于能否建立规模化高质量数据 pipeline。算力、数据、人才三样都贵,专家数据生产复杂度上升数个量级,能持续产出高质量燃料的公司优势会被放大;否则模型自身产数据能力提升后,竞争会非常剧烈。
RSI 在 well-defined 问题上进展迅速,但「什么问题是重要的」这一决策能力仍未被很好挖掘。他把这称为 taste,也就是定义问题的能力,是目前没有非常好挖掘的一环。
好 benchmark 则需要三样东西:新能力维度、真实 use case 数据、易用生态。还要避免 artificial 数据引发模型 awareness,并做好一键启动与主流评测套件适配。
最后他引用巴拉巴西成功定律:诺奖得主也无法预测哪篇是代表作,只能持续输出。「你可以稍微节奏可以慢,但是你要有逐步的推进,这个是快的。」
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.