北京
从困顿期到多模态前夜
2020年底，李柏依在康奈尔大学的博士生涯进入第三年，也走进了一段研究上的困顿期。此前她一直从事表征学习研究，但越往前走，越不知道这条路还能通向哪里。也就是在那段时间，她开始接触多模态学习。当时多模态还不是视觉研究的主流热点，三维视觉吸引了更多关注。她向同学说起自己正在做多模态，得到的反应往往礼貌而寡淡。
但她隐约觉得，当时按照固定类别完成检测和分割的视觉系统太“死”了：输入是预设的，输出也是预设的，像功能机上的实体按键，只能完成事先规定好的操作。有没有可能像智能手机一样，让输入变得任意，让视觉系统根据人的意图灵活地理解世界？这个问题把她引向视觉与语言的对齐，也让她恰好赶上了 CLIP 发布后多模态研究爆发的前夜。
一条连续的研究主线
几年后，多模态已经成为 AI 领域最核心的方向之一。李柏依也从那个“不知道该往哪里走”的博士生，成为英伟达研究院和加州大学伯克利分校的研究员与研究负责人，带领团队推进 Foundation Motion，探索机器能否通过运动理解物理世界。她的研究从计算机视觉出发，经过多模态学习，延伸到自动驾驶和具身智能。应用场景不断变化，贯穿其中的问题却始终指向同一条路径：机器能否从不同的感知信号中，形成一种可泛化、可交互、能够支持行动的世界表征？
从“看见什么”，到“正在发生什么”，再到“接下来可能发生什么”，最终走向“为了目标应该做什么”。她真正感兴趣的不是某一种模型架构，而是如何让模型从被动识别走向主动理解，并且在分布变化、信息不完整和现实约束下，仍然保持可靠性。
给自己很多选项，不是抓住所有机会
谈到早先报道中“女孩子像水一样有无数种可能”的说法，李柏依笑着回应，那篇报道可能美化了她的语言。她理解的“给自己很多选项”，不是同时抓住所有机会，也不是很长时间都不做决定，而是在每一个阶段主动建立可以迁移的能力，让下一次选择不完全由外部条件决定。
她没有因为喜欢音乐和画画，就把自己定义成一个“艺术型的人”；也没有因为进入计算机领域，就放弃自己感性的一面，而是选择把两者都保留下来。博士毕业后，她也没有把道路简单理解成“要么去学术界，要么去产业界”。现在她同时处在伯克利和英伟达两种环境里。伯克利提供了开放的学术氛围、跨方向的碰撞，以及对基础问题的耐心；英伟达则提供了真实、系统、规模化的数据和算力，以及闭环验证的条件。这样，她既可以理解一个想法为什么在论文里成立，也可以理解它为什么会在复杂现实中失败。
她的判断标准一直围绕三个问题：这件事能否提高长期的学习斜率，能否和真正尊重问题的人一起工作，以及这条路是否让她更接近自己长期关心的问题。所以，“给自己很多选项”并不是说选项越多越好，而是在做出选择之后，依然保有继续生长的能力。
视觉问题并没有被多模态“解决”
当被问到传统计算机视觉的很多问题是否已经没有可做的方向时，李柏依并不觉得视觉问题已经被多模态“解决”了。视觉领域真正困难的问题并没有消失，只是目前人们还没有找到一种很好的方式去解决。多模态确实释放出了视觉系统过去没有被探索过的能力，再加上数据的积累，因此产生了一些非常神奇的效果。但本质上，视觉领域那些比较难的问题，比如对细节的细粒度理解，并没有被真正解决。多模态更多是通过数据驱动的方式，解决了一部分粗粒度的视觉问题，但它并没有解决视觉本身的所有问题。
选题看结构性瓶颈，而不是短期热点
AI 领域的研究速度和竞争强度已经前所未有。李柏依说自己选题时看的是结构性瓶颈而不是短期热点，但毕竟在体系内也需要做出可见的短期成果。她坦言，很难判断一个今天看起来不重要的问题，最终会不会产生巨大的影响，她没有办法做出这种预测。现在很多发展很快的方向，是因为大家都在走扩大规模的路线。投入的资源和人力越多，领域的发展速度就越快，很多时候花费的时间和最终结果是成正比的。但也存在许多我们根本不知道解法的问题。在这些问题上，投入时间并不一定能够得到相应的产出。
她通常会考虑几个维度。第一，它是不是一个结构性瓶颈，而不是短期热点造成的表面缺口。比如她当时做多模态时，三维视觉非常热门，但她没有急着跟随。她反而在想，过去按照固定类别做分割和检测的方式，会不会太僵硬了？它让整个系统缺乏灵活性。这就像功能机，你必须按下一个固定按键，才能得到固定的功能。我们能不能让它变得像智能手机一样，输入可以是任意的，模型再根据输入调整视觉理解的方式？第二，当前是否出现了一个新的技术拐点，让过去难以解决的问题有了被推进的可能。当时 CLIP 的发布就是一个拐点，它意味着视觉系统开始从纯
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
