UIUC孙若愚：从“拿着锤子找钉子”到“找准钉子造锤子”

原来他们是这样走过来的！

【AI红人荟】——这里是TechBeat人工智能社区为优秀的AI工作者开设的人物专访栏目。从膜拜“红人”到成为“红人”，TechBeat与你一起，在AI进阶之路上，升级打怪、完美通关~

本篇人物，是来自伊利诺伊大学香槟分校(UIUC)的助理教授孙若愚。他十分期待兼具“锤子”和“钉子”双重视野的学生——不仅仅停留在“拿着锤子找钉子”的阶段，而会尝试“找准钉子设计锤子”：先找好应用问题，然后设计工具来解决问题。以下为采访全文，欢迎阅读~

“优化/计算数学和机器学习的交叉、尤其是和深度学习的交叉，对当前人工智能的发展影响重大，但这个交叉方向大部分AI研究者是知之甚少。我希望多传播这个方向的知识，来帮助AI研究者更好地使用和推进神经网络。”

在孙若愚看来，深度学习的计算理论尚未得到足够的关注和宣传。

今年他即将到香港中文大学（深圳）任教，做更多基础理论与机器学习应用结合方面的研究。他希望他的学生做学术，能夯实基础、亦能兼顾理论与实践，不只是“拿着锤子找钉子”，更要有找准“钉子”设计“锤子”的能力。

数学——通信——深度学习的旅程

孙若愚高中就读于湖南师大附中，因全国数学奥赛金牌、入选国家集训队的成绩保送进入北京大学数学科学学院。在本科期间，和很多因竞赛报送的同学一样，他一度向往进入纯数学的殿堂，参加了不少纯数学的讨论班。

到了本科后期，为寻找自己感兴趣的方向，孙若愚广泛选修了统计、经济金融、计算数学、信息科学等方向的课程。大四时因高立老师推荐，他参与了袁亚湘院士在中科院的数学优化讨论班，通过这个讨论班接触到了现代优化前沿，逐渐建立了对优化和应用数学的研究兴趣。

在博士阶段，孙若愚选择了明尼苏达大学电子工程系，师从优化大师、无线通信和信号处理方向大牛、同样毕业于北大数学学院的罗智泉教授。

申请时，罗教授或许看出了他对工程学科的陌生和疑虑，说了一句让他至今印象深刻的话：You will not waste your wisdom (你不会浪费你的才智)。现在回头来看，他觉得这句话说得一点都没错，应用数学和工程学科的双重学习，不仅没有浪费才智，他反倒是经常觉得自己才智不够用。他鼓励数学系的同学积极投身应用学科的研究中来，这个方向大有可为，同样能发挥自己的聪明才智。

孙若愚（右）和罗智泉教授（左）以及同组师兄洪明毅（中）合影

孙若愚的第一个研究项目和现代信息科学的基石之一信息论有关：多用户网络的信道容量。这个问题是香农1948年的单用户信道容量界问题的自然推广，直到2009年才由一些研究者取得了重大突破，证明了一种叫“干扰对齐”的技术可以达到一个非常乐观的关于信道容量的上界。如果能达到这个信道容量，那么我们手机的下载速度可以比目前的高很多倍，5G、6G乃至7G网络的发展将获得坚实的基础。然而，当时只知道在非常特殊的情况下（无穷长时间下的平均）这个上界可以达到，在现实有限长时间下能否达到这个上界是一个悬而未决的问题。这个问题可以被转化为多项式方程组的可解性问题，因此和代数几何有密切的联系。

这个项目对现实世界的潜在影响让他很激动，和数学的密切联系也让他觉得兴致盎然，他第一次感觉到现代数学和现实世界结合得如此紧密。经过一年多时间的探索以及与导师的多次讨论，他借用一些代数几何的技巧，取得了任意长时间下的第一个理论界，发表在IEEE Transaction on Information Theory上。这是孙若愚第一次接触信息科学中的数学问题，他之前以为工程学科中的数学或许比较简单，但这个项目之后他发现，看上去简单的工程问题背后的数学其实非常困难，已有的数学研究里未必会有工具可以解决这些问题。所以“应用数学”并非只是“已有数学工具的应用”，而往往需要根据问题结构来发展自身的工具。

他博士论文研究的是推荐系统的协同过滤技术背后的理论，在学术界一般叫做“矩阵填充”问题。这个问题在工业界流行的重要原因是2009年的Netflix prize, 当时Netflix开放了大量的用户观看记录，悬赏百万美元征求算法来预测用户对电影的喜好。Netflix prize获奖者的主要模型以及之后的业界主流模型是非凸的矩阵分解模型，但该模型缺乏较好的理论；学术界的主流算法则是基于凸优化的核范数优化模型，有更优美的理论，但计算复杂度较高。

在优美理论和计算效果之间应该选哪个？在导师罗智泉建议下，他选择研究工业界常用的非凸模型。当时研究这个方向的人极少，因为没有多少成型的理论可供参考。经过两三年的探索，他给出了一个较好的理论分析，说明矩阵分解模型具有较好的局部几何性质，从奇异值分解得到的某种初始点出发，梯度下降法、交替最优法等常见局部方法都可以收敛到全局最优点。该文章发表在理论计算机顶会FOCS和信息论杂志IEEE Transaction on Information Theory上，也成为机器学习非凸优化研究的早期代表性文献之一。更贴近现实的分析使这篇文章也引起了工业界的兴趣，后来Netflix的工程师还和孙老师探讨过如何利用此研究的一些技巧提升Netflix推荐系统的训练。

在“矩阵填充”这个工作中，他慢慢体会到了应用数学研究的一些哲学：要以实际应用为导向，而非以理论优美与否为导向。理论不完善不优美还可以再发展，只要在现实中有用，一个研究方向就会有持久的生命力。比如2014年之后，非凸模型因为其实用性强，相关研究在机器学习和信号处理里成为了热门话题之一。然而，如果理论漂亮而落地应用前景渺茫的话，就有空中楼阁的危险；事实上他之前研究的干扰对齐，虽然理论优美、证明巧妙，单从数学品味上讲他可能更喜欢，但因为干扰对齐本身迟迟未能落地，这个工作也未能达到他所期望的影响力。

2015年孙若愚来到斯坦福大学访问另一位优化大师、冯诺依曼奖获得者叶荫宇教授，并随后跟随叶教授从事博士后研究。叶教授的经历很传奇（网上有报道），他对线性规划算法做出了重要的奠基性贡献，和企业界合作很多，几个学生创立的杉数科技在国内最近也声名鹊起。孙若愚和叶教授的合作主要集中在大规模优化问题的算法设计和分析。随着大数据的兴起，单步成本较低的分解类算法越来越流行，不过机器学习领域一般研究的是无约束的分块算法，对带约束优化问题则研究得较少。这个方向有个奇怪的现象：经典的ADMM方法（交替乘子法）只有在分成两块时才有严格的收敛性证明，但分成三块的话就有不收敛的反例。有趣的是，实验显示，一个非常简单的随机置换技巧可以让任意多块的ADMM收敛，但背后的理论却并不清楚。孙若愚舍弃了传统优化证明路子，创造性地选择从矩阵特征值的角度分析这个问题，发现了置换后的更新矩阵特征值分布的有趣现象，给出了随机置换ADMM收敛性的第一个理论分析，文章获得了INFORMS Nicholson学生奖第二名，发表在运筹学顶刊Math of Operations Research上。

在斯坦福从事博士后研究时，孙若愚发现越来越多做理论的朋友开始关注深度学习，深度学习课程在斯坦福也座无虚席。一番了解之后，他对人工智能方向的研究产生了浓厚的兴趣。他注意到神经网络长期以来不如支持向量机受重视，其重要原因是神经网络是非凸模型、缺乏强有力的理论支撑，而支持向量机是凸模型、有优美的凸优化理论做支撑；这和矩阵填充研究方向早期学术界重视凸模型、忽视非凸模型的现象类似，这种相似性让他开始思考是否非凸理论研究也可以放到神经网络中去。后来他意识到矩阵分解可以看做是神经网络的一个特例，因此进一步坚定了研究神经网络的非凸优化的决心。

孙若愚（左三）在湾区与斯坦福的小伙伴徒步

离开斯坦福之后，他拿到了UIUC的助理教授offer，但推迟了入职时间，来到距离学校20分钟车程的Facebook AI Research ( 现为Meta AI Research，简称“FAIR”)， 作为访问研究科学家工作，在深度学习三巨头之一Yann LeCun以及深度学习优化先驱者Leon Bottou的领导下对神经网络进行深入了解和研究。

从FAIR开始到UIUC工作期间，他把研究重心放在了神经网络的优化理论和算法上。经过了多年的探索，他在神经网络的几何图景、生成对抗网络理论、Adam算法收敛性研究等方向取得了多项成果。近年来，他发现“神经网络优化”或更广的“神经网络计算”方向的研究者虽多，但由于AI方向实在太大，很多研究者并没有机会接触到这方向的研究，因此他也在着力推广这个方向。

神经网络的优化和计算：基础、重要且不难，但被低估

孙若愚进一步解释了为什么他认为“神经网络优化”或“神经网络计算”这个方向重要且被低估。在FAIR向LeCun和Bottou学习的经历，让他对深度学习发展历程中优化的作用有了更深的体悟。

"深度学习先驱者们，尤其是LeCun和Bottou, 对深度学习的贡献不仅仅在引入新的架构，另一大贡献是全面研究神经网络如何训练，这体现在他们1998年的经典著作 Efficient Backprop中。LeCun、Bottou等人对神经网络优化和计算的理解相当深，这也是他们能成功训练出第一个商用CNN的重要原因。"

孙若愚注意到Google Brain、FAIR等AI机构的一部分研究者延续了深度学习先驱者们对于神经网络训练的研究，不断挑战固有对训练方法的理解、提出新的训练方法，其中不乏基于理论指导的研究。但理论界对这些偏计算和“工程”的研究了解并不多，而学术界的工程研究者则更关心训练方法本身、缺乏对其背后理论的了解。当北大的文再文教授邀请他为袁亚湘院士主编的中国运筹学杂志特刊撰写一篇综述时，他决定对深度学习的优化理论和算法做一个系统的总结。

https://arxiv.org/abs/1912.08957

https://link.springer.com/article/10.1007/s40305-020-00309-6

参考了机器学习主流的“表示-优化-泛化”的分解框架之后，他把“优化”进一步分解为“局部收敛- 全局几何”两个挑战，并以此为主线阐述了神经网络一些重要技巧（初始化、正则化、SGD/Adam、过参数等）和局部、全局优化的关系，希望搭起理论和实践中的桥梁，借此让数学家更了解深度学习、也让工程师更了解训练技巧背后的数学。

孙若愚的报告，解读神经网络训练要素与理论的关系

“神经网络表现不好应该从哪些角度去分析和提升？神经网络有没有局部最优，什么时候会遇到局部最优？多层网络为什么一般有正则化，什么时候可以不用正则化？Adam收敛吗，其超参数怎么调？如何根据表示和优化理论来定量判断不同网络架构的能力？这些基本的问题大部分AI从业者了解较少。"

在孙若愚看来，关于神经网络训练方法和技巧的问题，只要用神经网络做研究，就不可避免地会遇到。“用神经网络尝试一个新想法失败了，有相当的可能性是因为一些基本问题没有处理好，比如正则化、初始化、优化算法的选择、算法的学习率规则、网络的宽度和深度设置等等 ”。这些基础问题，极大程度地影响着研究结果，一线工程师也积累了一些经验，但对这些问题的底层理论和系统性理解还普遍缺乏。

“机器学习理论课程强调泛化和表示理论，不太讲优化理论，也不太讲表示理论中影响实际计算的部分。数学优化课程体系里，有很大一部分内容是约束优化和整数规划，无约束光滑优化（深度学习中最常见的优化问题的类别）受到的关注相对较少，已有的授课内容也多偏向于方法，而非和深度学习密切相关的理论部分。每个学科有自己的着重点，而“深度学习优化”或“深度学习计算“这一交叉学科在各个领域都不是传统研究方向。”

孙若愚介绍，出于多种原因，机器学习课程（包括斯坦福的CS224n、CS231n，李沐的“动手学深度学习”）都不太讲优化和计算理论，比如初始化和正则化的原理和细节、Adam的原理和收敛理论等都没有涉及。但其实这一方向并不难，也应该有机会被更多人知道，一个几天的短期课程即可帮助一些同学完成入门理解，并对后续使用神经网络产生较大的帮助。

认识到这一方向的重要性，孙若愚也身体力行多次在UIUC、北大暑期学校等开设相关课程，一本关于深度学习优化/计算的专著也有望在近期由Springer Nature公开出版。今年他将到香港中文大学（深圳）任教，也很希望能带领学生从基础理论出发研究相关领域，未来还希望通过写专栏、线上分享讲座等方式推广该方向的研究。孙若愚希望让更多人了解这个方向的发展、利用这个方向的知识指导实际中对神经网络的应用。

理想的理论应当具有“预测能力”

受益于基础学科训练打下的坚实基础，他看待机器学习的问题时总希望找到背后更本质的规律和理论。不过他强调，他经历了“不再只追求深刻”的思维转变，现在希望做的研究不仅有理论支撑、更能和应用有紧密联系。他以去年在TechBeat社区分享的NeurIPS oral文章Towards a better loss lansdcape of GANs 为例解释了这个想法。

孙若愚Talk分享

链接： https://www.techbeat.net/talk-info?id=591

“GAN (生成对抗网络)是深度学习最火热的方向之一，因为逼真的图像生成质量而备受关注。做GAN理论的文章很多，但已有理论却无法解释最简单的两点生成模型的训练过程。为什么GAN训练有时候失败有时候成功？为什么失败的时候对应的损失函数值是0.38左右? 如果最简单的实验都无法解读，那已有的理论是远远不够的。”

他介绍，GAN训练的一个重大挑战是“模式坍塌”，两点实验的训练失败一般是由于模式坍塌。学术界对模式坍塌的原因有多种解释，比如损失函数"不够好"和判别器"较弱"，但他认为这些解释并没有和基本的数学概念联系起来。通过对简单的两点模型的分析，他发现模式坍塌其实是某种局部最优。随后他建立了严格的数学理论来证明传统的GAN损失函数都会有很多局部最优点，且对应于模式坍塌 ；并证明了一个小小的改动(配对, RpGAN) 即可消除这些局部最优点。虽然理论上很漂亮，他指出，这个项目对他来说最花时间的部分却是实验验证。

“整个项目持续近2年，大概80%以上的时间花在设计实验和测试上，这多亏了两位机器视觉方向的合作者Tiantian Fang和Alex Schwing。全局几何理论对大部分审稿人来说都是陌生的概念，为了说服审稿人这个理论确实和现实是相符的，我们花费了比一般文章更多的功夫，根据理论做出了五个不同的推测，并在实际数据上验证了所有的推测。”

他指出，这个研究范式“提出理论--根据理论提出实验猜想---验证实验猜想”其实在物理学或科学领域更常见。理想的“理论”应当具有“预测能力”，可以提出预测，并通过实验加以验证或证伪。这篇GAN的文章也是比较好的践行了这个范式。

不过他也坦言，这样在同一篇文章里把理论、预测和实验验证都做到的文章并不多，这篇文章能做到也有一定的运气成分。他提到，在他的另外一篇文章"On the benefit of width: disappearance of basin"中他们猜想神经网络增加宽度可以让损失函数曲面上的强吸引子 (basin) 消失，但并没有想到如何做实验验证，后来才发现Maryland大学一篇文章 (关于可视化神经网络损失函数曲面) 的实验比较了不同宽度网络的损失曲面 ，部分印证了这个猜想。

为什么这么强调实验验证呢？他认为实验验证只是一个手段 ，其目标是“理解”问题的本质。因为深度学习领域的理论比较多，为了辨别哪些理论能给出真正的理解，需要实验手段来帮助甄选相应的理论。应用和理论是相辅相成的关系：应用帮助甄选和发展理论，选出来的理论可以帮助设计更好的用于应用的方法/网络/算法。

“从社会全局来讲, 基础和应用学科的长远目标应该是一样的，都是提高生产力、解决社会问题等等，但短期内做了分解。比如基础学科追求体系的搭建、理论的漂亮、技巧的复杂；应用学科追求落地和实用——这造成了两者表面上看上去目标不一致、发现形态不一致。”

孙若愚提到，数学系出身的他也并非一开始就意识到这些问题。

现在他希望给更多不同背景的同学传递一种理念——两种学科并非是割裂的、理想状态应该是互相促进、互相生长的。按流行的说法，需要培养“闭环意识”——“无论做理论还是应用研究，要看到自己在整个从科研到产业的链条中的位置。没有这种闭环意识，容易会失去方向感。”

从“拿着锤子找钉子”到“先找钉子再设计锤子”

入职香港中文大学（深圳），孙若愚即将迎来一批自己的新学生。

当被问到博士生应该做什么样的研究，他回忆起在斯坦福参加Percy Liang组里一次活动的经历。当时有人提问做研究是否应该“拿着锤子找钉子”（大意是拿着同一套工具或方法用到不同问题上，可以指拿同一套理论比如SGD的收敛理论用到不同的应用上，也可以指拿同一个技术比如GAN用到不同的场景中)，当场有不少人认可这种研究方式。他的看法则有些不同。

“拿着锤子找钉子是一种常见的研究方式，对于初涉学术领域的人来说也是很有用的技能。它至少需要熟练掌握锤子、知道哪个钉子可以用哪个锤子。不过对于有志于攀登学术高峰的研究者，如果能找到好钉子、设计相应的好锤子，可以做出更大的原创性贡献。”

他进一步解释，“拿着锤子找钉子”可能被“锤子”所局限，导致无法在解决钉子问题上取得持续进展。所以先“找准钉子”，即找到实际应用中真正的困境、瓶颈、问题，知道一线工程师关心什么，然后再“设计相应的锤子”，即根据“钉子”设计相应的解决方案或数学工具。比如神经网络理论研究，他的关注点和很多理论研究者不同，理论研究者往往关注泛化性如何分析、如何解释过参神经网络表现很好，他则更关注一个实际工程问题：如何训练一个小网络。

“小网络训练是一个不错的‘钉子’。它至少有两方面的应用: 一是当前的很多大模型需要计算资源过多（当前最大的模型训练一次花费上百万甚至千万美元），若能训练较小的模型得到类似效果，会节省很多金钱、时间和碳排放；二是很多硬件设备如手机、无人机、物联网设备等无法部署常规的神经网络，因此一个可训练的小网络会很有实用价值。但小网络训练非常困难，我们猜测背后有很根本的理论原因，比如我们最近的理论工作展示了小网络训练的一个难点可能是损失曲面的大量强吸引子。我们可能还远没有理解小网络训练的最佳方法。”

他用这个例子说明“找钉子”是什么意思。他之前把钉子设置为“理解为什么大神经网络能训练得很好”，但后来发现这个目标下的研究难以和一线AI研究人员的关切产生直接联系。后来他修改了钉子为“如何训练小网络”，发现了大量相关的应用研究分支（如边缘计算、剪枝、彩票假设等)，他感觉这个新的目标可能会促成更多理论学者和应用研究者的对话，可以产生更多有意思的研究。

至于“造锤子”，他的解释是这样的：如果认准了一个“钉子”想解决它，那么已有的工具往往是不够用的，比如GAN的模式坍塌问题，已有的理论研究都无法解释，所以他只能自己从零开始建立了相应的理论，相当于自己设计了个“锤子”。这也是解决应用问题的一个常见现象。这个时候具有良好理论功底的研究者就有了发挥的空间。

那么，对不同背景的学生有什么建议呢？

孙若愚认为基础领域出身的学生往往有足够的对理论的好奇心，比如看到泛化理论、群论、代数几何等"高端"理论就觉得内容丰富、值得学习，但对实际应用的好奇心则相对缺乏。他建议这部分同学尽可能多关注科技应用前沿、多与应用研究者对谈，了解重要的应用问题，而非仅仅追求理论的高深、不管理论的实际应用。“无用之用乃为大用”之说固然有其道理，但对计算机、工程等学科来说，还是应该始终以应用（可以是长期应用，不一定只是短期应用）为导向。

他也很关心如何帮助应用背景的同学走向理论应用结合之路，他建议学习一些“理论思维”，不仅仅是具体的定理和理论如何指导实际应用，也包括如何从应用问题中抽象出理论问题、如何找简单模型进行理论分析。

无论是带学生还是自己做研究，对于理论研究与现实应用的互相影响，孙若愚有理想主义的一面，他坚信并且将一直践行，AI研究应该有更稳固的基础根基，理论研究也务必要照耀AI的实际发展之路。他认为，有价值的研究，应当是有影响力的研究、能最终提高生产力的研究、有足够洞察力的研究。

“过去30年的理论研究为现在神经网络领域的繁荣打下了根基，我相信我们现在的理论和应用的交叉研究也将影响未来AI的版图。”

招生信息

孙若愚教授即将加入香港中文大学（深圳）和深圳市大数据研究院，目前主要研究方向为深度学习理论和算法、生成模型、学习优化、图神经网络、AI在通信网络的应用等等。

欢迎数学、计算机、电子工程、运筹优化等背景，对AI、优化、通信等领域感兴趣的同学申请博士、博士后、访问学者等职位，可将个人简历（包括完整的学习与科研经历、成绩单、未来研究兴趣，论文列表等）和岗位需求直接发送至sunruoyu@cuhk.edu.cn。

嘉宾介绍

孙若愚

孙若愚是伊利诺伊大学香槟分校(UIUC)工业与系统工程系、电子与计算工程系（兼）助理教授，即将加入香港中文大学（深圳）数据科学学院任副教授 (终身)。主要研究方向为数学优化、机器学习、无线通信，尤其是深度学习算法、生成对抗网络、自适应梯度方法、大规模优化算法、学习优化等等。在加入UIUC之前，他曾任Facebook AI Research的访问科学家，斯坦福大学博士后。他于美国明尼苏达大学电子工程系取得博士，北京大学数学科学学院本科毕业。他是最早研究机器学习的非凸优化全局最优性质的研究者之一，发表在FOCS的相关论文获得了INFORMS优化协会学生论文竞争的Hononrable mention。曾获得INFORMS乔治•尼科尔森学生论文竞赛的第二名。担任ICLR, NeurIPS, ICML, AISTATS等机器学习会议的领域主席。在机器学习会议以及Mathematical Programming、SIAM Journal on Optimization等顶尖优化杂志发表多篇关于深度学习与优化理论的文章。

-The End-

「AI红人荟」系列回顾：

[13]

如果你想和他们一样，亲自来到TechBeat分享，或者想推荐身边闪闪发光但是尚未入驻社区的AI工作者——欢迎填写下方表单自荐/推荐，说不定下一个TechBeat红人荟专访，主角就是你！

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择！

推荐讲者成功也有奖励哦~

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线330+期talk视频，900+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

>> 投稿请添加工作人员微信！

⤵一键送你进入TechBeat快乐星球