专访Yoshua Bengio：如何高效建立和运营一家机器学习实验室？

分享至

大数据文摘出品

编译：瓜瓜、艾玛、蒋宝尚

人工智能和机器学习风靡全球，高校作为人才培养基地正在顶风而上，如何建立相关的实验室，“当家人”如何管理实验室才能最高效？关于这些问题，无论国内，还是国外的学者都在探索一条适合自己的道路。本文选自Graham Taylor对Yoshua Bengio的专访，从他们的一问一答中，希望你能够获得一些经验和思考。

Graham Taylor是CIFAR机器和大脑学习项目中的一名学者，也是圭尔夫大学工程学院的副教授。Yoshua Bengio是CIFAR机器学习项目的联合主任，同时也是蒙特利尔大学计算机与运算系的教授，数据学习算法中心的加拿大研究主席。

Graham Taylor (GT)：你能告诉我你在系里最初做什么工作么？

Yoshua Bengio (YB)：在蒙特利尔大学我曾经是唯一一个从事机器学习和神经网络研究的，我当时很有动力，对每一位学生都很负责。

我利用了我在学校外的人际网络，一些是我博士后之前一起工作的同事。例如Geoff Hinton和其他在多伦多的人。和同领域的人交流是很重要的，因为我是学校里第一个研究这个领域的学者。

我也非常幸运学校能够认可我的工作，感谢学校减轻了一些我教学上的任务。

GT：从一开始就是？

YB：是的，在开始的七年里，我只用教授两门课。然后我当上了加拿大研究主席，就只负责一门课程。我认为一边承担教学重担一边建立实验室可能非常有挑战性。当我有了第二个孩子时，我开始后悔自己之前工作太拼命。我对于学校里的职位有点力不从心。现在往回看，我应该更好地平衡工作与生活。

GT: 当时学校内部有人指导你吗？

YB：没有，一个人也没有。可能我应该联系一些年长的教授，不一定是同领域的。如果我以前没那么害羞的话我会尝试获得更多反馈。我当时没有意识到这是可行的。新的教员应该扩展关系，建立联系。系里也鼓励大家那么做。资深教员们乐于做这些，虽然他们可能不会太主动。

GT：在这些外部关系之中，作为一个教职工你的得到的最好的建议是什么？

YB：在我当教授的前十年里，我和Geoff Hinton有一些互动，虽然都是远程的。但是它们帮助了我把精力放在更重要的事情上。

如果重来一次，我不会把注意力分散在不同方向，只顾当下的想法而无视长远的挑战。当你尝试立足的时候这很难，因为你会焦急地想发表更多论文来获得一些荣誉。但是你至少要花一些时间来专注于长期规划。如果你过度追逐荣誉和职位，很容易陷进去，从而错过一些重要的东西。我跟Geoff的讨论帮助了我意识到这点。

GT：现在机器学习应用受到广泛关注，一些公司和合作者都带着项目来找你，你会认为这加剧分散了你的注意力吗？

YB：每个人都有自己要走的路。为了在某些领域变得擅长、取得突破，你必须成为一个专家。最好集中精力做一件事，然后变成这个学科在世界上最强的人。

机器学习最有魅力之处是：他可以和很多应用场景相结合。对吧？在90年代我接触了很多应用。

CIFARAzrieli Global Scholar, Graham Taylor

GT：跟现在有什么不同吗？

YB：在九十年代，工业界对神经网络和机器学习有很多兴趣。加拿大教育系统鼓励这样的跨界合作。为基础科学争取了很多资金。用项目中的资金资助长期的调查研究。这不是正规手段，但教育系统给基础研究提供的资金不足，无形中助长了这种事情的发生。我们应该赋予长期研究更多的价值，因为这将会带领我们看到更多AI领域的惊人进展。

我再对拨款的问题补充一点。

我开始的时候意识到，当你给类似加拿大自然科学和工程研究委员会（NSERC）写提议的时候，他们不太关心你是否会做提议上写的东西。他们只关心研究者几年后可以拿得上台面的东西。

在研究中很难预测以后什么会火，所以灵活应变很重要。然而如果和一个公司签订协议帮他们做事的时候就不是这样了。因为你的主要目标变成让你的投资人满意。对于NSERC来说，关键就是做好的科研，发表，然后在研究道路上保持灵活性。

GT：在管理实验室上你有什么好的实践经验吗？

YB：帮助。早些时候我没有很多钱给我的博士后。选择博士后都是有足够知识量的，所以他们不用再花两年时间了解最新情况，可以帮助管理一些比较大的团队。

我们做PhD的时候没有学习怎么管理和带领团队。一件对我有益的事情是，认识到学生中那些与生俱来的领导力。有一些博士生他们乐意并且善于管理。所以有时候他们不仅仅带一个学生，有些人经常辅导好几个学生。

我们不应该低估年轻人的能力，他们比一些年长者更擅长做管理者。

GT：现在博士后有各种各样的工作机会，是不是更难招到高质量的博士后。

YB：是，也不是。

GT：的确，因为大家都会被吸引到你这里来。但是你有什么建议吗？

YB：我的一个原则是找那些有机器学习相关的数学或者物理背景的人，这些人学习能力很强大。所以如果你想招一个两到三年的博士后，这些人是值得招的。他们不会在Google Brain之类的地方找到工作，因为他们还没有展现自己的机器学习能力。这种赌博通常对我来说很奏效。

GT：你会怎样劝说毕业生留校当博士后而不是去直接工作？

YB：如果他们来机器学习实验室并参与研究发表，会极大地提高他们在行业里的价值。如果这是之后他们想从事的，从博士后开始会容易得到更好的机会和待遇。

当然这也看人。有些博士生不用当博士后就能取得很好的机会，对吧？在这种情况下，影响因素就会变成“你想要选择学术道路吗”，因为金钱不是人们唯一在乎的。如果是这样，那么做博士后就是一个好的选择：去学习学者是怎么工作的，参与到管理角色甚至是资金筹集中。

产业不是一个同质性的东西。在基础研究实验室工作和在一个没有那么自由的地方工作有很大区别，你会成为一个为其他研究者工作的熟练技术员，或者为有很多开发任务的应用研究工作。产业中有很多不同种的工作，很少会是博士后会青睐的那种。

GT：但是产业中的工作人数却似乎在增长。例如Google Brain，Deepmind，FAIR，你同意这种观点么？

YB：是的，很多像Element AI的新公司也是这种类型的。

GB：对于实验室的人员规模来说，你认为多大规模是理想的？

YB：取决于教授，和管理人员的经验。我一开始有三个人，现在有一个很大的团队。但是这都不可能是一步到位的。所以我渐渐学会了如何管理更多的人，建立基础设施，取得资助。

你可以根据自己的速度拓展。有些人超过五六个学生就会觉得不舒服，那也没问题。当然当你有更多学生的时候你会发表更多文章，但是也意味着你在每个学生身上花的时间更少了，可能回报也会少一些。

团队合作非常重要，或者说是不要用项目把每个学生分割开来，要保持灵活性来激发新的合作。这样他们跟教授就不会是一对一的关系，他们也会是大关系网中的一部分。

GT：也就是点对点沟通？

YB：没错，这对大家都有利，如果信息反馈所依的那个人经常不在，会让团队感觉不安，但如果他们还可以依赖另外十位同事，这将给他们创造一个更丰富的沟通网。

GT：那么创造这种氛围的机制是什么?

YB：物理上的亲近:学生要在实验室呆着，别在家工作。让他们能够自由地在你所建议的范围之外，与其他教授进行合作，开展新项目。尽量减少不同教授门下的学生之间的隐碍。让小组变大，学生可以自由无碍地与其他教师进行讨论。可以定期组织活动，如阅读小组，研讨会和外出拓展。

GT：最近我跟个在美国工作的人聊了下共同监管，他告诉我，在美国，监管者的第一个主题是如何分配资金，但这种现象在加拿大还未出现。

YB：这里的学生费用比美国低很多，这是个重要因素，对吧?但也许它也是一种文化重要的是不去考虑资金，优先考虑合作，且不设定期望值，跟资金和合作相关的另一因素是:我对预设协议没有信心。

换句话说，如果我们事先达成正式协议了，你我共同监督学生，他们也在此规则下看站工作，那么台作将无从谈起。

实际上是因为我们有共同的利益，我们定期交流，然后合作才水到渠成，对吧? 能抓住某些想法，是值得鼓励的。预设的协议关系，可能会运作的很好，但也可能像个车笼，捆绑住A和B的特定项目和他们之间的关系。而其实或许A和C之间的关系更和谐。

比方说,在主实验室中,我们有一个不成文的概念,即有这么一个资金库,你可以与任何你想要的人合作并从中得到资助。

GT：那是因为参与该项目的主要调查人员决定共享资源吗?

YB：我的资金是共享的，但这并非是固有模型，只是说资深教授通常更容易获得资金，所以我自己申请了资金。合同也是如此。一天的工作结束，如果不需要为钱发愁，那么玩乐和探索将会主导我们的行为。

首先，这不仅仅是研究，去参加研讨会和会议，去参观其他实验室，主动些，不要等别人来邀请。

GT：这一点比较重要，特别是对新教员来说，他们会考虑其他人未涉及领域的未来发展方向，或者在现有教师和高级会员的领域，是否还可以进行这种合作。

YB：是的。只要能与那里的主要职员们好好相处，你去现有的团队就容易多了。因此，如果你很欣小组精神，那么初级职员上手很容易。他们不必为资金发愁，可以对观点反复推敲，获得共同监督，较快获得工作反馈。

GT：我想该谈招收学生。如果你兴趣寡淡，该如何回应?兴趣浓厚又该如何处理?

YB：首先，这不仅仅研究，也是种宣传。去参加研讨会和会议，去参观其他实验室，主动些，不用等别人来邀请。你可以说“嘿，我来这儿做场演讲怎么样?”然后整个领域的人都认识你了，如果你要走拨款的正规渠道，就会涉及到这些。

这对招聘和教学都意义重大，教学的作用之一是你得让学生了解你，特别是你目已的研究生成者本科毕业组，可以聊些都关心的事，打好关系，这样你也清楚学生的优点，试着劝他们来你的实验室工作。

我手下有些来自本科院校或其他地方的暑期实习生，通过这种方式，你可以了解一个人是否具有研究潜力。这比仅通过一次面试来招聘要保险些，毕寬你要跟这个人签5年合同的，不是吗? 去年这里有700个应用程序，今年可能会有1000个，再加上引进的几十个。所以你必须很有条理。

GT：最后我们想谈谈行业合作，你怎么判断合作是否恰如其分？

YB：判断不了，只能在过了几年后才领悟。通常情况是双方的期待值不匹配，这一点必须谨慎，要跟企业讲清楚，学术人员可以做的是什么，重要的是，让他们明白学术不是廉价劳力，他们不生产产品，而是通过了不起的创意实现业务转型。所以企业要明白，这是投资的一部分，企业内部人员需要将算法和原型转变为产品，否则合作注定会失败，这意味着公司需要付出更高成本，避开不谈很容易，但你必须这么做。

GT：但你想要跟新教员分享的?

YB：听从你的直觉。许多人缺乏必要的自信，从而与机会失之交臂。作为研究人员，我们的主要职责是提供有价值的想法来推进知识。这些想法往往隐藏在我们大脑中的某个地方，我们必须给予充足的时间，来生成这些想法。花一周的空间去思考，不编程，不写作也不阅读，专注的想想那些让你烦恼的事情。