ALBERT一作蓝振忠：从谷歌离职回到西湖大学，只为打造一个24小时在线的「心理咨询师」

2019年，一篇题为“ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations”的工作横空出世，其中，与爱因斯坦同名的轻量级预训练语言模型“ALBERT”因以极少的参数量在 GLUE、SQuAD 2.0 与 RACE 等三个基准上达到了 SOTA，而在自然语言处理研究社区引起了极大关注。这篇工作由当时正任职于谷歌研究（Google Research）的中山大学校友蓝振忠主导完成。同年，他还与一众国内NLP研究人员合作推出了对标 GLUE 的中文预训练语言模型评价基准 ChineseGLUE（后来简称“CLUE”），同样大受欢迎，他也因此红极一时。但鲜为人知的是，当时距离蓝振忠从卡内基梅隆大学（CMU）获得博士学位只有大约两年的时间，而蓝振忠在 CMU 读博时的主要研究内容是计算机视觉与多媒体分析。博士毕业后，他之所以从视觉转向语言，是因为他想打造一台能够辅助心理咨询的对话机器人，而语言处理是对话系统的核心。可以说，ALBERT 的诞生，其实是蓝振忠追求“AI向善”过程中一个美丽的意外。2020 年，蓝振忠从谷歌离职，回国加入西湖大学工学院，成立了深度学习实验室。3个月后，他与团队推出了国内第一个用于辅助心理咨询的 AI 机器人「小天」，经过不断迭代，目前已有超过一万个小程序用户，且仍在不断增长。相比短短两年内就在谷歌学术上获得 1500+ 引用数的 ALBERT 模型，蓝振忠更愿意谈谈他与「小天」之间的故事。

作者 | 陈彩娴

编辑 | 琰琰

1

起因

“为什么会想到研究 AI 辅助心理咨询？”蓝振忠停了下来，沉思了一会。凡是与蓝振忠打过交道的人，都很难将这位总是带着开朗笑容的广东男生与“抑郁症”、“心理问题”这类消极字眼联系在一起。事实上，这个想法的产生，不是来源于蓝振忠本人的亲身经历，而是源于一场悲剧的目睹：当时，2017年，蓝振忠即将从卡内基梅隆大学博士毕业，结果有一天从朋友那得知，一位他曾与之共同成长的同窗因心理压力过大、得了心理抑郁症，选择了自杀。这件事令蓝振忠十分震撼：

因为我之前都是比较直男的，从小到大都是乐天派，科研也做得比较顺利。加上之前在心理方面所接受的教育比较少，所以我当时是第一次听说，原来抑郁是会死人的。

从那时候起，蓝振忠才开始关注到心理抑郁群体。他的性格比较内向，平日很少社交，与身边的同学都没有太深入的交往，但这件事发生后，他仔细留意，才发现原来身边有很多同学在吃抗抑郁药。

图注：卡内基梅隆大学事实上，博士生是公认的心理压力最大的群体之一，“因为读博就是要开拓新的领域，没有人告诉你要做什么、怎么做，你也不知道你所选择的研究方向是不是一条死胡同，但你又必须坚持走下去，所以特别难。”读博那会，他也经历过 paper 被拒、抓狂的时候，但没想到压力会带来这么严重的后果。蓝振忠来自广东潮州，是一个地道的海边人，喜欢游泳。读博那会，虽然有压力，但他极少陷入悲观的情绪。这可能与他乐观、自控与热爱运动的性格有关：在 CMU 读博时，他每天早上都是六七点起床，先去游泳，游一个小时后再去实验室做研究，呆到晚上九点，然后准时回家陪家人。他从来不把工作带回家里，也不熬夜。“你看我整天都是笑嘻嘻的。我也不是很 care 外面的事情，投出去的 paper，结果是好是坏我都无所谓的，所以可能受伤比较少。”蓝振忠回忆。蓝振忠的“开阔心胸”，或许也受到了博士导师 Alexander G. Hauptmann 的影响。2010年从中山大学获得软件工程与统计学学士学位后，蓝振忠先是在卡内基梅隆大学的感知实验室（Human Sensing Laboratory）跟着 Fernando De La Torre 研究计算机视觉，取得了不错的研究成果，偶然结识 Alexander Hauptmann，2012年开始到 Alexander Hauptmann的门下读博。在蓝振忠的印象中，Alexander Hauptmann 是一个很有生活情趣的人，热爱马术与旅游：“他有一个庄园，家里养了三匹马，估计他的大部分收入都放在这上面了。他跟他夫人都很喜欢骑马，拿到过很多骑马比赛的奖励。而且他经常来中国旅游，去过的地方比我要多得多，包括内蒙古、新疆、西藏等等。”

图注：Alexander Hauptmann参加骑马比赛「他在生活上有其他的寄托，不会只着围绕着科研转。跟着他，你会慢慢学会更多地从人性的角度去看问题。」蓝振忠谈道。在了解到身边有许多人饱受心理问题困扰、又身处孤立无援的境地后，他就想：“我能做点什么？因为我们做许多研究，目的就是希望能够帮助到别人。”他接着解释：“其实我一直在寻找一种意义感。我对发很多论文不是很感兴趣，因为觉得没什么意思。但如果我的研究能够真正帮助到别人，那么我会觉得特别有意义。”蓝振忠的哲学观是存在主义（Existentialism）：

我觉得一个人最大的价值有两方面：一是求真，比如探索科学真理、社会本质与知识本质；二是求善，即人生存在的价值就是理解世界，理解他人，然后能够帮助他人。你帮助的人越多，你的价值就越大。当然，有些事情也是我管不了的，只能说在我的能力范围之内。就我而言，我希望利用技术的力量去对社会做出最大的贡献。

2017年5月，蓝振忠从卡内基梅隆大学获得博士学位，先是去了位于洛杉矶的一家创业公司（WiZR）学习创业的能力，又面向因为压力过大而患得心理亚健康的人员组织了一个留学生抑郁互助团体，希望大家能够相互倾听与支持。但随着越来越多的人加进来，运营工作量越来越大，有专业的心理咨询能力的团员又十分少，蓝振忠开始想：能不能用人工智能技术来提高心理咨询的效率？他坦言：事实上，在与心理焦虑或抑郁的人沟通时，即使他能理解他们的情绪，也曾经历过相同的难处，但也很难与他们共情。「因为我自己不大会安慰人，但我也会想：为什么我不能做到？我是不是可以学习一个套路去开导他们？但是我又比较木讷，很难学会，教自己还不如教机器。」于是，蓝振忠想到了打造一个像电影《她》（Her）里面的对话系统，能够陪伴人类聊天、说话，给予他们支持，开导他们的心情。
2

入谷歌，造ALBERT

2018年2月，蓝振忠立志从事自然语言处理研究，并加入了谷歌研究（后来更名为谷歌AI ）下的研究与机器智能组（Research & Machine Intelligence group）。谈及选择谷歌的原因，蓝振忠解释：

在计算机视觉领域，诸如 ImageNet 的核心工作，如果你有一个小的集群，就可以训练起来。但如果是像 BERT 那样的大规模语言模型，只有大的集群才能跑起来。所以，就自然语言理解的研究而言，在大公司做研究会更有优势，因为在大公司的集群里，你能跑的实验会多很多。

他原是为了研究 AI 辅助心理咨询加入谷歌「学习」自然语言处理，意外的是，只经过一年多的「打基础」阶段，他就在自然语言能处理研究上取得了令人瞩目的成就：推出了基于BERT的轻量级预训练语言模型「ALBERT」（A Lite BERT）。

「这个想法是我在骑自行车回家的路上突然蹦出来的。」蓝振忠介绍，「所以我觉得做研究真的是运气的成分居多，就像那句话说的，『文章本天成，妙手偶得之』。」当时，他应国内 AI 教育公司贪心科技的邀请准备一个演讲，于是就把自然语言理解的工作梳理了一遍。在梳理的过程中，他发现一个问题：目前大规模预训练语言模型（如BERT）的效果虽然非常好，对各项任务都有明显提升，但参数量太大，比如 BERT-large 的参数量就超过了 3 亿。「能否在性能不变的情况下减少参数量呢？」带着这个疑问，蓝振忠开始寻找解决方案。当时，有许多人在研究知识蒸馏，但知识蒸馏的学习能力受限于大模型。如果想要在大模型的基础上有所提升，就需要做架构上的改变。于是，他们就借鉴了计算机视觉的一些做法，比如 MobileNet，从架构创新入手，通过对词向量的投射做因式分解和对隐层的参数做共享来分别减少这两个模块的参数量。他们的工作（“ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations”）最终被 ICLR 2020 接收，新颖的观点引起了广泛关注，蓝振忠成为自然语言处理领域小有名气的青年研究者，ALBERT 被应用于谷歌新闻、谷歌助手等产品，当时与他一起工作的实习生陈明达（丰田工业大学芝加哥分校在读博士生）后来也获得了2020年谷歌博士生奖学金。

图注：BERT与ALBERT的参数量对比，ALBERT的参数量约为BERT的十分之一这个工作从想法的萌生到最终完成，只用了大约一个暑假的时间。事后回想，蓝振忠想，除了「运气」，他能完成这项研究，也要归功于他在卡内基梅隆大学计算机科学学院下的语言技术研究所（Language Technology Institute）读博时所接受的学术训练。比如批判性思维的养成：「其实那个idea之所以会蹦出脑海，并不是无中生有，而是你之前就读过一些相关工作，进行了大量的思考，只是你当时没有想法，后来突然之间就蹦了出来。」此外，他在Alexander Hauptmann 的带领下也练就了一身强悍的工程实现能力。「有一个好的 idea，能够快速做出来，也是因为工程能力比较强。」蓝振忠解释，比如，神经网络需要很多调参、做很多实验，在做 ALBERT 时，他们一共做了几百个实验，ALBERT 只是其中的一小部分，「如果没有管理好，很容易做到后面就把前面的忘了」。除了蓝振忠，Alexander Hauptmann 还带出过许多优秀的中国学生，包括现任阿里巴巴数据科学研究院副院长的金榕、Dada Group的创始人杨俊等。「博士期间的成长是多方面的，包括批判思考、如何写论文、做研究、做presentation等。当你掌握了做研究的方法后，从一个方向转到另一个方向后，也不是很难出结果的。」他解释，且此前他在做视频分析时也更多是围绕特征理解，与ALBERT这个工作有一定的延续性。再谈 ALBERT，蓝振忠表示：

其实谷歌团队后来有了更强的工作，好汉不提当年勇，所以我现在的重心更多是做更好的项目，比如「小天」。我只能解决一些现有的科学问题，因为从实现真正的语言理解来看，ALBERT 只是万里长征的一小步，甚至连很小的一步都算不上。像 GPT 与 BERT 这类工作才是开创性的。

3

回国打造「小天」

虽然ALBERT的诞生是偶然，但ALBERT与CLUE的发布，以及在谷歌的两年工作积累，给了蓝振忠回国研究 AI 辅助心理咨询机器人的信心。
2019年年底，他决定回国。当时研究自然语言处理的另一知名学者张岳刚好在西湖大学工学院任职，蓝振忠便与他联系，张岳说：「你要不要来讲讲你的工作呀？」蓝振忠就去做了一个学术演讲，「讲完觉得西湖大学很不错，就过来了。」

图注：西湖大学云谷校区「我是2020年1月15日回国的，刚好赶在新冠疫情爆发前，好险。」至于为什么选择回国做这项研究，蓝振忠的解释是：

因为这项工作需要多团队协作，但在谷歌很难有这么大的团队来支持我做这件事情。谷歌的模式是：如果你有一个idea，你要自己先做一段时间，如果有人感兴趣，再慢慢加入。你并不能百分百保证这个idea 一定是work的。所以总的来说，沟通成本比较大。

心理出现问题的人，最需要的是什么？为了寻找这个问题的答案，蓝振忠曾请教过许多心理学专家、教授、精神科主治医生，还找过患者调研访谈，最后总结出：许多抑郁/焦虑患者的情绪是突然爆发的，如果没有及时、专业的干预，悲剧的发生可能就在一秒之间。针对这个需求，蓝振忠想做一个能够随时随地陪伴、对话的专业心理咨询「机器人」。与已有的陪聊机器人、帮忙扫地订票的任务型机器人不同，这个机器人专门针对心理咨询，同时又需要理解人类情绪、具备长期记忆能力。这就意味着，它不仅需要AI中的语言理解与处理技术，还需要搭建对话系统的工程师、提升对话专业度的心理咨询师等等。在这方面，西湖大学给了蓝振忠团队有力的支持，比如可以自由支配的、丰富的启动资金，纯粹自由的科研环境，也没有冗赘的行政考核，他可以更专心地做研究。「进来之后，真的是远超我的预期。」蓝振忠不掩赞叹。蓝振忠在2020年6月正式加盟西湖大学，创立了深度学习实验室，随即组建了一支 30 多人的团队，又分为4个小团队：研究对话、理解与情感计算等内容的纯 AI 技术组，专业咨询师团队，负责系统打造的工程团队，以及负责量化心理咨询的心理研究组。此前，蓝振忠在 CMU 读博与谷歌工作所训练出的管理能力与工程能力派上了用场。加上团队的共同努力，深度学习实验室在2020年9月就成功探索出了一个初步的模型，为接下来的研究奠定了基础。之后，又经过八个多月的努力，他们搭建了一个较完整的对话系统，还开发出了一个小程序，起名为「小天」，主要做公益咨询，为线上来访者提供免费的对话咨询服务，目前已有超过一万名用户。

说来也巧秒：在自然语言处理领域，目前研究社交型计算语言与情感语言理解的知名「NLPer」大多来自卡内基梅隆大学语言技术研究所（LTI），比如杨笛一、俞舟等人。与他们不同的是，蓝振忠在 CMU 时没有接受过专业训练，属于「半路出家」。对他来说，CMU读博对他最重要的成长是培养了他的「实用科研」精神。

「这可能与CMU的科研传统有关。CMU的科研经费主要来自于 IARPA（美国高级情报研究所）与 DARPA（美国国防部高级研究计划局），这两类资助项目都要求你必须产出一些实用的成果，比如造月球车。这不是你发多少篇论文就能完成的，而是真的要做出一台月球车。」「有很多人来寻求咨询，但我们目前只能服务一小部分人，其实心里还是很内疚的。但我会很努力去做这件事，真正帮助我所能帮助的人。」蓝振忠坚定地说道。
4

「小天」的机遇与挑战

互联网有个知名的段子：「小天是我见过最单纯善良的人。」此小天非彼小天，但在蓝振忠与团队成员的心里，这个中性、阳光的名字，正寄托了他们对于 AI 辅助心理咨询机器人的期望。在谈起这项研究时，蓝振忠感慨，虽然天性乐观，但自己的内心会有一种「紧迫感」，因为经常在网络新闻上看到因为受心理问题困扰而一蹶不振、甚至选择轻生的例子。除了个体的事例，还有许多宏观的数据：

2020年10月9日，世卫组织通报过一组数据：全球有近10亿人患有精神障碍，每40秒就有1人死于自杀。在中低收入国家，患有精神、神经和药物滥用障碍的人中，超过75％的患者没有得到任何治疗。

具体到中国来说，9500万抑郁人群中，很多人并不知道自己是抑郁症，哪怕知道了，也只有很少一部分人选择去医院。

心理问题得不到及时干预，主要有两方面原因：一是治疗费用，目前针对抑郁症的处理方法主要是服用抗抑郁药物与心理治疗，需要长期投入，花销如同一个无底洞；二是医疗资源紧缺，主要集中在大城市，普通县城基本没有心理咨询或治疗机构，更别提偏远的山区。且不提医生的体力，蓝振忠曾拜访专业的心理咨询师，发现随着受心理问题困扰的人越来越多，高质量的预约可能要排到两个月后，且价格十分昂贵，普通的心理咨询价格约为每小时 400 元。「有些网站的人工客服，到了晚上就成了很多青少年的“树洞”，“不想活了”、“活着好没劲”……这些话经常在深夜跳出来；很多城市有开通24小时心理危机干预热线电话，但夜里经常打不通，因为打电话的人实在太多了。」「我研究『小天』，就是为了使每个人都能够在 TA 需要的时候得到相应的、专业的心理咨询与陪伴。」蓝振忠谈道。在训练「小天」的过程中，他们是先叠一层类似 ALBERT 的预训练模型，让「小天」学会语法、语义的理解，然后通过网络对话数据让「小天」学习对话，再通过真实的心理咨询对话数据对模型架构进行二次标注，让「小天」学会咨询，以此来提高它的专业水平。「小天」的核心技术是对话系统，目前仍处于训练模型阶段，但已能保证 30% 的自动对话，剩余 70% 的对话由心理咨询师指导。但蓝振忠相信，随着越来越多心理咨询师的加入，「小天」接触到的案例越来越多，它也会越来越聪明，越来越专业。

让 AI 陪你说说话

雷锋网雷锋网雷锋网