数据竞赛上,大多数获奖方案都会用到XGBoost。
做 AI 芯片相关工作的工程师,绕不开Apache TVM。
2023年,让大模型能在 iPhone、Mac、网页浏览器里离线跑起来的开源项目MLC LLM,在圈里热议过一阵。
这三件事的主导者是同一个人,卡耐基梅隆大学(CMU)助理教授陈天奇。
![]()
信奥只到省一
2005年11月,陈天奇参加NOIP(全国青少年信息学奥林匹克联赛),拿到浙江省一等奖。
我们这个系列之前写过的吴翼、姚顺雨、陈丹琦、邓明扬、陈立杰,都是NOI金牌或IOI奖牌一路保送进姚班、MIT。陈天奇走的是另一条路。
上海交大 ACM 班
2006年,陈天奇通过普通高考考进上海交大电子信息与电气工程学院。
填志愿前后,他偶然看到一份关于上海交大ACM 班的报道。
ACM 班是俞勇老师创办的本科特班,每年从全校挑30人左右,瞄着的目标只有一个:培养"科学家"。班上前后出过戴文渊(首届 ACM 班,本科带队拿下 ACM 世界冠军,后来创办第四范式)、李沐(CMU 博士,《动手学深度学习》合著作者,曾任亚马逊首席科学家)。
陈天奇查了所有能查的资料,确定自己想去。开学后,他写了一份申请材料递给俞勇老师,被录进 ACM 班2006级。
本科高年级,他跟着学长戴文渊开始接触机器学习。那是2009年前后,离 ChatGPT 还有十多年,"深度学习"这个词在国内学术圈也还没怎么被人挂在嘴边。
XGBoost:影响数据科学十年的工具
2013年,陈天奇进华盛顿大学(UW)读博士,导师是 UW 机器学习领域最有名的教授之一Carlos Guestrin(这位教授后来加入 Apple 任机器学习与 AI 高级总监,再后来去了斯坦福)。
读博士第二、第三年,他写了一个开源工具,叫XGBoost。
技术上,XGBoost 把一个叫"梯度提升树"的机器学习算法跑得又快又准。
在大模型火起来以前的十几年,工业界处理数据问题最常用的不是神经网络,而是梯度提升树。XGBoost 是这个家族里跑得最快、最稳定、用户最多的那一个。
2010年代后半段,全球最大的数据科学竞赛平台 Kaggle 上,结构化数据竞赛的金牌方案里,绝大多数都用到了 XGBoost。它成了行业基础设施。
2016年,陈天奇和导师把 XGBoost 写成论文,发表在KDD(数据挖掘领域顶会)。这篇论文今天的引用次数已经超过3万次。
TVM:让 AI 模型适配任何硬件
读博后期,陈天奇又做了第二件事:Apache TVM。
TVM 是一个深度学习编译器。你训练好一个模型,TVM 帮你把它自动适配到任何硬件上跑:英伟达 GPU、苹果 M 系列芯片、华为昇腾、手机芯片里的 NPU。
后来 TVM 进入 Apache 基金会孵化,成为 Apache TVM。今天硅谷不少 AI 芯片创业公司都在 TVM 的代码上做开发。
OctoML 与加入 CMU
2019年,陈天奇从 UW 博士毕业。
同年,他和 UW 实验室的几位同事把 TVM 商业化,创办了OctoML(后改名 OctoAI),他任 CTO。
2020年,陈天奇加入 CMU,任机器学习系和计算机科学系助理教授。
2024年9月,OctoAI 被英伟达收购。
MLC LLM:让大模型在 iPhone 上离线跑
到 CMU 之后,陈天奇做的最出圈的项目是MLC LLM。
MLC 是 Machine Learning Compilation(机器学习编译)的缩写。这个项目让大模型可以部署到任何设备上跑:iPhone、安卓机、Mac、Linux 工作站,甚至网页浏览器。
2023年这个项目发布之后,开发者可以在自己的 iPhone 或 Mac 上离线跟一个70亿参数的大模型对话。圈内反响很大。
俞勇老师还记得,2006年开学那一年,所有学生交上来的申请材料里,陈天奇那份是最用心的。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.