网易首页 > 网易科技 > 网易智能 > 正文

年薪百万的机器学习专家,为什么不产生价值?

0
分享至


编者按:本文为「范式大学系列课程」第3篇文章,网易智能授权发布。

Part 1:

一个朋友的企业,他们招聘了2名机器学习方向的数据科学家,加起来年薪百万。

但一段时间的蜜月期后,他们发现机器学习专家没有给公司带来实际价值。高管们不知道他们具体做了什么,业务人员每周都给他们提出预测需求,却很少能在短时间得到回应。

不到一年,公司和机器学习专家们就不欢而散o了。

Part 2:

巧合的是,从他们公司离职的机器学习专家是我的朋友。

当我问他这个问题时,他说自己每天都忙得不可开交,却得不到公司其他人的理解。他和我描述了自己的工作过程。

他花了很多时间搭建了机器学习需要的计算环境。

他花了很多时间做建模前的数据清洗和处理。

他花了很多时间做模型选择和参数调整,以得到更好的结果。

他花了很多时间做实时预测的功能,为了达到毫秒级的延迟花费了大量心血。

……

实际上,要完成一个机器学习的模型要做很多事情。团队人数本来就少,事情又多,他的兴趣只能集中在模型本身上了。

至于这些模型对应的业务问题,例如怎么定义问题,确定哪个指标?虽然也重要,但他觉得这些主要是业务人员去解决的。

(估计业务人员也觉得,这是属于机器学习专家解决的事情)

Part 3:

实际上,这个问题不是个例,大部分公司在引入机器学习专家后,都会面临这样的疑问。

来自 MIT 的机器学习研究员 Kalyan Veeramachaneni 曾经做过一次调查,在一个150个机器学习爱好者的小组中,他询问说:“你们有多少人建立过机器学习的模型?”大约有 1/3 的人举手。而当他进一步问:“有多少人使用这个模型产生价值并衡量它?”结果没有一个人举手。

换句话说,机器学习专家们把 90% 的时间都放在了数据准备、处理、特征工程、建模、调参上,而背后的业务问题和商业问题, 很多时候没有纳入严格的考虑。

但是要让数据产生真正的价值,就要把数据和商业价值联系起来,这至少要花费 50% 以上的精力。

Part 4:

相比之下,更为理想的局面是建立机器学习工程和商业价值之间的平衡。一般来说有 5 个原则:

1.从最简单的模型开始

逻辑回归或者那些基于随机森林、决策树的模型,就足以解决大部分的问题。所以你的重点,应该放在缩短数据采集和模型建立的时间。

2.探索更多问题

相比于通过一个难以置信的模型探索一个业务问题,你应该探索数十个问题,然后为每个问题都创造一个相对简单的预测模型,并评估模型背后的商业价值。

3.用全部的数据和特征训练模型

过去机器学习的能力不够,很多时候是依靠人力筛选出样本数据和特征进行模型训练。但随着计算资源越来越便宜,人力成本越来额越高,你应该用全部的数据和特征训练模型,以得到更好的效果。

4.业务驱动模型

让机器学习专家和业务人员有更多的配合。实际上,很多想法都来自于业务部门的设想,机器学习专家和他们一起探索出对公司有价值的解决方案。

5.专注于自动化

为了更快地获得第一个模型,缩短探索问题的速度,公司要自动执行通常由手动完成的任务。我们发现在不同的数据问题中,背后都应用了类似的数据处理技术,无论是在数据清洗、准备阶段,还是在数据建模阶段,亦或是在模型上线阶段。

Part 5:

这 5 个原则说的是,如果说机器学习是一场战役,过去强调的是战士的能力和经验,现在则更为强调军火的选择。

就像在伊拉克战争中,美国部队强调的是每平方公里的弹药投放量,最终投放了 60 亿颗弹药。虽然是一个不太恰当的比喻,但是机器学习未来的趋势就是大规模机器学习平台的出现,通过大规模计算解决具体的业务问题。大规模机器学习平台,就是企业未来最重要的军火。

所以对于机器学习专家来说,他也许不能一个人就把事情做完,但是给他工具就可以了。

Part 6:

在我的介绍下,那位机器学习专家又回到了那家公司,1 个人,1 个月,完成了过去 1 年都没完成的工作。

参考资料:

https://hbr.org/2016/12/why-youre-not-getting-value-from-your-data-science

https://inform.tmforum.org/sponsored-feature/2017/04/data-no-value-lacks-purpose/

http://blog.predikto.com/2016/12/28/the-missing-link-in-why-youre-not-getting-value-from-your-data-science/

关于范式大学:

「范式大学」由第四范式发起,致力于成为“数据科学家”的黄埔军校。「范式大学系列课程」会和大家推荐戴文渊、杨强、陈雨强等机器学习领域顶尖从业人士的最新分享,以及由第四范式产品团队推荐和整理的机器学习材料。

相关推荐
热点推荐
深度揭秘 | 职务犯罪中,你的手机真的被监听了吗?揭秘监委技术调查真相!

深度揭秘 | 职务犯罪中,你的手机真的被监听了吗?揭秘监委技术调查真相!

一分为三看人生
2025-12-15 00:07:43
破案!邬挺嘉伸腿绊徐杰,段铸却不吹违体原因找到,名记说出实情

破案!邬挺嘉伸腿绊徐杰,段铸却不吹违体原因找到,名记说出实情

后仰大风车
2025-12-15 09:10:11
泰国空袭柬埔寨电诈窝点,中国这次没劝架

泰国空袭柬埔寨电诈窝点,中国这次没劝架

回京历史梦
2025-12-15 15:40:36
我因成分不好25岁还没娶媳妇,村支书看我可怜,给我介绍一个寡妇

我因成分不好25岁还没娶媳妇,村支书看我可怜,给我介绍一个寡妇

人间百态大全
2025-12-14 06:45:03
沙特王储兼首相穆罕默德会见王毅

沙特王储兼首相穆罕默德会见王毅

财联社
2025-12-15 08:19:34
三分14中2吞耻辱纪录!准绝杀丢锅41岁詹皇 东契奇6失误之夜辣眼

三分14中2吞耻辱纪录!准绝杀丢锅41岁詹皇 东契奇6失误之夜辣眼

颜小白的篮球梦
2025-12-15 12:47:18
泥鳅钓鱼的危害有多大?为啥被各地勒令禁止?真能钓空一整条河吗

泥鳅钓鱼的危害有多大?为啥被各地勒令禁止?真能钓空一整条河吗

向航说
2025-11-04 00:35:03
加州州长“你女儿恨你,埃隆”,马斯克回怼:那是我儿子

加州州长“你女儿恨你,埃隆”,马斯克回怼:那是我儿子

观察者网
2025-12-14 14:55:12
看懂抗美援朝,也就懂了伊朗总统莱希死后,中国为啥在台海掀桌子

看懂抗美援朝,也就懂了伊朗总统莱希死后,中国为啥在台海掀桌子

云霄纪史观
2025-12-14 19:41:38
罪恶的柬埔寨,让中国人闻风丧胆?为什么是东南亚最可怕的国家?

罪恶的柬埔寨,让中国人闻风丧胆?为什么是东南亚最可怕的国家?

历史人文2
2025-12-14 09:28:10
腾讯、拼多多、阿里巴巴、携程、网易、京东等32家境外上市互联网公司2025年第三季度财报业绩汇总

腾讯、拼多多、阿里巴巴、携程、网易、京东等32家境外上市互联网公司2025年第三季度财报业绩汇总

全球TMT
2025-12-15 09:53:28
1967年女知青生子后返城,40年后儿子来上海寻母,她瞬间泪如雨下

1967年女知青生子后返城,40年后儿子来上海寻母,她瞬间泪如雨下

兰姐说故事
2025-12-14 17:15:05
刘烨女儿霓娜长大了,五官优越,大眼睛高鼻梁,长相非常高级

刘烨女儿霓娜长大了,五官优越,大眼睛高鼻梁,长相非常高级

情感大头说说
2025-12-13 02:00:30
不打算停火了?关键时刻,泰国宣布重新大选,新总理浮出水面

不打算停火了?关键时刻,泰国宣布重新大选,新总理浮出水面

乐天闲聊
2025-12-15 11:32:40
上个月去趟四川攀枝花,我实话实说:当地人的素质让我眼界大开~

上个月去趟四川攀枝花,我实话实说:当地人的素质让我眼界大开~

户外钓鱼哥阿勇
2025-12-15 13:03:27
亚运会金牌得主举报训练基地主任“索要比赛奖金” 当地体育局:关注到举报,正在核查

亚运会金牌得主举报训练基地主任“索要比赛奖金” 当地体育局:关注到举报,正在核查

极目新闻
2025-12-15 10:47:04
有事求中国,无事卖中国!如何应对两面派邻国?3招可化解于无形

有事求中国,无事卖中国!如何应对两面派邻国?3招可化解于无形

何氽简史
2025-11-29 17:41:48
勇士输球后,科尔确认一事,库里也没有遮掩,格林提出了要求

勇士输球后,科尔确认一事,库里也没有遮掩,格林提出了要求

体坛大辣椒
2025-12-15 15:45:56
两岁小孩拉扭扭车绊倒男子致九级伤残 二审改判其父母承担次要责任|封面深镜

两岁小孩拉扭扭车绊倒男子致九级伤残 二审改判其父母承担次要责任|封面深镜

封面新闻
2025-12-15 13:33:06
反制日本的野心,这张牌的威力越看越大

反制日本的野心,这张牌的威力越看越大

明人明察
2025-12-14 17:56:29
2025-12-15 17:31:00

科技要闻

平价数码产品,要和我们说再见了?

头条要闻

上周有菲方人员持刀威胁中方执法海警 外交部回应

头条要闻

上周有菲方人员持刀威胁中方执法海警 外交部回应

体育要闻

战胜完全体雷霆,马刺“疯狂动物城”只是半成品

娱乐要闻

黄绮珊在何晴去世首发,10年悄悄祈福

财经要闻

新农合涨到400元 农民断缴背后的扎心真相

汽车要闻

主驾配按摩还可选6座 新款捷途X90PRO售13.59万起

态度原创

家居
本地
时尚
数码
公开课

家居要闻

温暖色调 大空间不冷清

本地新闻

云游安徽|阜阳三朝风骨,传承千年墨香

伊姐周日热推:电视剧《老舅》;电视剧《哑舍》......

数码要闻

巨头iRobot申请破产重组:曾被誉为扫地机器人“鼻祖”

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版
×