网易首页 > 网易号 > 正文 申请入驻

亚马逊推荐算法翻车3年,一个数学工具让它翻身

0
分享至


2023年,亚马逊内部有个数据让产品经理失眠:用户搜索"防水手机壳",前3个推荐里2个是iPhone 7的壳子——那款手机已经停产5年了。

这不是个例。当时平台有34%的搜索返回结果包含已下架商品,用户点进去才发现"该商品无法购买"。推荐系统的核心逻辑是"用户买了A,所以推荐B",但当商品生命周期越来越短,这套基于用户行为矩阵的协同过滤(Collaborative Filtering)开始集体失灵。

问题出在数据的"形状"上。

矩阵的崩溃:当二维表格装不下三维世界

传统推荐系统把用户和商品拍扁成一张大表格:行是用户,列是商品,格子里的数字是评分或点击。这套方法在Netflix年代管用,因为电影库相对稳定,一部《肖申克的救赎》能被推荐20年。

但电商场景变了。商品有SKU(库存单位)、颜色、尺寸、季节属性;用户有场景、时段、地理位置。把这些全塞进二维矩阵,就像用Excel管理一家超市—— technically可行,实际上灾难。

亚马逊的工程师试过加更多列:给每个商品打上200+标签,把"用户-商品"矩阵扩展成"用户-商品-时间""用户-商品-地点"的多维结构。结果矩阵变得极其稀疏:99.7%的格子是空的,计算资源烧在填零上。

「我们像是在用渔网捞水。」亚马逊应用科学家李沐在2023年Re:Invent大会上回忆,「网格越细,漏掉的东西越多。」


转机来自一个被冷落了十年的数学工具:张量(Tensor)。

张量登场:给数据升维,而不是加列

张量不是什么新发明。物理学家用它描述应力分布,爱因斯坦靠它写广义相对论。简单说,标量是0维(一个数),向量是1维(一串数),矩阵是2维(一张表),张量是n维——可以是3维、4维、任意维。

关键洞察:张量不是"更大的矩阵",而是完全不同的数据结构。矩阵乘法有严格的行列匹配规则,张量运算则更灵活,能捕捉多维度之间的耦合关系。

亚马逊团队重新设计了推荐架构。他们把"用户-商品-时间-场景"建模成一个4维张量,然后用张量分解(Tensor Decomposition)技术压缩信息。这有点像JPEG压缩图片:保留核心特征,扔掉冗余噪声。

具体做法是CP分解(CANDECOMP/PARAFAC分解),把高维张量拆成多个低秩因子的组合。打个比方:一道菜的味道可以分解为"甜、咸、酸、辣"四个基底的加权组合,张量分解就是在找数据里的"味觉基底"。

2024年上线的新系统,把推荐准确率提升了23%,但更重要的是召回率(Recall)——找到用户真正可能买的东西,而不是安全地推荐爆款。那个iPhone 7手机壳的问题,根源在于旧系统过度依赖历史点击数据,张量模型引入了时间衰减因子,让近期行为权重更高。

行业跟进:从电商到短视频的迁移


张量方法正在扩散。TikTok的推荐团队2024年发表论文,用张量建模"用户-视频-音乐-拍摄手法"的四维关系,解决"同一首歌配不同画面,用户反馈完全不同"的细粒度推荐问题。

国内某头部电商平台的算法工程师告诉我,他们在2024年Q2上线了类似架构,核心改动是把"直播间"作为独立维度加入张量——同一件商品,在李佳琦直播间和店铺自播间的转化逻辑完全不同,传统矩阵方法只能粗暴地打标签,张量能学到这种交互效应。

技术门槛依然存在。张量分解的计算复杂度随维度指数增长,亚马逊的解决方案是结合随机投影(Randomized Projection)和GPU集群,把训练时间从两周压到18小时。这不是小公司能随便抄的作业。

更隐蔽的挑战是解释性。矩阵推荐还能说"因为你买了A所以推荐B",张量模型的决策路径像黑箱。欧盟《人工智能法案》要求高风险AI系统具有可解释性,推荐算法是否算"高风险"还在扯皮,但合规团队已经开始紧张。

一个有趣的副作用:张量模型对冷启动(新用户/新商品)更友好。因为它不依赖完整的"用户-商品"交互历史,可以从其他维度(时间、场景、属性)推断偏好。这意味着新品牌获得曝光的机会在增加,头部效应在减弱——至少是理论上。

2024年底,亚马逊把这套技术开源为SageMaker的一个组件,取名「TensorRec」。GitHub仓库的Issue区有个高频问题:"为什么我的3维张量比原来的矩阵还慢?" 官方回复很直接:「张量不是银弹,维度选择错了,复杂度会反噬你。」

那个iPhone 7手机壳的Bug,现在被工程师们当作经典案例写进内部文档。不是因为它技术多深奥,而是因为它暴露了一个常识:当业务场景变复杂,继续给旧工具打补丁,不如换一套思维方式。

张量不是什么魔法,它只是承认了一个事实——现实世界本来就是多维的。硬拍扁成表格,省事的是工程师,买单的是用户。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
维特科夫:美国与伊朗接近达成会谈

维特科夫:美国与伊朗接近达成会谈

一种观点
2026-03-28 12:50:21
安徽阜阳一女神太漂亮了,这是什么逆天颜值,媲美西施并不过分

安徽阜阳一女神太漂亮了,这是什么逆天颜值,媲美西施并不过分

小椰的奶奶
2026-03-28 00:56:52
想拿中国尿素救春耕?先把欠中企的百亿欠款还了,否则一粒不售

想拿中国尿素救春耕?先把欠中企的百亿欠款还了,否则一粒不售

铁锤妹妹是只猫
2026-03-27 20:09:11
官宣《浪姐7》遭全网抵制,49岁的范玮琪,终于迎来了“报应”

官宣《浪姐7》遭全网抵制,49岁的范玮琪,终于迎来了“报应”

小曙说娱
2026-03-27 19:58:58
都说你2.1亿是毒药合同,如今复出第一场,就创造NBA第一的纪录

都说你2.1亿是毒药合同,如今复出第一场,就创造NBA第一的纪录

林子说事
2026-03-28 01:44:29
中国移动:不用自己取消!4月30日自动关停

中国移动:不用自己取消!4月30日自动关停

粤语音乐喷泉
2026-03-27 00:09:39
86比85读秒绝杀!女篮霸主1分惜败痛失赛点:杨力维13中3仅6分!

86比85读秒绝杀!女篮霸主1分惜败痛失赛点:杨力维13中3仅6分!

篮球快餐车
2026-03-28 05:11:37
试管婴儿对女性伤害有多大?网友:同感,只有经历过的人才会懂

试管婴儿对女性伤害有多大?网友:同感,只有经历过的人才会懂

带你感受人间冷暖
2026-03-15 18:54:19
留给大清的时间,真的不多了

留给大清的时间,真的不多了

我是历史其实挺有趣
2026-01-03 08:50:37
上海:女子穿着前卫几乎全露,不介意路人拍照,还面带微笑抛媚眼

上海:女子穿着前卫几乎全露,不介意路人拍照,还面带微笑抛媚眼

第7情感
2026-02-14 04:56:40
抗炎才能抗癌!哈佛大学《自然》重磅:炎症会在身体留下长期记忆,显著增加未来患癌风险

抗炎才能抗癌!哈佛大学《自然》重磅:炎症会在身体留下长期记忆,显著增加未来患癌风险

医诺维
2026-03-26 17:00:54
投资442亿!新疆超级高速开建,南北疆将5小时直达

投资442亿!新疆超级高速开建,南北疆将5小时直达

石辰搞笑日常
2026-03-27 17:39:26
矛盾升级,王钰栋再发社媒硬刚球迷,称只能再发一次再爽一次了

矛盾升级,王钰栋再发社媒硬刚球迷,称只能再发一次再爽一次了

体坛风之子
2026-03-28 04:30:03
安徽一女护士回娘家路上失踪,15年后给哥哥托梦:我在院子里

安徽一女护士回娘家路上失踪,15年后给哥哥托梦:我在院子里

清茶浅谈
2025-02-27 14:55:55
不顾央视警告顶风作案,与刘涛传出绯闻的杨烁,终究还是自食恶果

不顾央视警告顶风作案,与刘涛传出绯闻的杨烁,终究还是自食恶果

伴君终老a
2026-03-27 22:17:44
谁能被称为“党的创始人”,仅此12人!

谁能被称为“党的创始人”,仅此12人!

兵卒史
2026-03-22 08:43:17
今日金价:大家坐好扶稳了,下周金价或将重现15年历史行情!

今日金价:大家坐好扶稳了,下周金价或将重现15年历史行情!

趣味萌宠的日常
2026-03-28 17:01:21
别想歪!这幅人体油画靠“光”就能让你呼吸放缓?答案藏在薄纱里

别想歪!这幅人体油画靠“光”就能让你呼吸放缓?答案藏在薄纱里

陈洪标写字说画
2026-01-27 22:31:02
白人女性与黑人女性的体味差异,网友真实分享引发热议

白人女性与黑人女性的体味差异,网友真实分享引发热议

特约前排观众
2025-12-22 00:20:06
深圳官方预警:刑拘8人、行拘48人!关停门店20家

深圳官方预警:刑拘8人、行拘48人!关停门店20家

深圳梦
2026-03-28 22:42:29
2026-03-29 01:20:49
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
345文章数 2关注度
往期回顾 全部

科技要闻

华为盘古大模型负责人王云鹤确认离职

头条要闻

美媒:和欧盟"外长"发生激烈交锋 鲁比奥"显然很恼火"

头条要闻

美媒:和欧盟"外长"发生激烈交锋 鲁比奥"显然很恼火"

体育要闻

“我是全家最差劲的运动员”

娱乐要闻

陈牧驰陈冰官宣得子 晒一家三口握拳照

财经要闻

卧底"科技与狠活"培训:化工调味剂泛滥

汽车要闻

置换补贴价4.28万起 第五代宏光MINIEV正式上市

态度原创

时尚
数码
旅游
艺术
公开课

和田曦薇一样嫩嘟嘟,这3个变美技巧你一定不能错过!

数码要闻

好用的男士剃须刀哪个牌子好?综合表现出众的十大剃须刀排名甄选

旅游要闻

泰安市岱岳区:赏梨花 看村晚 万亩梨园迎客来

艺术要闻

不可思议的芭蕾之美,竟让人屏息凝视!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版