2022年初,TikTok在美国悄无声息地做了一件事:它把10%的用户挑出来,不给他们用一项新的推荐系统更新,任由这些用户继续生活在旧版本的算法里。这10%的用户,当时大约有1500万人。他们被当作实验的对照组,去验证一个关键问题——减少重复推送有害内容,会不会影响用户活跃度。而就在这个实验进行的同时,一个名叫Chase Nasca的16岁男孩,用自己的生命触到了这个实验最黑暗的那一面。
Chase Nasca来自纽约长岛。2022年2月,他自杀身亡。他的TikTok账户,恰好属于那10%的对照组。TikTok事后调取他的观看记录时发现,在生命的最后两周里,系统给他推送了7563个视频,其中73%与心理健康挣扎、自杀意识、孤独、人际关系破裂和悲伤有关。他掉进了一个由算法精心编织的过滤气泡,里面全是自杀、自残、抑郁、孤独和无望的内容,一个接着一个,没有出口。
![]()
那份被彭博社获取的TikTok内部机密文件直接点明了这种残酷的因果:因为Nasca是实验中的对照组用户,所以TikTok那些旨在打破重复推荐负循环的策略,被设计成“对这个用户不生效”(did not take effect on this user by design)。换句话说,TikTok明明有技术手段能打断这种有害内容的连续推荐,却故意在他身上关掉了这个开关。
TikTok并非不知道自己的算法会让人越陷越深。早在2021年,该公司就公开承认过,它的推荐系统有时会对用户反复展示同一类令人不安的内容,比如极端节食、悲伤、分手等。单独看,这些视频可能并不违规;但如果连续不断地推给同一个人,就会营造出一种极其有害的观看体验。TikTok当时的承诺是:我们在测试一些方法,来打破这种推荐循环。
这个承诺落地的方式,就是一场大规模实验。到2022年初,TikTok已经为美国90%的用户部署了更新后的推荐系统,只留下剩下10%的用户继续待在老版本里。这样的分割,让TikTok能够进行所谓的“回溯测试”——一种A/B测试形式,通过比较有和没有某功能的两组用户,来衡量这个功能到底带来了什么影响。科技公司会用这种实验去测试新产品、评估设计变动,这很常见。但在这件事上,那个被测试的“功能”根本不是一个无关紧要的界面调整,而是一个用来保护用户、防止他们暴露在危险内容面前的安全机制。
彭博社查阅的文件显示,TikTok想要搞清楚:打破过滤气泡,会不会影响日活跃用户数和其他重要的用户参与指标。公司内部报告把这种选择描述为一种“微妙的平衡”——一边是用户安全,另一边是测量这些指标的能力。也就是说,为了精确算出安全更新对用户黏性的影响,TikTok需要让一部分用户暂时不要享受这种保护,好让数据对比更干净。于是,1500万人被留在了危险的旧版本里。
TikTok对彭博社的回应是,进行这个实验是为了确认安全改进是否真的有效。公司称后来已经改进了测试做法,但没有具体说明到底改了什么。至于Chase Nasca的死,TikTok并没有在事件发生后立刻去审查他的观看历史。直到一年多以后,也就是2023年3月彭博社因为一项关于该平台如何影响年轻用户的调查而联系TikTok,公司才开始回溯Nasca的账户。
一旦TikTok重建了Nasca的观看流,问题的规模就变得清晰得可怕。在Nasca生命的最后14天里,系统给他推荐了7563个视频。彭博社的统计显示,其中73%的视频都与心理健康问题、自杀互助、孤独、人际关系或悲伤有关。大量视频并没有违反TikTok的内容规则,但它们合在一起,却形成了一个密不透风的负面信息茧房。一个16岁的孩子,每天被数百条这样的内容反复浇灌,直到再也没能走出来。
这份内部文件的曝光,再次掀起了关于科技平台A/B测试伦理的争论。当测试的产品是安全功能时,把一部分用户故意留在没有保护的环境里,到底意味着什么?TikTok把天平倾向了数据测量的准确性,而代价则是像Chase Nasca一样的真实用户,被暴露在一种连平台自己都心知肚明有危险的内容模式中。所谓的“微妙平衡”,在1500万人和一条生命的量尺上,呈现出令人不安的倾斜。
在整个实验期间,那10%的对照组用户根本不知道自己的推荐算法是旧的,也不知道有一项能减少有害内容推送的更新被有意绕开了。他们就和Nasca一样,每天打开TikTok,看到的依然是算法用同样的逻辑一个接一个抛来的负面视频,没有任何干预。而另外90%的用户,则在更新的系统下,至少减少了一些重复暴露在极端内容下的风险。这同一款应用里的两种命运,被一纸内部实验设计整齐地划分了出来。
TikTok至今没有透露这次实验的具体时长,也没有给出在2022年初之后,那些对照组用户是何时被真正迁移到新系统上的。在那份内部文件曝光之前,外界对这场涉及千万人安全功能的A/B测试一无所知。直到彭博社的报道和内部报告浮出水面,人们才逐渐拼凑出一个沉重的现实:一家拥有数亿用户的平台,曾把保护性功能变成需要测量效果的变量,而其中一个变量带来的结局,是无可挽回的。
如今回看TikTok在2021年对算法重复推送危害的公开检讨,那些话与Nasca账号里被分析出的数据形成了令人窒息的对照。平台知道暴食、自残、抑郁类内容的重复推荐会伤害用户,也专门开发了干预策略,但同时又为了业务数据的准确性,原封不动地把这套已知有害的旧逻辑继续用在1500万人身上,并眼看着其中一人被彻底吞噬。这个选择,究竟是在衡量安全效果,还是在衡量安全的重要性与用户行为数据之间的差价,已经不言自明。
那7563个视频,每一帧都可能是一个少年在屏幕前独自面对的暗流。当他不断下滑、不断被推向更深处的内容时,没有算法跳出来切断这种模式,因为在他的账户设置里,那个切断机制被用“对照组设计”的名义关掉了。TikTok事后用回溯数据总结出的73%这一比例,像是一个冰冷的验尸报告,它精确地描述了内容成分,却没有逆转任何一秒。
彭博社的报道还指出,在Nasca去世后,他的父母和其他亲人很长一段时间里并不知道他的TikTok推荐流里到底充斥着什么内容。TikTok拥有这些数据,却并没有主动启动调查,直到媒体找上门来。这中间的一年多时间,算法的一切运转如常,而那1500万人也许至今仍不知道,他们曾经被短暂地搁置在一项可能关乎自身心理健康的保护措施之外,仅仅是为了让平台能获得一份更干净的数据对比表格。
TikTok的回应带着一种标准的科技公司措辞:“为了确认安全改进是否有效”。这在很多常规产品优化中是说得通的逻辑,但把这种逻辑直接套用在人身安全问题上的实验设计,本质上已经模糊了商业测试和道德底线之间的边界。尤其是在平台已经知悉原有推荐模式可能造成严重伤害的情况下,继续让一个明确划定的对照组长期浸泡在风险里,已经不是简单的权衡问题,而是一种主动的风险分配。
内部报告中那句“没有对这个用户生效,是设计好的”(did not take effect on this user by design),成为整个事件中最具穿透力的表述。它平静地宣告了一个事实:在Nasca被自杀、抑郁、孤独的主题包裹着度过最后两周时,那个本可以介入的算法干预,是被人为排除掉的。不是功能故障,不是漏网之鱼,而是实验框架里的默认设置。
A/B测试本身并没有原罪。在互联网行业,它是迭代产品和衡量因果效应的标准工具。但当测试的对象变成了用户安全防线,实验组和对照组的区别就不再是“这个按钮是蓝色还是红色”那种无伤大雅的差异,而变成了“有人被拉出旋涡,有人被留在了旋涡里”。在这一天壤之别面前,那些用日活、留存率来衡量影响的指标显得格外刺眼。
TikTok内部将这种安排称为“微妙的平衡”,并且把不能对Nasca这类用户施加干预的原因归结为需要对比效果。可是在公共卫生和生命安全领域,实验伦理的基本原则之一就是,当某项干预被高度怀疑或已知能带来显著的保护效果时,让对照组不获得这种干预就需要极其严格的风险收益评估。而TikTok显然没有把推荐致死内容的风险置于足够高的优先级上。
从Chase Nasca的视角看这段经历,一切都隐匿在手机屏幕后面。他只是一个普通用户,在滑动、观看、点赞、继续滑动。他不知道自己的推荐流和另外90%的美国人不一样,不知道有一条更新后的算法被刻意屏蔽了,更不知道平台正在后台用一个不含感情的指标计算他的每一次点击和停留。他看到的,只是一个又一个告诉他活着没有意义的视频,而且没有人打断这个过程。
当彭博社在2023年联系TikTok展开调查时,公司才开始真正审视他的账号。迟到的关怀和细致的视频标签统计并不能掩盖一个事实:在长达一年多的休眠式沉默里,没有任何内部机制自动触发对类似极端个案的预警。一个平台如果只有在媒体介入后才去分析已经死亡的用户的观看数据,那么它对于“保护用户”这件事的承诺程度,恐怕要打上一个大大的问号。
如今披露的内部文档把这场实验置于审视的聚光灯下,也为更广泛的数字平台恶性实验伦理讨论提供了新的案例。究竟什么样的测试需要设置没有安全保护的对照组?什么样的指标比人的生命更值得优先考量?对一个已经担忧算法会推送过多有害内容两年之久的平台来说,这些问题应该早就有了清晰答案。可现实说明,它们只是被包裹在实验设计的术语里,被暂时压了下来。
数据已经足够庞大。7563个视频,73%的负面内容占比,1500万被排除在保护之外的美国人,一个16岁生命的终结。这些数字本身就能说话。而TikTok必须回答的是:当一项实验的对照组不但无法避免伤害,反而被设计成系统性地接受伤害时,这个实验的代价是否早已超出了商业优化的范畴,变成了一种不可容忍的对用户安全权的剥夺。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.