Reddit封锁互联网档案馆阻止AI公司数据抓取

Reddit现已封锁互联网档案馆(IA)对热门Reddit帖子的索引，原因是发现一些被限制抓取Reddit数据的AI公司，转而从IA的存档内容中抓取数据。

此前，IA的Wayback Machine可靠地存档Reddit页面、用户资料和评论，这是其互联网存档使命的一部分。但今后，只有Reddit首页的截图会被存档。正如The Verge指出的，这意味着存档只能作为每日热门帖子和新闻标题的快照，而不再提供已删除帖子的备份或各种Reddit子文化的记录窗口。

Reddit尚未确认哪些AI公司从Wayback Machine抓取其数据。公司发言人Tim Rathschmidt只向Ars确认，Reddit已"察觉到AI公司违反平台政策的情况，包括我们的政策，从Wayback Machine抓取数据"。

Rathschmidt建议IA可以采取措施更好地防御对存档Reddit内容的AI抓取。这可能会促使Reddit解除抓取限制，据The Verge报道，这些限制从今天开始在Reddit全面实施。

但Reddit也借此机会解决其他长期存在的隐私问题，称限制是合理的，因为Wayback Machine存档了用户已删除的内容，这很有问题。

"在他们能够保护自己的网站并遵守平台政策(例如，尊重用户隐私，删除已移除的内容)之前，我们正在限制他们对Reddit数据的部分访问，以保护Reddit用户，"Rathschmidt说。

对社交媒体评论的回顾显示，过去一些Reddit用户使用Wayback Machine研究已删除的评论或帖子。这些评论者指出，还有无数其他工具可以找到已删除的帖子或研究用户活动，有些人认为Wayback Machine可能不是最容易导航的平台。

Reddit用户还会在Reddit平台变化引发内容删除时求助于IA等资源。最近一次是在2023年，当Reddit公共API的变化威胁到受欢迎的子版块时，存档介入保存了内容以免丢失。

IA尚未表示是否正在寻找解决方案来解除Reddit的限制，也没有回应Ars关于这一变化如何影响存档作为开放网络资源效用的评论请求，考虑到Reddit的受欢迎程度。

Wayback Machine主管Mark Graham告诉Ars，IA与Reddit有"长期关系"，并继续就此事进行"持续讨论"。

Reddit限制AI公司利用Wayback Machine存档似乎出于经济动机，可能希望促成更多有利可图的许可协议，就像Reddit与OpenAI和谷歌达成的协议。OpenAI协议的条款保密，但据报道谷歌协议价值6000万美元。在未来三年中，Reddit预计从此类许可协议中获得超过2亿美元收入。

Q&A

Q1：Reddit为什么要封锁互联网档案馆？

A：Reddit发现一些被限制抓取Reddit数据的AI公司，转而从互联网档案馆的存档内容中抓取数据，违反了平台政策。同时Reddit也担心Wayback Machine存档了用户已删除的内容，存在隐私问题。

Q2：封锁互联网档案馆会对用户产生什么影响？

A：今后只有Reddit首页的截图会被存档，用户无法再通过Wayback Machine查看已删除的帖子、用户资料和评论，也无法研究各种Reddit子文化或特定用户的历史活动。

Q3：Reddit的数据许可协议能带来多少收入？

A：Reddit已与OpenAI和谷歌达成许可协议，其中谷歌协议价值6000万美元。Reddit预计在未来三年中从此类许可协议中获得超过2亿美元收入。