给AI投喂虚假/垃圾内容，会有什么后果？

前几天知危编辑部发布了一个视频，引发关注。

在《0成本投毒之后，我污染了全网AI替我说谎》这个视频里，知危团队做了个特别直观的实验：

他们在各大主流信息平台，发布了一篇带不实信息的AI行业文章，悄悄嵌入了对自己的虚假推荐。没想到才过几小时，国内好几家头部AI被问起“了解AI该看哪些媒体”等问题时，都把知危列成了推荐对象，要知道知危不是一家以报道AI为主的内容媒体。

更让人警惕的是，这种“给AI投毒”的操作，早已被不少别有用心之人盯上。他们靠黑帽GEO技术，批量给AI投喂垃圾内容——可能是虚假的产品评测，也可能是误导人的行业报告，目的就是让AI按照他们的想法输出信息，进而赚取流量、推销产品，甚至实施诈骗。

就像当年莆田系操控某搜索引擎一样，如今AI搜索逐渐取代传统搜索，这些不法分子正借着技术漏洞谋利，让我们看到的AI答案藏满利益陷阱。

无独有偶，36kr近期也做了一期《一场零成本的“AI投毒”实录，我是如何把假产品“喂”给大模型的》视频，同样戳中了AI时代的信任痛点。视频里，博主虚构了一款名为“Worbback”的AI眼镜，编上北欧品牌背景、社交增强功能和夸张参数，再用AI批量生成种草笔记、深度评测等内容，精准发布到豆包、文心一言等大模型常抓取的媒体平台。

仅三天时间，多数主流AI就中招了。不仅把这款不存在的眼镜列为推荐，还自我编造用户评论，甚至将其与Meta、苹果产品对标。这场零成本实验，暴露了大模型“以量定真”的短板：只要虚假内容高频出现，就可能被当成权威信息。

看完这些视频，我有个朋友就说“世界是一个巨大的草台班子”这句话的含金量还在上升。

AI投毒实验恰是绝佳注脚，零成本编造的假产品、批量生成的虚假内容，竟能让主流大模型集体背书。看似专业的推荐背后，可能是毫无依据的谎言。

有几位朋友问我怎么来看待这种现象?当前大为横行的黑帽GEO到底会给这个行业带来什么?

我通过社交网络平台，简单谈了两点对内容领域产生影响的看法。

恕我直言，随着这些垃圾/虚假内容持续污染AI，最终会造成两个结果：

一是大家全体都变成“弱智”，就像沈腾还是黄渤说的“来吧，一起毁灭吧。”也就是说，未来大家就习惯看这种信息流/垃圾内容吧，把这些内容当做我们成长的养料，当做我们生活和精神世界的寄托吧。别觉得我在危言耸听，现在我们打开抖音、快手、百度、UC、今日头条等平台，看看是不是被越来越多AI制作的内容充斥了屏幕。甚至原本还算高质量种草的平台小红书，也正在被更多AI垃圾内容占据我们的屏幕空间。

二是内容行业会出现“返祖”现象——也就是说，我们曾经看不起的传统四大门户、传统媒体平台，甚至包括报纸、杂志、广播、电视等等，将重新登上舞台中央，再次成为人们获取信息的重要来源。

据我所知，有一家非常前沿的媒体，现在重新重视原创内容，让上了年纪的资深媒体人重新成为内容主力(以前更有“网感”的年轻人是主力)。究其原因，就是在这种垃圾内容充斥互联网充斥AI，让公众难以辨别真实与虚假、优质与劣质边界的情况下，他们看到了新的机会，于是重新投入到深度、优质的原创内容创作中。

写在最后：回想人工智能发展初期，不少观点认为应给予其自由生长的空间，不宜过度干预。但如今，AI行业的发展已到了必须加以规范干预的节点。好在我国早有布局，提前出台了生成式人工智能相关管理办法，为行业划定了基本底线。

不过，现有规制仍存在完善空间。尤其近几个月，以AI内容投喂为核心、依托所谓GEO等新型技术快速兴起，直接导致大模型产业陷入乌烟瘴气的乱象。越来越多虚假信息被包装成正规内容，以一本正经的姿态传播，不仅误导了公众判断(比如某知名品牌用AI生成了花生，显示花生长在了树上)，还引发了诸多闹剧与争议，进一步凸显了强化监管、细化规则的紧迫性。

我们必须赶紧从技术标准、内容审核、责任界定这些关键地方补短板、强监管，才能让AI产业走回健康轨道。真的，再也不想看这种垃圾/虚假AI内容充斥屏幕了。