煤炭行业报告出现“煤炭来自击杀凋灵骷髅”被质疑AI生成，网站客服回应：网页bug已修复

5月14日，某网站发布的一份标题为《2024年中国煤炭行业竞争格局及发展趋势预测报告》的内容引发网友热议，该报告售价为7600元人民币，网页预览的目录中写道：“煤炭（coal）出自《Minecraft》，是可再生资源，收获来自煤矿石及击杀凋零骷髅获得1-3个，可以使用任何镐来挖取煤矿石。主要用途是作为燃料或制造火把，有些村民可以以15个煤炭交换一个绿宝石。”

这段目录内容显然与煤炭行业没有任何关系，这是游戏《Minecraft》的游戏道具“煤炭”的规则说明。该报告在社交平台引发热议，有网友质疑该行业报告是AI生成的，AI直接整合了网络上“煤炭”相关的信息，因此游戏中的道具“煤炭”的说明信息也被整合了进来。这段《Minecraft》中“煤炭”的规则说明来源也被玩家们找到了，来源于相关的百科词条。

记者询问了该网站的在线客服，客服称这是网络出现bug，目前网站已进行了修改，此前的确存在这段内容，具体造成这个bug的原因尚不清楚。当前相关目录预览信息已删除。

到底是真如客服所言这是第一次网络系统故障出现的意外还是其行业报告真的是用了AI生成偷工减料外人不得而知，但引发网友讨论的大语言模型对人类知识库语料的污染问题的确已不容小觑，像煤炭行业报告的目录里出现游戏攻略这还是很容易被辨识出来的错误，还有的知识污染问题就令人头疼了，今年二月，知名科普作家河森堡曾发文吐槽人工智能一本正经胡说八道的问题，河森堡让AI介绍一下青铜利簋，AI一本正经地扯了一大堆，河森堡接着问这些都是哪里来的，它还给列出了一堆文献，“看着是那么回事，其实又在胡扯。”河森堡发现AI给出的作者单位、作者姓名都出现了错误，这些学术文献里也没有AI扯的这些内容，AI只是搞出了一个引用的假象，对此问题河森堡表示了担忧：“AI能虚构从文本到照片乃至视频的一切内容，并且令其彼此印证互相支撑，可谓天罗地网环环相扣，其制造的幻觉在强度上和之前编点文字故事时不可同日而语，除非你亲自见到专家本人求证，或者到现场实地考察，否则你会被AI创造出的假象玩得死死的。稍微一个不留神，被AI污染的记忆就不知不觉钻进脑子里了。”

AI造成的人类信息污染问题已引发各界关注，一方面，AI捏合的虚假信息长期留存于网络空间，又成了新的信息来源，在经过多轮传播扩散后，虚假信息将会像滚雪球一样越来越大，用户绝难辨别寻找信息真正的源头，查证的难度成倍增加。另一方面，混杂虚假信息、低质无效信息的AI生成内容充斥占据网络空间对于网络生态的健康发展绝无益处，由不可靠AI生成文章资讯遍布网络，涵盖政治、文化、娱乐、科技、经济各个领域，内容谬误数不胜数。

目前多个网络平台已开启对AI生成内容泛滥问题的治理，如5月12日，小红书薯管家发布整治AI技术滥用的的公告，针对“利用AI生成低俗猎奇视频”“AI生成虚拟外国幼儿教育专家教授育儿内容”等各类违规内容加强排查清理力度。4月底，复旦发展研究院助理研究员辛艳艳在论文《AI快速发展引发的“信息污染”问题、存在的风险隐患及对策建议》中提出建议，一方面在监管政策上，坚持以算法治理和数据治理为核心，聚焦人工智能发展的具体场景进行政策迭代，规避风险。另一方面也要加强技术反制，加强对人工智能问答模型的安全监管，细化AI伦理准则，此外，还要支持专业机构与人工智能技术的合作并加强对虚假信息的应急处置和反制机制。既要对公共突发事件、政治敏感信息进行快速澄清、消除影响，同时也要系统性关注涉及历史观的虚假信息，避免记忆捏造等情况出现。

扬子晚报|紫牛新闻记者 沈昭

视频|戴哲涵

校对 陶善工