你让AI写篇论文,它可能引用一篇根本不存在的文献,让它解释个科学概念,里面掺着半真半假的信息,这种大语言模型的“幻觉”毛病,最近成了科技圈头疼的事。
北邮和小米的团队联手搞出了个新东西C²-Cite溯源大模型,刚被国际顶级会议WSDM2026收录,据说能给AI的话加上“源头水印”,让每句话都能查到出处。
为啥AI会“说瞎话”?说白了,现在的大模型生成内容时,经常“凭记忆瞎编”,不记得信息哪来的,或者干脆编造来源。
为了让AI说话靠谱,研究人员早就想了个招归因技术,就是让AI在生成内容时,给引用的信息加上来源链接,像咱们写论文加参考文献似的。
![]()
但之前的归因技术有点“不靠谱”,有的模型加的引用标记就是个摆设,跟内容对不上,有的为了引用准确,写出来的话前言不搭后语,还有的得先生成内容再回头加引用,根本做不到一句话一个出处,这些毛病导致AI内容的可信度还是上不去。
就拿“事后归因”来说,相当于AI先写完一篇文章,再让人手动或者机器回头找参考文献贴上去。
这就像写作文时先瞎写一通,写完了再硬凑几个名言警句,经常出现引用和内容脱节的情况。
我之前见过一个AI生成的报告,引用的某篇论文标题都写错了,一看就是凑数的,指令微调归因也有毛病。
![]()
这种方法太依赖高质量的训练数据,要是数据里引用和内容没对齐,模型学完也跟着错。
更麻烦的是,它不会主动把引用和上下文联系起来,生成内容时引用就像硬插进去的广告,读着特别别扭。
这些老问题让研究人员头疼了好久,直到C²-Cite的出现,才算找到了新路子。
这个模型最核心的想法,就是让引用标记不再是“死标签”,而是变成“活指针”,知道自己指向哪段信息,还能带着上下文的意思。
C²-Cite第一个聪明的地方,是给引用标记“办了身份证”,以前的引用标记可能是一串乱码或者数字,模型根本不知道它指啥。
![]()
现在C²-Cite把这些标记统一成一个符号,然后计算这个符号对应的文献的“语义指纹”,让引用标记本身就带着文献的意思。
打个比方,以前引用像贴个没写地址的快递单,现在直接写上“XX街XX号”,清清楚楚。
光有地址还不够,还得确保引用和内容对得上,这就需要第二个机制上下文引用对齐,C²-Cite里有个“引用路由器”,专门负责区分普通内容和引用标记。
普通内容按正常逻辑生成,引用标记则单独优化,确保它指向的文献真能支撑前面说的话。
![]()
就像导航软件,普通路段走常规路线,到了岔路口专门校准方向,免得跑偏,方向对了,还得让AI记得前面引用了啥,不然说着说着就忘了,这就靠上下文注意力增强机制。
这个机制简单说,就是让AI在生成后面内容时,多“回头看看”前面的引用标记,比如写到第二点时,特意关注第一点引用的文献,确保前后意思连贯。
有点像咱们聊天时,提到“刚才说的那个事”,得记得“刚才说的”具体是啥,不然对方听不懂,为了让这三个机制配合好,C²-Cite设计了一套“组合奖惩制度”多损失函数。
把普通内容的生成质量、引用的准确性、路由器的判断对错、注意力的集中程度都算进去,加权打分。
![]()
这样一来,模型训练时就知道既要引用准,又要内容顺,不会顾此失彼,光说不练假把式,C²-Cite在三个权威数据集上做了测试,结果还真不错。
在ALCE基准测试的ASQA、ELI5、QAMPARI数据集上,不管是引用的准确率还是内容的通顺度,都比之前的归因模型好不少,尤其让人惊喜的是速度,比那些需要来回迭代修改的模型快多了,处理效率明显提升。
研究人员还发现个有意思的现象,用了C²-Cite后,AI生成内容时,后面的句子会更关注前面的引用标记。
通过注意力热力图能看到,引用标记周围的“关注度”明显更高,就像说话时老提着前面的论据,逻辑链条拧得更紧了,这种“跨引用的语义桥梁”,让内容读着更可信。
![]()
当然啦,这技术现在还在实验室阶段,离咱们日常用AI写报告、查资料还有段距离,但它指明了一个方向,要让AI说话靠谱,就得从根子上解决引用的问题,让每个观点都能找到“娘家”。
说不定过两年,咱们用AI生成内容时,看到带引用标记的地方,一点就能跳转到原始文献。
到那时候,再也不用对着AI写的东西犯嘀咕,“这到底是真的还是编的?”这一天早点来才好呢,总的来说,C²-Cite算是给解决大模型“幻觉”问题开了个好头。
从让引用标记“有意义”到“对齐准”再到“记得牢”,每一步都踩在了之前的痛点上,虽然现在还不是完美方案,但至少让我们看到,AI变得更靠谱,不是遥不可及的事。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.