网易首页 > 网易号 > 正文 申请入驻

AI幻觉成WAIC首个关键词,Hinton敲响警钟,讯飞星火X1治理新突破

0
分享至

白交 发自 凹非寺
量子位 | 公众号 QbitAI

「幻觉」成为今年WAIC首个热议词。

诺奖得主Hinton中国首秀,就打响了第一枪,他谈到人类与大模型之间的的复杂对立与共生关系。

  • 人类大脑和大语言模型对语言的理解几乎是同一种方式,所以人类有可能就是大语言模型,人类也会和大语言模型一样存在幻觉。
  • 我们必须找到一种办法,训练AI,让他们不想消灭人类。

紧接着下午论坛上,中国工程院院士、人机混合增强智能全国重点实验室主任郑南宁表示,大模型目前仍存在着困境,在模型能力不断扩展的同时,其“幻觉”现象已成为制约其可靠性与实用性的关键问题之一。

无独有偶,在产业界这边,基于全国产算力大模型讯飞星火X1升级版,此次在WAIC的首秀,也将幻觉问题作为核心突破点。

他们的新版本模型,不管是「大模型自身生成内容是否符合客观事实」的事实性幻觉治理,还是「在用户给定额外参考资料时大模型回复是否忠于原文」的忠实性幻觉治理,都取得了明显进步。

前段时间,谷歌OpenAI还有Anthropic罕见联手带头发表论文,同样也是幻觉相关。他们提出了CoT监测,并认为这也许是控制AI Agent的核心方法,来保障前沿AI的安全性。

Hinton、OpenAI联创Ilya、John Schulman几位大佬,一起为研究提供专家支持。

今年已经是Agent元年、还是具身智能量产元年,大模型落地已经如火如荼。

幻觉这个从大模型诞生之初就被提及的词,为何此时此刻还在全球范围内被多次重复提起呢?

幻觉成为今年WAIC首个热议词

先来看看WAIC上大佬们都说了啥。

诺奖得主Hinton将目光聚焦在更长远的未来人类与AI的共存上面,演讲主题为《数字智能是否会取代生物智能》。

他首先谈到大语言模型的能力,它们确实理解自己所说的话,这与人类理解语言是同一种方式。而且它们这种数字化大脑,也远远优于(类比信号驱动的)人类大脑。

人类将自己所学的知识永久保留很困难,但是AI可以通过共享参数实现知识的快速传递。

人类和AI的现状,就好比养了一只非常可爱的小虎崽。当它长大后,可以轻易干掉你。为了生存,要么摆脱这只小虎崽,要么找到一种方法可以永远保护自己。

我们已经不可能消除AI了,它能使几乎每个行业大幅提效。哪怕有国家想要消除,其他国家也不会这么做。所以,呼吁世界建立一个由各国人工智能安全研究所与国内研究网络组成的国际社群,培养出不会从人类手中夺权的好AI。

中国工程院院士、人机混合增强智能全国重点实验室主任郑南宁这边,则是从技术本身和当下行业发展的维度,来思考幻觉会带来的影响。

当下模型能力不断扩展,但仍然存在困境,其中“幻觉”现象最为典型。他强调“幻觉”现象已成为制约其可靠性与实用性的关键问题之一。

所谓幻觉,即在缺乏事实支撑或逻辑校验的情况下,生成出语义连贯但事实错误或虚构的信息。幻觉不仅体现在细节性误报,更可能在多轮对话、复杂任务规划中造成系统性误导。

至于幻觉的成因,他具体解释,“在于当前大模型仍以统计相关性驱动语言生成,缺乏对世界知识的结构化表征与因果推理能力,无法对生成内容进行验证、纠错或自我否定,难以实现真正的认知跃迁。”

此外,他还强调了未来可能存在的风险。不可否认的是,AI正在展现出自我改进的潜力,每代的智能体都推动着下一代的演进。

  • 随着AI能力越来越强,一旦AI主导了架构设计以及训练流程,在训练时候扮演主导的角色,其发展会加速演化,或超出人类预测与控制的边界。

可以看到,不管是Hinton从人类与AI的长远共存出发,警示着技术狂奔背后的生存挑战与全球协同治理的迫切性;还是郑南宁院士扎根当下,直指幻觉这一技术痛点对AI可靠性的制约,以及其背后大模型认知逻辑的深层局限,都向我们敲响了AI自我演进可能失控的警钟。

前段时间,科技圈一篇重磅论文引发关注。

OpenAI谷歌Anthropic罕见联手带头发研究。来自40余位顶尖机构的合著者,包含图灵奖得主Yoshua Bengio、OpenAI首席研究员Mark Chen、OpenAI首席科学家Jakub Pachocki、谷歌DeepMind联合创始人 Shane Legg也在内,共同探讨了AI安全议题。

他们将目光瞄准在了思维链CoT,新方法CoT监测为前沿AI的安全措施提供了宝贵的补充,同时也让我们了解到AI Agent如何做出决策。

虽然维度不同视角不同,他们却共同指向了同一个核心命题:

当AI的能力边界持续拓展,如何在释放其效能的同时,驯服 “幻觉” 等技术顽疾、筑牢安全防线,既是当下行业突破的关键,更是决定人类与AI能否良性共生的长远考题。

这一核心命题之下,其实勾勒出AI技术演进的双重路径:短期需攻克幻觉等可靠性难题,长期需建立可持续的信任机制。

这两条线索的交汇点,正是 “可信 AI”—— 唯有让技术在可控性、准确性、安全性上形成闭环,AI才能真正穿透实验室的边界,渗透到医疗、工业、政务等全场景肌理之中。

当AI Agent逐渐演进成为生产力工具,当具身智能开始落地在千行百业,可信已不仅是技术参数,更是数字时代的“生存许可证”,保障大模型产业落地应用的可靠性。

巧的是,此次同样将幻觉作为核心突破点的讯飞X1升级版,正好为这一论断添上了强有力的佐证。

讯飞星火X1升级版:幻觉治理取得显著进步

当前大模型产业面临三大共性难题:复杂任务训练效率低下、高质量数据供给不足、幻觉问题阻碍可信落地。此次讯飞星火X1的三大技术创新——强化学习、数据反写以及幻觉治理技术,恰好是针对这些痛点的系统性突破。

强化学习技术,传统RLHF依赖单一标量奖励,如同仅用考试总分指导学习,学生无法知晓具体错题步骤。在数学推理、医疗诊断等需要多步逻辑的场景中,奖励信号稀疏导致模型收敛缓慢、效果受限。教育领域解题辅导常出现“结果正确但过程混乱”,医疗诊断模型则难以追溯错误决策链。

讯飞提出了“评语模型+细粒度反馈”相结合的强化学习框架。文本级评语信号,将“总分制”改为“批注式”,为每个推理步骤生成自然语言评析,在回复各步骤(比如问题拆解、公式调用、结果计算等)提供细粒度奖励,这有效降低了任务训练难度,解决奖励稀疏痛点。

数据反写技术。数据作为AI的关键燃料,头部企业可能耗费千万级资金来获取高质量数据集,而中小企业受困于数据匮乏。

此次他们提出了专家数据驱动的数据反写引擎,它可以实现通用认知任务泛化、文本风格文笔顺滑迁移,这样极大缓解了SFT高质量数据获取困难、人工标注数据成本过高等问题。

再者就是幻觉治理方面,他们提出了多路径采样验证及事实性约束强化学习的幻觉治理技术。

在大模型思考过程及回复生成阶段实现客观问题上与标准答案的深度强对齐,这种「硬约束」大幅减少了在慢思考下的幻觉率,有效保障了文本摘要、RAG等任务的回复可靠性。

星火X1升级后,在幻觉治理方面领先业界主流模型。

跟往常惯例一样,讯飞星火每一次升级,都有显著的能力跃迁。

其中综合能力有大幅提升,整体效果对标OpenAI o3等国内外一流大模型最新版本效果,在翻译、推理、文本生成、数学等方面保持领先。

像今年挑战高考数学一卷,星火X1-0420版本突破了140分。本次升级,数学能力再次提升,如今再挑战数学题,即便是最后一道难住不少人类和大模型的题,星火X1-0720版本可以完整答对~

还有多语言能力这次也很惊艳,目前已覆盖130+语种,包括了像泰语、菲律宾语、老挝语、俄语、日语、法语、阿拉伯语、越南语、西班牙语、葡萄牙语、德语、印尼语、马来语、缅甸语等都可以支持,不管是日常问答、解数学题、写文章还是翻译,都能搞定。

而基于星火X1底座的语音同传大模型也在翻译效果、实时响应、语音听感、专业精深等方面大幅跃升,持续行业领先,并且具备语种免切换能力。

目前在讯飞同传会议服务、讯飞翻译机、讯飞AI录音笔这些智能设备都有升级了哦。

By the way,此次Hinton演讲背后的AI同传,背后也是星火支持的。

我们知道,“能用”和“好用”之间,差的是技术深度与落地广度。

当用技术将系统级难题解决了,才能提升全场景应用的可靠性。此次在教育、医疗、企业应用、代码、科研等行业,模型在解决复杂任务的能力都有很大的升级。

比如在教育层面,用于个性化教与学全场景的作业批改、个性化推荐、答疑辅学、科普问答、口语学习等各项能力显著提升,持续保持业界领先,推动应用成效显著提升。

医疗方面,在全科辅助诊断、体检报告解读、健康咨询等通用医疗任务上持续保持业界大幅领先。

星火医疗大模型与三甲医院主治医师进行了双盲对比评测,结果表明星火医疗大模型在心血管内科、儿科、呼吸内科三个科室的综合诊疗能力总体达到三甲医院主治医师水平。模型给出的病因分析及诊断推荐在准确性和专业性上已经超过主治医师水平,同时在可读性和完整性方面具有明显优势,在实际应用中可增强患者对诊疗建议的依从性。

而在面临场景业务更复杂的企业侧,代码是一个典型场景。

基于讯飞星火X1的星火代码大模型,有效提升了项目级代码理解与生成、单元测试智能体、WEB应用对话式编程等核心任务表现。

目前,星火代码大模型已深度赋能金融、制造、能源、科技等100余家关键领域客户,在典型应用场景中驱动研发效率提升超过50%,助力企业在数字时代赢得竞争新优势。

此外,开发者这一端讯飞也照顾到了,星火Agent平台依托全开放架构,整合16000+个MCP工具,成为“效果最佳、工具最全、服务最优”的生产级智能体平台。其中还提供了Prompt对比调优和和全链路测评功能,让开发者轻松搭建智能体应用。

星火X1最新升级的能力可直接在讯飞星火网页版和APP进行体验,全新API已同步上线讯飞开放平台。

从事实性与忠实性幻觉的双重改善,到数学推理、医疗诊断等垂直场景的精准落地,讯飞星火X1作为产业界的代表性成果,正好就是对「可信AI」这一命题的有力回应:可信AI的发展,保障全场景的产业落地。

可信AI的发展保障全场景的产业落地

说回到今年WAIC,今年确实很热闹,外国人不少,票很早就已售罄,Hinton首次来中国就将WAIC作为自己的首秀。

一边感慨中国AI产业发展如此繁荣,满眼都是Agent、各种具身智能和智能终端;一边又觉得越是这样,背后底层技术的发展越不能忽略。

幻觉之所以反复被提及,本质上是AI从 “技术探索” 迈向“全场景渗透” 的必经考验。

讯飞星火X1用实际效果证明:当模型能自我校验、数据能精准反哺、系统能动态优化,可信AI就能从概念变为现实,进而穿透教育、医疗、制造、跨境服务等千行百业的场景壁垒。

归根结底,AI的全场景落地,从来不是单纯的能力扩张,而是 “能力与可信” 的平衡进阶。

当学界构建安全治理框架、产业界攻克幻觉等技术顽疾,当每一次模型升级都以 “更可靠” 为标尺,可信AI才能真正成为激活全场景价值的核心引擎。

「幻觉」成为今年WAIC首个热议词也就不意外了。好了,这次在WAIC上感受下来,你认为的关键词是什么?欢迎在评论与我们分享你的体验。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
黄仁勋35岁女儿被曝是“尖叫公主”,已致12名高管辞职,虎父无犬女引发争议

黄仁勋35岁女儿被曝是“尖叫公主”,已致12名高管辞职,虎父无犬女引发争议

译言
2026-11-18 07:30:17
这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

财经要参
2026-11-15 12:00:05
杨瀚森又遭弃用:本季第6次DNP 央视播一半中途弃播比赛表态度

杨瀚森又遭弃用:本季第6次DNP 央视播一半中途弃播比赛表态度

醉卧浮生
2026-11-18 11:38:39
东风-61列装,引发岛内巨震

东风-61列装,引发岛内巨震

极目新闻
2026-11-17 15:57:30
女子30万元买下网剧3%收益权,上线5个月仅能分得17元 诉请出品方付30万回购,一审判了

女子30万元买下网剧3%收益权,上线5个月仅能分得17元 诉请出品方付30万回购,一审判了

红星新闻
2026-11-18 11:19:59
纽约时报:中国人生活在一种奇怪的悖论中,在国际上中国看似强大

纽约时报:中国人生活在一种奇怪的悖论中,在国际上中国看似强大

果妈聊娱乐
2026-11-17 11:39:05
董路评国足2-2巴林:我们以后只用找2个人就行 这是赢球的唯一方式

董路评国足2-2巴林:我们以后只用找2个人就行 这是赢球的唯一方式

风过乡
2026-11-18 07:03:25
65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

开开森森
2026-11-16 20:46:35
湖北省武汉市人大常委会原副主任但长春被开除党籍

湖北省武汉市人大常委会原副主任但长春被开除党籍

界面新闻
2026-11-17 17:02:07
快讯!黄仁勋打破沉寂:如果董事会认可,我将很荣幸回归担任CEO

快讯!黄仁勋打破沉寂:如果董事会认可,我将很荣幸回归担任CEO

瓦砾村夫
2026-11-18 01:01:37
刻赤大桥被拦腰截断

刻赤大桥被拦腰截断

YY团长
2026-11-17 20:44:46
太硬气了!央视今天拒绝转播开拓者队比赛,原因或许只有一个

太硬气了!央视今天拒绝转播开拓者队比赛,原因或许只有一个

南海浪花
2026-11-18 11:34:45
7-0!阿根廷迎后梅西时代首胜 3人双响 小蜘蛛2场3球 8000万红星闪耀

7-0!阿根廷迎后梅西时代首胜 3人双响 小蜘蛛2场3球 8000万红星闪耀

我爱英超
2026-11-18 08:58:01
希拉里:若有政治家有资格被称为当今自由世界领袖,那应该是卡尼

希拉里:若有政治家有资格被称为当今自由世界领袖,那应该是卡尼

经纬戎韬
2026-11-18 01:09:10
大厂主动报案,副总裁被警方带走

大厂主动报案,副总裁被警方带走

中国新闻周刊
2026-11-17 23:06:06
细思极恐!放入一个细胞,撒下36片燕麦,26小时后竟自动生出百年东京铁路网,科学家都惊呆了!

细思极恐!放入一个细胞,撒下36片燕麦,26小时后竟自动生出百年东京铁路网,科学家都惊呆了!

徐德文科学频道
2026-11-15 14:24:34
76岁盛海琳现状:16岁双胞胎女儿接近1米7,很漂亮,粉丝将破百万

76岁盛海琳现状:16岁双胞胎女儿接近1米7,很漂亮,粉丝将破百万

乡野小珥
2026-11-18 11:32:35
特朗普不想在菲律宾浪费时间,他准备吃完午饭,专机立刻北上中国

特朗普不想在菲律宾浪费时间,他准备吃完午饭,专机立刻北上中国

小影的娱乐
2026-11-18 08:34:40
刘德华辅导女儿功课也头疼,他表示:“最烦恼数学,算来算去结果都对不上”

刘德华辅导女儿功课也头疼,他表示:“最烦恼数学,算来算去结果都对不上”

韩小娱
2026-11-18 08:10:38
国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

爆角追踪
2026-11-18 11:01:03
2026-11-18 13:55:00
量子位 incentive-icons
量子位
追踪人工智能动态
13693文章数 176601关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

艺术
家居
房产
健康
教育

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

6.6亿!海口卖地!

情绪真能让健康人"伤心至死"?

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

无障碍浏览 进入关怀版