苹果最近在AI研究上跟开了挂似的,刚出的RL4HS框架直接解决了个大麻烦。
以前大语言模型生成内容有“幻觉”,就是说瞎话,咱们顶多知道它错了,却找不着具体哪句错。
现在这个框架不一样,能精准把错误片段标出来,连GPT-5和o3都没它做得好。
这对咱们平时用AI写东西、查资料的人来说,真是省了不少功夫,毕竟谁也不想拿着AI给的错信息瞎忙活。
![]()
RL4HS咋做到的?靠两个“神器”破局
本来想觉得AI判断对错就是简单分个“有幻觉”“没幻觉”,后来发现根本不够用。
苹果团队先拿Qwen系列模型做实验,试了两种模式:一种让模型先推理再判断,一种直接判断。
结果挺有意思,要是只让模型判断一次,先推理的优势不明显,但多试几次,比如试5次,先推理的模型总能出一个对的答案。
这就跟咱们做题似的,多检查几遍,更容易发现哪里错了,有了这个发现,团队才搞出RL4HS框架,核心靠两个“神器”。
![]()
第一个是“片段级奖励”,不是像以前那样给整体打分,而是盯着每个片段给奖励。
比如AI标对一个错误片段,就给正向反馈,标错了或者漏了,就扣反馈。
这样一来,模型就有动力去精准找错,而不是随便给个“有幻觉”的结论糊弄事。
第二个是“CAPO策略”,这是为了治模型的“懒病”。
![]()
一开始用的GRPO方法有个问题,模型总爱说“没错误”,因为这样容易拿高分,毕竟不用费劲找错。
苹果就加了个CAPO,给“没错误”的奖励打了折,实验里是按一半算的。
这么一来,模型不敢随便偷懒了,也愿意花功夫找真正的错误片段。
RL4HS落地真有用?这些场景直接受益
光说技术厉害不够,得看这东西实际用起来咋样,毕竟咱们关心的是它能不能帮上忙。
![]()
在内容审核这块,苹果自己已经先用上了,比如AppleNews的摘要生成。
以前编辑改稿子,得逐句查有没有AI编的瞎话,费时间还容易漏。
现在RL4HS直接把错误片段标出来,编辑顺着标红的地方改就行。
编辑们怕是最有体会,以前改一篇长摘要得半天,现在效率提了不少,错误率也降了很多。
医疗和法律这些严肃领域,RL4HS的作用更关键,AI要是给错诊疗建议,比如瞎说“某药所有糖尿病患者都能用”,这可不是小事。
RL4HS能把这句话标出来,还提醒得结合患者肾功能判断,等于给医生加了道保险。
法律文书也一样,合同里要是有“乙方30天内交付,甲方又能随便延长”这种矛盾话,它也能揪出来,避免后续纠纷。
苹果还干了件实在事,把RL4HS框架开源了,还联合信通院这些机构做行业规范。
![]()
以前各家检测AI幻觉的方法不一样,标准也乱,现在有了统一方向,以后不管是大公司还是小团队用这个技术,都有章可循。
如此看来,这技术不光解决了眼前的问题,还为以后AI可信度发展铺了路,当然,RL4HS也不是完美的。
跟今年其他技术比,比如CHiP、小红书的语义图方法,它在纯文本上表现更好,但想扩展到图片、这些多模态内容就难了。
试了加视觉模块,虽然准确率提上去了,可反应变慢了,平均得等两秒多才能出结果。
![]()
另外,隐私保护也得盯紧,要是AI瞎编用户隐私,比如瞎说“某人有盗窃记录”,RL4HS会自动挡住输出还记日志,这一点做得挺周到,毕竟隐私可不是小事。
总的来说,苹果这个RL4HS框架算是给AI可信度帮了大忙。
以前AI瞎话难找,咱们用着心里没底,现在能精准定位错误,不管是写东西、看新闻,还是医疗、法律这些领域,用AI都能更放心。
毫无疑问,AI技术发展快是好事,但能让人信得过才是真本事,RL4HS算是走对了方向。
![]()
以后要是这技术再完善完善,能处理多模态内容,反应再快点,说不定AI“说瞎话”的问题就能彻底解决了。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.