人工智能处理海量数据的能力已经相当成熟,总结对话、识别文本中反复出现的模式,这些都不在话下。但要说真正理解人们想表达什么,它还没跨过这道坎。
![]()
密苏里大学的研究人员开发了一套框架,用来评估AI在人类对话中识别有意义主题的效果。相关成果发表在《国际定性方法杂志》上,结论是:AI能认出人们讨论的大多数宽泛话题,却可能忽略含义和语境上的重要区别。
研究团队分析了32场访谈,对象是护理专业的教师、从业者和学生,聊的是他们使用生成式AI的体验。分析用的是名为BERTopic的文本分析系统,先让它找出反复出现的主题,再和人类研究者此前已识别出的主题做比对。
按校方公布的说法,结果看起来不错:人类研究者识别出的12个主题中,有11个至少对应上了一个足够相似的AI生成主题。但看起来有希望,不等于系统对这些主题的理解和人类一样到位。
问题出在颗粒度上。有些情况下,模型把几个不同的想法并进了同一个宽泛类别,它们之间的重要差异可能就此丢失;另一些情况下,它又把单一主题拆成多个更小的主题,反而让原本的信息更难解读。研究人员还发现,模型能稳定挖出人类分析师此前没发现的有意义新洞察,这方面的证据很有限。
为了评估这些短板,团队开发了AURA(对齐与有用性评级审计),一套六阶段的框架,帮研究者判断AI生成的主题是否既相关又有用。
这套评估在医疗、教育、社会科学等领域可能很关键——理解一个人的经历,往往需要解读语境,而不只是认出哪些话题被反复提及。这项研究涉及的访谈数量相对较小,聚焦护理和生成式AI两个话题,用的也是专门的主题建模系统BERTopic,没有直接测试ChatGPT、Gemini这类对话式聊天机器人。
因此,这些发现能在多大程度上适用于其他AI系统和研究场景,还需要进一步测试。AI能力再强,在语境理解上仍然落后于人类。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.