如何让人工智能更“靠谱”？新加坡这场顶级会议揭示AI的致命短板

越来越多人意识到，人工智能聊天机器人并不总是可靠。它可能答非所问、前言不搭后语，有时甚至“一本正经”地捏造不存在的信息。

在1月下旬于新加坡举行的第40届人工智能促进协会年会（The 40th Annual AAAI Conference on Artificial Intelligence）上，如何让人工智能更“靠谱”、更“负责”，是这场国际人工智能学术会议的重要议题之一。

在研究者眼中，人工智能的缺陷对应着更细分的问题。比如，人工智能的置信度值是否与真实情况匹配等。一个来自意大利的研究团队在本届年会上提醒说，合理计算人工智能的置信度值非常重要。

在这项名为“盲目自信的陷阱”的研究中，参与者在人工智能协助下完成逻辑推理题。结果显示，当人工智能表现得非常自信时，参与者更容易采纳它的建议——但这些建议很可能是错的；然而，如果人工智能犹豫不决，用户却可能会拒绝正确的建议。

意大利米兰-比可卡大学的研究成员卡泰丽娜·弗雷戈西说，这两种情况都反映了现实问题：很多人工智能系统的置信度值没有被正确校准，从而向使用者传递了误导性的信号。

置信度值问题并非人工智能可靠与否的唯一体现。另一项来自印度和美国团队的研究，则从“认知疲劳”的角度，观察人工智能如何在不知不觉中变得不可靠。

美国南卡罗来纳大学人工智能研究所的研究成员里朱·玛尔瓦说，随着人类与聊天机器人对话时间越来越长，模型会开始“走神”：偏离原始指令、重复输出内容，甚至以自信的口吻生成不可靠的信息。研究团队将这种现象称为“认知疲劳”，且它并非偶发，而是一种系统性效应。

“认知疲劳是可以被发现、预测并干预的。”玛尔瓦说。团队设计了一个系统，通过追踪注意力衰减等三个关键指标，将人工智能何时开始“疲劳”可视化，并提供多种实时干预手段，如当人工智能开始偏离指令时，这套系统会重新输入原始指令，让对话回到“正确轨道”。

在大会现场，从单一的聊天机器人，到可以自主完成任务的智能体，再到多个智能体组成的协作网络，研究者们不只关注它们的能力与效率，也反复探讨它们的边界和可控性。

在不少参会者看来，完全放手让智能体自主完成任务，远没有想象中简单。

“目前，这些智能体的行动边界非常宽，它们能写代码，可以在计算机上做我们能做的任何事情……所以，我们应该把研发重点转向人类与智能体的协作，建立智能体与人类之间的透明交互，这具有现实紧迫性。”美国微软人工智能前沿实验室主任埃杰·卡马尔说。

微软首席科学官埃里克·霍维茨认为，当前种种不确定性，与人类尚未完全理解人工智能内部运作机制密切相关。

在23日的历任主席对谈会上，他说：“今天的人工智能表现令人惊讶。我说‘惊讶’，是因为我们仍无法给出令人满意的科学解释：它们为何如此高效？如何失败？在哪些方面脆弱？对人工智能内部机制和原理的系统性科学探索，现在变得非常紧迫。我们必须打开这个‘黑箱’。”

AAAI-2026首次落地新加坡

人工智能促进协会年会（AAAI Conference on Artificial Intelligence）是人工智能领域历史最悠久、影响力最大的国际学术会议之一，长期被视为全球人工智能基础研究和前沿方向的重要风向标。

本届大会在新加坡举行，会议议题涵盖人工智能安全、可靠性、伦理治理、人机协作以及自主智能体等多个方向，反映了当前全球学界对人工智能“能力之外”的高度关注。

（点击图片，查看会议详情）

舒畅｜记者

LEO丨编审

新华社丨来源

AAAI丨图源

免责声明：

1.凡本公众号注明文章类型为“原创”的所有作品，版权属于看南洋和新加坡眼所有。其他媒体、网站或个人转载使用时必须注明：“文章来源：新加坡眼”。

2.凡本公众号注明文章类型为“转载”、“编译”的所有作品，均转载或编译自其他媒体，目的在于传递更多有价值资讯，并不代表本公众号赞同其观点和对其真实性负责。

上新加坡眼官网看新闻更爽