苹果新 Siri 超级碗知识测试大翻车，准确率仅 34%

IT之家 1 月 24 日消息，一项针对苹果虚拟助手 Siri（新版）的测试显示，其在回答超级碗历史相关问题时表现非常糟糕。测试结果表明，新版 Siri 在 58 届超级碗的冠军归属问题中，仅正确回答了 20 次，准确率仅为 34%。

IT之家注意到，此次测试由 One Foot Tsunami 的 Paul Kafasis 设计并执行。他逐一询问新版 Siri 从第一届到第六十届超级碗的冠军得主，并记录其回答。结果显示，新版 Siri 的表现令人失望，尤其是在某些问题上出现了明显的错误。例如，新版 Siri 多次错误地将 33 次超级碗冠军归于费城老鹰队，而实际上该队历史上仅赢得过一次冠军。此外，新版 Siri 的回答中还出现了与问题无关的足球信息，甚至在某些情况下提供了错误的超级碗届数信息。

尽管新版 Siri 确实给出了一些连续准确的答案，例如正确回答了第五至第七届超级碗的冠军，但其在第十七届至第三十二届超级碗的问题上连续 15 次回答错误，凸显了其知识库的局限性。而且，当被问及第十六届超级碗时，新版 Siri 甚至建议用户向 ChatGPT 寻求答案，而后者则提供了正确答案。这一对比进一步暴露了新版 Siri 与更先进的 AI 系统之间的差距。

测试在运行 iOS 18.2.1 并启用 Apple Intelligence 的设备上进行，同时在即将发布的 iOS 18.3 测试版和 macOS 14.7.2 中也发现了类似问题，表明这一问题在苹果多个平台上普遍存在。Kafasis 已将测试结果整理成 Excel 和 PDF 格式的表格，供公众查阅。

受 Kafasis 测试的启发，Daring Fireball 的 John Gruber 也对新版 Siri 进行了类似的体育问题测试，并将其与 ChatGPT、Kagi、DuckDuckGo 和 Google 的表现进行了对比。结果显示，其他 AI 系统均能正确回答问题，而新版 Siri 则屡屡答错。更糟糕的是，Gruber 发现，旧版 Siri（即未启用 Apple Intelligence 的版本）在无法回答问题时，会提供一组网页链接，其中第一个链接通常能提供部分正确答案。而新版 Siri（启用 Apple Intelligence 并集成 ChatGPT 功能后）的表现却更差，不仅回答错误，而且每次尝试都会给出不同的错误答案。

Gruber 对此评论道：“新版 Siri 的回答不仅完全错误，而且看似合理，这是最糟糕的错误方式。更令人难以置信的是，Siri 在一个如此受欢迎的主题上表现得如此愚蠢。”他还指出，新版 Siri 连一半的超级碗问题都不能答对。

事实上，Siri 的整体表现长期以来一直备受诟病，Gruber 对其“看似合理但实际错误”的回答的批评，也反映了当前 AI 聊天机器人在回答常识性问题时普遍存在的“幻觉”问题 —— 即自信地提供误导性或完全错误的答案。

据悉，苹果正在开发一款基于先进大语言模型（LLM）的更智能版 Siri，预计将使其能够更好地与 ChatGPT 等聊天机器人竞争。更智能版 Siri 可能支持持续对话，并提供类似于 ChatGPT 或 Claude 的帮助和见解。预计苹果最早会在 2025 年的全球开发者大会（WWDC）上发布 LLM 版 Siri，但正式上线可能要等到几个月后。这意味着 LLM 版 Siri 将作为 iOS 19 的更新内容推出，iOS 19 预计在 2026 年春季正式上线。