苹果新 Siri 超级碗知识测试大翻车，准确率仅 34%？

根据现有资料，新版Siri在超级碗历史知识测试中的表现确实令人失望，准确率仅为34%。这一结论主要基于以下证据：

1. 新版Siri在超级碗历史问题上的表现非常糟糕。测试由One Foot Tsunami的Kafaki设计，他逐一询问了从第一届到第六十届超级碗的冠军，并记录了Siri的回答。结果显示，新版Siri多次错误地将33次超级碗冠军归于费城老鹰队，而实际上费城老鹰队历史上仅赢得过一次超级碗冠军。此外，Siri的回答中还出现了与问题无关的足球信息，甚至提供了错误的超级碗届数信息。
   2.在早期的测试中，Siri在回答“谁赢得了1978年超级碗冠军”这一问题时，正确率高达95.3%。然而，这显然是针对旧版Siri的表现，而非新版Siri。
   3.苹果正在通过整合ChatGPT等生成式AI技术来提升Siri的能力，但这些改进尚未全面应用于新版Siri中。因此，新版Siri的知识库和回答能力可能仍存在不足。

新版Siri在超级碗知识测试中的表现确实不佳，准确率仅为34%，这表明其知识库和回答能力仍有较大的提升空间。

新版Siri在哪些其他领域的知识测试中表现不佳？

新版Siri在多个领域的知识测试中表现不佳，尤其是在超级碗历史问题上的表现尤为令人失望。根据测试结果，新版Siri在回答超级碗历史相关问题时的准确率仅为34%，仅正确回答了58届超级碗冠军归属问题中的20次。此外，新版Siri在回答过程中不仅频繁答错，还经常给出看似合理的错误答案，这种现象被称为“幻觉”现象，即自信地提供误导性或完全错误的答案。

除了超级碗历史问题，新版Siri在其他领域的表现也存在不足。例如，在与ChatGPT、Kagi、DuckDuckGo和Google Play等AI系统的对比测试中，新版Siri的表现明显落后。当新版Siri无法回答问题时，它会提供一组网页链接，其中第一个链接通常会提供部分正确答案，但新版Siri启用ChatGPT功能并集成了ChatGPT后，其表现反而更差，不仅回答错误，而且每次给出的答案都不同。

新版Siri在商业领域也表现不佳。根据2018年的测试，Siri在商业领域的准确率仅为9.9%，远低于谷歌助手的88%。这表明Siri在处理商业信息方面的能力较弱。

苹果公司计划何时将ChatGPT等生成式AI技术全面应用于新版Siri？

苹果公司计划在2024年底将ChatGPT等生成式AI技术全面应用于新版Siri。以下是详细分析：

1. 苹果计划在2024年底推出基于云的AI聊天机器人，并且这一功能将首先出现在iOS 18和iPhone 16中。这表明苹果正在为Siri整合生成式AI技术，并计划在2024年底通过软件更新实现这一目标。
2. 指出苹果计划在2024年底在iPhone和iPad中加入生成式AI技术，并且可能会在iOS 18和iPadOS中实现这一功能。
3. 苹果已经在2024年12月13日发布了iOS 18.2系统更新，其中集成了ChatGPT技术，使Siri能够直接调用ChatGPT来处理任务和回答问题。这表明苹果已经在2024年底实现了这一功能。
4. ChatGPT功能已经全面接入苹果设备，包括iPhone、iPad和Mac，并且用户可以通过双击命令键唤醒Siri并请求ChatGPT协助。
5. 苹果计划在2026年春季发布新版Siri，但这是为了进一步提升Siri的功能，例如使用更先进的大语言模型（LLM）。这些计划与2024年底的初步集成并不矛盾，因为2024年底的集成是基础功能的实现，而2026年的版本则是进一步优化和扩展。
6. 苹果正在加速推进Siri的智能化升级，并在iOS 18、iPadOS 18和macOS 15中引入Apple Intelligence特性，包括生成式AI技术。

苹果公司计划在2024年底通过iOS 18.2系统更新，将ChatGPT等生成式AI技术全面应用于新版Siri。

新版Siri在超级碗历史问题上表现糟糕的具体原因是什么？

新版Siri在超级碗历史问题上表现糟糕的具体原因主要可以归结为以下几点：

1. 知识库局限性：新版Siri的知识库存在明显的局限性，导致其在回答超级碗历史相关问题时出现大量错误。例如，在58届超级碗冠军归属问题上，Siri仅正确回答了20次，准确率仅为34%。这种局限性不仅体现在具体问题上，还表现在Siri对某些问题的回答完全错误，但又显得“看似合理”，这反映了AI聊天机器人在处理常识性问题时常见的“幻觉”现象。
2. 知识更新滞后：新版Siri的知识库可能没有及时更新最新的超级碗信息。例如，Siri将33次超级碗冠军归于费城老鹰队，而实际上费城老鹰队仅在历史上赢得过一次冠军。这种错误表明Siri的知识库未能反映最新的历史数据。
3. 功能集成问题：新版Siri集成了ChatGPT功能，但这种集成并未显著提升其准确性。相反，Siri在回答超级碗历史问题时的表现反而不如旧版（未启用Apple Intelligence的版本），后者在无法回答问题时会提供一组网页链接，其中第一个链接通常能提供部分正确答案。新版Siri则直接给出错误答案，并且每次尝试回答时都会给出不同的错误答案。
4. 用户体验问题：新版Siri的回答不仅错误，而且缺乏一致性，这直接影响了用户体验。例如，当Siri建议用户向ChatGPT寻求答案时，ChatGPT却能提供正确的答案。这种对比进一步凸显了新版Siri在知识更新和准确性方面的不足。
5. 技术挑战：新版Siri基于苹果正在开发的先进大语言模型（LLM），该模型旨在提供更强大的对话能力和持续对话等功能。然而，尽管这些技术进步为未来提供了潜力，但目前来看，这些技术尚未完全解决Siri在超级碗历史问题上的表现问题。

新版Siri在超级碗历史问题上的糟糕表现主要源于其知识库的局限性、知识更新滞后、功能集成问题以及用户体验不佳等方面。

如何评价新版Siri与旧版Siri在知识回答准确率上的差异？

新版Siri与旧版Siri在知识回答准确率上的差异可以从多个方面进行评价，以下将结合我搜索到的资料详细分析。

一、新版Siri的表现

1.知识回答准确率低

根据2024年1月25日的测试结果，新版Siri在超级碗历史相关问题上的表现非常糟糕，仅正确回答了58个超级碗冠军归属问题中的20次，准确率仅为34%。这一结果不仅令人失望，还暴露了其知识库的局限性。例如，新版Siri将33次超级碗冠军归为33支球队，而实际上只有32支球队赢得过超级碗冠军。此外，在回答超级碗第37届赛事时，新版Siri甚至出现了错误的届数信息。

2.频繁出现“幻觉”现象

新版Siri不仅频繁答错问题，还倾向于提供看似合理但错误的答案。例如，在回答超级碗第59届赛事时，新版Siri建议用户向ChatGPT寻求答案，而ChatGPT则提供了正确答案。这种“幻觉”现象表明，新版Siri在处理常识性问题时存在较大的局限性。

3.与旧版Siri的对比

旧版Siri（未启用Apple Intelligence）在无法回答问题时，通常会提供一组网页链接，其中一部分链接可能包含正确答案。相比之下，新版Siri在回答错误的同时，每次给出的答案都不同，这进一步凸显了其回答的不一致性。

二、旧版Siri的表现

1.相对稳定但仍有不足

旧版Siri在回答问题时，虽然偶尔会提供错误答案，但其表现相对稳定。例如，在无法回答问题时，旧版Siri倾向于提供一组网页链接，其中一部分链接可能包含正确答案。这表明旧版Siri在知识回答方面有一定的可靠性。

2.未启用AI功能的局限性

尽管旧版Siri的表现较为稳定，但其整体能力仍受到AI功能的限制。例如，在某些情况下，旧版Siri无法提供准确答案或需要依赖外部资源来解决问题。

三、新版Siri的技术改进与未来展望

1.技术升级与局限性

新版Siri通过引入Apple Intelligence和ChatGPT功能，试图提升用户体验和智能表现。然而，从目前的表现来看，这些技术升级并未显著改善其知识回答的准确率。相反，新版Siri在回答常识性问题时频繁出现错误和“幻觉”现象，这表明其技术仍需进一步优化。

2.未来改进方向

苹果公司正在开发基于大语言模型（LLM）的更智能版Siri，预计将在2025年发布。这款新版本将支持更复杂的对话和类似ChatGPT的功能，有望显著提升Siri的知识回答准确率和用户体验。

四、总结与评价

新版Siri在知识回答准确率上明显低于旧版Siri。尽管新版Siri引入了先进的AI技术，但其表现却未能达到预期，反而在某些方面出现了更多问题。例如，新版Siri频繁出现“幻觉”现象，并且在回答常识性问题时准确性较低。相比之下，旧版Siri虽然表现较为稳定，但在AI功能的支持下仍有改进空间。

未来，苹果公司计划通过开发基于LLM的更智能版Siri来解决这些问题。

苹果公司对于新版Siri知识库和回答能力不足的问题有何回应或改进措施？

苹果公司对于新版Siri知识库和回答能力不足的问题，已经采取了一系列改进措施，并计划在未来进一步提升Siri的性能。

根据2024年7月12日的报道，苹果公司宣布将在秋季推出升级版的智能助理Siri，该版本将具备更强大的语言理解能力，即使用户表达不清，也能准确理解并执行最终指令。新版Siri将支持上下文理解，允许用户进行连续对话而无需重复背景信息。此外，Siri的知识库将得到扩充，特别是在苹果产品和服务方面，用户可以询问如何使用iPhone、iPad和Mac上的各项功能，Siri将提供详细的操作指导。

苹果公司还计划在2025年发布基于大语言模型（LLM）的更智能版Siri。这一版本的核心优势包括支持更流畅的交流、缩短响应时间、处理复杂问题的能力更强，以及集成更先进的语言模型。这些改进旨在使Siri更像人类一样回应用户的提问。

此外，苹果公司还在不断优化Siri的功能。例如，2024年11月7日的报道指出，苹果公司正在更新其支持文档，以增强用户与Siri的互动体验。新版Siri将允许用户直接提问，无需通过Siri转发文档，这将显著提升用户体验。此外，Siri新增了内容摘要与问题解答的能力，能够总结电子邮件、文档，并根据已有文本进行补充，以提高交流效率。

尽管新版Siri在某些测试中表现不佳，例如在超级碗知识测试中的准确率仅为34%，暴露了其知识库的局限性和与更先进AI系统的差距，但苹果公司仍在积极开发更强大的版本，并计划在2025年正式上线。