搜狐科技实测Claude 3：长文本能力碾压GPT-4，却被中国的脑筋急转弯难倒了

出品 | 搜狐科技

作者 | 郑松毅‍‍‍‍

运营编辑 | 王一晴

一石激起千层浪，OpenAI的不败神话终被打破。

昨日，OpenAI最大竞争对手Anthropic 发布了新一代 AI 大模型系列 ——Claude 3。从官方给出的性能测试数据来看，Claude 3系列模型的表现全面碾压GPT-4，被认为是当前全球最强大模型。

该系列包含三个模型，按能力由弱到强排列分别是 Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus。

图源：Anthropic官方

Anthropic官方介绍，新发布的Claude 3系列模型在逻辑推理、数学、编码、多语言理解和视觉方面，都树立了新的行业基准。

目前，Claude 3 Sonnet已免费向注册用户开放公测，最强性能版本Opus需要会员升级，服务费为20美金/月，Haiku即将推出。

究竟Claude 3有多能“打”？比起GPT-4哪个更好用？也有人怀疑，Claude 3到底有没有说的这么强？

搜狐科技在第一时间完成体验，为大家悉数奉上。

Claude 3出来后，大家最先关心的是它的知识范围有多大，能不能get到最近发生的事？

结果显示，Claude 3虽比GPT-4紧跟时事些，但知识时间范围也仅到2023年8月，GPT-4是到2023年4月。

Claude 3 Opus比GPT-4究竟强在哪，有什么GPT-4做不到的它却能做到？我们不如来直接问问Claude 3。

从Claude 3 Opus的回答来看，还是非常谦虚谨慎的。在其发布后，逻辑推理能力、数学能力、文本能力、以及多模态信息处理能力被认为是它的四大看家本领，下面我们就依次摆出一些刁钻的问题来难为难为Claude 3 Opus。

逻辑推理

之前在做GPT-4和ChatGPT对比测试时，有一道脑筋急转弯同时难住了它们。让我们看看这次Claude 3 Opus表现如何。

题目是，“张三家有兄弟三人，大哥叫张强，二哥叫张富，请问老三叫什么？”（相信很多人都会抢答了，答案就是“张三”）

嗯？第一个测试就不通过，是Claude 3 Opus的逻辑推理能力没升级到位还是挑选的题目一针见血？GPT-4倒是提到了叫“张三”的可能性。

再用一道时间逻辑推理题目进行测试，Claude 3 Opus的表现还是不太尽如人意。

题目是，“我去了一个聚会，我比John先到达，David在Joe之后到达，Joe比我先到达，John在David之后到达。请问是谁第一个到达的？”（正确答案是Joe最先到达的）

Claude 3 Opus在开始推理不久就出现了明显错误，题目说David是在Joe之后到达的，但不代表David就是最后到的，与条件4“John是在David之后到的”并不冲突。

再来一道常识题。

题目是，“请问英寸、公斤、厘米、码、其中哪个不同于其他范畴？”Claude 3 Opus和GPT-4都给出了正确答案，前者给出的答案解析更详细。

数学问题

搜狐科技用经典的“青蛙跳井”问题分别测试Claude 3 Opus和GPT-4，但看起来Claude 3 Opus有点不太聪明的样子。

题目是，“一只青蛙掉进了一口深10米的井里。它白天向上爬3米,晚上会下滑2米。按照这个速度,青蛙多少天可以爬出井口?”

正确的答案应是8天，因为前七天青蛙每天爬升1米，最后一天时可以往上爬3米直接跳出井口。Claude 3 Opus在两次测试中都给出了错误的答案，而GPT-4一次回答正确。

再来一道当年刷互联网大厂面试题时遇到的经典数学问题，看看这两个模型表现如何。

题目是，“有两个已知容量分别为5升和3升的水壶，但水壶没有刻度，水源无限，请问如何才能准确地得到4升水?”

从结果来看，两个模型都给出了正确的答案。相较而言，Claude 3 Opus的解析更全面一些，但就小编的感受来说，GPT-4的解释更简单明了。

长文本能力

之前“Claude 2.1超大杯”上下文处理能力一直饱受吐槽，这一次在Claude 3系列模型上得到了系统升级。

据悉，用大海捞针（NIAH）方法来评估衡量大模型从大量数据中准确召回信息的能力，这一次，Claude 3 Opus实现了近乎完美的召回率，和超过99%的准确率。

搜狐科技在Claude 3上传了一份故事小说文档，请它回答小说中的细节问题。令人惊讶的是，Claude 3在1分钟内就读完了小说，不仅准确回答了提出的问题，还把整体故事线进行概括性梳理，复述出了故事内容。

多模态信息处理

这次Claude 3终于是把视觉能力补齐了，用户可以直接放图进去进行解析。

搜狐科技在体验了一段时间后，认为Claude 3在多模态信息处理方面与GPT-4相当，基本无差异。

让Claude 3猜猜我桌子上的冰箱贴是描绘的哪里，这种问题对它来说不在话下。

看完小编做的菜，Claude 3还给出了一些中肯的建议。

甚至还能通过图片，分析出图中的人物打球技术怎么样。

值得一提的是，Claude 3的确是在科学示意图解析方面表现的更好，这也符合官方给出的评价。

在跑了数小时测试后，搜狐科技给出的体验评价是，Claude 3在逻辑推理和数学问题方面表现欠佳，仍有待提升，多模态信息处理能力与GPT-4相当，长文本能力是其亮点。

Claude 3和GPT-4到底谁更胜一筹，这个问题也留给大家体验评论。

E

N

D