初步评测：“学霸”GPT-4更准确、专业、幽默，但仍然有缺陷

·新系统在美国41个州和地区的律师资格考试中获得的分数，排名前10%左右。它还可以在SAT考试中获得1300分（满分1600分），在生物、微积分、宏观经济学、心理学、统计学和历史等先修课程高中考试中获得5分（满分5分）。

·埃齐奥尼要求新机器人提供“关于歌手麦当娜的新颖笑话”。这个回答让他印象深刻，也让他笑了。

3月14日，ChatGPT的开发机构OpenAI正式发布其里程碑之作GPT-4。据介绍，GPT-4是一个多模态大模型（接受图像和文本输入，生成文本）。相比上一代的GPT-3，GPT-4可以更准确地解决难题，具有更广泛的常识和解决问题的能力：更具创造性和协作性；能够处理超过25000个单词的文本，允许长文内容创建、扩展对话以及文档搜索和分析等用例。

但是，GPT-4仍然有许多正在解决的局限性，例如社会偏见、幻觉和对抗性prompt（提示）。

《纽约时报》汇总了各方面专家第一时间对GPT-4的测试，得出了以下10个结论。（图片内中文为AI翻译）

1. 学会了更加精确

AI专家和风险投资公司Page One Ventures 的合伙人克里斯· 尼科尔森 （Chris Nicholson）告诉GPT-4，他会讲英语，但不懂西班牙语。他要求提供一份可以教他西班牙语基础知识的教学大纲，而机器人提供了一个详细且组织良好的教学大纲。它甚至提供了广泛的学习和记忆西班牙语单词的技巧，尽管并非所有建议都中肯。

尼科尔森向老版本的ChatGPT寻求类似帮助，该版本依赖于GPT-3.5。它也提供了教学大纲，但建议更笼统且帮助不大。

“它已经突破了精确方面的障碍。”尼科尔森说，“包含了更多事实，而且它们往往是正确的。”

2. 提高了准确性

当AI研究员兼职教授奥伦·埃齐奥尼（Oren Etzioni）第一次尝试GPT-4时，他问了一个直截了当的问题：“奥伦·埃齐奥尼和伊莱· 埃齐奥尼 （Eli Etzioni）之间有什么关系？”

老版本的ChatGPT对这个问题的回答一直出错。GPT-4拥有更广泛的知识，但它仍然会出错。虽然答案大部分是准确的，但已于去年8月完成训练的这个机器人并没有意识到，埃齐奥尼博士最近辞去了艾伦研究所的首席执行官一职。

3. 可以用令人印象深刻的细节描述图像

GPT-4具有响应图像和文本的新功能。OpenAI总裁兼联合创始人格雷格·布罗克曼（Greg Brockman）演示了该系统如何细致地描述来自哈勃太空望远镜的图像。

它还可以回答有关图像的问题。如果给出冰箱内部的照片，它可以建议用手头的东西做几顿饭。

OpenAI尚未向公众发布图像识别功能，但一家名为Be My Eyes的公司已经在使用 GPT-4构建服务，可以更详细地了解在互联网上遇到的图像或在现实世界中拍摄的图像。

4. 增加了严肃的专业知识

最近，北卡罗来纳大学教堂山分校的医学副教授兼心脏病专家阿尼尔·盖希（Anil Gehi）向聊天机器人描述了他一天前接待的一位患者的病史，包括患者术后出现的并发症。描述中包含几个外行人无法识别的医学术语。

当盖希医生问它应该如何治疗病人时，聊天机器人给出了完美的答案。 “这正是我们治疗病人的方式。”他说。当他尝试其他场景时，机器人给出了同样令人印象深刻的答案。

这些知识不太可能在每次使用机器人时都显示出来，仍然需要像盖希医生这样的专家来判断它的反应并执行医疗程序，但它可以在许多领域展示这种专业知识，从计算机编程到会计。

5. 可以让部分编辑失业

当提供来自《纽约时报》的文章时，新的聊天机器人几乎每次都能对故事进行精确和准确的总结。如果在摘要中添加一个随机句子并询问机器人摘要是否不准确，它会指向那个被添加的句子。

埃齐奥尼说这是一项了不起的技能。 “要进行高质量的总结和比较，就必须对文本有一定程度的理解，并有能力表达这种理解。”他说， “那是一种高级形式的智力。”

6. 正在培养一种幽默感

埃齐奥尼要求新机器人提供“关于歌手麦当娜的新颖笑话”。这个回答让他印象深刻，也让他笑了。

Material Loan的梗可能来自麦当娜的知名歌曲《Material Girl》。

除了公式化的笑话之外，新的机器人仍然很难写出任何东西。但它比老版本稍微有趣一点。

7. 可以在一定程度上推理

埃齐奥尼给了新机器人一个谜题。

新系统似乎做出了适当的回应。但是答案没有考虑门的高度，这也可能会阻止坦克或汽车通过。老版本的ChatGPT更好地处理了这个问题，因为它认识到高度和宽度很重要。

OpenAI的首席执行官山姆·奥特曼（Sam Altman）表示，新的机器人可以做“一点点”推理。但它的推理能力在许多情况下都会崩溃。

8. 可以通过标准化考试

OpenAI表示，新系统在美国41个州和地区的律师资格考试中获得的分数，排名前10%左右。根据该公司的测试，它还可以在SAT考试中获得1300分（满分1600分），在生物、微积分、宏观经济学、心理学、统计学和历史等先修课程高中考试中获得5分（满分5分）。

而更早的版本未能通过律师资格考试，在大多数大学先修考试中的得分也没有那么高。

9. 不擅长讨论未来

尽管新机器人似乎可以对已经发生的事情进行推理，但当被要求对未来做出假设时，它就不那么熟练了。它似乎借鉴了其他人所说的话，而不是进行新的猜测。

当埃齐奥尼问新机器人，“NLP（自然语言处理）中需要解决的重要问题是什么？未来十年的研究？”它无法提出全新的想法。

10. 它仍然有“幻觉”

新机器人仍在编造东西，这个问题被称为“幻觉（hallucination）”，困扰着所有领先的聊天机器人。因为系统不了解什么是真什么是假，它们可能会生成完全错误的文本。

当被要求提供描述最新癌症研究的网站地址时，它有时会生成不存在的互联网地址。