AI也能来高考？“豆包”同学原来是个偏科生 | 大模型测评

作者｜繁语

编辑｜方奇

媒体｜AI大模型工场

5月15日，在2024春季火山引擎Force原动力大会上，字节跳动“豆包”大模型正式亮相，并一口气发布九款豆包大模型。

包括豆包主力模型通用模型pro和lite两个版本，分别适配不同用户的使用需求。

除此之外，还有7款功能性模型，涵盖角色扮演、语音识别、语音合成、声音复刻、文生图等方面。

字节跳动产品和战略副总裁朱骏表示，豆包App总下载量已达1亿次。

为了检验“豆包”同学在实际应用中的能力，AI大模型工场特别选取了去年高考语文、数学和英语三科的真题进行模拟考试。

中文理解，拿捏“信达雅”

首先，我们用文言文试试豆包的中文理解能力。AI大模型工场找到去年的高考真题交由“豆包”同学回答。

把材料中画横线的句子翻译成现代汉语。

（1）吾群臣无有不骄侮之意者，唯赫子不失君臣之礼，是以先之。 （2）请略说一隅，而君子审其信否焉。

ps：先不看豆包回答，你会翻译吗

看的出来“豆包”同学上课听的是相当认真，记住了老师上课说翻译要“信、达、雅”。

“豆包”同学的翻译既保留了原文的简练，又准确地表达了原句的意思。没有直接翻译为“请允许我简略地说一下一个角落”，而是巧妙地处理为“请允许我简略地说其中的一小部分”，这样的表达更符合现代汉语的习惯，同时保留了原文的语境。

而俗话说的好，“得作文者得语文”，当然要检查一下“豆包”同学的作文水平了。

来源于网络，2023年新课标I卷，阅读下面的材料，根据要求写作。（60） 好的故事，可以帮我们更好地表达和沟通，可以触动心灵、启迪智慧;好的故事，可以改变一个人的命运，可以展现一个民族的形象……故事是有力量的。 以上材料引发了你怎样的联想和思考?请写一篇文章。 要求:选准角度，确定立意，明确文体，自拟标题:不要套作，不得抄袭:不得露个人信息:不少于800字

文章从“故事是有力量的”这一观点出发，列举了故事对个人和民族的重要性，内容充实，层次清晰。 文章先是从个人角度阐述了故事对心灵触动、智慧启迪、命运改变的作用，随后扩展到民族层面，强调了故事在展现民族形象方面的作用。 最后，文章还提到了讲好中国故事的必要性，以及如何讲好故事的方法。 内容方面较为完整，字数达标，符合高考要求。

不过在论述如何讲好中国故事时，略显笼统，缺乏具体的措施和方法，但整体表现仍值得肯定。

PDF问答、数学能力，有待提高

我们将2023年高考数学真题直接“喂”给豆包，看看他能不能读懂并答对数学题。

将试卷转为PDF给“豆包”阅读，让它复述第17题，但豆包好像不太读得懂数学题，“PDF问答”欠缺火候。

图△为“豆包”的回答，图▽为原本的题目

在更换了提示词，并将问题直接输入后，再来看看“豆包”的表现如何。

你是一名高三的学生，现在需要回答一下这一问题 17.已知在三角形ABC中，A+B=3C,2sin(B-C)=sinB (1)求 sinA; (2)设 AB=5,求 AB 边上的高

可以看到，表现显然好了许多，第一问回答正确，但是到第二问求AC值的时候发生了错误，导致第二问回答错误。

而实际上，该结果是进行了多次测试后选取的一次相对较好的成果进行展示，在测试过程中，“豆包”同学表现出了明显的偏科，在做数学题上表现较差。

英文阅读写作能力出众

刚刚在数学题考察的时候豆包的“PDF问答”掉了链子，那么在英文语境下的“PDF问答”表现如何？

我们将2023年英语真题“甩给”豆包，并直接问“回答写作的第一节”。

这次“豆包”同学不仅准确理解题目，并且答得还不错。

语言表达流畅，语法正确，用词恰当。李华使用了诸如“feel uncomfortable”, “less confident”, “vary”, “be motivated”等词汇和短语，展现了良好的英语表达能力。

信件结构完整，包括称呼正文和结束语，内容部分先提出问题，再给出建议，条理清晰综合考虑，可以拿到接近满分的水平，但“from Class 3”这样的表述似乎不太符合高考的要求。

AI搜索，多源数据来源待拓展

在考试结束后，将要面对的是择校的问题，接下来看看“豆包”同学将如何进行择校。

我们要求“豆包”同学通过其AI搜索功能，查找今年热门的文科类专业，并对这些专业的优劣势进行对比。它成功地生成了一个表格，列出了多个适合文科学生的专业，并清晰地标注了每个专业的优势和不足。

然而，我们发现“豆包”同学提供的参考文献来源相对较少，仅有两个。与市场上其他同类产品相比，这种数据来源的局限性可能导致生成的内容不够全面，甚至可能增加“幻觉”现象的出现概率。

整体来看，“豆包”同学偏向文科。凭借着日常积累，使得基础相当牢固，在处理基础题时，表现得游刃有余，但是深度不足，面对作文深度和数学题，就显得捉襟见肘。

最后，在距离高考一周的时间，让“豆包”同学作一幅画，祝天下学子，高考加油！

（Emmm好像有点尴尬，“豆包”同学整体画风不错，但是这字写的着实叫人看不懂啊）

AIGC大模型工场已经组织了非常精准的「AI大模型垂直社群」，覆盖超1000位AIGC圈，百度大模型业务负责人，京东大模型业务负责人，腾讯大模型业务人，阿里云大模型技术负责人，科大讯飞大模型公关，商汤大模型业务，阅文大模型公关，360大模型公关负责人都在群里啦，欢迎大模型业务负责人加入。请加微信fqq2000nian ，注明真实身份。

数据支持天眼查，大模型独家合作账号

监制 / 刘老师

编辑 / AIGCCCCC

视觉 / 大模型

微博 / @AI大模型工场

TG/AI Marketing Field

大模型应用创业者，你怎么看？

■ 百度文心一言，阿里通义千问 ▍通用大模型案例

■ 科大讯飞星火 京东 ▍产业大模型案例

■ 商汤日日新、腾讯，昆仑万维 ▍ 金融大模型案例

■ 盘古大模型，中国电信，医联 ▍医疗大模型案例

■阅文大模型，腾讯音乐大模型 ▍ 文娱大模型案例

■知乎，360大模型，火山引擎 ▍ 教育大模型案例

■ 网易，金山办公大模型 ▍ 更多行业大模型案例

上次介绍当运营商开卷大模型：毫无亮点，没有新意

本文由大模型领域垂直媒体「AI大模型工场」

原创出品，未经许可，请勿转载。

欢迎提供新的大模型商业化落地思路