MoE架构，全量上线，MiniMax的abab6跨过玫瑰三段论了吗？

好像这年份从2023跨到2024之后，大模型的追随标杆也纷纷从GPT-3.5变成了GPT-4。GLM-4拿出了到目前为止最接近GPT-4的表现，然后又冒出了个新的竞争者。

——MiniMax新的大语言模型abab6。

“沉默寡言”的MiniMax前段时间难得发声。副总裁魏伟在12月末透露MiniMax将会发布一个对标GPT-4的大模型。而在经过了半个月的部分客户的内测和反馈后，全新的大语言模型abab6终于全量发布。性能上弱于GPT-4，但有些能力已经大幅超过 GPT-3.5。

MiniMax展示了abab6在三个复杂任务测试基准上的表现。

IFEval：这个评测主要测试模型遵守用户指令的能力。我们会问模型一些带有约束条件的问题，例如“以XX为标题，列出三个具体对方法，每个方法的描述不超过两句话”，然后统计有多少回答严格满足了约束条件。

MT-Bench：这个评测衡量模型的英文综合能力。我们会问模型多个类别的问题，包括角色扮演、写作、信息提取、推理、数学、代码、知识问答。我们会用另一个大模型（GPT-4）对模型的回答打分，并统计平均分。

AlignBench：该评测反映了模型的中文综合能力测试，测试形式与 MT-Bench 类似。

结果如下。看上去离GPT-4还有距离，但有些能力已经超过 GPT-3.5和Claude 2.1不少：

图源：MiniMax

这个成绩单里最陌生的就是Mistral，但abab6有趣的地方也在这里——它用上了最近很火的MoE架构，而MoE正是Mistral不久前带火的。

简单来说，MoE (Mixture of Experts 混合专家模型）架构会把模型参数划分为多组“专家”，每次推理时只有一部分专家参与计算。这种架构可以让模型在小参数的情况下把计算变得更精细，然后拥有大参数才有的处理复杂任务的能力，同时模型在单位时间内能够训练足够多的数据，计算效率也可以得到大幅提升。

一个月前，法国 AI 初创公司Mistral AI发布了首个开源MoE大模型Mixtral 8x7B——一个只有87GB的，8个7B模型的组合——清理下内存就能下载到自己电脑上，性能上直接击倒了700亿参数的Llama 2。之前Dylan Patel爆料的GPT-4模型架构里，16个1110亿参数组成的MoE是最重大的信息之一。

现在abab6也采用了MoE架构。并且为了训练 abab6，MiniMax自研了高效的MoE训练和推理框架，并且发明了一些 MoE 模型的训练技巧。到目前为止，abab6是国内第一个千亿参数量以上的基于MoE架构的大语言模型。

既然是概念如此新鲜的大模型，那我们不如自己上手浅测一下，当然，都2024年了，简单的问题就不问了。

咱看看给外国人做的中文八级考试 ，abab6行不行：

中国有俩体育项目根本不用看：一个是乒乓球，一个是足球。

前者是谁也赢不了。

后者是谁也赢不了。

提问：分别解释两句话的意思。

中文语义理解上，abab6的能力无懈可击，甚至能读懂幽默：

图源：硅星人

英文能力上，MiniMax自己展示了一个例子——用“ABAB6”作为句首写一首英文藏头诗，主旨是MiniMax的ABAB6文本大模型。那我们取个巧，看看同样的问题，MiniMax换一个提问对象会给出什么答案：

图源：硅星人

写的没问题，问题在于，这跟MiniMax自己展示的答案也太像了。

图源：硅星人

然后我刻意离开了这个问题一会儿，聊了些别的话题之后，再一次回到这个问题。结果让人失望，abab6给出了一首几乎一样的藏头诗。这个问题在我把题目里的“ABAB6”换成“LLAMA”，“MiniMax”换成“Meta”之后仍然没有变化。

它好像有一个固定答案，并且从“LLAMA”的案例来看，这个答案也没有写“ABAB6”时候那么好。而在GPT-3.5和GPT-4里，没有这种情况。

图源：硅星人

同样的问题出现在MiniMax自己展示的另一道题上：

为我创造一款虚构的桌游，这款游戏的主题围绕着上海展开，游戏中需包括上海市的主要旅游景点、历史文化以及独特美食。请将回答格式化为一个清晰的游戏规则说明书，其中每个游戏组件的描述必须用有序列表来组织。

对于这个问题，abab6无法像演示的那样顺畅的做出完整回答：

图源：硅星人

图源：硅星人

前面说abab6的语义理解能力没问题，那最后我们试试它逻辑推理的能力。

有一个经典的逻辑题叫“玫瑰三段论”：

所有玫瑰都是花。

有些花很快就凋谢。

所以有些玫瑰很快就凋谢。

看着每一句话都对，但仔细想想这个推理逻辑是错的。但对于大模型来说这足够有迷惑性了。不过“玫瑰三段论”太有名，为了防止这道原题已经进入钻进大模型语料的可能性，我们把题包装一下：

所有的苹果都是水果。

有的水果是红色的。

所以有些苹果是红色的。

这个三段论对吗？这次比较对象是abab6，和它的对标对象GPT-4。GPT-4一开始被迷惑住了，但它在一次提醒之后理清了思路：

图源：硅星人

图源：硅星人

abab6的答案让人惊喜，它一次就给出了正确的答案：

图源：硅星人

但随着对话继续，abab6在逻辑上出现了点问题：

图源：硅星人

但这样的理解和推理能力已经非常不错。

现在abab6已经上线MiniMax的开放平台，开放平台上线半年多的时间里，MiniMax 陆续服务了近千家客户，包括金山办公、小红书、腾讯、小米和阅文在内的多家头部互联网公司，MiniMax 开放平台平均单日的 token 处理量也已经达到了数百亿。

目前大部分大语言模型开源和学术工作都没有使用 MoE 架构。MoE路线下的MiniMax大模型会在2024年取得什么样的进展，abab6只是开始。

*参考资料：

https://mp.weixin.qq.com/s/2aFhRUu_cg4QFdqgX1A7Jg

欢迎加入这个星球，见证硅基时代发展↓