微软连发3款Phi-3.5模型：128K上下文，首用MoE架构，部分性能超GPT-4o mini

智东西8月21日消息，今天，微软一口气甩出3款超强轻量级模型！

微软本次发布的轻量级模型系列名为Phi-3.5，适合在内存和算力受限的环境中运行，均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务，Phi-3.5-MoE-instruct可胜任复杂推理任务，Phi-3.5-vision-instruct则兼具文本与视觉能力。

性能最强大的Phi-3.5-MoE-instruct模型有419亿个参数，在5个示例的MMLU测试中击败了GPT-4o mini。这是微软首次使用混合专家模型架构。

这一模型系列中最小的Phi-3.5-mini-instruct在长上下文代码理解任务以明显优势击败Llama-3.1-8B-instruct和Mistral-7B-instruct，而其参数规模还不到Llama-3.1-8B-instruct的一半。

微软本次发布的3款模型的名字中都带有“instruct”，这意味着模型专门针对遵循用户指令进行了优化，这对端侧模型来说是项极为重要的技能。

微软在开源模型库Hugging Face上详细公布了这3款模型的炼制过程，包括数据来源、数据规模、算力等等。3款模型均在MIT协议下开源，开发者可以自由使用、修改或出售软件副本。

项目地址：https://huggingface.co/microsoft/Phi-3.5-mini-instruct

一、连发三款轻量级模型，击败GPT-4o mini与Llama 3.1-8B

微软今天发布的3个Phi-3.5模型包括用于基础快速推理的Phi-3.5-mini-instruct（38.2亿个参数）、性能更为强大的Phi-3.5-MoE-instruct（419亿个参数）和视觉模型Phi-3.5-vision-instruct（41.5亿个参数）。

1、Phi-3.5-mini-instruct：A16芯片本地可跑

Phi-3.5-mini-instruct专为遵守指令而设计，此模型非常适合在内存或算力受限的环境中提供强大推理能力，能胜任代码生成、数学问题和基于逻辑的推理等任务。

尽管参数规模仅有38.2亿，但Phi-3.5-mini-instruct模型在多语言和多轮对话任务中表现出的性能不俗。它在许多基准测试中拥有较为先进的水平，并在长上下文代码理解任务中以明显优势超过了其它模型（Llama-3.1-8B-instruct和Mistral-7B-instruct）。

▲Phi-3.5-mini-instruct在长上下文代码理解任务中优势明显（图源：微软）

微软并未直接阐明Phi-3.5-mini-instruct能否在手机上运行，但与其参数规模的基本一致的Phi-3-mini在经过4位量化后，能在搭载A16仿生芯片的iPhone上流畅运行，生成速度超过每秒12个token。

2、Phi-3.5-MoE-instruct：微软首个专家混合模型

Phi-3.5-MoE-instruct是微软首个专家混合模型。这类模型将多种功能不同的模型组合起来，每种模型专注于特定的任务。

这款模型利用了具有419亿个激活参数的架构，但根据微软在Hugging Face上公布的文档，这一模型仅需66亿激活参数即可运行。

Phi-3.5-MoE-instruct在各种推理任务中表现出色，在代码、数学和多语言语言理解方面具有强大的性能，超过了参数规模更大的其它开源模型。

▲Phi-3.5-MoE-instruct对Python、Java等编程语言的掌握显著好于其它同类模型（图源：微软）

这一模型还在5个示例的MMLU测试中击败了GPT-4o mini。这一基准测试涵盖了科技、工程、数学、人文、社科领域的问题。

▲Phi-3.5-MoE-instruct在5个示例的MMLU测试中以微弱优势击败GPT-4o mini（图源：微软）

MoE模型的独特架构还能使Phi-3.5-MoE-instruct在处理多种语言的复杂AI任务时保持效率。这一模型支持包括中文在内的23门语言。

3、Phi-3.5-vision-instruct：适用于OCR、图表理解与视频摘要

Phi-3.5-vision-instruct兼具文本和图像处理功能。能在算力和内存不足的情况下提供较好的一般图像理解能力、光学字符识别（OCR）、图表和表格理解、多图像比较和多图像或视频剪辑摘要等能力。

这一模型能管理复杂的多帧视觉任务。微软强调，该模型是使用合成和过滤的公开可用数据集的组合进行训练的，专注于高质量、推理密集的数据。

二、训练时间最短不到1周，模型全部开源提供

微软还在Hugging Face上公布了这组轻量级模型具体的训练情况。Phi-3.5-mini-instruct模型用掉了3.4万亿个token的数据，训练算力来自512个英伟达H100-80G GPU，训练耗时10天。

▲Phi-3.5-mini-instruct的Hugging Face页面（图源：Hugging Face）

Phi-3.5-vision-instruct模型训练耗时更短，仅为6天。其数据量为5000亿个token，训练过程中使用了256个英伟达A100-80G GPU。

Phi-3.5-MoE-instruct的参数规模较大，因此训练时长为23天。这款模型使用的训练算力与Phi-3.5-mini-instruct一致，但数据量为4.9万亿个token。

3款Phi-3.5模型都在MIT许可下开源，这符合微软之前对开源社区的承诺。MIT许可证允许开发人员自由使用、修改、合并、发布、分发、再许可或出售软件的副本。

该许可证还包括一项免责声明，即软件按“原样”提供，不提供任何形式的保证。微软和其他版权所有者不对因使用软件而可能产生的任何索赔、损害或其他责任负责。

结语：微软轻量级模型再出成果，端侧AI潜力凸显

微软的Phi系列模型一直以轻量级为特点。今年4月底，微软发布了Phi-3系列模型，其能力水平大致与GPT-3.5相当，但运行的成本却远远低于GPT-3.5。仅仅4个月后，微软又将其轻量级模型的表现提升了一个档次。

开发算力要求较低的端侧模型，或许能让微软的AI PC和其它使用Windows系统的设备拥有本地化运行、低延时、高安全性的AI体验。苹果的Apple Intelligence背后也有一系列端侧模型，这显示出即便在模型尺寸越做越大、能力越来越强的现在，兼具性能与成本效益的端侧模型也有巨大潜力。

来源：微软、VentureBeat