LLM可以根据其架构

LLM可以根据其架构、训练数据和应用场景进行多种分类。理解这些差异将帮助我们的初创企业为具体场景选择合适的模型，并掌握如何测试、迭代和提升性能。

LLM模型种类繁多，选择哪种模型取决于你的使用目标、数据情况、预算等因素。

根据你是想用模型处理文本、音频、视频、图像生成等不同任务，可能会选择不同类型的模型。

• 音频和语音识别。Whisper类模型是这类任务的理想选择，它们是通用型的，专注于语音识别。Whisper模型训练于多样化的音频数据，支持多语言语音识别。
• 图像生成。图像生成领域中，DALL-E和Midjourney是两个非常知名的选择。
• 文本生成。大多数模型都专注于文本生成，你可以从GPT-3.5到GPT-4中选择多种模型。
• 多模态。如果你需要处理多种类型的输入和输出数据，可以考虑像gpt-4 turbo带视觉功能或gpt-4o这样的最新OpenAI模型，它们能够结合自然语言处理和视觉理解，实现多模态交互。

类型

典型模型

核心能力

适用场景

语音识别（ASR）

Whisper

多语言语音转文本

课堂录音转写、语音笔记、无障碍支持

图像生成

DALL-E 3, Midjourney, Stable Diffusion

文生图、图编辑

教学插图生成、创意设计、PPT 配图

文本生成

GPT-4, Claude 3, Qwen

写作、问答、摘要

智能辅导、作文批改、知识讲解

代码生成

CodeLlama, DeepSeek-Coder, GPT-4

编程、调试、注释

编程教学助手、自动代码补全

多模态模型

GPT-4o, Gemini, Qwen-VL

理解图像+文本，生成图文内容

数学题拍照解答、PPT 分析、视觉问答

基础模型与LLM的区别

“基础模型”一词由斯坦福研究人员提出，定义为满足以下条件的AI模型：

• 采用无监督学习或自监督学习训练，即在未标注的多模态数据上训练，无需人工注释或标注。
• 模型规模庞大，基于深度神经网络，拥有数十亿参数。
• 通常作为其他模型的“基础”，可作为构建其他模型的起点，通过微调实现特定任务。

为了进一步说明区别，我们以ChatGPT为例。ChatGPT的第一个版本是基于GPT-3.5这一基础模型构建的。OpenAI利用一些特定的聊天数据对GPT-3.5进行了微调，使其在对话场景（如聊天机器人）中表现出色。

开源模型与专有模型

另一种分类方式是根据模型是否开源。

开源模型是公开发布的，任何人都可以使用。它们通常由创建者公司或研究社区提供，允许用户查看、修改和定制以适应不同的LLM应用场景。但开源模型不一定针对生产环境进行了优化，性能可能不及专有模型。此外，开源模型的资金支持有限，可能缺乏长期维护和最新研究的更新。流行的开源模型示例包括Alpaca、Bloom和LLaMA。

专有模型由公司拥有，不对外公开。这些模型通常针对生产环境进行了优化，但不允许用户查看、修改或定制。它们通常不是免费的，可能需要订阅或付费使用。用户无法控制用于训练模型的数据，因此需要信任模型所有者在数据隐私和AI责任使用方面的承诺。流行的专有模型示例包括OpenAI模型、Google Bard和Claude 2。

维度

开源模型

专有模型

可访问性

✅ 公开可用，可下载、修改

❌ 仅通过 API 调用

定制性

✅ 可微调、部署在本地

❌ 无法修改内部结构

性能优化

⚠️ 可能未针对生产优化

✅ 通常高度优化

成本

一次性投入（算力）

按调用次数付费（API）

维护支持

社区驱动，更新不稳定

商业公司维护，稳定更新

数据隐私

✅ 数据可本地处理

❌ 数据需上传至第三方服务器

代表模型：

• 开源：Llama 3（Meta）、Falcon（TII）、Mistral、Qwen（部分）
• 专有：GPT-4o（OpenAI）、Claude 3（Anthropic）、Gemini（Google）

嵌入模型、图像生成模型与文本及代码生成模型

LLM还可以根据输出类型进行分类。

嵌入模型能够将文本转换为数值形式，称为嵌入，是输入文本的数值表示。嵌入使机器更容易理解词语或句子之间的关系，并可作为其他模型（如分类模型或聚类模型）的输入，这些模型在处理数值数据时表现更好。嵌入模型常用于迁移学习，即先为数据丰富的代理任务训练模型，然后将模型权重（嵌入）用于其他下游任务。

图像生成模型用于生成图像，常用于图像编辑、合成和转换。它们通常在大型图像数据集（如LAION-5B）上训练，可生成新图像或通过修补、超分辨率、上色等技术编辑现有图像。

文本和代码生成模型用于生成文本或代码，常用于文本摘要、翻译和问答。文本生成模型通常在大型文本数据集（如BookCorpus）上训练，可生成新文本或回答问题。代码生成模型，如CodeParrot，通常在大型代码库（如GitHub）上训练，可生成新代码或修复现有代码中的错误。

编码器-解码器架构与仅解码器架构

谈论LLM的不同架构时，我们用一个比喻来说明。

假设你的经理让你为学生设计一个测验。你有两个同事，一个负责内容创作，另一个负责审核。

内容创作者就像仅解码器模型，他们可以根据主题和已有内容写出课程。他们擅长写出引人入胜且信息丰富的内容，但不擅长理解主题和学习目标。仅解码器模型的例子有GPT系列模型，如GPT-3。

审核者就像仅编码器模型，他们查看已写课程和答案，理解它们之间的关系和上下文，但不擅长生成内容。仅编码器模型的例子有BERT。

如果有人既能创作又能审核测验，这就是编码器-解码器模型。示例包括BART和T5。

服务与模型的区别

现在，我们来谈谈服务和模型的区别。服务是云服务提供商提供的产品，通常是模型、数据和其他组件的组合。模型是服务的核心组件，通常是基础模型，如LLM。

服务通常针对生产环境进行了优化，使用起来比单独模型更方便，通常通过图形界面操作。但服务不一定免费，可能需要订阅或付费，用户通过使用服务享受服务提供商的设备和资源，优化成本并轻松扩展。

模型仅指神经网络本身，包括参数、权重等。企业若想本地运行模型，需要购买设备、搭建扩展架构，并购买许可或使用开源模型。像LLaMA这样的模型可供使用，但需要计算资源来运行。