山东
一、DeepSeek 介绍
DeepSeek 是一家由中国知名量化私募巨头幻方量化创立的人工智能公司，致力于开发高效、高性能的生成式 AI 模型。自 2023 年 7 月成立以来，DeepSeek 在短短一年多的时间里取得了显著的进展，推出了多个引人注目的开源模型，包括 DeepSeek Coder、DeepSeek LLM、DeepSeek-V2、DeepSeek-V3 和 DeepSeek-R1。
二、DeepSeek 发展历程
2023 年 7 月：DeepSeek 成立，总部位于杭州。
2023 年 11 月 2 日：发布首个开源代码大模型 DeepSeek Coder，支持多种编程语言的代码生成、调试和数据分析任务。
2023 年 11 月 29 日：推出参数规模达 670 亿的通用大模型 DeepSeek LLM，包括 7B 和 67B 的 base 及 chat 版本。
2024 年 5 月 7 日：发布第二代开源混合专家（MoE）模型 DeepSeek-V2，总参数达 2360 亿，推理成本降至每百万 token 仅 1 元人民币。
2024 年 12 月 26 日：发布 DeepSeek-V3，总参数达 6710 亿，采用创新的 MoE 架构和 FP8 混合精度训练，训练成本仅为 557.6 万美元。
2025 年 1 月 20 日：发布新一代推理模型 DeepSeek-R1，性能与 OpenAI 的 o1 正式版持平，并开源。
2025 年 1 月 26 日：DeepSeek 登顶美区 App Store 免费榜第六，超越 Google Gemini 和 Microsoft Copilot 等产品。
三、DeepSeek 原理
DeepSeek 的模型设计和训练过程采用了多项创新技术，这些技术使其在性能和效率上取得了显著的突破。
混合专家架构（MoE）：
DeepSeek-V3 采用了混合专家架构，总参数达 6710 亿，但每个输入只激活 370 亿参数。这种选择性激活的方式大大降低了计算成本，同时保持了高性能。
DeepSeek-V3 的 MoE 架构通过动态冗余策略，在推理和训练过程中保持最佳的负载平衡。
多头潜在注意力（MLA）：
DeepSeek-V3 引入了多头潜在注意力机制，通过低秩联合压缩机制，将 Key-Value 矩阵压缩为低维潜在向量，显著减少内存占用。
无辅助损失负载均衡：
DeepSeek-V3 采用了无辅助损失负载均衡策略，最小化了因鼓励负载均衡而导致的性能下降。
多 Token 预测（MTP）：
DeepSeek-V3 采用了多 Token 预测目标，证明其对模型性能有益，并可用于推理加速。
FP8 混合精度训练：
DeepSeek-V3 设计了 FP8 混合精度训练框架，首次验证了在极大规模模型上进行 FP8 训练的可行性和有效性。
知识蒸馏：
DeepSeek-R1 通过知识蒸馏，将长链推理（CoT）模型的推理能力蒸馏到标准 LLM 中，显著提升了推理性能。
四、DeepSeek 的产品性能对比
DeepSeek-V3：在聊天机器人竞技场（Chatbot Arena）上排名第七，在开源模型中排名第一，是全球前十中性价比最高的模型。
DeepSeek-R1：在 Chatbot Arena 综合榜单上排名第三，与 OpenAI 的 o1 并列。在高难度
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
