北京
先看两篇小作文：
1，割韭菜的镰刀厉害了
2，算力下跌为什么？
那么，美国专家如何看待幻方DeepSeek V3？
一、AI教育专家Nate Jones观点
以前，像 GPT-4、Sonic 3.5这样的模型，制作成本高达1亿美元、7000万美元。但截至本周，这个数字已经不对了，截至本周，成本是 500万美元。
现在有一款模型，其训练成本大约比ChatGPT4低10倍，甚至可能不止10倍，这可是件大事，尤其是因为该模型的开发者将其开源了，而且连相关论文也开源了，你可以看到他们所做的一切。
这款模型叫 DeepSeek V3，它的标志是一只可爱的小鲸鱼，他们能用500万美元的预算做到现在这样的成果，真的令人难以置信。
可以说，在编码、英语、中文、数学等方面它比Sonic和Chat GPT 4都更出色。他们精心挑选了这些具有高价值的应用场景，然后坚持不懈地去钻研。
他们是怎么做到的呢?首先，他们非常谨慎地挑选训练数据，他们之前有一个模型，对其进行了精心打磨，所以有了非常优质的训练数据作为基础。然后，他们在训练方式上效率极高，采用了一种叫做双管道”(dual pipe)的特殊技术，我已经在Tiktok视频里尝试解释过几次了，但好像解释不通。
简单来说，基本上可以把这个模型想象成在学习的同时，通过一种特殊公式将所学内容反馈出来，当然这只是一种非常简化的说法实际上有一整篇论文来阐述它。
除此之外，在更高效训练的基础上，他们在处理查询方面也做得更好。所以当你提出问题时，它实际上并不会调用整个模型(总共6170亿个参数)，而是会选取370亿个对你的问题有意义的参数来响应。
这听起来参数数量依然很多，但只选取模型的一部分参数，会让实际使用的效率大大提高，而且事实证明这样做并不会影响性能前提是你知道如何选取正确的参数，这可以算是他们的一个秘诀，而他们把这个秘诀也开源了，这挺酷的。
他们做的另一件非常高效的事是会提前预测两个词元(tokens)，这可能有风险，但就这个情况而言，他们对自己输出内容的准确性很有信心，所以提前预测两个词元是合理的。
大多数模型只提前一个词元，比如大多数模型都只提前预测你说“狗来到门前”，这就是提前预测一个词元；如果说“狗来到门前，并且……”这就是提前预测两个词元了。
所以他们在做提前预测两个词元这件事这意味着他们对训练数据的质量很有信心对给出的答案也很有把握。
所以现在，它超越了Sonic，也超越了ChatGPT。我得赶紧补充一下，它和那种推理时间较长、需要大量时间来回答问题的计算模型(比如01、01 Pro、03,这类模型会同时运行大量并行的词元线程)不一样。
它属于Chat GPT 4这一类模型，先在大量数据上进行预训练，然后接收查询请求在向量超空间中查找并返回响应他们做了一些了不起的事来提高效率。
实际上，他们所做到的就是现在任何人只要有500万美元，就可以从头开始构建自己的模型，这在以前是闻所未闻的，所以这是一项巨大的成就。
大家一定要去看看DeepSeekV3，这款模型哦，干杯!
二、DeepSeek-V3技术报告原文
地址：
https://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf
报告核心要点：
这是一个强大的混合专家（MoE）语言模型，共有 671B 参数，每个token激活 37B 参数。
为了实现高效推理和经济高效的训练，DeepSeek-V3 采用了多头潜在注意力（MLA）和 DeepSeekMoE 架构，这些架构在 DeepSeek-V2 中已得到充分验证。
此外，DeepSeek-V3 率先采用了无辅助损失的负载均衡策略，并设定了multi-token预测训练目标，以提升性能。
在 14.8 万亿个多样且高质量的tokens上对 DeepSeek-V3 进行预训练，随后通过监督微调（SFT）与强化学习（RL），充分挖掘其能力。
综合评估表明，DeepSeek-V3 超越了其他开源模型，性能可与领先的闭源模型相媲美。
性能卓越的同时，DeepSeek-V3 的完整训练仅需 278.8 万 H800 GPU hour。
此外，训练过程极为稳定，在整个训练过程中，未出现任何不可恢复的损失峰值，也无需进行任何回滚操作。
三、一些产业界观点
（1）特定领域实现了很好的数据优化
1、DEEPSEEK V3 编码和数学效果很好，超过O1之前的标杆sonnet3.5（CLAUDE）其他也还可以，但不一定超过sonnet 3.5。离O1、O3纸面上看差距还是不小。
2、特定领域实现了很好的数据优化，实现了细分应用比较好的效果和训练性价比。目前看如果相对明确的技术路线参考，不做特别多探索性工作的话能用有性价比的方式达到很好的效果。
3、国内基础模型剩下的几大核心厂商对海外市面上发布的模型都有一定的跟随能力，可能无法预计的是尚未发布的模型。
4、从O3体现的超强能力（纸面仍然领先幅度较大）和训练（预训练、后训练规划10万卡集群）、推理（高阶一个复杂点任务几千美金）；另外目前模型离高准确度通用应用还有较大距离，算力爆发逻辑没有影响。
（2）Deepseek这个统计口径只计算了训练
-训练只有一次，推理是无数次。推理需求实质上远大于训练需求，尤其是用户基数大了。
- Deepseek是站在巨人的肩膀上，使用大量高质量合成数据。
- Deepseek这个统计口径只计算了训练，但数据的配比需要做大量的预实验，合成数据的生成和清洗也需要消耗算力。
- Deepseek的模型的MoE每个专家都可以单独拿出来训练，本身相比于dense架构就是省力一些的方案。
-人人都超越了GPT 4o，llama 3天天被踩在脚底下，消费者和企业界实际使用用的最多的还是这两个模型。这些宣传的成绩未必可靠。
本文源自：智通财经APP
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
