基本情况:
DeepSeek 自从涨价以来,基本保持了每月更新。每次更新都会把 Flash 模型大幅向前推进,大步追赶世界顶级水准。新 Flash 延续了前代的基础智力,在 Agent 任务上则带来了堪比跨代的改进,正式超过前任国模 SOTA Kimi K3,成为国内最高水准的新代表。虽然 Kimi 也到了换代时间,但从成本来看,新 Flash 的性价比 SOTA 地位应该会持续更长时间。
逻辑成绩:
表格的排序切换为按 中位分数 降序。
![]()
*1 表格为了突出对比关系,仅展示部分 可对照模型 ,不是完整排序。
*2 题目及测试方式,参见: 大语言模型-能力横评 26-09 月榜 ,增加 #79 、 #80 。
Agent 成绩 :
![]()
编程任务 :本次编程测试切换到 DeepSeek Harness 0.2.1 版本进行,使用标准模式。前一次 9 月测试时考虑到 DSH 尚在发展期,不够成熟,所以没有使用。今后所有 DeepSeek 模型均使用 DSH 进行测试。
新 Flash 编程能力的泛化性较好,不同技术栈基本能保持相同水准,这是国产模型第一次达到如此高的泛化性能。因此虽然部分任务小问题偏多,但整体排序可以给到超过 K3 的位置。与上周的 Gemini Argon 相比基本持平,新 Flash 审美略好,但长板不够长。
新 Flash 的审美总体上算国模翘楚,向上和 GPT6 Astra 也在伯仲之间,但整体品控比不上 Opus 5.5。而且审美可以跨技术栈复用,不会出现像之前仅在少数前端任务表现好,换技术栈就大幅衰退的情况。不过新 Flash 的审美倾向于把所有空间填满,如果是前端页面,就塞满各种小元素和文字,如果是 App ,则会弃用系统控件,使用质感更好的自绘控件。这方面和 Astra 行为更像,而 Opus 更高级的地方在于懂得留白。如果细看每个细节,其实也不经看,如果要用来上线和商用,反而要修的细节也更多。当然,Astra 也是如此。
任务效率上,分任务场景而定。DeepSeek 系列模型一贯风格是追求思考充分再动手,代码一次成型。新 Flash 在常见的前端技术栈上也进化出集中写代码和集中验证的特征,较少在验证过程边验边改。这类任务新 Flash 的效率就有极大的改善,比如 J 任务上,新 Flash 步骤仅有旧版的20%,大部分都是验证过程优化带来的。不过前端以外的场景虽然效率也有优化,但没有如此大优势。横向对比,其效率仍不如 Astra,大致持平 6.1 Sol,极大幅优于 Opus 5.5。
在品控上,新 Flash 更频繁的依赖截图视检和自动化脚本。得益于新 Flash 视觉能力的提升,能发现更多被旧版忽略的小细节,比如 UI 重叠,模型细节,纹理颜色等。不过 Flash 进行品控的操作效率还有优化空间,有时也会在不重要的环节浪费大量注意力,也带不来有效改进。不过 Flash 的指令遵循能力强,如果任务原本就有丰富细节要求,则可以利用 Flash 这种能力来直出更好的产物。
推理能力 :新旧 Flash 在单轮和多轮推理任务上,表现有好有坏,与注意力有关的任务,则新版有显著提升,幻觉更低,更能从细节中找答案。而且新 Flash 在这类任务的 Token 效率也更高,用量仅有旧版的一半甚至更少。但需要大量探索和反思的任务,新 Flash 效率反而更低,也会多出 30%-40%,但得分并不会提高。换句话说,新 Flash 在复杂推理方面没有本质提升。但幻觉的改善可能会体现在大量长文本材料的中低难度任务上,一次成功率会大幅提高,也就是 DeepSeek 官方所述,针对 WorkBuddy 的改进。注意到前代 Flash 也是在幻觉方向做出了有效改进,或许 DeepSeek 已经走在正确路线上。
赛博史官曰:
数据和算力是大模型并列第一的驱动力,而从国内现状出发,向上拔高带不来等比提升的智力密度,反而是在舒适区间沉淀技术,打通关节,让数据飞轮持续运转,更有可能做到随着算力丰富和数据积累,逐步走出自己的 J 型增长曲线。纵然国际风云变幻,风高浪急,掌好自己的舵,跟紧航向仍是当下最明智的举动。等到时机成熟,更大尺寸模型终有羽翼丰满,天际畅游的一日。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.