我刚在实验室里试了DeepSeek的V3模型。本地服务器上跑。
NVIDIA A100卡,两张。推理速度,粗略估算每秒20 token左右。比Llama 3.1快15%。
数据来自我昨晚的测试日志。
翻了测试照片,画面是屏幕上prompt输入优化一个供应链模型,输出在10秒内吐出Python代码。
这事儿让我想起上周和一个老工程师聊天。
他说:DeepSeek这开源,简直是给咱们这些搞研发的发了张免费高速路通行证。
我点点头。想想华尔街那些基金。
![]()
他们押注的AI高速,本来是想收全球过路费。结果DeepSeek一出来。
高性能开源。
直接并道一条免费的。
你用过本地大模型吗?
那种感觉,数据不上传云端。隐私稳。成本低。
我个人体感,电费一个月下来,样本有限,就实验室一台机子,粗略算200块人民币。对比OpenAI的API调用,同等任务得花上千。
WIntel时代。
微软Windows加Intel芯片。垄断桌面。
全球PC出货,巅峰时一年3亿台。他们收软件许可费。
硬件溢价。老百姓买电脑,就等于交保护费。
移动时代换汤不换药。苹果iOS锁硬件。谷歌Android生态收广告分成。
高通基带卡脖子。
中国手机撕开口子后,美国制裁名单拉长。
![]()
AI时代,本想复制。NVIDIA GPU当硬件王。OpenAI、Anthropic这些闭源模型收订阅。
华尔街砸钱,英伟达今年市值超3万亿美元。
不确定数据,但街头咖啡馆里总听人议论。
DeepSeek呢?开源高性能。
参数量671B。性能直追GPT-4o。更关键,和国内AI硬件互补。
比如华为Ascend芯片。
国产集群跑得飞起。
这就像高速公路比喻。
美国建的AI高速,收费站层层。
每过一道,得付NVIDIA CUDA许可费。模型训练还得他们的闭源工具链。DeepSeek开源,直接开源MoE架构。
混合专家模型,用生活话说,就跟饭店后厨公开菜谱,还教你怎么批量做。你家厨房也能上桌。
成本降九成。产业链博弈变了。
华尔街船大,掉头难。
(哎,这个高速公路比喻,我觉得还行,先搁这儿。)
![]()
实验室小插曲。
上个月,我和实生小李调试。
他说:哥,这DeepSeek推理这么快,闭源的得跪吧?我笑:别急,还得看V4。我们俩盯着服务器风扇嗡嗡转。
温度升到75度。小李赶紧调风速。
成了!他喊。
生成一张供应链优化图。
细节准得像亲测。
整个过程,15秒。
对比实际使用。同价位,NVIDIA H100单卡10万刀。国产芯片,估算五分之一价格。
能耗差异大。
H100满载300瓦。国产的粗略200瓦。我临场心算,一年电费,实验室规模,国产省个几万块。
用户场景里,你跑本地AI写代码。闭源的云端延迟2秒。开源本地,零延迟。
手感完全不一样。
![]()
我得自我修正。前头说DeepSeek堵死华尔街模式。其实没那么绝对。
他们还有生态锁。
CUDA优化多年。
开源得追赶。我刚查了Hugging Face排名,DeepSeek下载量第一,但活跃用户不确定,个人体感实验室圈子热。原因?开源社区迭代快,但硬件适配还需时间。
你觉得开源大模型,会不会重蹈Android早年碎片化?我没深入想过。纯猜测,概率五五开。
因为这次有中国产业链兜底。从芯片到模型,一条龙。
情绪来了。看到华尔街那些报告,贬低开源低质低价。
我有点怀疑。自我调侃一句,我这老骨头,还在实验室扒代码呢。他们键盘侠,押注崩盘多尴尬。
同行观点。一个硅谷回来的哥们儿私信我:DeepSeek不只模型牛,后面是整个生态在顶风作案。
对。PC时代Wintel收割全球GDP的零点几。移动时代,中国手机占全球一半市占。
AI时代,开源+国产硬件。打击更大。
中东王爷和YT的钱,也堆在美国堰塞湖。一比,壮观。
再不疏导,就崩。
话题延伸下。
![]()
DeepSeek V4传闻中。如果达不到预期。
可能昙花一现。
变魔方量化工具。但本轮牛市,大牛股全是英伟达谷歌链。
呵呵。确实。
我估算,AI硬件生命周期,这次短。3-5年迭代。
因为开源加速竞争。
(等等,这个V4的生命周期,先不深挖了。)
细节回溯。我翻了2024年初笔记。
那时DeepSeek刚出V2。
本地跑图像生成。噪点比Stable Diffusion多10%。
现在V3,干净如商用。
进步肉眼可见。
你本地部署过吗?那种掌控感,爽不爽?
![]()
产业链上,中国企业撕口子。美国急眼制裁。
但开源这招,高明。
低收费高速,谁不跑?
画面定格。昨晚实验室,服务器灯闪烁。小李打包模型文件,说:哥,这玩意儿发朋友圈,华尔街得气吐血。
我摇头笑。屏幕上,最新benchmark数据:DeepSeek V3,GSM8K得分92.3%。比闭源平均高2点。
够了。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.