小巧强悍还静音 abee迷你液冷AI工作站评测：235B大模型流畅跑

AI大模型的发展浪潮正从云端向边缘侧加速渗透，这一趋势下硬件形态的革新已然成为技术落地进程中的关键变量。传统AI工作站或是配备高规格硬件的PC主机，尽管在性能上能够满足部分需求，但受限于庞大的体积以及高昂的成本，在开发者追求“本地化部署”的当下，显得力不从心。特别是对于众多个人开发者和AI爱好者而言，这些设备动辄数十万元的售价，让他们只能望而却步，难以将本地化部署AI大模型的设想变为现实。与此同时，消费级迷你主机虽凭借小巧便携的特点吸引了不少目光，然而其硬件性能却存在明显瓶颈，在面对较大规模的本地大模型部署和运行时，往往显得捉襟见肘，无法提供稳定且高效的运行支持。

在此情形下，代号为Strix Halo的AMD锐龙AI MAX 300系列处理器可谓生逢其时。AMD在今年年初推出了锐龙AI Max+ 395处理器，通过Zen 5 CPU、RDNA 3.5 GPU与XDNA 2 NPU的三重架构算力融合，结合128GB统一内存的“可变显存”技术，支持最大96GB专用显存分配，以及额外的16GB共享显存，让其可以运行70B甚至更高参数的大模型。不少搭载这款处理器的Mini AI工作站已经相继问世，这款abee迷你液冷AI工作站也是其中的一员，其非常大的一个特点就是采用了更加高效的液冷散热系统，让性能释放可以更为极限和稳定，今天我们就一起来看看它的表现到底如何。

这个“方盒子”不简单

abee迷你液冷AI工作站采用了类四方体设计，棱角分明，整体非常的方正。它采用了全铝合金外壳，整体的质感是非常棒的，摸起来给人一种很厚实的感觉。

其体积为8L，重量约为5.3kg，占据的空间比传统的台式机要少很多。

机箱下方是一个“悬浮”式的底座，可以强化底部开孔的进风，与顶部散热开孔组成了向上的烟囱风道结构。

接口方面，正面除了电源键外，提供一个USB-A 2.0接口、USB-C 3.2接口以及3.5mm音频接口;

背面则有2个USB-A 2.0接口、DP1.4接口、HDMI2.1接口、2个USB-A 3.2接口、2个USB 4接口、2.5G网口、10G网口以及3.5mm音频接口，满足用户的扩展需求。

我们也简单看看机身内部的结构，内部使用了1.0mm钢板框架，保障机身的强度。

主板位于中间层，采用12层PCB设计，上面覆盖了一块12000mm2的纯铜多岛全覆盖冷板，可以提供1960cm2冷热交换面积，与双滚珠轴承风扇组成了高效的液冷散热系统。

除了均热板边上的硬盘位外，在后面还提供了一个额外的2280的M.2盘位，不过就是需要和网卡“叠叠乐”了。

主板的另外一面还提供了一个SFF-8654 (SlimSAS)4i接口，支持SAS 4.0和PCIe 4.0规格，最高传输速率可达24Gbps，可以通过它扩展额外的NVMe SSD。

下方则是内置的400W电源，说实话，能把400W的电源做到如此小确实很厉害了，而且还具有白金级转换效率(92%+)。

这款迷你主机的整体设计还是比较紧凑的，机内走线规整清爽，用料非常的扎实，而且提供了不错的扩展性。

176W超强性能释放

核心配置上，abee迷你液冷AI工作站搭载了锐龙AI Max+ 395处理器，采用创新的Zen 5架构，16超大核心32线程，加速频率可达5.1GHz，64MB的三级缓存。集成了40CU的RDNA 3.5架构GPU，型号为Radeon 8060S。还有着全新的XDNA 2架构NPU，Al算力高达50 TOPS。拥有全新的256GB/s超高带宽的内存接口，最高支持128GB LPDDR5X-8000内存。值得一提的是，在液冷散热的加持下，其PPL功耗可以达到176W，相比传统的风冷散热主机的性能释放更加极限。

我这里也进行了一些测试，先来看CPU这块，结果如下：

比我之前测试的140W(峰值)的要高一些，甚至多核性能已经和游戏本上使用的140W锐龙9 9955HX不相上下了，性能确实非常的强。

GPU这块，测试结果如下：

同样比140W(峰值)的要强一些，小胜了“满血”RTX 4060移动版，Radeon 8060S的表现强势，可以说是目前集成显卡“天花板”的存在了。

想要运行大参数量的模型，一方面需要足够的算力，另一方面则是需要足够的显存。这台迷你AI工作站板载了128GB LPDDR5X-8000内存，依托AMD独特的UMA高带宽统一内存架构，最高可以将其中的96GB分配给Radeon 8060S显卡来作为显存，让其可以运行大参数的大语言模型。通过AIDA 64的内存测试工具测得读取速度达到119.20GB/s，写入速度达到171.68GB/s，拷贝速度为154.93 GB/s，延时为152.8ns。

硬盘方面，它配备了一块2TB PCIe4.0 SSD，可以容纳非常多的文件和数据，毕竟本地大模型的体积还是很大的，参数量大的有几十G甚至上百G。实测顺序读取速度为5263.53MB/s，顺序写入速度为4778.11MB/s，速度还算可以。

关于性能释放这块，单烤FPU 30分钟，最开始2分钟可以维持到176W，之后降到153W，维持到8分钟左右，然后就会维持一直维持在133W，主频仍是3.8GHz，核心温度维持在76.1℃，相比同款CPU的风冷散热机型，性能释放更好，且核心温度更低。

双烤1小时，总功耗会短时间维持在176W，然后降到153W一段时间，最后维持在133W左右，CPU为73℃，GPU为60℃，依旧可以稳定运行，而且在液冷散热的加持下，性能释放更高，可以应对长时间的高负载工作任务。

至于噪音这块，刚开始飙到176W和153W这段时间，差不多是40-41dB这样;之后功耗稳定在133W后，噪音会控制到37-38dB这样。这是个什么概念呢？我们一般的办公室的底噪差不多就得达到40dB，所以即便这台主机在办公室满载运行，也是不会打扰到其它人的。液冷散热不仅仅带来的是更好的性能释放，同时还有更低的噪音。

235B大模型流畅运行

作为首款专为AI领域打造的abee迷你液冷工作站，其最核心且亮眼的功能，自然是运行AI大模型。它所搭载的锐龙AI Max+ 395处理器为整机提供了极为强大的算力支撑，无论是复杂的数据计算，还是高难度的模型训练，都能轻松应对。与之相得益彰的是其配备的128GB统一内存，最多可以分配96GB作为专用显存使用。如此一来，这款体型小巧的主机便拥有了远超一般PC设备的强大能力，能够承载32B、70B甚至更大规模的模型。以往，这些模型由于数据量巨大、运算复杂，以往只能依托云端强大的服务器资源才能运行，普通PC设备根本无法承载。但现在，有了这款abee迷你液冷AI工作站，也能在本地顺畅跑起来了。

对于广大AI爱好者、初学者以及初级开发者而言，这无疑是一个好消息。它为开发者们打造了一个高性能且高隐私的本地开发环境。在这个环境下，AI开发者无需再依赖云端资源，就能顺利部署大模型。一方面，这极大地保障了算法模型数据的安全性，避免了数据外泄的风险;另一方面，本地运行也彻底摆脱了网络延迟的困扰，无需再为网络速度慢而影响工作效率而烦恼。而且，使用这款mini AI工作站无需像使用云端服务那样，担心token收费问题，没有了收费焦虑。更重要的是，与那些专业的AI设备相比，它的价格便宜很多，大大降低了AI开发的门槛。

接下来我们就看看这款主机运行大语言模型的表现如何吧，我这边使用了LM Studio在本地环境下部署了7/14/32/70B参数的DeepSeek大模型，均为Q4_K_M量化的模型，即4位量化混合精度优化。

测试项目包含四个，分别是旅行行程规划、文档内容总结、中学化学问答以及高考数学解题，来看结果：

运行70亿参数模型时，显存占用约为5.7GB，生成速度高达40 token/s以上，非常的快;140亿参数的话显存占用大概是10.3GB，生成速度依然有20 token/s;320亿参数的话，显存占用来到了20.7GB，生成速度依然能在10 token/s，是比较流畅的水平;700亿参数，显存占用达到了42.2GB，这已经不是一般PC主机能够承载的大模型了，强如RTX 5090，也只有32GB显存，跑这个模型都会爆显存，可它的生成速度依然有接近5 token/s，还在勉强能用的水准上，要知道在流畅前，起码要先能跑。

当然，从显存占用来说，700亿参数显然还不是它的极限，但即便显存能够支持它载入更大规模的模型，而生成速度变得非常慢，意义并不大。所以我们可以换一种模型类型，上面的那几个都是稠密模型，就是有多大参数量就用多少参数计算，所以对于显存和算力的需求量都很大，还有一种就是像Qwen3-235B-A22B这种采用混合专家(MoE)架构的模型，这类模型在执行运算时，虽然仍会将整个模型载入到显存当中，所以需要非常大的显存才可以，但在实际运算时仅需要部分参数参与运算，像这个模型在日常推理仅需激活22B参数，而且由于参数量大，它在实际使用时是要强于预算量更大的同系列稠密模型的，这种需要大显存来承载，但实际预算量有没有那么大的模型，可以说是非常适合这类设备了。

但2350亿参数量着实还是太大了，Q4量化版本的模型就有150G+，显存需求量会超过100GB，所以我这里找到了一个Q2_K_M量化的模型，模型本身约85G，载入占用显存约为82.4G。

我们还是运行了上面的四项测试，生成速率大约能在15-17 token/s，属于比较流畅的水准，有着较高的可用性。

依靠着锐龙AI Max+ 395强大的AI算力和超大的统一内存设计，这款迷你AI工作站可以承载一般消费级PC设备无法胜任的32B、70B甚至235B超大参数的大语言模型，同时它还可以部署StableDiffusion、Wan2.1等文生图或者文生视频模型，本地化部署降低了对云端算力的依赖，开发者可直接在本地调用模型进行迭代验证，缩短从实验到Demo的周期。另外，锐龙AI Max+ 395还兼容ONNX runtime，directML等多种模型和 API，适合Windows平台部署、运行、加速主流模型应用。对于多模态AI应用原型，利于进行实验和形成Demo，帮助快速发布开源项目。

游戏生产同样是高手

除了可以跑大模型外，这个工作站在生产办公和游戏方面的表现同样不错。PCMark 10应用程序测试得分为13565，编辑文档、表格，做个PPT啥的肯定都是完全没问题的。

数位内容创作这边，UL Procyon图片编辑测试和视频编辑测试，前者运行的是PhotoShop和LightRoom两款图形设计软件，主要针对的是CPU性能，得分为8523，后者则是针对视频编辑软件Premiere Pro，同时考验CPU和GPU性能，在GPU加速下，取得了23114，都是非常不错的成绩。

当然，我这里还准备了两个实际的负载，让大家可以更直观的感受下它的性能表现，显示300张RAW照片(约18GB)进行批处理后，导出为jpg格式，最终用时为1分53秒，效率是非常高的。

第二个则是视频导出，我这次准备的工程文件还是非常大的，总素材量达到了300G，并且全部为4K素材，全分辨率预览的话，单轨4K素材时完全没啥问题的，可以很流畅的进行预览和拖拉，不过三轨4K素材全分辨率预览还是会有一点卡。

将这个工程文件导出为4K 30FPS的mp4格式视频(约8分钟)，最终用时约为6分08秒，效率还是蛮高的。

游戏这边，我选择了10款比较热门的网游和单机大作，包括非常吃配置的《黑神话：悟空》、《赛博朋克2077》，也有经典的《古墓丽影：暗影》和《巫师3》等等，有1080P和2K两种分辨率，结果如下：

从测试结果来看，老一些的游戏，基本上最高或者次高画质都可以轻松流畅运行，而新一些的游戏降低到较高的画质，并使用下超分辨率和帧生成等技术，也是完全OK的。

在AI大模型从云端向边缘侧加速渗透的当下，abee迷你液冷AI工作站的出现，为众多个人开发者、AI爱好者以及初级开发者提供了一个非常不错的选择。锐龙AI Max+ 395处理器与128GB统一内存的强悍组合，让这台小巧的工作站拥有了超强的算力与大容量的显存支持，液冷散热的加持，性能释放更为极限，输出更为稳定。它能够流畅运行32B、70B甚至235B的超大参数大语言模型，为开发者打造了一个高性能且高隐私的本地开发环境，极大地保障了数据安全，摆脱了网络延迟和收费焦虑的困扰，降低了AI开发的门槛。它不仅满足了当下开发者对于本地化部署AI大模型的迫切需求，更为未来AI技术的普及与发展注入了新的活力。而在生产办公和游戏领域，它同样表现出色，无论是文档处理、图片与视频编辑，还是运行各类热门网游和单机大作，都能轻松胜任，为用户带来了全方位的优质体验。