最近后台收到不少私信,问得最集中的就是:现在想本地跑大模型,有没有一台设备能直接开箱用,不用折腾驱动、环境、依赖冲突。
我的回答很直接:去看看技嘉新出的AI TOP ATOM。
![]()
这不是传统意义上的迷你主机,也不是你想象的那种NUC。它本质上是NVIDIA DGX SPARK的定制优化版,但技嘉把外观和散热都重新做了。你拿到手的第一感觉是:这个产品很克制。150mm×150mm×50.5mm,银灰色金属外壳,哑光细磨砂,没有RGB,没有花里胡哨的线条。正面只有一个很小的GIGABYTE Logo,散热栅格放在前侧和尾部,内侧加了强化筋保证栅格稳固,底部还设计了橡胶垫脚和内凹槽挖空,辅助散热。这种外观设计的好处是,放在办公桌上不扎眼,而且运行噪音控制得很好,适合长时间跑推理任务。
![]()
翻到背面,有三个USB 3.2 Type-C,一个240W Type-C电源接口,一个HDMI 2.1a,一个10Gbps RJ-45有线网口,还有一个重点——NVIDIA ConnectX-7接口。这个接口的作用是:你可以把两台AI TOP ATOM直接互联,算力、显存、带宽都翻倍,支持跑参数量超过4000亿的模型。这种拼接式扩展,不用一次性砸钱买大型服务器,按需叠加就行。
![]()
打开机器看内部,核心是NVIDIA GB10 Grace Blackwell芯片,台积电3纳米制程,TDP控制在140W左右。这颗芯片把ARM架构的Grace CPU和Blackwell GPU封装在一起,用的是2.5D CoWoS封装。GPU部分内置6144个CUDA核心,RTX 5070数量一致,但重点不在这里。GB10集成了新一代Blackwell架构的Tensor Core,支持FP4、FP8低精度计算,FP4精度下AI算力达到1000 AI TOPS,可以跑2000亿参数的模型。这个性能密度在桌面设备里很少见,以前得有机架式服务器才能做到。
![]()
内存方面是128GB LPDDR5x统一架构内存,CPU和GPU共享这块内存池,通过NVLink-C2C连接,双向带宽是PCIe 5.0的五倍左右,这意味着128GB内存可以被两者无缝共享,不存在显存墙的限制。存储支持最高Gen5 14000 MB/s的SSD,容量4TB。
实际跑起来怎么样?我们拿到的样机内置了趋境科技联合打造的趋境智问本地AI应用系统,预装了智谱GLM-4.5-Air 106B大模型,加上趋境自研的以存换算推理引擎,开机就能用,不用自己配置环境。
![]()
登录管理后台AIMA,浏览器输入本机IP加端口号,进去之后看到GPU负载、显存占用、Tokens消耗量这些关键指标都有动态图表展示,还有使用量排行榜,可以快速找出哪些用户或应用在大量消耗算力。平台已经集成了GLM 4.5-Air NVFP4 106B大模型,你想换模型的话,在私有模型界面点加号,把自己下载的模型放到/mnt/data/models文件夹下,系统就能识别导入。我们测试时下载了Qwen 2.5 7B模型,替换默认模型后正常运行。同时跑GLM-4.5-Air对话、Embedding向量化和Rerank重排序三个实例,系统自动分配资源,互不干扰,单台设备就能搭起完整的检索增强生成链路,不用多台服务器拼凑。
![]()
性能测试数据上,我们测了两种情况,先看文本生成输出速度TPS。Qwen 2.5 7B模型下,不同长度提示词的平均TPS不到13个Tokens每秒,中规中矩。但切到GLM 4.5-Air 106B NVFP4模型时,100字提示词下平均22.58 TPS,300字提示词下21.11 TPS,500字提示词下20.61 TPS。106B大模型能跑到这个速度,Blackwell架构的Tensor Core针对NVFP4精度格式的加速起了关键作用。
![]()
并发处理方面,不超过4个并发线程时,平均推理速度基本保持在10 TPS以上。超过4个并发后性能下降明显,但考虑到这个体积和功耗,这表现已经算超出预期。有更高并发需求的用户,直接通过ConnectX-7接口组集群就行。
显存占用情况值得单说,跑GLM-4.5-air 106B FP8原始模型时会爆显存,需求远超128GB。但切换到GLM-4.5-air 106B NVFP4模型后,显存占用约68到69GB,相当于统一内存的一半,106B大模型能顺利启动运行。这套系统也可以自己部署Stable Diffusion WEBUI和ComfyUI,数据全部本地保存。
![]()
总结一下。技嘉AI TOP ATOM工作站的核心价值不是跑分多高,而是它真正做到了开箱即用,从通电到跑起千亿参数模型,全程图形化操作,4到5分钟就能上手。以前你得懂Linux、会配驱动、会解决依赖冲突,现在这些门槛全部被砍掉了。全本地化部署,数据物理隔离,没有隐私泄露风险。如果你正在考虑落地私有化AI应用,这台设备值得入手。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.