网易首页 > 网易号 > 正文 申请入驻

三张旧显卡拼出一支AI团队!他把3090、核显和NPU全榨干了

0
分享至


作者:刘文轩

AI硬件越来越贵,家里压箱底的显卡还能做什么?

一张RTX 3090、一张RTX 3060,再加上一张已经不算年轻的RTX A2000。没有最新旗舰卡,也没有堆出一台价格惊人的算力服务器,再把CPU里的核显和NPU一起拉来“打工”。

Techno Tim折腾了四个月,这些原本分散在不同电脑里的硬件,被装进同一台机器。聊天、写代码、理解图片、检索私人文档、控制智能家居,甚至语音识别和语音合成,都开始从一个统一入口进出。

三张显卡,各自领到一份工作

最初,他的本地AI环境相当零散:一张显卡负责聊天,另一张负责代码辅助,还有一张卡甚至不知道能否派上用场。

与此同时,AI模型还在不断变大。模型能力越来越强,对显存和硬件的要求也越来越高。继续购买新GPU当然最省事,但在AI需求持续推高硬件价格的背景下,这条路很快被排除。

他转而提出了另一个问题:能不能不追求让一张卡运行最大的模型,而是把任务拆开,交给多个较小的专业模型?

于是,三张显卡有了不同身份。拥有24GB显存的RTX 3090成为主力。它运行能力更强的Qwen模型,负责复杂规划、代码实现、仓库级分析和代码审查。在多个模型意见不一致时,它还拥有最终决定权。

12GB显存的RTX 3060则是“助手”。简单问答、终端命令、单文件修改,以及一些收集证据的工作,都可以交给它。一个简单乘法问题和一次文件转JavaScript的请求,都被自动分配给3060;当任务变成检查整个代码仓库并补充端到端测试时,3090才开始满负荷运行。

剩下的RTX A2000没有承担重型推理,而是同时运行多个小模型。它既负责判断请求应该去哪里,也负责本地知识检索。当用户询问某个代码仓库时,它会从已经建立索引的代码、文档和配置中找出相关内容,再把结果交给3090整理和解释。

旧显卡没有被要求做同一件事,而是像团队成员一样,按照能力领取不同任务。

核显看图,NPU负责“听”和“说”

三张独立显卡被分配完后,他又盯上了CPU里的核显和NPU。

为了让Qwen模型塞进3090的24GB显存,并为上下文留出空间,他关闭了模型的视觉编码部分。这样虽然保住了语言和代码能力,却失去了图片理解功能。

他的解决办法,是把同一套视觉编码器放到Intel核显上,再写一个Python适配层连接两边。图片到来后,核显先把它转换成模型可以处理的嵌入数据,然后再发送给3090上的语言模型。

演示中,他把监控面板的截图交给系统。Intel核显的利用率先升至100%,随后回落;紧接着3090开始工作,最终识别出图片是一张深色主题的AI推理监控面板,并对其中的指标和布局进行了说明。

Intel核显和英伟达显卡,就这样被接进了同一条推理链路。NPU则被用在更强调实时性的任务上。借助OpenVINO,他在NPU上部署了语音识别和语音合成模型,并通过Wyoming协议连接Home Assistant。

当他说出“主办公室有几盏灯亮着”时,语音首先由NPU转换成文字,再交给3060理解请求、查询设备状态,最后由语音模型读出答案。关闭特定品牌的灯、重新打开,或者只操作其中一盏,系统都能结合上下文完成。

除了语音,他还部署了一个小型提示词注入检测模型,用来检查进入平台的请求。目前它只负责记录风险,未来也可以直接参与拦截。那些不适合占用独立显卡、却要求低延迟持续运行的任务,最终都被交给了NPU。

一个入口,背后是一整套AI调度系统

让这些模型真正协作起来的关键,不是某一张显卡,而是位于所有模型之前的语义路由系统。

他使用多个vLLM实例托管模型,每个实例连接不同的GPU。位于中间的vLLM Semantic Router,则像一个调度中心:先判断请求的意图、类型和复杂程度,再决定调用哪一个后端。

所有外部应用只需要面对一个兼容OpenAI API的入口。VS Code里的代码助手、Open WebUI、家庭自动化平台以及其他AI客户端,都不必知道模型究竟运行在哪张卡上。

简单问题可以去3060,复杂编程任务进入3090;涉及私人资料时,先触发A2000上的RAG检索;图片由核显编码;语音则交给NPU处理。如果一个请求同时需要多种能力,系统就把它拆成一条跨越多个硬件的处理链。

在最终演示中,他直接通过语音询问自己的Home Ops代码仓库。NPU先完成语音转文字,路由器判断任务需要更强的模型和本地知识,A2000从索引中取回相关代码与文档,3090组织答案,最后再由语音合成模型读出来。

过去分散的AI能力,由此被汇聚到一个本地网关之中。四个月的搭建让他得到的启发是,本地AI未必只能沿着“更大模型、更贵显卡”的方向发展。小模型、旧GPU、核显和NPU只要得到合理分工,同样可以组合出完整的AI能力。

即使显存不足,也可以尝试把部分权重卸载到系统内存;即使速度不够快,也不必因此放弃一个新功能。对本地AI而言,性能并不是唯一尺度。让不同硬件做自己擅长的事,再把它们组织成一个能够协作的系统,或许比单纯追逐下一张旗舰显卡更有价值。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不得了!日本做了一个极其恶劣的决定!

不得了!日本做了一个极其恶劣的决定!

故事终将光明磊落
2026-11-20 14:44:07
它是“菜中人参”,冬天遇到别手软,买10斤囤着,随吃随取特省事

它是“菜中人参”,冬天遇到别手软,买10斤囤着,随吃随取特省事

阿龙美食记
2026-11-19 11:00:12
APCE上的温情一幕,让人好感动!

APCE上的温情一幕,让人好感动!

低调看天下
2026-11-20 15:46:04
创业板指跌逾3% 下跌个股近5200只

创业板指跌逾3% 下跌个股近5200只

财联社
2026-11-20 10:25:04
歌手张宇去世,年仅48岁

歌手张宇去世,年仅48岁

东方不败然多多
2026-11-20 16:36:51
尾盘,A股突变,爆天量了!

尾盘,A股突变,爆天量了!

中国基金报
2026-11-20 15:53:51
显著提高农民养老金,是一种历史契约,农民也有社保视同缴费资格,理由除公粮外,还有一个更硬核的没人说 | 何兰生

显著提高农民养老金,是一种历史契约,农民也有社保视同缴费资格,理由除公粮外,还有一个更硬核的没人说 | 何兰生

农见度
2026-11-20 21:48:04
突发!黄仁勋再曝新消息,该来的还是来了!

突发!黄仁勋再曝新消息,该来的还是来了!

财经要参
2026-11-20 16:00:05
老人学会网购后 一口气下单15吨薯条喂猪:5毛一斤 比玉米饲料还划算 一拌上饲料猪就“抢着吃”

老人学会网购后 一口气下单15吨薯条喂猪:5毛一斤 比玉米饲料还划算 一拌上饲料猪就“抢着吃”

闪电新闻
2026-11-20 10:50:52
贾国龙又推新招牌,这次能撑多久?丨大象财富

贾国龙又推新招牌,这次能撑多久?丨大象财富

大象新闻
2026-11-20 18:35:02
深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

江山挥笔
2026-11-19 14:15:33
山东省原副省长闫剑波,辞去山东省委委员职务;今年9月已跨省任厦门代市长;曾任禹城市委书记、济宁市委副书记、威海市委书记等职

山东省原副省长闫剑波,辞去山东省委委员职务;今年9月已跨省任厦门代市长;曾任禹城市委书记、济宁市委副书记、威海市委书记等职

极目新闻
2026-11-20 18:40:29
高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

可达鸭面面观
2026-11-20 08:41:45
首款鸿蒙 AI 手机发布:华为全新子品牌 OSTA 星芒有一个「增援未来计划」

首款鸿蒙 AI 手机发布:华为全新子品牌 OSTA 星芒有一个「增援未来计划」

爱范儿
2026-11-20 17:27:02
男子花800元购仿真虎皮坐垫在院里晾晒,被路过萌娃误传为“有人杀虎”,当事人:吓了一跳,林业局找上门,派出所也准备出警

男子花800元购仿真虎皮坐垫在院里晾晒,被路过萌娃误传为“有人杀虎”,当事人:吓了一跳,林业局找上门,派出所也准备出警

潇湘晨报
2026-11-20 12:00:15
A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

金石随笔
2026-11-20 12:39:37
男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

夜话奇谭
2026-11-20 14:15:49
突发!63 岁黄仁勋正在考虑创立新公司,网友:一定要自己控股呀!

突发!63 岁黄仁勋正在考虑创立新公司,网友:一定要自己控股呀!

起点财经
2026-11-20 13:46:06
多家头部公募发声:A股有望迎估值修复窗口

多家头部公募发声:A股有望迎估值修复窗口

第一财经资讯
2026-11-20 17:05:04
武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

极目新闻
2026-11-20 15:01:38
2026-11-20 22:15:00
至顶AI实验室 incentive-icons
至顶AI实验室
一个专注于探索生成式AI前沿技术及其应用的实验室。
3553文章数 186关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
家居
时尚
本地
公开课

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

家居要闻

2026建博会(广州) 公装联探展交流活动

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版