网易首页 > 网易号 > 正文 申请入驻

英伟达推出PAIR,让闲置设备为AI智能体打工

0
分享至


英伟达在开放模型和本地 AI 上的布局已经酝酿了一段时间。对 Hugging Face 的收购只会加速这一进程,而在产品层面,该公司也在推动更多潜在用户在自己的设备上运行 AI 模型方面取得了一些进展。

周四,英伟达发布了 Nvidia Personal AI Router(PAIR),这是一款面向家庭网络的开源软件路由器,可以让用户利用家中闲置的 Mac 和 PC 按需运行小型模型,并借助子智能体来加速智能体工作流程。

PAIR 的主要目的是通过让智能体调用更多并行子智能体,来加快 NemoClaw、OpenClaw 或 Hermes 等智能体的运行速度。其思路是由一个主智能体将任务拆分给多个子智能体,这些子智能体的模型请求随后可以在这些闲置设备上运行。

英伟达将其称为“虚拟推理路由器”,并明确表示这并非一个新的推理引擎。相反,它利用的是设备上已经运行的 Ollama 或 LM Studio 安装程序,并让它们来运行模型。在每台设备上安装完成后,PAIR 就可以发现本地网络中的不同系统(通过 mDNS),并检查它们是否能够处理某个请求。

需要注意的是,PAIR 并不会将单个推理请求拆分到多台设备上运行。英伟达强调,这不会将多个 GPU 合并,也不会把显存池化成一个统一的加速器,也无法把单个推理请求拆分到多台设备上处理。

英伟达解释道:“智能体可以通过它所熟悉的本地接口发送请求。PAIR 通过其代理接收请求,识别所需的引擎和模型要求,然后选择一个符合条件的节点。该节点会从头到尾完整执行该请求,并通过 PAIR 将结果返回。智能体始终只看到一个连接,而 PAIR 则在背后处理任务分配。”

PAIR 支持配备兼容 GPU 的 Windows、macOS 和 Linux 设备。具体来说,包括英伟达 GeForce RTX 20 系列及更新型号的 GPU(英伟达表示这是基准配置)、搭载 M4 芯片或更新芯片的 Mac,以及 Nvidia DGX Spark(此外,今年晚些时候上市后,还将支持 RTX Spark PC 和笔记本电脑)。

值得一提的是,英伟达在这里也支持了 Mac 设备,尽管 Mac 并不使用英伟达的 GPU,但它显然已经成为运行本地模型和 OpenClaw 等智能体的热门选择。

每台设备可以托管不同的模型,但 PAIR 只会将请求路由到已启用所需引擎并且拥有确切请求模型的设备上。在多台设备上安装相同的模型,可以让路由器在分配并发请求时拥有更多选择。

PAIR 会持续监测哪些设备处于可用状态,一旦用户回到某台设备上继续工作(或开始玩游戏)并重新占用 GPU,本地推理引擎就会被停止。

在英伟达给出的示例中,使用两台配备高端 RTX 5090 GPU(32GB 显存,目前售价约 5000 美元,尽管其最初建议零售价为 2000 美元)的 PC,运行 Qwen3.6 35B A3B 模型,借助 PAIR 通过五个子智能体协同工作,速度提升了约 1.6 倍。

很少有人家里会有一堆 RTX 5090 显卡(或许还有几台 DGX Spark 台式机),因此如果换成比如一台 Mac Studio、几台 Mac mini 再加一台游戏 PC 的组合,实际效果还有待观察,但即便如此,这也应该能够加快本地智能体工作流程的运行速度。

可用性

Nvidia PAIR 目前已开放测试版。要开始使用,用户只需在每台希望加入网络的设备上进行安装,让系统发现并配对这些设备,并确保这些设备上已经安装了 Ollama 或 LM Studio(并下载好所需的模型)。

PAIR 还可以协助完成设置,在已配对的设备上安装 Ollama 或 LM Studio,并启动模型下载。

Q&A

Q1:Nvidia PAIR是什么?

A:PAIR是英伟达推出的开源软件路由器,能让家中闲置的Mac和PC按需运行小型AI模型,并借助子智能体加速智能体工作流程。

Q2:PAIR支持哪些设备?

A:PAIR支持配备兼容GPU的Windows、macOS和Linux设备,包括英伟达GeForce RTX 20系列及更新型号GPU、搭载M4芯片或更新芯片的Mac,以及Nvidia DGX Spark。

Q3:PAIR能否把一个任务拆分到多台设备上运行?

A:不能。PAIR不会合并多个GPU或池化显存,也无法将单个推理请求拆分到多台设备上,每个请求只会在选定的一台设备上从头到尾完整执行。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
吴艳妮带母亲观看上海大师赛:她喜欢网球,想圆她一个梦

吴艳妮带母亲观看上海大师赛:她喜欢网球,想圆她一个梦

懂球帝
2026-10-15 02:02:53
iPhone史诗级更新,国行苹果AI终于要来了

iPhone史诗级更新,国行苹果AI终于要来了

搞机小帝
2026-10-14 23:56:39
建议大家:这5样东西,别在网上买!内行人:水太深,全是坑

建议大家:这5样东西,别在网上买!内行人:水太深,全是坑

家居设计师苏哥
2026-09-26 10:42:20
整理周恩来遗物时工作人员发现最高指示,华国锋:按毛主席指示办理

整理周恩来遗物时工作人员发现最高指示,华国锋:按毛主席指示办理

心若琉璃说
2026-09-25 08:10:17
19岁那年被恩师占为己有,他承诺一定会离婚,却让她空等七年,如今她怎么样了?

19岁那年被恩师占为己有,他承诺一定会离婚,却让她空等七年,如今她怎么样了?

动物奇奇怪怪
2026-10-13 09:11:38
俄罗斯被曝正谋划把基辅炸回“石器时代”,俄军要发射1000枚导弹,摧毁乌克兰首都约90%供电供暖系统

俄罗斯被曝正谋划把基辅炸回“石器时代”,俄军要发射1000枚导弹,摧毁乌克兰首都约90%供电供暖系统

古古聊军事
2026-10-11 23:04:22
动真格!往前30年履职倒查来了,这4类人要当心

动真格!往前30年履职倒查来了,这4类人要当心

职场资深秘书
2026-10-13 17:53:57
徐湖平再次火了!有人把他视频一帧一帧截下来,对着他家柜子、桌面、墙角逐件“考古”,网友怒斥:典型的靠馆吃馆

徐湖平再次火了!有人把他视频一帧一帧截下来,对着他家柜子、桌面、墙角逐件“考古”,网友怒斥:典型的靠馆吃馆

火山詩话
2026-09-19 06:29:49
金晨赴美游学刚交学费,35年老校就倒闭:只上两天课,学费暂不退

金晨赴美游学刚交学费,35年老校就倒闭:只上两天课,学费暂不退

青科新闻
2026-10-14 14:22:29
属虎人,10月14-10月18日,人在家中坐,祸从天上来!

属虎人,10月14-10月18日,人在家中坐,祸从天上来!

匹夫来搞笑
2026-10-14 00:30:55
王诗龄现身北京三里屯,膀大腰圆全身名牌超富态,疯狂购物引热议

王诗龄现身北京三里屯,膀大腰圆全身名牌超富态,疯狂购物引热议

娱圈办事处
2026-10-13 18:05:14
央视红人洛桑之死,时隔25年后,搭档博林坦白:他根本没喝多少酒

央视红人洛桑之死,时隔25年后,搭档博林坦白:他根本没喝多少酒

微风轻拂面
2026-10-01 09:22:46
朝鲜没准真的会在今后潜在爆发的台海之战中,主动先发起军事行动

朝鲜没准真的会在今后潜在爆发的台海之战中,主动先发起军事行动

果妈聊娱乐
2026-10-10 10:42:24
凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

凶宅试睡员在上海一别墅中被吓死,警方调查傻眼:这不是被吓死的

罪案洞察者
2025-06-12 13:45:25
哲学中最难解决的四大难题

哲学中最难解决的四大难题

算法与数学之美
2026-10-13 21:50:41
饶毅第三天硬怼华人编辑收钱发论文,Cancer Cell近七年中国学者发了147篇,中山大学29篇

饶毅第三天硬怼华人编辑收钱发论文,Cancer Cell近七年中国学者发了147篇,中山大学29篇

东东趣谈
2026-10-14 15:54:23
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
米体:德布劳内比赛中无视阿莱格里要求,双方关系紧张

米体:德布劳内比赛中无视阿莱格里要求,双方关系紧张

懂球帝
2026-10-14 20:20:19
高市苦等中国邀请无果,率先迎来重磅暴击,中国早已指明方向

高市苦等中国邀请无果,率先迎来重磅暴击,中国早已指明方向

共工之锚
2026-10-15 02:01:25
李莉同志简历,因多次预判到美军动作,被美国列入制裁黑名单

李莉同志简历,因多次预判到美军动作,被美国列入制裁黑名单

谈史论天地
2026-04-18 10:35:33
2026-10-15 02:48:49
至顶科技 incentive-icons
至顶科技
科技产业媒体与 AI 产业服务机构
22547文章数 49737关注度
往期回顾 全部

科技要闻

苹果iPhone Duo完成大模型备案

头条要闻

女副部包惠被开除党籍:违规决策造成重大金融风险

头条要闻

女副部包惠被开除党籍:违规决策造成重大金融风险

体育要闻

巴萨4比1加拉塔萨雷:亚马尔杀穿地狱

娱乐要闻

胡歌觉得仙剑三很幼稚,忘了来时路?

财经要闻

赫尔曼・西蒙拆解下一轮产业机会

汽车要闻

风格更豪华/座舱更舒适 全新旅行者7上市 燃油版售12.59万起

态度原创

艺术
亲子
时尚
数码
公开课

艺术要闻

天凉了,叶黄了,秋来了……

亲子要闻

呼吸道合胞病毒高发季来临,新型长效预防单抗落地北京

雪莉离开7年后,被改变的女孩们

数码要闻

苹果发布HomePod mini 2:售1099元 S10芯片+强化音频与智能家居功能

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版