“让任意IoT设备成为智能体?!”
这听起来像是一句产品经理吹牛的黑话,但在今天的硬件开发圈,它正在变成干掉无数加班夜的现实。
长期以来,智能家居和工业硬件都被嘲笑为“伪智能”,改个功能调动五个团队,换个设备代码全部重写。
AI 浪潮拍打了一年多,物理世界却依然像个局外人。
如果你也厌倦了为了一个对话界面去重构整条代码链,那么这场关于硬件静默转变的工程革命,你绝对不能错过。
今天,我们做了一个不同的选择:
Device Agent 发布|一句话,让任意 IoT 设备成为 AI Agent
Device Agent 是一个 MQTT 驱动的 AI 设备智能体平台。你用自然语言描述设备的能力,平台在几分钟内生成完整的设备智能体——包含设备规格、端侧 SDK、在线模拟器,以及语音、视觉、IM 等多通道交互入口。
它不是连接层之上的一个 AI 对话界面,而是一条从设备建模到多智能体协作的完整工具链。
![]()
本文将系统介绍 Device Agent 的设计理念、核心能力与技术架构,阐释如何通过自然语言驱动的设备建模、多模态交互、技能扩展与去中心化协作能力,将每一台物理设备快速转化为具备理解、决策与协同能力的 AI 智能体。
用自然语言描述设备
创建一台设备的 AI 智能体,起点不是写代码,而是写一段话。描述你的设备是什么、能执行什么命令、会上报什么状态、会产生什么事件。系统自动生成结构化的设备规格——命令、属性、事件,以及每个字段的类型和约束。
如果生成的规格不符合预期,在对话中继续沟通就好。左侧对话修订,右侧实时预览。描述、预览、修订、确认——这个循环把设备建模从编写技术文档,变成了产品经理和工程师之间的自然对话。
我们支持中文、英文、JSON、YAML、Markdown 多种输入方式。字段命名偏好可以在描述中直接指定,模型会照做。
![]()
像聊天一样控制设备
设备智能体创建完成后,日常交互只有一个动作:说话。
「把目标温度设置为 24 度,切换到自动模式。」智能体根据设备规格自动选择合适的命令、生成参数、下发到设备。查询也一样——「查看当前状态,告诉我最近有没有上报事件」——智能体读取遥测数据和事件记录,用自然的语言回复。
多设备管理不需要跳转页面。在输入框里就可以指定目标设备,多台设备可以同时查询或对比。
@thermostat-01
定时任务也只需要一句话。「每 5 分钟检查一次温度,超过 30 度就把目标温度调到 24 度。」智能体将请求保存为内置定时器,到期后网关独立唤起执行。你随时可以问「当前有哪些定时任务在跑」,然后说「取消它」。
![]()
用语音对话,用视觉观察
语音交互的链路对用户完全透明——麦克风采集音频、实时转写为文本、智能体理解并执行、回复合成为语音播放。
我们接入了火山引擎、阿里云 DashScope、AWS 和 ElevenLabs 四家语音服务商,覆盖国内外主流平台。控制台里选一个服务商、填上 Key,设备就能开口说话。SDK 层面也简单。设备端连接,发送 16kHz 单声道 PCM 音频帧,接收 TTS 音频帧播放。通常建议先在控制台验证链路,再把代码集成到真实设备。
/ws/voice
如果你同时开启了摄像头,语音请求结束时画面也会一并提交。问一句「这个指示灯是什么颜色的?」,智能体结合语音和图像给出回答。
![]()
技能与工具:让智能体超越设备本身
FlowMQ 以云原生的统一消息架构,支撑 AI Agent
设备命令定义的是设备自身的动作——开关、调温、切换模式。但实际业务中,智能体往往需要查询外部系统或执行复杂流程。我们把能力分为三层。设备的事写在规格里,固定流程的知识写在技能里,外部系统的调用写在工具里。
技能是一个包——里面是一份描述和处理模板。导入后,用户不需要手动调用。说出意图,智能体自动判断是否加载对应技能并按模板回复。
.zip
SKILL.md
工具更进一步——它是可执行的 TypeScript 代码,用 TypeBox 定义参数 Schema。保存后写入运行时,用户在对话中说出意图,智能体自动编排:先读取设备状态,再调用工具计算,最后通过设备命令执行控制。
一键 SDK,零硬件调试
设备规格确认之后,接入真实硬件只需要一步:点击「接入设备」,选择语言,下载工程。
我们生成 C、Python、TypeScript 三种语言的设备端 SDK。每一套工程都包含 MQTT 连接、命令响应、状态上报、事件上报、语音客户端和视觉客户端代码。你只需要在里补充硬件逻辑——怎么读传感器、怎么控制执行器、什么时候触发事件。
device.*
如果你连设备端业务逻辑都还没写,也可以在对话里描述处理规则——「每 30 秒读取 DHT22 传感器上报遥测,温度超过 30 度触发告警」——智能体会在 SDK 工程基础上生成包含完整业务逻辑的可运行代码。
没有真实硬件的时候,用浏览器模拟器。它会根据设备规格创建一台临时虚拟设备,自动连接 MQTT、上报状态、响应命令。产品经理可以在硬件原型就绪前验证交互体验。
![]()
开放协议,去中心化协作
单台设备的智能化解决之后,下一个问题是多台设备如何协同。
A2A 是我们基于 EMQX 6.2 实现的智能体间通信协议,使用 MQTT v5 作为传输层、JSON-RPC 作为调用格式。没有中央控制器,每个智能体都是对等的网络节点——自动发现、任务协商、能力调用。
启用 A2A 只需在创建智能体时打开一个开关。设备规格中的每个命令自动发布为可供其他智能体发现的技能。你还可以创建「组合应用」——选择多个设备智能体,写一段协作目标,交给编排智能体统一协调。
此外,Device Agent 支持接入飞书、钉钉、Slack、Discord、Telegram 五条 IM 通道。每条通道支持白名单按用户 ID 限制访问。团队成员在已有协作工具里就能查询和控制设备。
![]()
模型与基础设施
我们接入 20+ 大模型服务商——OpenAI、Anthropic、Google、DeepSeek、Qwen、Kimi、Ollama,以及 AWS Bedrock、Azure OpenAI 等平台聚合入口。控制台里选择服务商、填上 Key 即可切换。视觉模型可以独立配置,也可以关闭以降低成本。
底层跑在 EMQX 消息引擎之上——千万级设备并发接入能力,全链路 MQTT 标准协议。平台支持私有化部署,设备数据留在你自己的基础设施里。
快速开始
软件开发正在进入智能体时代,我们相信硬件开发也会跟上。
从单品智能到系统智能,从封闭生态到开放互联——这是我们正在做的事,也是物联网行业正在发生的变化。
Device Agent 支持本地一键启动。安装完成后,即可在浏览器控制台中创建第一个设备智能体、生成设备 SDK、启动模拟器,并通过自然语言控制设备。
macOS / Linux:
curl-fsSL https://emqx.sh/device-agent | sh
Windows PowerShell:
powershellirm https://emqx.sh/device-agent.ps1 | iex
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.