网易首页 > 网易号 > 正文 申请入驻

我把本地 LLM 连接到一块 30 美元的 ESP32 显示屏

0
分享至

大多数智能显示屏都自带一组固定的屏幕界面,而你能得到的只是固件团队碰巧想到的那些内容。通常是一个时钟、天气、日历,再往后就只能将就这些了。这些年来我用过几款这类产品,模式始终一样;它们大多是千篇一律的设备,仅此而已,不多也不少。

过去几个月里,我一直让 Hermes Agent 运行在 Proxmox 服务器上的一个非特权 LXC 中,并由本地 LLM 提供支持,我可以在 Telegram 上像给人发消息一样与它交谈。Elecrow 最近寄给我售价 30 美元的 Elecrow CrowPanel 1.46 英寸旋转显示屏,这是一块带旋钮的小型圆形 360x360 触摸屏,让我有了一个想法。现在我可以给这个代理发消息提出请求,几秒钟后,无论我要求什么,都会显示在屏幕上。

它实际上就是一张截图,这意味着屏幕上的任何内容都不会自行更新,而刷新它需要 AI 代理通过我的本地网络以某种方式驱动它。老实说,我在这个项目上花的时间最长的一段甚至不是 Hermes 集成,而是让这块面板能画出任何东西,不过这个我后面会讲。不过最终结果是它确实能用了,而且这个代理在决定什么内容适合出现在这么小的屏幕上方面,表现得出乎意料地好。

CrowPanel 1.46 是一块带旋转编码器的圆形屏幕,除此之外几乎没有别的
一半的像素位于边框之后

这块特定的板子是 ESP32-S3,配有 8MB PSRAM 和 16MB 闪存,以及一块 360x360 的 1.46 英寸圆形 IPS 面板,还有 CST816T 触摸层、一个按下会咔哒响的旋转编码器,以及边缘一圈八个可寻址 LED。Elecrow 对它的售价是 29.99 美元,并附带塑料和亚克力外壳。它没有 USB-C 接口,和该公司的其他编码器一样,所以供电和 UART 都通过一根随附线缆完成,线缆一端是 USB,另一端是 ZX-MX 1.25-4P。

不幸的是,在 1.46 英寸的圆形屏幕上用手指滚动相当糟糕,因为就在你想读的时候,指尖会遮住你要读的大部分内容。幸运的是,旋转编码器完全绕开了这个问题,而这正是这个东西用起来还算愉快的主要原因。你转动它,屏幕上的某些内容就会改变或被控制,而你的手永远不会挡在内容前面。

圆形屏幕损失的可用面积远比你想的要多。能完全放入 360 像素圆内的最大矩形是 254x254,因此大约一半的像素位于边框后面,对你毫无用处。我最终选择了穿过中间的 272x236 区域,它比那个正方形宽,但高度足够小,以至于在它使用的每个高度上,圆仍然比内容宽。

正如我接下来会讲到的,这条环形带是智能体所用样式表的基本组成部分,并且也作为规则写入了它的技能文件。否则,一个被要求按“360x360”设计的语言模型每次都会填满角落。

面板从不看到 HTML
它只会收到一张图片

当我给我的 Telegram 上的 Hermes Agent 发消息时,它会根据我的请求决定屏幕应显示什么,并将每张卡片写成一段 HTML。主机上的无头 Chromium 会以恰好 360x360 渲染它并截图,生成的 PNG 通过局域网推送到面板;面板会存储并显示它,而且当我转动旋钮时,会在它和其他图片之间滚动。ESP32 从不解析任何标签。

这本质上是做这件事的“长路径”,而且比正常的显示协议要多不少工作,因为链路中的某个地方需要一个浏览器。不过,它免去了我需要使用特定定制模式的麻烦,反而只受模型编写 CSS 的能力限制,而这种能力实际上没有上限。增加一种新屏幕,永远不意味着要重新刷写任何东西。

我确实保留了两种设备可以自行绘制的卡片类型,主要是为了应对启动浏览器并不合适的情况。指标卡是一个带标签、单位和副标题的大号数字,而文本卡是一个标题下面带几行文字。在这些情况下,两者都会用 LovyanGFX 在 ESP32 上绘制,不过一个缺点是内置字体仅支持 ASCII。

图像采用内容寻址,每张卡片都以其渲染后的 PNG 的 SHA-256 作为键,并保存在本地。如果代理发送一个卡组,ESP32 会回复该卡组中它尚未见过的摘要,因此只有那些摘要对应的内容会被上传。这意味着如果你两次推送同一组数据,第二次不会发送任何内容。借助 SHA-256 摘要,我还可以验证发送过来的内容是否与标头匹配;得益于现有设计,这基本上是零成本操作。目前我将数量限制为 10 张卡片,因为我们只有 8MB 的 PSRAM,而每张卡片都是 360x360 的 16 位精灵图。

技能文件告诉代理选择能完成任务的最便宜的卡片类型;部署后几分钟内,我就得到了三个卡组,它们各自走了不同的路线,而我不需要提供任何指导或引导。我让它扫描我的网络并显示在线设备,它返回了八张原生文本卡。然后我要求 XDA 的最新头条,它生成了五张带文章缩略图的 HTML 卡。这意味着它能够使用 Chromium 从 XDA 获取并渲染那些文章。最后,我让它 ping 我的网关、一个 Proxmox 主机和 1.1.1.1,它直接又回到了原生卡片。

Elecrow 使用 LovyanGFX 的一个分叉副本
代码是个谎言

我使用 PlatformIO 注册表中的 LovyanGFX 1.2.7 构建固件,并采用 Elecrow 自己文档中给出的面板配置,但屏幕完全黑屏。背光点亮了。gfx.init() 正常返回。Wi-Fi 已连接,HTTP 服务器有响应,mDNS 完成了自我广播,PSRAM 也分配了一切且没有报错。我搞不清楚原因,因为没有任何地方报告问题,但事实证明,这是因为从 ESP32 的角度来看,根本没有问题。

我最后发现,问题出在 Elecrow 对这款设备搞的一个奇怪操作上。Elecrow 的产品页面说控制器是 JD9855,但他们的示例代码里实例化的却是 lgfx::Panel_ST77961。嗯……这两种说法都只对了一半。原来他们的仓库里打包了一份自己的 LovyanGFX 副本,其中 Panel_ST77961::getInitCommands() 的整份寄存器列表被抽走,换成了 JD9855 的初始化序列。如果你基于真正的上游库构建(这也是大多数人该做的),你发给控制器的是一份完全正确的 ST77961 初始化列表,但它每条命令都收,收了却根本执行不了。我把初始化序列搬进了我自己项目里的 Panel_LCD 子类,没去依赖那个分支版本。

后面还有两个小毛病。Elecrow 的示例在初始化之后调了 gfx.startWrite(),然后一直不关;我照着写,结果屏幕上出现几列一直卡着旧像素,因为 LovyanGFX 只会在最外层的 endWrite() 上等待 DMA 完成。如果计数器始终没回到零,每次推送都在跟上一笔传输抢跑;他们的代码之所以没事,是因为 LVGL flush 回调会在每次 DMA 推送前先把外层事务关掉。他们的配置还把 SPI 总线跑到 80MHz,这也是那些列一直挂在屏上的原因,所以我把它降到 40MHz,因为看起来是有些位在某些时钟沿上来得太晚。这解决了问题。

小屏幕逼着这个智能体去改内容
它为了放得下,把标题重写了

我让它把 XDA 的文章显示出来,这事儿成了,但它做到的方式还挺让人吃惊的。它看出这是给小屏幕用的,还告诉我它把几个标题缩短了,好适配圆形屏幕,而且没改标题的意思。

我给 Hermes 的技能文件里,根本没让它为了适配屏幕去改文字;里面只写了:带缩略图的卡片,标题有两行空间。它自己琢磨出来:碰到布局限制,正确做法就是砍字,先判断哪些词最不重要,再告诉我它砍了哪些词。

我的网络扫描在更大规模上干了同样的事;我临时给它开了权限,让它扫描我的网络,并在两个子网中发现了大约 75 台在线主机,但问题是,这块面板最多只能显示十项。不过,它没像我预想的那样把列表直接截短,而是挑出它称为“跑马灯(marquee)”的基础设施,把其余内容塞进 Telegram 回复里。于是屏幕只挑了八个最重要的服务显示出来,其余的都在聊天里发给我了。

它还会检查每台机器的主机名,而不是只把 ARP 表返回来了事。它识别出了 OPNsense、TrueNAS、Frigate NVR、Proxmox Backup Server 和 Jellyfin,于是显示到屏幕上的就是这些文字。

关键在于,谁都能输出 HTML,但没有任何基于 ESP32 的固件能在小屏上显示时动态抓取一条标题,再把无关部分裁掉。事实上,正是这种限制让输出效果比一股脑把原始信息全倒出来更好。

这块显示屏用起来很舒服
而且出乎意料地能干

按下按钮时,屏幕上基本没反应,只会让 LED 环闪 90 毫秒,并通过 WebSocket 广播一个 JSON 事件。这次按键会带上代理发来的动作字符串,所以如果某张 XDA 卡片上某篇文章的按钮被按下后返回,这可能就表示我想让它打开那篇文章,并告诉我里面写了什么。另外,长按按钮会让面板退回到简单的时钟界面。我没内置队列,也没做任何重试逻辑,所以它一旦没了就真没了。

目前我就把它当成一种“我问一句、它答一句”的按需工具;不过这个智能体自己主动提出来,可以设个早晨的定时任务,每天用当天的头条把面板刷新一遍。长远看,这肯定就是目标:它不再是我得刻意去控制的东西,而是摆在那儿、我每次看都有有用信息的东西。

我往上放任何敏感内容吗?多半不会,毕竟它就是摆在桌上的一块屏幕,又没有任何身份验证。不过,它给一块 30 美元的面板配上了一组你完全不用提前琢磨、规划的屏幕——老实说,这点大多数智能显示器可比不了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
论三大淫妇的饥渴程度:潘金莲初会西门庆,一把将西门庆搂抱放倒

论三大淫妇的饥渴程度:潘金莲初会西门庆,一把将西门庆搂抱放倒

覃仕勇说史
2026-11-13 11:01:08
王传福没料到,APEC首日比亚迪先火出圈,带火它的是个开电车横穿欧亚15000公里的老外

王传福没料到,APEC首日比亚迪先火出圈,带火它的是个开电车横穿欧亚15000公里的老外

秋风妃
2026-11-20 21:18:29
美媒表示:中国重型战斗机突破1300架,排名世界第一,歼20越来越多,西方没想到速度这么快

美媒表示:中国重型战斗机突破1300架,排名世界第一,歼20越来越多,西方没想到速度这么快

绝对军评
2026-11-21 09:50:40
美悬赏1000万美元搜集缅甸电诈园区线索,知情人:园区以“欧美盘”为主,已基本搬空

美悬赏1000万美元搜集缅甸电诈园区线索,知情人:园区以“欧美盘”为主,已基本搬空

红星新闻
2026-11-20 15:33:23
1963年,已经94岁的蒋妙月,向中央提出,说想去台湾,去见一见蒋介石,毛主席指示:“好好安排一下,礼送入台吧!”

1963年,已经94岁的蒋妙月,向中央提出,说想去台湾,去见一见蒋介石,毛主席指示:“好好安排一下,礼送入台吧!”

扶苏聊历史
2026-11-18 13:35:05
湖南女子与丈夫丁克40年,备受宠爱,退休后才知丈夫已三世同堂

湖南女子与丈夫丁克40年,备受宠爱,退休后才知丈夫已三世同堂

晓艾故事汇
2024-12-12 20:17:15
蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

果妈聊娱乐
2026-11-16 11:34:10
前10轮德甲积22分,拜仁追平球队近7个赛季同期最低纪录

前10轮德甲积22分,拜仁追平球队近7个赛季同期最低纪录

懂球帝
2026-11-21 06:03:22
CBA被钉耻辱柱上了?广东克星惨败NBL球队:狂输21分底裤都输没了?

CBA被钉耻辱柱上了?广东克星惨败NBL球队:狂输21分底裤都输没了?

篮球快餐车
2026-11-21 00:12:52
法国籍女子在韩商场叫嚣:全世界都讨厌中国人!中国女子当场出手

法国籍女子在韩商场叫嚣:全世界都讨厌中国人!中国女子当场出手

安梦入天下
2026-09-21 12:40:03
故事:湖南93岁禽兽周其生,因爱喝牛奶而伤害女孩,犯罪细节曝光

故事:湖南93岁禽兽周其生,因爱喝牛奶而伤害女孩,犯罪细节曝光

卡西莫多的故事
2025-02-21 17:17:06
浙江男篮捡到宝!36岁弃将18分钟砍21分,刚到队就成为得分王

浙江男篮捡到宝!36岁弃将18分钟砍21分,刚到队就成为得分王

南海浪花
2026-11-21 18:35:25
终于不准跌了,中央部委明确?明后两年除了买房,你或别无选择

终于不准跌了,中央部委明确?明后两年除了买房,你或别无选择

历史点行
2026-11-21 13:23:00
甘肃省委书记到省委政法委、省法院、省检察院、省公安厅调研:严厉打击“村霸”“乡霸”“沙霸”“矿霸”“街霸”“市霸”等黑恶势力

甘肃省委书记到省委政法委、省法院、省检察院、省公安厅调研:严厉打击“村霸”“乡霸”“沙霸”“矿霸”“街霸”“市霸”等黑恶势力

政知新媒体
2026-11-21 16:44:13
笑不活!第一次这么直观地感受到南北差异 ,网友:南方人不敢说话

笑不活!第一次这么直观地感受到南北差异 ,网友:南方人不敢说话

石辰搞笑日常
2026-11-20 00:48:24
唱完《慌啥子嘛》,赵本山的反噬来了!

唱完《慌啥子嘛》,赵本山的反噬来了!

姜糖先生
2026-11-21 18:48:56
水贝金价像坐过山车!买手扎堆直播直呼"又涨了"

水贝金价像坐过山车!买手扎堆直播直呼"又涨了"

看看新闻Knews
2026-11-21 02:34:55
蔡天凤碎尸案又现重大转折:前夫供称父亲才是真凶!离婚后仍与蔡保持亲密关系......

蔡天凤碎尸案又现重大转折:前夫供称父亲才是真凶!离婚后仍与蔡保持亲密关系......

新民周刊
2026-11-21 13:15:56
退休教授夫妇18楼坠亡,警察破门发现家中满屋钞票,遗书揭露真相

退休教授夫妇18楼坠亡,警察破门发现家中满屋钞票,遗书揭露真相

悬案解密档案
2025-05-15 11:04:08
全面谈崩,特朗普电话里痛骂,泽连斯基苦笑,各国代表台下静看

全面谈崩,特朗普电话里痛骂,泽连斯基苦笑,各国代表台下静看

云崖听松
2026-11-21 00:07:02
2026-11-21 19:43:00
智慧生活笔记
智慧生活笔记
分享生活小妙招、实用技巧和所见所得,让生活更简单更有趣。
1574文章数 4689关注度
往期回顾 全部

数码要闻

狗子一泡尿主机直接变砖!网友:先别开机还有救

头条要闻

李亚鹏谈嫣然天使基金募款:大家每个月捐1块就可以了

头条要闻

李亚鹏谈嫣然天使基金募款:大家每个月捐1块就可以了

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

艺术
本地
数码
亲子
公开课

艺术要闻

苍井空官宣复出,最新作品画面流出,网友:恶心!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

数码要闻

Blackview推出Zeno 3平板电脑:120Hz 800P面板、展锐T7250

亲子要闻

42岁妈妈8个月减重50斤判若两人!“决定把注意力放回自己身上”,中度脂肪肝消失了,情绪不内耗了,和孩子关系也改善了

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版