大多数智能显示屏都自带一组固定的屏幕界面,而你能得到的只是固件团队碰巧想到的那些内容。通常是一个时钟、天气、日历,再往后就只能将就这些了。这些年来我用过几款这类产品,模式始终一样;它们大多是千篇一律的设备,仅此而已,不多也不少。
过去几个月里,我一直让 Hermes Agent 运行在 Proxmox 服务器上的一个非特权 LXC 中,并由本地 LLM 提供支持,我可以在 Telegram 上像给人发消息一样与它交谈。Elecrow 最近寄给我售价 30 美元的 Elecrow CrowPanel 1.46 英寸旋转显示屏,这是一块带旋钮的小型圆形 360x360 触摸屏,让我有了一个想法。现在我可以给这个代理发消息提出请求,几秒钟后,无论我要求什么,都会显示在屏幕上。
它实际上就是一张截图,这意味着屏幕上的任何内容都不会自行更新,而刷新它需要 AI 代理通过我的本地网络以某种方式驱动它。老实说,我在这个项目上花的时间最长的一段甚至不是 Hermes 集成,而是让这块面板能画出任何东西,不过这个我后面会讲。不过最终结果是它确实能用了,而且这个代理在决定什么内容适合出现在这么小的屏幕上方面,表现得出乎意料地好。
CrowPanel 1.46 是一块带旋转编码器的圆形屏幕,除此之外几乎没有别的
一半的像素位于边框之后
这块特定的板子是 ESP32-S3,配有 8MB PSRAM 和 16MB 闪存,以及一块 360x360 的 1.46 英寸圆形 IPS 面板,还有 CST816T 触摸层、一个按下会咔哒响的旋转编码器,以及边缘一圈八个可寻址 LED。Elecrow 对它的售价是 29.99 美元,并附带塑料和亚克力外壳。它没有 USB-C 接口,和该公司的其他编码器一样,所以供电和 UART 都通过一根随附线缆完成,线缆一端是 USB,另一端是 ZX-MX 1.25-4P。
不幸的是,在 1.46 英寸的圆形屏幕上用手指滚动相当糟糕,因为就在你想读的时候,指尖会遮住你要读的大部分内容。幸运的是,旋转编码器完全绕开了这个问题,而这正是这个东西用起来还算愉快的主要原因。你转动它,屏幕上的某些内容就会改变或被控制,而你的手永远不会挡在内容前面。
圆形屏幕损失的可用面积远比你想的要多。能完全放入 360 像素圆内的最大矩形是 254x254,因此大约一半的像素位于边框后面,对你毫无用处。我最终选择了穿过中间的 272x236 区域,它比那个正方形宽,但高度足够小,以至于在它使用的每个高度上,圆仍然比内容宽。
正如我接下来会讲到的,这条环形带是智能体所用样式表的基本组成部分,并且也作为规则写入了它的技能文件。否则,一个被要求按“360x360”设计的语言模型每次都会填满角落。
面板从不看到 HTML
它只会收到一张图片
当我给我的 Telegram 上的 Hermes Agent 发消息时,它会根据我的请求决定屏幕应显示什么,并将每张卡片写成一段 HTML。主机上的无头 Chromium 会以恰好 360x360 渲染它并截图,生成的 PNG 通过局域网推送到面板;面板会存储并显示它,而且当我转动旋钮时,会在它和其他图片之间滚动。ESP32 从不解析任何标签。
这本质上是做这件事的“长路径”,而且比正常的显示协议要多不少工作,因为链路中的某个地方需要一个浏览器。不过,它免去了我需要使用特定定制模式的麻烦,反而只受模型编写 CSS 的能力限制,而这种能力实际上没有上限。增加一种新屏幕,永远不意味着要重新刷写任何东西。
我确实保留了两种设备可以自行绘制的卡片类型,主要是为了应对启动浏览器并不合适的情况。指标卡是一个带标签、单位和副标题的大号数字,而文本卡是一个标题下面带几行文字。在这些情况下,两者都会用 LovyanGFX 在 ESP32 上绘制,不过一个缺点是内置字体仅支持 ASCII。
图像采用内容寻址,每张卡片都以其渲染后的 PNG 的 SHA-256 作为键,并保存在本地。如果代理发送一个卡组,ESP32 会回复该卡组中它尚未见过的摘要,因此只有那些摘要对应的内容会被上传。这意味着如果你两次推送同一组数据,第二次不会发送任何内容。借助 SHA-256 摘要,我还可以验证发送过来的内容是否与标头匹配;得益于现有设计,这基本上是零成本操作。目前我将数量限制为 10 张卡片,因为我们只有 8MB 的 PSRAM,而每张卡片都是 360x360 的 16 位精灵图。
技能文件告诉代理选择能完成任务的最便宜的卡片类型;部署后几分钟内,我就得到了三个卡组,它们各自走了不同的路线,而我不需要提供任何指导或引导。我让它扫描我的网络并显示在线设备,它返回了八张原生文本卡。然后我要求 XDA 的最新头条,它生成了五张带文章缩略图的 HTML 卡。这意味着它能够使用 Chromium 从 XDA 获取并渲染那些文章。最后,我让它 ping 我的网关、一个 Proxmox 主机和 1.1.1.1,它直接又回到了原生卡片。
Elecrow 使用 LovyanGFX 的一个分叉副本
代码是个谎言
我使用 PlatformIO 注册表中的 LovyanGFX 1.2.7 构建固件,并采用 Elecrow 自己文档中给出的面板配置,但屏幕完全黑屏。背光点亮了。gfx.init() 正常返回。Wi-Fi 已连接,HTTP 服务器有响应,mDNS 完成了自我广播,PSRAM 也分配了一切且没有报错。我搞不清楚原因,因为没有任何地方报告问题,但事实证明,这是因为从 ESP32 的角度来看,根本没有问题。
我最后发现,问题出在 Elecrow 对这款设备搞的一个奇怪操作上。Elecrow 的产品页面说控制器是 JD9855,但他们的示例代码里实例化的却是 lgfx::Panel_ST77961。嗯……这两种说法都只对了一半。原来他们的仓库里打包了一份自己的 LovyanGFX 副本,其中 Panel_ST77961::getInitCommands() 的整份寄存器列表被抽走,换成了 JD9855 的初始化序列。如果你基于真正的上游库构建(这也是大多数人该做的),你发给控制器的是一份完全正确的 ST77961 初始化列表,但它每条命令都收,收了却根本执行不了。我把初始化序列搬进了我自己项目里的 Panel_LCD 子类,没去依赖那个分支版本。
后面还有两个小毛病。Elecrow 的示例在初始化之后调了 gfx.startWrite(),然后一直不关;我照着写,结果屏幕上出现几列一直卡着旧像素,因为 LovyanGFX 只会在最外层的 endWrite() 上等待 DMA 完成。如果计数器始终没回到零,每次推送都在跟上一笔传输抢跑;他们的代码之所以没事,是因为 LVGL flush 回调会在每次 DMA 推送前先把外层事务关掉。他们的配置还把 SPI 总线跑到 80MHz,这也是那些列一直挂在屏上的原因,所以我把它降到 40MHz,因为看起来是有些位在某些时钟沿上来得太晚。这解决了问题。
小屏幕逼着这个智能体去改内容
它为了放得下,把标题重写了
我让它把 XDA 的文章显示出来,这事儿成了,但它做到的方式还挺让人吃惊的。它看出这是给小屏幕用的,还告诉我它把几个标题缩短了,好适配圆形屏幕,而且没改标题的意思。
我给 Hermes 的技能文件里,根本没让它为了适配屏幕去改文字;里面只写了:带缩略图的卡片,标题有两行空间。它自己琢磨出来:碰到布局限制,正确做法就是砍字,先判断哪些词最不重要,再告诉我它砍了哪些词。
我的网络扫描在更大规模上干了同样的事;我临时给它开了权限,让它扫描我的网络,并在两个子网中发现了大约 75 台在线主机,但问题是,这块面板最多只能显示十项。不过,它没像我预想的那样把列表直接截短,而是挑出它称为“跑马灯(marquee)”的基础设施,把其余内容塞进 Telegram 回复里。于是屏幕只挑了八个最重要的服务显示出来,其余的都在聊天里发给我了。
它还会检查每台机器的主机名,而不是只把 ARP 表返回来了事。它识别出了 OPNsense、TrueNAS、Frigate NVR、Proxmox Backup Server 和 Jellyfin,于是显示到屏幕上的就是这些文字。
关键在于,谁都能输出 HTML,但没有任何基于 ESP32 的固件能在小屏上显示时动态抓取一条标题,再把无关部分裁掉。事实上,正是这种限制让输出效果比一股脑把原始信息全倒出来更好。
这块显示屏用起来很舒服
而且出乎意料地能干
按下按钮时,屏幕上基本没反应,只会让 LED 环闪 90 毫秒,并通过 WebSocket 广播一个 JSON 事件。这次按键会带上代理发来的动作字符串,所以如果某张 XDA 卡片上某篇文章的按钮被按下后返回,这可能就表示我想让它打开那篇文章,并告诉我里面写了什么。另外,长按按钮会让面板退回到简单的时钟界面。我没内置队列,也没做任何重试逻辑,所以它一旦没了就真没了。
目前我就把它当成一种“我问一句、它答一句”的按需工具;不过这个智能体自己主动提出来,可以设个早晨的定时任务,每天用当天的头条把面板刷新一遍。长远看,这肯定就是目标:它不再是我得刻意去控制的东西,而是摆在那儿、我每次看都有有用信息的东西。
我往上放任何敏感内容吗?多半不会,毕竟它就是摆在桌上的一块屏幕,又没有任何身份验证。不过,它给一块 30 美元的面板配上了一组你完全不用提前琢磨、规划的屏幕——老实说,这点大多数智能显示器可比不了。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.