它和 KNOW 是同一个念头的两次实践

我在 KNOW 那一页写过:记东西最贵的不是记录本身,是离开当前状态。 要把一段视频记住,我得离开视频去开笔记软件;要把灯关掉,我得离开沙发去找手机 App。

KNOW 把这个成本压到「点一下」,这个语音板把它压到「说一句」—— 点一下还要抬手,说一句连手都不用。

它现在实际能做的事:
对盒子说「小智,给我发一封邮件,标题写‘到家了’,内容是我已经到家了」, 几秒后盒子播报「已通知 Home Assistant 发送邮件」,然后邮箱里真的收到那封信。
顺着同一条链路,还能让它开客厅的灯 —— 只要在 HA 里多写一条自动化。

一句话是怎么变成一封邮件的

中间有四段,每一段都可能断。这也是为什么后面「踩坑」里有一半是链路问题。

盒子:听到「你好小智」 唤醒词在本地识别,不联网。这部分最快,通常 0.3 秒以内。
↓ WiFi · 录音上传
云端:听懂,并决定「该调用一个工具」 小智云做语音识别(ASR)、让大模型判断意图,再通过「MCP 接入点」把 tools/call 下发给家里的桥接程序。这一步最慢,1~4 秒。
↓ WebSocket(由家里主动外连)
飞牛 NAS:桥接程序接到调用 mcp_pipe.py(官方桥接)+ send_email.py(我写的工具)。 注意它不自己发信,只把「标题 + 内容」POST 给 Home Assistant。
↓ HTTP POST · HA Webhook
Home Assistant:真正发信的人 Webhook 触发一条自动化 → 调用 notify(SMTP 集成)→ 邮箱收到。 收件人白名单、邮箱授权码都留在这里。
↓ SMTP
收件箱 从开口到收到,实测 3~10 秒,时间基本都花在「上云」。

为什么让 HA 发信,而不是让 Python 直接发

一开始我也想直接在 send_email.py 里连 SMTP,一行 smtplib 就完事。 后来选了绕一步,理由有三个:

  • 密码只存一处。邮箱授权码放在 HA 的集成里,桥接容器里没有任何凭据。
  • 白名单在 HA 侧。谁能收到信是 HA 的事,改起来不用动容器。
  • 能顺手接别的动作。同一条 webhook 既可以发信,也可以开灯, 盒子那边完全不用改。

还有一个好处:不给家里开端口

整条链路全部是出站连接:盒子连云端,桥接连云端,桥接连 HA。 没有端口映射、没有公网 IP、没有 DDNS。这点对我很重要 —— 我不想为了一个玩具,在路由器上开一个洞。

两个 Type-C,插错就白忙

这块板子有两个 Type-C,长得一模一样,但只有一个是给电脑的:

位置丝印用途
右侧 USB转串口 首选:供电 + 串口日志 + 烧固件,三合一(板载 CH343)
左侧 USB SLAVE ESP32-S3 原生 USB(OTG,接摄像头之类);不要用它烧固件

官方教程的原话是「必须接到 UART 口上,不要接到 SLAVE 口上了」。 我第一次插的是左边,设备管理器里什么都没有,还以为板子坏了。

技术构成

硬件
正点原子 ESP32 AI BOX1 · ESP32-S3(双核 240MHz)· 16MB Flash · 8MB PSRAM · 2.4″ 屏 · ES8311 音频
固件
出厂小智固件 → 后来基于上游源码自己编译,加了离线命令词
云端
xiaozhi.me:语音识别 + 大模型 + 语音合成,都在这上面
桥接
飞牛 NAS 上的 Docker 容器:Python + 官方 mcp_pipe.py
家居
Home Assistant:Webhook 接收 → 自动化 → SMTP 发信
工具协议
MCP(模型上下文协议):云端把「有哪些工具」告诉模型,模型决定调用哪个

AI 参与的部分

这个项目里 AI 帮的最大的忙,不是写代码,是读日志。 串口一次刷出两百行,容器日志里全是英文缩写,我一眼看不出哪一行是真正的原因。

  1. 把日志整段贴给它,问「哪一行是根因」。 它经常能指出「前面这句失败之后,后面那些都是连锁反应」—— 这一点我自己看三遍也看不出来。
  2. 让它解释我不认识的缩写。 ota_1、0x20000、MCP、MultiNet、 conntrack…… 每个都得先知道是什么,才谈得上判断。
  3. 让它写"验证脚本",而不是写功能。 verify_tools.py / verify_bridge.py 这类「不上真机也能证明某一段是通的」 的脚本,收益比它帮我写业务代码大得多。
  4. 最后的判断还是我自己做。 它给过几个"看起来更优雅"的方案(比如让 Python 直接发信、比如开着自建 OTA), 我最后都没采纳 —— 因为它不知道我不愿意在家里开端口、也不想让远程能推固件。
TODO(等你的真实情况)。 这里和 KNOW 那页一样,先写通用流程。如果你愿意补: AI 哪一次给出的判断是错的、你是怎么发现的、哪一段代码是你完全自己写的。

踩过的坑

四个真坑,每个都花了半小时以上。

1 · HA 根本不在 8123

几乎所有教程都写 Home Assistant 在 8123。我这台不是 —— 它在 80 端口。所以 http://192.168.6.119:8123 一直超时, 我一度以为是桥接程序的问题,把容器重装了两遍。

后来用浏览器直接打开 http://192.168.6.119/ 才看到界面。 先用浏览器确认地址,再改配置 —— 这是我现在的第一反应。

2 · 一个接入点同时只允许一个客户端

我在电脑上跑了一个桥接做诊断,结果飞牛那边的容器日志里空空如也, 而盒子却「像成功一样」播报。原因是云端把调用发给了电脑上那个实例。

这个现象特别误导:盒子说成功了,服务却没收到。 记住一句话:诊断完必须停掉本机桥接,一个接入点只留一个客户端。

3 · 切到 ota_1 之后,写 0x20000 不生效

设备的两个固件槽是 ota_0 和 ota_1。升级过一次之后它跑在 ota_1,而我还在往 0x20000(= ota_0)烧 —— 烧了 30 秒、看起来一切正常,重启后跑的还是旧固件。

后来写了 flash_app.ps1,先问设备「你现在跑在哪个槽」,再决定写到哪。 凡是"操作成功但结果不对",先怀疑目标选错了。

4 · 板型名不改,联网就会被云端刷掉

板子里固件上报的板型名是官方的 atk-dnesp32s3-box。 只要还用这个名字联网,云端就有权给它推官方固件 —— 我改的东西会被覆盖。

所以改造的第一步不是写功能,是先把板型名改成唯一的名字, 再观察几分钟日志,确认云端不再下发固件(Ota: Current is the latest version)。 这一步做完,后面的改动才是「我的」。

现在的状态:有些功能是主动关掉的

自建 OTA 我做过,而且做成了:服务端代理云端拿到凭据、换成自己的固件地址, 设备从 2.5.2 无线升级到 2.5.3, 跑在两个槽之间切换,配网和词表都没丢。

然后我把它关掉了。

原因不是做不到,是不想留一个「远程能把固件推进我家设备」的通道。 现在改固件就是插线、烧 30 秒。这 30 秒我愿意付, 换的是「没有任何远程入口」这件事。

这是这个项目里我学到最深的一课:能做的事,和该做的事,是两件事。 关掉一个已经跑通的功能,比写通它需要更多判断。

想从哪看起

三篇日志,按「怎么接起来 → 中间会发生什么 → 怎么改它」的顺序: 只想知道它凭什么能用,看第一篇;被延时或"说成功但没反应"困扰,看第二篇; 准备动固件,一定要先看第三篇。