视频展示
项目简介
本项目是基于 RT-Thread ART-Pi II 开发板(STM32H7R7,600MHz Cortex-M7)设计的 AI 语音桌面伙伴「Pi 酱」,同时兼作 PC 端 AI Agent 的物理状态终端。设备分两种工作模式:语音伙伴模式与 Agent 状态屏模式。
在语音伙伴模式下,按住板载说话按钮,设备通过 WiFi 通知 PC 开始录音,PC 端用本地 Whisper 模型完成中文识别,把文本注入正在运行的 CodeBuddy(cbc)会话,AI 的回复由 Windows TTS 合成后通过 TCP 推回板子,由 SAI2 + MAX98357A 播放,实现完整的「说—听—答」闭环。在状态屏模式下,屏幕实时反映 PC 端 AI 的工作状态(待机/思考/执行/待反馈/完成),并可通过审批页决定 AI 的工具调用是否放行。
项目功能
• AI 语音对话(已实现):按住说话按钮 → PC 端本地 Whisper 识别中文 → 文本注入当前 AI 会话 → 回复经 TTS 合成、TCP 推流回板子播放;全过程语音数据不出本机(除 AI 推理本身),识别、合成均在本地完成。
• Agent 状态屏(已实现):板子通过 WiFi(TCP 8081 JSON 协议)与 PC 端联动,实时显示 AI 的运行状态——待机蓝环呼吸、思考紫环绕圈、执行绿环进度、待审批琥珀脉冲;底栏显示当前任务标题。
• 审批联动(已实现):AI 需要执行写文件/执行命令等敏感操作时,PC 端 hook 自动把动作描述推到板子,屏幕弹出全屏审批页,「同意/拒绝/其他」三按钮;结果回传 PC 决定 AI 是否放行,超时 30 秒默认拒绝。
• 环境感知(已实现):SHT40 温湿度(编码修正 −50℃ 偏移)、BH1750 光照实时显示在状态屏右侧三行。
• 氛围与交互(已实现):9 颗 WS2812 灯环状态色、EC11 旋转编码器调音量(底栏 OSD 显示)、触摸光标准星、两枚轻触按键。
项目参数
• 主控:ART-Pi II 开发板,STM32H7R7(600MHz Cortex-M7,NeoChrom GPU,LTDC 显示控制器),32MB HexaSPI PSRAM,板载 AP6212 WiFi/BT;
• 显示:5 寸 RGB 电容触摸屏,800×480,触摸芯片实测为 GT1158(I2C 0x14,Product ID 读回 "1158"),40P FPC 直连主板 CN1;驱动需按 GT1158 的配置区基址 0x8050 解析(GT9147 的 0x8047 会读出错乱的量程)。
• 音频输入:ZTS6672 I2S 数字麦克风 ×2(兼容 ICS-43434)。实测板载双麦通路数据异常(收到数据但与声音不相关),当前语音输入改由 PC 麦克风采集,板载麦待后续排查。
• 音频输出:MAX98357A I2S D 类功放(WLCSP-9),9dB 固定增益驱动 4Ω 3W 腔体喇叭;SAI2 TX 16kHz/16bit,实测输出 16.276kHz(+1.7%),需专用时钟校准才能完全消除音调偏差。
• 传感器:SHT40(温湿度,I2C 0x44)、BH1750(光照,I2C 0x23)、SGP40-D-R4(VOC 空气质量,I2C 0x59),三颗挂同一软件 I2C 总线(PE13/PE12);
• 交互:WS2812B 灯环 ×9、无源蜂鸣器(PWM)、EC11 旋转编码器(公共端实测接 PB1,非原理图标注的 PB2)、轻触按键 ×2;
• 供电:单 Type-C 5V 输入,扩展板经 40Pin 取电,5V 域带 1A 自恢复保险丝 + SMBJ5.0A TVS 防护;噪声负载(功放/灯环)吃 5V,麦克风/传感器吃干净的 3.3V,电源域隔离;
• 自制 PCB:PiJam Shield V1.0,90×70mm 双面板(≤10×10cm),嘉立创 EDA 专业版设计,支持立创 SMT 贴片,预留 10 个测试点(DFT);
• 整机 BOM 成本:约 180 元(含屏幕、PCB 打样、亚克力外壳)。
原理解析(硬件说明)
本项目硬件由 ART-Pi II 主板、5 寸触摸屏和自制扩展板 PiJam Shield 三部分组成。主板负责计算、显示、网络;扩展板承载音频、传感、灯环、交互全部外设,通过 40Pin 排座与主板对插,LCD 排线直连主板 CN1。整体设计遵循「噪声负载走 5V、敏感模拟走 3V3」的电源域隔离原则。

图1——扩展板原理图总览(嘉立创 EDA,PiJam Shield V1.0):

PiJam Shield 原理图总览

图2——电源与防护电路:扩展板从 40Pin 排座的 +5V_USB 取电,经 F1 自恢复保险丝(1A)后成为全板 +5V 网络,入口处跨接 D1(SMBJ5.0A TVS)钳位浪涌,C1(100µF)+C2/C3(100nF)做滤波。+3V3 直接取自主板 40Pin(主板 TLV62569 buck 对外裕量约 500mA,本板 3.3V 域总耗 <150mA)。功放、灯环等噪声负载全部挂 5V 域,麦克风与传感器挂 3.3V 域,避免开关噪声串入拾音链路。

图3——双数字麦克风电路:两颗 ZTS6672(兼容 ICS-43434)底进声数字麦,直接输出 I2S/PDM 数字音频,省去模拟前端。两麦共享 BCLK(40Pin Pin12)与 WS(Pin35),SD 数据线经 33Ω 串联阻尼电阻汇到 Pin38;通过 L/R 引脚一颗接地、一颗接 3.3V 区分左右声道。ZTS6672 支持 1.62~3.6V 宽压,直接接 +3V3 无需额外 LDO,每颗 VDD 就近 100nF 去耦。

图4——I2S 功放与输出滤波电路:MAX98357A 是无 MCLK 要求的 I2S D 类功放,VDD 接 5V。I2S 数据经 33Ω 串联电阻进 DIN;SD 引脚经 100kΩ 上拉使能并设定默认 9dB 增益,GAIN_SLOT 引脚预留 R14(默认不焊),补焊即可升至 12dB,无需改板。输出端 OUTP/OUTN 经 L1/L2 磁珠(600Ω@100MHz)与 C8/C9(1nF 对地)组成 π 型 EMI 滤波,再经 XH2.54 座接 4Ω 3W 腔体喇叭。

图5——环境传感器电路:SHT40(温湿度)、BH1750(光照)、SGP40(VOC 空气质量,选配)挂同一条软件 I2C 总线(PE13=SCL / PE12=SDA,上拉电阻 4.7kΩ ×2 仅保留一组)。因主板 40Pin 的硬件 I2C(PB8/PB9)被核心板 eMMC 占用,传感器改走 GPIO 软件模拟 I2C,速率高 100kHz 足够。BH1750 的 ADDR 接地(地址 0x23),DVI 接 +3V3 作 I2C 逻辑参考;SGP40 的 VDDH(加热器供电)与 VDD 同接 +3V3,EP 焊盘接地。

图6——WS2812 灯环与电平转换:8 颗 WS2812B 级联,数据线由 PD13(PWM+DMA)经 330Ω 串联电阻驱动。因 3.3V 逻辑驱动 5V 供电的 WS2812 处于识别边缘(VIH=3.5V),首颗灯 LED1 经二极管 D2(1N4148)降压至约 4.3V 供电,其高电平阈值同步降低并充当中继,后续灯收到的是再生的 5V 级信号——开源社区验证多年的低成本电平转换技巧。灯环配 470µF 总储能电容,末级 DO 悬空。

图7——蜂鸣器与交互电路:无源蜂鸣器由 PF8 输出 PWM 方波、经 S8050 三极管驱动(5V 供电,音量更足),蜂鸣器两端并 1N4148 续流二极管吸收关断尖峰。EC11 编码器 A/B 相接 PD3/PA5,按键接 PB2;两枚轻触键接 PC3(唤醒)/PC2(静音翻页),均使用 MCU 内部上拉,外加 100nF 对地电容硬件消抖。

图8——语音交互状态机(软件工作流):
语音交互状态机
按键唤醒后进入聆听态,双麦音频以 16kHz/60ms 帧做 Opus 编码,经 WebSocket(小智协议)上云;云端返回的 TTS 音频 Opus 解码后经 I2S 功放播报,屏幕表情与灯环状态同步切换。状态屏模式下则经 USB CDC 接收 PC 端钩子脚本推送的 JSON 状态帧,LVGL 界面与灯环联动刷新。
软件代码
基于 RT-Thread 5.1 + LVGL 9 开发。固件侧自研 SAI2 音频驱动(中断双缓冲流式播放,音频线程优先级需高于 LVGL,否则会被饿死导致播放截断)、触摸驱动(GT1158 适配)、编码器正交解码、状态屏/对话页/审批页三套 LVGL 界面,以及 TCP 8081(JSON 控制)与 8082(裸 PCM 音频)两路网络服务。PC 端为 Python:sounddevice 采集、faster-whisper 本地识别、CodeBuddy CLI 调用、Windows SAPI 合成、scipy 重采样与推流。
• 固件源码:约 1.47MB,QFLASH 占用 17.5%,RAM 89.5%;核心驱动位于 applications/drivers/,页面位于 applications/pages/,服务位于 applications/services/。
• PC 端脚本:pijam_listen.py(语音闭环)、pijam_cbc_status.py(AI 状态同步)、pijam_speak_hook.py(回答结束自动播报)、pijam_approval_bridge.py(审批桥)。
• 参考:CodeBuddy CLI(WorkBuddy 无头模式)、faster-whisper、RT-Thread/LVGL 官方文档。
注意事项
• 触摸芯片型号必须实测:本板贴的是 GT1158,按 GT9147 的寄存器映射读配置区会得到 range_x=29532 之类的垃圾值,驱动拿它算指针会直接 HardFault;正确基址是 0x8050。
• 编码器公共端实测接 PB1:原理图标注 C→PB2,实际驱动 PB2 对 A/B 无影响,驱动 PB1 才能读到正交信号;按错引脚会表现为「编码器完全无反应」。
• 功放供电是 5V 不是 3.3V:MAX98357A 的 VDD 接错 3.3V 会导致输出功率跌至 1/3 以下;
• 蜂鸣器续流二极管方向:1N4148 阴极朝 +5V,接反会短路;且必须选无源蜂鸣器(PWM 驱动),误购有源蜂鸣器会一直常鸣;
• 灯环首灯降压:LED1 的 VDD 必须只连 D2 阴极(约 4.3V),不能直连 +5V,否则电平转换失效、灯环可能识别不了 3.3V 数据;
• SGP40 的 VDDH 不能悬空:Pin5 是加热器供电,必须接 +3V3,否则芯片不工作;
• 音频线程优先级:SAI 填充线程必须高于 LVGL 线程,否则界面刷新会把音频线程饿死,表现为「只能听见前几个字」;但优先级过高又会引入接缝失真,需实测取平衡。
• PC 扬声器极性:单个喇叭正负接反不影响使用(交流驱动),但不建议养成习惯;
• 网络 DHCP 时序:WiFi 关联成功不等于拿到 IP,需在关联事件里启动 DHCP 客户端;且在 rt_wlan_is_ready() 分支里启动会造成死锁(该函数需要 IP 才返回真)。
• USB 调试连接:ST-Link 偶发 DEV_USB_COMM_ERR,拔插 USB 或换口可恢复;烧录后务必确认 verified successfully,失败时固件根本没写进去。
实物图
拓展板实物图

LCD显示屏

