基于涂鸦T5模组的AI编程语音输入键盘

项目概述

以涂鸦 T5-E1 模组为核心，制作一款面向 Claude Code、Codex、Workbuddy 等 AI 编程终端的语音输入键盘。设备通过 USB 与电脑通信，按下按钮说话，松开后将语音经 USB 传输至电脑，由电脑输入法/语音识别转成文字，并自动输入到当前聚焦的智能体终端中。

设备自带 2.79 寸显示屏，用于显示时间、5 小时额度、7 天额度、语音状态等信息。

核心硬件

• 主控：涂鸦 T5-E1 模组，ARMv8-M Star @480MHz，8MB Flash + 16MB PSRAM，集成 Wi-Fi 6 / BLE 5.4。

• USB 通信：利用 T5 高速 USB 2.0，枚举为 USB HID 键盘 + USB Audio 麦克风 复合设备，Windows / Linux / macOS 免驱识别。

• 显示屏：2.79 寸 NV3007 驱动 IC，分辨率 142 × 428，SPI/QSPI 接口，横屏显示。

• 按键：单颗物理按钮，实现“按下说话、松开发送”的 Push-to-Talk 逻辑。

• 音频采集：I2S 数字麦克风，采集 16kHz / 16bit 单声道音频。

• 状态同步：电脑端辅助程序通过 USB HID Output Report 将额度、任务状态回传至 T5。

功能定义

语音输入流程

1. 按下按钮。

2. T5 开始录音。

3. 屏幕显示“说话中”。

4. 松开按钮。

5. 音频经 USB Audio 传输至电脑。

6. 电脑输入法/语音服务识别为文字。

7. 自动输入到 Claude Code、Codex、Workbuddy 等终端。

USB HID 键盘

• 可发送快捷键，如 Win+H 触发 Windows 语音输入。

• 可发送回车确认、Ctrl+C 等按键。

• 适配不同 CLI 工具与智能体终端。

屏幕显示

• 当前时间。

• 5 小时额度进度与数值。

• 7 天额度进度与数值。

• 语音状态。

额度显示

通过电脑端程序读取 Coding Plan 额度，回传至 T5，并在屏幕上刷新显示。

状态提示

• 待机

• 说话中

• 传输中

• 输入完成

• 错误

软件架构

T5 固件

• USB HID + UAC 复合设备。

• I2S 音频采集。

• 按钮状态机。

• NV3007 屏幕驱动。

• LVGL UI。

• 额度与状态同步。

电脑端辅助程序

• 监听 USB Audio 音频流。

• 调用系统输入法或语音识别接口。

• 将转写文本注入当前聚焦的智能体终端。

• 获取额度信息并回传至 T5。

终端适配

针对 Claude Code、Codex、Workbuddy 等 CLI 输入框特性，自动追加回车或确认键，实现“说完即发送”。

里程碑

• 第 1-2 周：T5-E1 开发环境搭建，USB HID + USB Audio 复合设备验证。

• 第 3-4 周：麦克风音频采集、按钮 PTT 逻辑、电脑端音频接收与识别联调。

• 第 5-6 周：NV3007 屏幕驱动、LVGL 界面、额度与状态显示。

• 第 7-8 周：终端注入适配、识别准确率与延迟优化、整机联调。

预期成果

展示涂鸦 T5-E1 模组在 USB HID、USB Audio、SPI/QSPI 显示驱动及 Wi-Fi 状态同步上的硬件优势，实现“按下说话、松开输入”的 AI 编程语音键盘，并支持 2.79 寸屏幕实时显示时间、5 小时/7 天额度与语音状态。