1 需求分析与功能指标
1.1 应用背景与目标用户
家庭陪伴类机器人的核心价值不在于完成具体家务,而在于提供持续在场感与情感回应。本作品面向两类主要用户:一是需要日常提醒、陪伴闲聊的独居老人,二是需要故事、问答与情绪互动的儿童。设计目标是让设备"记得住家庭成员、听得懂情绪、答得自然",而不是做一个冷冰冰的语音指令盒子。
1.2 功能需求
编号 | 功能需求 | 说明 |
F1 | 语音唤醒与对话 | 支持 always-on 唤醒,按键/口令均可触发对话,云端 ASR + LLM + TTS 闭环 |
F2 | 家庭成员身份识别 | 区分不同家庭成员,按身份提供个性化回应与内容 |
F3 | 情感识别与表达 | 识别用户情绪,通过表情、灯环颜色与头部动作表达共情 |
F4 | 家庭事务提醒 | 结合温湿度、时间等信息主动播报提醒 |
F5 | 家居控制 | 通过红外接口控制电视、空调等红外家电 |
F6 | 隐私与降级 | 访客模式下不读取家庭隐私内容;断网时降级为本地关键词命令 |
1.3 设计指标
指标 | 目标值 | 测量方式 |
待机电流 | < 5mA(含 BLE 扫描占空比) | 万用表串接电源 |
唤醒响应时间 | < 500ms | 秒表计时 20 次取平均 |
首轮对话响应 | < 2.5s | 秒表计时 20 次取平均 |
BLE 身份识别率 | > 95%(1.5m 内) | 每人 20 次触发统计 |
声纹确认准确率 | > 90% | 每人 20 句样本统计 |
连续对话续航 | ≥ 30min(500mAh 电池) | 满电连续对话计时 |
BOM 成本 | ≤ 550 元 | 采购清单累加 |
2 方案论证与选型
2.1 主控平台选型
选择 Edgi-Talk 的依据有三点:其一,PSOC Edge E84 的 M55 + M33 双核与双 NPU 架构,可把 always-on 唤醒与事件驱动应用分置两核,兼顾功耗与响应;其二,官方 BSP 提供小智 AI 语音对话、DeepCraft 视觉、LVGL、IPC 等完整例程,可大幅缩短开发周期;其三,模组自带 4.3 寸触屏、双数字麦、1W 功放、Wi-Fi 6 与 BLE 6.0,外围电路极少。需特别注意,官方资料中的"128 Mb"实为 128 Mbit = 16MB(PSRAM 型号 S70KS1283GABHV020、QSPI Flash 型号 S25FS128SAGMFI101 均为 16MB),部分英文资料写作 128MB 系口径误读,本设计一律按 16MB 规划。
2.2 三种总体方案对比
维度 | 方案 A:单板 + 云端 | 方案 B:双芯异构 | 方案 C:家庭主机 |
架构 | Edgi-Talk 直连 UVC 摄像头,本地推理 + 云端对话 | Edgi-Talk 语音 + K230 视觉协处理器 | Edgi-Talk 前端 + 树莓派/迷你主机 |
人脸识别 | 本地轻量模型,人脸库 ≤ 10 | 本地高精度,人脸库 20–50 | 本地 InsightFace,上百人 |
对话能力 | 云端,依赖网络 | 云端,依赖网络 | 可本地离线部署 LLM |
新增硬件成本 | 约 75–145 元 | 约 200–300 元 | 约 500–800 元 |
主要风险 | USB 供电冲突、内存紧张 | 双固件联调复杂 | 成本与部署复杂度高 |
开发周期 | 约 5–6 周 | 约 7–9 周 | 约 10 周以上 |
2.3 选型结论与人脸识别功能取舍
本作品最终选用方案 A 的衍生版本——"无人脸识别的单板 + 云端"方案,即保留云端语音对话与本地情感表达,取消摄像头与人脸识别。理由如下:
第一,USB-C 口同时承担供电与 USB Host 摄像头取流,必须引入带供电的 USB Hub 或 OTG Y 线,若供电不足会导致摄像头枚举失败,这是原型阶段最高频的故障点。第二,UVC 取流在 AI 模式下被强制为 320×240 YUYV(上限 432×240),识别距离与角度受限,实测体验提升有限。第三,人脸检测、关键点、特征提取与表情分类四类模型合计约 2.5MB,且 U55 需同时承担视觉推理,会挤压音频与 GUI 的实时性。第四,家庭场景采集人脸图像涉及未成年人个人信息保护,取消图像采集可显著降低合规风险。
人脸识别作为可选扩展予以保留:硬件上 UART2 预留给视觉协处理器,结构上预留摄像头安装位;软件上 IPC 消息结构已预留 face 事件字段。若后续需要恢复人脸识别,可直接升级为方案 B,无需改动主控与云端链路。这一取舍在"功能完整性"与"可实现性"之间做出了明确权衡,是本设计的核心工程决策。
2.4 关键技术约束
1. 存储约束:外扩 PSRAM 与 QSPI Flash 均为 16MB,模型需 int8 量化,LVGL 资源采用 RGB565。
2. 启动约束:必须按 Secure M33 → M33(非安全,使能 M55)→ M55 顺序烧录,否则系统无法启动。
3. 网络约束:小智示例要求 2.4GHz Wi-Fi,首次需通过 AP 配网(浏览器访问 192.168.169.1)并在 xiaozhi.me 完成绑定。
4. 接口约束:USB-C 在本方案中回归纯供电与 DAP 调试,不再强制 Host 模式。
3 Edgi-Talk 核心板能力边界
Edgi-Talk 是 MCU 级边缘 AI 终端,本地难以运行大模型,开放域对话必须借助云端。这一判断决定了整个系统"本地做实时与隐私,云端做理解与生成"的分层原则。
类别 | 关键参数 |
主控 | PSOC Edge E84,Cortex-M55 @400MHz + M33 @200MHz |
NPU | Arm Ethos-U55 + 英飞凌 NNLite 双加速器 |
性能实测 | 同一 KWS 任务 M55 单独 5.29ms,M55 + U55 为 0.21ms,加速约 25 倍 |
显示 | 4.3 寸 MIPI-DSI 电容触屏,LVGL 9.2 + VGLite 2.5D GPU |
音频 | 双数字麦克风 + 1W 功放 |
无线 | CYW55512 双频 Wi-Fi 6 + BLE 6.0 |
传感器 | AHT20 温湿度、LSM6DS3TR-C 六轴 IMU |
扩展 | 40Pin 树莓派兼容 GPIO、2×PMOD、TF 卡座 |
供电 | 5V Type-C,可选 500mAh 502540 锂电池(需另购) |
软件 | RT-Thread BSP,含小智 AI 语音、DeepCraft 视觉、LVGL、IPC、音频等例程 |
芯片本身具备人脸与目标检测能力(官方提供 DeepCraft/TFLM 的 UVC 目标检测例程),但如第 2.3 节所述,本设计基于工程与合规考虑未予采用。
4 硬件总体设计
4.1 系统组成
系统由感知输入、Edgi-Talk 主控、情绪表达三部分构成,并通过 Wi-Fi 连接云端语音服务,如图 1 所示。
图 1 系统硬件组成框图

4.2 扩展模块设计
模块 | 选型 | 接口 | 功能 |
身份识别 | 手机 App / BLE 标签 | 板载 CYW55512 | 广播 UUID,靠 RSSI 判定家庭成员 |
存在检测 | LD2410C 毫米波雷达 | UART1 | 检测人体靠近,触发唤醒与亮屏 |
情绪动作 | SG90 舵机 ×1 | PWM0 | 点头、歪头、低头三种情绪动作 |
表情灯环 | WS2812B ×12 + 74AHCT125 | SPI / PWM1 | 状态色与情绪色显示 |
身份兜底 | RC522(可选) | SPI / GPIO 中断 | NFC 卡片刷卡识别 |
家电控制 | 940nm 红外 LED + NPN | PWM | 发射 NEC 红外码 |
配网与交互 | 板载触屏与用户按键 | 板载驱动 | AP 配网、口令确认、触摸交互 |
4.3 引脚分配
引脚按功能分配(具体脚号以 design.modus 实际配置为准,禁止硬编码):UART1 → LD2410C;UART2 → 预留(NFC / 后续视觉协处理器升级);PWM0 → 单舵机;PWM1 或 SPI → WS2812B;GPIO → 按键与 NFC 中断;I²C → 预留扩展;USB-C → 供电 + DAP;板载双麦、AHT20、六轴 IMU、屏幕与喇叭直接使用官方驱动。
4.4 供电与结构设计
系统采用 5V/2A Type-C 单路供电。舵机堵转峰值电流约 500mA,需并联 470µF 储能电容或采用独立 5V/1A 供电,两路电源必须共地。结构上将 4.3 寸屏幕前倾 15–20° 便于平视交互,单舵机置于屏幕下方作为"脖子"实现点头动作,灯环围绕屏幕边缘,扬声器朝下,底座配重防止点头时倾倒。板载 500mAh 电池可支撑待机数天、连续对话约 20–40 分钟(需实测确认)。
5 软件总体设计
5.1 启动链路与双核分工
启动链路:Secure M33 → M33(使能 M55)→ M55。调试时先烧录 Edgi_Talk_M33_Template 验证多核链路正常,再运行应用工程。
l M33(常开守候核):NNLite 唤醒词检测、LD2410C / AHT20 / IMU 数据采集、电源状态机、IPC 接收、看门狗。
l M55(事件驱动应用核):BLE 扫描与身份映射、声纹推理、音频链路、云端对话、LVGL 表情、舵机与灯环控制。
BLE 协议栈部署在 M55(复用 CYW55512 现有驱动),由 M33 通过 IPC 控制扫描占空比(扫 1 秒歇 4 秒)以降低功耗;若实测待机电流偏高,可将 BLE 监听迁移至 M33 侧。
5.2 线程划分
线程 | 核 | 优先级 | 栈空间 | 触发方式 |
kws_th | M33 | 8 | 2KB | 常开 |
ipc_rx_th | M33 | 6 | 1KB | 事件 |
sensor_th | M33 | 14 | 1KB | 1Hz 周期 |
ble_scan_th | M55 | 10 | 4KB | 占空比扫描 |
voiceprint_th | M55 | 11 | 8KB | 事件(可迁移云端) |
audio_th | M55 | 7 | 6KB | 流式 |
cloud_th | M55 | 9 | 8KB | 事件 |
dialog_th | M55 | 10 | 8KB | 状态机驱动 |
ui_th | M55 | 12 | 8KB | 30fps |
motion_th | M55 | 16 | 2KB | 事件 |
5.3 对话状态机
状态机精简为四态:休眠待机 → 唤醒与身份判定 → 聆听与思考 → 回复与动作,完成后复位回待机,如图 2 所示。身份判定并入唤醒阶段,相比独立视觉状态减少一次图像采集与推理,首轮响应可缩短约 200–400ms。
图 2 对话状态机

5.4 IPC 通信协议
双核间采用邮箱 + 共享内存,消息结构如下。相比含人脸版本,仅新增 BLE / 声纹 / NFC / 触摸四类事件,结构本身保持不变,为后续升级预留 face 字段。
typedef enum {
EVENT_WAKE = 0, EVENT_BLE_ID, EVENT_VOICEPRINT,
EVENT_NFC, EVENT_TOUCH, EVENT_SENSOR, EVENT_KEY,
EVENT_LED, EVENT_MOTION, EVENT_SLEEP, EVENT_FACE / 预留 /
} app_event_t;
typedef struct {
uint8_t type; / app_event_t /
uint8_t member_id; / 0=访客, 1..10=家庭成员 /
int8_t emotion; / -1=未知, 0..6=情绪类别 /
uint16_t len;
uint8_t payload[256];
} app_msg_t;
5.5 模型与内存预算
模型 | 输入 | 量化大小 | 加速器 | 说明 |
关键词唤醒 | 16kHz / 1s | 约 80KB | NNLite | 沿用官方链路 |
声纹特征 | 3–5 句注册 | 约 300KB | U55 | 或改由云端提取 |
轻量情感分类 | 文本 / 韵律 | 约 200KB | U55 | 可合并至云端 |
模型合计约 600KB,远低于 16MB 容量上限,剩余空间用于 LVGL 资源、固件与 OTA 分区。
6 情感交互与对话实现
6.1 身份识别链路
身份判定按 BLE > 声纹 > 口令 > 访客 优先级逐级降级:BLE 方式由手机 App 或标签广播 UUID,RSSI > −70dBm 且持续 2 秒才认定,超时 30 秒回退;声纹方式在注册阶段每人录入 3–5 句,由 U55 或云端提取 speaker embedding,置信度 > 0.7 才注入 member_id;口令方式通过 ASR 文本匹配"我是爸爸"等语句作为最后确认;三者均失败则进入访客模式,使用通用人格与单音色,不读取家庭隐私内容。
首次注册流程为:App 配网 → 选择成员角色 → 录音 3 句 → 保存 UUID 与声纹模板映射。
6.2 情绪引擎与 Prompt 设计
情绪输入为四路:LLM 从 ASR 文本做情感分类(主)、语音韵律(音高 / 语速 / 能量)、用户显性表述、触摸或按键交互。输出映射为五种表情(中性 / 开心 / 惊讶 / 关心 / 困倦)、灯环颜色与舵机动作。
system: 你是{家庭名}的家庭陪伴机器人。
当前对话者: {member_name}({relation}),情绪: {emotion},
时间: {time},室内温度 {temp}°C / 湿度 {humi}%。
请用 {voice_style} 的语气回应,主动关照 {preferences}。
若 emotion 为负面,先共情再建议,不要说教。
member_id 决定 TTS 音色与偏好库,emotion 决定表情与语气。emotion 由 dialog_th 从 LLM 结果回填至 IPC 消息。
6.3 典型对话示例
场景 | 用户输入 | 机器人回应 | 情感表达 |
儿童放学 | "我今天考试没考好" | "没关系呀,告诉我哪道题最难,我们一起看看" | 关心表情 + 绿色灯环 + 轻微点头 |
老人 reminder | "今天天气怎么样" | "室内 26 度,记得开窗通风,早晚温差大加点衣服" | 中性表情 + 蓝色灯环 |
访客 | "你是谁" | "我是这个家的陪伴助手,很高兴认识你" | 中性表情 + 白色灯环,不读取偏好 |
7 云端接入、异常恢复与隐私设计
7.1 云端接入
分两个阶段实施:阶段 1 使用官方小智 Demo 跑通 AP 配网、按键对话与 TTS 链路;阶段 2 自建 WebSocket 网关注入身份与情绪上下文。官方小智示例是否开放自定义上下文注入需在阶段 1 实测确认,若不开放则切换自建网关,硬件设计不受影响。
7.2 异常恢复策略
异常 | 恢复策略 |
BLE 识别超时 | 依次降级至声纹、口令、访客模式 |
声纹置信度低 | 判定为访客,不注入身份 |
Wi-Fi 断开 | 重连 3 次,失败后降级本地关键词命令 |
舵机堵转 | 立即停止 PWM 并上报故障 |
系统看门狗 | 仅复位 M55,M33 保持唤醒守候 |
7.3 隐私与安全设计
本设计不采集图像与视频,从源头规避生物特征图像泄露风险。BLE 广播 UUID 与声纹模板均在本地存储,云端仅接收脱敏后的 member_id。访客模式下禁止访问家庭偏好、日程等隐私内容。后续可扩展"纯本地命令模式"作为隐私档位,完全断开云端连接。
