基于Edgi Talk核心板的智能家庭陪伴机器人

原创2026-11-20 08:58:27浏览3
3
Star

1 需求分析与功能指标

1.1 应用背景与目标用户

家庭陪伴类机器人的核心价值不在于完成具体家务,而在于提供持续在场感与情感回应。本作品面向两类主要用户:一是需要日常提醒、陪伴闲聊的独居老人,二是需要故事、问答与情绪互动的儿童。设计目标是让设备"记得住家庭成员、听得懂情绪、答得自然",而不是做一个冷冰冰的语音指令盒子。

1.2 功能需求

编号

功能需求

说明

F1

语音唤醒与对话

支持 always-on 唤醒,按键/口令均可触发对话,云端 ASR + LLM + TTS 闭环

F2

家庭成员身份识别

区分不同家庭成员,按身份提供个性化回应与内容

F3

情感识别与表达

识别用户情绪,通过表情、灯环颜色与头部动作表达共情

F4

家庭事务提醒

结合温湿度、时间等信息主动播报提醒

F5

家居控制

通过红外接口控制电视、空调等红外家电

F6

隐私与降级

访客模式下不读取家庭隐私内容;断网时降级为本地关键词命令

1.3 设计指标

指标

目标值

测量方式

待机电流

< 5mA(含 BLE 扫描占空比)

万用表串接电源

唤醒响应时间

< 500ms

秒表计时 20 次取平均

首轮对话响应

< 2.5s

秒表计时 20 次取平均

BLE 身份识别率

> 95%(1.5m 内)

每人 20 次触发统计

声纹确认准确率

> 90%

每人 20 句样本统计

连续对话续航

≥ 30min(500mAh 电池)

满电连续对话计时

BOM 成本

≤ 550 元

采购清单累加

 

2 方案论证与选型

2.1 主控平台选型

选择 Edgi-Talk 的依据有三点:其一,PSOC Edge E84 的 M55 + M33 双核与双 NPU 架构,可把 always-on 唤醒与事件驱动应用分置两核,兼顾功耗与响应;其二,官方 BSP 提供小智 AI 语音对话、DeepCraft 视觉、LVGL、IPC 等完整例程,可大幅缩短开发周期;其三,模组自带 4.3 寸触屏、双数字麦、1W 功放、Wi-Fi 6 与 BLE 6.0,外围电路极少。需特别注意,官方资料中的"128 Mb"实为 128 Mbit = 16MB(PSRAM 型号 S70KS1283GABHV020、QSPI Flash 型号 S25FS128SAGMFI101 均为 16MB),部分英文资料写作 128MB 系口径误读,本设计一律按 16MB 规划。

2.2 三种总体方案对比

维度

方案 A:单板 + 云端

方案 B:双芯异构

方案 C:家庭主机

架构

Edgi-Talk 直连 UVC 摄像头,本地推理 + 云端对话

Edgi-Talk 语音 + K230 视觉协处理器

Edgi-Talk 前端 + 树莓派/迷你主机

人脸识别

本地轻量模型,人脸库 ≤ 10

本地高精度,人脸库 20–50

本地 InsightFace,上百人

对话能力

云端,依赖网络

云端,依赖网络

可本地离线部署 LLM

新增硬件成本

约 75–145 元

约 200–300 元

约 500–800 元

主要风险

USB 供电冲突、内存紧张

双固件联调复杂

成本与部署复杂度高

开发周期

约 5–6 周

约 7–9 周

约 10 周以上

2.3 选型结论与人脸识别功能取舍

本作品最终选用方案 A 的衍生版本——"无人脸识别的单板 + 云端"方案,即保留云端语音对话与本地情感表达,取消摄像头与人脸识别。理由如下:

第一,USB-C 口同时承担供电与 USB Host 摄像头取流,必须引入带供电的 USB Hub 或 OTG Y 线,若供电不足会导致摄像头枚举失败,这是原型阶段最高频的故障点。第二,UVC 取流在 AI 模式下被强制为 320×240 YUYV(上限 432×240),识别距离与角度受限,实测体验提升有限。第三,人脸检测、关键点、特征提取与表情分类四类模型合计约 2.5MB,且 U55 需同时承担视觉推理,会挤压音频与 GUI 的实时性。第四,家庭场景采集人脸图像涉及未成年人个人信息保护,取消图像采集可显著降低合规风险。

人脸识别作为可选扩展予以保留:硬件上 UART2 预留给视觉协处理器,结构上预留摄像头安装位;软件上 IPC 消息结构已预留 face 事件字段。若后续需要恢复人脸识别,可直接升级为方案 B,无需改动主控与云端链路。这一取舍在"功能完整性"与"可实现性"之间做出了明确权衡,是本设计的核心工程决策。

2.4 关键技术约束

1.  存储约束:外扩 PSRAM 与 QSPI Flash 均为 16MB,模型需 int8 量化,LVGL 资源采用 RGB565。

2.  启动约束:必须按 Secure M33 → M33(非安全,使能 M55)→ M55 顺序烧录,否则系统无法启动。

3.  网络约束:小智示例要求 2.4GHz Wi-Fi,首次需通过 AP 配网(浏览器访问 192.168.169.1)并在 xiaozhi.me 完成绑定。

4.  接口约束:USB-C 在本方案中回归纯供电与 DAP 调试,不再强制 Host 模式。

 

3 Edgi-Talk 核心板能力边界

Edgi-Talk 是 MCU 级边缘 AI 终端,本地难以运行大模型,开放域对话必须借助云端。这一判断决定了整个系统"本地做实时与隐私,云端做理解与生成"的分层原则。

类别

关键参数

主控

PSOC Edge E84,Cortex-M55 @400MHz + M33 @200MHz

NPU

Arm Ethos-U55 + 英飞凌 NNLite 双加速器

性能实测

同一 KWS 任务 M55 单独 5.29ms,M55 + U55 为 0.21ms,加速约 25 倍

显示

4.3 寸 MIPI-DSI 电容触屏,LVGL 9.2 + VGLite 2.5D GPU

音频

双数字麦克风 + 1W 功放

无线

CYW55512 双频 Wi-Fi 6 + BLE 6.0

传感器

AHT20 温湿度、LSM6DS3TR-C 六轴 IMU

扩展

40Pin 树莓派兼容 GPIO、2×PMOD、TF 卡座

供电

5V Type-C,可选 500mAh 502540 锂电池(需另购)

软件

RT-Thread BSP,含小智 AI 语音、DeepCraft 视觉、LVGL、IPC、音频等例程

芯片本身具备人脸与目标检测能力(官方提供 DeepCraft/TFLM 的 UVC 目标检测例程),但如第 2.3 节所述,本设计基于工程与合规考虑未予采用。

 

4 硬件总体设计

4.1 系统组成

系统由感知输入、Edgi-Talk 主控、情绪表达三部分构成,并通过 Wi-Fi 连接云端语音服务,如图 1 所示。

图 1 系统硬件组成框图

 

4.2 扩展模块设计

模块

选型

接口

功能

身份识别

手机 App / BLE 标签

板载 CYW55512

广播 UUID,靠 RSSI 判定家庭成员

存在检测

LD2410C 毫米波雷达

UART1

检测人体靠近,触发唤醒与亮屏

情绪动作

SG90 舵机 ×1

PWM0

点头、歪头、低头三种情绪动作

表情灯环

WS2812B ×12 + 74AHCT125

SPI / PWM1

状态色与情绪色显示

身份兜底

RC522(可选)

SPI / GPIO 中断

NFC 卡片刷卡识别

家电控制

940nm 红外 LED + NPN

PWM

发射 NEC 红外码

配网与交互

板载触屏与用户按键

板载驱动

AP 配网、口令确认、触摸交互

4.3 引脚分配

引脚按功能分配(具体脚号以 design.modus 实际配置为准,禁止硬编码):UART1 → LD2410C;UART2 → 预留(NFC / 后续视觉协处理器升级);PWM0 → 单舵机;PWM1 或 SPI → WS2812B;GPIO → 按键与 NFC 中断;I²C → 预留扩展;USB-C → 供电 + DAP;板载双麦、AHT20、六轴 IMU、屏幕与喇叭直接使用官方驱动。

4.4 供电与结构设计

系统采用 5V/2A Type-C 单路供电。舵机堵转峰值电流约 500mA,需并联 470µF 储能电容或采用独立 5V/1A 供电,两路电源必须共地。结构上将 4.3 寸屏幕前倾 15–20° 便于平视交互,单舵机置于屏幕下方作为"脖子"实现点头动作,灯环围绕屏幕边缘,扬声器朝下,底座配重防止点头时倾倒。板载 500mAh 电池可支撑待机数天、连续对话约 20–40 分钟(需实测确认)。

 

5 软件总体设计

5.1 启动链路与双核分工

启动链路:Secure M33 → M33(使能 M55)→ M55。调试时先烧录 Edgi_Talk_M33_Template 验证多核链路正常,再运行应用工程。

l M33(常开守候核):NNLite 唤醒词检测、LD2410C / AHT20 / IMU 数据采集、电源状态机、IPC 接收、看门狗。

l M55(事件驱动应用核):BLE 扫描与身份映射、声纹推理、音频链路、云端对话、LVGL 表情、舵机与灯环控制。

BLE 协议栈部署在 M55(复用 CYW55512 现有驱动),由 M33 通过 IPC 控制扫描占空比(扫 1 秒歇 4 秒)以降低功耗;若实测待机电流偏高,可将 BLE 监听迁移至 M33 侧。

5.2 线程划分

线程

核

优先级

栈空间

触发方式

kws_th

M33

8

2KB

常开

ipc_rx_th

M33

6

1KB

事件

sensor_th

M33

14

1KB

1Hz 周期

ble_scan_th

M55

10

4KB

占空比扫描

voiceprint_th

M55

11

8KB

事件(可迁移云端)

audio_th

M55

7

6KB

流式

cloud_th

M55

9

8KB

事件

dialog_th

M55

10

8KB

状态机驱动

ui_th

M55

12

8KB

30fps

motion_th

M55

16

2KB

事件

5.3 对话状态机

状态机精简为四态:休眠待机 → 唤醒与身份判定 → 聆听与思考 → 回复与动作,完成后复位回待机,如图 2 所示。身份判定并入唤醒阶段,相比独立视觉状态减少一次图像采集与推理,首轮响应可缩短约 200–400ms。

图 2 对话状态机

 

5.4 IPC 通信协议

双核间采用邮箱 + 共享内存,消息结构如下。相比含人脸版本,仅新增 BLE / 声纹 / NFC / 触摸四类事件,结构本身保持不变,为后续升级预留 face 字段。

typedef enum {

EVENT_WAKE = 0, EVENT_BLE_ID, EVENT_VOICEPRINT,

EVENT_NFC, EVENT_TOUCH, EVENT_SENSOR, EVENT_KEY,

EVENT_LED, EVENT_MOTION, EVENT_SLEEP, EVENT_FACE / 预留 /

} app_event_t;

typedef struct {

uint8_t type; / app_event_t /

uint8_t member_id; / 0=访客, 1..10=家庭成员 /

int8_t emotion; / -1=未知, 0..6=情绪类别 /

uint16_t len;

uint8_t payload[256];

} app_msg_t;

5.5 模型与内存预算

模型

输入

量化大小

加速器

说明

关键词唤醒

16kHz / 1s

约 80KB

NNLite

沿用官方链路

声纹特征

3–5 句注册

约 300KB

U55

或改由云端提取

轻量情感分类

文本 / 韵律

约 200KB

U55

可合并至云端

模型合计约 600KB,远低于 16MB 容量上限,剩余空间用于 LVGL 资源、固件与 OTA 分区。

 

6 情感交互与对话实现

6.1 身份识别链路

身份判定按 BLE > 声纹 > 口令 > 访客 优先级逐级降级:BLE 方式由手机 App 或标签广播 UUID,RSSI > −70dBm 且持续 2 秒才认定,超时 30 秒回退;声纹方式在注册阶段每人录入 3–5 句,由 U55 或云端提取 speaker embedding,置信度 > 0.7 才注入 member_id;口令方式通过 ASR 文本匹配"我是爸爸"等语句作为最后确认;三者均失败则进入访客模式,使用通用人格与单音色,不读取家庭隐私内容。

首次注册流程为:App 配网 → 选择成员角色 → 录音 3 句 → 保存 UUID 与声纹模板映射。

6.2 情绪引擎与 Prompt 设计

情绪输入为四路:LLM 从 ASR 文本做情感分类(主)、语音韵律(音高 / 语速 / 能量)、用户显性表述、触摸或按键交互。输出映射为五种表情(中性 / 开心 / 惊讶 / 关心 / 困倦)、灯环颜色与舵机动作。

system: 你是{家庭名}的家庭陪伴机器人。

当前对话者: {member_name}({relation}),情绪: {emotion},

时间: {time},室内温度 {temp}°C / 湿度 {humi}%。

请用 {voice_style} 的语气回应,主动关照 {preferences}。

若 emotion 为负面,先共情再建议,不要说教。

member_id 决定 TTS 音色与偏好库,emotion 决定表情与语气。emotion 由 dialog_th 从 LLM 结果回填至 IPC 消息。

6.3 典型对话示例

场景

用户输入

机器人回应

情感表达

儿童放学

"我今天考试没考好"

"没关系呀,告诉我哪道题最难,我们一起看看"

关心表情 + 绿色灯环 + 轻微点头

老人 reminder

"今天天气怎么样"

"室内 26 度,记得开窗通风,早晚温差大加点衣服"

中性表情 + 蓝色灯环

访客

"你是谁"

"我是这个家的陪伴助手,很高兴认识你"

中性表情 + 白色灯环,不读取偏好

 

7 云端接入、异常恢复与隐私设计

7.1 云端接入

分两个阶段实施:阶段 1 使用官方小智 Demo 跑通 AP 配网、按键对话与 TTS 链路;阶段 2 自建 WebSocket 网关注入身份与情绪上下文。官方小智示例是否开放自定义上下文注入需在阶段 1 实测确认,若不开放则切换自建网关,硬件设计不受影响。

7.2 异常恢复策略

异常

恢复策略

BLE 识别超时

依次降级至声纹、口令、访客模式

声纹置信度低

判定为访客,不注入身份

Wi-Fi 断开

重连 3 次,失败后降级本地关键词命令

舵机堵转

立即停止 PWM 并上报故障

系统看门狗

仅复位 M55,M33 保持唤醒守候

7.3 隐私与安全设计

本设计不采集图像与视频,从源头规避生物特征图像泄露风险。BLE 广播 UUID 与声纹模板均在本地存储,云端仅接收脱敏后的 member_id。访客模式下禁止访问家庭偏好、日程等隐私内容。后续可扩展"纯本地命令模式"作为隐私档位,完全断开云端连接。