基于 MUSE Pi Pro K1 与 ESP32 的 本地 AI 智能家居系统设计与实现

本项目基于已有智能家居系统进行二次开发与平台移植,将原有系统部署到 MUSE Pi Pro K1(RISC-V 64 位)平台,实现本地人工智能与智能家居硬件的融合。硬件部分采用 KiCad 自主设计 PCB,配合现成 ESP32 开发板及传感器、执行器模块;软件部分集成本地大语言模型、离线语音识别、语音合成、AI Agent、RAG 知识库和 MQTT 通信,实现室内温湿度、空气质量查询,以及客

基于 MUSE Pi Pro K1 与 ESP32 的 本地 AI 智能家居系统设计与实现封面
jf_655902682026-11-20 08:58:06OpenAtom OHL 1.0
14
Star1

PCBA

设计文件

KiCad图标智能家居拓展板.zip154.40KB(1次下载)

源代码

EDA查看器

复制嵌入代码

详细介绍

一、项目背景与设计目标

传统智能家居系统通常由传感器节点、云平台和手机应用组成,设备状态与控制指令依赖网络服务完成。本项目在常规物联网监测与控制的基础上,引入 MUSE Pi Pro K1 作为本地 AI 计算节点,将语音识别、大语言模型推理、语音合成和知识检索部署在本地,使系统不仅能够执行固定设备控制,还能够处理自然语言交互和设备知识问答。

本项目的设计目标如下:

·         完成一块可连接 ESP32 开发板及多种传感器、显示和执行模块的自研扩展底板。

·         实现温度、湿度、空气质量及人体活动等信息的采集或接口接入,并提供本地显示和网络上报能力。

·         在 MUSE Pi Pro K1 上部署本地语音助手和本地大语言模型,支持语音问答及设备控制。

·         采用 MQTT 建立 K1 与 ESP32 之间的本地消息通信,并通过 OneNET 提供手机端数据展示和远程控制入口。

·         形成可在实际硬件上运行、便于后续扩展和维护的智能家居系统。

二、系统总体架构

系统采用“感知与执行层—ESP32 控制层—K1 本地 AI 与通信层—OneNET 云平台—手机移动端”的分层结构。ESP32 负责底层传感器接口和执行器控制;MUSE Pi Pro K1 负责本地 MQTT 消息管理、语音交互、大模型推理和知识检索;OneNET 负责云端设备数据与移动端交互。

层级

组成

主要职责

感知与执行层

DHT11、MQ135、SR501、OLED、触摸输入、SG90 舵机等

环境数据采集、人体活动检测、状态显示和执行器动作

控制层

ESP32 现成开发板 + 自研扩展底板

GPIO/传感器接口管理、数据采集、MQTT 消息发布与订阅

本地计算层

MUSE Pi Pro K1、Mosquitto、AI Router、llama.cpp、ASR/TTS、RAG

本地语音交互、模型推理、知识检索、设备消息转发与控制

云平台层

OneNET 平台及桥接服务

设备数据同步、远程指令传递和云端连接

用户交互层

OneNET 智能家居手机端界面

环境状态查看、灯光控制、亮度调节和窗帘位置控制

主要数据链路:

·         状态上报:传感器 → ESP32 → 本地 MQTT Broker → OneNET Bridge → OneNET → 手机端展示。

·         手机控制:手机端 → OneNET → K1 侧桥接服务 → 本地 MQTT 控制主题 → ESP32 → 执行器。

·         语音控制:麦克风 → SenseVoice ASR → C++ 语音助手/AI Router → 本地 Agent → MQTT → ESP32。

·         知识问答:用户问题 → AI Router → SQLite FTS5 检索 → 本地模型组织回答;知识检索不替代实时 MQTT 状态读取。

三、硬件系统设计

3.1 硬件组成与设计边界

本项目的自研硬件为 ESP32 开发板扩展底板,而不是 ESP32 芯片或 ESP32 开发板本身。设计时采用现成 ESP32 开发板,通过排针接口插接到扩展底板;扩展底板负责引出主控 GPIO、电源和地线,并为各传感器、显示模块及执行器提供专用连接接口。

这种设计方式保留了现成 ESP32 开发板的 USB 下载、调试和主控功能,同时通过自研 PCB 减少模块之间的零散杜邦线连接,便于系统组装、接口管理和后续功能扩展。

3.2 ESP32 扩展底板原理图设计

扩展底板原理图采用功能分区方式组织接口,主要包括 ESP32 主控排针接口、0.96 英寸 OLED 接口、DHT11 温湿度传感器接口、SR501 人体红外传感器接口、MQ135 空气质量传感器接口、舵机接口、触摸按键输入接口以及预留的指纹模块接口。各模块通过连接器与 ESP32 GPIO、电源和 GND 建立连接。

图 1  ESP32 智能家居扩展底板原理图(KiCad)

原理图中设置了 ESP32 主控的双排接口,便于将现成开发板插装到扩展底板;各外设接口采用独立连接器,降低不同模块之间的接线复杂度。触摸按键在原理图中对应 GPIO4、GPIO5、GPIO6 和 GPIO7。指纹模块接口属于预留扩展接口,当前报告不将其计入已验证功能。

3.3 PCB 布局与布线设计

PCB 使用 KiCad 完成布局与布线。板上设置 ESP32 双排插座区域,并围绕主控布置 OLED、温湿度、人体红外、空气质量、舵机和触摸输入等接口。布局时将主控区域与外设接口区域分开,使各模块能够通过连接器直接接入,便于装配和调试。

图 2  ESP32 扩展底板 PCB 布局与布线(KiCad)

从 PCB 图可以看到,板上采用排针/连接器形式引出模块接口,并完成相应走线。发布项目时建议同时提供 KiCad 工程源文件、原理图、PCB 文件和制造文件,便于其他开发者查看、修改和复用。

3.4 外设模块与接口功能

模块/接口

功能定位

项目中的用途与说明

ESP32 开发板接口

主控与通信

采用现成 ESP32 开发板,负责外设接口管理及 Wi-Fi/MQTT 通信

DHT11

温湿度采集

采集环境温度和相对湿度,并向系统提供状态数据

MQ135

空气质量感知

采集空气质量相关模拟/数字信号;界面显示原始值及等级

SR501

人体红外检测

检测一定范围内的人体活动,为后续联动控制提供输入

0.96 英寸 OLED

本地显示

用于显示环境数据或设备状态

SG90 舵机接口

执行器控制

提供 PWM 控制接口,可用于窗帘位置或其他机械动作演示

触摸按键

本地输入

设置四路触摸输入,对应 GPIO4、GPIO5、GPIO6、GPIO7

指纹模块接口

预留扩展

原理图中预留,尚不作为已验证功能

3.5 扩展底板实物装配

扩展底板完成打样和实物装配后,将 ESP32 开发板插接在 PCB 中央的双排接口位置,并连接温湿度、人体红外、空气质量、OLED 和舵机等外设。PCB 左侧可见触摸输入区域,外围模块通过插接或导线连接到对应接口。该结构使多个功能模块集中在同一块底板上,形成可直接进行系统联调的硬件样机。

图 3  ESP32 自研扩展底板及传感器、显示和舵机模块实物装配

3.6 本地 AI 计算平台:MUSE Pi Pro K1

MUSE Pi Pro K1 作为系统的本地计算与语音交互平台,运行于 RISC-V 64 位环境。K1 与 ESP32 通过局域网 MQTT 通信,并连接 USB 音频外设用于语音输入/输出。K1 并非本项目自研 PCB,而是作为现成边缘计算平台承担本地 AI、消息服务和云端桥接任务。

图 4  MUSE Pi Pro K1 本地计算平台及 USB 音频外设连接

四、软件系统设计

4.1 ESP32 端程序

ESP32 端负责底层外设数据采集和设备控制。传感器数据经 ESP32 处理后,通过 Wi-Fi 接入局域网,向 K1 上运行的 Mosquitto Broker 发布状态消息;接收到控制主题后,ESP32 根据消息内容执行灯光、舵机或其他外设控制。具体的传感器采样周期、ADC 标定系数和执行器行程参数应以实际固件配置为准。

4.2 K1 本地 AI 与语音交互服务

软件/服务

部署位置或技术

作用

本地大语言模型

Qwen3-1.7B-Q8_0 / llama.cpp

在 K1 本地完成自然语言理解与回答生成

AI Router

FastAPI,端口 18080

接收对话请求,按意图分流至 RAG、Agent 或其他服务

MQTT Broker

Mosquitto

管理 ESP32 状态消息和设备控制消息

离线语音识别

Sherpa-ONNX SenseVoice

将麦克风语音转换为文本

语音合成

Sherpa-ONNX Matcha TTS

将文本回答转换为 WAV 音频并通过 USB 音频设备播放

语音助手

C++ 控制程序

唤醒词识别、高频指令匹配和语音交互流程管理

RAG 知识库

SQLite FTS5 + FastAPI

检索设备说明、MQTT 主题、K1 部署和故障排查资料

当前语音助手配置的唤醒词包括“贾维斯”“小助手”“助手”和“智能管家”,具体以当前程序配置为准。用户说出唤醒词后,系统接收语音并进行离线识别,再将识别文本交给本地助手处理。对于设备控制请求,Agent 调用 MQTT 控制工具;对于实时环境查询,系统读取 MQTT 状态缓存;对于设备主题、部署说明等静态知识问题,则由 RAG 检索本地知识库。

4.3 MQTT 主题设计

项目采用主题化消息结构区分设备状态与控制命令。状态主题用于 ESP32 向 K1 或桥接服务上报数据,控制主题用于 K1 或云端桥接服务向 ESP32 下发指令。下表列出当前项目资料中使用的代表性主题。

类型

设备/数据

MQTT Topic

载荷示例/含义

状态

温度

home/temperature/state

例如 27 或 29

状态

湿度

home/humidity/state

例如 55 或 44

状态

空气质量原始值

home/air_quality/raw

例如 192 或 186

状态

空气质量等级

home/air_quality/level

由程序映射的等级值

状态

空气质量状态

home/air_quality/state

系统内部状态值

状态

客厅灯

home/light/state

ON / OFF,以设备上报为准

状态

灯光亮度

home/light/brightness/state

0–100

状态

窗帘位置

home/curtain/state

0–100

状态

ESP32 在线状态

home/esp32/online

在线状态标记

控制

客厅灯开关

home/light/living_room/set

ON / OFF

控制

灯光亮度

home/light/brightness/set

0–100

控制

窗帘位置

home/curtain/set

0 关闭、50 半开、100 打开

本地 Agent 与 K1 上的 Broker 使用本机回环地址通信;ESP32 通过 K1 的局域网监听端口连接。局域网 MQTT 监听配置启用账号认证和 ACL。实际部署时应先确认 K1 当前无线网卡 IP,不要将密码、令牌等凭据写入公开项目报告或源码仓库。

4.4 RAG 本地知识检索

RAG 模块使用 SQLite FTS5 建立本地全文检索索引,通过 FastAPI 提供知识库管理和检索接口。知识内容包括智能家居系统架构、MQTT 主题、语音指令、K1 环境和服务管理等。RAG 主要面向静态知识问答,不保存实时传感器读数,也不直接执行设备控制。

系统对请求进行意图区分:例如“客厅灯的 MQTT 控制主题是什么”属于知识检索问题;“打开客厅灯”属于实际控制请求;“现在湿度多少”属于实时状态查询。这种职责分离能够减少知识库历史内容与设备实时状态混淆的风险。

4.5 OneNET 云平台桥接

系统保留 OneNET 作为手机端远程监测与控制的云平台通道。K1 侧桥接程序负责本地 MQTT 主题与云端设备属性/命令之间的映射。上行方向将温湿度、空气质量、灯光和窗帘等状态同步到云平台;下行方向接收移动端控制请求,再转换为本地 MQTT 控制消息发送给 ESP32。

本项目采用本地 MQTT 与 OneNET 云平台协同的方式:本地语音助手优先通过 K1 的 MQTT 链路控制设备,手机端则通过 OneNET 提供远程访问入口。云端链路依赖网络连接,本地语音与本地 MQTT 的可用性应单独维护。

五、手机移动端界面与功能

项目提供 OneNET 智能家居手机端界面,将家庭环境监测和设备控制集中在同一页面。界面主要包括设备状态、灯光控制和窗帘控制三个功能区域,顶部提供配置入口,设备状态区域提供刷新操作。

图 5  OneNET 智能家居手机端界面示例(截图中的数值为采集时显示值)

5.1 环境与设备状态展示

设备状态卡片显示温度、湿度、空气质量原始值、空气质量等级、灯光开关状态、灯光亮度、窗帘位置和更新时间。用户可通过刷新按钮更新页面状态。截图示例显示温度 27 ℃、湿度 55%、空气质量原始值 192、空气等级“良好”、灯光关闭、亮度 40%、窗帘位置 0%。这些数值仅代表该次截图中的状态,不是系统固定参数。

5.2 灯光控制

灯光控制区域提供“开灯”和“关灯”快捷按钮,并通过滑动条设置亮度百分比。用户可根据实际照明需求调整亮度,移动端控制指令通过 OneNET 和 K1 侧桥接服务转换为本地 MQTT 消息。

5.3 窗帘控制

窗帘控制区域提供位置滑动条及“关闭”“一半”“打开”三个快捷选项。系统采用 0–100 的位置百分比表示窗帘目标位置,其中 0 表示关闭、50 表示半开、100 表示打开。控制指令经云端桥接和 MQTT 传递至 ESP32,由底层执行器完成动作。

六、系统工作流程

6.1 环境数据采集与显示

1.  DHT11、MQ135 等模块采集环境相关信号。

2.  ESP32 对数据进行读取和必要的格式处理。

3.  ESP32 通过 MQTT 发布状态消息。

4.  K1 本地服务接收消息,并由 OneNET Bridge 按映射关系同步至云平台。

5.  手机端读取云端状态并以卡片形式展示;本地语音助手可读取 MQTT 状态缓存进行实时查询。

6.2 本地语音控制

6.  用户通过 USB 麦克风输入语音并说出唤醒词。

7.  SenseVoice 完成离线语音识别,将文本传递给 C++ 语音助手。

8.  AI Router/Agent 判断请求类型,识别设备控制、实时状态查询或静态知识问答。

9.  设备控制请求通过 MQTT 控制主题发送至 ESP32;实时查询读取 MQTT 状态缓存;知识问答调用 RAG。

10. 需要语音播报时,Matcha TTS 将文本生成 WAV,并通过 USB 音频设备播放。

6.3 手机端远程控制

11. 用户在手机端选择灯光开关、亮度或窗帘位置。

12. 控制请求经 OneNET 平台传递至 K1 侧桥接服务。

13. 桥接服务将云端命令映射为本地 MQTT 控制消息。

14. ESP32 接收命令并驱动对应执行器。

15. 设备状态经 MQTT 上报并同步至 OneNET,供手机端刷新查看。

七、系统测试与实现情况

测试项目

当前证据/结果

说明

扩展底板硬件装配

已有原理图、PCB Layout 和实物装配照片

可见 ESP32、DHT11、SR501、MQ135、OLED、舵机及触摸输入区域

K1 本地计算平台

已有 K1 实物连接照片

K1 作为本地 AI、MQTT 和语音服务运行平台

本地 MQTT 通信

本机 127.0.0.1:1883 发布/订阅测试成功

测试主题 k1/diagnostic 收到 MQTT LOCAL OK

本地模型服务

llama-server 与 Qwen3-1.7B-Q8_0 已启动

本地推理接口可返回回答;复杂回答速度受硬件算力影响

AI Router 与 RAG

Router 健康接口可访问,知识库状态正常

RAG 使用 SQLite FTS5;简单主题查询可走快速检索

离线语音链路

启动日志显示 ASR FIFO、C++ 语音助手和 Matcha TTS 初始化

USB 音频设备用于语音输入/输出

手机端界面

已有 OneNET 智能家居手机端截图

可展示环境状态、灯光控制和窗帘控制界面

系统一键启动脚本已完成实际启动验证:脚本能够检查 MQTT Broker,启动本地 llama-server、AI Router、离线 ASR 和 C++ 语音助手,并检查 RAG 接口状态。当前启动方式仍要求 Mosquitto 服务预先处于可用状态;

八、项目创新点与实用价值

·         自主扩展底板设计:采用 KiCad 自主设计 ESP32 开发板扩展底板,将多个传感器、显示和执行器接口集中集成,降低模块连接复杂度。

·         本地 AI 交互:在 MUSE Pi Pro K1 上部署本地大语言模型、离线语音识别和语音合成,使智能家居具备自然语言交互能力。

·         本地与云端协同:以 MQTT 作为本地设备通信机制,结合 OneNET 实现移动端远程监测和控制。

·         多模态交互入口:同时提供本地语音助手和手机端可视化操作,适应不同使用场景。

·         知识检索与设备控制分离:RAG 负责静态知识问答,MQTT 负责实时状态和控制,降低错误调用和信息混淆风险。

·         模块化与可扩展:扩展底板采用连接器形式引出模块接口,便于后续增加传感器、显示设备或执行器。

九、系统运行与散热设计

在本地 AI 大模型部署与推理测试过程中,发现 MUSE Pi Pro K1 在执行模型加载、文本生成及连续语音交互等任务时,处理器需要持续进行大量计算,芯片功耗随之增加,导致开发板温度明显升高。在长时间推理运行时,板载散热能力难以充分满足持续高负载运行的散热需求。

针对这一问题,对系统散热方案进行了优化,在 MUSE Pi Pro K1 上增加散热风扇,通过主动风冷方式加快空气流动,提高处理器及周边器件的热量散发效率。

增加散热风扇后,设备在运行本地大语言模型、执行语音识别和连续对话推理时,发热情况得到明显改善,不再出现此前较为严重的温升现象,系统能够更加稳定地持续运行。

此次散热优化解决了边缘计算平台在本地 AI 推理场景下的实际散热问题,提高了设备长时间运行的稳定性,为后续智能家居语音交互、设备控制和本地 AI 服务的持续运行提供了硬件保障。