用 ShiMetaPi Pico G1 打造隐私优先的边缘 AI 监护终端
摄像头可以让我们远程看到房间里发生了什么,但看护者不一定希望全天观看原始视频。对于居家和小型照护场景,我们更关心几个具体问题:人是否在画面里,是否出现了值得留意的姿态,以及提醒发出后有没有得到处理。
如果直接把“画面里有人躺着”当作跌倒,主动躺卧、弯腰甚至家具都可能触发提示;如果只保留原始视频,又把判断负担留给了屏幕前的人。我们希望把这两件事一起处理:由设备持续观察动作,把值得复核的事件送出来,同时处于隐私考虑,日常画面则尽量少暴露人的外观与生活环境。
于是,我们用 ShiMetaPi Pico G1(128 MB DDR) 和 SmartSens SC465SL 摄像头做了“远望”。YOLO320 负责寻找姿态异常候选,MoveNet 提供人体骨架与运动线索,GK7206 在板端完成推理和事件判断。打开浏览器,首先看到的是骨架;收到提示后,可以在时间线确认或取消,需要进一步查看时再申请短时马赛克预览。
远望的实际页面如下所示。左侧看当前状态,右侧处理事件,下方查看设备健康。
桌面网页端:

手机网页端


接下来,我们从系统总体设计出发,依次介绍双模型量化对齐与帧新鲜度调度、时空融合与隐私交互机制、一键构建与系统集成步骤,最后给出 128 MB 板卡上的实机性能与算法评估结果。
1 项目缘起与系统设计
1.1 场景使用与双模型分工
在实际使用过程中,待摄像头固定后,用户打开设备页面,确认单人全身在画面中。设备持续更新骨架和监测状态,姿态异常进入事件时间线;照护者可以确认或取消提示,也可以通过 MQTT 将事件接入已有的通知系统。同时,系统将覆盖不足、推理中断和设备异常与事件状态分开显示,避免把“没有可靠观测”误解为“没有异常”。
整个过程中,主机不参与实时视觉推理。图像进入 Pico G1 后,由 ISP 和 VPSS 硬件处理并分配给各个支路:一支用于模型分析,一支用于骨架视频,另一支仅在获得授权时生成 JPEG 预览。
下图显示了本系统的分工:

我们选择MoveNet以及Yolo两个模型,是希望它们提供互补的信息。YOLO320 给出姿态候选框,却不能仅凭这个框解释动作过程;MoveNet 输出 17 个人体关键点,可以进一步观察躯干倾斜、人体中心下降和持续低姿态。系统将这些观测组合成两级提醒:姿态异常预警(down_posture),以及有近期运动证据支持的疑似跌倒告警(possible_fall)。
这样,页面上的事件就有了不同含义。姿态异常适合提醒用户进一步查看,疑似跌倒则要求更多证据。我们保留人的确认入口,让设备发现线索、使用者完成处置,而不是要求单个检测分数承担全部判断。
1.2 硬件与内存规划
系统以 ShiMetaPi Pico G1 为核心计算节点,芯片为 GK7206V11A/XM7206V11A,搭配 SC465SL MIPI 摄像头,板端运行 Linux 5.10.130。
在 ShiMetaPi-Pico-G1-128M_DDR 配置下,128 MB 物理内存被划分为两部分:Linux 操作系统使用 32 MiB,媒体专用内存区(MMZ)划拨 96 MiB。这种物理隔离为多路图像采集、缩放与硬件视频编码预留了确定的缓冲区,避免内存碎片影响实时推理。应用源码以 app_sample/fall_monitor 为边界,采集、推理、视频推流和健康采样分工运行,外部网络波动不会阻塞推理主循环。

2 端侧NPU调度
2.1 模型算子切分
MoveNet SinglePose Lightning 使用 192×192 RGB 输入输出 17 个人体关键点。我们保留网络的原始输出头,将关键点解码留在 CPU;YOLO320 也采用相同的分工思路,六个原始输出头交给 CPU 完成 DFL、类别 Sigmoid 和 NMS。这样,NPU 主要计算网络主体,可检查的业务后处理则可以独立调试与验证。
2.2 帧时间优先的单 NPU 调度
两个模型放在同一块 NPU 上,首先要考虑调度。如果把每个摄像头帧都排进推理队列,短时负载就会变成越来越旧的输入。对于监护应用,我们宁愿跳过一部分帧,也要尽量让判断对应当前画面。
本项目采用单一推理线程管理 NPU。MoveNet 以 15 FPS 为目标运行;到达 YOLO 的期限后,再去 VPSS 取一张新的帧,而不是继续使用较早的 MoveNet 输入。代码中的下一次期限从“现在”重新计算,没有补算积压任务:
if (yolo.ready && now >= next_yolo && !atomic_load(&stopping)) {
next_yolo = now + 1000000u / monitor_yolo_fps;
double age = 0;
xmedia_video_frame_info yf = {0};
if (acquire_latest(&yf, 20, 1, &age)) {
acquire_latest 尝试排掉已积累的旧帧,并拒绝帧龄超过 150 ms 的输入;YOLO 完成后的结果如果已超过 250 ms,也不会进入事件判断。获取不到合适的新帧时,系统记录跳过计数,等待下一次机会。
这种策略也直接影响动作灵敏度。YOLO 实际约 7.4 FPS,两次观测间隔约 135 ms;持续确认要跨越多个观测,负载导致间隔超过 200 ms 时会中断积累。因此,我们把实际频率、过期丢弃和跳过次数一起暴露出来,方便判断瓶颈来自模型还是流水线。
此外,按需人脸检测也由同一线程串行执行,日常骨架监测不常驻计算人脸,马赛克请求最高限频 2 FPS。目前图像转换与输入打包仍在 CPU 完成,后续优化可以优先将这一部分卸载到媒体硬件,而不必先更换更大的模型。
3 时空融合事件决策与隐私优先交互
3.1 运动学特征与两级事件判定
先看一个容易理解的情况:一个人主动躺到床上,与一个人快速失去平衡,最后都可能呈现低姿态。YOLO 的框可以告诉我们“这里有值得关注的姿态”,但要区分动作过程,还需要看看之前发生了什么。
MoveNet 的关键点为此提供了时间线索。我们从高置信度关键点计算肩部与髋部的加权中心($c_y$)、经过画面宽高比修正的躯干角度以及人体包围框宽高比,再观察时间平滑后的中心下降速度($v_y$)。速度按参考人体高度归一化(单位:人体高度/秒),便于比较画面中不同距离下的人体动作:
$$c_y = 0.25 \times \text{shoulder}_y + 0.75 \times \text{hip}_y$$
$$v_y = \frac{\Delta \text{filtered}(c_y)}{\Delta t \times \max(\text{reference_height}, \text{current_height}, 0.12)}$$
状态机依次积累直立、下降、低姿态确认、躺卧和告警状态;一旦有效观测中断超过 300 ms,或出现明显的位置跳变,系统立即重置运动历史,减少将不连续观测拼成一次虚假动作的机会。姿态异常判断流程如下:

在事件决策层,YOLO 候选需要分数至少为 0.7、修正后的宽高比至少为 0.8,同一目标通过 IoU 关联持续 200 ms(间隔不超过 200 ms),才形成一级事件 down_posture(姿态异常)。之后,系统进一步检查新鲜骨架($\le 300$ ms)、候选框与骨架的空间重合($\text{IoU} \ge 0.1$),以及最近 2 秒内的下降、低姿态确认或新进告警运动证据,决定是否产生二级事件 possible_fall(疑似跌倒)。
下面是 fusion.c 中的实际判定片段:
if (d->down && d->spatial_match && d->motion_ms && at >= d->motion_ms &&
at - d->motion_ms <= 2000 && !d->latched) {
d->latched = 1;
d->alert_ms = at;
d->events++;
return 1;
}
latched 使同一轮异常在恢复条件满足前不会每帧重复通知。页面中的确认和取消仅记录人的处理结果,不反向篡改检测阈值。由此,算法产生什么证据、设备发布什么事件、用户如何处理,都可以各自保留清晰边界。
3.2 默认骨架脱敏与马赛克预览
处于隐私考虑,我们将人体关键点“骨架”作为默认输出模式:浏览器读取关键点坐标绘制 Canvas,两路公共 RTSP 视频均在硬件层覆盖不透明纯黑背景,普通 MQTT 事件报文也不携带图像。日常查看因此不必持续展示人的面部和房间细节。
需要进一步核实细节时,可在板端运行目录读取设备令牌,再在页面点击“马赛克”并输入密码:
cd /mnt/sdcard/yuanwang_face_20261114
cat admin.token
密码是本机生成的管理凭据,不随运行包分发。授权后,页面获得最长 60 秒的预览租约;点击“骨架”、退出授权或租约到期都会立即结束预览。“原图”拥有独立的授权入口,选择马赛克不会顺带开放原图。
马赛克并不是在上一帧检测框上简单糊一块区域。我们对当前帧运行端侧人脸检测,在独立的 NV21 图像副本上外扩人脸边界,再按 32×32 像素块处理,最后提交给硬件 JPEG 编码。检测结果与图像严格绑定同一个帧 PTS,切换模式还会更新授权代次,丢弃迟到的旧输出。
如果没有可靠人脸、检测结果异常或图像过期,预览强制返回整帧遮挡,绝不会自动退回原图。在新固件的功能检查中,6 次受保护 JPEG 请求全部成功;未登录访问返回 401,马赛克租约期间请求原图返回 403,撤销后预览也返回 403。
4 构建、板端部署与系统集成
4.1 软硬件环境与模型清单
硬件准备:128 MB DDR 版本的 ShiMetaPi Pico G1、SC465SL MIPI 摄像头、用于保存应用和事件日志的 SD 卡,以及供电与网络连接。我们已为板卡 USB 数据口启用 CDC-NCM,同一根 USB 线即可同时供电和联网——Windows 自动识别网卡后,主机取得
10.66.0.2,板端固定为10.66.0.1。软件与模型准备:主机侧使用 Pico G1 Linux SDK、SDK 自带的 ARM/uClibc 交叉工具链,以及 GCC、Make、Python 3。在 SDK 根目录构建前,确认以下已转换和验证的模型文件就绪:
模型 | 工程内路径 | 用途 |
|---|---|---|
MoveNet Lightning |
|
|
YOLO320 |
| 提供疑似倒卧姿态空间候选 |
SDK 人脸模型 |
| 授权马赛克预览时按需人脸检测 |
4.2 交叉编译与板端启停
在 SDK 主机的工程根目录执行构建:
make -C app_sample/fall_monitor \
BUILD="$PWD/out/fall_face_preview_20261114" all test package
all 生成 ARM 应用,test 运行规则、融合与预览等回归检查,package 将应用、模型和 Web 文件打包为 out/fall_face_preview_20261114/fall_monitor_runtime.tar.gz。将该运行包复制到 SD 卡根目录后,在板端终端执行部署(若更新正在运行的实例,先进入原目录执行 sh control.sh stop):
mkdir -p /mnt/sdcard
grep -q ' /mnt/sdcard ' /proc/mounts || \
mount -t vfat /dev/mmcblk1p1 /mnt/sdcard
mkdir -p /mnt/sdcard/yuanwang_face_20261114
tar xzf /mnt/sdcard/fall_monitor_runtime.tar.gz \
-C /mnt/sdcard/yuanwang_face_20261114 --strip-components=1
cd /mnt/sdcard/yuanwang_face_20261114
sh control.sh start
sh control.sh status
运行包中的三个模型分别保存为 data/neuron_network.xmm、data/yolo_fall_320.xmm 和 data/face_detect.bin。control.sh 检查文件后设置启动参数(MoveNet 15 FPS、YOLO 8 FPS,人脸模型等到请求预览时才加载)。status 不仅报告进程 PID,还会读取本机 HTTP 状态;结合 monitor.log 与 npu_errors、frame_errors、osd_errors,即可分清进程状态、模型推理与图像链路是否正常。
4.3 Web 控制台、双路 RTSP 与状态接口
NCM 驱动随系统自动启动,通过 USB 连接时在浏览器打开 [http://10.66.0.1:8080](http://10.66.0.1:8080)(以太网当前实测 DHCP 地址为 [http://192.168.5.195:8080](http://192.168.5.195:8080))。页面下方实时显示监测频率、推理耗时和处理时延,设备卡片显示温度、内存与 MQTT 状态。
设备同时输出两路不透明背景的骨架 H.264 RTSP 流(分别为 1280×720 与 640×360):
rtsp://10.66.0.1:554/livestream/0
rtsp://10.66.0.1:554/livestream/1
在板端或脚本中,可通过以下接口读取结构化实时指标(如 ai_fps、yolo.fps、source_to_pose_ms):
wget -q -O - http://127.0.0.1:8080/status
4.4 MQTT 事件接入与断网续传
如需在其他终端接收告警通知,可在应用同目录创建 mqtt.conf并重启应用:
host=BROKER_IP
port=1883
username=DEVICE_USER
password=DEVICE_PASSWORD
device=pico-g1
sh control.sh stop
sh control.sh start
客户端订阅以下两个主题即可接收设备状态与分级事件(事件报文含 id、revision、type 和 status 字段,用户在页面确认或取消后会产生同一事件的新修订,下游按 (id, revision) 去重):
shimetapi/pico-g1/pico-g1/status
shimetapi/pico-g1/pico-g1/events
发送采用 MQTT QoS 1。设备先把事件修订写入追加日志,收到 PUBACK 后推进发送游标;网络断开时保留待发送记录,应用重启后自动续传。
5 实机性能表现、算法评估
5.1 实机性能表现
我们在双模型推理、事件判断和两路骨架视频同时工作的全负载条件下,记录了一个 59.81 秒的连续运行窗口(共采样 240 次状态)。MoveNet 实际运行于 14.81 FPS,YOLO320 达到 7.41 FPS,两路视频流分别稳定在 22.22 FPS:
端侧处理环节 | 平均耗时 | P95 尾延迟 |
|---|---|---|
MoveNet NPU 调用 | 18.90 ms | 22.70 ms |
YOLO320 NPU 调用 | 17.51 ms | 20.13 ms |
YOLO320 预处理 | 16.67 ms | 19.21 ms |
YOLO320 CPU 解码 | 0.85 ms | 1.03 ms |
源帧至姿态输出 | 110.27 ms | 121.73 ms |
整段测试窗口内,npu_errors、frame_errors 与 osd_errors 计数增量均为 0。主进程峰值物理内存(RSS)仅为 3,624 KiB,媒体专用 MMZ 占用为 69,684 / 98,304 KiB。在 2026 年 11 月 14 日集成授权马赛克与 USB 网络的最新固件功能检查中,单次采样保持 AI 14.76 FPS、处理时延 103.18 ms,完整开启并撤销人脸预览后进程峰值 RSS 稳定在 4,836 KiB。
视频传输侧,通过骨架 OSD 硬件时间码与主机解码帧比对,去掉首屏建立前 30 帧后,720p 稳态中位延迟为 110.77 ms(P95 为 156.19 ms),360p 稳态中位延迟为 112.95 ms(P95 为 157.49 ms),首次打开 RTSP 建立时间约 1.3 秒。设备健康看板每 5 秒轮询 /proc/temperature 刷新温度缓存(异常时返回“不可用”而不显示伪正常值);NCM 内核固件也完成了 Flash 回读校验、冷启动自动加载以及 USB/以太网各 1 MiB 双向传输验证。
5.2 分级检测效果
早期评估中,初始冻结的 MoveNet 配合旧规则在公开 UR Fall 数据集(30 个跌倒与 40 个日常活动序列)上未能检出任何跌倒序列(0/30),促使我们引入 YOLO 候选与动作时序融合。随后,我们在 24 个内部留出序列(10 个跌倒、14 个日常活动,共 2,043 帧)上按目标 8 FPS 期限进行量化参考评估:一级姿态异常预警覆盖了 8/10 个跌倒序列(召回率 80.00%),正常活动中有 4/14 个序列误报;加入运动与空间约束后,二级疑似跌倒告警将正常活动误报序列从 4 个压降至 1 个(精确率提升至 75.00%,对应严格门限下 3/10 的检出)。
公开数据测试情况:


实际使用情况:
移动端显示:
5.3 项目总结与后续优化
至此,一条从 SC465SL 图像输入、双模型 NPU 推理、板端时空事件判断,到骨架视频、Web 处置和 MQTT 通知的完整闭环已在 Pico G1 上稳定运行。在 128 MB 有限内存下,系统证明了边缘芯片不仅能跑通视觉模型,还能自主完成隐私脱敏隔离、新鲜度调度与断网事件持久化。
当前结果也为下一阶段迭代指明了清晰优先级:
模型与困难负样本优化:补充床铺家具、主动躺卧与局部遮挡等困难负样本,提升倒卧关键点可靠性与小目标校准覆盖,改善 8 FPS 严格分支下的漏报。
独立基准与精细时延评测:建立跨人物、跨真实家居场景的独立测试集并补充逐帧跌倒起点标注,精确测量从“物理跌倒发生”到“系统发出告警”的业务延迟。
预处理卸载与长稳功耗测试:将 YOLO CPU 预处理(16.67 ms)卸载至芯片硬件以释放算力,并补齐 7×24 小时跨昼夜长稳、整机功耗与低照度专项对照测试。
参考资料[R1] TensorFlow 官方 MoveNet 文档:https://www.tensorflow.org/hub/tutorials/movenet
[R2] University of Rzeszów,UR Fall Detection Dataset:https://www.fenix.ur.edu.pl/~mkepski/ds/uf.html
