用 ShiMetaPi Pico G1 搭建隐私优先的边缘 AI 监护终端

基于 ShiMetaPi Pico G1 的隐私优先边缘 AI 监护终端

用 ShiMetaPi Pico G1 搭建隐私优先的边缘 AI 监护终端封面
jf_260558912026-11-15 18:07:42GPL-3.0
4
Star

PCBA

设计文件

fall_monitor.zip5.28MB(0次下载)

详细介绍

用 ShiMetaPi Pico G1 打造隐私优先的边缘 AI 监护终端

摄像头可以让我们远程看到房间里发生了什么,但看护者不一定希望全天观看原始视频。对于居家和小型照护场景,我们更关心几个具体问题:人是否在画面里,是否出现了值得留意的姿态,以及提醒发出后有没有得到处理。

如果直接把“画面里有人躺着”当作跌倒,主动躺卧、弯腰甚至家具都可能触发提示;如果只保留原始视频,又把判断负担留给了屏幕前的人。我们希望把这两件事一起处理:由设备持续观察动作,把值得复核的事件送出来,同时处于隐私考虑,日常画面则尽量少暴露人的外观与生活环境。

于是,我们用 ShiMetaPi Pico G1(128 MB DDR) 和 SmartSens SC465SL 摄像头做了“远望”。YOLO320 负责寻找姿态异常候选,MoveNet 提供人体骨架与运动线索,GK7206 在板端完成推理和事件判断。打开浏览器,首先看到的是骨架;收到提示后,可以在时间线确认或取消,需要进一步查看时再申请短时马赛克预览。

远望的实际页面如下所示。左侧看当前状态,右侧处理事件,下方查看设备健康。

桌面网页端:

手机网页端

接下来,我们从系统总体设计出发,依次介绍双模型量化对齐与帧新鲜度调度、时空融合与隐私交互机制、一键构建与系统集成步骤,最后给出 128 MB 板卡上的实机性能与算法评估结果。


1 项目缘起与系统设计

1.1 场景使用与双模型分工

在实际使用过程中,待摄像头固定后,用户打开设备页面,确认单人全身在画面中。设备持续更新骨架和监测状态,姿态异常进入事件时间线;照护者可以确认或取消提示,也可以通过 MQTT 将事件接入已有的通知系统。同时,系统将覆盖不足、推理中断和设备异常与事件状态分开显示,避免把“没有可靠观测”误解为“没有异常”。

整个过程中,主机不参与实时视觉推理。图像进入 Pico G1 后,由 ISP 和 VPSS 硬件处理并分配给各个支路:一支用于模型分析,一支用于骨架视频,另一支仅在获得授权时生成 JPEG 预览。

下图显示了本系统的分工:

我们选择MoveNet以及Yolo两个模型,是希望它们提供互补的信息。YOLO320 给出姿态候选框,却不能仅凭这个框解释动作过程;MoveNet 输出 17 个人体关键点,可以进一步观察躯干倾斜、人体中心下降和持续低姿态。系统将这些观测组合成两级提醒:姿态异常预警(down_posture),以及有近期运动证据支持的疑似跌倒告警(possible_fall)。

这样,页面上的事件就有了不同含义。姿态异常适合提醒用户进一步查看,疑似跌倒则要求更多证据。我们保留人的确认入口,让设备发现线索、使用者完成处置,而不是要求单个检测分数承担全部判断。

1.2 硬件与内存规划

系统以 ShiMetaPi Pico G1 为核心计算节点,芯片为 GK7206V11A/XM7206V11A,搭配 SC465SL MIPI 摄像头,板端运行 Linux 5.10.130。

在 ShiMetaPi-Pico-G1-128M_DDR 配置下,128 MB 物理内存被划分为两部分:Linux 操作系统使用 32 MiB,媒体专用内存区(MMZ)划拨 96 MiB。这种物理隔离为多路图像采集、缩放与硬件视频编码预留了确定的缓冲区,避免内存碎片影响实时推理。应用源码以 app_sample/fall_monitor 为边界,采集、推理、视频推流和健康采样分工运行,外部网络波动不会阻塞推理主循环。


2 端侧NPU调度

2.1 模型算子切分

MoveNet SinglePose Lightning 使用 192×192 RGB 输入输出 17 个人体关键点。我们保留网络的原始输出头,将关键点解码留在 CPU;YOLO320 也采用相同的分工思路,六个原始输出头交给 CPU 完成 DFL、类别 Sigmoid 和 NMS。这样,NPU 主要计算网络主体,可检查的业务后处理则可以独立调试与验证。

2.2 帧时间优先的单 NPU 调度

两个模型放在同一块 NPU 上,首先要考虑调度。如果把每个摄像头帧都排进推理队列,短时负载就会变成越来越旧的输入。对于监护应用,我们宁愿跳过一部分帧,也要尽量让判断对应当前画面。

本项目采用单一推理线程管理 NPU。MoveNet 以 15 FPS 为目标运行;到达 YOLO 的期限后,再去 VPSS 取一张新的帧,而不是继续使用较早的 MoveNet 输入。代码中的下一次期限从“现在”重新计算,没有补算积压任务:

if (yolo.ready && now >= next_yolo && !atomic_load(&stopping)) {
    next_yolo = now + 1000000u / monitor_yolo_fps;
    double age = 0;
    xmedia_video_frame_info yf = {0};
    if (acquire_latest(&yf, 20, 1, &age)) {

acquire_latest 尝试排掉已积累的旧帧,并拒绝帧龄超过 150 ms 的输入;YOLO 完成后的结果如果已超过 250 ms,也不会进入事件判断。获取不到合适的新帧时,系统记录跳过计数,等待下一次机会。

这种策略也直接影响动作灵敏度。YOLO 实际约 7.4 FPS,两次观测间隔约 135 ms;持续确认要跨越多个观测,负载导致间隔超过 200 ms 时会中断积累。因此,我们把实际频率、过期丢弃和跳过次数一起暴露出来,方便判断瓶颈来自模型还是流水线。

此外,按需人脸检测也由同一线程串行执行,日常骨架监测不常驻计算人脸,马赛克请求最高限频 2 FPS。目前图像转换与输入打包仍在 CPU 完成,后续优化可以优先将这一部分卸载到媒体硬件,而不必先更换更大的模型。


3 时空融合事件决策与隐私优先交互

3.1 运动学特征与两级事件判定

先看一个容易理解的情况:一个人主动躺到床上,与一个人快速失去平衡,最后都可能呈现低姿态。YOLO 的框可以告诉我们“这里有值得关注的姿态”,但要区分动作过程,还需要看看之前发生了什么。

MoveNet 的关键点为此提供了时间线索。我们从高置信度关键点计算肩部与髋部的加权中心($c_y$)、经过画面宽高比修正的躯干角度以及人体包围框宽高比,再观察时间平滑后的中心下降速度($v_y$)。速度按参考人体高度归一化(单位:人体高度/秒),便于比较画面中不同距离下的人体动作:

$$c_y = 0.25 \times \text{shoulder}_y + 0.75 \times \text{hip}_y$$

$$v_y = \frac{\Delta \text{filtered}(c_y)}{\Delta t \times \max(\text{reference_height}, \text{current_height}, 0.12)}$$

状态机依次积累直立、下降、低姿态确认、躺卧和告警状态;一旦有效观测中断超过 300 ms,或出现明显的位置跳变,系统立即重置运动历史,减少将不连续观测拼成一次虚假动作的机会。姿态异常判断流程如下:

在事件决策层,YOLO 候选需要分数至少为 0.7、修正后的宽高比至少为 0.8,同一目标通过 IoU 关联持续 200 ms(间隔不超过 200 ms),才形成一级事件 down_posture(姿态异常)。之后,系统进一步检查新鲜骨架($\le 300$ ms)、候选框与骨架的空间重合($\text{IoU} \ge 0.1$),以及最近 2 秒内的下降、低姿态确认或新进告警运动证据,决定是否产生二级事件 possible_fall(疑似跌倒)。

下面是 fusion.c 中的实际判定片段:

if (d->down && d->spatial_match && d->motion_ms && at >= d->motion_ms &&
    at - d->motion_ms <= 2000 && !d->latched) {
    d->latched = 1;
    d->alert_ms = at;
    d->events++;
    return 1;
}

latched 使同一轮异常在恢复条件满足前不会每帧重复通知。页面中的确认和取消仅记录人的处理结果,不反向篡改检测阈值。由此,算法产生什么证据、设备发布什么事件、用户如何处理,都可以各自保留清晰边界。

3.2 默认骨架脱敏与马赛克预览

处于隐私考虑,我们将人体关键点“骨架”作为默认输出模式:浏览器读取关键点坐标绘制 Canvas,两路公共 RTSP 视频均在硬件层覆盖不透明纯黑背景,普通 MQTT 事件报文也不携带图像。日常查看因此不必持续展示人的面部和房间细节。

需要进一步核实细节时,可在板端运行目录读取设备令牌,再在页面点击“马赛克”并输入密码:

cd /mnt/sdcard/yuanwang_face_20261114
cat admin.token

密码是本机生成的管理凭据,不随运行包分发。授权后,页面获得最长 60 秒的预览租约;点击“骨架”、退出授权或租约到期都会立即结束预览。“原图”拥有独立的授权入口,选择马赛克不会顺带开放原图。

马赛克并不是在上一帧检测框上简单糊一块区域。我们对当前帧运行端侧人脸检测,在独立的 NV21 图像副本上外扩人脸边界,再按 32×32 像素块处理,最后提交给硬件 JPEG 编码。检测结果与图像严格绑定同一个帧 PTS,切换模式还会更新授权代次,丢弃迟到的旧输出。

如果没有可靠人脸、检测结果异常或图像过期,预览强制返回整帧遮挡,绝不会自动退回原图。在新固件的功能检查中,6 次受保护 JPEG 请求全部成功;未登录访问返回 401,马赛克租约期间请求原图返回 403,撤销后预览也返回 403。


4 构建、板端部署与系统集成

4.1 软硬件环境与模型清单

  • 硬件准备:128 MB DDR 版本的 ShiMetaPi Pico G1、SC465SL MIPI 摄像头、用于保存应用和事件日志的 SD 卡,以及供电与网络连接。我们已为板卡 USB 数据口启用 CDC-NCM,同一根 USB 线即可同时供电和联网——Windows 自动识别网卡后,主机取得 10.66.0.2,板端固定为 10.66.0.1。

  • 软件与模型准备:主机侧使用 Pico G1 Linux SDK、SDK 自带的 ARM/uClibc 交叉工具链,以及 GCC、Make、Python 3。在 SDK 根目录构建前,确认以下已转换和验证的模型文件就绪:

模型

工程内路径

用途

MoveNet Lightning

fall_monitor/movenet_lightning.xmm

192×192 RGB 输入,持续输出 17 点骨架

YOLO320

fall_monitor/yolo320.xmm

提供疑似倒卧姿态空间候选

SDK 人脸模型

sample/npu/demo_ai/model/gnn_face_detect_640x360_rgb888hwc_v0103_20251209.bin

授权马赛克预览时按需人脸检测

4.2 交叉编译与板端启停

在 SDK 主机的工程根目录执行构建:

make -C app_sample/fall_monitor \
  BUILD="$PWD/out/fall_face_preview_20261114" all test package

all 生成 ARM 应用,test 运行规则、融合与预览等回归检查,package 将应用、模型和 Web 文件打包为 out/fall_face_preview_20261114/fall_monitor_runtime.tar.gz。将该运行包复制到 SD 卡根目录后,在板端终端执行部署(若更新正在运行的实例,先进入原目录执行 sh control.sh stop):

mkdir -p /mnt/sdcard
grep -q ' /mnt/sdcard ' /proc/mounts || \
  mount -t vfat /dev/mmcblk1p1 /mnt/sdcard

mkdir -p /mnt/sdcard/yuanwang_face_20261114
tar xzf /mnt/sdcard/fall_monitor_runtime.tar.gz \
  -C /mnt/sdcard/yuanwang_face_20261114 --strip-components=1

cd /mnt/sdcard/yuanwang_face_20261114
sh control.sh start
sh control.sh status

运行包中的三个模型分别保存为 data/neuron_network.xmm、data/yolo_fall_320.xmm 和 data/face_detect.bin。control.sh 检查文件后设置启动参数(MoveNet 15 FPS、YOLO 8 FPS,人脸模型等到请求预览时才加载)。status 不仅报告进程 PID,还会读取本机 HTTP 状态;结合 monitor.log 与 npu_errors、frame_errors、osd_errors,即可分清进程状态、模型推理与图像链路是否正常。

4.3 Web 控制台、双路 RTSP 与状态接口

NCM 驱动随系统自动启动,通过 USB 连接时在浏览器打开 [http://10.66.0.1:8080](http://10.66.0.1:8080)(以太网当前实测 DHCP 地址为 [http://192.168.5.195:8080](http://192.168.5.195:8080))。页面下方实时显示监测频率、推理耗时和处理时延,设备卡片显示温度、内存与 MQTT 状态。

设备同时输出两路不透明背景的骨架 H.264 RTSP 流(分别为 1280×720 与 640×360):

rtsp://10.66.0.1:554/livestream/0
rtsp://10.66.0.1:554/livestream/1

在板端或脚本中,可通过以下接口读取结构化实时指标(如 ai_fps、yolo.fps、source_to_pose_ms):

wget -q -O - http://127.0.0.1:8080/status

4.4 MQTT 事件接入与断网续传

如需在其他终端接收告警通知,可在应用同目录创建 mqtt.conf并重启应用:

host=BROKER_IP
port=1883
username=DEVICE_USER
password=DEVICE_PASSWORD
device=pico-g1
sh control.sh stop
sh control.sh start

客户端订阅以下两个主题即可接收设备状态与分级事件(事件报文含 id、revision、type 和 status 字段,用户在页面确认或取消后会产生同一事件的新修订,下游按 (id, revision) 去重):

shimetapi/pico-g1/pico-g1/status
shimetapi/pico-g1/pico-g1/events

发送采用 MQTT QoS 1。设备先把事件修订写入追加日志,收到 PUBACK 后推进发送游标;网络断开时保留待发送记录,应用重启后自动续传。


5 实机性能表现、算法评估

5.1 实机性能表现

我们在双模型推理、事件判断和两路骨架视频同时工作的全负载条件下,记录了一个 59.81 秒的连续运行窗口(共采样 240 次状态)。MoveNet 实际运行于 14.81 FPS,YOLO320 达到 7.41 FPS,两路视频流分别稳定在 22.22 FPS:

端侧处理环节

平均耗时

P95 尾延迟

MoveNet NPU 调用

18.90 ms

22.70 ms

YOLO320 NPU 调用

17.51 ms

20.13 ms

YOLO320 预处理

16.67 ms

19.21 ms

YOLO320 CPU 解码

0.85 ms

1.03 ms

源帧至姿态输出

110.27 ms

121.73 ms

整段测试窗口内,npu_errors、frame_errors 与 osd_errors 计数增量均为 0。主进程峰值物理内存(RSS)仅为 3,624 KiB,媒体专用 MMZ 占用为 69,684 / 98,304 KiB。在 2026 年 11 月 14 日集成授权马赛克与 USB 网络的最新固件功能检查中,单次采样保持 AI 14.76 FPS、处理时延 103.18 ms,完整开启并撤销人脸预览后进程峰值 RSS 稳定在 4,836 KiB。

视频传输侧,通过骨架 OSD 硬件时间码与主机解码帧比对,去掉首屏建立前 30 帧后,720p 稳态中位延迟为 110.77 ms(P95 为 156.19 ms),360p 稳态中位延迟为 112.95 ms(P95 为 157.49 ms),首次打开 RTSP 建立时间约 1.3 秒。设备健康看板每 5 秒轮询 /proc/temperature 刷新温度缓存(异常时返回“不可用”而不显示伪正常值);NCM 内核固件也完成了 Flash 回读校验、冷启动自动加载以及 USB/以太网各 1 MiB 双向传输验证。

5.2 分级检测效果

早期评估中,初始冻结的 MoveNet 配合旧规则在公开 UR Fall 数据集(30 个跌倒与 40 个日常活动序列)上未能检出任何跌倒序列(0/30),促使我们引入 YOLO 候选与动作时序融合。随后,我们在 24 个内部留出序列(10 个跌倒、14 个日常活动,共 2,043 帧)上按目标 8 FPS 期限进行量化参考评估:一级姿态异常预警覆盖了 8/10 个跌倒序列(召回率 80.00%),正常活动中有 4/14 个序列误报;加入运动与空间约束后,二级疑似跌倒告警将正常活动误报序列从 4 个压降至 1 个(精确率提升至 75.00%,对应严格门限下 3/10 的检出)。

公开数据测试情况:

实际使用情况:

移动端显示:

5.3 项目总结与后续优化

至此,一条从 SC465SL 图像输入、双模型 NPU 推理、板端时空事件判断,到骨架视频、Web 处置和 MQTT 通知的完整闭环已在 Pico G1 上稳定运行。在 128 MB 有限内存下,系统证明了边缘芯片不仅能跑通视觉模型,还能自主完成隐私脱敏隔离、新鲜度调度与断网事件持久化。

当前结果也为下一阶段迭代指明了清晰优先级:

  1. 模型与困难负样本优化:补充床铺家具、主动躺卧与局部遮挡等困难负样本,提升倒卧关键点可靠性与小目标校准覆盖,改善 8 FPS 严格分支下的漏报。

  2. 独立基准与精细时延评测:建立跨人物、跨真实家居场景的独立测试集并补充逐帧跌倒起点标注,精确测量从“物理跌倒发生”到“系统发出告警”的业务延迟。

  3. 预处理卸载与长稳功耗测试:将 YOLO CPU 预处理(16.67 ms)卸载至芯片硬件以释放算力,并补齐 7×24 小时跨昼夜长稳、整机功耗与低照度专项对照测试。

参考资料