基于SpacemiT K1 NPU的智能坐姿监测系统

随着现代办公和学习方式的改变,长时间伏案学习、使用电子设备已成常态,不良坐姿引发颈椎、腰椎、高低肩等多种慢性病。数据显示青少年体态异常率超60%,圆肩60.5%、颈部前倾58.1%、高低肩52.3%。传统机械式坐姿矫正器具束缚身体、佩戴不适感强,学生抗拒使用;普通提醒产品仅物理限位,无法区分不良坐姿轻重程度,误报频发。依靠人工看管成本高,家长与老师无法全天候监督坐姿。缺少坐姿数据记录,无法量化每日

基于SpacemiT K1 NPU的智能坐姿监测系统封面
大菠萝Alpha2026-11-22 20:43:00Unlicense
4
Star

PCBA

设计文件

posture-monitor-source-20261118.zip19.91KB(0次下载)

源代码

详细介绍

一、项目简介

如果你每天伏案超过6小时,大概率对头部前倾、高低肩、驼背这些词不陌生。市面上有坐得端正的提醒App,有带压力传感器的坐垫,也有把画面传上云端做推理的摄像头方案——前两者要么靠自律,要么得换硬件;后者有延迟,还让人对隐私不太放心。

项目目标:不联网、不上传、不依赖任何外部算力,在一块信用卡大小的板子上把整套坐姿检测跑通。最终方案选了MUSE Pi Pro这块板子,搭配一个USB摄像头,系统能力如下:

  • 本地采集:USB摄像头,640×480 MJPG;

  • 本地推理:YOLOv6p5-n检测人体,RTMPose-t估计17个关键点;

  • 本地规则:五类坐姿指标全部在CPU上计算;

  • 本地查看:板端HTTP服务,浏览器打开网页即可看到MJPEG画面、指标和告警;

  • 不依赖云端:断网也能运行。

最核心的一点是:神经网络跑在SoC的AI计算单元上,而不是普通CPU核心上。

K1系列SoC提供约2.0 TOPS@INT8的AI算力——严格说它是Cluster 0的CPU AI扩展指令,并非外挂独立NPU,但社区习惯叫"NPU",本文沿用这个说法。配合Bianbu AI的ONNX Runtime + SpacemiT Execution Provider,检测和姿态两段模型都能交给AI核心执行。

图1:从摄像头到浏览器的完整流水线

普通CPU核心负责采集、预处理、规则和HTTP;Cluster 0的AI核心(口语称NPU)负责两段神经网络。

二、硬件与环境

1. 硬件

项目硬件很精简,就一块板子加一个摄像头:

部件

型号 / 说明

开发板

MUSE Pi Pro,SpacemiT K1系列AI SoC

CPU

8核64位RISC-V,最高1.8GHz

NPU / AI核心

2.0 TOPS@INT8(Cluster 0,NPU)

内存

8GB LPDDR4X

存储

64GB eMMC 5.1

摄像头

USB HIK 720P,UVC免驱

网络

千兆以太网 / WiFi 6

系统

Bianbu 2.3.5,Linux riscv64

板卡只有85mm×56mm,比信用卡还小一圈,接口倒是不含糊——4个USB 3.0、千兆网口、HDMI、MIPI CSI/DSI、40Pin GPIO和M.2扩展都有。不过对这个项目来说,只需要一个USB口接摄像头、一个网口进局域网就够了。

图2:MUSE Pi Pro与USB摄像头连接。

2. 软件环境

板端系统已经自带了本项目需要的运行时,不需要额外安装:

Bianbu 2.3.5 (riscv64)
g++
OpenCV 4(libopencv-dev)
libbianbuai
libspacemit_ep.so.1

模型文件预装在系统路径下:

/usr/share/ai-support/models/yolov6p5_n.q.onnx    # 人体检测
/usr/share/ai-support/models/coco.txt             # 标签
/usr/share/ai-support/models/rtmpose-t.q.onnx     # 姿态估计

其中 .q.onnx 是量化后的ONNX模型。ONNX Runtime + SpacemiT EP 路线——模型仍然是ONNX,由执行提供者(Execution Provider)把可支持的算子调度到AI核心。省掉了模型转换这一步,但也意味着对算子兼容性更敏感。

图3:软件栈

应用通过libbianbuai的Task封装使用ONNX Runtime,最终由SpacemiT EP把网络交给K1的AI核心。

三、功能设计

K1的AI核心只负责它擅长的神经网络算子,采集、图像缩放、NMS、规则判断、HTTP服务仍然由普通CPU核心承担。

1. AI功能

NPU/CPU分工如下:

普通CPU核心:摄像头采集 → 颜色转换/缩放 → 结果后处理 → 五类规则 → 绘制/HTTP
AI核心(Cluster 0):YOLOv6检测网络 → RTMPose姿态网络

AI核心的典型工作是卷积、矩阵乘、激活等NN算子。K1的2.0 TOPS是INT8峰值算力,实际能跑多快取决于模型结构、算子支持程度、输入分辨率、内存带宽和散热。

遇到AI核心不支持的算子,ONNX Runtime会回退到CPU。

2. 模型选择

人体姿态估计有两种常见做法:单阶段模型直接输出所有人的关键点(如YOLO11n-pose),或者先检测人体框、再在框内做姿态估计的两阶段方案。

本项目选了后者,原因很实际:K1的系统模型库里现成就有YOLOv6检测和RTMPose姿态估计这两个量化好的ONNX,拿来就能用,不需要自己转换模型。两阶段的好处是姿态模型只关注人体区域,输入更聚焦,精度和速度都更可控;代价是多了一次模型调用。

3. 用C++调用AI推理

板端没有用Python的 spacemit_ort,而是用 libbianbuai 提供的C++ Task封装。这个选择是踩了N次坑后得出的血泪经验:Python跑RTMPose会段错误,而C++路径稳定。

4. 接入AI推理的

以检测任务为例,核心代码只有几行:

#include "task/vision/object_detection_task.h"
#include "task/vision/pose_estimation_task.h"

constexpr const char* kDetModel =
    "/usr/share/ai-support/models/yolov6p5_n.q.onnx";
constexpr const char* kLabelPath =
    "/usr/share/ai-support/models/coco.txt";
constexpr const char* kPoseModel =
    "/usr/share/ai-support/models/rtmpose-t.q.onnx";

第一步:配置模型路径和线程数。

ObjectDetectionOption det_option;
det_option.model_path = kDetModel;
det_option.label_path = kLabelPath;
det_option.intra_threads_num = 4;
det_option.inter_threads_num = 1;
det_option.score_threshold = 0.30f;
det_option.nms_threshold = 0.45f;
det_option.class_name_whitelist = {0};   // 只保留person

class_name_whitelist = {0} 很关键:COCO里person的类别id是0,只保留这一类可以跳过其余79个类别的后处理,省不少CPU时间。

第二步:创建Task并检查初始化结果。

ObjectDetectionTask detector(det_option);
if (detector.getInitFlag() != 0) {
  std::cerr << "detector init failed\n";
  return 1;
}

初始化失败通常就三类原因:模型路径不对、ONNX Runtime找不到EP,或者模型算子不兼容。先看终端日志,再排查。

第三步:配置姿态Task。

PoseEstimationOption pose_option;
pose_option.model_path = kPoseModel;
pose_option.intra_threads_num = 4;
pose_option.inter_threads_num = 1;

PoseEstimationTask pose(pose_option);
if (pose.getInitFlag() != 0) {
  std::cerr << "pose init failed\n";
  return 1;
}

第四步:在循环里调用 Detect 和 Estimate。

const auto det_result = detector.Detect(frame);

// 选面积最大、置信度足够的person框
bool person = false;
Boxi best;
for (const auto& b : det_result.result_bboxes) {
  if (b.label != 0 || b.score < 0.25f) continue;
  // 裁剪到图像范围内,略
  if (!person || b.area() > best.area()) {
    best = b;
    person = true;
  }
}

if (person && (frame_idx % pose_every == 0)) {
  const auto pose_result = pose.Estimate(frame, best);
  // pose_result.result_points即17个关键点
}

选面积最大的框是个简单但有效的策略——坐在摄像头前的人通常就是画面中最大的目标。

第五步:确认SpacemiT EP打开。

# 不要这样做
export SUPPORT_DISABLE_SPACEMIT_EP=1

这个宏关闭的话会让ONNX Runtime禁用SpacemiT EP,模型静默回退到CPU,表现为"能跑但变慢"。看到 Enable spacemit ep now 才说明EP路径生效。

5. 编译

板端 Makefile 的核心是链接 libbianbuai 和OpenCV:

CXX ?= g++
CXXFLAGS ?= -O2 -std=c++17 -Wall -Wextra -I/usr/include/bianbuai

posture: posture.cpp posture_rules.h
	$(CXX) $(CXXFLAGS) $(shell pkg-config --cflags opencv4) \
	  posture.cpp -o posture \
	  -lbianbuai $(shell pkg-config --libs opencv4) -lpthread

编译:

make -j4

四、SpacemiT EP使用

SpacemiT EP作为K1的ONNX Runtime AI后端。ONNX Runtime负责"怎么执行一张ONNX图",SpacemiT EP负责"哪些节点能在K1的AI计算单元上执行、怎么执行";libbianbuai 则把预处理、Session调用和后处理封装成 Detect / Estimate 两个Task。

其分工如下:

层

主要职责

本项目中的对应文件

应用层

采集、业务规则、HTTP/UI

posture.cpp

Task封装层

预处理、创建Session、调用推理、后处理

ObjectDetectionTask / PoseEstimationTask

推理引擎

加载ONNX、建图、节点分配、执行kernel

libonnxruntime.so.1

执行后端

认领可执行节点,把子图编译/调度到AI核心

libspacemit_ep.so.1

硬件

执行卷积、矩阵乘等NN算子

K1 Cluster 0 AI核心(core 0–3)

应用并不直接写AI指令,也不直接调用驱动,它只调用Task;Task再通过ONNX Runtime的C++ API创建会话并执行模型。

板端 ldd ./posture 可以看到相关动态库:

libbianbuai.so.1
libonnxruntime.so.1
libspacemit_ep.so.1
libspacemit_mpp.so.0

五、坐姿检测实现

姿态模型输出COCO顺序的17个关键点:

0鼻1左眼2右眼3左耳4右耳
5左肩6右肩7左肘8右肘
9左腕10右腕11左髋12右髋
13左膝14右膝15左踝16右踝

置信度低于0.2的关键点视为无效。只有参与某条规则的关键点都有效,这条指标才参与判断,否则显示 n/a。

图5:上半身关键点与五类规则的几何关系。

本项目用RTMPose输出同样的COCO 17点,规则和几何量完全一致。五类规则的公式和阈值如下:

指标

几何量

判定

头部前倾

双耳中点 → 双肩中点,与竖直方向夹角

angle > 25°

高低肩

双肩高度差 / 肩宽

sd / sw > 0.12

驼背

鼻 → 肩中点,水平偏移 / 垂直距离

hx / hy > 0.25

身体倾斜

鼻 → 肩中点,与竖直方向夹角

tilt > 12°

圆肩

手肘相对同侧肩的水平偏移

肘在肩前且 > 50px

核心实现放在 posture_rules.h,不依赖OpenCV:

// 头部前倾:双耳中点到双肩中点的向量与竖直方向的夹角
const float ear_mx = (kps[3].x + kps[4].x) / 2.0f;
const float ear_my = (kps[3].y + kps[4].y) / 2.0f;
const float cx = (kps[5].x + kps[6].x) / 2.0f;
const float cy = (kps[5].y + kps[6].y) / 2.0f;
m.head_angle = angle_from_vertical(ear_mx - cx, ear_my - cy);
m.head = m.head_angle > 25.0f;

// 高低肩:双肩高度差与肩宽的比值
const float sw = std::hypot(kps[5].x - kps[6].x,
                            kps[5].y - kps[6].y);
const float sd = std::abs(kps[5].y - kps[6].y);
m.shoulder = sw > 10.0f && sd / sw > 0.12f;

防抖设计

逐帧判断如果关键点轻微抖动,红色/绿色状态就来回闪,短暂异常画面切换很快导致画面不稳。

本项目做了两层时间处理:

  1. 显示防抖 display:异常状态持续 0.4s 才变红,恢复正常持续 0.8s 才变绿;

  2. 稳定告警 stable:异常持续 3s 才进入 stable_alerts,用于真正的"久坐提醒"。

constexpr float kDisplayOnSec = 0.4f;
constexpr float kDisplayOffSec = 0.8f;

update_display(df_head, metrics.head, kDisplayOnSec, kDisplayOffSec);

六、测试运行

1. 启动

连上开发板和摄像头,上电。

cd ~/posture
./posture 20 5000 --pose-every 2

参数说明:

20摄像头编号(/dev/video20)
5000               HTTP端口
--pose-every 2每2帧做一次姿态估计

如果不确定摄像头编号,省略即可——程序会自动查找名称里带 hik 或 usb 的UVC设备。

启动成功后会看到:

camera index: 20
http port: 5000
capture: 640x480 @ 30fps
Enable spacemit ep now
Enable spacemit ep now

两行 Enable spacemit ep now 分别对应检测模型和姿态模型,说明两个Session都走上了AI核心。

2. 浏览器访问

同一局域网内打开:

http://<板卡IP>:5000/

页面左侧是MJPEG实时画面,右侧是五类指标、当前告警和稳定告警。颜色使用 display 防抖状态,不会因为一两帧关键点抖动而疯狂闪烁。FPS保持在10+,说明性能还是不错的。

图6:坐姿检测

3. 接口

路径

作用

/

中文监测页面

/video

MJPEG视频流

/status

JSON状态

/snapshot

最近一帧标注图

/health

健康检查

/status 的关键字段:

{
  "ok": true,
  "person": true,
  "fps": 11.4,
  "det_ms": 35.9,
  "pose_ms": 58.3,
  "metrics": {
    "head_angle": 10.87,
    "shoulder_ratio": 0.11,
    "hunch_ratio": 0.26,
    "body_tilt": 14.56,
    "rounded_px": 57.0
  },
  "valid": {
    "head": true,
    "shoulder": true,
    "hunch": true,
    "tilt": true,
    "round": true
  },
  "display": {
    "head_forward": false,
    "shoulder_tilt": false,
    "hunchback": true,
    "body_tilt": true,
    "rounded_shoulders": true
  },
  "flags": {
    "head_forward": false,
    "shoulder_tilt": false,
    "hunchback": true,
    "body_tilt": true,
    "rounded_shoulders": true
  },
  "stable_alerts": []
}

七、性能

测试条件:MUSE Pi Pro,640×480 MJPG,USB摄像头,4线程,室内普通光照。

模式

整条流水线FPS

检测耗时

姿态耗时

--pose-every 1

7.6–7.7

35–40ms

43–65ms

--pose-every 2

10.5–11.4

36–38ms

58–64ms

图7:两种姿态抽帧策略的实测对比

几个观察结果:

  • 检测不是瓶颈:YOLOv6p5-n在AI核心上约36ms,跑得很稳;

  • 姿态更吃时间:RTMPose-t约58–64ms,所以 --pose-every 2 对帧率提升明显——从7.6跳到11 FPS,几乎翻倍;

  • 温度可控:持续推理后SoC约56°C,空闲时cluster0/cluster1约39/40°C,没有降频迹象;

  • 数值会波动:场景复杂度、人体框大小、散热条件都会影响结果,表里是实测范围。

本项目用C++ 裸HTTP服务把CPU开销压得更低。说明2 TOPS级别的端侧AI算力,对于单路坐姿检测绰绰有余。

八、踩坑记录

1. Python的 spacemit_ort 跑姿态会崩

最开始尝试Python路线(from rknnlite2 import RKNNLite ),结果 spacemit_ort 跑RTMPose直接段错误。换成C++ 的 libbianbuai Task封装后稳定。如果要在K1上做姿态估计,建议直接走C++ 路径,别在Python上耗时间。

2. 不要禁用SpacemiT EP

export SUPPORT_DISABLE_SPACEMIT_EP=1   # 错误示范

设置后模型静默回退CPU,FPS明显下降,而且日志里不再出现 Enable spacemit ep now。排查性能问题时,先确认这一项没有被误设。

3. 关键点置信度不足

画面里人太小、背对镜头、下半身出框,都会让关键点置信度下降。此时 /status 里 person 可能还是 true,但部分 valid 字段为 false,叠加层显示 n/a。规则只用上半身关键点,所以取景时至少保证头、肩、肘清晰可见。

九、汇总

MUSE Pi Pro / K1

SoC

SpacemiT K1,2.0 TOPS AI CPU扩展

模型格式

量化ONNX(YOLOv6 + RTMPose),直接给ORT

推理框架

ONNX Runtime + SpacemiT EP

应用语言

C++ + OpenCV

显示方式

自建HTTP + MJPEG + JSON API

防抖

display 0.4/0.8s + stable 3s

十、总结

这个项目验证了一件事:一块信用卡大小的RISC-V板卡,完全可以本地跑通"人体检测 + 姿态估计 + 规则判断 + Web展示"的完整链路。K1的AI核心不是噱头,只要模型格式、运行时和执行提供者匹配,检测和姿态两段网络都能稳定跑在Cluster 0上。普通CPU核心则负责它更擅长的采集、后处理和业务逻辑。和Python路线相比,C++ 在K1上更稳、响应更快,但调试门槛也更高——好在 libbianbuai 的Task封装已经把大部分细节藏好了。

后续可以继续做的方向:

  • 用真实坐姿数据微调检测/姿态模型,减少误检;

  • 增加久坐提醒和历史曲线统计;

  • 支持多人检测和主目标跟踪;

  • 加蜂鸣器/语音提醒,做成独立桌面设备;

  • 优化外壳、散热和摄像头支架,做成完整产品原型。

最后感谢华秋开源硬件社区组织的活动!