一、项目简介
如果你每天伏案超过6小时,大概率对头部前倾、高低肩、驼背这些词不陌生。市面上有坐得端正的提醒App,有带压力传感器的坐垫,也有把画面传上云端做推理的摄像头方案——前两者要么靠自律,要么得换硬件;后者有延迟,还让人对隐私不太放心。
项目目标:不联网、不上传、不依赖任何外部算力,在一块信用卡大小的板子上把整套坐姿检测跑通。最终方案选了MUSE Pi Pro这块板子,搭配一个USB摄像头,系统能力如下:
本地采集:USB摄像头,640×480 MJPG;
本地推理:YOLOv6p5-n检测人体,RTMPose-t估计17个关键点;
本地规则:五类坐姿指标全部在CPU上计算;
本地查看:板端HTTP服务,浏览器打开网页即可看到MJPEG画面、指标和告警;
不依赖云端:断网也能运行。
最核心的一点是:神经网络跑在SoC的AI计算单元上,而不是普通CPU核心上。
K1系列SoC提供约2.0 TOPS@INT8的AI算力——严格说它是Cluster 0的CPU AI扩展指令,并非外挂独立NPU,但社区习惯叫"NPU",本文沿用这个说法。配合Bianbu AI的ONNX Runtime + SpacemiT Execution Provider,检测和姿态两段模型都能交给AI核心执行。

图1:从摄像头到浏览器的完整流水线
普通CPU核心负责采集、预处理、规则和HTTP;Cluster 0的AI核心(口语称NPU)负责两段神经网络。
二、硬件与环境
1. 硬件
项目硬件很精简,就一块板子加一个摄像头:
部件 | 型号 / 说明 |
|---|---|
开发板 | MUSE Pi Pro,SpacemiT K1系列AI SoC |
CPU | 8核64位RISC-V,最高1.8GHz |
NPU / AI核心 | 2.0 TOPS@INT8(Cluster 0,NPU) |
内存 | 8GB LPDDR4X |
存储 | 64GB eMMC 5.1 |
摄像头 | USB HIK 720P,UVC免驱 |
网络 | 千兆以太网 / WiFi 6 |
系统 | Bianbu 2.3.5,Linux riscv64 |
板卡只有85mm×56mm,比信用卡还小一圈,接口倒是不含糊——4个USB 3.0、千兆网口、HDMI、MIPI CSI/DSI、40Pin GPIO和M.2扩展都有。不过对这个项目来说,只需要一个USB口接摄像头、一个网口进局域网就够了。

图2:MUSE Pi Pro与USB摄像头连接。
2. 软件环境
板端系统已经自带了本项目需要的运行时,不需要额外安装:
Bianbu 2.3.5 (riscv64)
g++
OpenCV 4(libopencv-dev)
libbianbuai
libspacemit_ep.so.1模型文件预装在系统路径下:
/usr/share/ai-support/models/yolov6p5_n.q.onnx # 人体检测
/usr/share/ai-support/models/coco.txt # 标签
/usr/share/ai-support/models/rtmpose-t.q.onnx # 姿态估计其中 .q.onnx 是量化后的ONNX模型。ONNX Runtime + SpacemiT EP 路线——模型仍然是ONNX,由执行提供者(Execution Provider)把可支持的算子调度到AI核心。省掉了模型转换这一步,但也意味着对算子兼容性更敏感。

图3:软件栈
应用通过libbianbuai的Task封装使用ONNX Runtime,最终由SpacemiT EP把网络交给K1的AI核心。
三、功能设计
K1的AI核心只负责它擅长的神经网络算子,采集、图像缩放、NMS、规则判断、HTTP服务仍然由普通CPU核心承担。
1. AI功能
NPU/CPU分工如下:
普通CPU核心:摄像头采集 → 颜色转换/缩放 → 结果后处理 → 五类规则 → 绘制/HTTP
AI核心(Cluster 0):YOLOv6检测网络 → RTMPose姿态网络AI核心的典型工作是卷积、矩阵乘、激活等NN算子。K1的2.0 TOPS是INT8峰值算力,实际能跑多快取决于模型结构、算子支持程度、输入分辨率、内存带宽和散热。
遇到AI核心不支持的算子,ONNX Runtime会回退到CPU。
2. 模型选择
人体姿态估计有两种常见做法:单阶段模型直接输出所有人的关键点(如YOLO11n-pose),或者先检测人体框、再在框内做姿态估计的两阶段方案。
本项目选了后者,原因很实际:K1的系统模型库里现成就有YOLOv6检测和RTMPose姿态估计这两个量化好的ONNX,拿来就能用,不需要自己转换模型。两阶段的好处是姿态模型只关注人体区域,输入更聚焦,精度和速度都更可控;代价是多了一次模型调用。
3. 用C++调用AI推理
板端没有用Python的 spacemit_ort,而是用 libbianbuai 提供的C++ Task封装。这个选择是踩了N次坑后得出的血泪经验:Python跑RTMPose会段错误,而C++路径稳定。
4. 接入AI推理的
以检测任务为例,核心代码只有几行:
#include "task/vision/object_detection_task.h"
#include "task/vision/pose_estimation_task.h"
constexpr const char* kDetModel =
"/usr/share/ai-support/models/yolov6p5_n.q.onnx";
constexpr const char* kLabelPath =
"/usr/share/ai-support/models/coco.txt";
constexpr const char* kPoseModel =
"/usr/share/ai-support/models/rtmpose-t.q.onnx";第一步:配置模型路径和线程数。
ObjectDetectionOption det_option;
det_option.model_path = kDetModel;
det_option.label_path = kLabelPath;
det_option.intra_threads_num = 4;
det_option.inter_threads_num = 1;
det_option.score_threshold = 0.30f;
det_option.nms_threshold = 0.45f;
det_option.class_name_whitelist = {0}; // 只保留personclass_name_whitelist = {0} 很关键:COCO里person的类别id是0,只保留这一类可以跳过其余79个类别的后处理,省不少CPU时间。
第二步:创建Task并检查初始化结果。
ObjectDetectionTask detector(det_option);
if (detector.getInitFlag() != 0) {
std::cerr << "detector init failed\n";
return 1;
}初始化失败通常就三类原因:模型路径不对、ONNX Runtime找不到EP,或者模型算子不兼容。先看终端日志,再排查。
第三步:配置姿态Task。
PoseEstimationOption pose_option;
pose_option.model_path = kPoseModel;
pose_option.intra_threads_num = 4;
pose_option.inter_threads_num = 1;
PoseEstimationTask pose(pose_option);
if (pose.getInitFlag() != 0) {
std::cerr << "pose init failed\n";
return 1;
}第四步:在循环里调用 Detect 和 Estimate。
const auto det_result = detector.Detect(frame);
// 选面积最大、置信度足够的person框
bool person = false;
Boxi best;
for (const auto& b : det_result.result_bboxes) {
if (b.label != 0 || b.score < 0.25f) continue;
// 裁剪到图像范围内,略
if (!person || b.area() > best.area()) {
best = b;
person = true;
}
}
if (person && (frame_idx % pose_every == 0)) {
const auto pose_result = pose.Estimate(frame, best);
// pose_result.result_points即17个关键点
}选面积最大的框是个简单但有效的策略——坐在摄像头前的人通常就是画面中最大的目标。
第五步:确认SpacemiT EP打开。
# 不要这样做
export SUPPORT_DISABLE_SPACEMIT_EP=1这个宏关闭的话会让ONNX Runtime禁用SpacemiT EP,模型静默回退到CPU,表现为"能跑但变慢"。看到 Enable spacemit ep now 才说明EP路径生效。
5. 编译
板端 Makefile 的核心是链接 libbianbuai 和OpenCV:
CXX ?= g++
CXXFLAGS ?= -O2 -std=c++17 -Wall -Wextra -I/usr/include/bianbuai
posture: posture.cpp posture_rules.h
$(CXX) $(CXXFLAGS) $(shell pkg-config --cflags opencv4) \
posture.cpp -o posture \
-lbianbuai $(shell pkg-config --libs opencv4) -lpthread编译:
make -j4四、SpacemiT EP使用
SpacemiT EP作为K1的ONNX Runtime AI后端。ONNX Runtime负责"怎么执行一张ONNX图",SpacemiT EP负责"哪些节点能在K1的AI计算单元上执行、怎么执行";libbianbuai 则把预处理、Session调用和后处理封装成 Detect / Estimate 两个Task。

其分工如下:
层 | 主要职责 | 本项目中的对应文件 |
|---|---|---|
应用层 | 采集、业务规则、HTTP/UI |
|
Task封装层 | 预处理、创建Session、调用推理、后处理 |
|
推理引擎 | 加载ONNX、建图、节点分配、执行kernel |
|
执行后端 | 认领可执行节点,把子图编译/调度到AI核心 |
|
硬件 | 执行卷积、矩阵乘等NN算子 | K1 Cluster 0 AI核心(core 0–3) |
应用并不直接写AI指令,也不直接调用驱动,它只调用Task;Task再通过ONNX Runtime的C++ API创建会话并执行模型。
板端 ldd ./posture 可以看到相关动态库:
libbianbuai.so.1
libonnxruntime.so.1
libspacemit_ep.so.1
libspacemit_mpp.so.0五、坐姿检测实现
姿态模型输出COCO顺序的17个关键点:
0鼻1左眼2右眼3左耳4右耳
5左肩6右肩7左肘8右肘
9左腕10右腕11左髋12右髋
13左膝14右膝15左踝16右踝置信度低于0.2的关键点视为无效。只有参与某条规则的关键点都有效,这条指标才参与判断,否则显示 n/a。

图5:上半身关键点与五类规则的几何关系。
本项目用RTMPose输出同样的COCO 17点,规则和几何量完全一致。五类规则的公式和阈值如下:
指标 | 几何量 | 判定 |
|---|---|---|
头部前倾 | 双耳中点 → 双肩中点,与竖直方向夹角 |
|
高低肩 | 双肩高度差 / 肩宽 |
|
驼背 | 鼻 → 肩中点,水平偏移 / 垂直距离 |
|
身体倾斜 | 鼻 → 肩中点,与竖直方向夹角 |
|
圆肩 | 手肘相对同侧肩的水平偏移 | 肘在肩前且 |
核心实现放在 posture_rules.h,不依赖OpenCV:
// 头部前倾:双耳中点到双肩中点的向量与竖直方向的夹角
const float ear_mx = (kps[3].x + kps[4].x) / 2.0f;
const float ear_my = (kps[3].y + kps[4].y) / 2.0f;
const float cx = (kps[5].x + kps[6].x) / 2.0f;
const float cy = (kps[5].y + kps[6].y) / 2.0f;
m.head_angle = angle_from_vertical(ear_mx - cx, ear_my - cy);
m.head = m.head_angle > 25.0f;
// 高低肩:双肩高度差与肩宽的比值
const float sw = std::hypot(kps[5].x - kps[6].x,
kps[5].y - kps[6].y);
const float sd = std::abs(kps[5].y - kps[6].y);
m.shoulder = sw > 10.0f && sd / sw > 0.12f;防抖设计
逐帧判断如果关键点轻微抖动,红色/绿色状态就来回闪,短暂异常画面切换很快导致画面不稳。
本项目做了两层时间处理:
显示防抖
display:异常状态持续 0.4s 才变红,恢复正常持续 0.8s 才变绿;稳定告警
stable:异常持续 3s 才进入stable_alerts,用于真正的"久坐提醒"。
constexpr float kDisplayOnSec = 0.4f;
constexpr float kDisplayOffSec = 0.8f;
update_display(df_head, metrics.head, kDisplayOnSec, kDisplayOffSec);六、测试运行
1. 启动
连上开发板和摄像头,上电。
cd ~/posture
./posture 20 5000 --pose-every 2参数说明:
20摄像头编号(/dev/video20)
5000 HTTP端口
--pose-every 2每2帧做一次姿态估计如果不确定摄像头编号,省略即可——程序会自动查找名称里带 hik 或 usb 的UVC设备。
启动成功后会看到:
camera index: 20
http port: 5000
capture: 640x480 @ 30fps
Enable spacemit ep now
Enable spacemit ep now两行 Enable spacemit ep now 分别对应检测模型和姿态模型,说明两个Session都走上了AI核心。
2. 浏览器访问
同一局域网内打开:
http://<板卡IP>:5000/页面左侧是MJPEG实时画面,右侧是五类指标、当前告警和稳定告警。颜色使用 display 防抖状态,不会因为一两帧关键点抖动而疯狂闪烁。FPS保持在10+,说明性能还是不错的。

图6:坐姿检测
3. 接口
路径 | 作用 |
|---|---|
| 中文监测页面 |
| MJPEG视频流 |
| JSON状态 |
| 最近一帧标注图 |
| 健康检查 |
/status 的关键字段:
{
"ok": true,
"person": true,
"fps": 11.4,
"det_ms": 35.9,
"pose_ms": 58.3,
"metrics": {
"head_angle": 10.87,
"shoulder_ratio": 0.11,
"hunch_ratio": 0.26,
"body_tilt": 14.56,
"rounded_px": 57.0
},
"valid": {
"head": true,
"shoulder": true,
"hunch": true,
"tilt": true,
"round": true
},
"display": {
"head_forward": false,
"shoulder_tilt": false,
"hunchback": true,
"body_tilt": true,
"rounded_shoulders": true
},
"flags": {
"head_forward": false,
"shoulder_tilt": false,
"hunchback": true,
"body_tilt": true,
"rounded_shoulders": true
},
"stable_alerts": []
}七、性能
测试条件:MUSE Pi Pro,640×480 MJPG,USB摄像头,4线程,室内普通光照。
模式 | 整条流水线FPS | 检测耗时 | 姿态耗时 |
|---|---|---|---|
| 7.6–7.7 | 35–40ms | 43–65ms |
| 10.5–11.4 | 36–38ms | 58–64ms |

图7:两种姿态抽帧策略的实测对比
几个观察结果:
检测不是瓶颈:YOLOv6p5-n在AI核心上约36ms,跑得很稳;
姿态更吃时间:RTMPose-t约58–64ms,所以
--pose-every 2对帧率提升明显——从7.6跳到11 FPS,几乎翻倍;温度可控:持续推理后SoC约56°C,空闲时cluster0/cluster1约39/40°C,没有降频迹象;
数值会波动:场景复杂度、人体框大小、散热条件都会影响结果,表里是实测范围。
本项目用C++ 裸HTTP服务把CPU开销压得更低。说明2 TOPS级别的端侧AI算力,对于单路坐姿检测绰绰有余。
八、踩坑记录
1. Python的 spacemit_ort 跑姿态会崩
最开始尝试Python路线(from rknnlite2 import RKNNLite ),结果 spacemit_ort 跑RTMPose直接段错误。换成C++ 的 libbianbuai Task封装后稳定。如果要在K1上做姿态估计,建议直接走C++ 路径,别在Python上耗时间。
2. 不要禁用SpacemiT EP
export SUPPORT_DISABLE_SPACEMIT_EP=1 # 错误示范设置后模型静默回退CPU,FPS明显下降,而且日志里不再出现 Enable spacemit ep now。排查性能问题时,先确认这一项没有被误设。
3. 关键点置信度不足
画面里人太小、背对镜头、下半身出框,都会让关键点置信度下降。此时 /status 里 person 可能还是 true,但部分 valid 字段为 false,叠加层显示 n/a。规则只用上半身关键点,所以取景时至少保证头、肩、肘清晰可见。
九、汇总
MUSE Pi Pro / K1 | |
|---|---|
SoC | SpacemiT K1,2.0 TOPS AI CPU扩展 |
模型格式 | 量化ONNX(YOLOv6 + RTMPose),直接给ORT |
推理框架 | ONNX Runtime + SpacemiT EP |
应用语言 | C++ + OpenCV |
显示方式 | 自建HTTP + MJPEG + JSON API |
防抖 |
|
十、总结
这个项目验证了一件事:一块信用卡大小的RISC-V板卡,完全可以本地跑通"人体检测 + 姿态估计 + 规则判断 + Web展示"的完整链路。K1的AI核心不是噱头,只要模型格式、运行时和执行提供者匹配,检测和姿态两段网络都能稳定跑在Cluster 0上。普通CPU核心则负责它更擅长的采集、后处理和业务逻辑。和Python路线相比,C++ 在K1上更稳、响应更快,但调试门槛也更高——好在 libbianbuai 的Task封装已经把大部分细节藏好了。
后续可以继续做的方向:
用真实坐姿数据微调检测/姿态模型,减少误检;
增加久坐提醒和历史曲线统计;
支持多人检测和主目标跟踪;
加蜂鸣器/语音提醒,做成独立桌面设备;
优化外壳、散热和摄像头支架,做成完整产品原型。
最后感谢华秋开源硬件社区组织的活动!
