一、项目简介
本项目基于 ShiMetaPi Pico G1 开发板与 SC465SL 摄像头,通过视觉 AI 模型识别大棚薄膜的打开、关闭状态,并结合 GPIO 灯光告警和网页管理平台,实现薄膜开合状态观察与变化记录。
系统支持电脑、手机等设备通过局域网访问,可查看识别结果、预览现场画面、手动抓拍,并调整识别阈值和设备位置。
本项目面向设施农业种植户和大棚管理人员,针对薄膜开合状态需要人工查看、状态变化缺少记录的问题,设计一套基于ShiMetaPi Pico G1的视觉识别与灯光告警原型。系统使用SC465SL摄像头采集图像,在开发板NPU上运行识别模型,由电脑平台处理开合状态变化:确认薄膜由关闭变为打开时,GPIO持续输出高电平点亮告警灯;由打开变为关闭时熄灯。电脑和手机可通过局域网查看识别结果、预览画面、手动抓拍及调整参数。目前已完成室内原型联调,状态变化图片自动回传和实际大棚场景测试仍需完善。

本项目面向大棚薄膜开合状态监测,目前展示的是室内原型联调过程。已验证的内容包括板端模型运行、电脑与手机局域网预览,以及平台控制流程。实际大棚环境下的识别效果,还需结合不同光照、拍摄角度和薄膜开合程度进一步测试。封面为项目概念示意图,实际硬件以正文实物照片为准。
二、硬件组成
硬件 | 用途 |
|---|---|
ShiMetaPi Pico G1 | 摄像头采集、NPU模型推理和GPIO输出 |
SC465SL摄像头 | 采集薄膜现场图像 |
LED及限流电阻 | 模拟灯光告警 |
面包板、连接线 | 外设连接 |
网线 | 开发板与电脑之间通信 |
电脑 | 运行网页平台,调度识别、预览和抓图 |
本项目使用现成开发板搭建原型,暂未自行设计 PCB 和外壳。当前使用 LED 模拟告警,未接入薄膜卷帘电机。
下图为实列连线

三、识别与告警逻辑
开发板运行模型调用程序,持续输出薄膜开合识别结果。平台结合置信度阈值和连续结果确认机制,减少单次识别波动造成的误触发。
现有模型调用程序使用 open、close 或带有 Door 前缀的标签,分别对应本项目中的“薄膜打开”和“薄膜关闭”。
灯光规则如下:
启动时默认灭灯,首次稳定识别只建立初始状态。
确认薄膜由关闭变为打开,即 close→open 时,GPIO6_6(Linux编号54)持续输出高电平。
确认薄膜由打开变为关闭,即 open→close 时,输出低电平。
状态不变时保持原电平。
未检测到目标或置信度不足时,不作为有效状态变化。
GPIO通过串联限流电阻的LED进行输出验证。GPIO54为软件编号,实际接线位置按开发板引脚图核对。
四、网页平台与多端访问
平台运行在电脑上,通过网络连接开发板,提供:
最新识别结果、置信度及稳定状态展示。
电脑、手机等设备的局域网访问。
识别置信度阈值和设备位置配置。
摄像头实时预览。
手动抓拍与图像保存。
状态变化记录及处理结果展示。
图像拍摄时间和设备位置水印。
开发板时间由电脑同步,水印使用北京时间。设备位置由用户配置,可填写大棚名称或编号。
当前平台为本地部署,电脑后台需要持续运行;尚未部署公网云服务。
五、摄像头资源调度
模型调用程序和实时预览程序共用同一个摄像头,因此采用切换运行的方式:
自动识别模式:持续运行模型,等待薄膜开合状态变化。
状态变化:先更新告警电平,再暂停识别,调用摄像头抓图,随后恢复识别。
实时预览模式:暂停AI,切换到摄像头预览程序。
最后一个预览会话退出:恢复AI识别。
预览期间不持续识别薄膜状态,GPIO保持最后确认的电平。平台正常退出时会请求将告警输出拉低。
六、程序组成
文件 | 作用 |
|---|---|
sample_camera_xmm | 调用摄像头和模型,输出识别结果 |
neuron_network.xmm | 用于推理的模型文件 |
rpi_detector | 实时预览及抓图程序 |
doorcam-platform | 电脑端网页平台,负责状态处理、进程调度、灯光控制和记录管理 |
当前方案由网页平台负责告警,不需要同时启动历史独立告警程序。
七、部署与运行步骤
1. 配置网络并查看板子IP
开发板通过网线接入网络,可使用路由器提供的DHCP,也可使用电脑的网络共享。
在开发板串口终端执行:
ifconfig eth0记录 inet addr: 后面的地址。DHCP分配的地址可能变化,后续上传和平台连接使用板子的当前IP。
2. 建立临时存储目录
以下采用临时内存部署方案。在开发板终端执行:
mkdir -p /mnt
grep -q ' /mnt tmpfs ' /proc/mounts || mount -t tmpfs -o size=24M tmpfs /mnt
mkdir -p /mnt/doorcam/bin
mkdir -p /mnt/doorcam/models
mkdir -p /mnt/doorcam/captures
mkdir -p /mnt/doorcam/logs
mkdir -p /mnt/doorcam/config
df -h /mnt该方案使用tmpfs临时存储,断电后其中的程序、模型和图片会丢失,需要重新上传。
3. 从电脑上传运行文件
在Windows PowerShell中执行,先将示例IP改为板子的当前地址:
$boardIp = "192.168.137.175"上传模型调用程序:
scp -O "$env:USERPROFILE\Desktop\sample_camera_xmm" "root@${boardIp}:/mnt/doorcam/bin/sample_camera_xmm"上传模型:
scp -O "$env:USERPROFILE\Desktop\neuron_network.xmm" "root@${boardIp}:/mnt/doorcam/models/neuron_network.xmm"上传摄像头程序:
scp -O "$env:USERPROFILE\Desktop\rpi_detector_platform" "root@${boardIp}:/mnt/doorcam/bin/rpi_detector"电脑上的摄像头程序命名为 rpi_detector_platform,上传到板子后保存为 rpi_detector。
以上命令在电脑PowerShell中执行,不能输入到开发板的 ~ # 终端。
4. 设置执行权限
文件上传完成后,回到开发板终端执行:
chmod +x /mnt/doorcam/bin/sample_camera_xmm /mnt/doorcam/bin/rpi_detector检查三个文件:
ls -lh /mnt/doorcam/bin/sample_camera_xmm
ls -lh /mnt/doorcam/bin/rpi_detector
ls -lh /mnt/doorcam/models/neuron_network.xmm模型是数据文件,不需要设置执行权限。
检查摄像头程序版本:
/mnt/doorcam/bin/rpi_detector --capabilities平台配套版本应输出:
DOORCAM_CAPTURE_V1 timestamped-frames5. 启动网页平台
源码方式部署时,在 doorcam-platform 目录安装依赖:
npm.cmd ci随后运行“启动平台.cmd”,在电脑浏览器打开:
http://127.0.0.1:8787填写开发板当前IP、SSH用户名、设备密码、位置和识别阈值,点击“连接并校时”。
由平台统一启动和切换板端程序,避免手动同时运行多个摄像头程序。

6. 手机及多端访问
需要手机访问时,使用“手机访问启动.cmd”启动平台,并将平台生成的完整手机访问链接发送到手机浏览器。
电脑与手机应处于网络可达的同一局域网。手机访问的是电脑提供的平台地址,而不是手机自身的127.0.0.1地址。

八、测试方法
退出实时预览,进入自动识别。
让模型先稳定确认薄膜关闭,建立初始状态。
打开薄膜,等待平台确认close→open,检查GPIO高电平和LED持续亮灯。
关闭薄膜,等待确认open→close,检查LED熄灭。
进入实时预览,检查画面和时间、位置水印。
使用电脑和手机访问平台,检查多端显示及参数配置。
记录不同光照、拍摄角度下的识别结果,评估误识别、漏识别和运行稳定性。
九、当前进度与后续完善
目前已完成有线联网、模型推理、网页结果展示、实时预览和手动抓拍联调,并实现基于开合变化控制GPIO的代码逻辑。
状态变化时,板端已能生成JPEG图片;自动回传电脑仍存在传输兼容问题,需要继续修复和验证。暂不将此部分描述为已经完成的自动上传功能。
后续计划完善:
实际大棚场景下的模型测试与优化。
状态变化图片自动回传与保存。
持久化存储和断电恢复。
网络异常后的恢复处理。
根据部署需求增加云端访问。
十、源码说明
本次提交包含网页平台源码、摄像头应用源码、编译运行说明,以及已取得的 sample_camera_xmm.c 模型调用主程序源码。
摄像头应用基于ShiMetaPi SDK示例修改,重新编译需要配套SDK。
模型调用主程序仍引用尚未补齐的 rtmdet_post.h,配套构建文件也需补充。模型训练工程和数据集未包含在本次提交中。第三方代码及模型应按各自来源和授权说明使用。

