基于ShiMetaPi Pico G1的大棚薄膜开合识别与告警系统

基于ShiMetaPi Pico G1与SC465SL摄像头,利用视觉AI识别大棚薄膜开合状态。支持电脑、手机通过局域网查看识别结果、预览画面、手动抓拍及调整参数;确认薄膜由关闭变为打开时持续拉高GPIO点亮告警灯,由打开变为关闭时熄灯。系统目前处于本地联调阶段。

基于ShiMetaPi Pico G1的大棚薄膜开合识别与告警系统封面
jf_410584652026-11-16 09:07:29MulanPSL-2.0
4
Star

PCBA

设计文件

大棚薄膜识别-提交资料.zip2.60MB(0次下载)

源代码

其他附件

详细介绍

一、项目简介

本项目基于 ShiMetaPi Pico G1 开发板与 SC465SL 摄像头,通过视觉 AI 模型识别大棚薄膜的打开、关闭状态,并结合 GPIO 灯光告警和网页管理平台,实现薄膜开合状态观察与变化记录。

系统支持电脑、手机等设备通过局域网访问,可查看识别结果、预览现场画面、手动抓拍,并调整识别阈值和设备位置。

本项目面向设施农业种植户和大棚管理人员,针对薄膜开合状态需要人工查看、状态变化缺少记录的问题,设计一套基于ShiMetaPi Pico G1的视觉识别与灯光告警原型。系统使用SC465SL摄像头采集图像,在开发板NPU上运行识别模型,由电脑平台处理开合状态变化:确认薄膜由关闭变为打开时,GPIO持续输出高电平点亮告警灯;由打开变为关闭时熄灯。电脑和手机可通过局域网查看识别结果、预览画面、手动抓拍及调整参数。目前已完成室内原型联调,状态变化图片自动回传和实际大棚场景测试仍需完善。

本项目面向大棚薄膜开合状态监测,目前展示的是室内原型联调过程。已验证的内容包括板端模型运行、电脑与手机局域网预览,以及平台控制流程。实际大棚环境下的识别效果,还需结合不同光照、拍摄角度和薄膜开合程度进一步测试。封面为项目概念示意图,实际硬件以正文实物照片为准。

二、硬件组成

硬件

用途

ShiMetaPi Pico G1

摄像头采集、NPU模型推理和GPIO输出

SC465SL摄像头

采集薄膜现场图像

LED及限流电阻

模拟灯光告警

面包板、连接线

外设连接

网线

开发板与电脑之间通信

电脑

运行网页平台,调度识别、预览和抓图

本项目使用现成开发板搭建原型,暂未自行设计 PCB 和外壳。当前使用 LED 模拟告警,未接入薄膜卷帘电机。

下图为实列连线

三、识别与告警逻辑

开发板运行模型调用程序,持续输出薄膜开合识别结果。平台结合置信度阈值和连续结果确认机制,减少单次识别波动造成的误触发。

现有模型调用程序使用 open、close 或带有 Door 前缀的标签,分别对应本项目中的“薄膜打开”和“薄膜关闭”。

灯光规则如下:

  1. 启动时默认灭灯,首次稳定识别只建立初始状态。

  2. 确认薄膜由关闭变为打开,即 close→open 时,GPIO6_6(Linux编号54)持续输出高电平。

  3. 确认薄膜由打开变为关闭,即 open→close 时,输出低电平。

  4. 状态不变时保持原电平。

  5. 未检测到目标或置信度不足时,不作为有效状态变化。

GPIO通过串联限流电阻的LED进行输出验证。GPIO54为软件编号,实际接线位置按开发板引脚图核对。

四、网页平台与多端访问

平台运行在电脑上,通过网络连接开发板,提供:

  • 最新识别结果、置信度及稳定状态展示。

  • 电脑、手机等设备的局域网访问。

  • 识别置信度阈值和设备位置配置。

  • 摄像头实时预览。

  • 手动抓拍与图像保存。

  • 状态变化记录及处理结果展示。

  • 图像拍摄时间和设备位置水印。

开发板时间由电脑同步,水印使用北京时间。设备位置由用户配置,可填写大棚名称或编号。

当前平台为本地部署,电脑后台需要持续运行;尚未部署公网云服务。

五、摄像头资源调度

模型调用程序和实时预览程序共用同一个摄像头,因此采用切换运行的方式:

  • 自动识别模式:持续运行模型,等待薄膜开合状态变化。

  • 状态变化:先更新告警电平,再暂停识别,调用摄像头抓图,随后恢复识别。

  • 实时预览模式:暂停AI,切换到摄像头预览程序。

  • 最后一个预览会话退出:恢复AI识别。

预览期间不持续识别薄膜状态,GPIO保持最后确认的电平。平台正常退出时会请求将告警输出拉低。

六、程序组成

文件

作用

sample_camera_xmm

调用摄像头和模型,输出识别结果

neuron_network.xmm

用于推理的模型文件

rpi_detector

实时预览及抓图程序

doorcam-platform

电脑端网页平台,负责状态处理、进程调度、灯光控制和记录管理

当前方案由网页平台负责告警,不需要同时启动历史独立告警程序。

七、部署与运行步骤

1. 配置网络并查看板子IP

开发板通过网线接入网络,可使用路由器提供的DHCP,也可使用电脑的网络共享。

在开发板串口终端执行:

ifconfig eth0

记录 inet addr: 后面的地址。DHCP分配的地址可能变化,后续上传和平台连接使用板子的当前IP。

2. 建立临时存储目录

以下采用临时内存部署方案。在开发板终端执行:

mkdir -p /mnt
grep -q ' /mnt tmpfs ' /proc/mounts || mount -t tmpfs -o size=24M tmpfs /mnt

mkdir -p /mnt/doorcam/bin
mkdir -p /mnt/doorcam/models
mkdir -p /mnt/doorcam/captures
mkdir -p /mnt/doorcam/logs
mkdir -p /mnt/doorcam/config

df -h /mnt

该方案使用tmpfs临时存储,断电后其中的程序、模型和图片会丢失,需要重新上传。

3. 从电脑上传运行文件

在Windows PowerShell中执行,先将示例IP改为板子的当前地址:

$boardIp = "192.168.137.175"

上传模型调用程序:

scp -O "$env:USERPROFILE\Desktop\sample_camera_xmm" "root@${boardIp}:/mnt/doorcam/bin/sample_camera_xmm"

上传模型:

scp -O "$env:USERPROFILE\Desktop\neuron_network.xmm" "root@${boardIp}:/mnt/doorcam/models/neuron_network.xmm"

上传摄像头程序:

scp -O "$env:USERPROFILE\Desktop\rpi_detector_platform" "root@${boardIp}:/mnt/doorcam/bin/rpi_detector"

电脑上的摄像头程序命名为 rpi_detector_platform,上传到板子后保存为 rpi_detector。

以上命令在电脑PowerShell中执行,不能输入到开发板的 ~ # 终端。

4. 设置执行权限

文件上传完成后,回到开发板终端执行:

chmod +x /mnt/doorcam/bin/sample_camera_xmm /mnt/doorcam/bin/rpi_detector

检查三个文件:

ls -lh /mnt/doorcam/bin/sample_camera_xmm
ls -lh /mnt/doorcam/bin/rpi_detector
ls -lh /mnt/doorcam/models/neuron_network.xmm

模型是数据文件,不需要设置执行权限。

检查摄像头程序版本:

/mnt/doorcam/bin/rpi_detector --capabilities

平台配套版本应输出:

DOORCAM_CAPTURE_V1 timestamped-frames

5. 启动网页平台

源码方式部署时,在 doorcam-platform 目录安装依赖:

npm.cmd ci

随后运行“启动平台.cmd”,在电脑浏览器打开:

http://127.0.0.1:8787

填写开发板当前IP、SSH用户名、设备密码、位置和识别阈值,点击“连接并校时”。

由平台统一启动和切换板端程序,避免手动同时运行多个摄像头程序。

6. 手机及多端访问

需要手机访问时,使用“手机访问启动.cmd”启动平台,并将平台生成的完整手机访问链接发送到手机浏览器。

电脑与手机应处于网络可达的同一局域网。手机访问的是电脑提供的平台地址,而不是手机自身的127.0.0.1地址。

八、测试方法

  1. 退出实时预览,进入自动识别。

  2. 让模型先稳定确认薄膜关闭,建立初始状态。

  3. 打开薄膜,等待平台确认close→open,检查GPIO高电平和LED持续亮灯。

  4. 关闭薄膜,等待确认open→close,检查LED熄灭。

  5. 进入实时预览,检查画面和时间、位置水印。

  6. 使用电脑和手机访问平台,检查多端显示及参数配置。

  7. 记录不同光照、拍摄角度下的识别结果,评估误识别、漏识别和运行稳定性。

九、当前进度与后续完善

目前已完成有线联网、模型推理、网页结果展示、实时预览和手动抓拍联调,并实现基于开合变化控制GPIO的代码逻辑。

状态变化时,板端已能生成JPEG图片;自动回传电脑仍存在传输兼容问题,需要继续修复和验证。暂不将此部分描述为已经完成的自动上传功能。

后续计划完善:

  • 实际大棚场景下的模型测试与优化。

  • 状态变化图片自动回传与保存。

  • 持久化存储和断电恢复。

  • 网络异常后的恢复处理。

  • 根据部署需求增加云端访问。

十、源码说明

本次提交包含网页平台源码、摄像头应用源码、编译运行说明,以及已取得的 sample_camera_xmm.c 模型调用主程序源码。

摄像头应用基于ShiMetaPi SDK示例修改,重新编译需要配套SDK。

模型调用主程序仍引用尚未补齐的 rtmdet_post.h,配套构建文件也需补充。模型训练工程和数据集未包含在本次提交中。第三方代码及模型应按各自来源和授权说明使用。