【进迭时空 K1 MUSE Pi Pro】视觉检测项目

原创2026-11-20 08:58:20浏览5
5
Star


目录

  1. 项目概述

    • 1.1 项目背景

    • 1.2 建设目标

    • 1.3 方案定位与完成范围

  2. 系统组成

    • 2.1 硬件构成

    • 2.2 现场安装与取景

    • 2.3 供电、网络与信号隔离

  3. 工作原理与联锁流程

    • 3.1 处理链路

    • 3.2 报警判决状态机

    • 3.3 联锁动作时序

  4. IO 联锁与机床接口

    • 4.1 IO 扩展模块与端子接线

    • 4.2 信号点位定义

    • 4.3 PLC 标记位与界面报警

    • 4.4 报警复位要求

  5. 视频链路调试

    • 5.1 编码参数调整

    • 5.2 传输方式与断流重连

  6. 检测模型与程序实现

    • 6.1 模型部署

    • 6.2 程序要点

    • 6.3 运行效果

  7. 现场问题与处理记录

    • 7.1 视频链路类问题

    • 7.2 推理兼容类问题

    • 7.3 操作类问题

    • 7.4 问题汇总

  8. 验收指标与后续工作

    • 8.1 验收指标

    • 8.2 遗留项与后续优化


1 项目概述

1.1 项目背景

激光加工设备的加工区域存在高功率激光、运动轴等危险源,人员一旦误入,可能造成烧伤与机械伤害。设备原有防护以安全门、安全光栅为主,对开敞式上下料工位的覆盖有限。本项目在既有设备上加装一套视觉监控与联锁装置:以嵌入式开发板为计算单元,接入网络球机机芯的视频流,对加工区域连续检测人员;判定闯入后输出开关量信号,经隔离送入机床 IO 扩展模块,由 PLC 触发急停并在操作界面弹出报警。

1.2 建设目标

目标有四项:一是覆盖加工区域,实现连续视频采集;二是在板端本地完成行人检测,不依赖上位机与外部网络;三是检测到人员进入危险区域后及时输出报警电平并保持,直至人工确认或人员撤离;四是报警信号接入机床 IO 模块,完成停机与界面提示的闭环。

1.3 方案定位与完成范围

视觉联锁属于辅助防护手段,不能替代安全门锁、安全光栅、急停按钮等强制安全器件,其输出与原有安全回路并联接入,不取消原有硬件防护。视觉检测受遮挡、逆光、镜头污染影响,存在漏检可能,这一局限需在使用方交底时明确。

本报告覆盖的工作范围是:机芯与开发板的现场安装、视频链路与检测程序的部署调试、IO 信号接入与联锁动作验证。机床 PLC 程序与操作界面组态由设备方按本报告给出的点位与时序实现。

2 系统组成

2.1 硬件构成

系统由采集、计算、联锁三部分组成,设备清单见表 1。

表 1 系统硬件清单

序号

设备

规格说明

数量

作用

1

嵌入式开发板

MUSE Pi Pro,8 GB 内存,双千兆网口,M.2 固态硬盘接口

1

视频解码、模型推理、报警输出

2

网络球机机芯

网络机芯,支持 RTSP 码流输出,可网页配置编码参数

1

加工区域画面采集

3

IO 扩展模块

DIO 402 型,多路开关量输入输出,网口通信

1

接收报警电平,对接机床 PLC

4

隔离与配件

光电隔离模块、屏蔽网线、端子、支架、电源

1 套

信号隔离、固定与供电

2.2 现场安装与取景

图1 机芯与开发板一体化安装,上电后指示灯正常

图2 安装位置取景:切割头与加工台面完整入画

机芯与开发板采用一体化安装:机芯固定于设备外壳上方,开发板叠放于机芯顶部,二者以短网线直连,减少中间环节与故障点,安装实况见图 1。机芯镜头俯视加工台面,视野覆盖切割头工作范围与上下料区域,切割作业时的取景效果见图 2。

安装时需注意三点:机芯固定需加减振垫,避免主轴与切割头振动引起画面抖动;镜头避免正对强光窗口,防止逆光下目标成剪影;视野内尽量排除通道、地面反光区,减少无关目标干扰。

2.3 供电、网络与信号隔离

开发板采用双网口分工:一路接车间调试网络用于远程维护,另一路接机芯独立内网,仅承载视频流,避免办公网广播干扰。开发板与机芯各自独立供电。

开发板 GPIO 为 3.3 V 弱电,机床侧为 24 V 开关量,两者之间串接光电隔离模块,将 GPIO 电平转换为无源干接点后再送入 IO 扩展模块。弱电与强电分槽走线,信号线采用屏蔽线并单端接地,两侧地线不连通,防止电机与变频器干扰串入。

3 工作原理与联锁流程

3.1 处理链路

机芯编码输出 H.264 码流,经 RTSP 送达开发板;开发板按固定间隔取帧,等比缩放并灰边填充至 640×640,归一化后送入检测模型;后处理仅保留行人类别,作非极大值抑制并将坐标还原至原图;判决模块结合危险区域与连续帧计数决定是否置位报警;报警电平经隔离送入 IO 扩展模块,由 PLC 执行急停。

3.2 报警判决状态机

状态机含四个状态:正常监视、疑似闯入、报警锁存、延时解除。危险区域内连续多帧稳定检出人员才进入锁存,避免单帧误检直接停机;人员离开后延时 2 s 撤销,延时值可按安全规范调整。程序启动即输出报警态、自检通过后转正常态,避免启动期间出现防护空白。

3.3 联锁动作时序

从人员进入到机床停机,各环节时序见表 2。

表 2 联锁动作时序

序号

环节

动作

设计指标

1

画面采集

机芯输出子码流,帧率 15 fps

≤70 ms/帧

2

本地检测

板端推理,输出行人框

单帧 200~400 ms

3

判决确认

危险区域内连续 3 帧命中

≤0.4 s

4

信号输出

GPIO 置位,隔离继电器吸合

≤20 ms

5

PLC 响应

输入有效,执行急停

≤50 ms(依扫描周期)

6

界面提示

操作界面弹窗并记录时间

≤100 ms

4 IO 联锁与机床接口

4.1 IO 扩展模块与端子接线

联锁执行端采用 DIO 402 型开关量模块,具备多组输入输出端子、双网口(IN/OUT)与电源、运行、报警指示。

图3 IO 扩展模块整机:输入输出端子、双网口与状态指示

端子接线遵循“一信号一线号”原则,每个端子挂接带线号的标识套管,便于查线与复核。现场实际接入的输入点位包括 I1D01~I8D01、I1D02~I5D02 等,另有“上原位”“下原位”等设备状态信号与 ALARM、24 V 电源端子,接线时逐点核对端子编号与线号是否一致,避免错位导致联锁失效。

图4 输入端子接线:I1D01~I8D01 及上/下原位信号

图5 输入端子接线:I1D02~I5D02 与 ALARM、24 V

图6 端子局部特写:线号套管与通道指示灯对应关系

4.2 信号点位定义

开发板与机床之间传递的信号按表 3 定义。表中机床侧地址为现场联调时确认的编址,如与实际模块编址不一致,以设备方编址为准。

表 3 联锁信号点位定义

信号

方向

机床侧点位

电平定义

说明

闯入报警

开发板→PLC

X2.4

闭合=报警

锁存输出,撤离延时后断开

系统心跳

开发板→PLC

X2.5

1 Hz 方波

无心跳视为视觉系统失效,按报警处理

急停执行

PLC→设备

急停回路串接(KA7 中间继电)

断开=停机

与原有安全回路并联

报警复位

PLC→开发板

Y3.1

脉冲复位

人工确认后清除锁存

4.3 PLC 标记位与界面报警

PLC 程序中新增报警标记位 AREA_INTRUDE_AL,注释为“加工区域有人闯入报警”,与其余设备报警标记并列管理,变量定义见图 7。该标记位有效时串入急停回路,同时触发操作界面弹窗。

图7 PLC 变量定义:AREA_INTRUDE_AL 加工区域有人闯入报警

界面弹窗建议文案为“有人员进入加工区域,已紧急停止”,并附带触发时间与机位编号;弹窗仅在人工确认后关闭,不因确认而解除急停。报警记录按时间倒序留档,支持按日期查询。

4.4 报警复位要求

复位必须由人工执行:现场人员目视确认加工区域无人后,在操作界面点击确认,再按机床复位按钮清除急停状态,开发板收到复位信号后清除锁存。禁止上电自动复位,防止人员仍在危险区域时被误启动。

5 视频链路调试

5.1 编码参数调整

机芯出厂参数偏重画质,主码流为 1280×960、25 fps、码率上限 2048 kbps、图像质量最高、I 帧间隔 50;子码流为 704×576、15 fps、I 帧间隔 30。开发板解码余量有限,需下调码率与画质,并缩短 I 帧间隔以提升出错后的恢复速度。参数对照见表 4。

表 4 码流参数调整对照

项目

调整前

调整后

目的

码率上限

2048 kbps

1024 kbps(必要时 512)

降低解码负载

图像质量

最高

中等

减少码流复杂度

I 帧间隔

子码流 30/主码流 50

与帧率一致(15/25)

出错后快速恢复

帧率

子码流 15/主码流 25

保持不变

避免动态拖影加剧

传输方式

默认 UDP

强制 RTSP over TCP

避免丢包破坏帧结构

图8 主码流编码参数(1280×960、25 fps、2048 kbps)

图9 子码流编码参数(704×576、15 fps、2048 kbps)

图10 子码流参数下调结果:1024 kbps、图像质量中等

5.2 传输方式与断流重连

默认 UDP 传输在丢包时直接破坏 H.264 帧结构,错误沿帧间预测持续扩散,表现为画面撕裂与反复重连。程序侧通过环境变量强制 TCP 传输,仅保留 rtsp_transport;tcp 一项,不再拼接多余参数;同时将解码缓冲设为 1,降低延迟。

断流处理采用整连接重建:读帧失败即释放句柄并重新建连,并对重连频率设限,避免高频重连拖垮机芯的码流服务。程序另设看门狗,连续 5 s 无有效帧即判定链路失效,保持报警电平输出。

6 检测模型与程序实现

6.1 模型部署

模型在电脑端导出为 ONNX 格式,不在板端导出,原因是板端安装深度学习框架依赖链复杂、编译耗时长且易失败。导出固定输入 640、开启图简化,导出结果与板端文件核对见图 11、图 12。模型经 U 盘拷入板端同一目录,拷贝后核对文件大小为约 12 MB 级,避免传输中断造成文件截断。

图11 板端核对模型文件大小,与导出文件一致

图12 导出成功并显示输出维度 (1, 84, 8400)

输出维度 (1, 84, 8400) 的含义为:1 个批次、84 个通道(4 个框参数加 80 个类别置信度)、8400 个候选位置。后处理按此维度解析,先筛置信度、再限类别、最后做坐标还原。

6.2 程序要点

程序分六个模块:流管理、预处理、推理、后处理、判决、IO 输出。关键设置如下:预处理保持宽高比缩放并记录填充量,坐标还原时先减填充再除比例,否则检测框会整体偏移;后处理只保留行人类别,屏蔽工件与夹具被误判为其他物体;置信度阈值取 0.55~0.65,阈值 0.40 时误报明显偏多;每 3~4 帧推理一次以降低算力占用。

判决以检测框底边中点为判据,即以人脚位置判断是否真正站在危险区域内,避免人员站在区域外仅手臂伸入造成误停。

6.3 运行效果

图13 程序运行界面:实时画面与检测结果输出

程序运行后可稳定输出“检测到人”的判定结果,画面叠加显示检测框与置信度,运行界面见图 13。调优完成后,正常加工时不再出现无关类别误报,人员进入视野即可触发判定。

7 现场问题与处理记录

7.1 视频链路类问题

首轮以纯拉流脚本验证链路,不加载模型,成功读帧并输出尺寸 576×704,确认机芯、网络、账号、路径均正确,结果见图 14。此后进入稳定性调试,先后出现四类现象:宏块解码失败(缺少相邻参考块)、CABAC 熵编码解析失败、RTP 序列号异常(bad cseq)、长时间告警后推理会话异常终止,现场记录见图 15 至图 18。

图14 纯拉流读帧成功,输出帧尺寸 576×704

图15 宏块解码失败:单帧损坏并向后续帧扩散

图16 CABAC 熵编码解析失败

图17 连续告警、断流重连与推理中断的完整记录

图18 RTP 序列号异常:传输丢包导致流同步错乱

处理措施为:强制 TCP 传输;下调码率与画质、I 帧间隔对齐帧率;断流整连接重建并限制重连频率;机芯与开发板直连组网、使用屏蔽线。调整后断流频次明显下降,但仍存在间歇性解码告警。根因指向机芯未强制基线档编码,需通过厂商客户端或接口下发编码参数,此项列入遗留工作。

7.2 推理兼容类问题

模型加载阶段,通用视觉库的推理后端读取该模型时抛出断言失败,报错定位在算子形状推导,见图 19;将导出算子集版本由 11 改为 12 后仍复现,见图 20。核对文件大小与输入尺寸均无误,更换推理后端后问题消失,说明模型本身正确、问题在推理框架对新版检测模型分支算子的支持不足。此后全部检测功能改用 ONNX Runtime 加载同一份模型。

图19 推理库加载模型时断言失败

图20 更换算子集版本后同一断言仍复现

该问题的工程启示是:模型格式通用并不等于推理后端兼容,边缘设备选型时应先在目标板卡做一次最小推理验证,再确定技术路线。

7.3 操作类问题

调试中另有两类操作失误,虽非技术缺陷,但会掩盖真实故障。一是传输参数拼接格式错误,将多段参数写入同一环境变量,导致参数解析失败、拉流直接失败,见图 21;正确做法是只保留 rtsp_transport;tcp 一项。二是把程序代码直接粘贴到终端执行,shell 将首行当作命令,返回“未找到命令”,见图 22;规范做法是先建文件再执行。

图21 传输参数拼接错误导致拉流失败

图22 代码误粘贴至终端,返回“未找到命令”

7.4 问题汇总

表 5 现场问题汇总

序号

问题现象

原因

处理措施

状态

1

拉流失败、鉴权报错

地址路径、端口、账号或通道不符

改用标准通道路径,核对端口与账号

已解决

2

解码告警、反复断流

UDP 丢包、熵编码档位高、码率偏高

强制 TCP、降码降质、I 帧对齐、重连限频

明显改善

3

RTP 序列号异常

传输层丢包与同步错乱

TCP 传输、直连组网、屏蔽线

已改善

4

推理库断言失败

后端对模型分支算子支持不足

改用 ONNX Runtime

已解决

5

传输参数解析失败

参数多段拼接写法不被识别

仅保留单项参数

已解决

6

检测框偏移、类别乱标

坐标还原未扣填充、未限类别、阈值偏低

修正还原公式、仅行人、上调阈值

已解决

7

单帧误检触发报警

缺少时间维度确认

连续 3 帧确认+区域判决+锁存

已解决

8

信号输出不稳

电平制式不匹配、共模干扰

增加光电隔离、强弱电分槽

已解决

9

无法强制基线档编码

机芯网页未暴露该参数

厂商客户端或接口下发

遗留

10

板载加速单元未启用

当前用 CPU 推理以保证算子兼容

后续做量化与加速部署

待优化