目录
项目概述
1.1 项目背景
1.2 建设目标
1.3 方案定位与完成范围
系统组成
2.1 硬件构成
2.2 现场安装与取景
2.3 供电、网络与信号隔离
工作原理与联锁流程
3.1 处理链路
3.2 报警判决状态机
3.3 联锁动作时序
IO 联锁与机床接口
4.1 IO 扩展模块与端子接线
4.2 信号点位定义
4.3 PLC 标记位与界面报警
4.4 报警复位要求
视频链路调试
5.1 编码参数调整
5.2 传输方式与断流重连
检测模型与程序实现
6.1 模型部署
6.2 程序要点
6.3 运行效果
现场问题与处理记录
7.1 视频链路类问题
7.2 推理兼容类问题
7.3 操作类问题
7.4 问题汇总
验收指标与后续工作
8.1 验收指标
8.2 遗留项与后续优化
1 项目概述
1.1 项目背景
激光加工设备的加工区域存在高功率激光、运动轴等危险源,人员一旦误入,可能造成烧伤与机械伤害。设备原有防护以安全门、安全光栅为主,对开敞式上下料工位的覆盖有限。本项目在既有设备上加装一套视觉监控与联锁装置:以嵌入式开发板为计算单元,接入网络球机机芯的视频流,对加工区域连续检测人员;判定闯入后输出开关量信号,经隔离送入机床 IO 扩展模块,由 PLC 触发急停并在操作界面弹出报警。
1.2 建设目标
目标有四项:一是覆盖加工区域,实现连续视频采集;二是在板端本地完成行人检测,不依赖上位机与外部网络;三是检测到人员进入危险区域后及时输出报警电平并保持,直至人工确认或人员撤离;四是报警信号接入机床 IO 模块,完成停机与界面提示的闭环。
1.3 方案定位与完成范围
视觉联锁属于辅助防护手段,不能替代安全门锁、安全光栅、急停按钮等强制安全器件,其输出与原有安全回路并联接入,不取消原有硬件防护。视觉检测受遮挡、逆光、镜头污染影响,存在漏检可能,这一局限需在使用方交底时明确。
本报告覆盖的工作范围是:机芯与开发板的现场安装、视频链路与检测程序的部署调试、IO 信号接入与联锁动作验证。机床 PLC 程序与操作界面组态由设备方按本报告给出的点位与时序实现。
2 系统组成
2.1 硬件构成
系统由采集、计算、联锁三部分组成,设备清单见表 1。
表 1 系统硬件清单
序号 | 设备 | 规格说明 | 数量 | 作用 |
|---|---|---|---|---|
1 | 嵌入式开发板 | MUSE Pi Pro,8 GB 内存,双千兆网口,M.2 固态硬盘接口 | 1 | 视频解码、模型推理、报警输出 |
2 | 网络球机机芯 | 网络机芯,支持 RTSP 码流输出,可网页配置编码参数 | 1 | 加工区域画面采集 |
3 | IO 扩展模块 | DIO 402 型,多路开关量输入输出,网口通信 | 1 | 接收报警电平,对接机床 PLC |
4 | 隔离与配件 | 光电隔离模块、屏蔽网线、端子、支架、电源 | 1 套 | 信号隔离、固定与供电 |
2.2 现场安装与取景

图1 机芯与开发板一体化安装,上电后指示灯正常

图2 安装位置取景:切割头与加工台面完整入画
机芯与开发板采用一体化安装:机芯固定于设备外壳上方,开发板叠放于机芯顶部,二者以短网线直连,减少中间环节与故障点,安装实况见图 1。机芯镜头俯视加工台面,视野覆盖切割头工作范围与上下料区域,切割作业时的取景效果见图 2。
安装时需注意三点:机芯固定需加减振垫,避免主轴与切割头振动引起画面抖动;镜头避免正对强光窗口,防止逆光下目标成剪影;视野内尽量排除通道、地面反光区,减少无关目标干扰。
2.3 供电、网络与信号隔离
开发板采用双网口分工:一路接车间调试网络用于远程维护,另一路接机芯独立内网,仅承载视频流,避免办公网广播干扰。开发板与机芯各自独立供电。
开发板 GPIO 为 3.3 V 弱电,机床侧为 24 V 开关量,两者之间串接光电隔离模块,将 GPIO 电平转换为无源干接点后再送入 IO 扩展模块。弱电与强电分槽走线,信号线采用屏蔽线并单端接地,两侧地线不连通,防止电机与变频器干扰串入。
3 工作原理与联锁流程
3.1 处理链路
机芯编码输出 H.264 码流,经 RTSP 送达开发板;开发板按固定间隔取帧,等比缩放并灰边填充至 640×640,归一化后送入检测模型;后处理仅保留行人类别,作非极大值抑制并将坐标还原至原图;判决模块结合危险区域与连续帧计数决定是否置位报警;报警电平经隔离送入 IO 扩展模块,由 PLC 执行急停。
3.2 报警判决状态机
状态机含四个状态:正常监视、疑似闯入、报警锁存、延时解除。危险区域内连续多帧稳定检出人员才进入锁存,避免单帧误检直接停机;人员离开后延时 2 s 撤销,延时值可按安全规范调整。程序启动即输出报警态、自检通过后转正常态,避免启动期间出现防护空白。
3.3 联锁动作时序
从人员进入到机床停机,各环节时序见表 2。
表 2 联锁动作时序
序号 | 环节 | 动作 | 设计指标 |
|---|---|---|---|
1 | 画面采集 | 机芯输出子码流,帧率 15 fps | ≤70 ms/帧 |
2 | 本地检测 | 板端推理,输出行人框 | 单帧 200~400 ms |
3 | 判决确认 | 危险区域内连续 3 帧命中 | ≤0.4 s |
4 | 信号输出 | GPIO 置位,隔离继电器吸合 | ≤20 ms |
5 | PLC 响应 | 输入有效,执行急停 | ≤50 ms(依扫描周期) |
6 | 界面提示 | 操作界面弹窗并记录时间 | ≤100 ms |
4 IO 联锁与机床接口
4.1 IO 扩展模块与端子接线
联锁执行端采用 DIO 402 型开关量模块,具备多组输入输出端子、双网口(IN/OUT)与电源、运行、报警指示。

图3 IO 扩展模块整机:输入输出端子、双网口与状态指示
端子接线遵循“一信号一线号”原则,每个端子挂接带线号的标识套管,便于查线与复核。现场实际接入的输入点位包括 I1D01~I8D01、I1D02~I5D02 等,另有“上原位”“下原位”等设备状态信号与 ALARM、24 V 电源端子,接线时逐点核对端子编号与线号是否一致,避免错位导致联锁失效。

图4 输入端子接线:I1D01~I8D01 及上/下原位信号

图5 输入端子接线:I1D02~I5D02 与 ALARM、24 V

图6 端子局部特写:线号套管与通道指示灯对应关系
4.2 信号点位定义
开发板与机床之间传递的信号按表 3 定义。表中机床侧地址为现场联调时确认的编址,如与实际模块编址不一致,以设备方编址为准。
表 3 联锁信号点位定义
信号 | 方向 | 机床侧点位 | 电平定义 | 说明 |
|---|---|---|---|---|
闯入报警 | 开发板→PLC | X2.4 | 闭合=报警 | 锁存输出,撤离延时后断开 |
系统心跳 | 开发板→PLC | X2.5 | 1 Hz 方波 | 无心跳视为视觉系统失效,按报警处理 |
急停执行 | PLC→设备 | 急停回路串接(KA7 中间继电) | 断开=停机 | 与原有安全回路并联 |
报警复位 | PLC→开发板 | Y3.1 | 脉冲复位 | 人工确认后清除锁存 |
4.3 PLC 标记位与界面报警
PLC 程序中新增报警标记位 AREA_INTRUDE_AL,注释为“加工区域有人闯入报警”,与其余设备报警标记并列管理,变量定义见图 7。该标记位有效时串入急停回路,同时触发操作界面弹窗。

图7 PLC 变量定义:AREA_INTRUDE_AL 加工区域有人闯入报警
界面弹窗建议文案为“有人员进入加工区域,已紧急停止”,并附带触发时间与机位编号;弹窗仅在人工确认后关闭,不因确认而解除急停。报警记录按时间倒序留档,支持按日期查询。
4.4 报警复位要求
复位必须由人工执行:现场人员目视确认加工区域无人后,在操作界面点击确认,再按机床复位按钮清除急停状态,开发板收到复位信号后清除锁存。禁止上电自动复位,防止人员仍在危险区域时被误启动。
5 视频链路调试
5.1 编码参数调整
机芯出厂参数偏重画质,主码流为 1280×960、25 fps、码率上限 2048 kbps、图像质量最高、I 帧间隔 50;子码流为 704×576、15 fps、I 帧间隔 30。开发板解码余量有限,需下调码率与画质,并缩短 I 帧间隔以提升出错后的恢复速度。参数对照见表 4。
表 4 码流参数调整对照
项目 | 调整前 | 调整后 | 目的 |
|---|---|---|---|
码率上限 | 2048 kbps | 1024 kbps(必要时 512) | 降低解码负载 |
图像质量 | 最高 | 中等 | 减少码流复杂度 |
I 帧间隔 | 子码流 30/主码流 50 | 与帧率一致(15/25) | 出错后快速恢复 |
帧率 | 子码流 15/主码流 25 | 保持不变 | 避免动态拖影加剧 |
传输方式 | 默认 UDP | 强制 RTSP over TCP | 避免丢包破坏帧结构 |

图8 主码流编码参数(1280×960、25 fps、2048 kbps)

图9 子码流编码参数(704×576、15 fps、2048 kbps)

图10 子码流参数下调结果:1024 kbps、图像质量中等
5.2 传输方式与断流重连
默认 UDP 传输在丢包时直接破坏 H.264 帧结构,错误沿帧间预测持续扩散,表现为画面撕裂与反复重连。程序侧通过环境变量强制 TCP 传输,仅保留 rtsp_transport;tcp 一项,不再拼接多余参数;同时将解码缓冲设为 1,降低延迟。
断流处理采用整连接重建:读帧失败即释放句柄并重新建连,并对重连频率设限,避免高频重连拖垮机芯的码流服务。程序另设看门狗,连续 5 s 无有效帧即判定链路失效,保持报警电平输出。
6 检测模型与程序实现
6.1 模型部署
模型在电脑端导出为 ONNX 格式,不在板端导出,原因是板端安装深度学习框架依赖链复杂、编译耗时长且易失败。导出固定输入 640、开启图简化,导出结果与板端文件核对见图 11、图 12。模型经 U 盘拷入板端同一目录,拷贝后核对文件大小为约 12 MB 级,避免传输中断造成文件截断。

图11 板端核对模型文件大小,与导出文件一致

图12 导出成功并显示输出维度 (1, 84, 8400)
输出维度 (1, 84, 8400) 的含义为:1 个批次、84 个通道(4 个框参数加 80 个类别置信度)、8400 个候选位置。后处理按此维度解析,先筛置信度、再限类别、最后做坐标还原。
6.2 程序要点
程序分六个模块:流管理、预处理、推理、后处理、判决、IO 输出。关键设置如下:预处理保持宽高比缩放并记录填充量,坐标还原时先减填充再除比例,否则检测框会整体偏移;后处理只保留行人类别,屏蔽工件与夹具被误判为其他物体;置信度阈值取 0.55~0.65,阈值 0.40 时误报明显偏多;每 3~4 帧推理一次以降低算力占用。
判决以检测框底边中点为判据,即以人脚位置判断是否真正站在危险区域内,避免人员站在区域外仅手臂伸入造成误停。
6.3 运行效果

图13 程序运行界面:实时画面与检测结果输出
程序运行后可稳定输出“检测到人”的判定结果,画面叠加显示检测框与置信度,运行界面见图 13。调优完成后,正常加工时不再出现无关类别误报,人员进入视野即可触发判定。
7 现场问题与处理记录
7.1 视频链路类问题
首轮以纯拉流脚本验证链路,不加载模型,成功读帧并输出尺寸 576×704,确认机芯、网络、账号、路径均正确,结果见图 14。此后进入稳定性调试,先后出现四类现象:宏块解码失败(缺少相邻参考块)、CABAC 熵编码解析失败、RTP 序列号异常(bad cseq)、长时间告警后推理会话异常终止,现场记录见图 15 至图 18。

图14 纯拉流读帧成功,输出帧尺寸 576×704

图15 宏块解码失败:单帧损坏并向后续帧扩散

图16 CABAC 熵编码解析失败

图17 连续告警、断流重连与推理中断的完整记录

图18 RTP 序列号异常:传输丢包导致流同步错乱
处理措施为:强制 TCP 传输;下调码率与画质、I 帧间隔对齐帧率;断流整连接重建并限制重连频率;机芯与开发板直连组网、使用屏蔽线。调整后断流频次明显下降,但仍存在间歇性解码告警。根因指向机芯未强制基线档编码,需通过厂商客户端或接口下发编码参数,此项列入遗留工作。
7.2 推理兼容类问题
模型加载阶段,通用视觉库的推理后端读取该模型时抛出断言失败,报错定位在算子形状推导,见图 19;将导出算子集版本由 11 改为 12 后仍复现,见图 20。核对文件大小与输入尺寸均无误,更换推理后端后问题消失,说明模型本身正确、问题在推理框架对新版检测模型分支算子的支持不足。此后全部检测功能改用 ONNX Runtime 加载同一份模型。

图19 推理库加载模型时断言失败

图20 更换算子集版本后同一断言仍复现
该问题的工程启示是:模型格式通用并不等于推理后端兼容,边缘设备选型时应先在目标板卡做一次最小推理验证,再确定技术路线。
7.3 操作类问题
调试中另有两类操作失误,虽非技术缺陷,但会掩盖真实故障。一是传输参数拼接格式错误,将多段参数写入同一环境变量,导致参数解析失败、拉流直接失败,见图 21;正确做法是只保留 rtsp_transport;tcp 一项。二是把程序代码直接粘贴到终端执行,shell 将首行当作命令,返回“未找到命令”,见图 22;规范做法是先建文件再执行。

图21 传输参数拼接错误导致拉流失败

图22 代码误粘贴至终端,返回“未找到命令”
7.4 问题汇总
表 5 现场问题汇总
序号 | 问题现象 | 原因 | 处理措施 | 状态 |
|---|---|---|---|---|
1 | 拉流失败、鉴权报错 | 地址路径、端口、账号或通道不符 | 改用标准通道路径,核对端口与账号 | 已解决 |
2 | 解码告警、反复断流 | UDP 丢包、熵编码档位高、码率偏高 | 强制 TCP、降码降质、I 帧对齐、重连限频 | 明显改善 |
3 | RTP 序列号异常 | 传输层丢包与同步错乱 | TCP 传输、直连组网、屏蔽线 | 已改善 |
4 | 推理库断言失败 | 后端对模型分支算子支持不足 | 改用 ONNX Runtime | 已解决 |
5 | 传输参数解析失败 | 参数多段拼接写法不被识别 | 仅保留单项参数 | 已解决 |
6 | 检测框偏移、类别乱标 | 坐标还原未扣填充、未限类别、阈值偏低 | 修正还原公式、仅行人、上调阈值 | 已解决 |
7 | 单帧误检触发报警 | 缺少时间维度确认 | 连续 3 帧确认+区域判决+锁存 | 已解决 |
8 | 信号输出不稳 | 电平制式不匹配、共模干扰 | 增加光电隔离、强弱电分槽 | 已解决 |
9 | 无法强制基线档编码 | 机芯网页未暴露该参数 | 厂商客户端或接口下发 | 遗留 |
10 | 板载加速单元未启用 | 当前用 CPU 推理以保证算子兼容 | 后续做量化与加速部署 | 待优化 |
