RDK X5 AI 安全区域识别与云台联动预警系统

基于地平线 RDK X5 Module 与 Carrier Board,系统通过 USB 摄像头和板端 AI 实时识别人员,判断目标是否进入自定义安全区域,并在 H5 页面自动亮起告警、记录事件。目标坐标同步映射为云台水平与俯仰角,形成数字孪生跟踪效果;底板串口可扩展实体云台控制,适用于实验室、设备区等场景。

RDK X5 AI 安全区域识别与云台联动预警系统封面
jf_563336622026-11-21 14:15:41GPL-3.0
4
Star

PCBA

设计文件

KiCad图标RDK_X5_Module_Carrier_Board_KiCad_V1.12_wudi.zip11.57MB(0次下载)

源代码

EDA查看器

复制嵌入代码

详细介绍

RDK X5 AI 安全区域识别与云台联动预警系统

项目简介

本项目以地平线 RDK X5 Module 与 RDK X5 Module Carrier Board 为核心,构建面向重点区域的智能视觉守护终端。USB 摄像头持续采集现场画面,板端 AI 实时识别人员;当目标进入自定义安全区域时,系统自动触发红色告警并记录事件,同时将目标位置映射为云台水平、俯仰角度,在 H5 页面呈现数字孪生跟踪效果。

图 1:RDK X5 开发板与 USB 摄像头组成的原型系统。

应用构想

实验室设备区、仓储通道和展台周界常常需要同时完成“发现人员、判断位置、及时提醒”。本方案把人员识别、安全区域判别与云台指向放到同一板端流程中:摄像头负责感知,RDK X5 负责 AI 推理,H5 界面负责现场呈现。用户可直接在画面上拖动划定警戒区域,让监测范围随场景快速调整。

系统方案

USB 摄像头采集 → RDK X5 板端 YOLOv5 人员识别 → 安全区域判别 → 自动告警与事件记录 → 目标坐标映射 → 数字孪生云台跟踪

系统采用人员检测框的底部中心点作为区域判断位置,减少仅凭边框重叠造成的误判。进入区域时,人员框转为红色,告警灯点亮并生成事件记录;目标离开后,界面恢复安全状态。云台模块把画面坐标转换为水平与俯仰角度,为后续连接实体云台控制器提供直观的控制量。

硬件组成

  • 计算平台:RDK X5 Module 与配套 Carrier Board,承担摄像头接入、板端 AI 推理和 H5 展示。

  • 视觉采集:USB 摄像头,实时提供现场画面。

  • 云台扩展:利用底板串口连接云台控制器,作为后续实体指向与跟踪的硬件接口。

图 2:RDK X5 Module 与 Carrier Board 实物。

图 3:项目使用的 USB 摄像头。

核心功能与演示

  1. 实时 AI 识别:开发板接收 640×480 摄像头画面,调用板端 YOLOv5 模型识别人员并绘制检测框。

  2. 可编辑安全区域:在 H5 画面中拖动即可重画区域,适应不同场地的警戒边界。

  3. 自动报警:人员进入区域时,红色告警灯、入侵人数和事件记录同步更新。

  4. 数字孪生云台:根据目标在画面中的位置,实时展示虚拟云台指向及水平、俯仰角度,直观表现跟踪逻辑。

图 4:运行在 RDK X5 本地浏览器中的实时监测界面。

图 5:人员进入安全区域后,识别框、红色告警灯与云台指向联动。

技术原理

系统把“视觉检测—区域判定—页面联动—云台指向”组织成一条实时数据链。AI 推理在 RDK X5 板端执行,交互与可视化在开发板本地打开的 H5 页面中完成。

1. YOLOv5 人员识别

YOLOv5 将目标识别与位置预测合在一次推理中,输出类别、置信度和检测框。项目使用 RDK X5 上的 YOLOv5s 模型,保留其中的 person 检测结果,作为后续区域判断和云台指向的共同输入。

处理环节

本项目的实现

输出

画面采集

USB 摄像头采集现场画面,请求 640×480 分辨率

原始视频帧

模型预处理

调整到模型输入尺寸,并转换为 NV12 图像格式

模型输入数据

板端推理

YOLOv5s 检出画面中的候选目标

类别、置信度、检测框

结果筛选

进行置信度筛选与非极大值抑制,只保留 person

人员框与位置坐标

其中,非极大值抑制用于筛除同一人员周围重复的候选框,让页面上的检测结果更清晰。

2. 框选区域与进入判定

用户在画面上拖动鼠标,得到矩形区域 zone = (左, 上, 右, 下)。区域坐标按画面宽高归一化到 0~1,因此页面尺寸变化后仍能保持对应位置。判定时取人员框的底部中心点近似表示人员落脚位置,避免仅因上半身或检测框边缘碰到区域就触发告警。

对每个检测到的人员:
    落脚点.x = (框左边 + 框右边) / (2 × 画面宽度)
    落脚点.y = 框下边 / 画面高度
    在区域内 = 区域左 ≤ 落脚点.x ≤ 区域右
             且 区域上 ≤ 落脚点.y ≤ 区域下

区域内人数 = 满足“在区域内”的人员数量
告警状态 = 区域内人数 > 0

3. H5 页面联动

板端接口提供视频帧、人员框坐标和帧序号。H5 页面获取新帧后,在视频上方的 Canvas 图层绘制安全区域与检测框,再根据区域判定结果更新告警面板。

数据或状态

页面处理

可见效果

新视频帧与人员框

按画面比例绘制人员位置

实时画面和跟踪框

区域内人数大于 0

将告警状态设为触发

人员框变红、红色告警灯点亮

从安全切换为告警

增加一次入侵事件并记录时间

事件计数与记录更新

区域恢复无人

恢复安全状态并记录恢复事件

绿色状态灯重新显示

这样,识别框、安全区域、事件记录和告警灯由同一帧检测结果驱动,画面与状态能够同步变化。

4. 云台转向计算

系统优先跟随区域内人员;没有区域内人员时,从已检测人员中选择跟踪目标。取目标框中心点 (x, y),同样归一化到 0~1。以画面中心 (0.5, 0.5) 对应水平和俯仰各 90°,将目标偏移量映射为两个角度:

水平角 Pan  = 限幅(90 + (x - 0.5) × 120,30°~150°)
俯仰角 Tilt = 限幅(90 + (0.5 - y) × 80,50°~130°)

目标向左,水平角减小;目标向上,俯仰角增大。当前角度用于驱动 H5 中的数字孪生云台指向演示;后续可通过底板串口把角度发送给实体云台控制器。

项目价值与后续扩展

项目将边缘 AI、可配置安全区域、自动报警和云台数字孪生整合为一套可交互原型。现场画面与检测逻辑在 RDK X5 开发板本地运行,便于部署和展示。后续可通过底板串口接入实体云台控制器,让页面中的角度映射进一步驱动真实设备,形成从视觉感知到物理跟踪的完整系统。