RDK X5 AI 安全区域识别与云台联动预警系统
项目简介
本项目以地平线 RDK X5 Module 与 RDK X5 Module Carrier Board 为核心,构建面向重点区域的智能视觉守护终端。USB 摄像头持续采集现场画面,板端 AI 实时识别人员;当目标进入自定义安全区域时,系统自动触发红色告警并记录事件,同时将目标位置映射为云台水平、俯仰角度,在 H5 页面呈现数字孪生跟踪效果。

图 1:RDK X5 开发板与 USB 摄像头组成的原型系统。
应用构想
实验室设备区、仓储通道和展台周界常常需要同时完成“发现人员、判断位置、及时提醒”。本方案把人员识别、安全区域判别与云台指向放到同一板端流程中:摄像头负责感知,RDK X5 负责 AI 推理,H5 界面负责现场呈现。用户可直接在画面上拖动划定警戒区域,让监测范围随场景快速调整。
系统方案
USB 摄像头采集 → RDK X5 板端 YOLOv5 人员识别 → 安全区域判别 → 自动告警与事件记录 → 目标坐标映射 → 数字孪生云台跟踪
系统采用人员检测框的底部中心点作为区域判断位置,减少仅凭边框重叠造成的误判。进入区域时,人员框转为红色,告警灯点亮并生成事件记录;目标离开后,界面恢复安全状态。云台模块把画面坐标转换为水平与俯仰角度,为后续连接实体云台控制器提供直观的控制量。
硬件组成
计算平台:RDK X5 Module 与配套 Carrier Board,承担摄像头接入、板端 AI 推理和 H5 展示。
视觉采集:USB 摄像头,实时提供现场画面。
云台扩展:利用底板串口连接云台控制器,作为后续实体指向与跟踪的硬件接口。

图 2:RDK X5 Module 与 Carrier Board 实物。

图 3:项目使用的 USB 摄像头。
核心功能与演示
实时 AI 识别:开发板接收 640×480 摄像头画面,调用板端 YOLOv5 模型识别人员并绘制检测框。
可编辑安全区域:在 H5 画面中拖动即可重画区域,适应不同场地的警戒边界。
自动报警:人员进入区域时,红色告警灯、入侵人数和事件记录同步更新。
数字孪生云台:根据目标在画面中的位置,实时展示虚拟云台指向及水平、俯仰角度,直观表现跟踪逻辑。

图 4:运行在 RDK X5 本地浏览器中的实时监测界面。

图 5:人员进入安全区域后,识别框、红色告警灯与云台指向联动。
技术原理
系统把“视觉检测—区域判定—页面联动—云台指向”组织成一条实时数据链。AI 推理在 RDK X5 板端执行,交互与可视化在开发板本地打开的 H5 页面中完成。
1. YOLOv5 人员识别
YOLOv5 将目标识别与位置预测合在一次推理中,输出类别、置信度和检测框。项目使用 RDK X5 上的 YOLOv5s 模型,保留其中的 person 检测结果,作为后续区域判断和云台指向的共同输入。
处理环节 | 本项目的实现 | 输出 |
|---|---|---|
画面采集 | USB 摄像头采集现场画面,请求 640×480 分辨率 | 原始视频帧 |
模型预处理 | 调整到模型输入尺寸,并转换为 NV12 图像格式 | 模型输入数据 |
板端推理 | YOLOv5s 检出画面中的候选目标 | 类别、置信度、检测框 |
结果筛选 | 进行置信度筛选与非极大值抑制,只保留 | 人员框与位置坐标 |
其中,非极大值抑制用于筛除同一人员周围重复的候选框,让页面上的检测结果更清晰。
2. 框选区域与进入判定
用户在画面上拖动鼠标,得到矩形区域 zone = (左, 上, 右, 下)。区域坐标按画面宽高归一化到 0~1,因此页面尺寸变化后仍能保持对应位置。判定时取人员框的底部中心点近似表示人员落脚位置,避免仅因上半身或检测框边缘碰到区域就触发告警。
对每个检测到的人员:
落脚点.x = (框左边 + 框右边) / (2 × 画面宽度)
落脚点.y = 框下边 / 画面高度
在区域内 = 区域左 ≤ 落脚点.x ≤ 区域右
且 区域上 ≤ 落脚点.y ≤ 区域下
区域内人数 = 满足“在区域内”的人员数量
告警状态 = 区域内人数 > 03. H5 页面联动
板端接口提供视频帧、人员框坐标和帧序号。H5 页面获取新帧后,在视频上方的 Canvas 图层绘制安全区域与检测框,再根据区域判定结果更新告警面板。
数据或状态 | 页面处理 | 可见效果 |
|---|---|---|
新视频帧与人员框 | 按画面比例绘制人员位置 | 实时画面和跟踪框 |
区域内人数大于 0 | 将告警状态设为触发 | 人员框变红、红色告警灯点亮 |
从安全切换为告警 | 增加一次入侵事件并记录时间 | 事件计数与记录更新 |
区域恢复无人 | 恢复安全状态并记录恢复事件 | 绿色状态灯重新显示 |
这样,识别框、安全区域、事件记录和告警灯由同一帧检测结果驱动,画面与状态能够同步变化。
4. 云台转向计算
系统优先跟随区域内人员;没有区域内人员时,从已检测人员中选择跟踪目标。取目标框中心点 (x, y),同样归一化到 0~1。以画面中心 (0.5, 0.5) 对应水平和俯仰各 90°,将目标偏移量映射为两个角度:
水平角 Pan = 限幅(90 + (x - 0.5) × 120,30°~150°)
俯仰角 Tilt = 限幅(90 + (0.5 - y) × 80,50°~130°)目标向左,水平角减小;目标向上,俯仰角增大。当前角度用于驱动 H5 中的数字孪生云台指向演示;后续可通过底板串口把角度发送给实体云台控制器。
项目价值与后续扩展
项目将边缘 AI、可配置安全区域、自动报警和云台数字孪生整合为一套可交互原型。现场画面与检测逻辑在 RDK X5 开发板本地运行,便于部署和展示。后续可通过底板串口接入实体云台控制器,让页面中的角度映射进一步驱动真实设备,形成从视觉感知到物理跟踪的完整系统。
