基于 RDK X5 的双目立体视觉工业质检与三维尺寸量测终端

衍生自官方参考设计，基于 RDK X5 核心板（8GB+10TOPS）4 层工业底板，支持双路独立 MIPI-CSI 视觉输入，构建 StereoNet + YOLOv8-Seg 异构流水线，在桌面固定工装下实现 ≥2mm 高度差防呆质检。

基于 RDK X5 的双目立体视觉工业质检与三维尺寸量测终端封面
人工智能机器人RDK X5
A北星之光2026-10-04 23:16:46Apache-2.0
8
Star

PCBA

设计文件

KiCad图标RDK_X5_Module_Carrier_Board_KiCad_V2.0.zip13.00MB（1次下载）

生产BOM

EDA查看器

复制嵌入代码

详细介绍

基于 RDK X5 的双目立体视觉工业质检与三维尺寸量测终端

一、项目背景与核心痛点

传统工业工位检测存在两个结构性矛盾：

  1. 2D 视觉能力受限：普通工业相机只能获取平面图像，无法测量工件高度、装配垫片厚度、螺栓拧紧下陷，亦无法区分表面油污划痕与物理凹坑缺陷；

  2. 3D 方案性价比断层：工业级激光轮廓仪动辄数万元；传统 CPU 双目依赖 SGBM 算法，在弱纹理、反光金属表面视差图大面积失效，帧率通常低于 5 FPS。

本项目依托地瓜机器人 RDK X5 MD 108032S 核心模组（8 核 Cortex-A55 @1.8GHz、10 TOPS INT8 BPU、8GB LPDDR4x、32GB eMMC 5.1），基于地瓜官方4 层高密工业底板。前端支持双路独立 MIPI-CSI 视觉输入，算法端构建“StereoNet 轻量视差 + YOLOv8n-Seg 目标分割”异构并发流水线，面向固定装配工位与桌面质检，打造高性价比的嵌入式 3D 尺寸测量与缺陷质检终端。

二、硬件系统与底板设计要点

1. 开源参考与衍生说明

本项目底板基于华秋开源社区官方推荐的 地瓜机器人 RDK X5 Module 开发板 - 华秋开源硬件社区，进行个性化修改：

  • 供电滤波与接口防护：增加12V输入，提高供电稳定性。

三、软件架构、算力分配与实测校准

1. 异构处理流水线

[双路独立 MIPI 图像输入 (软件同步 / 外挂脉冲)]
              │
              ▼
[板载硬件 ISP：去畸变 + 极线校正 (零额外算力消耗)]
              │
              ├─────────────────────────────┐
              ▼                             ▼
【分支 1：StereoNet 轻量视差】     【分支 2：目标与轮廓分割】
- 640×352 INT8 量化部署            - YOLOv8n-Seg 640×640 INT8
- 2D 代价体特征相关与聚合          - 关键工件轮廓与 ROI 圈定
- BPU 算力占用：~4.5 TOPS          - BPU 算力占用：~2.5 TOPS
- 推理耗时：15~25 ms                - 推理耗时：~10.8 ms
              │                             │
              └──────────────┬──────────────┘
                             ▼
                 【3D 点云解算与尺寸判定】
                 - 视差转物理深度 Z = (baseline × fx) / disparity
                 - ROI 区域平均高度提取与装配漏装判定
                             ▼
                 【C++ 高性能后处理与控制输出】
                 - 全栈 C++ 避免 Python 循环带来的 60ms 延迟
                 - HDMI 屏幕实时标注 + GPIO 控制信号输出

2. 算力与性能预算

  • 总算力负荷：双模型并发总占用约 7.0 TOPS（BPU 整体利用率控制在约 70%），既充分发挥 10 TOPS 算力，又将 LPDDR4x 内存总线负载限制在安全范围内，规避带宽过载与掉帧发热；

  • 系统帧率：结合硬件 ISP 零拷贝与高效 C++ 后处理，系统端到端推理与显示帧率稳定在 25~30 FPS。

3. 真实精度定位

  • 正视当前轻量视差模型的物理限制，不虚标 0.5mm 级工业计量精度；

  • 在 0.5m~1.0m 桌面固定工装 + 低畸变定焦镜头 + 标准量块参照下；

  • 目标实现对高度差 ≥2mm 的装配垫片漏装、螺栓未拧紧、工件翘曲 100% 稳定检出；高度重复测量精度控制在 ≤2mm。

四、项目边界与风险控制

  1. 避免 Conv3D 算子陷阱：不采用原始 3D 卷积代价聚合模型，全线锁定“2D 代价体 + 2D 卷积聚合 + 引导滤波上采样”，规避 BPU 硬件算子回退到 A55 CPU 的风险。

  2. 双目同步分步实施：初期针对桌面静止工装，采用软件时间戳对齐与固定基线标定；后续若接入动态产线，直接利用底板引出的触发排针接入外部单片机模拟脉冲，不重构底层内核驱动。

  3. 后处理全 C++ 闭环：坚决弃用 Python 做多点云逐像素提取，后处理阶段全由 C++ 编写，规避社区已知的 60ms 级调度性能悬崖。

五、实施里程碑与交付物

阶段

周期

实施内容

阶段交付物

阶段一

第 1~2 周

底板 Gerber 导出、DRC 复核、华秋 4 层板打样与元器件贴片焊接调试

完整 Gerber 文件包、PCB 裸板与点亮测试报告

阶段二

第 3~4 周

调通双路独立 MIPI 驱动，进行低畸变镜头调焦与胶水固化，跑通张氏标定

双路无畸变对齐视频流、离线标定校正参数表

阶段三

第 5~6 周

完成 StereoNet INT8 转化与 baseline 校准，编写 YOLOv8-Seg C++ 后处理程序

BPU 专用 .bin 模型、C++ 端到端推理工程源码

阶段四

第 7~8 周

搭建桌面工装与标准量块，测试 ≥2mm 阶梯漏装检出率，验证 GPIO 状态联动

开源原理图/PCB、全套算法代码、实测报告与演示视频

开源交付清单：

  • 硬件开源：原理图源文件、PCB Layout 图纸、生产 Gerber 包、完整 BOM 表；

  • 软件开源：StereoNet/YOLOv8 模型转换脚本、BPU 板端 C++ 推理主程序、标定与测试用例；

  • 技术文档：底板调试避坑指南、双目精度校准与测试报告。

  • 先打样底板回来，再补充后续项目数据。