基于 RA8D1 Vision Board 与乐高科技系列的 视觉分拣机器人项目文档

基于 RA8D1 Vision Board 与乐高科技系列的 视觉分拣机器人项目文档

基于 RA8D1 Vision Board 与乐高科技系列的 视觉分拣机器人项目文档封面
jf_084411942026-11-21 14:15:26Unlicense
5
Star

PCBA

详细介绍

基于 RA8D1 Vision Board 与乐高科技系列的

视觉分拣机器人项目文档

AI 视觉 + 乐高机械结构的端侧智能机器人设计方案

文档名称

乐高视觉分拣机器人项目设计文档

版本

V1.0

日期

2026 年 11 月

适用平台

瑞萨 RA8D1 Vision Board + 乐高 MINDSTORMS EV3 / 科技系列 51515

目标读者

创客、嵌入式开发者、机器人竞赛选手、高校创新课程学生

文档性质

技术方案 + 搭建指南(含代码示例)

 


 

目录

打开文档时按 F9 或右键“更新域”以刷新目录


 

一、项目概述

本项目将瑞萨 RA8D1 Vision Board 与乐高科技系列机械结构结合,构建一个低成本、可教学的端侧 AI 视觉分拣机器人。核心思路是用 Vision Board 承担原本乐高 EV3 颜色传感器做不好的事情——从摄像头画面里识别物体类别、姿态与位置,再把决策结果通过串口或 I²C 下发给乐高主机,由乐高侧负责电机、机械臂与底盘的精密运动控制。

传统乐高 EV3 机器人做视觉巡线或分拣时,摄像头与 EV3 主控在机械固定、供电、数据接口上往往不兼容,两套编程系统也无法联动,导致识别到的路线信息无法同步传递给主控,最终难以形成完整的闭环控制逻辑。RA8D1 Vision Board 自带摄像头接口、32 MB SDRAM、8 MB Flash,并原生兼容 OpenMV 生态,正好补齐了乐高机器人在视觉感知上的短板。

1.1 项目定位

这是一个典型的双系统协作方案:上位视觉大脑 + 下位运动执行。Vision Board 负责“看懂”,乐高负责“做好”,两者通过标准串口协议解耦,互不绑定具体型号。

1.2 功能目标

·       实时分类:识别红、黄、蓝三色乐高元件,或扩展至数字、字母、路标等特征,准确率目标 ≥ 90%。

·       位置估计:输出目标在画面中的像素坐标与面积,供机械臂对准抓取。

·       闭环控制:Vision Board 下发指令 → 乐高主机驱动电机与机械臂 → 完成分拣并回传状态。

·       可视化:识别框与结果实时叠加显示在 LCD 或通过 OpenMV IDE 查看。

·       可教学:全程可用 MicroPython 脚本完成,适合课堂演示与学生动手实践。

1.3 设计目标一览

指标

目标值

说明

端到端响应

≤ 200 ms

从采集到下发指令,含推理与预处理

分类准确率

≥ 90%

三分类,每类 ≥ 200 张训练样本

供电电压

5 V / 2 A

视觉板与乐高主机建议独立供电共地

通信波特率

115200 bps

串口,8N1,简单文本协议

工作距离

15–30 cm

摄像头离地约 11 个乐高单位

 


 

二、系统架构

整个系统分为三个层次:视觉感知层、通信层、运动执行层。视觉感知层以 RA8D1 Vision Board 为核心,运行 OpenMV 固件与 MicroPython 脚本;运动执行层以乐高 MINDSTORMS EV3 或 51515 智能运动底盘为主机,驱动大型电机与中型电机;两层之间以串口或 I²C 总线连接,约定一套轻量文本协议。

2.1 架构图(逻辑)

摄像头 → OV 传感器 → RA8D1(480 MHz Cortex-M85 + Helium)→ 推理/决策 → UART/I²C → 乐高主机 → 电机/机械臂/底盘

↓(并行)

MIPI-DSI / RGB666 显示屏 或 OpenMV IDE 实时预览

 

图1  系统架构:视觉感知—通信—运动执行三层

2.2 角色分工

模块

职责

关键技术

RA8D1 Vision Board

采集图像、预处理、TFLite 推理、发送控制指令

OpenMV / MicroPython / TFLite

乐高 EV3 / 51515 主机

电机控制、机械臂动作、底盘巡线

Pybricks / EV3-G

乐高机械结构

承载与固定,提供驱动底座与传动机构

齿轮、梁、轴、连接件

供电与连接

5 V 稳压、共地、支架固定

杜邦线、3D 打印件

 


 

三、硬件选型与连接

3.1 材料清单

部件

推荐型号

数量

用途

主控板

瑞萨 RA8D1 Vision Board

1

视觉大脑

乐高套装

MINDSTORMS EV3 31313 或 科技系列 51515

1

运动底盘与机械臂

摄像头

板载 OV 摄像头(兼容 16 位摄像头接口)

1

图像采集

USB 线

USB-OTG / USB-DBG

2

烧录与调试

杜邦线

母对母 4 芯

1

串口接线

固定件

3D 打印支架 / 积木转接件

1

摄像头与视觉板固定

电源

5 V/2 A 稳压模块

1

独立供电

3.2 电气连接

Vision Board 与乐高主机之间通过串口通信。乐高 EV3 的传感器/电机端口为专有接口,直接连接需要转接板;更简单的做法是使用 EV3 的 USB 主机口接串口模块,或通过蓝牙/串口透传模块中转。51515(SPIKE Prime 主控)则可通过其 I/O 端口配合电平转换后直连。

·       Vision Board TX → 乐高主机 RX(经电平转换,3.3 V 对乐高侧)

·       Vision Board RX → 乐高主机 TX

·       GND 共地,务必接在一起,否则串口信号不稳

·       视觉板与乐高主机建议分别供电,避免电机启动瞬间拉低电压导致视觉板复位

3.3 机械固定要点

摄像头与 EV3 主控在结构、接口上并不匹配,拼接积木后镜头高度、角度容易不稳。建议把视觉板与摄像头固定在机械臂上方或底盘前端,离地约 11 个乐高单位:太近则视野内黑线占比过大、敏感度不足,太远则过于敏感、容易误判。摄像头朝向应可调,方便在不同场地快速标定。


 

四、视觉模型训练流程

模型训练采用“实采 + Edge Impulse / 本地 TensorFlow Lite”两条路线,后者可完全离线、可控性更强,本方案以本地训练流程为主。

4.1 数据采集

用板载摄像头在不同光照、角度、距离下采集各类目标的图像,按类别分文件夹存放。乐高元件建议每类至少 200 张,背景尽量覆盖实际分拣场景。采集脚本可直接在 OpenMV IDE 里运行,把帧通过串口或 U 盘导出到 PC。

4.2 模型结构选择

方案

参数量级

适用场景

备注

TinyCNN

数千–数万

三分类、红黄蓝元件

最快,arena 占用小

MobileNetV2 α=0.35

数十万

多分类、特征识别

可迁移学习

OpenMV find_blobs

无需训练

纯色块分拣

无 AI,最快上手

4.3 训练与量化脚本

以下脚本演示了从数据集加载、训练到 int8 全量化转换的完整链路。量化校准集必须与板端预处理完全一致(RGB 顺序、除以 255),否则精度会明显下降。

import tensorflow as tf

 

def representative_dataset():

    for path in calibration_images[:300]:   # 用实采帧做校准

        img = tf.io.read_file(path)

        img = tf.image.decode_jpeg(img, channels=3)

        img = tf.image.resize(img, [96, 96])

        img = tf.cast(img, tf.float32) / 255.0

        yield [img[tf.newaxis, ...]]

 

converter = tf.lite.TFLiteConverter.from_saved_model("model_dir")

converter.optimizations = [tf.lite.Optimize.DEFAULT]

converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]

converter.inference_input_type = tf.int8

converter.inference_output_type = tf.int8

converter.representative_dataset = representative_dataset

 

tflite_model = converter.convert()

open("model_int8.tflite", "wb").write(tflite_model)

4.4 导出为 C 数组

xxd -i model_int8.tflite > model.cc

# 产物 model.cc 中的 unsigned char 数组可直接编进固件

4.5 量化前后对照

项目

FP32 原模型

int8 量化后

模型体积

约 200–400 KB

压缩约 4 倍

推理精度

基准

通常下降 < 2 个百分点

运算后端

TFLM 参考内核

CMSIS-NN Helium 加速

arena 占用

较大

明显更小

 


 

五、OpenMV 端侧部署

Vision Board 烧录 OpenMV 固件后,即可用 MicroPython 脚本完成推理。固件编译路径为 SDK 中的 projects/vision_board_openmv,需在 menuconfig 中开启 Enable tflite support。

5.1 推理脚本骨架

import sensor, image, tf, time

 

sensor.reset()

sensor.set_pixformat(sensor.RGB565)

sensor.set_framesize(sensor.QVGA)   # 320x240

sensor.skip_frames(30)

sensor.set_auto_gain(False)

 

net = tf.load("/sd/model_int8.tflite")

labels = ["red", "yellow", "blue"]

 

clock = time.clock()

while True:

    clock.tick()

    img = sensor.snapshot()

    img.lens_corr(1.8)

    out = net.classify(img, min_scale=1.0, scale_mul=0.5, x_overlap=0.0, y_overlap=0.0)

    if out and out[0].output():

        scores = out[0].output()

        idx = scores.index(max(scores))

        print("label=%s score=%.2f fps=%.1f" % (labels[idx], scores[idx], clock.fps()))

        img.draw_string(2, 2, labels[idx], color=(0, 255, 0))

    # 通过 UART 下发指令给乐高主机

    # uart.write("GRAB:%s\n" % labels[idx])

5.2 烧录步骤

1.     安装 MDK5.38 与 OpenMV IDE,下载 SDK 并打开 projects/vision_board_openmv。

2.     执行 mklinks.bat,用 menuconfig 开启 Enable OpenMV for RT-Thread 与 Enable tflite support。

3.     编译工程(约 5 分钟),用 J-Link 或 DAP-Link 烧录 .bin 到开发板。

4.     复位开发板,USB-DBG 与 USB-OTG 均接入电脑,OpenMV IDE 右下角出现 USB 图标即表示连接成功。

5.     将 model_int8.tflite 与 labels.txt 放入 SD 卡,运行脚本即可看到实时识别结果。

5.3 编译选项(Helium 加速关键)

# 编译器需使用 LLVM Embedded Toolchain for Arm 或 arm-gnu-toolchain 13.2+

-mcpu=cortex-m85 -mfloat-abi=hard -mfpu=auto

-DCMSIS_NN   # 启用 CMSIS-NN v6 的 MVE int8 内核

-O2

若不开启上述选项,CMSIS-NN 会退化为标量实现,推理速度可能下降数倍。


 

六、乐高运动控制程序

乐高侧程序以 EV3 MicroPython(Pybricks)为例,负责解析串口指令并驱动底盘与机械臂。该思路同样适用于 51515 与 SPIKE Prime。

6.1 主循环逻辑

from pybricks.ev3devices import Motor

from pybricks.parameters import Port

from pybricks.tools import wait

from pybricks.robotics import DriveBase

 

left = Motor(Port.B)

right = Motor(Port.C)

arm = Motor(Port.A)

robot = DriveBase(left, right, wheel_diameter=55.5, axle_track=104)

 

CUP = {"red": 90, "yellow": 180, "blue": 270}   # 各颜色对应的投放角度

 

def grab_and_sort(color):

    robot.straight(150)          # 前进到抓取位

    arm.run_angle(500, 120)      # 机械臂抓取

    robot.turn(CUP[color])       # 转向对应料槽

    arm.run_angle(500, -120)     # 释放

    robot.turn(-CUP[color])      # 回正

 

# 主循环:读取串口指令并执行

import serial

uart = serial.Serial("/dev/tty_in", baudrate=115200)

while True:

    line = uart.readline().strip()

    if line.startswith("GRAB:"):

        grab_and_sort(line.split(":")[1])

 

图3  抓取—识别—投放状态机与乐高执行部件映射

6.2 串口协议定义

指令

含义

示例

GRAB:<color>

抓取并投放指定颜色

GRAB:red

MOVE:<mm>

底盘直行指定毫米

MOVE:150

TURN:<deg>

底盘转向指定角度

TURN:90

STATUS:<ok/err>

乐高侧回传状态

STATUS:ok

 


 

七、搭建与调试指南

7.1 机械搭建步骤

6.     用 EV3 或 51515 套装搭建驱动底座,确认左右电机端口(通常为 B、C)。

7.     在底座上加装机械臂结构,中型电机或中型电机负责抓取动作。

8.     把 Vision Board 与摄像头固定在机械臂上方,镜头朝向分拣区域,离地约 11 个乐高单位。

9.     用 3D 打印支架或自制转接件固定摄像头,确保颠簸时不会松动。

10.  分别给视觉板与乐高主机供电,将 GND 接在一起。

 

图2  EV3 底盘与机械爪搭建示意图(尺寸按乐高单位标注)

7.2 软件调试顺序

11.  先单独跑通 OpenMV 识别:确认摄像头能出图、模型能推理、结果正确。

12.  再单独跑通乐高运动:用固定指令测试底盘直行、转向与机械臂动作。

13.  最后打通串口联动:从最简单的 GRAB:red 单指令开始,逐步加入异常处理。

7.3 常见问题与对策

现象

可能原因

对策

识别频繁出错、跑偏

摄像头安装不稳、角度变化

加固支架,重新标定阈值

画面中断、线路松动

颠簸导致接触不良

整理布线,使用卡扣固定

雨天/反光干扰严重

地面积水反光

改用俯视角度,降低自动增益

视觉板偶发复位

电机启动拉低电压

视觉板独立供电,加去耦电容

CMSIS-NN 加速不明显

未开 Helium 编译选项

检查 -mcpu=cortex-m85 与 -DCMSIS_NN

 


 

八、扩展方向与竞赛建议

本方案的核心价值在于把“视觉感知”与“机械执行”解耦,因此可以灵活扩展而不必推倒重来。

8.1 功能扩展

·       从三分类升级到数字、字母、路标识别,复用同一套推理与通信框架。

·       增加二维码识别,让机器人按场地指令动态切换任务。

·       加入超声波或陀螺仪数据,在乐高侧实现避障与航位推算。

·       把分拣结果通过 Wi-Fi / MQTT 上报到 PC 端大屏,做数据看板。

8.2 竞赛与课程建议

该方案适合机器人竞赛中的视觉题、创客马拉松、嵌入式综合实训以及中小学科技课程。建议分两组协作:一组负责机械搭建与运动控制,一组负责模型训练与视觉算法,最后通过串口协议联调,既分工明确又贴近真实工程项目流程。

8.3 验收清单

验收项

标准

结果

模型准确率

≥ 90%

□ 通过  □ 未通过

端到端响应

≤ 200 ms

□ 通过  □ 未通过

串口联动

指令可正确执行

□ 通过  □ 未通过

机械稳定性

连续运行 10 分钟无松动

□ 通过  □ 未通过

独立供电

电机启动不导致视觉板复位

□ 通过  □ 未通过

 

 

—— 文档结束 ——

附录 A  机械分步搭建说明(EV3 45544/45560)

以下为 EV3 视觉分拣机器人的逐层搭建说明。整套结构以 EV3 核心套装(45544)为基础,扩展套装(45560)提供长梁与齿轮件;若手头仅有 EV3 家庭版(31313),可对应替换同类尺寸梁件,不影响整体结构。所有尺寸以「乐高单位」计量,1 乐高单位 = 8mm(一片 1×1 薄片的高度)。

A.1  步骤 1:搭建底盘骨架(约 19×13 乐高单位)

图 A-1  底盘骨架装配示意图(俯视,19×13 乐高单位,四角角梁加固)

用两根 15 孔梁平行摆放作为左右纵梁,前端与后端各用一根 9 孔梁横接,构成矩形底盘框架。四角各用直角连接件(角梁)加固,防止行驶中变形。

A.2  步骤 2:安装驱动轮与转向

图 A-2  驱动轮与万向轮安装示意图(B/C 口中型马达直驱)

部件

数量

安装位置与说明

中型马达

2

左右纵梁外侧各 1 个,输出轴朝外,用长轴直接驱动轮胎

橡胶轮胎(带轮毂)

2

装于中型马达输出轴,抓地力优于小滑轮

前万向轮

1

装于底盘前端横梁中点,承担前部支撑与转向

轴套 / 半轴

若干

固定轮胎轴向位置,避免晃动

 

A.3  步骤 3:固定 EV3 智能砖

将 EV3 智能砖用梁与销固定于底盘中央,屏幕朝后、端口朝上,便于插拔线缆与查看运行状态。智能砖下方垫一片 2 单位薄片减震。端口分配:A 口 → 左驱动、B 口 → 机械爪开合、C 口 → 右驱动、D 口 → 爪升降、1 口 → 颜色传感器。

A.4  步骤 4:搭建机械爪与升降机构

图 A-3  门形架与齿条-齿轮升降机构示意图(后视)

在底盘后端用两根 11 孔立柱梁竖直立起,顶部用 9 孔梁连接构成「门形架」。大型马达固定于门形架顶部横梁中点,通过齿条-齿轮将旋转转为爪台的升降运动。爪台下方装两片反向铰接的爪指,由 B 口中型马达经齿轮组驱动开合。

A.5  步骤 5:安装传感器与视觉板支架

图 A-4  机械爪部件分解示意图(反向铰接爪指)

颜色传感器装于前万向轮侧,贴近地面约 1 乐高单位,用于检测投放到位。RA8D1 Vision Board 固定于门形架横梁正上方、爪台之后,镜头朝下俯视输送区;摄像头离地高度约为 11 个乐高单位——这一高度下视野既能覆盖整条输送路径,目标物在画面中又不会过小。Vision Board 的供电取自独立 5V/2A 电源,不要从 EV3 的 7.2V 电池取电,避免电压不稳导致板子复位。

图 A-5  EV3 智能砖与传感器 / Vision Board 总装示意图(摄像头离地约 11 乐高单位)

附录 B  EV3-G 图形化编程方案(乐高官方软件)

若教学场景不便使用 Pybricks MicroPython,可改用乐高官方 EV3 软件(EV3-G,基于 LabVIEW)实现同样的运动控制逻辑。以下给出程序结构与关键积木配置,串口通信部分需借助 EV3 社区的 Serial 通信积木扩展(Serial Write / Serial Read)。

B.1  主程序结构(顶层循环)

图 B-1  EV3-G 顶层流程(伪积木表示)

[开始]

  ├─ 电机初始化:A=左驱动 / C=右驱动 / B=爪开合 / D=爪升降

  ├─ 串口初始化:波特率 115200,8N1

  └─ 无限循环:

       ├─ [等待] 颜色传感器触发(反射光 < 阈值)→ 目标进入视野

       ├─ [串口读取] 阻塞读取 4 字节:帧头(0xAA 0x55) + 命令字 + 校验

       ├─ [切换] 命令字

       │    ├─ 0x01 → 执行「前进抓取」子程序

       │    ├─ 0x02 → 执行「抬升投放」子程序

       │    └─ 0xFF → [串口写入] "ERR" 并停机报警

       └─ [串口写入] "READY" 回执

[结束]

 

B.2  前进抓取子程序(积木配置要点)

积木 / 模块

参数设置

作用

移动转向(Move Tank)

A/C 端口,功率 40/-40,旋转 180°

底盘原地右转 90° 对准目标

中型马达(Medium Motor)

B 端口,开启指定度数 = -200

爪指闭合夹紧目标

等待(Wait)

时间 0.3 秒

夹紧稳定后再抬升

大型马达(Large Motor)

D 端口,开启 90°

爪台抬升离地

移动转向

A/C 端口,功率 30,旋转 -360°

底盘倒退回原点

 

B.3  抬升投放子程序(积木配置要点)

积木 / 模块

参数设置

作用

移动转向

A/C 端口,功率 40,旋转 360°

底盘左转 90° 面向投放区

中型马达

B 端口,开启 200°

爪指张开投放目标

大型马达

D 端口,开启 -90°

爪台下降复位

移动转向

A/C 端口,功率 40/-40,旋转 180°

底盘右转 90° 回原点

颜色传感器—比较

反射光 < 15

确认爪台已回到起点

 

B.4  串口通信积木扩展说明

EV3-G 原生积木不含串口读写,需导入社区开发的 Serial 扩展积木(如 EV3 Serial Communication Block),将其 .rbf 文件放入 EV3 的 /prjs 目录并在软件中加载。导入后即可使用 Serial Write(发字符串/字节数组)与 Serial Read(读固定字节)积木,配合 [文本转字节数组] 积木拼装协议帧。注意:EV3-G 的字符串为 UTF-8,发送 0xAA、0x55 等十六进制字节需使用「字节数组」类型而非普通文本。

B.5  与 Pybricks 方案的取舍

对比项

EV3-G 图形化

Pybricks MicroPython

上手难度

低,拖拽积木即可

中,需基础 Python

串口能力

需导入社区扩展积木

原生支持 UART

程序体积

较大,编译后 .rbf

小,可直接跑 .py

教学适配

适合小学/初中入门

适合高中/竞赛进阶

实时性

图形调度略有延迟

事件循环更可控