基于 RA8D1 Vision Board 与乐高科技系列的
视觉分拣机器人项目文档
AI 视觉 + 乐高机械结构的端侧智能机器人设计方案
文档名称 | 乐高视觉分拣机器人项目设计文档 |
版本 | V1.0 |
日期 | 2026 年 11 月 |
适用平台 | 瑞萨 RA8D1 Vision Board + 乐高 MINDSTORMS EV3 / 科技系列 51515 |
目标读者 | 创客、嵌入式开发者、机器人竞赛选手、高校创新课程学生 |
文档性质 | 技术方案 + 搭建指南(含代码示例) |
目录
打开文档时按 F9 或右键“更新域”以刷新目录
一、项目概述
本项目将瑞萨 RA8D1 Vision Board 与乐高科技系列机械结构结合,构建一个低成本、可教学的端侧 AI 视觉分拣机器人。核心思路是用 Vision Board 承担原本乐高 EV3 颜色传感器做不好的事情——从摄像头画面里识别物体类别、姿态与位置,再把决策结果通过串口或 I²C 下发给乐高主机,由乐高侧负责电机、机械臂与底盘的精密运动控制。
传统乐高 EV3 机器人做视觉巡线或分拣时,摄像头与 EV3 主控在机械固定、供电、数据接口上往往不兼容,两套编程系统也无法联动,导致识别到的路线信息无法同步传递给主控,最终难以形成完整的闭环控制逻辑。RA8D1 Vision Board 自带摄像头接口、32 MB SDRAM、8 MB Flash,并原生兼容 OpenMV 生态,正好补齐了乐高机器人在视觉感知上的短板。
1.1 项目定位
这是一个典型的双系统协作方案:上位视觉大脑 + 下位运动执行。Vision Board 负责“看懂”,乐高负责“做好”,两者通过标准串口协议解耦,互不绑定具体型号。
1.2 功能目标
· 实时分类:识别红、黄、蓝三色乐高元件,或扩展至数字、字母、路标等特征,准确率目标 ≥ 90%。
· 位置估计:输出目标在画面中的像素坐标与面积,供机械臂对准抓取。
· 闭环控制:Vision Board 下发指令 → 乐高主机驱动电机与机械臂 → 完成分拣并回传状态。
· 可视化:识别框与结果实时叠加显示在 LCD 或通过 OpenMV IDE 查看。
· 可教学:全程可用 MicroPython 脚本完成,适合课堂演示与学生动手实践。
1.3 设计目标一览
指标 | 目标值 | 说明 |
端到端响应 | ≤ 200 ms | 从采集到下发指令,含推理与预处理 |
分类准确率 | ≥ 90% | 三分类,每类 ≥ 200 张训练样本 |
供电电压 | 5 V / 2 A | 视觉板与乐高主机建议独立供电共地 |
通信波特率 | 115200 bps | 串口,8N1,简单文本协议 |
工作距离 | 15–30 cm | 摄像头离地约 11 个乐高单位 |
二、系统架构
整个系统分为三个层次:视觉感知层、通信层、运动执行层。视觉感知层以 RA8D1 Vision Board 为核心,运行 OpenMV 固件与 MicroPython 脚本;运动执行层以乐高 MINDSTORMS EV3 或 51515 智能运动底盘为主机,驱动大型电机与中型电机;两层之间以串口或 I²C 总线连接,约定一套轻量文本协议。
2.1 架构图(逻辑)
摄像头 → OV 传感器 → RA8D1(480 MHz Cortex-M85 + Helium)→ 推理/决策 → UART/I²C → 乐高主机 → 电机/机械臂/底盘
↓(并行)
MIPI-DSI / RGB666 显示屏 或 OpenMV IDE 实时预览
图1 系统架构:视觉感知—通信—运动执行三层

2.2 角色分工
模块 | 职责 | 关键技术 |
RA8D1 Vision Board | 采集图像、预处理、TFLite 推理、发送控制指令 | OpenMV / MicroPython / TFLite |
乐高 EV3 / 51515 主机 | 电机控制、机械臂动作、底盘巡线 | Pybricks / EV3-G |
乐高机械结构 | 承载与固定,提供驱动底座与传动机构 | 齿轮、梁、轴、连接件 |
供电与连接 | 5 V 稳压、共地、支架固定 | 杜邦线、3D 打印件 |
三、硬件选型与连接
3.1 材料清单
部件 | 推荐型号 | 数量 | 用途 |
主控板 | 瑞萨 RA8D1 Vision Board | 1 | 视觉大脑 |
乐高套装 | MINDSTORMS EV3 31313 或 科技系列 51515 | 1 | 运动底盘与机械臂 |
摄像头 | 板载 OV 摄像头(兼容 16 位摄像头接口) | 1 | 图像采集 |
USB 线 | USB-OTG / USB-DBG | 2 | 烧录与调试 |
杜邦线 | 母对母 4 芯 | 1 | 串口接线 |
固定件 | 3D 打印支架 / 积木转接件 | 1 | 摄像头与视觉板固定 |
电源 | 5 V/2 A 稳压模块 | 1 | 独立供电 |
3.2 电气连接
Vision Board 与乐高主机之间通过串口通信。乐高 EV3 的传感器/电机端口为专有接口,直接连接需要转接板;更简单的做法是使用 EV3 的 USB 主机口接串口模块,或通过蓝牙/串口透传模块中转。51515(SPIKE Prime 主控)则可通过其 I/O 端口配合电平转换后直连。
· Vision Board TX → 乐高主机 RX(经电平转换,3.3 V 对乐高侧)
· Vision Board RX → 乐高主机 TX
· GND 共地,务必接在一起,否则串口信号不稳
· 视觉板与乐高主机建议分别供电,避免电机启动瞬间拉低电压导致视觉板复位
3.3 机械固定要点
摄像头与 EV3 主控在结构、接口上并不匹配,拼接积木后镜头高度、角度容易不稳。建议把视觉板与摄像头固定在机械臂上方或底盘前端,离地约 11 个乐高单位:太近则视野内黑线占比过大、敏感度不足,太远则过于敏感、容易误判。摄像头朝向应可调,方便在不同场地快速标定。
四、视觉模型训练流程
模型训练采用“实采 + Edge Impulse / 本地 TensorFlow Lite”两条路线,后者可完全离线、可控性更强,本方案以本地训练流程为主。
4.1 数据采集
用板载摄像头在不同光照、角度、距离下采集各类目标的图像,按类别分文件夹存放。乐高元件建议每类至少 200 张,背景尽量覆盖实际分拣场景。采集脚本可直接在 OpenMV IDE 里运行,把帧通过串口或 U 盘导出到 PC。
4.2 模型结构选择
方案 | 参数量级 | 适用场景 | 备注 |
TinyCNN | 数千–数万 | 三分类、红黄蓝元件 | 最快,arena 占用小 |
MobileNetV2 α=0.35 | 数十万 | 多分类、特征识别 | 可迁移学习 |
OpenMV find_blobs | 无需训练 | 纯色块分拣 | 无 AI,最快上手 |
4.3 训练与量化脚本
以下脚本演示了从数据集加载、训练到 int8 全量化转换的完整链路。量化校准集必须与板端预处理完全一致(RGB 顺序、除以 255),否则精度会明显下降。
import tensorflow as tf
def representative_dataset():
for path in calibration_images[:300]: # 用实采帧做校准
img = tf.io.read_file(path)
img = tf.image.decode_jpeg(img, channels=3)
img = tf.image.resize(img, [96, 96])
img = tf.cast(img, tf.float32) / 255.0
yield [img[tf.newaxis, ...]]
converter = tf.lite.TFLiteConverter.from_saved_model("model_dir")
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8]
converter.inference_input_type = tf.int8
converter.inference_output_type = tf.int8
converter.representative_dataset = representative_dataset
tflite_model = converter.convert()
open("model_int8.tflite", "wb").write(tflite_model)
4.4 导出为 C 数组
xxd -i model_int8.tflite > model.cc
# 产物 model.cc 中的 unsigned char 数组可直接编进固件
4.5 量化前后对照
项目 | FP32 原模型 | int8 量化后 |
模型体积 | 约 200–400 KB | 压缩约 4 倍 |
推理精度 | 基准 | 通常下降 < 2 个百分点 |
运算后端 | TFLM 参考内核 | CMSIS-NN Helium 加速 |
arena 占用 | 较大 | 明显更小 |
五、OpenMV 端侧部署
Vision Board 烧录 OpenMV 固件后,即可用 MicroPython 脚本完成推理。固件编译路径为 SDK 中的 projects/vision_board_openmv,需在 menuconfig 中开启 Enable tflite support。
5.1 推理脚本骨架
import sensor, image, tf, time
sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA) # 320x240
sensor.skip_frames(30)
sensor.set_auto_gain(False)
net = tf.load("/sd/model_int8.tflite")
labels = ["red", "yellow", "blue"]
clock = time.clock()
while True:
clock.tick()
img = sensor.snapshot()
img.lens_corr(1.8)
out = net.classify(img, min_scale=1.0, scale_mul=0.5, x_overlap=0.0, y_overlap=0.0)
if out and out[0].output():
scores = out[0].output()
idx = scores.index(max(scores))
print("label=%s score=%.2f fps=%.1f" % (labels[idx], scores[idx], clock.fps()))
img.draw_string(2, 2, labels[idx], color=(0, 255, 0))
# 通过 UART 下发指令给乐高主机
# uart.write("GRAB:%s\n" % labels[idx])
5.2 烧录步骤
1. 安装 MDK5.38 与 OpenMV IDE,下载 SDK 并打开 projects/vision_board_openmv。
2. 执行 mklinks.bat,用 menuconfig 开启 Enable OpenMV for RT-Thread 与 Enable tflite support。
3. 编译工程(约 5 分钟),用 J-Link 或 DAP-Link 烧录 .bin 到开发板。
4. 复位开发板,USB-DBG 与 USB-OTG 均接入电脑,OpenMV IDE 右下角出现 USB 图标即表示连接成功。
5. 将 model_int8.tflite 与 labels.txt 放入 SD 卡,运行脚本即可看到实时识别结果。
5.3 编译选项(Helium 加速关键)
# 编译器需使用 LLVM Embedded Toolchain for Arm 或 arm-gnu-toolchain 13.2+
-mcpu=cortex-m85 -mfloat-abi=hard -mfpu=auto
-DCMSIS_NN # 启用 CMSIS-NN v6 的 MVE int8 内核
-O2
若不开启上述选项,CMSIS-NN 会退化为标量实现,推理速度可能下降数倍。
六、乐高运动控制程序
乐高侧程序以 EV3 MicroPython(Pybricks)为例,负责解析串口指令并驱动底盘与机械臂。该思路同样适用于 51515 与 SPIKE Prime。
6.1 主循环逻辑
from pybricks.ev3devices import Motor
from pybricks.parameters import Port
from pybricks.tools import wait
from pybricks.robotics import DriveBase
left = Motor(Port.B)
right = Motor(Port.C)
arm = Motor(Port.A)
robot = DriveBase(left, right, wheel_diameter=55.5, axle_track=104)
CUP = {"red": 90, "yellow": 180, "blue": 270} # 各颜色对应的投放角度
def grab_and_sort(color):
robot.straight(150) # 前进到抓取位
arm.run_angle(500, 120) # 机械臂抓取
robot.turn(CUP[color]) # 转向对应料槽
arm.run_angle(500, -120) # 释放
robot.turn(-CUP[color]) # 回正
# 主循环:读取串口指令并执行
import serial
uart = serial.Serial("/dev/tty_in", baudrate=115200)
while True:
line = uart.readline().strip()
if line.startswith("GRAB:"):
grab_and_sort(line.split(":")[1])
图3 抓取—识别—投放状态机与乐高执行部件映射

6.2 串口协议定义
指令 | 含义 | 示例 |
GRAB:<color> | 抓取并投放指定颜色 | GRAB:red |
MOVE:<mm> | 底盘直行指定毫米 | MOVE:150 |
TURN:<deg> | 底盘转向指定角度 | TURN:90 |
STATUS:<ok/err> | 乐高侧回传状态 | STATUS:ok |
七、搭建与调试指南
7.1 机械搭建步骤
6. 用 EV3 或 51515 套装搭建驱动底座,确认左右电机端口(通常为 B、C)。
7. 在底座上加装机械臂结构,中型电机或中型电机负责抓取动作。
8. 把 Vision Board 与摄像头固定在机械臂上方,镜头朝向分拣区域,离地约 11 个乐高单位。
9. 用 3D 打印支架或自制转接件固定摄像头,确保颠簸时不会松动。
10. 分别给视觉板与乐高主机供电,将 GND 接在一起。
图2 EV3 底盘与机械爪搭建示意图(尺寸按乐高单位标注)

7.2 软件调试顺序
11. 先单独跑通 OpenMV 识别:确认摄像头能出图、模型能推理、结果正确。
12. 再单独跑通乐高运动:用固定指令测试底盘直行、转向与机械臂动作。
13. 最后打通串口联动:从最简单的 GRAB:red 单指令开始,逐步加入异常处理。
7.3 常见问题与对策
现象 | 可能原因 | 对策 |
识别频繁出错、跑偏 | 摄像头安装不稳、角度变化 | 加固支架,重新标定阈值 |
画面中断、线路松动 | 颠簸导致接触不良 | 整理布线,使用卡扣固定 |
雨天/反光干扰严重 | 地面积水反光 | 改用俯视角度,降低自动增益 |
视觉板偶发复位 | 电机启动拉低电压 | 视觉板独立供电,加去耦电容 |
CMSIS-NN 加速不明显 | 未开 Helium 编译选项 | 检查 -mcpu=cortex-m85 与 -DCMSIS_NN |
八、扩展方向与竞赛建议
本方案的核心价值在于把“视觉感知”与“机械执行”解耦,因此可以灵活扩展而不必推倒重来。
8.1 功能扩展
· 从三分类升级到数字、字母、路标识别,复用同一套推理与通信框架。
· 增加二维码识别,让机器人按场地指令动态切换任务。
· 加入超声波或陀螺仪数据,在乐高侧实现避障与航位推算。
· 把分拣结果通过 Wi-Fi / MQTT 上报到 PC 端大屏,做数据看板。
8.2 竞赛与课程建议
该方案适合机器人竞赛中的视觉题、创客马拉松、嵌入式综合实训以及中小学科技课程。建议分两组协作:一组负责机械搭建与运动控制,一组负责模型训练与视觉算法,最后通过串口协议联调,既分工明确又贴近真实工程项目流程。
8.3 验收清单
验收项 | 标准 | 结果 |
模型准确率 | ≥ 90% | □ 通过 □ 未通过 |
端到端响应 | ≤ 200 ms | □ 通过 □ 未通过 |
串口联动 | 指令可正确执行 | □ 通过 □ 未通过 |
机械稳定性 | 连续运行 10 分钟无松动 | □ 通过 □ 未通过 |
独立供电 | 电机启动不导致视觉板复位 | □ 通过 □ 未通过 |
—— 文档结束 ——
附录 A 机械分步搭建说明(EV3 45544/45560)
以下为 EV3 视觉分拣机器人的逐层搭建说明。整套结构以 EV3 核心套装(45544)为基础,扩展套装(45560)提供长梁与齿轮件;若手头仅有 EV3 家庭版(31313),可对应替换同类尺寸梁件,不影响整体结构。所有尺寸以「乐高单位」计量,1 乐高单位 = 8mm(一片 1×1 薄片的高度)。
A.1 步骤 1:搭建底盘骨架(约 19×13 乐高单位)

图 A-1 底盘骨架装配示意图(俯视,19×13 乐高单位,四角角梁加固)
用两根 15 孔梁平行摆放作为左右纵梁,前端与后端各用一根 9 孔梁横接,构成矩形底盘框架。四角各用直角连接件(角梁)加固,防止行驶中变形。
A.2 步骤 2:安装驱动轮与转向

图 A-2 驱动轮与万向轮安装示意图(B/C 口中型马达直驱)
部件 | 数量 | 安装位置与说明 |
中型马达 | 2 | 左右纵梁外侧各 1 个,输出轴朝外,用长轴直接驱动轮胎 |
橡胶轮胎(带轮毂) | 2 | 装于中型马达输出轴,抓地力优于小滑轮 |
前万向轮 | 1 | 装于底盘前端横梁中点,承担前部支撑与转向 |
轴套 / 半轴 | 若干 | 固定轮胎轴向位置,避免晃动 |
A.3 步骤 3:固定 EV3 智能砖
将 EV3 智能砖用梁与销固定于底盘中央,屏幕朝后、端口朝上,便于插拔线缆与查看运行状态。智能砖下方垫一片 2 单位薄片减震。端口分配:A 口 → 左驱动、B 口 → 机械爪开合、C 口 → 右驱动、D 口 → 爪升降、1 口 → 颜色传感器。
A.4 步骤 4:搭建机械爪与升降机构

图 A-3 门形架与齿条-齿轮升降机构示意图(后视)
在底盘后端用两根 11 孔立柱梁竖直立起,顶部用 9 孔梁连接构成「门形架」。大型马达固定于门形架顶部横梁中点,通过齿条-齿轮将旋转转为爪台的升降运动。爪台下方装两片反向铰接的爪指,由 B 口中型马达经齿轮组驱动开合。
A.5 步骤 5:安装传感器与视觉板支架

图 A-4 机械爪部件分解示意图(反向铰接爪指)
颜色传感器装于前万向轮侧,贴近地面约 1 乐高单位,用于检测投放到位。RA8D1 Vision Board 固定于门形架横梁正上方、爪台之后,镜头朝下俯视输送区;摄像头离地高度约为 11 个乐高单位——这一高度下视野既能覆盖整条输送路径,目标物在画面中又不会过小。Vision Board 的供电取自独立 5V/2A 电源,不要从 EV3 的 7.2V 电池取电,避免电压不稳导致板子复位。

图 A-5 EV3 智能砖与传感器 / Vision Board 总装示意图(摄像头离地约 11 乐高单位)
附录 B EV3-G 图形化编程方案(乐高官方软件)
若教学场景不便使用 Pybricks MicroPython,可改用乐高官方 EV3 软件(EV3-G,基于 LabVIEW)实现同样的运动控制逻辑。以下给出程序结构与关键积木配置,串口通信部分需借助 EV3 社区的 Serial 通信积木扩展(Serial Write / Serial Read)。
B.1 主程序结构(顶层循环)
图 B-1 EV3-G 顶层流程(伪积木表示)
[开始]
├─ 电机初始化:A=左驱动 / C=右驱动 / B=爪开合 / D=爪升降
├─ 串口初始化:波特率 115200,8N1
└─ 无限循环:
├─ [等待] 颜色传感器触发(反射光 < 阈值)→ 目标进入视野
├─ [串口读取] 阻塞读取 4 字节:帧头(0xAA 0x55) + 命令字 + 校验
├─ [切换] 命令字
│ ├─ 0x01 → 执行「前进抓取」子程序
│ ├─ 0x02 → 执行「抬升投放」子程序
│ └─ 0xFF → [串口写入] "ERR" 并停机报警
└─ [串口写入] "READY" 回执
[结束]
B.2 前进抓取子程序(积木配置要点)
积木 / 模块 | 参数设置 | 作用 |
移动转向(Move Tank) | A/C 端口,功率 40/-40,旋转 180° | 底盘原地右转 90° 对准目标 |
中型马达(Medium Motor) | B 端口,开启指定度数 = -200 | 爪指闭合夹紧目标 |
等待(Wait) | 时间 0.3 秒 | 夹紧稳定后再抬升 |
大型马达(Large Motor) | D 端口,开启 90° | 爪台抬升离地 |
移动转向 | A/C 端口,功率 30,旋转 -360° | 底盘倒退回原点 |
B.3 抬升投放子程序(积木配置要点)
积木 / 模块 | 参数设置 | 作用 |
移动转向 | A/C 端口,功率 40,旋转 360° | 底盘左转 90° 面向投放区 |
中型马达 | B 端口,开启 200° | 爪指张开投放目标 |
大型马达 | D 端口,开启 -90° | 爪台下降复位 |
移动转向 | A/C 端口,功率 40/-40,旋转 180° | 底盘右转 90° 回原点 |
颜色传感器—比较 | 反射光 < 15 | 确认爪台已回到起点 |
B.4 串口通信积木扩展说明
EV3-G 原生积木不含串口读写,需导入社区开发的 Serial 扩展积木(如 EV3 Serial Communication Block),将其 .rbf 文件放入 EV3 的 /prjs 目录并在软件中加载。导入后即可使用 Serial Write(发字符串/字节数组)与 Serial Read(读固定字节)积木,配合 [文本转字节数组] 积木拼装协议帧。注意:EV3-G 的字符串为 UTF-8,发送 0xAA、0x55 等十六进制字节需使用「字节数组」类型而非普通文本。
B.5 与 Pybricks 方案的取舍
对比项 | EV3-G 图形化 | Pybricks MicroPython |
上手难度 | 低,拖拽积木即可 | 中,需基础 Python |
串口能力 | 需导入社区扩展积木 | 原生支持 UART |
程序体积 | 较大,编译后 .rbf | 小,可直接跑 .py |
教学适配 | 适合小学/初中入门 | 适合高中/竞赛进阶 |
实时性 | 图形调度略有延迟 | 事件循环更可控 |
