【2026华秋杯】RThread Vision Board 实时手势识别交互的 HMI 实践

原创2026-11-22 19:43:14浏览1
1
Star

开发流程

开箱

  1. 芯片和板卡的文档获取以及大致浏览

实物如下:


  1. 开发工具安装和配置以及相关代码下载并预编译 demo

  2. demo 代码烧录验证板卡功能以及摄像头畸变效果
    这一步稍微有些阻挠,替换新点的 Dap-link 固件后(后面还要找找这 Dap-link 固件源码基于AT32F425KBU7),正常工作,插拔 USB 后成功识别,Agent 直接把 Camare + GUI Demo 跑起来了
    demo 用的是: sdk-bsp-ra8d1-vision-board\projects\vision_board_camera(不过要修复下 图像倒置问题,这种事情交给 Agent 最合适了)。

  3. 视觉 OpenMV 库形式轮廓识别开发环境搭建以及首次调通

手势识别模块设计

  1. 框架图

  2. 模块图

  3. 数据流程图

  4. 时序图

手势识别实践

  1. 摄像头内参标定

  2. 视觉识别框架配置,模型调参

  3. HMI 实时刷新以及服务器同步调试

  4. 算法优化,用 Helium 矢量加速指令集

总结

  1. 板子使用心得

  2. 活动感悟
    本次活动时间很充裕但是始终没能抽出时间参与,当天开始时间已经不足了,这次作为一次 AI 负责 嵌入式开发的极限实践,早上抽出点实践,给 Agent 灌输些文档和提示词,看看最终的完成度。
    让我一开始就觉得 AI 靠谱的是我把需求灌输给他后,他给出了可行的方案:
    这个项目能做,但建议把目标从“真 3D 实时渲染”调整为“2.5D 预渲染 UI + 双图层透明叠加 + 经典 CV/小型 CNN 混合手势”。 在 480×360、无 3D GPU、无 NPU 的 M85 上,这是唯一能按时做出稳定 demo 的路线;真正的 3D 网格渲染会拖垮帧率和工期。


  1. AI 和AI 硬件在开发过程的重要性,以及展望

参考

活动链接:https://p.eda.cn/act/hqcup2026 主治是利用用 AI 硬件承载 AI 算法落地,推动行业智能化升级,发ai 硬件生态。

我选的板子是 瑞萨 RA8D1: https://p.eda.cn/d-1366666618595180544
这是款完整开发套件叫 Vision Board,他是基于 ARM Cortex-M85 的 MCU, 带有 2D gpu 可以运行视觉算法以及处理图像,带有 MIPI 接口的屏幕 以及板载 camera, 兼容 OpenMV 开发平台。

RT-thread ra8d1 的bsp sdk: https://github.com/RT-Thread-Studio/sdk-bsp-ra8d1-vision-board