【2026华秋杯】RThread Vision Board 实时手势识别交互的 HMI 实践

原创2026-11-20 09:55:42浏览5
5
Star

开发流程

开箱

  1. 芯片和板卡的文档获取以及大致浏览

实物如下:


  1. 开发工具安装和配置以及相关代码下载并预编译 demo

  2. demo 代码烧录验证板卡功能以及摄像头畸变效果

这一步直接让 AI 给我完成,它帮我完成了依赖工具的安装以及 demo 首次启动, 不过目前卡在 dap-link 连不上设备的阶段。。。
未完待续。。。

  1. 视觉 识别开发环境搭建以及首次调通

手势识别模块设计

  1. 框架图

  2. 模块图

  3. 数据流程图

  4. 时序图

手势识别实践

  1. 摄像头内参标定

  2. 视觉识别框架配置,模型调参

  3. HMI 实时刷新以及服务器同步调试

  4. 算法优化,用 Helium 矢量加速指令集

总结

  1. 板子使用心得

  2. 活动感悟
    本次活动时间很充裕但是始终没能抽出时间参与,当天开始时间已经不足了,这次作为一次 AI 负责 嵌入式开发的极限实践,早上抽出点实践,给 Agent 灌输些文档和提示词,看看最终的完成度。
    让我一开始就觉得 AI 靠谱的是我把需求灌输给他后,他给出了可行的方案:
    这个项目能做,但建议把目标从“真 3D 实时渲染”调整为“2.5D 预渲染 UI + 双图层透明叠加 + 经典 CV/小型 CNN 混合手势”。 在 480×360、无 3D GPU、无 NPU 的 M85 上,这是唯一能按时做出稳定 demo 的路线;真正的 3D 网格渲染会拖垮帧率和工期。


  1. AI 和AI 硬件在开发过程的重要性,以及展望

参考

活动链接:https://p.eda.cn/act/hqcup2026 主治是利用用 AI 硬件承载 AI 算法落地,推动行业智能化升级,发ai 硬件生态。

我选的板子是 瑞萨 RA8D1: https://p.eda.cn/d-1366666618595180544
这是款完整开发套件叫 Vision Board,他是基于 ARM Cortex-M85 的 MCU, 带有 2D gpu 可以运行视觉算法以及处理图像,带有 MIPI 接口的屏幕 以及板载 camera, 兼容 OpenMV 开发平台。

RT-thread ra8d1 的bsp sdk: https://github.com/RT-Thread-Studio/sdk-bsp-ra8d1-vision-board