AI智能视力检测系统
——基于 SpacemiT K1 边缘计算平台的试验项目
关键词:视力筛查、手势识别、边缘 AI、WebSocket、OpenCV
目 录
开发平台:SpacemiT K1(RISC-V 64 位)/PC 辅助开发环境关键词:视力筛查、手势识别、边缘 AI、WebSocket、OpenCV、SpacemiT K1
第一章 项目背景与问题定义
视力筛查是公共卫生与健康体检中的基础项目。传统检测依赖标准对数视力表或投影仪,需要受检者用语言或手势指出字符开口方向,由检查者人工记录并折算结果。该流程存在三点不足:其一,需要专人值守判读,人力成本高;其二,记录依赖纸笔,易出错且难以回溯;其三,设备体积与场地要求较高,不便在社区、家庭等场景推广。本课题由此提出,尝试以低成本边缘计算平台配合普通 USB 摄像头,构建一套可自动判定、自动记录、可回查历史的智能视力检测系统。
本项目要解决的核心问题是:在脱离人工判读的条件下,让系统自动完成"出题—识别—判定—统计—归档"全流程。其功能作用体现在三个方面:一是通过屏幕自动呈现逐级缩小的字母 F 并随机变换方向,实现标准化刺激呈现;二是通过摄像头采集手掌指向手势,由本地 AI 算法判定正误,替代检查者人工判断;三是自动统计正确率、最小识别字号与视力等级,写入本地数据库并提供历史查询。
预期效果是形成一套软硬件一体、可离线运行、成本低廉的视力筛查原型。系统按受检者距屏幕 1 米的简化模型换算视力,用于流程演示与相对比较,不作为医学诊断依据。开发过程中形成的界面、识别逻辑与部署脚本均已固化为可复现的工程产物。
图 1-1 系统访问入口(HTTPS),自签证书告警页,点击「高级—继续访问」后进入。
第二章 总体技术方案设计
系统采用"边缘板卡 + 前端单页 + 本地服务"的三层架构。硬件层以 SpacemiT K1 开发板为核心,外接 USB 摄像头采集受检者手势图像,经 HDMI 接口连接显示器呈现测试字母 F;算力层完全在板端完成推理,不依赖云端。软件层由 Python 后端与单页前端构成:后端基于 FastAPI 提供 WebSocket 实时通道与 REST 查询接口,负责刺激下发、手势判定、逐轮统计与数据持久化;前端为扁平化单页,承担信息录入、画中画检测呈现、状态灯提示与结果展示。
数据流设计如下:受检者填写姓名、性别、年龄后进入检测界面;后端按 10 级字号序列(50 mm 递减至 3 mm)随机生成方向并下发,屏幕中央显示对应朝向的字母 F;摄像头以每秒 1 帧的频率采集手势图像并推送至后端;后端调用手势识别模块判断手掌指向,与期望方向比对后给出结果,约 1 秒后自动进入下一题;10 题结束后统计正确率与视力等级,写入 SQLite 数据库。
系统引入"状态灯"机制区分测试态与非测试态:绿灯亮起表示正在出题、可以作答;判定完成后灯变白并隐藏字母 F,等待下一题。该设计使受检者仅通过观察灯色即可判断作答时机,避免误答。同时保留手动方向按钮与演示模式作为降级通道,确保手势识别不可用时流程仍能完整走通。
图 2-1 系统受检者信息录入与检测方法告知界面。
第三章 开发准备与材料清单
开发准备分为硬件器材、系统环境与软件语言三部分。硬件器材包括:SpacemiT K1 开发板一块(RISC-V 64 位,板载 eMMC 与千兆网口)、USB 摄像头一只(用于采集手掌图像)、HDMI 显示器一台(用于呈现字母 F 与操作界面)、USB 电源、网线及若干连接线;辅助设备包括 PC 一台,用于代码编写、交叉验证与远程登录开发板。
软件环境方面,开发板端采用 Ubuntu 22.04 for RISC-V 发行版,Python 3.12 配合 venv 虚拟环境;Web 服务框架选用 FastAPI,ASGI 服务器选用 Uvicorn,图像处理依赖 OpenCV(opencv-python-headless)与 NumPy;数据存储采用 Python 标准库 SQLite。为在局域网内以 HTTPS 访问并启用摄像头,另安装 Nginx 与 OpenSSL。前端不引入任何构建工具,单文件 HTML 内嵌 CSS 与原生 JavaScript,降低部署复杂度。
软件语言以 Python 为主承担后端全部逻辑,JavaScript 承担前端交互,HTML/CSS 承担界面呈现,Bash 编写Linux 启动脚本。开发采用 PC 编码、板端运行的协同方式:代码在 PC 上完成语法校验与逻辑自测后同步至 K1,再通过远程终端执行。该方式兼顾了编码效率与目标平台一致性,也便于对比两种架构下的运行差异。
图 3-1 开发板端安装 Python 打包与虚拟环境工具(python3-pip、venv)。
第四章 SpacemiT K1 核心板技术特征
SpacemiT K1 是一款面向边缘智能场景的 RISC-V 64 位系统级芯片,采用八核 CPU 架构,主频与内存配置满足轻量级视觉推理需求,并集成具备向量扩展能力的 AI 计算单元,可承接图像分类、关键点检测等本地推理任务。相比传统 Cortex-A 架构方案,K1 具备指令集自主、接口丰富、功耗可控等特点,适合部署于社区体检终端、教学实验平台等离线场景。
本次使用的开发板保留了完整的外部接口:板载双 USB 接口用于连接摄像头与输入设备,千兆以太网口用于远程登录与HTTP 服务访问,HDMI 接口用于连接显示器输出画面,另有板载存储与启动配置跳线。实物照片显示,开发板通过亚克力板固定,USB 摄像头、网线、电源与显示信号线均已接驳,形成完整的可运行最小系统。
在软件生态方面,K1 运行基于 Debian/Ubuntu 的 RISC-V 移植版本,可通过 apt 直接安装Nginx、Python 等常用组件,pip 亦能获取大量纯 Python 或已适配 riscv64 的 Wheel 包。但部分依赖(如 MediaPipe)官方仅发布 x86_64 与 aarch64 预编译包,在 RISC-V 平台上无对应版本,这构成本项目最主要的平台适配约束,也直接促成了手势识别技术路线的调整,详见第六章与第七章。
图 4-1 SpacemiT K1 开发板实物:USB、网口、HDMI 等接口已接驳。
第五章 硬件系统构建过程
硬件系统的构建遵循"最小系统先行、外设逐步接入"的顺序。第一阶段完成开发板上电验证与系统启动:接入 USB 电源,通过串口或 SSH 确认系统正常进入命令行,核对内核版本与架构信息。第二阶段接入网络设备:将网线连接至路由器或交换机,确认板卡获取 IP 地址(本次实验中为 192.168.3.26),为后续远程登录与 Web 访问建立通道。Nginx 的安装与自启动配置亦在此阶段完成,为 HTTPS 反代预留能力。
第三阶段接入显示与采集外设:HDMI 线连接显示器,浏览器访问板卡服务地址,确认页面能够正常渲染;USB 摄像头连接开发板,通过 ls /dev/video* 确认设备节点生成,并以 OpenCV 打开测试帧验证图像可读。至此形成"摄像头采集—板卡推理—HDMI 呈现"的完整闭环。
第四阶段进行联调与固定:将开发板、摄像头与线缆用亚克力支架固定,避免实验过程中松动;调整摄像头位置使其正对受检者、取景覆盖上半身,显示器置于受检者正前方约 1 米处,与视力换算模型的距离假设一致。实拍记录显示,受检者端坐于显示器前并平伸手掌,左下角画中画同步显示手掌实时画面,验证了采集链路的可用性。
图 5-1 硬件系统整机:HDMI 显示器顶部安装摄像头,屏幕显示检测界面。
图 5-2 受检者在摄像头前平伸手掌进行作答。
第六章 K1 平台手势识别技术路线
手势识别是本项目替代人工判读的关键环节。系统要求受检者手掌平伸、五指并拢,指向字母 F 横杠所指方向,识别模块需将手掌指向映射为上、下、左、右四类离散结果。技术路线的制定经历了"精度优先—平台约束—降级适配"的演进过程。
第一优先级方案为 MediaPipe HandLandmarker。该模型基于预训练手部关键点检测网络,可从单帧图像回归 21 个手部关键点,通过比较腕点与中指根部、指尖的相对位置计算指向向量,精度高、鲁棒性好。模型文件(hand_landmarker.task,约 7.5 MB)随项目打包,在具备预编译包的平台上可直接加载。第二优先级为旧版 MediaPipe solutions.hands 接口,用于兼容早期版本。
在 K1 平台上进行部署验证时发现,MediaPipe 官方未提供 RISC-V 架构的预编译包,pip install mediapipe 报 No matching distribution found,第一、第二方案均不可用。据此确定第三方案:采用纯 OpenCV 实现轻量级手势方向识别。该方案不依赖任何模型文件与第三方推理引擎,仅用 YCrCb 色彩空间肤色分割与轮廓主成分分析(PCA)即可完成方向判定,资源占用低,适用于 K1 的算力条件。三种方案在代码中按优先级自动切换,通过 VISION_GESTURE_ENGINE 环境变量可强制指定引擎,便于对照实验。
图 6-1 检测界面左上角提示「已启用兼容手势识别模式」,表明系统已自动切换至 OpenCV 方案。
第七章 手势识别模型的训练、转换与板上适配
本章记录手势识别模型的工程化过程。项目初期在 PC 端选用 MediaPipe 官方预训练的 hand_landmarker.task 模型完成可行性验证:以摄像头实时画面为输入,确认关键点检测与方向映射逻辑正确,随后将模型文件随工程打包,实现离线可用。该阶段不涉及从零训练,而是以成熟预训练模型为基线,重点验证其在视力检测流程中的适用性。
按 SpacemiT K1 的模型部署规范,若需使用板载 NPU 加速,通常路径为:在 PC 端以 PyTorch 等框架训练手势分类网络,导出为 ONNX 中间格式,再通过 K1 提供的模型转换工具量化并生成板上可加载的 TDLM 格式,最终由板端推理接口调用。本阶段对该工具链进行了调研,但由于本项目手势类别少、输入分辨率低,且 RISC-V 平台缺少 MediaPipe 运行时,最终未采用自定义 ONNX 模型,转而采用第七章所述的 OpenCV 轻量算法作为板上实现,以保证部署可行性与实时性。
实际板上适配的核心代码如下:先以 YCrCb 阈值提取肤色区域,再取最大轮廓,用 PCA 求主轴方向,以质心相对包围盒中心的偏移判定手掌端与指尖端,从而确定指向正负。关键片段如下:
# gesture_detector.py:OpenCV 兜底方向判定(K1 板上实际运行) |
试验表明,该实现在合成手掌图像上对上、下、左、右四方向识别全部正确,验证了在无 NPU 模型条件下完成判定的可行性。关于 ONNX→TDLM 转换路径,本报告如实记录为已完成调研、未纳入本期实现,列为后续改进方向。
图 7-1 摄像头画中画实时显示手掌,面板标注「已连接」,用于算法取帧与方向判定。
第八章 软件系统开发
软件系统由前端单页、Python 后端与数据持久层三部分构成。前端采用单文件 HTML,内嵌 CSS 与原生 JavaScript,包含信息录入、检测主界面、结果展示与历史查询四个视图。检测页以画中画形式布局:中央呈现随机朝向的字母 F,左下角为摄像头窗口,右上角为状态灯。前端按需在"浏览器本地摄像头"与"服务器摄像头"两种模式间切换,代码如下:
// index.html:按协议自动切换 WS/WSS,并按模式取流 |
后端以 FastAPI 构建,核心为 WebSocket 会话状态机:收到 start 后初始化手势检测器与摄像头,按级下发刺激;收到 frame 或由服务端摄像头循环产生帧时,调用 process_frame 判定;连续两帧方向一致方采纳作答,换题后 1.5 秒内忽略手势以防沿用上一题答案。关键片段如下:
# main.py:服务端摄像头循环,10fps 推预览、1fps 做识别 |
数据层以 SQLite 保存每次检测的汇总与逐轮明细。视力换算按 1 米距离简化模型实现:字号序列由 50 mm 几何递减至 3 mm,3 mm 对应小数视力 1.0(五分记录 5.0),正确率与最小正确字号共同决定最终等级。
# vision_calc.py:字号序列与视力换算 |
图 8-1 检测主界面:第 2 题(字号 36.6 mm),绿灯亮起,左下角摄像头显示手掌。
图 8-2 检测主界面:第 4 题(字号 19.6 mm),字母 F 朝下。
第九章 系统部署与运行
部署过程按"依赖安装—服务启动—远程访问"顺序实施。首先在 K1 上建立 Python 虚拟环境 aieye_venv,执行 pip install -r requirements.txt 安装 FastAPI、Uvicorn、OpenCV 与 NumPy。初次安装时 requirements.txt 中包含 MediaPipe,因 RISC-V 无对应发行包而失败(如图 9-1);将该依赖改为可选并注释后重新安装,全部依赖编译为 riscv64 Wheel 并顺利装完,验证了适配方案的有效性。
随后启动服务。项目提供 start.sh 启动脚本,支持前台、后台、HTTPS 及状态查询等模式。执行 ./start.sh 后终端输出「服务启动中」「Uvicorn running on <http://0.0.0.0:8765」,并可见来自客户端> IP 的 GET 与 WebSocket 连接记录,表明服务正常对外提供访问。若摄像头直接接在服务器上,需设置 VISION_CAMERA_SOURCE(如 auto 或 /dev/video0)启用服务端摄像头模式,画面由后端采集推送,前端不再请求浏览器摄像头权限。
远程访问采用 HTTPS:脚本可自动生成含 SAN 的自签证书,执行 bash start.sh https-daemon 后通过 https://192.168.3.26:8765 访问;浏览器首次提示证书不受信任,选择继续即可。Nginx 亦已安装并设为开机自启,可在有正式域名时改由反向代理提供证书。整个部署过程无需云端服务,全部计算与数据均保留在板卡本地。
图 9-1 首次安装依赖时 MediaPipe 在 RISC-V 平台无匹配版本的报错记录。
图 9-2 依赖安装成功,各 Wheel 包编译完成并记录缓存路径。
图 9-3 执行 ./start.sh 启动服务,终端显示 WebSocket 连接已建立。
第十章 实际测试与结果分析
测试分为功能验证与整机实测两阶段。功能验证阶段使用合成手掌图像检验四方向识别,结果全部正确;服务端摄像头模式以合成视频作为摄像头源进行端到端测试,收到 50 帧预览(约 10 fps)与连续识别消息,判定链路正常;将摄像头源指向不存在设备时,系统返回明确错误提示且手动按钮仍可完成检测,验证了降级通道。整机实测阶段在 K1 上启动服务,由受检者距显示器约 1 米平伸手掌作答。
实测记录显示,系统完整走完了 10 题流程:检测界面按字号由大到小依次呈现字母 F,右上角状态灯在绿灯与白灯间切换,左下角画中画实时显示手掌;结束后自动跳转结果页,给出正确率、最小识别字号、小数视力、五分记录与综合评定,并列出逐轮明细。一组记录为正确率 50%(5/10)、最小正确字号 3.0 mm、小数视力 1.0、五分记录 5.0,综合评定「视力正常(达标)」;另一组为正确率 70%(7/10)、最小正确字号 7.7 mm、小数视力 0.39、五分记录 4.59,综合评定「轻度下降」。两组结果均正确写入 SQLite,并可通过姓名查询回看。
测试亦暴露出若干现象:手掌需正对摄像头并保持并拢,否则轮廓 PCA 主轴偏移导致方向误判;强背光或复杂背景会削弱肤色分割效果;单帧识别存在抖动,系统以连续两帧一致机制抑制误触发。总体而言,系统达到"自动出题—手势判定—统计归档—历史可查"的预期目标,流程稳定、交互清晰,具备进一步优化的基础。
图 10-1 实测结果页:正确率 50%,5/10,综合评定「视力正常(达标)」。
图 10-2 整机实测结果页:正确率 70%,7/10,视力 0.39,评定「轻度下降」。
图 10-3 实测中受检者手掌指向与屏幕字母 F 方向对应关系。
第十一章 项目总结与改进方向
本项目围绕"低成本边缘平台实现自动视力筛查"的目标,完成了从硬件搭建、算法适配、软件开发到系统部署与实测的完整链条。系统实现了受检者信息录入、标准化刺激呈现、手势方向自动判定、逐轮统计与视力等级换算、结果归档与历史查询等全部预设功能,并在 SpacemiT K1 上离线运行,验证了 RISC-V 平台承接轻量视觉任务的可行性。软件架构与通信结构设计合理,状态灯与降级通道提升了交互可靠性,工程产物可复现、可扩展。
存在的问题主要集中在两方面。其一是识别准确率:纯 OpenCV 肤色与轮廓方案在理想条件下四方向识别正确,但在复杂背景、强背光或手掌未并拢时准确率下降,且受检者个体差异(肤色、手势习惯)影响明显;相较之下,MediaPipe 关键点方案精度更高,但受限于 RISC-V 无预编译包而未能在本期启用。其二是速度:服务端摄像头预览约 10 fps、识别 1 fps,题目切换含约 1 秒等待,整体流程偏慢;OpenCV 轮廓分析在 K1 上的单帧耗时仍有优化空间。
改进方向包括:其一,完成 ONNX→TDLM 模型转换链路,将轻量手势分类网络部署至 K1 的 NPU,以模型推理替代肤色阈值,提升复杂场景下的准确率;其二,引入自适应肤色标定与背景抑制,降低光照与肤色差异影响;其三,优化采集与推理流水线,提高帧率并压缩题目间隔;其四,以标准对数视力表与光学标定替换当前的 1 米简化换算模型,使结果更具临床参考价值。上述工作将作为后续迭代的重点。
图 11-1 系统实验结果总览:检测完成界面与逐轮明细。
附录 演示视频
以下视频完整演示了系统工作流程:受检者信息录入、进入检测界面、按绿灯提示做手势作答、状态灯切换、10 题结束后自动给出结果并写入历史记录。视频时长约 90 秒,分辨率 1280×720。
演示视频:AI智能视力检测系统操作流程
演示视频封面(视频文件:screen/video1.mp4)
演示视频文件位于 screen/video1.mp4,与本文档保持同级目录即可正常播放。
视频 1 演示视频:从录入信息到给出检测结果的全过程。 |
代码开源地址
本项目源代码已开源至 Gitee 平台,公开仓库地址为:
https://gitee.com/lutherluov/vision-test
仓库包含完整的工程产物:backend/ 目录下为 FastAPI 服务端、手势识别模块、视力换算与 SQLite 数据层;frontend/ 目录下为单页前端界面;start.sh 与 start.bat 为 Linux / Windows 一键启动脚本;issue/ 目录下为本文档及配套素材。开发者可依照仓库 README 的说明,在 SpacemiT K1 等 RISC-V 开发板或常规 x86 平台上完成部署与运行。
本报告为项目开发试验记录,所涉视力换算模型为简化模型,仅供流程演示与相对比较,不作为医学诊断依据。
