AI智能视力检测系统

基于 SpacemiT K1 边缘计算平台的试验项目

AI智能视力检测系统封面
jf_429003952026-11-21 22:34:13MIT
1
Star
1

PCBA

设计文件

KiCad图标50cac78cd153993e1bf751862f94c490.zip29.82KB(0次下载)

其他附件

EDA查看器

复制嵌入代码

详细介绍

AI智能视力检测系统

——基于 SpacemiT K1 边缘计算平台的试验项目

 

 

 

 

关键词:视力筛查、手势识别、边缘 AI、WebSocket、OpenCV

 


目  录

第一章 项目背景与问题定义

第二章 总体技术方案设计

第三章 开发准备与材料清单

第四章 SpacemiT K1 核心板技术特征

第五章 硬件系统构建过程

第六章 K1 平台手势识别技术路线

第七章 手势识别模型的训练、转换与板上适配

第八章 软件系统开发

第九章 系统部署与运行

第十章 实际测试与结果分析

第十一章 项目总结与改进方向

附录 演示视频

代码开源地址


开发平台:SpacemiT K1(RISC-V 64 位)/PC 辅助开发环境关键词:视力筛查、手势识别、边缘 AI、WebSocket、OpenCV、SpacemiT K1

第一章 项目背景与问题定义

视力筛查是公共卫生与健康体检中的基础项目。传统检测依赖标准对数视力表或投影仪,需要受检者用语言或手势指出字符开口方向,由检查者人工记录并折算结果。该流程存在三点不足:其一,需要专人值守判读,人力成本高;其二,记录依赖纸笔,易出错且难以回溯;其三,设备体积与场地要求较高,不便在社区、家庭等场景推广。本课题由此提出,尝试以低成本边缘计算平台配合普通 USB 摄像头,构建一套可自动判定、自动记录、可回查历史的智能视力检测系统。

本项目要解决的核心问题是:在脱离人工判读的条件下,让系统自动完成"出题—识别—判定—统计—归档"全流程。其功能作用体现在三个方面:一是通过屏幕自动呈现逐级缩小的字母 F 并随机变换方向,实现标准化刺激呈现;二是通过摄像头采集手掌指向手势,由本地 AI 算法判定正误,替代检查者人工判断;三是自动统计正确率、最小识别字号与视力等级,写入本地数据库并提供历史查询。

预期效果是形成一套软硬件一体、可离线运行、成本低廉的视力筛查原型。系统按受检者距屏幕 1 米的简化模型换算视力,用于流程演示与相对比较,不作为医学诊断依据。开发过程中形成的界面、识别逻辑与部署脚本均已固化为可复现的工程产物。

 

图 1-1 系统访问入口(HTTPS),自签证书告警页,点击「高级—继续访问」后进入。

第二章 总体技术方案设计

系统采用"边缘板卡 + 前端单页 + 本地服务"的三层架构。硬件层以 SpacemiT K1 开发板为核心,外接 USB 摄像头采集受检者手势图像,经 HDMI 接口连接显示器呈现测试字母 F;算力层完全在板端完成推理,不依赖云端。软件层由 Python 后端与单页前端构成:后端基于 FastAPI 提供 WebSocket 实时通道与 REST 查询接口,负责刺激下发、手势判定、逐轮统计与数据持久化;前端为扁平化单页,承担信息录入、画中画检测呈现、状态灯提示与结果展示。

数据流设计如下:受检者填写姓名、性别、年龄后进入检测界面;后端按 10 级字号序列(50 mm 递减至 3 mm)随机生成方向并下发,屏幕中央显示对应朝向的字母 F;摄像头以每秒 1 帧的频率采集手势图像并推送至后端;后端调用手势识别模块判断手掌指向,与期望方向比对后给出结果,约 1 秒后自动进入下一题;10 题结束后统计正确率与视力等级,写入 SQLite 数据库。

系统引入"状态灯"机制区分测试态与非测试态:绿灯亮起表示正在出题、可以作答;判定完成后灯变白并隐藏字母 F,等待下一题。该设计使受检者仅通过观察灯色即可判断作答时机,避免误答。同时保留手动方向按钮与演示模式作为降级通道,确保手势识别不可用时流程仍能完整走通。

 

图 2-1 系统受检者信息录入与检测方法告知界面。

第三章 开发准备与材料清单

开发准备分为硬件器材、系统环境与软件语言三部分。硬件器材包括:SpacemiT K1 开发板一块(RISC-V 64 位,板载 eMMC 与千兆网口)、USB 摄像头一只(用于采集手掌图像)、HDMI 显示器一台(用于呈现字母 F 与操作界面)、USB 电源、网线及若干连接线;辅助设备包括 PC 一台,用于代码编写、交叉验证与远程登录开发板。

软件环境方面,开发板端采用 Ubuntu 22.04 for RISC-V 发行版,Python 3.12 配合 venv 虚拟环境;Web 服务框架选用 FastAPI,ASGI 服务器选用 Uvicorn,图像处理依赖 OpenCV(opencv-python-headless)与 NumPy;数据存储采用 Python 标准库 SQLite。为在局域网内以 HTTPS 访问并启用摄像头,另安装 Nginx 与 OpenSSL。前端不引入任何构建工具,单文件 HTML 内嵌 CSS 与原生 JavaScript,降低部署复杂度。

软件语言以 Python 为主承担后端全部逻辑,JavaScript 承担前端交互,HTML/CSS 承担界面呈现,Bash 编写Linux 启动脚本。开发采用 PC 编码、板端运行的协同方式:代码在 PC 上完成语法校验与逻辑自测后同步至 K1,再通过远程终端执行。该方式兼顾了编码效率与目标平台一致性,也便于对比两种架构下的运行差异。

 

图 3-1 开发板端安装 Python 打包与虚拟环境工具(python3-pip、venv)。

第四章 SpacemiT K1 核心板技术特征

SpacemiT K1 是一款面向边缘智能场景的 RISC-V 64 位系统级芯片,采用八核 CPU 架构,主频与内存配置满足轻量级视觉推理需求,并集成具备向量扩展能力的 AI 计算单元,可承接图像分类、关键点检测等本地推理任务。相比传统 Cortex-A 架构方案,K1 具备指令集自主、接口丰富、功耗可控等特点,适合部署于社区体检终端、教学实验平台等离线场景。

本次使用的开发板保留了完整的外部接口:板载双 USB 接口用于连接摄像头与输入设备,千兆以太网口用于远程登录与HTTP 服务访问,HDMI 接口用于连接显示器输出画面,另有板载存储与启动配置跳线。实物照片显示,开发板通过亚克力板固定,USB 摄像头、网线、电源与显示信号线均已接驳,形成完整的可运行最小系统。

在软件生态方面,K1 运行基于 Debian/Ubuntu 的 RISC-V 移植版本,可通过 apt 直接安装Nginx、Python 等常用组件,pip 亦能获取大量纯 Python 或已适配 riscv64 的 Wheel 包。但部分依赖(如 MediaPipe)官方仅发布 x86_64 与 aarch64 预编译包,在 RISC-V 平台上无对应版本,这构成本项目最主要的平台适配约束,也直接促成了手势识别技术路线的调整,详见第六章与第七章。

 

图 4-1 SpacemiT K1 开发板实物:USB、网口、HDMI 等接口已接驳。

第五章 硬件系统构建过程

硬件系统的构建遵循"最小系统先行、外设逐步接入"的顺序。第一阶段完成开发板上电验证与系统启动:接入 USB 电源,通过串口或 SSH 确认系统正常进入命令行,核对内核版本与架构信息。第二阶段接入网络设备:将网线连接至路由器或交换机,确认板卡获取 IP 地址(本次实验中为 192.168.3.26),为后续远程登录与 Web 访问建立通道。Nginx 的安装与自启动配置亦在此阶段完成,为 HTTPS 反代预留能力。

第三阶段接入显示与采集外设:HDMI 线连接显示器,浏览器访问板卡服务地址,确认页面能够正常渲染;USB 摄像头连接开发板,通过 ls /dev/video* 确认设备节点生成,并以 OpenCV 打开测试帧验证图像可读。至此形成"摄像头采集—板卡推理—HDMI 呈现"的完整闭环。

第四阶段进行联调与固定:将开发板、摄像头与线缆用亚克力支架固定,避免实验过程中松动;调整摄像头位置使其正对受检者、取景覆盖上半身,显示器置于受检者正前方约 1 米处,与视力换算模型的距离假设一致。实拍记录显示,受检者端坐于显示器前并平伸手掌,左下角画中画同步显示手掌实时画面,验证了采集链路的可用性。

 

图 5-1 硬件系统整机:HDMI 显示器顶部安装摄像头,屏幕显示检测界面。

 

图 5-2 受检者在摄像头前平伸手掌进行作答。

第六章 K1 平台手势识别技术路线

手势识别是本项目替代人工判读的关键环节。系统要求受检者手掌平伸、五指并拢,指向字母 F 横杠所指方向,识别模块需将手掌指向映射为上、下、左、右四类离散结果。技术路线的制定经历了"精度优先—平台约束—降级适配"的演进过程。

第一优先级方案为 MediaPipe HandLandmarker。该模型基于预训练手部关键点检测网络,可从单帧图像回归 21 个手部关键点,通过比较腕点与中指根部、指尖的相对位置计算指向向量,精度高、鲁棒性好。模型文件(hand_landmarker.task,约 7.5 MB)随项目打包,在具备预编译包的平台上可直接加载。第二优先级为旧版 MediaPipe solutions.hands 接口,用于兼容早期版本。

在 K1 平台上进行部署验证时发现,MediaPipe 官方未提供 RISC-V 架构的预编译包,pip install mediapipe 报 No matching distribution found,第一、第二方案均不可用。据此确定第三方案:采用纯 OpenCV 实现轻量级手势方向识别。该方案不依赖任何模型文件与第三方推理引擎,仅用 YCrCb 色彩空间肤色分割与轮廓主成分分析(PCA)即可完成方向判定,资源占用低,适用于 K1 的算力条件。三种方案在代码中按优先级自动切换,通过 VISION_GESTURE_ENGINE 环境变量可强制指定引擎,便于对照实验。

 

图 6-1 检测界面左上角提示「已启用兼容手势识别模式」,表明系统已自动切换至 OpenCV 方案。

第七章 手势识别模型的训练、转换与板上适配

本章记录手势识别模型的工程化过程。项目初期在 PC 端选用 MediaPipe 官方预训练的 hand_landmarker.task 模型完成可行性验证:以摄像头实时画面为输入,确认关键点检测与方向映射逻辑正确,随后将模型文件随工程打包,实现离线可用。该阶段不涉及从零训练,而是以成熟预训练模型为基线,重点验证其在视力检测流程中的适用性。

按 SpacemiT K1 的模型部署规范,若需使用板载 NPU 加速,通常路径为:在 PC 端以 PyTorch 等框架训练手势分类网络,导出为 ONNX 中间格式,再通过 K1 提供的模型转换工具量化并生成板上可加载的 TDLM 格式,最终由板端推理接口调用。本阶段对该工具链进行了调研,但由于本项目手势类别少、输入分辨率低,且 RISC-V 平台缺少 MediaPipe 运行时,最终未采用自定义 ONNX 模型,转而采用第七章所述的 OpenCV 轻量算法作为板上实现,以保证部署可行性与实时性。

实际板上适配的核心代码如下:先以 YCrCb 阈值提取肤色区域,再取最大轮廓,用 PCA 求主轴方向,以质心相对包围盒中心的偏移判定手掌端与指尖端,从而确定指向正负。关键片段如下:

# gesture_detector.py:OpenCV 兜底方向判定(K1 板上实际运行)
ycrcb = cv2.cvtColor(frame, cv2.COLOR_BGR2YCrCb)
mask = cv2.inRange(ycrcb, np.array(SKIN_LOW), np.array(SKIN_HIGH))
mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel, iterations=1)
contours, = cv2.findContours(mask, cv2.RETREXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
contour = max(contours, key=cv2.contourArea)
pts = contour.reshape(-1, 2).astype(np.float64)
mean, cov = pts.mean(axis=0), np.cov(pts, rowvar=False)
vals, vecs = np.linalg.eigh(cov)
axis = vecs[:, int(np.argmax(vals))]          # PCA 主轴
box_center = (pts.min(axis=0) + pts.max(axis=0)) / 2.0
bias = float(
np.dot(mean - box_center, axis))  # 质心偏移指向手掌端
vec = axis * (-1.0 if bias > 0 else 1.0)       # 反方向即指尖指向

试验表明,该实现在合成手掌图像上对上、下、左、右四方向识别全部正确,验证了在无 NPU 模型条件下完成判定的可行性。关于 ONNX→TDLM 转换路径,本报告如实记录为已完成调研、未纳入本期实现,列为后续改进方向。

 

图 7-1 摄像头画中画实时显示手掌,面板标注「已连接」,用于算法取帧与方向判定。

第八章 软件系统开发

软件系统由前端单页、Python 后端与数据持久层三部分构成。前端采用单文件 HTML,内嵌 CSS 与原生 JavaScript,包含信息录入、检测主界面、结果展示与历史查询四个视图。检测页以画中画形式布局:中央呈现随机朝向的字母 F,左下角为摄像头窗口,右上角为状态灯。前端按需在"浏览器本地摄像头"与"服务器摄像头"两种模式间切换,代码如下:

// index.html:按协议自动切换 WS/WSS,并按模式取流
function wsUrl() {
  var proto = location.protocol === "https:" ? "wss://" : "ws://";
  return proto +
location.host + "/ws";
}
if (cameraMode === "server") {
  prepareServerCamera();          // 画面由后端采集并推送
} else {
  startCamera().then(function (ok) { if (ok) startFramePump(); });
}

后端以 FastAPI 构建,核心为 WebSocket 会话状态机:收到 start 后初始化手势检测器与摄像头,按级下发刺激;收到 frame 或由服务端摄像头循环产生帧时,调用 process_frame 判定;连续两帧方向一致方采纳作答,换题后 1.5 秒内忽略手势以防沿用上一题答案。关键片段如下:

# main.py:服务端摄像头循环,10fps 推预览、1fps 做识别
while self.phase != "done" and server_camera.available:
    frame = server_
camera.read()
    if now - self.last_preview >= PREVIEW_INTERVAL:
        data = server_camera.encode(frame, quality=55)
        await self.send({"type": "cam_frame", "data": data})
    if now - self.last_detect >= DETECT_INTERVAL and self.phase == "waiting":
        await self.process_frame(frame)
    await asyncio.sleep(0.03)

数据层以 SQLite 保存每次检测的汇总与逐轮明细。视力换算按 1 米距离简化模型实现:字号序列由 50 mm 几何递减至 3 mm,3 mm 对应小数视力 1.0(五分记录 5.0),正确率与最小正确字号共同决定最终等级。

# vision_calc.py:字号序列与视力换算
SIZE_SEQUENCE_MM = [50.0, 36.6, 26.8, 19.6, 14.3, 10.5, 7.7, 5.6, 4.1, 3.0]
def acuity_from_mm(mm):
    return round(max(0.02, min(1.5, 3.0 / mm)), 3) if mm else 0.02

 

图 8-1 检测主界面:第 2 题(字号 36.6 mm),绿灯亮起,左下角摄像头显示手掌。

 

图 8-2 检测主界面:第 4 题(字号 19.6 mm),字母 F 朝下。

第九章 系统部署与运行

部署过程按"依赖安装—服务启动—远程访问"顺序实施。首先在 K1 上建立 Python 虚拟环境 aieye_venv,执行 pip install -r requirements.txt 安装 FastAPI、Uvicorn、OpenCV 与 NumPy。初次安装时 requirements.txt 中包含 MediaPipe,因 RISC-V 无对应发行包而失败(如图 9-1);将该依赖改为可选并注释后重新安装,全部依赖编译为 riscv64 Wheel 并顺利装完,验证了适配方案的有效性。

随后启动服务。项目提供 start.sh 启动脚本,支持前台、后台、HTTPS 及状态查询等模式。执行 ./start.sh 后终端输出「服务启动中」「Uvicorn running on <http://0.0.0.0:8765」,并可见来自客户端> IP 的 GET 与 WebSocket 连接记录,表明服务正常对外提供访问。若摄像头直接接在服务器上,需设置 VISION_CAMERA_SOURCE(如 auto 或 /dev/video0)启用服务端摄像头模式,画面由后端采集推送,前端不再请求浏览器摄像头权限。

远程访问采用 HTTPS:脚本可自动生成含 SAN 的自签证书,执行 bash start.sh https-daemon 后通过 https://192.168.3.26:8765 访问;浏览器首次提示证书不受信任,选择继续即可。Nginx 亦已安装并设为开机自启,可在有正式域名时改由反向代理提供证书。整个部署过程无需云端服务,全部计算与数据均保留在板卡本地。

 

图 9-1 首次安装依赖时 MediaPipe 在 RISC-V 平台无匹配版本的报错记录。

 

图 9-2 依赖安装成功,各 Wheel 包编译完成并记录缓存路径。

 

图 9-3 执行 ./start.sh 启动服务,终端显示 WebSocket 连接已建立。

第十章 实际测试与结果分析

测试分为功能验证与整机实测两阶段。功能验证阶段使用合成手掌图像检验四方向识别,结果全部正确;服务端摄像头模式以合成视频作为摄像头源进行端到端测试,收到 50 帧预览(约 10 fps)与连续识别消息,判定链路正常;将摄像头源指向不存在设备时,系统返回明确错误提示且手动按钮仍可完成检测,验证了降级通道。整机实测阶段在 K1 上启动服务,由受检者距显示器约 1 米平伸手掌作答。

实测记录显示,系统完整走完了 10 题流程:检测界面按字号由大到小依次呈现字母 F,右上角状态灯在绿灯与白灯间切换,左下角画中画实时显示手掌;结束后自动跳转结果页,给出正确率、最小识别字号、小数视力、五分记录与综合评定,并列出逐轮明细。一组记录为正确率 50%(5/10)、最小正确字号 3.0 mm、小数视力 1.0、五分记录 5.0,综合评定「视力正常(达标)」;另一组为正确率 70%(7/10)、最小正确字号 7.7 mm、小数视力 0.39、五分记录 4.59,综合评定「轻度下降」。两组结果均正确写入 SQLite,并可通过姓名查询回看。

测试亦暴露出若干现象:手掌需正对摄像头并保持并拢,否则轮廓 PCA 主轴偏移导致方向误判;强背光或复杂背景会削弱肤色分割效果;单帧识别存在抖动,系统以连续两帧一致机制抑制误触发。总体而言,系统达到"自动出题—手势判定—统计归档—历史可查"的预期目标,流程稳定、交互清晰,具备进一步优化的基础。

 

图 10-1 实测结果页:正确率 50%,5/10,综合评定「视力正常(达标)」。

 

图 10-2 整机实测结果页:正确率 70%,7/10,视力 0.39,评定「轻度下降」。

 

图 10-3 实测中受检者手掌指向与屏幕字母 F 方向对应关系。

第十一章 项目总结与改进方向

本项目围绕"低成本边缘平台实现自动视力筛查"的目标,完成了从硬件搭建、算法适配、软件开发到系统部署与实测的完整链条。系统实现了受检者信息录入、标准化刺激呈现、手势方向自动判定、逐轮统计与视力等级换算、结果归档与历史查询等全部预设功能,并在 SpacemiT K1 上离线运行,验证了 RISC-V 平台承接轻量视觉任务的可行性。软件架构与通信结构设计合理,状态灯与降级通道提升了交互可靠性,工程产物可复现、可扩展。

存在的问题主要集中在两方面。其一是识别准确率:纯 OpenCV 肤色与轮廓方案在理想条件下四方向识别正确,但在复杂背景、强背光或手掌未并拢时准确率下降,且受检者个体差异(肤色、手势习惯)影响明显;相较之下,MediaPipe 关键点方案精度更高,但受限于 RISC-V 无预编译包而未能在本期启用。其二是速度:服务端摄像头预览约 10 fps、识别 1 fps,题目切换含约 1 秒等待,整体流程偏慢;OpenCV 轮廓分析在 K1 上的单帧耗时仍有优化空间。

改进方向包括:其一,完成 ONNX→TDLM 模型转换链路,将轻量手势分类网络部署至 K1 的 NPU,以模型推理替代肤色阈值,提升复杂场景下的准确率;其二,引入自适应肤色标定与背景抑制,降低光照与肤色差异影响;其三,优化采集与推理流水线,提高帧率并压缩题目间隔;其四,以标准对数视力表与光学标定替换当前的 1 米简化换算模型,使结果更具临床参考价值。上述工作将作为后续迭代的重点。

 

图 11-1 系统实验结果总览:检测完成界面与逐轮明细。

附录 演示视频

以下视频完整演示了系统工作流程:受检者信息录入、进入检测界面、按绿灯提示做手势作答、状态灯切换、10 题结束后自动给出结果并写入历史记录。视频时长约 90 秒,分辨率 1280×720。

演示视频:AI智能视力检测系统操作流程

 

演示视频封面(视频文件:screen/video1.mp4)

演示视频文件位于 screen/video1.mp4,与本文档保持同级目录即可正常播放。

视频 1 演示视频:从录入信息到给出检测结果的全过程。

代码开源地址

本项目源代码已开源至 Gitee 平台,公开仓库地址为:

https://gitee.com/lutherluov/vision-test

仓库包含完整的工程产物:backend/ 目录下为 FastAPI 服务端、手势识别模块、视力换算与 SQLite 数据层;frontend/ 目录下为单页前端界面;start.sh 与 start.bat 为 Linux / Windows 一键启动脚本;issue/ 目录下为本文档及配套素材。开发者可依照仓库 README 的说明,在 SpacemiT K1 等 RISC-V 开发板或常规 x86 平台上完成部署与运行。

本报告为项目开发试验记录,所涉视力换算模型为简化模型,仅供流程演示与相对比较,不作为医学诊断依据。