NightEyes(夜眸)复刻上手指南
项目仓库:https://gitee.com/da_chou/night-eyes 硬件平台:ShiMetaPi Pico G1(GK7206V11A)+ SC465SL 星光 MIPI 摄像头 项目定位:户外无人值守星空拍摄终端,板载 NPU 完成黑光增强、流星检测,支持 RTC 低功耗定时录像 许可证:PolyForm-Noncommercial-1.0.0,禁止商业用途,仅限个人学习与爱好研究
一、项目说明
1.1 解决的问题
人工值守成本高:星空延时、流星雨拍摄需要整夜守候,单反 + 外接电源 + 定时快门线方案笨重,无法长期无人值守。
暗光成像难:普通摄像头在无月光环境下噪点爆炸;专业天文制冷相机价格高、功耗大,无法独立联网。
素材筛选成本高:整夜拍摄产生数万帧画面,人工挑选流星帧耗时费力,极易漏检。
分布式布点门槛高:民间夜空监测(光污染、火流星观测)缺少低成本、低功耗、可批量部署的边缘节点。
1.2 目标用户
用户群体 | 使用场景 | 核心诉求 |
|---|---|---|
天文爱好者 / 星空摄影师 | 流星雨守拍、星空延时摄影 | 低成本、整夜无人值守、暗光出片清晰 |
高校天文社团、科普馆 | 校园天文台科普演示 | 硬件易复制、软件开源、可用于教学实践 |
民间夜空监测组织 | 光污染监测、火流星联合观测 | 多节点分布式部署、抓拍素材可回溯 |
户外营地、景区 | 夜间星空直播 | 局域网 RTSP 实时预览、安装部署简单 |
1.3 设计思路
整体架构(单板闭环,无需上位机)
SC465SL 星光 Sensor
│ MIPI CSI
▼
GK7206V11A SoC
├─ AI-ISP + AINR 黑光全彩 → 暗夜画面增强(PQ 参数调优)
├─ 1TOPS NPU → RTMDet int8 流星检测(1280×1280)
├─ H.264/H.265 编码 → RTSP 局域网实时预览
└─ RTC + STR + 电源门控 → 低功耗定时唤醒录制
│
▼
Micro-SD(exFAT)→ 视频片段 + 流星检测命中帧(带检测框)设计要点
采集与暗光增强一体化:依靠芯片内置 AI-ISP + AINR AI 降噪,配合 PQ 调优参数,无月光环境下依然输出全彩夜景画面,替代昂贵的天文制冷相机。
边缘端 AI 智能筛选:轻量化 RTMDet int8 模型部署在板载 NPU,自动筛选流星帧,把数万张原始画面压缩为几十张候选素材,大幅降低人工筛选工作量。
低功耗无人值守:RTC 定时唤醒 + STR 系统挂起 + 电源门控,非拍摄时段整机休眠;实测唤醒耗时约 10.15s,满足野外长期不间断布点。
项目可复制:软件构建脚本、补丁、文档全部开源;硬件载板原理图与 PCB 开源,一套物料即可批量复制观测节点。
二、前置准备
2.1 硬件清单
硬件 | 说明 |
|---|---|
ShiMetaPi Pico-G1(GK7206V11A,128MB DDR3) | 主控开发板,严禁使用 V12A 版本 |
SC465SL MIPI 摄像头模组 | 星光全彩 Sensor,代码已做 180° 倒置修正,必须使用该型号 |
Micro-SD 卡 | ≥16GB,格式化为 exFAT,存储拍摄素材 |
USB-TTL 串口模块 | 打印日志、调试与烧录必备 |
网线 + 路由器 | 板子仅支持百兆以太网,DHCP 自动获取 IP |
5V 稳定直流电源 | 野外可后续扩展太阳能供电(暂无电量管理代码) |
2.2 PC 环境要求
安装 Docker Desktop(使用 Ubuntu 18.04 容器,规避交叉编译环境问题);
安装 Git 工具;
磁盘预留 ≥20GB 空间:厂商 SDK 压缩包约 6.1GB,编译占用大量 IO 资源。
2.3 重要前置说明
PQ 参数文件不随仓库分发
sc465sl_linear_isp_vpss_ainr.bin为视美泰原厂 PQ 调优文件,仓库不提供;无此文件程序可正常运行,但暗光降噪效果大幅下降。获取方式:仓库 Issue 留言申请,注明用途为个人非商业星空项目学习,审核通过后发放,放入
assets/目录再编译。模型存在域偏移问题
自带
meteor_rtmdet_1280_int8_v1.xmm模型仅用屏摄星空图片训练,真实夜空下检测准确率下降;当前单帧识别无法区分流星、卫星、雨滴与噪点,时序过滤功能尚未开发。未实现功能清单
夜空延时合成、云层识别、素材自动上传、太阳能电量管理暂无对应代码。
三、源码克隆
3.1 克隆命令
git clone https://gitee.com/da_chou/night-eyes.git NightEyes
cd NightEyes3.2 复刻踩坑(必看)
坑 1:长破折号导致 404
复制链接时,night-eyes 中间的短横容易变成长连字符 ‑(U+2011),会直接 404。
错误地址(长横):
https://gitee.com/da_chou/night‑eyes.git正确地址(短横):
https://gitee.com/da_chou/night-eyes.git
坑 2:HTTPS 拉取认证失败
Gitee 不再支持账号密码拉取代码,弹窗输入账号密码时:
Username:Gitee 账号;
Password:个人访问令牌(Access Token),不是登录密码。
令牌生成路径:Gitee → 设置 → 安全设置 → 生成个人访问令牌,勾选 projects 权限。
3.3 仓库目录结构
build.sh # 一键构建脚本:拉 SDK、打补丁、编译、生成 SD 卡文件
Dockerfile.build-env # 编译容器配置文件
patches/ # 原厂 SDK 补丁包
assets/ # 流星检测模型;PQ bin 文件放入此处
sdcard/ # SD 卡模板文件,编译后自动填充程序
docs/*.md # 全套中文开发文档
vendor/sdk/ # 不随 Git 下载,build.sh 首次运行自动拉取(约 6.1GB)重点文档(docs 目录):
项目打包与复刻踩坑指南.md(验收清单 + 排错)
烧录登录与 HelloWorld 上板指南.md(串口、SSH、固件烧录)
AINR 黑光全彩实测教程.md(暗光图像调参)
AI 模型训练与板端部署验证.md(NPU 模型转换与部署)
四、构建 Docker 编译环境
4.1 构建镜像
docker build -t nighteyes-build:18.04 -f Dockerfile.build-env .4.2 启动容器(挂载本机源码)
docker run --rm -it -v "$(pwd):/work" nighteyes-build:18.04
cd /work4.3 容器依赖缺失修复(复刻必踩问题)
报错现象
mkfs.jffs2: error while loading shared libraries: liblzo2.so.2: cannot open shared object file解决方案(容器内执行)
apt update
apt install -y liblzo2-2 libuuid1 zlib1g libacl1
# 若为 32 位工具缺失库,补充安装
apt install -y lib32lzo2-2五、项目编译
5.1 一键全量编译
容器内执行一键脚本,自动完成拉取 SDK、打补丁、编译程序、生成固件:
./build.sh5.2 两种编译场景
无 PQ bin(先跑通基础功能):直接执行
./build.sh,程序正常运行,仅暗光画质较差。已拿到 PQ bin 文件:将
sc465sl_linear_isp_vpss_ainr.bin放入本机NightEyes/assets/,容器内仅编译应用程序:
./build.sh app5.3 仅重新打包文件系统
依赖修复完成后,只需要重新生成 rootfs 镜像:
cd /work/vendor/sdk
make fs六、编译产物说明
产物路径 | 用途 |
|---|---|
| SPI NOR Flash 烧录镜像(共 5 个文件),用于烧录板载 Flash |
| SD 卡完整文件,全部复制到 SD 卡根目录 |
七、固件烧录与硬件上电
7.1 硬件接线
SC465SL 摄像头接入 MIPI CSI 接口;
USB-TTL 串口连接板子调试串口,PC 打开串口终端(波特率参考文档);
网线接入路由器,自动 DHCP 获取 IP 地址。
7.2 烧录 SPI Flash
使用视美泰 SDK 配套烧录工具,将 spi_image 目录下 5 个镜像文件烧入开发板 16MB SPI Flash。
7.3 SD 卡准备
Windows 将 SD 卡格式化为 exFAT 格式(禁止 FAT32,存在单文件大小限制);
将
sdcard/下所有文件平铺复制到 SD 卡根目录,不要嵌套文件夹;将 SD 卡插入开发板卡槽。
7.4 上电登录
上电后通过串口查看启动日志;
在路由器 DHCP 列表查询板子 IP,使用 SSH 远程登录。
八、板端程序运行
8.1 黑光全彩 + RTSP 实时推流(sample_ainr)
sh /mnt/run_ainr.sh功能:AINR 黑光 ISP + NPU 图像增强 + RTSP 视频直播;
NPU 推理速度:约 53 帧/秒;
打开 VLC 播放器,输入串口打印的 RTSP 地址即可预览画面。
8.2 流星 AI 检测(meteor_detect)
meteor_detect输入分辨率:1280×1280;
单帧推理耗时:213ms(≈4.5 FPS),与 22 fps 视频流帧率不同步,为已知限制;
检测到流星后,自动保存带检测框的图片至 SD 卡
/mnt目录。
8.3 RTC 低功耗定时录像(night_record)
./night_record功能:RTC + STR 休眠唤醒,循环定时录制星空视频;
实测唤醒耗时:约 10152ms,接近 10s 设计目标;
注意:开机偶尔出现 DHCP CRC 错误,无人值守场景需自行补充网络重连逻辑。
九、实机验收清单(提交前逐项核验)
上电启动正常,SD 卡成功挂载到
/mnt;运行
sample_ainr,VLC 可正常拉取 RTSP 视频流;无 PQ bin 时画面噪点多属于正常现象;运行
meteor_detect,NPU 正常执行推理,可生成带检测框的抓拍图片;运行
night_record,设备可进入 STR 休眠,RTC 能够定时唤醒并录制视频保存到 SD 卡。
十、已知限制与注意事项
硬件平台严格绑定:必须使用 GK7206V11A + SC465SL;更换摄像头需要重新修改 ISP 配置与画面翻转参数。
SDK 下载容易中断:SDK 体积 6.1GB,网络不稳定时克隆会失败;可手动下载 SDK 压缩包放到
vendor/sdk,修改脚本跳过自动克隆。流星模型泛化能力不足:训练素材为屏幕模拟星空,真实夜空识别效果下降,需要自行采集实景图片重新训练。
缺少目标分类逻辑:当前只能识别高亮移动目标,无法区分流星、卫星、雨滴、噪点,无前后帧时序过滤。
网络稳定性不足:DHCP 偶尔获取 IP 失败,长期野外部署需要增加自动重连机制。
延时合成、云量识别、素材云端上传等功能暂无代码。
十一、常见问题排查速查表
报错 / 现象 | 根因 | 处理方案 |
|---|---|---|
克隆仓库 404 Not Found | 链接含长破折号 U+2011 | 手动替换为普通短横 |
HTTPS 拉取提示账号密码错误 | 填写了登录密码而非令牌 | 密码栏填入 Gitee 个人访问令牌 |
提示 | 容器缺少依赖库 | 执行 |
其他 | 基础镜像缺少运行库 | 搜索对应库名安装;32 位工具安装 |
SDK 克隆反复超时中断 | 网络下载大文件不稳定 | 手动解压 SDK 到对应目录,跳过自动克隆 |
画面暗光噪点极高 | 缺少 PQ 调优 bin 文件 | 在仓库 Issue 申请文件,放入 assets 后重新编译 |
VLC 无法拉取 RTSP 流 | 网段不一致、流地址错误 | 核对串口输出的 URL;保证电脑与板子在同一局域网 |
SD 卡无法挂载到 | 格式为 FAT32 或文件嵌套文件夹 | 重新格式化为 exFAT,文件平铺在卡根目录 |
十二、后续进阶开发方向
模型重新训练:采集真实夜空图片,重新训练流星检测模型,导出 XMM 模型文件部署到板端 NPU;参考文档:AI 模型训练与板端部署验证.md。
ISP 暗光画质优化:调试 AINR 黑光降噪参数,进一步降低夜间画面噪点;参考文档:AINR 黑光全彩实测教程.md。
无人值守稳定性增强:增加 DHCP 自动重试、网络断线重连、RTC 唤醒容错机制。
扩展自动后期处理:开发视频延时合成、云层过滤、抓拍图片自动打包上传功能。


