夜眸-户外无人值守星空拍摄终端

夜眸(NightEye) — 基于 ShiMetaPi Pico G1 的户外无人值守星空拍摄终端

夜眸-户外无人值守星空拍摄终端封面
大丑2026-11-15 18:07:06CC BY-NC-SA 4.0
6
Star

PCBA

设计文件

PCB+实物照片.zip526.16KB(1次下载)

源代码

外壳模型文件

详细介绍

NightEyes(夜眸)复刻上手指南

项目仓库:https://gitee.com/da_chou/night-eyes 硬件平台:ShiMetaPi Pico G1(GK7206V11A)+ SC465SL 星光 MIPI 摄像头 项目定位:户外无人值守星空拍摄终端,板载 NPU 完成黑光增强、流星检测,支持 RTC 低功耗定时录像 许可证:PolyForm-Noncommercial-1.0.0,禁止商业用途,仅限个人学习与爱好研究


一、项目说明

1.1 解决的问题

  1. 人工值守成本高:星空延时、流星雨拍摄需要整夜守候,单反 + 外接电源 + 定时快门线方案笨重,无法长期无人值守。

  2. 暗光成像难:普通摄像头在无月光环境下噪点爆炸;专业天文制冷相机价格高、功耗大,无法独立联网。

  3. 素材筛选成本高:整夜拍摄产生数万帧画面,人工挑选流星帧耗时费力,极易漏检。

  4. 分布式布点门槛高:民间夜空监测(光污染、火流星观测)缺少低成本、低功耗、可批量部署的边缘节点。

1.2 目标用户

用户群体

使用场景

核心诉求

天文爱好者 / 星空摄影师

流星雨守拍、星空延时摄影

低成本、整夜无人值守、暗光出片清晰

高校天文社团、科普馆

校园天文台科普演示

硬件易复制、软件开源、可用于教学实践

民间夜空监测组织

光污染监测、火流星联合观测

多节点分布式部署、抓拍素材可回溯

户外营地、景区

夜间星空直播

局域网 RTSP 实时预览、安装部署简单

1.3 设计思路

整体架构(单板闭环,无需上位机)

SC465SL 星光 Sensor
        │ MIPI CSI
        ▼
GK7206V11A SoC
  ├─ AI-ISP + AINR 黑光全彩 → 暗夜画面增强(PQ 参数调优)
  ├─ 1TOPS NPU              → RTMDet int8 流星检测(1280×1280)
  ├─ H.264/H.265 编码        → RTSP 局域网实时预览
  └─ RTC + STR + 电源门控    → 低功耗定时唤醒录制
        │
        ▼
Micro-SD(exFAT)→ 视频片段 + 流星检测命中帧(带检测框)

设计要点

  1. 采集与暗光增强一体化:依靠芯片内置 AI-ISP + AINR AI 降噪,配合 PQ 调优参数,无月光环境下依然输出全彩夜景画面,替代昂贵的天文制冷相机。

  2. 边缘端 AI 智能筛选:轻量化 RTMDet int8 模型部署在板载 NPU,自动筛选流星帧,把数万张原始画面压缩为几十张候选素材,大幅降低人工筛选工作量。

  3. 低功耗无人值守:RTC 定时唤醒 + STR 系统挂起 + 电源门控,非拍摄时段整机休眠;实测唤醒耗时约 10.15s,满足野外长期不间断布点。

  4. 项目可复制:软件构建脚本、补丁、文档全部开源;硬件载板原理图与 PCB 开源,一套物料即可批量复制观测节点。


二、前置准备

2.1 硬件清单

硬件

说明

ShiMetaPi Pico-G1(GK7206V11A,128MB DDR3)

主控开发板,严禁使用 V12A 版本

SC465SL MIPI 摄像头模组

星光全彩 Sensor,代码已做 180° 倒置修正,必须使用该型号

Micro-SD 卡

≥16GB,格式化为 exFAT,存储拍摄素材

USB-TTL 串口模块

打印日志、调试与烧录必备

网线 + 路由器

板子仅支持百兆以太网,DHCP 自动获取 IP

5V 稳定直流电源

野外可后续扩展太阳能供电(暂无电量管理代码)

2.2 PC 环境要求

  1. 安装 Docker Desktop(使用 Ubuntu 18.04 容器,规避交叉编译环境问题);

  2. 安装 Git 工具;

  3. 磁盘预留 ≥20GB 空间:厂商 SDK 压缩包约 6.1GB,编译占用大量 IO 资源。

2.3 重要前置说明

  1. PQ 参数文件不随仓库分发

    sc465sl_linear_isp_vpss_ainr.bin 为视美泰原厂 PQ 调优文件,仓库不提供;无此文件程序可正常运行,但暗光降噪效果大幅下降。

    获取方式:仓库 Issue 留言申请,注明用途为个人非商业星空项目学习,审核通过后发放,放入 assets/ 目录再编译。

  2. 模型存在域偏移问题

    自带 meteor_rtmdet_1280_int8_v1.xmm 模型仅用屏摄星空图片训练,真实夜空下检测准确率下降;当前单帧识别无法区分流星、卫星、雨滴与噪点,时序过滤功能尚未开发。

  3. 未实现功能清单

    夜空延时合成、云层识别、素材自动上传、太阳能电量管理暂无对应代码。


三、源码克隆

3.1 克隆命令

git clone https://gitee.com/da_chou/night-eyes.git NightEyes
cd NightEyes

3.2 复刻踩坑(必看)

坑 1:长破折号导致 404

复制链接时,night-eyes 中间的短横容易变成长连字符 ‑(U+2011),会直接 404。

  • 错误地址(长横):https://gitee.com/da_chou/night‑eyes.git

  • 正确地址(短横):https://gitee.com/da_chou/night-eyes.git

坑 2:HTTPS 拉取认证失败

Gitee 不再支持账号密码拉取代码,弹窗输入账号密码时:

  • Username:Gitee 账号;

  • Password:个人访问令牌(Access Token),不是登录密码。

令牌生成路径:Gitee → 设置 → 安全设置 → 生成个人访问令牌,勾选 projects 权限。

3.3 仓库目录结构

build.sh                # 一键构建脚本:拉 SDK、打补丁、编译、生成 SD 卡文件
Dockerfile.build-env    # 编译容器配置文件
patches/                # 原厂 SDK 补丁包
assets/                 # 流星检测模型;PQ bin 文件放入此处
sdcard/                 # SD 卡模板文件,编译后自动填充程序
docs/*.md               # 全套中文开发文档
vendor/sdk/             # 不随 Git 下载,build.sh 首次运行自动拉取(约 6.1GB)

重点文档(docs 目录):

  1. 项目打包与复刻踩坑指南.md(验收清单 + 排错)

  2. 烧录登录与 HelloWorld 上板指南.md(串口、SSH、固件烧录)

  3. AINR 黑光全彩实测教程.md(暗光图像调参)

  4. AI 模型训练与板端部署验证.md(NPU 模型转换与部署)


四、构建 Docker 编译环境

4.1 构建镜像

docker build -t nighteyes-build:18.04 -f Dockerfile.build-env .

4.2 启动容器(挂载本机源码)

docker run --rm -it -v "$(pwd):/work" nighteyes-build:18.04
cd /work

4.3 容器依赖缺失修复(复刻必踩问题)

报错现象

mkfs.jffs2: error while loading shared libraries: liblzo2.so.2: cannot open shared object file

解决方案(容器内执行)

apt update
apt install -y liblzo2-2 libuuid1 zlib1g libacl1
# 若为 32 位工具缺失库,补充安装
apt install -y lib32lzo2-2

五、项目编译

5.1 一键全量编译

容器内执行一键脚本,自动完成拉取 SDK、打补丁、编译程序、生成固件:

./build.sh

5.2 两种编译场景

  1. 无 PQ bin(先跑通基础功能):直接执行 ./build.sh,程序正常运行,仅暗光画质较差。

  2. 已拿到 PQ bin 文件:将 sc465sl_linear_isp_vpss_ainr.bin 放入本机 NightEyes/assets/,容器内仅编译应用程序:

./build.sh app

5.3 仅重新打包文件系统

依赖修复完成后,只需要重新生成 rootfs 镜像:

cd /work/vendor/sdk
make fs

六、编译产物说明

产物路径

用途

vendor/sdk/out/xm7206v11a/image/spi_image/

SPI NOR Flash 烧录镜像(共 5 个文件),用于烧录板载 Flash

sdcard/

SD 卡完整文件,全部复制到 SD 卡根目录


七、固件烧录与硬件上电

7.1 硬件接线

  1. SC465SL 摄像头接入 MIPI CSI 接口;

  2. USB-TTL 串口连接板子调试串口,PC 打开串口终端(波特率参考文档);

  3. 网线接入路由器,自动 DHCP 获取 IP 地址。

7.2 烧录 SPI Flash

使用视美泰 SDK 配套烧录工具,将 spi_image 目录下 5 个镜像文件烧入开发板 16MB SPI Flash。

7.3 SD 卡准备

  1. Windows 将 SD 卡格式化为 exFAT 格式(禁止 FAT32,存在单文件大小限制);

  2. 将 sdcard/ 下所有文件平铺复制到 SD 卡根目录,不要嵌套文件夹;

  3. 将 SD 卡插入开发板卡槽。

7.4 上电登录

  1. 上电后通过串口查看启动日志;

  2. 在路由器 DHCP 列表查询板子 IP,使用 SSH 远程登录。


八、板端程序运行

8.1 黑光全彩 + RTSP 实时推流(sample_ainr)

sh /mnt/run_ainr.sh
  • 功能:AINR 黑光 ISP + NPU 图像增强 + RTSP 视频直播;

  • NPU 推理速度:约 53 帧/秒;

  • 打开 VLC 播放器,输入串口打印的 RTSP 地址即可预览画面。

8.2 流星 AI 检测(meteor_detect)

meteor_detect
  • 输入分辨率:1280×1280;

  • 单帧推理耗时:213ms(≈4.5 FPS),与 22 fps 视频流帧率不同步,为已知限制;

  • 检测到流星后,自动保存带检测框的图片至 SD 卡 /mnt 目录。

8.3 RTC 低功耗定时录像(night_record)

./night_record
  • 功能:RTC + STR 休眠唤醒,循环定时录制星空视频;

  • 实测唤醒耗时:约 10152ms,接近 10s 设计目标;

  • 注意:开机偶尔出现 DHCP CRC 错误,无人值守场景需自行补充网络重连逻辑。


九、实机验收清单(提交前逐项核验)

  1. 上电启动正常,SD 卡成功挂载到 /mnt;

  2. 运行 sample_ainr,VLC 可正常拉取 RTSP 视频流;无 PQ bin 时画面噪点多属于正常现象;

  3. 运行 meteor_detect,NPU 正常执行推理,可生成带检测框的抓拍图片;

  4. 运行 night_record,设备可进入 STR 休眠,RTC 能够定时唤醒并录制视频保存到 SD 卡。


十、已知限制与注意事项

  1. 硬件平台严格绑定:必须使用 GK7206V11A + SC465SL;更换摄像头需要重新修改 ISP 配置与画面翻转参数。

  2. SDK 下载容易中断:SDK 体积 6.1GB,网络不稳定时克隆会失败;可手动下载 SDK 压缩包放到 vendor/sdk,修改脚本跳过自动克隆。

  3. 流星模型泛化能力不足:训练素材为屏幕模拟星空,真实夜空识别效果下降,需要自行采集实景图片重新训练。

  4. 缺少目标分类逻辑:当前只能识别高亮移动目标,无法区分流星、卫星、雨滴、噪点,无前后帧时序过滤。

  5. 网络稳定性不足:DHCP 偶尔获取 IP 失败,长期野外部署需要增加自动重连机制。

  6. 延时合成、云量识别、素材云端上传等功能暂无代码。


十一、常见问题排查速查表

报错 / 现象

根因

处理方案

克隆仓库 404 Not Found

链接含长破折号 U+2011

手动替换为普通短横 -

HTTPS 拉取提示账号密码错误

填写了登录密码而非令牌

密码栏填入 Gitee 个人访问令牌

提示 liblzo2.so.2 找不到

容器缺少依赖库

执行 apt install -y liblzo2-2

其他 .so 动态库缺失

基础镜像缺少运行库

搜索对应库名安装;32 位工具安装 lib32* 包

SDK 克隆反复超时中断

网络下载大文件不稳定

手动解压 SDK 到对应目录,跳过自动克隆

画面暗光噪点极高

缺少 PQ 调优 bin 文件

在仓库 Issue 申请文件,放入 assets 后重新编译

VLC 无法拉取 RTSP 流

网段不一致、流地址错误

核对串口输出的 URL;保证电脑与板子在同一局域网

SD 卡无法挂载到 /mnt

格式为 FAT32 或文件嵌套文件夹

重新格式化为 exFAT,文件平铺在卡根目录


十二、后续进阶开发方向

  1. 模型重新训练:采集真实夜空图片,重新训练流星检测模型,导出 XMM 模型文件部署到板端 NPU;参考文档:AI 模型训练与板端部署验证.md。

  2. ISP 暗光画质优化:调试 AINR 黑光降噪参数,进一步降低夜间画面噪点;参考文档:AINR 黑光全彩实测教程.md。

  3. 无人值守稳定性增强:增加 DHCP 自动重试、网络断线重连、RTC 唤醒容错机制。

  4. 扩展自动后期处理:开发视频延时合成、云层过滤、抓拍图片自动打包上传功能。