一、项目基础定位与背景

Omi 是一套全栈开源 AI 第二大脑平台，主打 24 小时全天候采集你的画面、对话，实时转录、生成会议摘要、待办事项、结构化记忆，提供跨设备 AI 检索与智能问答；覆盖桌面、手机、自研可穿戴硬件（包含原 OpenGlass 智能眼镜），全栈代码、硬件图纸均开源（MIT 协议）。 项目前身是独立仓库 OpenGlass（低成本 ESP32 智能眼镜），现已全部迁移并入本仓库 omiGlass 目录，原 OpenGlass 仓库停止维护，所有更新迭代集中在 Omi 仓库。

二、整体技术架构（四层完整开源栈）

1. 硬件层（Omi Hardware）

包含两条硬件产品线，全部开源 PCB、结构、固件：

（1）OmiGlass（原 OpenGlass 升级款，ESP32-S3 智能眼镜）

• 入门自制版：复用 Seeed XIAO ESP32-S3 Sense（自带摄像头 + 麦克风）、3D 打印外壳 STL、锂电池接线方案，无自研 PCB，低成本复刻（硬件成本 < 25 美元）

• 量产开发套件版：仓库内置完整 Altium Designer PCB 工程（主板、充电小板、FPC 柔性排线）、Gerber 生产文件、BOM、3D STEP 装配模型，可直接打板量产；支持全天第一视角摄像 + 录音，续航远超普通智能眼镜

• 固件路径：仓库 omiGlass/ 文件夹，基于 Arduino ESP32 开发，支持本地图像识别、OCR、实时音频录制

（2）Omi Consumer（颈挂式旗舰录音硬件）

• 主控 nRF5340 双核 BLE SoC，4 阵列高信噪比 MEMS 麦克风，蓝牙 5.3 低功耗全天录音

• 全套开源：原理图、PCB 源文件、注塑结构图纸、装配手册，MIT 开源商用无限制

2. 移动端软件（App）

• iOS / Android 双端，Flutter 跨平台开发，上架 App Store、Google Play

• 核心能力：蓝牙连接穿戴设备、实时同步音视频、本地记忆库、AI 对话、硬件固件 OTA 升级

• 配套多语言 SDK：Python / Swift / React Native，支持第三方接入 Omi 记忆数据

3. 桌面端软件（macOS 桌面客户端）

• SwiftUI 原生 macOS 应用，Rust 底层高性能音视频处理

• 独有能力：实时捕获电脑屏幕画面、桌面音频、会议录屏，同步汇入全局记忆库；无云端依赖时支持本地离线处理

4. 后端服务（Backend）

• 技术栈：Python FastAPI + Firebase + Redis，提供完整 REST API

• 核心处理流水线：

  1. 语音 VAD 人声检测、说话人分离、实时转写（Deepgram 模型）

  2. LLM 语义分析：提取待办、决策、关键信息、情绪标记

  3. 向量数据库记忆存储，支持语义检索历史对话 / 画面

  4. Agent 智能对话：基于你的全部记忆做个性化问答、任务提醒

• 支持私有化部署，可对接本地 Ollama 大模型，保护隐私不上传第三方云端

三、核心功能能力

1. 全天候全场景数据采集

• 穿戴设备（眼镜 / 颈挂）：户外、线下会议、社交对话音视频录制

• 桌面客户端：电脑屏幕、线上会议、网页内容自动捕获

• 手机 App：通话、本地录音、相册图片同步入库

2. AI 记忆处理核心

1. 实时转录：区分不同说话人，生成带时间轴完整文字稿

2. 智能摘要：自动提炼会议核心、决策点、承诺事项

3. 任务提取：识别待办、截止时间、需要跟进的事项，统一清单管理

4. 记忆检索：语义搜索任意历史画面、对话，无需精确关键词

5. 上下文 AI 问答：可向 AI 提问 “上周和客户聊的需求是什么”，基于完整记忆给出精准回答

3. 拓展生态

• MCP 协议集成：对接本地大模型（Ollama、Claude、GPT 系列）

• 插件系统：接入 Notion、Slack、日历、自动化工具，自动同步会议纪要、创建日程

四、License

MIT license

五、项目地址

https://github.com/BasedHardware/OpenGlass

https://github.com/BasedHardware/omi