一、项目概述

OSMO（内部研发代号 Bowie）是一套软硬件全开源的触觉传感手套系统，专为机器人科研领域打造，核心目标是实现人类操作触觉、手部姿态向机器人灵巧技能的迁移。

现有机器人示教大多仅依靠视觉捕捉手部动作，缺失物体接触压力、局部触感等关键信息，导致精细抓取、柔性操作等任务复现效果差；OSMO 通过分布式触觉传感同步采集人手动作与接触力数据，搭建完整的数据处理、动作映射、策略训练工具链，低成本解决机器人模仿学习缺少触觉信息的行业痛点。

项目硬件图纸、嵌入式固件、数据处理脚本、运动学标定、机器人训练代码全部公开，科研人员可自主复刻硬件，依托配套代码快速开展触觉示教、灵巧机器人操作相关研究。

二、核心硬件体系

1. 触觉传感手套本体

   手套指尖、掌部分布多组三轴触觉传感器，可实时采集手部与物体交互的三维接触力；内置磁力计模块，同步捕捉手部空间姿态，同步输出「姿态 + 触觉」双通道数据。

2. 开源硬件文件

   仓库hardware、pcb目录存放完整 PCB 工程、机械结构图纸、装配指南，配套独立website分支提供硬件组装教程，无需采购商用昂贵触觉手套，可自主打板制作。

3. 底层固件

   firmware文件夹为手套嵌入式驱动代码，负责传感器数据采集、数据传输、硬件信号校准，适配 PC 端上位机实时读取数据流。

三、完整数据处理流水线

项目提供一站式自动化数据处理流程，基于 Conda 隔离两套专用运行环境，完整链路分为四大模块：

1. 手部关键点提取

通过 HAMER 手部模型，从手套同步采集的图像、触觉数据流中提取人手三维关键点，支持批量实验数据自动处理；同时提供公开示例数据集下载脚本，快速开展复现实验。

2. 数据可视化校验

配套绘图脚本，可生成手部关键点、磁力计读数、触觉压力分布综合可视化图，直观排查采集数据漂移、遮挡、传感器故障等异常。

3. 人手 - 机械臂运动学重定位

核心转化模块，基于相机 4×4 外参标定矩阵，将人类手部三维关键点映射至 Franka、Poynic 等主流科研机械臂运动学空间，把人类操作动作转化为机器人可识别的关节数据集，解决人手与机械臂结构不匹配的映射难题。

4. 批量并行数据处理

提供批量运行脚本，支持多组实验数据并行运算，大幅降低大规模触觉数据集的预处理算力耗时。

四、环境与工具链说明

仓库封装两套独立 Conda 虚拟环境，隔离依赖避免版本冲突：

1. OSMO 主环境

   用于硬件数据采集、关键点提取、数据可视化、数据集存储管理，核心支撑手套原始数据处理全流程。

2. OSMO 运动学环境

   专门适配机械臂动作重定位、机器人数据集构建，集成机器人运动学、坐标变换相关依赖库。

   除此之外，仓库划分模块化代码目录，覆盖数据集管理、算法模型、机器人桥接、实验脚本、项目配置等功能，各模块解耦，可单独调用复用。

五、训练与部署能力

项目配套机器人策略训练、实体机械臂部署全流程方案：

1. 依托重定位后的触觉动作混合数据集，训练机器人灵巧操作策略；

2. 训练完成的模型可直接部署至实体机械臂，复现人类精细抓取、柔性交互等操作；

3. 支持拓展多类型机器人平台，适配各类人形机械臂、协作机械臂科研场景。

六、项目适用场景与科研价值

适用研究场景

1. 机器人触觉模仿学习、示教学习；

2. 人手 - 机械臂跨本体动作映射、运动学重定向算法研究；

3. 柔性物体操作、精细抓取、人机交互触觉感知研究；

4. 低成本触觉传感设备开发、可穿戴人机交互硬件研发。

核心优势

1. 全栈开源无壁垒：硬件、固件、算法、训练代码全部开放，无商用设备授权限制；

2. 触觉 + 姿态多模态采集：弥补纯视觉示教缺失的接触力信息，提升机器人操作精度；

3. 完整一站式工具链：从硬件采集、数据清洗、坐标映射到模型训练部署，配套可直接运行脚本；

4. 低成本可复刻：硬件设计轻量化，高校实验室可自主加工制作，降低触觉机器人研究门槛。

七、学术成果

项目配套学术论文《OSMO: Open-Source Tactile Glove for Human-to-Robot Skill Transfer》，发布于 arXiv 预印本平台，提供标准 BibTeX 引用格式，科研使用可规范引用本项目成果。

八、License

unlicense-未注明协议，请勿商业使用

九、项目地址

https://github.com/jessicayin/osmo_tactile_glove