亮点

1、冻结VLA，优化成像前端：通过下游动作损失训练RAW成像模块，让亮度、色彩等调整直接服务于机器人操作。

2、暗光真机平均成功率达66.5%： 在四项双臂任务中，默认ISP对照为0%；正常光照下，两者成功率分别为75.0%和76.5%，表现接近。

3、仿真平均成功率提升11.07个百分点： 在RoboTwin 2.0上，跨五种光照、两种VLA策略的平均成功率由43.91%提升至54.98%。

4、开放代码与RawVLA-Bench： 覆盖五种光照、53项仿真任务，提供2,403条配对训练轨迹，支持成像处理与机器人操作研究。

灯光一暗，原本能完成的抓取任务就失败了。对于走出实验室的机器人来说，光线变化是一个绕不开的问题：同样的任务、同样的物体，换一组灯光，相机送给模型的画面就可能大不相同。

问题从图像进入模型之前就开始了。相机采集的RAW信号，需要经过图像信号处理器（ISP），完成降噪、白平衡、色彩校正和色调映射，才成为VLA看到的RGB图像。这个常被当作固定预处理的环节，会直接影响机器人能否看清目标、预测正确动作。

围绕这一问题，地瓜机器人联合东京大学等机构的研究团队提出RawVLA：在已有VLA策略前加入一个可学习的成像模块，从RAW数据出发，根据当前画面和历史信息调整成像参数，让输入图像更适合下游操作任务。训练过程中，VLA策略保持冻结。

在四项双臂真机任务中，搭配RawVLA的π0.5在暗光下取得66.5%的平均成功率，默认ISP对照为0%；正常光照下，两者分别为75.0%和76.5%，保持接近的表现。

团队同时发布RawVLA-Bench，将成像处理纳入机器人操作的训练与评测，为研究光照变化下的操作能力提供公开基准。

RowVLA整体概览：从RAW成像处理到机器人操作

核心设计：让成像处理围绕机器人动作来优化

如何处理图像，才能更好地支持机器人操作？

团队首先分析了曝光、传感器噪声、色彩响应、色调响应和位深对策略表现的影响，发现不同成像因素带来的影响存在明显差异。这为RawVLA有针对性设计成像模块提供了依据。

RawVLA 的工作流程可以分成三步。

第一步，结合连续画面降噪。暗光下直接提亮图像，噪声也会被一起放大。RawVLA利用当前帧和过去五帧RAW图像，按信息的可靠程度进行融合，在抑制噪声的同时减少运动模糊。整个过程只使用已经采集到的画面，适合机器人持续执行任务。

第二步，把亮度和颜色分开调整。系统分别跟踪画面的明暗与色彩变化，并通过循环网络保留历史信息，生成曝光增益、白平衡、色彩校正和色调曲线等参数。这样既能应对当前光线，也能减少逐帧独立处理带来的闪烁，让连续输入更稳定。

第三步，用动作预测误差训练成像模块。训练数据中的专家动作提供监督：处理后的图像送入 VLA，预测动作与专家动作之间的误差再传回ISP，更新成像模块。系统同时加入亮度和颜色约束，避免不合理的成像结果。训练目标由下游任务驱动，让图像处理真正服务于操作。

图1｜RawVLA架构。连续RAW图像经过降噪和时序建模，生成成像参数；VLA的动作损失用于训练前端，VLA本身保持冻结。

这一路径可以复用已有策略。论文在π0、π0.5和Qwen3-OFT等模型上验证了方法，并为各策略训练对应的ISP。以真机实验为例，π0.5先在正常光照示范上完成任务适配，再冻结策略训练RawVLA；部署时，同一套成像模块同时处理正常光照和暗光输入，无需按光照条件切换模型。

RawVLA-Bench：覆盖五种光照，开放成像评测基准

机器人在暗光下失败，究竟是策略能力不足，还是输入画面丢失了关键信息？要回答这个问题，需要尽量控制其他变量。

团队基于LIBERO和RoboTwin 2.0构建RawVLA-Bench，覆盖极低光、低光、正常光、过曝和极端过曝五种条件。基准在仿真成像流程中改变光照、构造RAW观测，并保留配对轨迹和多相机视角，支持在相同任务条件下比较不同ISP。

其中，LIBERO部分覆盖40项任务，RoboTwin 2.0部分覆盖13项任务；训练集共包含2,403条配对轨迹。完整评测协议设置13,250 次 rollout，用于检验成像方法在不同任务和光照下的表现。

RawVLA-Bench将成像处理作为明确的评测变量，让研究者能够进一步分析视觉输入的变化，如何影响机器人的动作与任务成功率。目前数据集与评测代码已公开。

实验结果：暗光真机成功率达66.5%，正常光照表现保持接近

真机实验采用π0.5，覆盖抓取与放置、抽屉操作、插花、堆叠与覆盖四项任务。每个方法在每项任务、每种光照下分别测试50次。

暗光下，RawVLA的抓取与放置成功率达到92%，抽屉操作达到88%。四项任务平均成功率为66.5%，默认ISP和DarkISP分别为0%和11%。

正常光照下，RawVLA的平均成功率为75.0%，与默认ISP的76.5% 接近。在这组实验中，暗光操作能力得到改善，同时保留了接近默认ISP的常规场景表现。

仿真测试同样显示出收益。在RoboTwin 2.0上，跨五种光照、两种VLA策略的平均成功率从默认ISP的43.91%提升到54.98%，提高11.07个百分点。

论文报告的ISP模块处理速度为168 FPS，支持高效接入视觉处理链路；这一数字对应成像模块，不代表整套VLA的推理或机器人控制频率。

项目还展示了暗光下的干扰恢复：物体在执行过程中被重新摆放后，机器人继续完成抓取与放置。

从相机到动作，补上机器人视觉链路的一环

RawVLA展示了成像前端在机器人学习中的价值：除了改进策略模型，也可以直接优化机器人接收图像的方式，改善已有策略在光照变化下的表现。

从RAW数据、成像处理到动作执行，这项工作将相机与策略之间的接口纳入任务学习，也通过开放基准与代码，为后续研究提供了可复现的起点。完整实验和真机演示可在项目主页查看。