机器人使用智能体（Robot-use agent，RUA）已展现出可观的零样本操作能力，但仍严重依赖前沿专有模型。在这一背景下，研究人员虽能调用模型能力，却拿不到模型权重，也就难以利用机器人实际操作中积累的经验进行下一步训练。同时，API调用产生的大额费用，以及无法自行优化模型推理的限制，也让大规模实验难以开展。

为使 RUA 研究走向普惠，清华大学丁宁、刘知远、徐梦迪、周伯文等团队联合强化学习大牛、加州大学伯克利分校教授 Pieter Abbeel团队推出并开源了 uni-robot-agent，这是一个面向开源权重 robot use 的统一 harness，且支持进一步训练。

论文链接：https://arxiv.org/abs/2611.01560

(资料图片仅供参考)

在没有特权输入的情况下，Qwen3.8-Flash-Next（+uni-robot-agent）在 RoboDojo 的性能超越了 GPT-6 Astra（+RoboProbe）以及多个经过任务微调的 VLA/WAM 基线模型。

图｜uni-robot-agent 的实验结果与系统概览

他们没有先为每项任务训练专门策略，而是从工具接口、环境信息和执行反馈入手，探索现成模型已经具备的 Robot-use 能力。

这项工作首先面对一个问题：开放模型操作机器人失败，究竟是模型能力不足，还是系统没有把必要的信息和工具组织好？

如果一开始就加入模拟器真实状态、直接告知任务是否成功的反馈，或者针对具体任务编写技能，虽然可能提高成绩，却也增加了判断通用能力来源的难度。

因此，他们选择先建立一个通用、可靠的 harness，也就是连接模型与机器人环境的交互框架。它统一不同模型、机器人形态、任务和环境中的工具接口与反馈格式，让模型能够通过一致的交互方式完成操作，也为后续利用仿真和真实机器人数据开展联合训练提供基础。

图｜跨环境的工具复用

其中一个关键判断是，机器人操作未必需要依赖部署时无法获得的额外信息。经过合理组织的相机标定信息、机器人描述，以及能返回有效反馈的可靠工具接口，已经能够支持开放模型完成有竞争力的操作。这让研究重点从不断补充任务专用信息，转向如何组织模型可以使用的真实环境信息。

Harness 同时考虑了交互效率。机器人执行动作时，模型推理可以与工具执行重叠，减少两者依次等待带来的耗时。agent 运行时、工具和机器人后端也采用可替换设计，便于研究人员更换组件、比较不同方案。对于需要持续收集机器人交互经验的训练研究，这些设计直接关系到系统能否扩展。

图｜串行交互与流水线执行

在 RoboDojo 上，未经额外机器人专项训练的 Qwen3.8-Flash-Next 配合 uni-robot-agent，在不使用特权输入的设置下取得 31.39 分，超越了 GPT-6 Astra 配合 RoboProbe 的28.97 分。

图｜RoboDojo 上的结果

他们还在 19 项真实桌面操作任务中测试了系统，并在摘要中将其表现概括为具有竞争力。仿真与真实环境的共同测试，使研究关注的不只是某一个模拟器中的成绩，也包括统一交互方式能否用于物理机器人。

在建立开放模型操作基线后，他们进一步比较了不同代际、系列和规模的模型，并分析操作轨迹中的失败模式。他们将常见问题归纳为视觉理解、空间定位、几何编码和具身推理四类。

图｜与有效机器人操作相关的四类能力

这些问题涉及从理解观测到生成行动的多个环节。他们据此提出，机器人操作能力可能来自多种通用能力的共同作用，未来训练应推动这些能力协同发展。这里呈现的是基于模型比较和轨迹分析提出的研究判断，尚不能将四类能力之间的关系视为已经确立的因果机制。

他们也指出，uni-robot-agent仍难以处理精细操作和可靠的长程执行任务。

整体来看，通过提供共享的交互接口、可替换的组件以及结构化的执行反馈，uni-robot-agent 为采集机器人交互数据、开发训练方法以及评估其对 agent 行为与任务表现的影响，提供了一个统一的基础。

更多技术细节，详见原论文。

作者：张佳怡

如需转载或投稿，请直接在本文章评论区内留言