很多团队一上来就觉得，想让人形机器人学会新任务，唯一正路就是疯狂采真机遥操作数据。这个判断通常既贵又慢，还会把项目拖进“数据永远不够、真机永远排队”的坑里。这篇文章想解决的核心问题是：如果你真的要动手搭一套 humanoid 数据管线，怎样把“便宜但不完美的人类/仿真数据”和“昂贵但关键的真机数据”组合起来，做出一条能持续迭代、能验证、能复用的训练闭环。最关键的工程判断不是你采了多少小时机器人轨迹，而是你有没有把不同来源的数据按角色分层，用在最合适的位置。
这篇适合谁
- 正在做人形机器人操作、导航或通用技能学习的研发团队
- 已经开始做遥操作采集，但发现成本高、覆盖差、设备利用率低的人
- 想搭“人类示教 + 仿真 + 少量真机对齐”训练管线的工程师
- 需要向团队解释为什么不能只靠端到端堆真机数据的技术负责人
先纠正几个很常见的误区
- 误区 1：只有机器人自己采到的数据才有用。
错。人类第一视角视频、穿戴式动作数据、桌面任务录像、仿真轨迹，虽然都不能直接当成控制策略，但它们可以用来学任务结构、目标排序、阶段切换、抓取前姿态选择和失败恢复先验。 - 误区 2：数据越像最终控制量越好，所以全部预算都该砸给遥操作。
错。越接近最终控制空间，单条数据越贵，覆盖却未必最好。真正划算的做法往往是用便宜数据学习“该看什么、该去哪、该先做哪一步”，再用少量真机数据补足接触、时序、延迟和安全边界。 - 误区 3：仿真数据不真实，所以没必要认真做。
错。仿真不需要替代现实，它只需要承担现实里最贵、最危险、最难穷举的那部分角色，比如稀有姿态、边界条件、失败恢复和回归测试。 - 误区 4：把所有数据丢进一个大模型里训练就行。
错。不同来源的数据噪声、时序、坐标系、动作空间和标签质量完全不同。没有中间对齐层，数据越多越容易把模型训乱。
关键实现判断
如果你真的想把成本打下来，最重要的不是“找更多人遥操作”，而是把数据按用途拆成四层：
- 行为先验层：用人类视频、穿戴式数据、桌面操作录像学习任务阶段、物体关系、动作意图和注意力分配。
- 可控生成层：用仿真补稀缺场景，故意覆盖碰撞边界、遮挡、掉落、失败恢复、重新抓取等长尾状态。
- 真机对齐层：用少量高质量遥操作或人工纠正数据，把模型拉回真实机器人上的感知延迟、关节约束、执行器带宽、接触误差和安全限制。
- 上线反馈层：把部署后的失败日志、人工接管、关键帧回放重新送回数据仓，形成持续迭代闭环。
换句话说，真机数据应该是高价值校准数据，而不是你唯一的数据来源。
先决定你要学的到底是什么
在采数据前，先把目标拆清楚。不然最后最常见的结局是，采了一堆视频，谁也说不清它该训练哪一层。
- 如果你要学的是任务理解：优先要阶段标签、目标对象、任务完成条件，动作精度可以先放低。
- 如果你要学的是操作技能：必须明确末端轨迹、接触时刻、抓取前姿态、失败后重试逻辑。
- 如果你要学的是导航或巡检：需要路点、障碍、区域语义、重定位失败案例和人工接管点。
- 如果你要做的是通用策略：先把动作空间标准化，例如统一成末端位姿增量、离散技能 token，或分层成“高层选技能 + 低层跟踪器”。
这一步的输出最好不是一句空泛的“我们要学通用操作”，而是一份任务定义表：输入是什么，输出是什么，成功怎么判定，失败怎么分类，哪些部分靠模型，哪些部分仍然靠状态机。
分步实践指南
第一步，先搭统一的数据合同，不要急着采
同一个“拿起杯子”任务，视频组、遥操作组、仿真组和真机日志组通常会给你四种完全不同的数据格式。你应该先定义统一数据合同，再让各数据源向它靠拢。至少包含：
- 时间戳和同步方式
- 相机视角、内外参、机器人位姿参考系
- 任务 ID、场景 ID、对象 ID、尝试轮次
- 动作表示方式，例如关节目标、末端增量、离散技能编号
- 事件标签，例如接触、抓住、滑脱、放置成功、人工接管
- 结果标签，例如成功、失败、失败类型、恢复是否成功
如果没有这层合同，后面最花时间的往往不是训练，而是清洗和对齐。
第二步，用便宜的人类数据学“任务骨架”
这类数据不必强求直接映射机器人关节。它更适合承担三件事：
- 学会识别任务阶段，例如靠近、对准、接触、抓取、搬运、放置
- 学会判断关键物体和关注区域
- 学会在长时序里保持任务上下文，而不是只看单帧
更务实的做法不是“把人类动作全 retarget 成机器人动作”，而是先提取对机器人仍然有价值的中间表示，比如目标物体、手部相对位姿、操作顺序、视角切换、异常事件。只要这层骨架学得好，后面的真机对齐负担会小很多。
第三步，用仿真把最难采的边界情况补出来
仿真最适合补三种东西：
- 稀有失败：滑脱、碰撞、遮挡、物体姿态异常、抓取点错误
- 参数扫面：不同摩擦系数、照明、相机延迟、目标位置偏移
- 回归验证：每次模型更新后，用同一批场景快速看是否退化
但仿真不要贪“全真”。对大多数团队来说，更重要的是把任务结构和失败类型建对，而不是一开始就追求照片级渲染。先把对象语义、接触事件和可重现任务流程建起来，收益通常比卷视觉精度更高。
第四步，把真机数据当作高价值校准层来采
真机时间最贵，所以采集策略必须有选择。建议优先采这几类：
- 仿真和人类数据都覆盖不到的真实接触误差
- 执行器带宽不足、关节间隙、控制延迟导致的偏差
- 真实环境中的遮挡、反光、材质变化和背景干扰
- 高风险动作前的预检查失败，以及人工接管触发点
这里不要只录“成功示范”。真正值钱的是失败后的人类纠正轨迹、重试前的状态、接管理由，以及恢复成功与否。没有这些，模型上线后很难学会怎样体面地失败。
第五步，训练时做分层，而不是一锅炖
一个更稳的配方通常是：
- 先用大规模便宜数据训练感知表征或任务阶段识别器。
- 再用仿真数据训练策略骨架，覆盖丰富场景变化。
- 最后用少量真机数据做对齐、蒸馏或偏差校正。
- 上线后把失败案例单独回灌，不要和老数据无差别混训。
如果你已经用了 foundation model 或视觉语言模型，也最好把它限制在“理解任务、生成候选、解释状态”的边界上，而不是直接让它裸奔控制全身动作。
第六步，验证指标一定要分开看
很多团队会犯一个错：离线指标好看，就以为系统能上机。至少要拆成四组指标：
- 表征指标：阶段识别准确率、目标检测成功率、关键帧召回率
- 策略指标：单任务成功率、平均重试次数、动作时长
- 机器人指标：接触稳定性、轨迹偏差、夹爪失手率、跌倒/急停次数
- 运营指标：人工接管率、失败桶分布、问题复现率、回归退化率
如果离线指标涨了，但人工接管率没降，说明你的数据管线只是把模型训得更会“解释”，还没有更会“落地”。
现场 first-look 决策表：训练数据一乱，先压回哪一层
数据管线出问题时，第一反应不要是“再采一点”或“换个更大的模型”。先把现场症状压回责任层，看清是任务定义、时间同步、来源混合、真机对齐还是失败回流先坏了。
| 先看到的现象 | 先判哪层 | 第一证据 | 先停手 |
|---|---|---|---|
| 数据量涨了，训练出来的任务阶段还是乱 | 任务定义 / 阶段标签层 | 抽 20 条 episode，看起止条件、阶段切换、成功口径和失败标签是否一致 | 不要继续扩大采集员、场景和任务族，也不要先把问题归因于模型容量不够 |
| 视频、关节、夹爪、teleop 指令对不上 | 时间同步 / 数据合同层 | 拉同一轮任务的时间戳、相机帧、控制命令、接触事件和接管点，看是否在统一时间轴上 | 不要先清洗成“看起来能用”的样本，也不要把错位数据混进训练集补数量 |
| 人类视频、仿真和真机数据一混训，策略反而更脆 | 来源分层 / 中间表示层 | 分别看各来源的坐标系、动作空间、标签粒度、噪声模式和可训练目标是否被硬对齐 | 不要把不同来源无差别丢进同一个数据池，也不要用“多模态”掩盖对齐层缺失 |
| 离线指标很好，上真机接触、延迟或安全边界马上掉线 | 真机对齐 / 现实约束层 | 对比仿真成功片段与真机失败片段的接触时刻、控制延迟、关节限幅、夹爪反馈和急停记录 | 不要继续刷离线 benchmark，也不要宣布策略已经泛化到机器人本体 |
| 每周都在采新数据，但同类失败一直回来 | 失败回流 / 采集优先级层 | 查最近人工接管、失败桶、复现率和回归测试，看新数据是否真的覆盖了最常见失败 | 不要把采集时长当进展，也不要在 failure bucket 没收敛前继续扩更多任务 |
这张表的用法很简单：先把“数据不够”拆成一条可验证的责任链。只有当任务定义、同步合同、来源分层、真机对齐和失败回流都说得清楚时，继续加数据量才有意义。
最容易翻车的地方
- 只采成功轨迹。结果是模型不知道失败长什么样，更不会恢复。
- 数据来源混太早。没有先做坐标、时序、标签标准化，训练结果会非常脆。
- 忽略人类与机器人的动作差异。人能做出的补偿动作，机器人未必做得出，不能直接照搬。
- 把仿真当替身，而不是测试台。仿真最稳定的价值是放大覆盖和验证，不是替你免掉真实部署。
- 没有 failure bucket。只知道“这次失败了”，却不知道是感知错、规划错、执行错，后续数据回流就会失焦。
- 没有冻结验证集。每次改模型都顺手改场景，最后谁也不知道系统到底有没有进步。
一个更现实的低成本起步方案
如果你是小团队，我更建议这样起步：
- 先选 1 到 2 个高频任务，例如抓取并放入料箱、拿取工具并递交。
- 先做人类视频和任务阶段标注，建立任务骨架。
- 再在仿真里复现这些任务，把失败模式和参数扰动补齐。
- 最后只在真机上采关键对齐数据，重点记录失败纠正和接管。
- 每周固定回放失败案例，按 failure bucket 决定下周采什么，而不是盲目继续堆数据。
这条路线不会让你一夜之间得到“通用机器人大脑”，但它更可能让你在预算内持续变强。
下一步怎么做
- 先列出你现在已有的三类数据：人类数据、仿真数据、真机数据。
- 检查它们是否共用同一套任务定义、时间戳和失败标签。
- 挑一个任务，先建立 failure bucket，而不是先换更大的模型。
- 把最近 20 次人工接管案例单独拉出来，看哪些本来就该进入真机对齐集。
- 如果你还没有统一日志回放工具，优先补这个，而不是先继续扩采。