这篇文章要解决的问题是：当你的人形机器人已经有基础感知、控制和若干动作技能之后，怎么把它真正组织成一个能连续做事、遇到异常会停、会重试、会切换策略的任务规划系统。 它适合已经在做原型、准备把“单个 demo”推进到“连续执行任务”的团队或个人。最关键的工程判断只有一句话：先把技能边界、世界状态、异常回退和人工接管做扎实，再考虑大模型或更复杂的长时序规划。
这篇适合谁
- 已经能跑基础运动、抓取、视觉识别、遥操作或简单脚本，但系统一复杂就容易卡死的人。
- 想让 humanoid 从“会几个动作”变成“能完成一串任务”的开发者。
- 正在做家务、整理、取放、巡检、搬运、装配等多步骤任务验证的团队。
先纠正几个很常见的误区
- 误区 1：规划系统就是一个更聪明的大模型。 实际上，大多数项目先卡死在技能接口不清、状态不可信、失败不可恢复，而不是“模型不够聪明”。
- 误区 2：能生成计划，就等于能稳定执行。 生成任务序列只是第一步，执行阶段的观测刷新、超时、互锁、重试和人工接管才决定系统能不能落地。
- 误区 3：所有任务都该做通用长程规划。 对原型团队来说，固定流程 + 少量条件分支 + 异常回退，通常比一上来做开放式通用规划更可靠。
- 误区 4：规划失败主要是算法问题。 很多“规划失败”其实来自抓取成功率太低、地图坐标漂移、物体状态没回写、动作耗时不可预测。
关键实现判断
做人形机器人的任务规划，我更建议按下面这个顺序做判断：
- 先定义技能库，不要先定义“通用智能”。 你到底有哪几个可调用技能，例如站起、走到目标点、对齐工作台、视觉确认、伸手、抓取、放置、开门、递交、退回安全位。
- 每个技能都必须写清输入、前置条件、成功条件、失败条件和超时条件。 没有这层约束，规划器只是一个会堆字符串的调度器。
- 世界状态必须可验证，不要只靠记忆。 例如“杯子已抓住”不能只靠上一条动作返回成功，最好叠加夹爪开口、腕部力矩、视觉复核中的至少两种证据。
- 先做有限场景内的稳定闭环，再扩展任务空间。 先把一条工作台取放流程跑稳，比做一个能说很多但执行不稳的开放式 agent 更值钱。
推荐的系统分层
一套真正能工作的规划系统，通常至少分成下面四层：
- 任务层： 接收人的指令或任务单，决定目标、优先级、停止条件和是否允许人工接管。
- 编排层： 把任务拆成技能序列，维护状态机、行为树或任务图，处理条件分支、重试和回退。
- 技能层： 每个技能负责一段封装好的动作闭环，例如导航到位、视觉精对位、抓取、交互确认。
- 控制与安全层： 保证平衡、限力、急停、碰撞监测、控制模式切换，不允许上层任务逻辑越过安全边界。
这四层里最容易被低估的是编排层。很多团队有模型、有控制器、有技能 demo，但没有稳定的任务编排框架，所以系统一旦偏离脚本就会崩。
分步实践指南
第 1 步，先把一个任务拆成可维护的技能图
不要从“收拾房间”这种大任务开始，先选一个边界清晰的流程，例如“从货架取一个盒子，搬到工作台左侧托盘”。然后把它拆成：
- 初始化和自检
- 导航到货架前安全位
- 视觉定位目标盒子
- 上半身对位
- 抓取
- 抓后复核
- 导航到工作台
- 放置
- 放后确认
- 回到等待位并写日志
每一步都要定义“下一步依赖什么事实”，而不是只定义“下一步是什么动作”。
第 2 步，选一个你团队能调试的编排机制
如果你还在早期原型阶段，状态机或行为树通常比自由生成式规划更合适。原因很现实：
- 容易看当前执行到哪里。
- 容易插超时、重试、回退和人工接管节点。
- 日志更清楚，适合现场排障。
- 可以逐步加入更灵活的参数选择，而不是一次性全放开。
等你已经积累了稳定技能库，再让大模型做任务理解、目标补全、步骤候选生成会更合理。它更适合作为任务层助手，而不是直接替代执行编排器。
第 3 步，把世界状态做成“可刷新、可回写、可怀疑”
规划系统依赖的世界状态至少要包含：
- 机器人本体状态，例如是否稳定站立、当前模式、是否允许移动底盘、双手是否空闲。
- 环境状态，例如目标物位置、障碍区域、工作台占用、门是否打开。
- 任务状态，例如当前子任务、已完成步骤、失败次数、是否需要人工确认。
关键不是“有状态”，而是状态必须带置信度、时间戳和来源。否则你很快就会遇到一种典型事故，规划器以为物体还在原位，但视觉早就丢了，结果机械臂继续伸手撞上环境。
第 4 步，先把异常回退机制写死，再追求聪明
每个关键技能都应该至少有一种默认回退路径：
- 没看见目标，退回观察位重新识别。
- 抓取失败，重新对位一次，超过次数后请求人工介入。
- 路径被人挡住，等待一段时间后重规划，再不行就切到遥操作。
- 姿态或接触异常，立即退回安全位并冻结高风险动作。
很多团队失败，不是因为不会规划，而是没有把“失败后怎么办”做成系统级一等公民。
第 5 步，把人工接管设计进系统，而不是当成最后补丁
在人形机器人上，人工接管不是丢脸，而是量产前最重要的保险丝之一。你至少要定义：
- 哪些状态允许人工接管，哪些状态必须先减速或回安全位。
- 接管时保留哪些上下文，例如目标物、当前步骤、最近一次失败原因。
- 接管结束后，系统是从头开始，还是从最近一个安全检查点恢复。
这一步做得好，能极大降低现场调试成本。
第 6 步，用日志和回放找真正的瓶颈
规划系统一定要记录下面这些信息：
- 任务开始和结束时间
- 每个技能的入参与返回值
- 状态刷新记录和关键感知结果
- 超时、重试、回退、人工接管事件
- 导致任务中断的最终原因分类
如果你没有这些日志，团队最后很容易陷入“感觉是规划不行”这种模糊判断，实际上问题可能出在视觉延迟、抓手打滑、底盘停位误差或控制模式切换慢。
最容易翻车的地方
- 技能成功条件写得太乐观。 动作发出去了，不等于任务完成了。
- 把感知当真值。 单帧识别、一次抓取判定、一次地图更新都不该直接成为不可质疑的事实。
- 没有统一时钟和超时策略。 上层以为动作失败了，下层其实还在执行，系统很容易进入双重控制。
- 任务层越权直接操控底层执行器。 这会破坏安全边界，也会让后续调试极其痛苦。
- 没有场景降级策略。 当光照差、地面反光、目标遮挡、网络不稳时，系统是否自动切换到更保守模式，必须提前定义。
怎么验证这套规划系统是不是靠谱
- 先做单技能稳定性测试。 每个技能至少做几十次重复运行，确认成功率、耗时分布和失败类型。
- 再做双技能串联测试。 例如“导航到位 + 抓取”，看上下文传递是否稳定。
- 然后做完整任务闭环。 不要只看平均成功率，还要看人工介入比例、恢复时长和失败后是否安全。
- 最后做扰动测试。 人经过、物体偏移、目标换位置、照明变化、地面摩擦变化，都应该触发你预设的重试或降级机制。
真正能进现场的系统，不是从不失败，而是失败了也知道怎么收场。
下一步怎么做
如果你现在正准备搭 humanoid 的任务规划系统，我建议下一步按这个顺序推进：
- 先挑 1 个高频、低风险、可重复验证的任务做样板。
- 把 5 到 10 个核心技能接口规范写出来。
- 建立状态机或行为树编排骨架。
- 补齐世界状态回写、异常回退和人工接管。
- 最后再引入更灵活的任务理解或语言规划模块。
这样做虽然没有“全能机器人 agent”听起来那么酷，但更接近真正能落地的人形机器人系统。
延伸阅读方向
- 行为树、有限状态机与任务图在机器人任务编排中的取舍
- 任务规划与视觉状态估计、抓取成功判定的接口设计
- 人形机器人遥操作接管与安全恢复机制
- 长时序任务中的日志回放、失败归因与测试基准
Sources: 本文基于公开的人形机器人任务规划、具身智能执行编排、行为树/状态机工程实践与通用机器人系统设计资料整理，重点是帮助你做可验证、可调试、可扩展的实作方案。