反思式记忆
从执行轨迹与失败分析中归纳操作经验、恢复策略和对象状态变化,用于后续任务规划。
从执行轨迹与失败分析中归纳操作经验、恢复策略和对象状态变化,用于后续任务规划。
Agent Core 内的 K 帧工作记忆 + 关键事件分层;规划器在显式预算下检索。
融合 RGB-D 与相机位姿形成点云,通过 SpatialLM 解析墙体、门窗和对象。结构化场景可经 recall 接口提供给规划器,全局场景模式在回合重置后保留几何信息。
把经过验证的执行经验沉淀为可检索的过程知识,在任务条件匹配时注入规划。
四类记忆共同支持规划:保留当前上下文,组织空间关系,并检索过去的任务经验。
空间模块接收 RGB-D、相机内参和上游定位模块提供的相机位姿,将连续观测统一到世界坐标系。对象级几何与结构关系构成紧凑的任务上下文,规划器无需读取完整稠密点云。
利用深度和相机内参反投影,将有效像素恢复为三维点。
根据相机位姿转换到世界坐标系,在体素内累计并融合观测。
SpatialLM 输出墙体、门窗与对象的类别、位置、尺寸和朝向。
通过 recall 读取空间上下文,结合任务进行目标检索与邻近关系判断。

SpatialLM1.1-Qwen-0.5B在RTX 4090 D上处理685,513个点,解析得到6面墙、1扇门、1扇窗和8个对象。
随 RGB-D 与位姿观测积累点云,解析后更新空间上下文。开始新回合时清空在线地图,保持不同场景的坐标独立。
全局场景初始化后重复使用,1,000次重置过程中仅解析一次,场景结构保持一致。
门窗关联到所属墙体,对象记录位置、尺寸与朝向。规划器结合几何距离、对象类别、当前观测与可达性选择操作目标。
单场景解析将685,513个点转为16个结构化实体。后续规划按需读取对象与关系,1,000次重置后全局场景保持一致。
对象中心的平面距离为0.202 m,可作为紧邻操作区域的候选。
按对象中心距离检索,得到床头柜,距离0.746 m。
门与所属墙体关联,可用于查询房间入口的位置。