← 返回首页

记忆机制与空间重建

将观测组织为对象、位置和空间关系,为后续任务提供可查询的场景上下文。

反思式记忆

从执行轨迹与失败分析中归纳操作经验、恢复策略和对象状态变化,用于后续任务规划。

分层记忆

Agent Core 内的 K 帧工作记忆 + 关键事件分层;规划器在显式预算下检索。

空间记忆与重建

融合 RGB-D 与相机位姿形成点云,通过 SpatialLM 解析墙体、门窗和对象。结构化场景可经 recall 接口提供给规划器,全局场景模式在回合重置后保留几何信息。

知识胶囊

把经过验证的执行经验沉淀为可检索的过程知识,在任务条件匹配时注入规划。

导航演示 · 第一视角 根据自然语言指令探索场景并选择路线。连续第一视角画面呈现前进、转向与路径调整;观看时可关注环境线索与方向选择的对应关系。
导航演示 · 场景遍历 跟随指令穿过多个位置,结合当前可见场景选择下一段路线。观看时可关注视角切换、路口选择与目标区域的逐步接近。

四类记忆共同支持规划:保留当前上下文,组织空间关系,并检索过去的任务经验。

空间重建与持久记忆

空间模块接收 RGB-D、相机内参和上游定位模块提供的相机位姿,将连续观测统一到世界坐标系。对象级几何与结构关系构成紧凑的任务上下文,规划器无需读取完整稠密点云。

  1. 观测与点云

    利用深度和相机内参反投影,将有效像素恢复为三维点。

  2. 坐标对齐与融合

    根据相机位姿转换到世界坐标系,在体素内累计并融合观测。

  3. 场景结构解析

    SpatialLM 输出墙体、门窗与对象的类别、位置、尺寸和朝向。

  4. 查询与规划

    通过 recall 读取空间上下文,结合任务进行目标检索与邻近关系判断。

室内点云俯视图及 SpatialLM 解析的墙、门、窗与对象包围盒
室内场景俯视图。红色为墙体,橙色为门,蓝色为窗,绿色为对象范围。

单场景解析

SpatialLM1.1-Qwen-0.5B在RTX 4090 D上处理685,513个点,解析得到6面墙、1扇门、1扇窗和8个对象。

结构化实体
16
场景推理耗时
3.368 s
平均空间查询耗时
0.1496 ms
场景保持测试次数
1,000

在线观测模式

随 RGB-D 与位姿观测积累点云,解析后更新空间上下文。开始新回合时清空在线地图,保持不同场景的坐标独立。

全局场景模式

全局场景初始化后重复使用,1,000次重置过程中仅解析一次,场景结构保持一致。

空间事实如何用于任务

门窗关联到所属墙体,对象记录位置、尺寸与朝向。规划器结合几何距离、对象类别、当前观测与可达性选择操作目标。

空间重建与记忆效果

单场景解析将685,513个点转为16个结构化实体。后续规划按需读取对象与关系,1,000次重置后全局场景保持一致。

rev.memory.figure

从空间事实回答具体问题

梳妆台旁的凳子有多远?

对象中心的平面距离为0.202 m,可作为紧邻操作区域的候选。

离衣柜最近的对象是什么?

按对象中心距离检索,得到床头柜,距离0.746 m。

门属于哪一面墙?

门与所属墙体关联,可用于查询房间入口的位置。